Re: kafka实例重启对flink作业的影响

作业不 fo Best Regards, Ran Tao Ran Tao 于2023年4月20日周四 16:12写道： > offset 重放，mistake > > Best Regards, > Ran Tao > > > Ran Tao 于2023年4月20日周四 16:11写道： > >> 1.一种比较干净但是暴力的做法是Flink一旦检测到分区变化，就执行作业fo. >> fo后读取最新的分区列表，旧的分区从状态中进行offer重放，新分区执行特定的点位启动策略。它的做法比较干净暴力。 >&

Re: kafka实例重启对flink作业的影响

offset 重放，mistake Best Regards, Ran Tao Ran Tao 于2023年4月20日周四 16:11写道： > 1.一种比较干净但是暴力的做法是Flink一旦检测到分区变化，就执行作业fo. > fo后读取最新的分区列表，旧的分区从状态中进行offer重放，新分区执行特定的点位启动策略。它的做法比较干净暴力。 > > 2.第二种就是动态的分区发现（指作业fo，异步线程一直check分区变化，针对removed或者insert的分区单独处理）， > 这个在 newKafkaSource 中已经实现了。旧的kafka s

Re: kafka实例重启对flink作业的影响

://cwiki.apache.org/confluence/display/FLINK/FLIP-288%3A+Enable+Dynamic+Partition+Discovery+by+Default+in+Kafka+Source [2] https://issues.apache.org/jira/browse/FLINK-31006 其实这两种做法不仅仅适用于kafka，对于任意的source或者mq都可以使用。希望对你有所帮助。 Best Regards, Ran Tao casel.chen 于2023年4月20日周四 15:43写道： > > 实际工作中会遇到kafka

Re: 退订

退订是发送邮件到 user-zh-unsubscr...@flink.apache.org 这个地址就可以了。 Best Regards, Ran Tao 李朋 <1134415...@qq.com.invalid> 于2023年3月22日周三 20:10写道： > 退订！

Re: Flink异步Hbase导致Too many open files异常

+1 有遇到过类似 fd 泄露的问题。注意 close 的时候buffer 数据刷盘, 然后资源关闭，future cancel。 Best Regards, Ran Tao Weihua Hu 于2023年3月8日周三 16:52写道： > Hi, > > 通过代码看作业在Failover 时的确会有 HBaseClient 的资源泄露。 > > 在 HbaseDimensionAsyncFunc 中重写一下 close 方法，释放掉 HBaseClient。 > > Best, > Weihua > > &g

Re: idea构建flink源码失败

> at > > org.jetbrains.jps.incremental.scala.remote.Main$.handleCommand(Main.scala:181) > at > > org.jetbrains.jps.incremental.scala.remote.Main$.serverLogic(Main.scala:157) > at > org.jetbrains.jps.incremental.scala.remote.Main$.nailMain(Main.scala:97) > at > org.jetbrains.jps.incremental.scala.remote.Main.nailMain(Main.scala) > at jdk.internal.reflect.GeneratedMethodAccessor1.invoke(Unknown > Source) > at > > java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) > at java.base/java.lang.reflect.Method.invoke(Method.java:568) > at com.facebook.nailgun.NGSession.runImpl(NGSession.java:312) > at com.facebook.nailgun.NGSession.run(NGSession.java:198) > > > > > > > > -- Best Regards, Ran Tao https://github.com/chucheng92

Re: [DISCUSS] Update Scala 2.12.7 to 2.12.15

oting thread to make the > upgrade. > > Best regards, > > Martijn > > Op vr 20 mei 2022 om 14:10 schreef Ran Tao : > > > Got it. But I think the runtime java environment e.g. jdk11 env may > cannot > > optimize these scala lower bytecode very well. However