(??????)

2022-01-25 文章 ????????
917712...@qq.com

Flink Connector类冲突问题

2022-01-25 文章 Ada Wong
目前多个Connector出现无法shade的类冲突是没办法解决的。 我提了个issue,里面写了大致的解决方案。有老哥再这块熟悉一点的嘛?可以再issue里讨论下。 https://issues.apache.org/jira/browse/FLINK-25804

Re: TaskManager的Slot的释放时机

2022-01-25 文章 Zhilong Hong
Hello, johnjlong: TaskExecutor#cancel是RPC调用,不包含TM是否存活的信息。TM是否存活是由Heartbeat Service来负责检测的,目前heartbeat.timeout配置项 [1] 的默认值为50s。而RPC调用的超时配置项akka.ask.timeout [2] 的默认值为10s。如果想要尽快检测到TM丢失的情况,可以将这两个配置项的值调小,但这有可能会导致集群或作业不稳定。 关于降低heartbeat timeout时长社区目前已有讨论,具体可以参考:[3] 和 [4] [1]

如何给flink的输出削峰填谷?

2022-01-25 文章 Jing
Hi Flink中文社区, 我碰到一个这样的问题,我的数据库有write throttle, 我的flink app是一个10分钟窗口的聚合操作,这样导致,每10分钟有个非常大量的写请求。导致数据库的sink有时候会destroy. 有什么办法把这些写请求均匀分布到10分钟吗? 谢谢, Jing

Re: Flink Connector类冲突问题

2022-01-25 文章 Ada Wong
https://issues.apache.org/jira/browse/FLINK-15786 Ada Wong 于2022年1月25日周二 19:40写道: > > 目前多个Connector出现无法shade的类冲突是没办法解决的。 > 我提了个issue,里面写了大致的解决方案。有老哥再这块熟悉一点的嘛?可以再issue里讨论下。 > https://issues.apache.org/jira/browse/FLINK-25804

Re: 如何给flink的输出削峰填谷?

2022-01-25 文章 yidan zhao
如果不需要统一窗口周期,比如0-10,10-20的话,可以考虑根据key决定窗口offset,这样将窗口offset随机化,输出就变平滑了。 Paul Lam 于2022年1月26日周三 10:18写道: > Hi, > > 如果是 DataStream 应用的话,最简单的方式是给 sink 之前加个 throttle 算子,比如 guava RateLimiter。 > > SQL 应用的话可能要实现个 UDF 来做。 > > Best, > Paul Lam > > > 2022年1月26日 02:11,Jing 写道: > > > > Hi Flink中文社区, > > >

Re: 如何给flink的输出削峰填谷?

2022-01-25 文章 Paul Lam
Hi, 如果是 DataStream 应用的话,最简单的方式是给 sink 之前加个 throttle 算子,比如 guava RateLimiter。 SQL 应用的话可能要实现个 UDF 来做。 Best, Paul Lam > 2022年1月26日 02:11,Jing 写道: > > Hi Flink中文社区, > > 我碰到一个这样的问题,我的数据库有write throttle, 我的flink > app是一个10分钟窗口的聚合操作,这样导致,每10分钟有个非常大量的写请求。导致数据库的sink有时候会destroy. >