917712...@qq.com
目前多个Connector出现无法shade的类冲突是没办法解决的。
我提了个issue,里面写了大致的解决方案。有老哥再这块熟悉一点的嘛?可以再issue里讨论下。
https://issues.apache.org/jira/browse/FLINK-25804
Hello, johnjlong:
TaskExecutor#cancel是RPC调用,不包含TM是否存活的信息。TM是否存活是由Heartbeat
Service来负责检测的,目前heartbeat.timeout配置项 [1]
的默认值为50s。而RPC调用的超时配置项akka.ask.timeout [2]
的默认值为10s。如果想要尽快检测到TM丢失的情况,可以将这两个配置项的值调小,但这有可能会导致集群或作业不稳定。
关于降低heartbeat timeout时长社区目前已有讨论,具体可以参考:[3] 和 [4]
[1]
Hi Flink中文社区,
我碰到一个这样的问题,我的数据库有write throttle, 我的flink
app是一个10分钟窗口的聚合操作,这样导致,每10分钟有个非常大量的写请求。导致数据库的sink有时候会destroy.
有什么办法把这些写请求均匀分布到10分钟吗?
谢谢,
Jing
https://issues.apache.org/jira/browse/FLINK-15786
Ada Wong 于2022年1月25日周二 19:40写道:
>
> 目前多个Connector出现无法shade的类冲突是没办法解决的。
> 我提了个issue,里面写了大致的解决方案。有老哥再这块熟悉一点的嘛?可以再issue里讨论下。
> https://issues.apache.org/jira/browse/FLINK-25804
如果不需要统一窗口周期,比如0-10,10-20的话,可以考虑根据key决定窗口offset,这样将窗口offset随机化,输出就变平滑了。
Paul Lam 于2022年1月26日周三 10:18写道:
> Hi,
>
> 如果是 DataStream 应用的话,最简单的方式是给 sink 之前加个 throttle 算子,比如 guava RateLimiter。
>
> SQL 应用的话可能要实现个 UDF 来做。
>
> Best,
> Paul Lam
>
> > 2022年1月26日 02:11,Jing 写道:
> >
> > Hi Flink中文社区,
> >
>
Hi,
如果是 DataStream 应用的话,最简单的方式是给 sink 之前加个 throttle 算子,比如 guava RateLimiter。
SQL 应用的话可能要实现个 UDF 来做。
Best,
Paul Lam
> 2022年1月26日 02:11,Jing 写道:
>
> Hi Flink中文社区,
>
> 我碰到一个这样的问题,我的数据库有write throttle, 我的flink
> app是一个10分钟窗口的聚合操作,这样导致,每10分钟有个非常大量的写请求。导致数据库的sink有时候会destroy.
>