Re: 如何给flink的输出削峰填谷？

[yidan zhao]

如果不需要统一窗口周期，比如0-10，10-20的话，可以考虑根据key决定窗口offset，这样将窗口offset随机化，输出就变平滑了。

Paul Lam  于2022年1月26日周三 10:18写道：

> Hi,
>
> 如果是 DataStream 应用的话，最简单的方式是给 sink 之前加个 throttle 算子，比如 guava RateLimiter。
>
> SQL 应用的话可能要实现个 UDF 来做。
>
> Best,
> Paul Lam
>
> > 2022年1月26日 02:11，Jing  写道：
> >
> > Hi Flink中文社区，
> >
> > 我碰到一个这样的问题，我的数据库有write throttle, 我的flink
> > app是一个10分钟窗口的聚合操作，这样导致，每10分钟有个非常大量的写请求。导致数据库的sink有时候会destroy.
> > 有什么办法把这些写请求均匀分布到10分钟吗？
> >
> >
> > 谢谢，
> > Jing
>
>

Re: 如何给flink的输出削峰填谷？

[Paul Lam]

Hi,

如果是 DataStream 应用的话，最简单的方式是给 sink 之前加个 throttle 算子，比如 guava RateLimiter。

SQL 应用的话可能要实现个 UDF 来做。

Best,
Paul Lam

> 2022年1月26日 02:11，Jing  写道：
> 
> Hi Flink中文社区，
> 
> 我碰到一个这样的问题，我的数据库有write throttle, 我的flink
> app是一个10分钟窗口的聚合操作，这样导致，每10分钟有个非常大量的写请求。导致数据库的sink有时候会destroy.
> 有什么办法把这些写请求均匀分布到10分钟吗？
> 
> 
> 谢谢，
> Jing

Re: Flink Connector类冲突问题

[Ada Wong]

https://issues.apache.org/jira/browse/FLINK-15786

Ada Wong  于2022年1月25日周二 19:40写道：
>
> 目前多个Connector出现无法shade的类冲突是没办法解决的。
> 我提了个issue，里面写了大致的解决方案。有老哥再这块熟悉一点的嘛？可以再issue里讨论下。
> https://issues.apache.org/jira/browse/FLINK-25804

如何给flink的输出削峰填谷？

[Jing]

Hi Flink中文社区，

我碰到一个这样的问题，我的数据库有write throttle, 我的flink
app是一个10分钟窗口的聚合操作，这样导致，每10分钟有个非常大量的写请求。导致数据库的sink有时候会destroy.
有什么办法把这些写请求均匀分布到10分钟吗？


谢谢，
Jing

Flink Connector类冲突问题

[Ada Wong]

目前多个Connector出现无法shade的类冲突是没办法解决的。
我提了个issue，里面写了大致的解决方案。有老哥再这块熟悉一点的嘛？可以再issue里讨论下。
https://issues.apache.org/jira/browse/FLINK-25804

Re: TaskManager的Slot的释放时机

[Zhilong Hong]

Hello, johnjlong:

TaskExecutor#cancel是RPC调用，不包含TM是否存活的信息。TM是否存活是由Heartbeat
Service来负责检测的，目前heartbeat.timeout配置项 [1]
的默认值为50s。而RPC调用的超时配置项akka.ask.timeout [2]
的默认值为10s。如果想要尽快检测到TM丢失的情况，可以将这两个配置项的值调小，但这有可能会导致集群或作业不稳定。

关于降低heartbeat timeout时长社区目前已有讨论，具体可以参考：[3] 和 [4]

[1]
https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/config/#heartbeat-timeout
[2]
https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/config/#akka-ask-timeout
[3] https://issues.apache.org/jira/browse/FLINK-23403
[4] https://issues.apache.org/jira/browse/FLINK-23209

Sincerely,
Zhilong

On Tue, Jan 25, 2022 at 10:06 AM johnjlong  wrote:

> 各位大佬好，请教一个问题。
> 我根据ResourceID主动释放TM的链接的时候，我发现TM对应的Slots仅仅是标记为free。
>
> 而其真正是释放却要等到JobMaster主动cancel整个ExecuteGraph的时候，此时会逐个调用每个定点所在的slot的TM的cancel方法。
> 但是此时相关联的TM已经close掉，触发了rpc超时，默认20s。然后slot才会被释放。
>
>
> 我的问题是：为什么不在调用TaskExecutor的cancelTask之间判断下TM是否存活，如果不存活就直接走cancel的流程，不用等rpc超时后，才进行下一步？？？
>
> 附上日志截图：
>
> johnjlong
> johnjl...@163.com
>
> 
> 签名由网易邮箱大师 定制
>

(??????)

[????????]

917712...@qq.com