当然,如果是 randomeKey %30 这样,虽然最终效果差不多,但却导致30个sink batch可能都集中到某几个并发实例上。

yidan zhao <[email protected]> 于2021年2月9日周二 下午3:22写道:

> 引入随机key最大问题是,本身希望batch方式sink,key太随机压根无法batch。
> 如果randomKey%1024这样分桶到1024的话,也不行,会导致每个bucket中数据量太少,进而基本都是timeout而sink,而不是达到batchSize,换言之,每次sink都会有1024个并发sink次数。
> 实际后端的存储可能不期望这么高并发,本身做batch的目的就是希望降低sink次数。
>
> 我希望的是按照并发度(比如30并发度)就每次sink30次(或超过30次,因为可能>batchSize,如果都<batchSize,则30个并发都超时sink,也就是一次触发会30次sink)。
>
> yidan zhao <[email protected]> 于2021年2月9日周二 下午3:04写道:
>
>> 如题,当前flink不支持非keyedStream使用定时器,不清楚有啥解决方法吗?
>>
>> 目前我实现一个sink,带超时希望用到timerservice。但是不支持。
>> 同时不希望使用keyedStream,因为会导致数据不均衡。
>>
>> 除了引入随机key外还有什么方法吗。
>>
>

回复