Blink 目前没有对迭代进行特别优化。不过Blink是基于社区1.5.1版本的,建议你用Flink 1.5.1版本测试一下看看是不是还是有区别。

On Thu, Feb 28, 2019 at 10:17 AM Dreamer <1762882...@qq.com> wrote:

> 各位,我想请教一下,Blink是否对Flink的迭代进行了优化?如果优化了的话是对批处理进行的优化还是流计算进行的优化?主要采用了哪些优化技术?
>
> 我前两天用flink1.4.2和Blink自带的example中streaming中的Iteation例子进行了实验对比,数据就是两个小于100的整数,看他们迭代几次相加能够超过100.我生成了1500条数据,两个集群时间差不多都是7-8s,但是我把相同的数据复制了4份,即6000条,用Blink处理依然是7-8s,但是flink1.4.2是36-40min。感觉很奇怪,我从100条依次往上翻倍赋值的时候两个引擎时间都差不多,但是超过一定数量后,flink1.4.2就突然变得特变慢。而Blink不变。我如果直接用6000条不重复的数据,两个引擎时间都要超过10多个小时(还没跑完)。是集群配置的原因还是其他的原因呢?

回复