Re: 讨论分析：数据类型对于shuffle时数据传输IO速度的影响（数十倍的差距）

[Husky Zeng]

我们的场景是这样的：

从hive读数据，计算后写回hive。

从hive读数据，为了加快速度，使用了650个并发subTask。

向hive写数据，为了减少小文件，需要控制并发subTask数量。

因此需要找一个环节进行shuffle。

所以有上面的疑问。




--
Sent from: http://apache-flink.147419.n8.nabble.com/