既然性能差异这么大,所以为什么不默认使用BulkWriter,而使用MR writer呢

> 2020年11月26日 下午7:50,Leonard Xu <[email protected]> 写道:
> 
> 
> Hi, admin
> 
> 谢谢验证,
>> 在 2020年11月26日,17:43,admin <[email protected]> 写道:
>> 
>> 默认true的情况下 两个任务同时写30分钟,写hive的任务就已经落后了3分钟
> 
> 此时,写hive用MR writer,写HDFS只支持Flink BulkWriter, 如果单独测试sink的话,Flink BulkWriter 
> 应该不止10%的性能提升。
> 
>> false的情况,两个写30多分钟,差异不大
> 
> false时,两个作业都用 Flink BulkWriter,差异是不大的。
> 
> 另外 1.11分支上的这个issue应该在1.11.3里修复。
> 
> 祝好,
> Leonard

回复