既然性能差异这么大,所以为什么不默认使用BulkWriter,而使用MR writer呢
> 2020年11月26日 下午7:50,Leonard Xu <[email protected]> 写道: > > > Hi, admin > > 谢谢验证, >> 在 2020年11月26日,17:43,admin <[email protected]> 写道: >> >> 默认true的情况下 两个任务同时写30分钟,写hive的任务就已经落后了3分钟 > > 此时,写hive用MR writer,写HDFS只支持Flink BulkWriter, 如果单独测试sink的话,Flink BulkWriter > 应该不止10%的性能提升。 > >> false的情况,两个写30多分钟,差异不大 > > false时,两个作业都用 Flink BulkWriter,差异是不大的。 > > 另外 1.11分支上的这个issue应该在1.11.3里修复。 > > 祝好, > Leonard
