Re: flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1

Fri, 09 Oct 2020 23:35:35 -0700 

Hi,

实时写hive有一个已知的性能问题：https://issues.apache.org/jira/browse/FLINK-19121
建议打一个这个patch再试试。

On Tue, Sep 29, 2020 at 7:12 PM Jun Zhang <[email protected]> wrote:

> 你的kafka的分区数是多少，把flink的并行度加大到kafka的分区数。
>
>
>
> Best&nbsp;&nbsp;Jun
>
>
> ------------------ 原始邮件 ------------------
> 发件人: me <[email protected]&gt;
> 发送时间: 2020年9月29日 19:08
> 收件人: user-zh <[email protected]&gt;
> 主题: 回复：flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1
>
>
>
> flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1
> tableEnv.executeSql("insert into dwd_security_log select * from " + table)
>
> 实际写入hive之后，查看hdfs上写入的文件为19M,这是60秒内写入hive的，flink流式写入hive通过checkpotin来把数据刷入hive中。
>
>
> 请问大家只有有什么提升写入速度的参数或者方式吗？



-- 
Best regards!
Rui Li

回复