Hi! 图片无法显示,建议使用外部图床上传。
checkpoint 慢的原因可能有很多,最可能的原因是由于算子处理数据太慢导致反压(可以通过 Flink web UI 每个节点的 busy 百分比大致看出来)。建议检查资源是否充足,数据是否倾斜,gc 是否过于频繁等。 紫月幽魔灵 <[email protected]> 于2021年12月28日周二 10:38写道: > 版本:flink版本1.14.0 > 问题: 使用flink 1.14.0版本提交到jdk1.7版本的yarn集群上checkpoint无法生成,一直处于IN_PROGRESS状态 > 提交命令如下: > ./bin/flinksql-submit.sh \ > --sql sqlserver-cdc-to-kafka.sql \ > -m yarn-cluster \ > -ynm sqlserverTOkafka \ > -ys 2 \ > -yjm 1024 \ > -ytm 1024 \ > -yid application_1640657115196_0001 \ > -yD yarn.taskmanager.env.JAVA_HOME=/usr/java/jdk1.8.0_25 \ > -yD containerized.master.env.JAVA_HOME=/usr/java/jdk1.8.0_25 \ > -yD containerized.taskmanager.env.JAVA_HOME=/usr/java/jdk1.8.0_25 \ > -yD log4j2.formatMsgNoLookups=true > 这是什么原因造成的呢? >
