]
at
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
~[?:1.8.0_265]
at java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_265]
转发邮件信息
发件人:"旧城以西"
发送日期:2021-01-08 10:12:45
收件人:"user-zh@flink.apache.org"
主题:flink on k8s 提交job时如何指定taskmanager的个数
各位大佬好:
目前我使用的fli
各位大佬好:
目前我使用的flink on k8s session部署的flink 集群,集群里有3个taskmanager,每个taskmanager
有8个slot。我在提交job时,并行度设置的是3,目前job始终都是在一个taskmanager上,造成数据倾斜,每次checkpoint都不能成功。请问各位大佬在flink
on k8s 上有没有类似yarn上的yarnslot 这样的参数来,控制使用taskmanager的个数。
flink taskmanager的配置
jobmanager.rpc.address: flink-jobmanager-svc
通过k8s-session部署的flink 集群,三个节点,job提交上去后为什么只占用一个task
manager的节点。目前这样,导致数据倾斜,每次checkpoint 都会失败
通过k8s-session部署的flink 集群,三个节点,job提交上去后为什么只占用一个task
manager的节点。目前这样,导致数据倾斜,每次checkpoint 都会失败
通过k8s-session部署的flink 集群,三个节点,job提交上去后为什么只占用一个task
manager的节点。目前这样,导致数据倾斜,每次checkpoint 都会失败
请教各位大佬,如果通过k8s session 实现flink的ha,如果有实现的了,请提供一下相应配置文件
根据官方文档,配置ha需要修改master,那么通过k8s 部署,如何修改master文件