Fw:flink on k8s 提交job时如何指定taskmanager的个数

2021-01-07 文章 西
] at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[?:1.8.0_265] at java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_265] 转发邮件信息 发件人:"旧城以西" 发送日期:2021-01-08 10:12:45 收件人:"user-zh@flink.apache.org" 主题:flink on k8s 提交job时如何指定taskmanager的个数 各位大佬好: 目前我使用的fli

flink on k8s 提交job时如何指定taskmanager的个数

2021-01-07 文章 西
各位大佬好: 目前我使用的flink on k8s session部署的flink 集群,集群里有3个taskmanager,每个taskmanager 有8个slot。我在提交job时,并行度设置的是3,目前job始终都是在一个taskmanager上,造成数据倾斜,每次checkpoint都不能成功。请问各位大佬在flink on k8s 上有没有类似yarn上的yarnslot 这样的参数来,控制使用taskmanager的个数。 flink taskmanager的配置 jobmanager.rpc.address: flink-jobmanager-svc

通过k8s 部署的flink 集群

2021-01-06 文章 西
通过k8s-session部署的flink 集群,三个节点,job提交上去后为什么只占用一个task manager的节点。目前这样,导致数据倾斜,每次checkpoint 都会失败

通过k8s 部署的flink 集群

2021-01-06 文章 西
通过k8s-session部署的flink 集群,三个节点,job提交上去后为什么只占用一个task manager的节点。目前这样,导致数据倾斜,每次checkpoint 都会失败

通过k8s 部署的flink 集群

2021-01-06 文章 西
通过k8s-session部署的flink 集群,三个节点,job提交上去后为什么只占用一个task manager的节点。目前这样,导致数据倾斜,每次checkpoint 都会失败

使用k8s 实现flink 的高可用

2020-09-07 文章 西
请教各位大佬,如果通过k8s session 实现flink的ha,如果有实现的了,请提供一下相应配置文件 根据官方文档,配置ha需要修改master,那么通过k8s 部署,如何修改master文件