flink1.12.2 部署standalone集群模式,任务是pyflink实现链接Mysql数据库完成计算任务:
1. 已在 /user/local/flink-1.12.2/lib目录下,添加相关依赖:
mysql-connector-java-8.0.12.jar,
flink-connector-jdbc_2.11-1.12.0.jar,
flink-table-api-java-1.12.0.jar
2.发送任务命令:
bin/flink run -py ../test.py -p 8
从日志看 checkpoint 超时了,可以尝试看一下是哪个算子的哪个并发没有做完 checkpoint,可以看看这篇文章[1] 能否帮助你
[1] https://www.infoq.cn/article/g8ylv3i2akmmzgccz8ku
Best,
Congxian
Frost Wong 于2021年3月18日周四 下午12:28写道:
> 哦哦,我看到了有个
>
> setTolerableCheckpointFailureNumber
>
> 之前不知道有这个方法,倒是可以试一下,不过我就是不太理解为什么会失败,也没有任何报错
>
你好:
最近建立一个3台机子的flink集群,版本是 zk-3.6.2 + hadoop-3.3.0 +
flink-1.11.2。3台机制是在同一个物理机上建立的虚拟机,应该来说不会出现网络波动导致的网络拒绝,但是为什么一直会出现网络拒绝
项目在运行一段时间以后,短则几个小时,长则3到5天,任务就会挂掉,一共出现了一下3种异常,全是网络连接方法的,请帮忙看看,是不是flink网络配置方面有问题。
1. 集群之间通信连接拒绝:
2021-03-03 08:50:42,851 INFO
你好:
最近建立一个3台机子的flink集群,版本是 zk-3.6.2 + hadoop-3.3.0 +
flink-1.11.2。3台机制是在同一个物理机上建立的虚拟机,应该来说不会出现网络波动导致的网络拒绝,但是为什么一直会出现网络拒绝
项目在运行一段时间以后,短则几个小时,长则3到5天,任务就会挂掉,一共出现了一下3种异常,全是网络连接方法的,请帮忙看看,是不是flink网络配置方面有问题。
1. 集群之间通信连接拒绝:
2021-03-03 08:50:42,851 INFO
Flink job manager HA 是否可以像 Hadoop Name Node 一样手动重启,同时保证集群正常运行?
我发现 job manager 占用内存似乎总是在缓慢不断增长,Hadoop Name Node 也有这个问题,我通过隔一段时间轮动重启Hadoop
Name Node 解决这个问题,在HA模式下Flink job manager 是否可以轮动重启?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
分享下原因呗。
hdxg1101300...@163.com 于2021年3月21日周日 上午12:36写道:
> 知道原因了
>
>
>
> hdxg1101300...@163.com
>
> 发件人: hdxg1101300...@163.com
> 发送时间: 2021-03-20 22:07
> 收件人: user-zh
> 主题: flink 1.11.2 使用rocksdb时出现org.apache.flink.util.SerializedThrowable错误
> 你好:
> 最近升级flink版本从flink 1.10.2
报错信息里已经说明了:你的 Yarn 集群配置允许的最大 container 是 2g,而你的 flink 配置的 TM 大小是 10g。
Thank you~
Xintong Song
On Sat, Mar 20, 2021 at 7:52 PM william <712677...@qq.com> wrote:
> org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't
> deploy Yarn session cluster
> at
>
>
2021-03-22 09:33:19.554 [flink-akka.actor.default-dispatcher-4] INFO
org.apache.flink.runtime.executiongraph.ExecutionGraph - Job Flink Streaming
Job (e0f59fb577ea3d275451163cf5cc479b) switched from state RUNNING to
FAILING.
org.apache.flink.runtime.JobException: Recovery is suppressed by