flink1.12 Standalone模式发送python脚本任务报错: java.lang.ClassNotFoundException: org.apache.flink.connector.jdbc.table.JdbcRowDataInputFormat

2021-03-21 文章 xiaoyue
flink1.12.2 部署standalone集群模式,任务是pyflink实现链接Mysql数据库完成计算任务: 1. 已在 /user/local/flink-1.12.2/lib目录下,添加相关依赖: mysql-connector-java-8.0.12.jar, flink-connector-jdbc_2.11-1.12.0.jar, flink-table-api-java-1.12.0.jar 2.发送任务命令: bin/flink run -py ../test.py -p 8

Re: Flink 1.12.0 隔几个小时Checkpoint就会失败

2021-03-21 文章 Congxian Qiu
从日志看 checkpoint 超时了,可以尝试看一下是哪个算子的哪个并发没有做完 checkpoint,可以看看这篇文章[1] 能否帮助你 [1] https://www.infoq.cn/article/g8ylv3i2akmmzgccz8ku Best, Congxian Frost Wong 于2021年3月18日周四 下午12:28写道: > 哦哦,我看到了有个 > > setTolerableCheckpointFailureNumber > > 之前不知道有这个方法,倒是可以试一下,不过我就是不太理解为什么会失败,也没有任何报错 >

flink1.11.2集群出现了3种连接拒绝,导致任务失败

2021-03-21 文章 chaiyi
你好: 最近建立一个3台机子的flink集群,版本是 zk-3.6.2 + hadoop-3.3.0 + flink-1.11.2。3台机制是在同一个物理机上建立的虚拟机,应该来说不会出现网络波动导致的网络拒绝,但是为什么一直会出现网络拒绝 项目在运行一段时间以后,短则几个小时,长则3到5天,任务就会挂掉,一共出现了一下3种异常,全是网络连接方法的,请帮忙看看,是不是flink网络配置方面有问题。 1. 集群之间通信连接拒绝: 2021-03-03 08:50:42,851 INFO

flink1.11.2集群出现了3种连接拒绝,导致任务失败

2021-03-21 文章 chaiyi
你好: 最近建立一个3台机子的flink集群,版本是 zk-3.6.2 + hadoop-3.3.0 + flink-1.11.2。3台机制是在同一个物理机上建立的虚拟机,应该来说不会出现网络波动导致的网络拒绝,但是为什么一直会出现网络拒绝 项目在运行一段时间以后,短则几个小时,长则3到5天,任务就会挂掉,一共出现了一下3种异常,全是网络连接方法的,请帮忙看看,是不是flink网络配置方面有问题。 1. 集群之间通信连接拒绝: 2021-03-03 08:50:42,851 INFO

Flink job manager HA 是否可以像 Hadoop Name Node 一样手动重启?

2021-03-21 文章 macdoor
Flink job manager HA 是否可以像 Hadoop Name Node 一样手动重启,同时保证集群正常运行? 我发现 job manager 占用内存似乎总是在缓慢不断增长,Hadoop Name Node 也有这个问题,我通过隔一段时间轮动重启Hadoop Name Node 解决这个问题,在HA模式下Flink job manager 是否可以轮动重启? -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink 1.11.2 使用rocksdb时出现org.apache.flink.util.SerializedThrowable错误

2021-03-21 文章 yidan zhao
分享下原因呗。 hdxg1101300...@163.com 于2021年3月21日周日 上午12:36写道: > 知道原因了 > > > > hdxg1101300...@163.com > > 发件人: hdxg1101300...@163.com > 发送时间: 2021-03-20 22:07 > 收件人: user-zh > 主题: flink 1.11.2 使用rocksdb时出现org.apache.flink.util.SerializedThrowable错误 > 你好: > 最近升级flink版本从flink 1.10.2

Re: flink 使用yarn部署,报错:Maximum Memory: 8192 Requested: 10240MB. Please check the 'yarn.scheduler.maximum-allocation-mb' and the 'yarn.nodemanager.resource.memory-mb' configuration values

2021-03-21 文章 Xintong Song
报错信息里已经说明了:你的 Yarn 集群配置允许的最大 container 是 2g,而你的 flink 配置的 TM 大小是 10g。 Thank you~ Xintong Song On Sat, Mar 20, 2021 at 7:52 PM william <712677...@qq.com> wrote: > org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't > deploy Yarn session cluster > at > >

flink cdc 在做全量同步时Lock wait timeout

2021-03-21 文章 王敏超
2021-03-22 09:33:19.554 [flink-akka.actor.default-dispatcher-4] INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Job Flink Streaming Job (e0f59fb577ea3d275451163cf5cc479b) switched from state RUNNING to FAILING. org.apache.flink.runtime.JobException: Recovery is suppressed by