Re: flinkcdc 读不到mysql中数据

2022-11-02 文章 Leonard Xu
Flink CDC 社区有提供1.14支持的,2.2.1版本即可。你这个好像是没有开启checkpoint, 开启下就好了。 // enable checkpoint env.enableCheckpointing(1000); 祝好, Leonard > 2022年11月3日 上午11:34,左岩 <13520871...@163.com> 写道: > > 我用的是flink1.14 > ,因为官方没有匹配的版本,所以自己编译的flinkCDC,binlog也开启了,然后也没报错,读不到mysql的数据,idea控制台不报错也不输出数据,可能是什么原因呢(运行日志见附件) >

Re: flinkcdc 读不到mysql中数据

2022-11-02 文章 yinghua_zh
要在mysql表上t_stu上建个主键,只在FlinkSQL上指定主键不行。 > 在 2022年11月3日,11:54,yinghua...@163.com 写道: > > 要在mysql表上t_stu上建个主键,只在FlinkSQL上指定主键不行。 > > > > yinghua...@163.com > > 发件人: 左岩 > 发送时间: 2022-11-03 11:34 > 收件人: user-zh > 主题: flinkcdc 读不到mysql中数据 > 我用的是flink1.14 >

flinkcdc 读不到mysql中数据

2022-11-02 文章 左岩
我用的是flink1.14 ,因为官方没有匹配的版本,所以自己编译的flinkCDC,binlog也开启了,然后也没报错,读不到mysql的数据,idea控制台不报错也不输出数据,可能是什么原因呢(运行日志见附件) public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.setInteger("rest.port", 10041); StreamExecutionEnvironment env =

Re: flink1.14.5报错提示 “无法编译表程序。这是一个bug。请提交一个问题。”

2022-11-02 文章 ron
提供一下你的作业的SQL?详细一点的上下文 > -原始邮件- > 发件人: "junjie.m...@goupwith.com" > 发送时间: 2022-11-02 15:21:39 (星期三) > 收件人: user-zh > 抄送: > 主题: flink1.14.5报错提示 “无法编译表程序。这是一个bug。请提交一个问题。” > > flink1.14.5遇到一个很奇怪的报错,报错提示 “无法编译表程序。这是一个bug。请提交一个问题。” > 报错信息如下: > /* 1 */ > /* 2 */ public final class

Re: Remote system has been silent for too long. (more than 48.0 hours)

2022-11-02 文章 Weihua Hu
Hi, 这种情况一般是这两个 TaskManager 出现故障断开连接了。可以再查看下之前的日志验证下。 Best, Weihua On Wed, Nov 2, 2022 at 9:41 AM casel.chen wrote: > 今天线上 Flink 1.13.2 作业遇到如下报错,请问是何原因,要如何解决? > 作业内容是从kafka topic消费canal json数据写到另一个mysql库表 > > > 2022-09-17 19:40:03,088 ERROR akka.remote.Remoting > [] -

Re: 【SQL Gateway - HiveServer2】UnsupportedOperationException: Unrecognized TGetInfoType value: CLI_ODBC_KEYWORDS.

2022-11-02 文章 yu zelin
Hi, Sorry for slow reply. I have debugged and found why the error occurs. Please try using Hive2’s Beeline to connect to the SQL Gateway. I think it is a quick solution. The ‘CLI_ODBC_KEYWORDS' is new in Hive3, and in Initialization phase of connection, Beeline will send a request using

回复: Re:flink exactly once 写kafka,如果checkpoint超时了导致kafka的transaction在commit之前也超时了, flink会怎么处理呢?

2022-11-02 文章 郑 致远
你好. 但是下一次cp发起之时, kafka transaction 已经超时失败了, sink端precommit之前,写入到kafka的数据, 是不是就丢失了? 发件人: Xuyang 发送时间: 2022年11月1日 23:08 收件人: user-zh@flink.apache.org 主题: Re:flink exactly once 写kafka,如果checkpoint超时了导致kafka的transaction在commit之前也超时了, flink会怎么处理呢? Hi,

Re: Flink CDC 打宽表

2022-11-02 文章 Leonard Xu
是的,如果是双流join打宽,ttl设置得过短,state里的历史数据被清理掉了,后续的更新数据进入join节点关联不上就可能会下发nul 祝好, Leonard > 2022年11月2日 上午11:49,Fei Han 写道: > > 大家好!关于 Flink CDC 打宽表有如下疑问: > 启动一个任务后,刚开始个字段是有值的。但跑一段时间或者跨天后,字段无缘无故是null值了。用其他引擎跑数据却是正常的。 > 比如第一天启动任务,A字段是有值的。但是第二天发现A字段全部是NULL值了。但用presto查询却是正常的。但我猜测是不是和TTL设置有关系呢?我设置了1天。