Re: cep 的困惑

2022-02-16 文章 yue ma
图片打不开,可以发下代码看看 翼 之道 于2022年2月16日周三 17:44写道: > 我写了一个demo程序进行简单的模式匹配,代码如下,但是每输入一个数据都是迟到的 > > > > 每输入一个数据 都通过迟到的流进行输出,没有进行模式匹配的计算 > > > > 请问这是为什么呢, 其他的复杂的模式匹配我都是验证成功的,这种最简单的为何得不到我想要的结果 >

org.apache.flink.runtime.rpc.exceptions.FencingTokenException

2022-02-16 文章 casel.chen
Hello, 我有一个Flink 1.13.2 on native kubernetes application作业遇到如下异常,会是什么原因造成的? Starting kubernetes-application as a console application on host dc-ads-ptfz-nspos-sib-trans-sum-6d9dbf587b-tgbmx. ERROR StatusLogger Reconfiguration failed: No configuration found for '135fbaa4' at 'null' in 'null'

cep 的困惑

2022-02-16 文章 翼 之道
我写了一个demo程序进行简单的模式匹配,代码如下,但是每输入一个数据都是迟到的 [cid:image006.png@01D82356.C91B7890] [cid:image007.png@01D82356.C91B7890] 每输入一个数据 都通过迟到的流进行输出,没有进行模式匹配的计算 [cid:image008.png@01D82356.C91B7890] 请问这是为什么呢, 其他的复杂的模式匹配我都是验证成功的,这种最简单的为何得不到我想要的结果

Re: flink创建视图后,SELECT语句后使用OPTIONS报错

2022-02-16 文章 godfrey he
Hi liangjinghong, 原因是 blink planner 中引入并修改了 SqlTableRef 类, 而 Legacy planner 中没有引入 SqlTableRef 类,从而导致加载到了Calcite 中 SqlTableRef (该类有问题)。 解决方案:如果只使用到了blink planner,可以把legacy planner 的包冲lib下移除。 Best, Godfrey liangjinghong 于2022年2月14日周一 17:26写道: > 各位老师们好,以下代码在开发环境中可以执行,打包部署后报错: > > 代码: > > CREATE

Re:Re:flink sql jdbc sink事务提交问题

2022-02-16 文章 casel.chen
如果mysql配置不是auto commit,那么事务是在哪一步提交呢? 在 2022-02-16 10:24:39,"Michael Ran" 写道: >jdbc 连接 mysql 的driver 记得默认就是AutoCommit。phoenix不太清楚 >在 2022-02-15 13:25:07,"casel.chen" 写道: >>最近在扩展flink sql jdbc

关于将数据batch到一起处理再拆分后timestamp发生错乱的问题

2022-02-16 文章 yidan zhao
如图,这个是某个正常现象,分析如下: 数据A:ts1 数据B:ts2 假设ts1和ts2是2event time,并且属于不同窗口。 但是,当通过processFunc加个batch逻辑后,将2个元素放一起作为List这样输出到下一个算子处理,下个算子处理后再拆分输出。 此时,2个数据A和B的event time都会变成ts2。这导致了后续window操作的时间错乱。 不清楚大家有啥好的思路解决不。 目前2个考虑方案。 (1)拆分数据后重新生成event timestamp。 (2)processFunc换成keyedProcessFun,将窗口信息放入keyBy列表中。

转发: flink创建视图后,SELECT语句后使用OPTIONS报错

2022-02-16 文章 liangjinghong
感谢老师的回复,然而我的部署环境下的lib中没有您说的这个包,请问是要移除哪个包呢? 我的lib下有的包: flink-csv-1.13.0.jar flink-dist_2.11-1.13.0.jar flink-json-1.13.0.jar flink-shaded-zookeeper-3.4.14.jar flink-sql-connector-mysql-cdc-2.1.1.jar flink-table_2.11-1.13.0.jar flink-table-blink_2.11-1.13.0.jar log4j-1.2-api-2.12.1.jar

退订

2022-02-16 文章 qhp...@hotmail.com
qhp...@hotmail.com

flink 不触发checkpoint

2022-02-16 文章 董少杰
flink读取csv文件建表,同时消费kafka数据建表,两张表join之后写入hdfs(hudi),读取csv数据的任务已经是finished状态,就会触发不了checkpoint,看有什么办法能让它正常触发checkpoint? flink版本1.12.2。 谢谢! | | 董少杰 | | eric21...@163.com |

????

2022-02-16 文章 ????

回复: flinkcdc:slave with the same server_uuid/server_id as this slave has connected to the master;

2022-02-16 文章 chengyanan1...@foxmail.com
hello,你好: flink cdc是基于debezium实现的mysql实时同步,debezium是以slave server的方式去读取mysql的binlog日志,默认情况下是,系统会自动生成一个介于 5400 和 6400 之间的随机数,作为debezium这个客户端的server-id,而这个id在mysql cluster中必须是唯一的,报这个错说明是有重复的server-id了,建议你显示的配上这个参数“server-id”,可以配置成一个数字或者一个范围: 另外当 scan.incremental.snapshot.enabled