图片打不开,可以发下代码看看
翼 之道 于2022年2月16日周三 17:44写道:
> 我写了一个demo程序进行简单的模式匹配,代码如下,但是每输入一个数据都是迟到的
>
>
>
> 每输入一个数据 都通过迟到的流进行输出,没有进行模式匹配的计算
>
>
>
> 请问这是为什么呢, 其他的复杂的模式匹配我都是验证成功的,这种最简单的为何得不到我想要的结果
>
Hello, 我有一个Flink 1.13.2 on native kubernetes application作业遇到如下异常,会是什么原因造成的?
Starting kubernetes-application as a console application on host
dc-ads-ptfz-nspos-sib-trans-sum-6d9dbf587b-tgbmx.
ERROR StatusLogger Reconfiguration failed: No configuration found for
'135fbaa4' at 'null' in 'null'
我写了一个demo程序进行简单的模式匹配,代码如下,但是每输入一个数据都是迟到的
[cid:image006.png@01D82356.C91B7890]
[cid:image007.png@01D82356.C91B7890]
每输入一个数据 都通过迟到的流进行输出,没有进行模式匹配的计算
[cid:image008.png@01D82356.C91B7890]
请问这是为什么呢, 其他的复杂的模式匹配我都是验证成功的,这种最简单的为何得不到我想要的结果
Hi liangjinghong,
原因是 blink planner 中引入并修改了 SqlTableRef 类, 而 Legacy planner 中没有引入 SqlTableRef
类,从而导致加载到了Calcite 中 SqlTableRef (该类有问题)。
解决方案:如果只使用到了blink planner,可以把legacy planner 的包冲lib下移除。
Best,
Godfrey
liangjinghong 于2022年2月14日周一 17:26写道:
> 各位老师们好,以下代码在开发环境中可以执行,打包部署后报错:
>
> 代码:
>
> CREATE
如果mysql配置不是auto commit,那么事务是在哪一步提交呢?
在 2022-02-16 10:24:39,"Michael Ran" 写道:
>jdbc 连接 mysql 的driver 记得默认就是AutoCommit。phoenix不太清楚
>在 2022-02-15 13:25:07,"casel.chen" 写道:
>>最近在扩展flink sql jdbc
如图,这个是某个正常现象,分析如下:
数据A:ts1
数据B:ts2
假设ts1和ts2是2event time,并且属于不同窗口。
但是,当通过processFunc加个batch逻辑后,将2个元素放一起作为List这样输出到下一个算子处理,下个算子处理后再拆分输出。
此时,2个数据A和B的event time都会变成ts2。这导致了后续window操作的时间错乱。
不清楚大家有啥好的思路解决不。
目前2个考虑方案。
(1)拆分数据后重新生成event timestamp。
(2)processFunc换成keyedProcessFun,将窗口信息放入keyBy列表中。
感谢老师的回复,然而我的部署环境下的lib中没有您说的这个包,请问是要移除哪个包呢?
我的lib下有的包:
flink-csv-1.13.0.jar
flink-dist_2.11-1.13.0.jar
flink-json-1.13.0.jar
flink-shaded-zookeeper-3.4.14.jar
flink-sql-connector-mysql-cdc-2.1.1.jar
flink-table_2.11-1.13.0.jar
flink-table-blink_2.11-1.13.0.jar
log4j-1.2-api-2.12.1.jar
qhp...@hotmail.com
flink读取csv文件建表,同时消费kafka数据建表,两张表join之后写入hdfs(hudi),读取csv数据的任务已经是finished状态,就会触发不了checkpoint,看有什么办法能让它正常触发checkpoint?
flink版本1.12.2。
谢谢!
| |
董少杰
|
|
eric21...@163.com
|
hello,你好:
flink cdc是基于debezium实现的mysql实时同步,debezium是以slave
server的方式去读取mysql的binlog日志,默认情况下是,系统会自动生成一个介于 5400 和 6400
之间的随机数,作为debezium这个客户端的server-id,而这个id在mysql
cluster中必须是唯一的,报这个错说明是有重复的server-id了,建议你显示的配上这个参数“server-id”,可以配置成一个数字或者一个范围:
另外当 scan.incremental.snapshot.enabled
11 matches
Mail list logo