背景
部分算子需要redis查询,为了性能,需要做批量redis查询,通过redis
pipeline机制查询。所以对于输入流A,我会做一个BatchGenerator算子B用于将输入数据转位batch输出,然后算子C查询redis后输出,并且输出时拆分batch为多个单独元素,进入算子D。D算子如果是window统计,...。
问题
算子D部分会发现收到的元素无timestamp、或timestamp错误,导致程序出错,或者窗口划分错误。
原因分析和解决等
The Apache Flink community is very happy to announce the release of Apache
Flink 1.13.6, which is the fifth bugfix release for the Apache Flink 1.13
series.
Apache Flink® is an open-source stream processing framework for
distributed, high-performing, always-available, and accurate data streaming
退订
1. 图片挂了,看不到,尽量用文字,或者用图床等工具
2. 启动任务有配置checkpoint吗?
在 2022-02-17 11:40:04,"董少杰" 写道:
flink读取csv文件建表,同时消费kafka数据建表,两张表join之后写入hdfs(hudi),读取csv数据的任务已经是finished状态,就会触发不了checkpoint,看有什么办法能让它正常触发checkpoint?
flink版本1.12.2。
谢谢!
| |
董少杰
|
|
eric21...@163.com
|