关于“批”处理元素导致batch的event timestamp变化,后接window统计错乱的问题。

2022-02-18 文章 yidan zhao
背景 部分算子需要redis查询,为了性能,需要做批量redis查询,通过redis pipeline机制查询。所以对于输入流A,我会做一个BatchGenerator算子B用于将输入数据转位batch输出,然后算子C查询redis后输出,并且输出时拆分batch为多个单独元素,进入算子D。D算子如果是window统计,...。 问题 算子D部分会发现收到的元素无timestamp、或timestamp错误,导致程序出错,或者窗口划分错误。 原因分析和解决等

[ANNOUNCE] Apache Flink 1.13.6 released

2022-02-18 文章 Konstantin Knauf
The Apache Flink community is very happy to announce the release of Apache Flink 1.13.6, which is the fifth bugfix release for the Apache Flink 1.13 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming

Re:退订

2022-02-18 文章 但宝平
退订

Re:flink 不触发checkpoint

2022-02-18 文章 RS
1. 图片挂了,看不到,尽量用文字,或者用图床等工具 2. 启动任务有配置checkpoint吗? 在 2022-02-17 11:40:04,"董少杰" 写道: flink读取csv文件建表,同时消费kafka数据建表,两张表join之后写入hdfs(hudi),读取csv数据的任务已经是finished状态,就会触发不了checkpoint,看有什么办法能让它正常触发checkpoint? flink版本1.12.2。 谢谢! | | 董少杰 | | eric21...@163.com |