回复: 回复:关于watermark和window

2021-05-08 文章
这个并行的窗口怎么理解,我理解的应该是两个窗口同时存在,窗口触发计算就是水印时间大于窗口endtime,那也就是两个窗口都会触发计算 smq 发件人: 曲洋 发送时间: 2021年5月8日 16:46 收件人: user-zh@flink.apache.org 主题: Re:回复:关于watermark和window 现在是这两点满足的,因为乱序原因存在两个窗口,watermark时间同时大于两个窗口的end_time 在 2021-05-08 16:40:00,"飞翔" 写道: >window促发的条件: >1、watermark时间 =

回复: 回复:flink -conf.yaml修改

2021-04-12 文章
多谢 smq 发件人: 熊云昆 发送时间: 2021年4月12日 18:48 收件人: smq 抄送: user-zh 主题: 回复:flink -conf.yaml修改 重启job就可以了,不需要重启集群 | | 熊云昆 | | 邮箱:xiongyun...@163.com | 签名由 网易邮箱大师 定制 在2021年04月12日 14:34,smq 写道: 大家好,这个配置文件修改之后需要什么操作才生效吗,比如重启集群,还是说直接启动作业自动就应用了呢

回复: 回复:MapState 无法更新问题

2021-03-09 文章
你虽然调整了实现方法的顺序,但是这个程序执行顺序还是先执行processElement(),后执行processBroadcastElement() 发件人: chaos 发送时间: 2021年3月10日 14:29 收件人: user-zh@flink.apache.org 主题: Re: 回复:MapState 无法更新问题 主要代码如下: class getRule extends KeyedBroadcastProcessFunction[String, KafkaStreamSource, List[Rule], KafkaStreamSource] {

回复: 回复:MapState 无法更新问题

2021-03-09 文章
A read-only view of the {@link BroadcastState}. * * Although read-only, the user code should not modify the value returned by the {@link * #get(Object)} or the entries of the immutable iterator returned by the {@link * #immutableEntries()}, as this can lead to inconsistent states. The reason for

flink 设置broadcastStream 的MapStateDescriptor

2021-01-17 文章
大家好: MapStateDescriptor (String name, TypeInformation keyTypeInfo, TypeInformation valueTypeInfo)中的第二个参数key值得是什么,其中value指的是状态值,在网上看到key大部分用的是String类型,不知道这个key是根据什么指定的。 smq

回复: checkpoint问题

2020-09-16 文章
感谢解答 smq 发件人: Yun Tang 发送时间: 2020年9月17日 10:30 收件人: user-zh 主题: Re: checkpoint问题 Hi checkpoint使用operator id进行一一映射进行恢复,请参照 设置id[1],以及如果checkpoint中存在某个operator但是修改后的作业并不存在该operator时的处理逻辑[2] [1]

flink RichFilterFunction重复过滤一条数据

2020-09-14 文章
场景: flink消费kafka,然后过滤掉某种类型的数据,然后打印一条warn类型的数据。 在测试时,我往kafka写了一条会被过滤掉的数据,偶尔会正常打印一条warn,更多的时候会重复打印该条数据,类似重复消费该条数据。 然后我在warn之后写了一条print语句,这时候就能正常过滤,过滤一条就打印一次warn,不会出现过滤一条数据,重复打印warn。因为这会导致我后续正常的数据无法消费,不知道这是什么问题。 代码: @Override Public boolean filter(Genericrecord record) throws Exception{

回复: Re: Re: 解析kafka的mysql binlog问题

2020-07-28 文章
你的flink什么版本 发送自 Windows 10 版邮件应用 发件人: air23 发送时间: 2020年7月28日 15:36 收件人: user-zh@flink.apache.org 主题: Re:Re: Re: 解析kafka的mysql binlog问题 格式如下 是canal解析的binlog 格式 data下面是一个数组样式。就是用string取不出来 其他都可以取的出来 { "data":[ { "op_id":"97037138", "order_id":"84172164"

回复: flink sink到kafka

2020-07-19 文章
谢谢,我试试 发送自 Windows 10 版邮件应用 发件人: godfrey he 发送时间: 2020年7月19日 23:06 收件人: user-zh 主题: Re: flink sink到kafka 如果你是用flink sql的,可以通过DDL的方式来定义kafka sink,参考 [1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html Best, Godfrey smq <374060...@qq.com>