这个并行的窗口怎么理解,我理解的应该是两个窗口同时存在,窗口触发计算就是水印时间大于窗口endtime,那也就是两个窗口都会触发计算
smq
发件人: 曲洋
发送时间: 2021年5月8日 16:46
收件人: user-zh@flink.apache.org
主题: Re:回复:关于watermark和window
现在是这两点满足的,因为乱序原因存在两个窗口,watermark时间同时大于两个窗口的end_time
在 2021-05-08 16:40:00,"飞翔" 写道:
>window促发的条件:
>1、watermark时间 =
多谢
smq
发件人: 熊云昆
发送时间: 2021年4月12日 18:48
收件人: smq
抄送: user-zh
主题: 回复:flink -conf.yaml修改
重启job就可以了,不需要重启集群
| |
熊云昆
|
|
邮箱:xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2021年04月12日 14:34,smq 写道:
大家好,这个配置文件修改之后需要什么操作才生效吗,比如重启集群,还是说直接启动作业自动就应用了呢
你虽然调整了实现方法的顺序,但是这个程序执行顺序还是先执行processElement(),后执行processBroadcastElement()
发件人: chaos
发送时间: 2021年3月10日 14:29
收件人: user-zh@flink.apache.org
主题: Re: 回复:MapState 无法更新问题
主要代码如下:
class getRule extends KeyedBroadcastProcessFunction[String,
KafkaStreamSource, List[Rule], KafkaStreamSource] {
A read-only view of the {@link BroadcastState}.
*
* Although read-only, the user code should not modify the value returned by
the {@link
* #get(Object)} or the entries of the immutable iterator returned by the {@link
* #immutableEntries()}, as this can lead to inconsistent states. The reason for
大家好:
MapStateDescriptor (String name, TypeInformation keyTypeInfo,
TypeInformation
valueTypeInfo)中的第二个参数key值得是什么,其中value指的是状态值,在网上看到key大部分用的是String类型,不知道这个key是根据什么指定的。
smq
感谢解答
smq
发件人: Yun Tang
发送时间: 2020年9月17日 10:30
收件人: user-zh
主题: Re: checkpoint问题
Hi
checkpoint使用operator id进行一一映射进行恢复,请参照
设置id[1],以及如果checkpoint中存在某个operator但是修改后的作业并不存在该operator时的处理逻辑[2]
[1]
场景:
flink消费kafka,然后过滤掉某种类型的数据,然后打印一条warn类型的数据。
在测试时,我往kafka写了一条会被过滤掉的数据,偶尔会正常打印一条warn,更多的时候会重复打印该条数据,类似重复消费该条数据。
然后我在warn之后写了一条print语句,这时候就能正常过滤,过滤一条就打印一次warn,不会出现过滤一条数据,重复打印warn。因为这会导致我后续正常的数据无法消费,不知道这是什么问题。
代码:
@Override
Public boolean filter(Genericrecord record) throws Exception{
你的flink什么版本
发送自 Windows 10 版邮件应用
发件人: air23
发送时间: 2020年7月28日 15:36
收件人: user-zh@flink.apache.org
主题: Re:Re: Re: 解析kafka的mysql binlog问题
格式如下 是canal解析的binlog 格式 data下面是一个数组样式。就是用string取不出来 其他都可以取的出来
{
"data":[
{
"op_id":"97037138",
"order_id":"84172164"
谢谢,我试试
发送自 Windows 10 版邮件应用
发件人: godfrey he
发送时间: 2020年7月19日 23:06
收件人: user-zh
主题: Re: flink sink到kafka
如果你是用flink sql的,可以通过DDL的方式来定义kafka sink,参考 [1]
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html
Best,
Godfrey
smq <374060...@qq.com>