wait_operator_state_"相关。最近fix的
> > https://issues.apache.org/jira/browse/FLINK-13063
> > 问题,正是暂时解决一致性问题,可以考虑cherry pick相关的fix重新部署你们的Flink作业,观察该问题是否还会复现。
> >
> > 祝好
> > 唐云
> > ____________
> > From: 戴嘉诚
> > Sent: Thursday, Jul
apshotStrategy 88行左右的代码[1]是对list
> > state进行deepcopy,但是你告诉我的state descriptor却是MapStateDescriptor >
> Long>,这二者之间明显是对不上的,还请再校验一下你的代码。异常栈出现在checkpoint同步阶段的内容拷贝时的ConcurrentModification,这个确实是很奇怪的,所以还需要麻烦回答一下下面几个问题:
> >
> > * 这个问题是必现的么?作业failover或者重新提交之后也会出现么?
> > * 由于opera
_state_"相关。最近fix的
https://issues.apache.org/jira/browse/FLINK-13063 问题,正是暂时解决一致性问题,可以考虑cherry
pick相关的fix重新部署你们的Flink作业,观察该问题是否还会复现。
祝好
唐云
From: 戴嘉诚
Sent: Thursday, July 25, 2019 21:07
To: user-zh
Subject: Re: Re: Flink checkpoint 并发问题
Hi 唐云
这个问题在这个job上是必现的,即使是fai
izeState的实现)。另外,这个operator
> state的申明以及相关的使用地方也最好提供一下。
>
> [1]
> https://github.com/apache/flink/blob/480875f045a9777877ed1a90f9e0c6e01b7e03c9/flink-runtime/src/main/java/org/apache/flink/runtime/state/DefaultOperatorStateBackendSnapshotStrategy.java#L88
>
> 祝好
> 唐云
> __
-runtime/src/main/java/org/apache/flink/runtime/state/DefaultOperatorStateBackendSnapshotStrategy.java#L88
祝好
唐云
From: 戴嘉诚
Sent: Thursday, July 25, 2019 19:26
To: user-zh
Subject: Re: Re: Flink checkpoint 并发问题
hi
你好,我用的flink是1.8,但是是根据hadoop 2.7.3.2.6.5.0-292 自行打
_
> From: 戴嘉诚
> Sent: Thursday, July 25, 2019 19:04
> To: user-zh@flink.apache.org
> Subject: Re: Re: Flink checkpoint 并发问题
>
> 这个用window不符合这个场景,因为是取每时每刻的最近半小时,而window只能是固定时间区间,例如window只能统计6点半至7点,
> 7点之7点半,而我的场景是需要6点到6点半,6点02分到6点32分,是根据数据的时间来确定区间,达到统计区间内的总数
>
>
ink版本是什么?这个operator 里面的operator state descriptor是什么?
>
> 祝好
> 唐云
>
> From: 戴嘉诚
> Sent: Thursday, July 25, 2019 19:04
> To: user-zh@flink.apache.org
> Subject: Re: Re: Flink checkpoint 并发问题
>
> 这个用window不符合这个场景,因为是取每时每刻的最近半小时,而window只能
: Re: Flink checkpoint 并发问题
这个用window不符合这个场景,因为是取每时每刻的最近半小时,而window只能是固定时间区间,例如window只能统计6点半至7点,
7点之7点半,而我的场景是需要6点到6点半,6点02分到6点32分,是根据数据的时间来确定区间,达到统计区间内的总数
athlon...@gmail.com 于2019年7月25日 周四18:50写道:
> 那你用window和evictor 不可以吗?
> 类似这样,因为我理解你的业务需求可以用这个来实现
>
在flink源码中org.apache.flink.streaming.examples.windowing.TopSpeedWindowing
>
> --
> athlon...@gmail.com
>
>
> *发件人:* 戴嘉诚
> *发送时间:* 2019-07-25 18:45
> *收件人:* user-zh
> *主题:* Re: Re: Flink checkpoint 并发问题
>
>
> 这个应该不行,因为这个ttl是删除整个map状态,而我是需要最近半小时内的数据量,所以这个map状态,如果一直有数据写入,我就只需要获取最近的半小时,超过的就在
那你用window和evictor 不可以吗?
类似这样,因为我理解你的业务需求可以用这个来实现
在flink源码中org.apache.flink.streaming.examples.windowing.TopSpeedWindowing
athlon...@gmail.com
发件人: 戴嘉诚
发送时间: 2019-07-25 18:45
收件人: user-zh
主题: Re: Re: Flink checkpoint 并发问题
这个应该不行,因为这个ttl是删除整个map状态,而我是需要最近半小时内的数据量,所以这个map状态,如果一直有数据写入,我就只需要获取最近的半
> 主题: Re: Flink checkpoint 并发问题
> 你好,这个参数我没有设置过,对于checkpoint,我只是设置了rockDB增量写入,其他都没有设置了
>
> athlon...@gmail.com 于2019年7月25日周四 下午6:20写道:
>
> > setMaxConcurrentCheckpoints 这个参数你设置过么?
> >
> >
> >
> > athlon...@gmail.com
> >
> > 发件人: 戴
其实你可以不用自己删除.使用TTL设置短一些时间,试试
athlon...@gmail.com
发件人: 戴嘉诚
发送时间: 2019-07-25 18:24
收件人: user-zh
主题: Re: Flink checkpoint 并发问题
你好,这个参数我没有设置过,对于checkpoint,我只是设置了rockDB增量写入,其他都没有设置了
athlon...@gmail.com 于2019年7月25日周四 下午6:20写道:
> setMaxConcurrentCheckpoints 这个参数你设置过么?
>
>
>
> athl
modifications. Enabling of
this feature will increase memory consumption then. Asynchronous snapshotting
does not have this problem.
我找到这段信息,感觉和你的操作类似
athlon...@gmail.com
发件人: 戴嘉诚
发送时间: 2019-07-25 18:24
收件人: user-zh
主题: Re: Flink checkpoint 并发问题
你好,这个参数我没有设置过,对于checkpoint,我只是设置了rockDB增量写入,其他都没有设置了
你好,这个参数我没有设置过,对于checkpoint,我只是设置了rockDB增量写入,其他都没有设置了
athlon...@gmail.com 于2019年7月25日周四 下午6:20写道:
> setMaxConcurrentCheckpoints 这个参数你设置过么?
>
>
>
> athlon...@gmail.com
>
> 发件人: 戴嘉诚
> 发送时间: 2019-07-25 18:07
> 收件人: user-zh
> 主题: Flink checkpoint 并发问题
> 大家好:
>
> 我这里有个Job,会经常不定时的挂掉重启,具体的异常日志为一下,大致
而且,我印象中mapstate操作不是线程安全的,需要你自己加锁
athlon...@gmail.com
发件人: 戴嘉诚
发送时间: 2019-07-25 18:07
收件人: user-zh
主题: Flink checkpoint 并发问题
大家好:
我这里有个Job,会经常不定时的挂掉重启,具体的异常日志为一下,大致是checkpoint的同步失败的
在这个job中,具体是查询最近半小时的数据量是否达到配置的阈值,我使用了rockDB作为后端,然后中间会有个processElement方法会把Key出来的消息,在内部中的MapState堆积,同时也会每条消息
setMaxConcurrentCheckpoints 这个参数你设置过么?
athlon...@gmail.com
发件人: 戴嘉诚
发送时间: 2019-07-25 18:07
收件人: user-zh
主题: Flink checkpoint 并发问题
大家好:
我这里有个Job,会经常不定时的挂掉重启,具体的异常日志为一下,大致是checkpoint的同步失败的
在这个job中,具体是查询最近半小时的数据量是否达到配置的阈值,我使用了rockDB作为后端,然后中间会有个processElement方法会把Key出来的消息,在内部中的MapState堆积,同时
16 matches
Mail list logo