就是open什么时候被调用,当任务异常后自动重启或者状态数据迁移后,open会不会又打开一次,就是类似这种生命周期 state的范围除了我提到的,是否可以多个算子共享
在 2022-08-30 15:41:51，"yue ma" <[email protected]> 写道： >我想你是想了解 task 的生命周期 ？ 可以看看这个文档 >https://nightlies.apache.org/flink/flink-docs-master/docs/internals/task_lifecycle/ >， state 的范围具体是指什么问题呢 ？ 感觉都可以在官方文档上找到答案 > > >曲洋 <[email protected]> 于2022年8月30日周二 14:50写道： > >> 了解了,我还想请教一下,比如open的生命周期,state的范围,这种要从什么地方可以了解到,我发现一个难点就是我甚至不知道怎么搜索 >> >> 在 2022-08-30 14:34:57，"yanfei lei" <[email protected]> 写道： >> >Hi, >> >1) state无法在不同的算子共享，如yue ma的建议，或许可以把需要共享的部分存储在外部系统，然后在两个map里访问同一个外部系统以实现共享 >> >2) 除开operatorState，或许自定义一个总是返回相同值的keySelector，也可以把所有的key都聚合到一起。 >> > >> >yue ma <[email protected]> 于2022年8月30日周二 14:20写道： >> > >> >> hi >> >> 1） flink 内部的 state 算子之间是不可以共享的，所以你可能需要借助外部的存储（比如 redis）来做类似的事情 >> >> 2） 你可以看看 operatorState 的使用方式 >> >> >> >> >> https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/state/#operator-state >> >> >> >> >> >> 曲洋 <[email protected]> 于2022年8月30日周二 12:32写道： >> >> >> >> > 各位好, >> >> > 我想请教两个问题: >> >> > 1) flink的state是否可以在不同的算子共享,比如,第一个map我有一个state,到了第二个map我继续拿到这个state? >> >> > 2) flink的state有没有不需要keyby的,因为想统计一个总量,还没有合适的key可以选择? >> >> > >> >> > >> >> >>
