环境背景:flink 1.10 standalone cluster

原因:因数据处理,需要动态的增加OutputTag做数据流的分流

即因业务原因,需要有些A数据先运行计算好后,才能被使用B、C、D类数据流结合处理后的结果后的结果流,才能使用A数据流。但A是变化的。

目的:除了Rich方式在open中能够预加载数据外(即先于数据流处理其他数据),是否还有其他方式

在flink的流式计算中没有什么比较好的办法,实施流之间的数据结果依赖。
我试过使用流式数据处理A;使用流式数据处理{B、C、D}在Function_XXX中使用A的结果流
但是Function_XXX中使用A的结果时,A的结果是空的。
尝试过A的数据处理改成DataSet方式batch处理后collection()得到List<YYY>后,在Function_XXX中使用List<YYY>,但List<YYYY>也是空集。

因基于双流join在具体的业务上时间跨度太大等原因不适合。

发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用

回复