Re:延迟事件处理

Tue, 09 Jun 2020 02:27:18 -0700 

这是一个需要实时展示统计指标的系统，数据来源于检测器，检测器安装在客户那边，可能有下线的状态，或者数据延迟到达，不确定下线的时间，某个检测器下线之后在第二天上线会有一批昨天的数据，会发生延迟的数据处理
 
 
------------------ Original ------------------
From: &nbsp;"1048262223"<1048262...@qq.com&gt;;
Date: &nbsp;Tue, Jun 9, 2020 05:14 PM
To: &nbsp;"user-zh"<user-zh@flink.apache.org&gt;; 

Subject: &nbsp;回复：延迟事件处理

&nbsp;

Hi


我没有从你的需求场景中理解你是怎样推导出你说的那两种方案可以作为解决方法的，可以详细描述一下整个需求场景吗。
比如你们的整体场景是什么，为什么需要用flink满足你们的需求。


Best,
Yichao Yang




------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
发件人:&amp;nbsp;"wangxiangyan"<wangxiang...@dutinn.com&amp;gt;;
发送时间:&amp;nbsp;2020年6月9日(星期二) 下午5:10
收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;

主题:&amp;nbsp;延迟事件处理



hi
在使用中遇到的需求是，按分钟处理数据，数据源是不稳定的，可能会一段时间内下线，比如第二天前一天的数据大量涌入，可能的选择方案有
1.延迟数据处理：将延迟数据采取另外的逻辑处理与外部系统交互，但是允许延迟的状态存储是不是需要调节为一天时间
2.每天晚上定时使用批处理重新计算白天的数据去校正

应该使用哪种方式或者使用更好的方式去处理呢？

回复