Re:延迟事件处理
1. 指标统计展示是mysql，按照事件时间做窗口的统计，如果按照处理时间，需要找到数据所属的窗口实现外部系统的更新，但在前台页面可能获取不到最近几分钟的统计数据，此时事件时间也同样延迟，语义上不如事件事件解释性强一些 2. 白天运行的时候显示实时的数据，晚上去更正一整天的数据，资源消耗很大，不确定这种延迟的频率，应该也不会常出现吧 还是将延迟数据收集起来，另外启动一个流处理任务不断消费延迟数据，通过和mysql交互，将统计出的指标和之前窗口统计出的指标求和然后更新，这个逻辑似乎比较合理 --Original-- From: "1048262223"<1048262...@qq.com; Date: Tue, Jun 9, 2020 05:40 PM To: "user-zh"
Re: Re:延迟事件处理
觉得对于下线产生的历史数据，用批处理应该更好一点，可以避免数据量过大造成的问题！ 发件人： wangxiangyan 发送时间： 2020-06-09 17:26 收件人： user-zh 主题： Re:延迟事件处理 这是一个需要实时展示统计指标的系统，数据来源于检测器，检测器安装在客户那边，可能有下线的状态，或者数据延迟到达，不确定下线的时间，某个检测器下线之后在第二天上线会有一批昨天的数据，会发生延迟的数据处理 --Original-- From: "1048262223"<1048262...@qq.com; Date: Tue, Jun 9, 2020 05:14 PM To: "user-zh"
Re:延迟事件处理
这是一个需要实时展示统计指标的系统，数据来源于检测器，检测器安装在客户那边，可能有下线的状态，或者数据延迟到达，不确定下线的时间，某个检测器下线之后在第二天上线会有一批昨天的数据，会发生延迟的数据处理 --Original-- From: "1048262223"<1048262...@qq.com; Date: Tue, Jun 9, 2020 05:14 PM To: "user-zh"
