Re: 文件的增量监控

Wed, 26 Aug 2020 18:23:13 -0700 

这个场景可以利用checkpoint更新偏移量实现。
可以参考代码

https://github.com/liuhouer/np-flink/blob/master/src/main/java/cn/northpark/flink/project2/NP_ExactlyOnceParallelismFileSource.java

发自我的iPhone

> 在 2020年8月27日，08:03，lj879933274 <[email protected]> 写道：
> 
> 各位大佬:
> 
>    场景描述:  利用flink监控某个目录下的文件，如果文件内数据增加(追加)了，就进行处理。
> 
>    使用方法:  我现在利用ContinuousFileMonitoringFunction 
> 作为source，采用PROCESS_CONTINUOUSLY的处理模式。
> 
>    遇见的问题:   当使用这种方法时每次追加文件内容后都是全量的读取文件数据，有没有什么方法让我追加文件后只读取到追加的内容？

回复