恐怕没有现成的,自己写一个,继承 SourceFunction

Thanks,
Biao /'bɪ.aʊ/



On Wed, Jul 31, 2019 at 4:49 PM 王佩 <wang...@cmcm.com> wrote:

> 如下代码:
>
> DataStreamSource<String> source = env.readFile(
>                 textInputFormat,
>                 "/data/appData/streamingWatchFile/source",
>                 FileProcessingMode.PROCESS_CONTINUOUSLY,
>                 10 * 1000
>  );
>
> 当被监控目录下的某个文件被修改,如touch了一下,整个文件会重复处理一遍。
>
> 有没有什么方法,可以做到只读取新文件。想实现只读取新的Parquet文件的效果。
>

回复