BucketingSink ????????????

2019-08-01 文章 ???? 
??flink on 
yarn??1??TaskManager??4??slot??TaskManager4G??JobManager1G??BucketingSinkhdfs??3??checkpoint??1003300427427*300=128100=125KB80??80*300=24000=23KB??Flink
 ?? TaskManager?? jvm ??1G??
JVM (Heap/Non-Heap) 
Type Committed   Used Maximum
Heap 2.68 GB 863 MB   2.68 GB 
Non-Heap 84.3 MB 82.8 MB  -1 B 
Total2.76 GB 946 MB   2.68 GB



3s chepoint 
hdfs3s??

Re: env.readFile只读取新文件

2019-08-01 文章 Biao Liu 
恐怕没有现成的，自己写一个，继承 SourceFunction

Thanks,
Biao /'bɪ.aʊ/



On Wed, Jul 31, 2019 at 4:49 PM 王佩  wrote:

> 如下代码:
>
> DataStreamSource source = env.readFile(
> textInputFormat,
> "/data/appData/streamingWatchFile/source",
> FileProcessingMode.PROCESS_CONTINUOUSLY,
> 10 * 1000
>  );
>
> 当被监控目录下的某个文件被修改，如touch了一下，整个文件会重复处理一遍。
>
> 有没有什么方法，可以做到只读取新文件。想实现只读取新的Parquet文件的效果。
>