parquet因为它会在内存中攒buffer，所以文件的file-size并不能很精确。。只能等它flush了才会生效。
On Sun, Jul 25, 2021 at 9:47 AM lixin58...@163.com <lixin58...@163.com> wrote: > 大家好， > > 检查点配的是120s，滚动时长800s，滚动大小1kb，并行度配的2 > > > 不过在跑的过程中发现不管写入的多快，同时只存在一个in-progress文件，且最终生成的文件是严格按照120s生成的，这个很奇怪，似乎只有按检查点滚动生效了，与json格式的不一样。真的是这样吗？不过看官方文档没有这样说 > > 求大佬们解惑！ > > create table fs_parquet > (userid bigint, name string, part string) > PARTITIONED BY (part) > with( > 'connector' = 'filesystem', > 'path' = 'hdfs:///data/fs_parquet', > 'format' = 'parquet', > 'sink.rolling-policy.file-size' = '1kb', > 'sink.rolling-policy.rollover-interval' = '800s', > 'sink.rolling-policy.check-interval' = '60s' > ); > > > > -- Best, Jingsong Lee
