大家好,

检查点配的是120s,滚动时长800s,滚动大小1kb,并行度配的2

不过在跑的过程中发现不管写入的多快,同时只存在一个in-progress文件,且最终生成的文件是严格按照120s生成的,这个很奇怪,似乎只有按检查点滚动生效了,与json格式的不一样。真的是这样吗?不过看官方文档没有这样说

求大佬们解惑!

create table fs_parquet
(userid bigint, name string, part string)
PARTITIONED BY (part)
with(
'connector' = 'filesystem',
'path' = 'hdfs:///data/fs_parquet',
'format' = 'parquet',
'sink.rolling-policy.file-size' = '1kb',
'sink.rolling-policy.rollover-interval' = '800s',
'sink.rolling-policy.check-interval' = '60s'
);



回复