|
32684 | COMPLETED | 8/8 | 13:52:36 | 13:52:38 | 2s | 126 KB | 0 B | | | 32683 | COMPLETED | 8/8 | 13:42:36 | 13:42:39 | 2s | 126 KB | 0 B | | | 32682 | COMPLETED | 8/8 | 13:32:36 | 13:32:39 | 2s | 126 KB | 0 B | | | 32681 | COMPLETED | 8/8 | 13:22:36 | 13:22:39 | 2s | 125 KB | 0 B | | | 32680 | COMPLETED | 8/8 | 13:12:36 | 13:12:39 | 2s | 125 KB | 0 B | | | 32679 | COMPLETED | 8/8 | 13:02:36 | 13:02:41 | 4s | 214 KB | 0 B | 上图是checkpoint 这个是在11月30号0时段生成的文件 2021-11-30 00:00:01 1080827 athena_other-0-217891.gz 2021-11-30 00:02:42 4309209 athena_other-0-217892.gz 2021-11-30 00:12:40 3902474 athena_other-0-217893.gz 2021-11-30 00:22:40 3886322 athena_other-0-217894.gz 2021-11-30 00:32:40 3988037 athena_other-0-217895.gz 2021-11-30 00:42:40 3892343 athena_other-0-217896.gz 2021-11-30 00:52:39 2972183 athena_other-0-217897.gz 2021-11-30 00:00:01 1125774 athena_other-1-219679.gz 2021-11-30 00:02:42 4338748 athena_other-1-219680.gz 2021-11-30 00:12:40 4204571 athena_other-1-219681.gz 2021-11-30 00:22:40 3852791 athena_other-1-219682.gz 2021-11-30 00:32:40 4025214 athena_other-1-219683.gz 2021-11-30 00:42:40 4205107 athena_other-1-219684.gz 2021-11-30 00:52:39 2922192 athena_other-1-219685.gz 2021-11-30 00:00:01 1103734 athena_other-2-220084.gz 这个是1点生成的文件 2021-11-30 01:00:01 1228793 athena_other-0-217951.gz 2021-11-30 01:02:42 4243566 athena_other-0-217952.gz 2021-11-30 01:12:40 4106305 athena_other-0-217953.gz 2021-11-30 01:22:40 4456214 athena_other-0-217954.gz 2021-11-30 01:32:41 4303156 athena_other-0-217955.gz 2021-11-30 01:42:40 4688872 athena_other-0-217956.gz 2021-11-30 01:52:40 3251910 athena_other-0-217957.gz 2021-11-30 01:00:01 1163354 athena_other-1-219736.gz 2021-11-30 01:02:42 4405233 athena_other-1-219737.gz 2021-11-30 01:12:40 4094502 athena_other-1-219738.gz 2021-11-30 01:22:40 4395071 athena_other-1-219739.gz 2021-11-30 01:32:40 4205169 athena_other-1-219740.gz 2021-11-30 01:42:40 4432610 athena_other-1-219741.gz 2021-11-30 01:52:40 3224111 athena_other-1-219742.gz 2021-11-30 01:00:01 1163964 athena_other-2-220137.gz 之前的截图无法发送，我把文件贴出来，打扰了 在 2021-12-02 13:52:43，"黄志高" <huangzhigao...@163.com> 写道： Hi,我把文件放到下面的，文件在checkpoint可见我是理解的，但是文件的生成时间应该是在checkpoint以后是正常的，但是我却在每个整点时段看见数据文件，如下图所示，按理说文件的生成都是在checkpoint之后的，也就是2分，12，22，32，42，52分后，而每个00分都会生成一个数据文件，不理解这个文件怎么生成的，内部的滚动策略是OnCheckpointRollingPolicy 在 2021-12-02 11:37:31，"Caizhi Weng" <tsreape...@gmail.com> 写道： >Hi！ > >邮件里看不到图片和附件，建议使用外部图床。 > >partFile 文件是不是以英文句点开头的？这是因为 streamingFileSink 写文件的时候还没做 checkpoint，为了保证 >exactly once，这些临时写下的 .partFile 文件都是不可见的，需要等 checkpoint 之后才会重命名成可见的文件。 > >黄志高 <huangzhigao...@163.com> 于2021年12月1日周三 下午9:53写道： > >> hi,各位大佬，咨询个问题 >> >> >> 我的Flink版本是1.11.0，我的程序是从kafka->s3，checkpoint的时间间隔是10分钟，程序中间不做任何操作，直接消费数据落到文件系统，使用的是streamingFileSink，用的是内部的bulkFormatbuilder，通过源码分析采用的滚动策略是onCheckpointRollingPolicy,但是我发现在每个小时间生成一个bucket，都会在整点的时间生成一个partFile文件，而我的checkpoint触发的时间点都是02分，12分，22分，32分，42分，52分，对应的文件生成时间也是这个时候，但是总是会在整点时刻生成一个文件，我查阅下源码，没有找到整点触发滚动生成文件的逻辑，有大佬可以帮忙分析一下这个整点时刻生成的文件是怎么来的吗，它属于哪个周期的，附件中是我flink任务的checkpoint时间点，和2021年11月30日在1点和2点生成的文件截图，在1点和2点的00分都生成了一个文件，望大佬帮忙看看 >> >> >> >>
