Re: 关于filesystem connector的一点疑问

尽早的可查，直接把delay设为0即可 (其它默认值) On Thu, Nov 12, 2020 at 5:17 PM admin <17626017...@163.com> wrote: > Hi,jingsong > 所以用partition-time，即使延迟很多也是可以重复提交分区，不会丢数据的是吧。 > 所以对于按小时分区的场景，想要尽早的使分区可查的最佳配置是什么样的， > 比如sink.partition-commit.trigger = partition-time > sink.partition-commit.delay = 10 min > > >

Re: 关于filesystem connector的一点疑问

Hi,jingsong 所以用partition-time，即使延迟很多也是可以重复提交分区，不会丢数据的是吧。 所以对于按小时分区的场景，想要尽早的使分区可查的最佳配置是什么样的， 比如sink.partition-commit.trigger = partition-time sink.partition-commit.delay = 10 min > 2020年11月12日 下午3:22，Jingsong Li 写道： > > Hi admin, > > 不会丢弃数据哈，会重复提交Partition(所以现在partition的提交都是幂等操作) > > On Thu,

Re: 关于filesystem connector的一点疑问

Hi admin, 不会丢弃数据哈，会重复提交Partition(所以现在partition的提交都是幂等操作) On Thu, Nov 12, 2020 at 3:11 PM admin <17626017...@163.com> wrote: > 补充一下不用partition time trigger的原因，partition > time是基于watermark的，当数据延迟比较严重时，会丢弃数据吧，这种情况是不能接受的 > > > 2020年11月12日 下午2:15，admin <17626017...@163.com> 写道： > > > > Hi ,kandy > >

Re: 关于filesystem connector的一点疑问

补充一下不用partition time trigger的原因，partition time是基于watermark的，当数据延迟比较严重时，会丢弃数据吧，这种情况是不能接受的 > 2020年11月12日 下午2:15，admin <17626017...@163.com> 写道： > > Hi ,kandy > 我没有基于partition time 提交分区，我是基于默认的process > time,所以是可以多次提交分区的，我知道在当前分区内的乱序数据可以提交，但是有延迟时间比较长的数据（比如上面的例子）是否还能被提交到对应分区 > >> 2020年11月12日

Re: 关于filesystem connector的一点疑问

sink.partition-commit.trigger process-timeString Trigger type for partition commit: 'process-time': based on the time of the machine, it neither requires

Re: 关于filesystem connector的一点疑问

Hi ,kandy 我没有基于partition time 提交分区，我是基于默认的process time,所以是可以多次提交分区的，我知道在当前分区内的乱序数据可以提交，但是有延迟时间比较长的数据（比如上面的例子）是否还能被提交到对应分区 > 2020年11月12日 下午12:46，kandy.wang 写道： > > hi: > 按照我的理解，partition time提交分区，是会在current watermark > partition time + commit > delay 时机触发分区提交，得看你的sink.partition-commit.delay

Re:关于filesystem connector的一点疑问

hi: 按照我的理解，partition time提交分区，是会在current watermark > partition time + commit delay 时机触发分区提交，得看你的sink.partition-commit.delay 设置的多久，如果超过之后，应当默认是会丢弃的吧。 https://cloud.tencent.com/developer/article/1707182 这个连接可以看一下 在 2020-11-12 11:58:22，"admin" <17626017...@163.com> 写道： >Hi,all >Flink