不是,这个和rocksdb没关系,我没用rocksdb。
我这说的是hdfs上文件的清理,而且不是检查点数据的清理,是实际业务数据。 带success文件的分区种的未compact的数据。

熊云昆 <[email protected]> 于2021年11月23日周二 下午11:52写道:

> 应该不行,rocksdb本身自己会删除废弃的文件的,不需要你自己再去删除,而且你自己删除很容易误删文件导致异常
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-11-23 19:07:28,"yidan zhao" <[email protected]> 写道:
> >这个有懂的吗,本质需求是我需要做一个后台脚本,去安全的删除废弃的文件。
> >
> >此外,目前还衍生一个需求是,我停止任务,拿到保存点,但任务还没停止。
> >我马上重启任务基于保存点,这部分我认为没问题,但之前那个没停止的任务我在想,是不是不能强制停,否则会导致部分文件无compact?
> >
> >yidan zhao <[email protected]> 于2021年11月20日周六 下午8:15写道:
> >
> >> 1 文件是ckpt时才输出,那ckpt没开始时候数据缓存到哪去了。
> >> 2 ckptN时候输出的是哪个时间段范围的数据,比如是上次检查点到本次检查点期间吗?
> >> 3 ckptN完成输出后,本次检查点生成的数据,对应的compact是马上开始吗?
> >> 4 compact完成后,uncompacted文件是什么时候被清理的,是compact之后马上清理吗,我观察到貌似不是马上清理的?
> >> 5 分区提交和compact完成是否有先后关系,会不会没有compact完成,就分区提交了。
> >> 换言之,是否任意时候,都可以安全地删除存在success文件的分区中的uncompacted文件。
> >>
> >>
> >>
>

回复