不是,这个和rocksdb没关系,我没用rocksdb。 我这说的是hdfs上文件的清理,而且不是检查点数据的清理,是实际业务数据。 带success文件的分区种的未compact的数据。
熊云昆 <[email protected]> 于2021年11月23日周二 下午11:52写道: > 应该不行,rocksdb本身自己会删除废弃的文件的,不需要你自己再去删除,而且你自己删除很容易误删文件导致异常 > > > > > > > > > > > > > > > > > > 在 2021-11-23 19:07:28,"yidan zhao" <[email protected]> 写道: > >这个有懂的吗,本质需求是我需要做一个后台脚本,去安全的删除废弃的文件。 > > > >此外,目前还衍生一个需求是,我停止任务,拿到保存点,但任务还没停止。 > >我马上重启任务基于保存点,这部分我认为没问题,但之前那个没停止的任务我在想,是不是不能强制停,否则会导致部分文件无compact? > > > >yidan zhao <[email protected]> 于2021年11月20日周六 下午8:15写道: > > > >> 1 文件是ckpt时才输出,那ckpt没开始时候数据缓存到哪去了。 > >> 2 ckptN时候输出的是哪个时间段范围的数据,比如是上次检查点到本次检查点期间吗? > >> 3 ckptN完成输出后,本次检查点生成的数据,对应的compact是马上开始吗? > >> 4 compact完成后,uncompacted文件是什么时候被清理的,是compact之后马上清理吗,我观察到貌似不是马上清理的? > >> 5 分区提交和compact完成是否有先后关系,会不会没有compact完成,就分区提交了。 > >> 换言之,是否任意时候,都可以安全地删除存在success文件的分区中的uncompacted文件。 > >> > >> > >> >
