是否能够是用增量的 Checkpoint方式
DONG, Weike 于2020年1月14日周二 下午9:10写道:
> Hi,
>
> 感谢两位前辈的经验分享,我会细细拜读这里的优化方式,也衷心期待 Flink 1.10 可以早日顺利发布。
>
> 再次感谢你们的贡献 :)
>
> Sincerely,
> Weike
>
> On Tue, Jan 14, 2020 at 8:54 PM Yu Li wrote:
>
> > Hi,
> >
> > 如唐云所述,FLINK-7289 [1]
> > 所有的开发工作已经完成,目前剩余的工作是补充end-to-end测试以及完善文档,
Hi,
感谢两位前辈的经验分享,我会细细拜读这里的优化方式,也衷心期待 Flink 1.10 可以早日顺利发布。
再次感谢你们的贡献 :)
Sincerely,
Weike
On Tue, Jan 14, 2020 at 8:54 PM Yu Li wrote:
> Hi,
>
> 如唐云所述,FLINK-7289 [1]
> 所有的开发工作已经完成,目前剩余的工作是补充end-to-end测试以及完善文档,因此release-1.10分支的代码功能已经完全可用了
>
>
> 我们建议使用FLINK-7289实现的方式来控制rocksdb内存,这将极大的简化用户所需的配置,只需要
Hi,
如唐云所述,FLINK-7289 [1]
所有的开发工作已经完成,目前剩余的工作是补充end-to-end测试以及完善文档,因此release-1.10分支的代码功能已经完全可用了
我们建议使用FLINK-7289实现的方式来控制rocksdb内存,这将极大的简化用户所需的配置,只需要设置"state.backend.rocksdb.memory.managed"为true并调整managed
memory大小,或者通过"state.backend.rocksdb.memory.fixed-per-slot" 配置对应单个slot
RocksDB可使用的最大内存即可
如果生产上
Hi Dong
RocksDB无论如何都是要使用native内存的,您的YARN pmem-check相比JVM heap的buffer空间是多少,是否合适呢?
FLINK-7289的基本所需task都已经完成在release-1.10 分支中了,您可以直接使用release-1.10
分支打包,最近也要发布1.10的rc版本,欢迎试用该功能。
如果你的所有checkpoint size是50GB,其实不是很大,但是如果单个state
backend有50GB的话,对于Flink这种低延迟流式场景是稍大的,建议降低单并发state数据量。
至于目前的问题,也就是您加了相关参数,但