Re: 咨询一下 RocksDB 状态后端的调优经验

2020-01-14 文章 LakeShen
是否能够是用增量的 Checkpoint方式 DONG, Weike 于2020年1月14日周二 下午9:10写道: > Hi, > > 感谢两位前辈的经验分享,我会细细拜读这里的优化方式,也衷心期待 Flink 1.10 可以早日顺利发布。 > > 再次感谢你们的贡献 :) > > Sincerely, > Weike > > On Tue, Jan 14, 2020 at 8:54 PM Yu Li wrote: > > > Hi, > > > > 如唐云所述,FLINK-7289 [1] > > 所有的开发工作已经完成,目前剩余的工作是补充end-to-end测试以及完善文档,

Re: 咨询一下 RocksDB 状态后端的调优经验

2020-01-14 文章 DONG, Weike
Hi, 感谢两位前辈的经验分享,我会细细拜读这里的优化方式,也衷心期待 Flink 1.10 可以早日顺利发布。 再次感谢你们的贡献 :) Sincerely, Weike On Tue, Jan 14, 2020 at 8:54 PM Yu Li wrote: > Hi, > > 如唐云所述,FLINK-7289 [1] > 所有的开发工作已经完成,目前剩余的工作是补充end-to-end测试以及完善文档,因此release-1.10分支的代码功能已经完全可用了 > > > 我们建议使用FLINK-7289实现的方式来控制rocksdb内存,这将极大的简化用户所需的配置,只需要

Re: 咨询一下 RocksDB 状态后端的调优经验

2020-01-14 文章 Yu Li
Hi, 如唐云所述,FLINK-7289 [1] 所有的开发工作已经完成,目前剩余的工作是补充end-to-end测试以及完善文档,因此release-1.10分支的代码功能已经完全可用了 我们建议使用FLINK-7289实现的方式来控制rocksdb内存,这将极大的简化用户所需的配置,只需要设置"state.backend.rocksdb.memory.managed"为true并调整managed memory大小,或者通过"state.backend.rocksdb.memory.fixed-per-slot" 配置对应单个slot RocksDB可使用的最大内存即可 如果生产上

Re: 咨询一下 RocksDB 状态后端的调优经验

2020-01-13 文章 Yun Tang
Hi Dong RocksDB无论如何都是要使用native内存的,您的YARN pmem-check相比JVM heap的buffer空间是多少,是否合适呢? FLINK-7289的基本所需task都已经完成在release-1.10 分支中了,您可以直接使用release-1.10 分支打包,最近也要发布1.10的rc版本,欢迎试用该功能。 如果你的所有checkpoint size是50GB,其实不是很大,但是如果单个state backend有50GB的话,对于Flink这种低延迟流式场景是稍大的,建议降低单并发state数据量。 至于目前的问题,也就是您加了相关参数,但