Re: 关于在读和写频率都很高的情况下怎么优化rocksDB

[Yu Li]

Hi,

您给出的链接里的文档是面向最新发布版本，也就是1.10.0的，在之前的版本里RocksDB使用的不是Managed
Memory，所以文档里的一些调优指导也不会有效。

建议先了解一下1.10.0里RocksDB内存管理的相关内容
[1]，我们提供了一些配置以方便调节读写缓存的比例，了解之后可以试用1.10.0版本并尝试根据文档进行性能调优。

另外，如果升级并进行简单的调试依然无效，并且确认是由于state瓶颈导致作业反压，那么归根结底需要对RocksDB进行调优。建议参考RocksDB官方的相关文档
[2] 进行尝试。

希望这些信息可以帮到您。

Best Regards,
Yu

[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/state/state_backends.html#memory-management
[2] https://github.com/facebook/rocksdb/wiki/RocksDB-Tuning-Guide


On Wed, 26 Feb 2020 at 23:27, claylin <1012539...@qq.com> wrote:

> Hi 大家好：这边遇到一个有关rocksDB优化的问题，我这里系统平均tps为10w，几乎每条数据都会出发读写rocksDB，下面是我用sar
> -dp 命令统计的io情况：
> Average:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; DEV&nbsp; &nbsp; &nbsp;
> &nbsp;tps&nbsp; rd_sec/s&nbsp; wr_sec/s&nbsp; avgrq-sz&nbsp; avgqu-sz&nbsp;
> &nbsp; &nbsp;await&nbsp; &nbsp; &nbsp;svctm&nbsp; &nbsp; &nbsp;%util
> Average:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; sda&nbsp; &nbsp; 285.36&nbsp;
> &nbsp;2152.91&nbsp; 88322.99&nbsp; &nbsp; 317.06&nbsp; &nbsp;
> &nbsp;21.48&nbsp; &nbsp; &nbsp;75.27&nbsp; &nbsp; &nbsp; 0.58&nbsp; &nbsp;
> &nbsp;16.60
> ，运行时间长了就会严重造成反压，我按照这里
> https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/large_state_tuning.html#tuning-rocksdb做了些调优，譬如增大Manager
> Memory，增大rocksDB的flush和compact线程数等，但还是一样，时间一长，状态变大就会造成反压，我也做了state的过期处理。
>
>
> 这个问题困扰好久了，大家有什么好的优化方案吗。