Re: Flink大state读取磁盘,磁盘IO打满,任务相互影响的问题探讨

2019-09-23 文章 Congxian Qiu
Hi 像你描述的,单盘对单任务还存在 IO 瓶颈,这里是单 container 吗?像前面大家说的,你需要确认这么大的 IO 访问是符合预期的,如果符合预期的话,你可以尝试增加 blockcache 和 memtable 的大小,将更多的数据放到内存。 另外,你使用的是什么 state 类型,valuestate 和 liststate 的话,能否换成 mapstate 来处理。同时,你可以看下 rocksdb 的 log,看看是否有什么可以优化的地方 Best, Congxian Biao Liu 于2019年9月23日周一 下午2:39写道: > Hello, > >

Re: Flink大state读取磁盘,磁盘IO打满,任务相互影响的问题探讨

2019-09-10 文章 Wesley Peng
on 2019/9/10 13:47, 蒋涛涛 wrote: 尝试手段: 1. 手动迁移IO比较高的任务到其他机器,但是yarn任务提交比较随机,只能偶尔为之 2. 目前没有SSD,只能用普通STATA盘,目前加了两块盘提示磁盘IO能力,但是单盘对单任务的磁盘IO瓶颈还在 还有哪些策略可以解决或者缓解么? It seems the tricks to improve RocksDB's throughput might be helpfu. With writes and reads accessing mostly the recent data, our goal