Re:回复:消息积压如何优化
一般a->b->c->d->e->f 算子。如果f 跟不上,会导致abcde 出现被压,所以看被压前一个洛。还有就是看了解算子,根据经验 在 2021-03-05 14:39:40,"allanqinjy" 写道: >你好, > > 消费速度跟不上写入速度,通过调试并发可以提高消费,但是不能一直这样靠着修改并发度来做优化。你说的看哪个算子问题,能具体点吗?怎么就算有问题了?一旦被压了,基本你看算子,基本的被压肯定都是正常的只有source那里才是high,被压会一级一级的反到source。你看算子的metrics也能只能看进入的量,出去的量,sink的出去的量是第三方flink > ui上应该也看不到,这样如何排查是哪个算子的具体问题?你们是有什么好的方法吗? > > >| | >allanqinjy >| >| >allanqi...@163.com >| >签名由网易邮箱大师定制 > > >在2021年03月5日 14:22,Michael Ran 写道: >看看哪个算子问题,增加那个算子并发。 或者优化那个算子执行。 先找找原因 >在 2021-03-05 11:05:14,"allanqinjy" 写道: > > >hi, >由于消息队列量特别大,在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!! >| | >allanqinjy >| >| >allanqi...@163.com >| >签名由网易邮箱大师定制 >
回复:消息积压如何优化
你好, 消费速度跟不上写入速度,通过调试并发可以提高消费,但是不能一直这样靠着修改并发度来做优化。你说的看哪个算子问题,能具体点吗?怎么就算有问题了?一旦被压了,基本你看算子,基本的被压肯定都是正常的只有source那里才是high,被压会一级一级的反到source。你看算子的metrics也能只能看进入的量,出去的量,sink的出去的量是第三方flink ui上应该也看不到,这样如何排查是哪个算子的具体问题?你们是有什么好的方法吗? | | allanqinjy | | allanqi...@163.com | 签名由网易邮箱大师定制 在2021年03月5日 14:22,Michael Ran 写道: 看看哪个算子问题,增加那个算子并发。 或者优化那个算子执行。 先找找原因 在 2021-03-05 11:05:14,"allanqinjy" 写道: hi, 由于消息队列量特别大,在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!! | | allanqinjy | | allanqi...@163.com | 签名由网易邮箱大师定制
Re:消息积压如何优化
看看哪个算子问题,增加那个算子并发。 或者优化那个算子执行。 先找找原因 在 2021-03-05 11:05:14,"allanqinjy" 写道: > > >hi, >由于消息队列量特别大,在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!! >| | >allanqinjy >| >| >allanqi...@163.com >| >签名由网易邮箱大师定制 >
消息积压如何优化
hi, 由于消息队列量特别大,在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!! | | allanqinjy | | allanqi...@163.com | 签名由网易邮箱大师定制