Re: [D] pop消费模式下消费速度和消费者数量以及topic queue数量的关系 [rocketmq]

2024-03-21 Thread via GitHub
GitHub user cserwen edited a comment on the discussion: pop消费模式下消费速度和消费者数量以及topic queue数量的关系 锁竞争影响性能,理论上得需要很高并发,4个并发显然不够,并且 Broker 处理拉取请求的并发是有限制的,默认最多会有 32 个线程在竞争,我理解也不严重(每个拉取请求获取锁后都是从内存中读数据,速度非常快,并不会长期持有锁) 况且很多时候消费瓶颈不在拉取上,而在消费逻辑上,从生产环境数据来看,一般每个 Broker 上设置单个 queue 足够 GitHub link:

Re: [D] pop消费模式下消费速度和消费者数量以及topic queue数量的关系 [rocketmq]

2024-03-21 Thread via GitHub
GitHub user cserwen added a comment to the discussion: pop消费模式下消费速度和消费者数量以及topic queue数量的关系 锁竞争影响性能,理论上得需要很高并发,4个并发显然不够,并且 Broker 处理拉取请求的并发是有限制的,默认最多会有 32 个线程在竞争,我理解也不严重(每个拉取请求获取锁后都是从内存中读数据,速度非常快,并不会长期持有锁) 况且很多时候消费瓶颈不在拉取上,而在消费逻辑上,从生产环境数据来看,一般采用单个 queue 足够 GitHub link:

Re: [D] pop消费模式下消费速度和消费者数量以及topic queue数量的关系 [rocketmq]

2024-03-18 Thread via GitHub
GitHub user LittleBoy18 edited a discussion: pop消费模式下消费速度和消费者数量以及topic queue数量的关系 pop消费的时候broker会给queue加锁,理论上增加queue的数量会避免锁的竞争,消费速度会有明显提高,按照以下用例测试消费速度无明显提高,用例如下: 1、topic单queue,四个消费者同时进行pop消费 2、topic四个queue,四个消费者同时进行pop消费 pop消费模式下,消费速度只和消费者数量有关系不用考虑queue的数量吗? GitHub link: