NiceChi opened a new issue #14233:
URL: https://github.com/apache/pulsar/issues/14233
### Apache Pulsar 的部署环境
Apache Pulsar 以 standalone 的方式进行部署，zookeeper、bookkeeper 以及 broker
这三大组件都部署在同一台服务器上（8 核 CPU 、16G 内存 以及一个 7200 转速的 HDD ），同时这台服务器基本只用来运行 Pulsar 服务
并且在同一个局域网中有另外两台服务器（这两台服务器与运行 Pulsar 的服务器的配置一致），分别来运行 pulsar-perf producer 以及
pulsar-perf consumer 客户端，来分别 publish 以及 consume msg 给 Pulsar 服务器
** pulsar-perf producer 所发送的 msg 大小使用默认的 1KB
### Apache Pulsar 吞吐量情况
目前的一个状况是，无论怎么调整组件的 jvm 大小、broker 的 publish pending 队列大小、managedLedgerCache
大小、bookie 的 write cache/read cache 大小、相关的 worker thread 数量、pulsar-perf producer
的发送队列大小等等参数，pulsar-perf producer 的吞吐量总是处在 8w msg/s ~ 9w msg/s 左右，发送的数据量差不多在 600
Mib/s ~ 700 Mib/s，Pulsar 服务器上硬盘的 write 压力差不多总是在 160 Mib/s ~ 190 Mib/s 左右，CPU
总的一个使用率差不多在 50 % 之下，但是有的 core 的 iowait 可以达到 95%，磁盘基本上没什么写的压力，应该是因为 consumer 在
managedLedgerCache 中就直接取走数据了，memory 也还有很多空间没有被使用到
最后，我的疑问就是：在这种情况下，之所以无法提高 producer 的吞吐量，是否是因为 Pulsar 服务器的硬盘的 write
能力已经达到了瓶颈而导致的呢？
谢谢大家 :)
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
