卡夫卡生产者是否在忙于发送到卡夫卡经纪人时将更多消息追加到缓冲区中?

这是我当前为kafka生产者设置的设置-

batch.size = 5000000   # 5MB
linger.ms  = 1000      # 1s
max.block.ms = 10000   # 10s

使用此设置,我能够实现20k msg /秒的吞吐量。但是,我在四核处理器上的CPU利用率仍然限制为70%。我试图增加我的http请求线程(netty IO)无济于事。卡夫卡生产者在忙于将当前批处理刷新到卡夫卡代理时,是否阻止新消息被附加到缓冲区?我的服务器非常简单-从请求中读取消息,向其中添加一些参数,然后追加到kafka队列中。还有什么其他原因会导致随着Netty线程数量的增加,CPU利用率无法提高以提高吞吐量?

lau29888440 回答:卡夫卡生产者是否在忙于发送到卡夫卡经纪人时将更多消息追加到缓冲区中?

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/2325813.html

大家都在问