我们一般提升作业吞吐能力的步骤就是看作业的反压情况， - 如果作业完全没有反压，说明此时处理能力大于上游数据产生速度 - 如果作业有反压，就具体看下反压的是哪个算子，存在什么瓶颈。比如网络IO、磁盘IO、CPU； 当然，有时候内存问题也会表现为CPU现象，比如GC比较严重
范超 <[email protected]> 于2020年9月24日周四 上午10:48写道： > 谢谢Benchao哥回复。 > > 这几天一直忙着压测这个问题。 > 经多轮压测（先灌满kafka数据），再去消费。 > 发现确实是您说的问题中的第三个情况 > 由于kafka的topic只开了一个partition > > 所以flinkkafkaconsumer按照一个taskmanger对应了一个kafka的parition的方式进行了处理。从而导致虽然作业并发度够大，但是由于只有一个partition， > 其他并发的taskmanager无法获取到更多的partition进行消费，从而导致并行度提升而作业消费能力却无法同比增大。 > > 之后通过建立2个partition的topic，实现了消费能力的翻倍。 > > > 想再请多问您一句，我如果想压出作业的极限吞吐量，请问该如何设置一些运行参数，目前我通过设置on yarn > 的tm的内存大小，kafka的partition数目，也无法将作业的吞吐量压上去。 > > > > -----邮件原件----- > 发件人: Benchao Li [mailto:[email protected]] > 发送时间: 2020年9月18日 星期五 18:49 > 收件人: user-zh <[email protected]> > 主题: Re: FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度，但是提交两个应用却可以 > > 提交两个作业的话，两个作业是完全独立的，都会消费全量数据。 > > 一个作业的消费能力不行，可以具体看下瓶颈在哪里，比如： > 1. 作业是否有lag，如果没有lag，那其实是没有问题的 > 2. 如果作业有lag，而且lag还在上涨，说明当前消费能力不足，此时可以看下作业具体的瓶颈在哪里 > 有可能是某个算子在反压导致整个作业的消费能力不足 > 也有可能是作业的整体CPU资源不足导致的 > 也有一种极端情况是，作业的并发度已经足够大，source subtask已经对应一个kafka > partition了，但是消费能力还是不足，这个时候其实是单个partition数据量太大，对应到Flink的source算子处理能力不足导致的 > 3. 如果作业当前有lag，但是lag在下降，说明消费能力其实是够的，只是数据有些积压 > > 范超 <[email protected]> 于2020年9月18日周五 下午4:07写道： > > > 各位好，我遇到了一个奇怪的问题 > > > > 我是使用flink1.10和 flink-connector-kafka_2.11 > > > > 使用Flink on yarn 模式运行，无论怎么调大并行度。Kafka节点（我使用的单节点）的网卡输出速度一直上不去。 > > > > 但是提交两个同样的应用同样使用FLink on Yarm模式，Kafka节点的网卡输出速度是正常翻倍的。 > > > > 我想达到的目的不是通过多向yarn集群提交多一个app，而是通过设置并行度来提高应用的吞吐量。。 > > > > 求各位大佬指导 > > > > > -- > > Best, > Benchao Li > -- Best, Benchao Li
