提交两个作业的话,两个作业是完全独立的,都会消费全量数据。
一个作业的消费能力不行,可以具体看下瓶颈在哪里,比如:
1. 作业是否有lag,如果没有lag,那其实是没有问题的
2. 如果作业有lag,而且lag还在上涨,说明当前消费能力不足,此时可以看下作业具体的瓶颈在哪里
有可能是某个算子在反压导致整个作业的消费能力不足
也有可能是作业的整体CPU资源不足导致的
也有一种极端情况是,作业的并发度已经足够大,source subtask已经对应一个kafka
partition了,但是消费能力还是不足,这个时候其实是单个partition数据量太大,对应到Flink的source算子处理能力不足导致的
3. 如果作业当前有lag,但是lag在下降,说明消费能力其实是够的,只是数据有些积压
范超 <[email protected]> 于2020年9月18日周五 下午4:07写道:
> 各位好,我遇到了一个奇怪的问题
>
> 我是使用flink1.10和 flink-connector-kafka_2.11
>
> 使用Flink on yarn 模式运行,无论怎么调大并行度。Kafka节点(我使用的单节点)的网卡输出速度一直上不去。
>
> 但是提交两个同样的应用同样使用FLink on Yarm模式,Kafka节点的网卡输出速度是正常翻倍的。
>
> 我想达到的目的不是通过多向yarn集群提交多一个app,而是通过设置并行度来提高应用的吞吐量。。
>
> 求各位大佬指导
>
--
Best,
Benchao Li