Application Mode没有这个问题,现在是Session Mode提交作业会遇到这个问题
./bin/flink run -m localhost:8081 ./examples/streaming/TopSpeedWindowing.jar




后面这个作业TopSpeedWindowing.jar包可以使用hdfs/oss路径指定吗?如果是分布式文件路径的话是不是就不用上传作业jar包到jobManager了,而是由jobManager自行下载?





在 2023-05-15 19:27:21,"shimin huang" <huangshimin1...@gmail.com> 写道:
>可以考虑基于flink-kubernetes依赖下的KubernetesClusterDescriptor来启动任务,可以参考https://github.com/collabH/flink-deployer/blob/main/infrastructure/src/main/java/com/flink/plugins/inf/deployer/KubernetesClusterDeployer.java
> 
>
>> 2023年5月15日 19:21,casel.chen <casel_c...@126.com> 写道:
>> 
>> 我们开发了一个实时计算平台提交flink 
>> sql作业到k8s上运行,发现每次提交作业都需要上传平台sql作业jar包flinksql.jar,因为这个jar包包含了平台用到的所有connector和format,所以flinksql.jar这个fat
>>  
>> jar有几百MB,又因为平台所在的k8s集群和作业真正运行的k8s集群是不同的,某些集群的跨k8s离群网络传输开销(跨地区甚至跨云厂商)比较大,而且这个flinksql.jar我们已经放到了k8s镜像当中,jobManager加载镜像后是可以在本地找到该jar的,所以想问一下Flink提交作业是否可以跳过上传作业jar包这一步?有没有参数指定直接去本地加载该作业jar包?这样的话,一是可以减少网络传输开销,二是可以加快flink
>>  sql作业提交的速度。
>

回复