date:20220714

Re: Flink SQL 能处理延时丢弃的数据吗？

2022-07-14 文章 Zhanghao Chen

你好，可以看下：https://www.mail-archive.com/issues@flink.apache.org/msg498605.html 
的总结。不过这个特性还是实验性的，请谨慎使用。

Best,
Zhanghao Chen

From: Zhizhao Shangguan 
Sent: Friday, July 15, 2022 10:44
To: user-zh@flink.apache.org 
Subject: Flink SQL 能处理延时丢弃的数据吗？

Hi，ALL：



   咨询个问题，对于超过watermark后的数据，还想继续触发窗口操作（类似API的allowedLateness机制），flink 
SQL可以实现吗？ 可以话，要如何处理的？



Thanks♪(･ω･)ﾉ

Flink SQL 能处理延时丢弃的数据吗？

2022-07-14 文章 Zhizhao Shangguan

Hi，ALL：

 

   咨询个问题，对于超过watermark后的数据，还想继续触发窗口操作（类似API的allowedLateness机制），flink 
SQL可以实现吗？ 可以话，要如何处理的？

 

Thanks♪(･ω･)ﾉ

Re: flink native k8s 按照文档提交任务找不到对应的集群

2022-07-14 文章 yidan zhao

再咨询下关于 flink-k8s-operator 的问题。
我看了看问的文档，提供了2个CRD，分别为 FlinkDeployment 和 FlinkSessionJob。不知道如下理解对不对：
（1）对于 application-mode 方式提交运行的任务，则用 FlinkDeployment，并配置好 job 部分。 会自动创建
flink 集群，并根据 job 配置运行job。
 这种方式不需要考虑集群创建、任务提交的步骤，本身就是一体。
（2）对于 session 集群的创建，也是用 FlinkDeployment ，只是不需要指定 job 配置即可。
（3）配合通过(2)方式创建的 session 集群，则可以配合 FlinkSessionJob 提交任务。

Yang Wang  于2022年7月12日周二 17:10写道：
>
> 如果你K8s集群内的机器配置的DNS Server也是coredns，那就可以正常解析clusterIP对应的service的
>
> 最初ClusterIP的设计也是让任务管理的Pod来使用，例如flink-kubernetes-operator[1]
>
> [1]. https://github.com/apache/flink-kubernetes-operator
>
> Best,
> Yang
>
> yidan zhao  于2022年7月12日周二 13:17写道：
>
> > 我用 flink run -m 方式指定 clusterIp 是可以提交任务的。
> > 那么使用 --target kubernetes-session
> > -Dkubernetes.cluster-id=my-first-flink-cluster 的方式，为什么不能智能点拿到对应
> > cluster 的 svc 的 clusterIp 去提交呢。
> >
> > yidan zhao  于2022年7月12日周二 12:50写道：
> > >
> > > 如果是在 k8s-master-node 上，可不可以直接用 ClusterIp 呢?
> > >
> > >
> > > 其次，NodePort我大概理解，一直不是很懂 LoadBalancer 方式是什么原理。
> > >
> > > yidan zhao  于2022年7月12日周二 12:48写道：
> > > >
> > > > 我理解的 k8s 集群内是组成 k8s 的机器，是必须在 pod 内？我在k8s的node上也不可以是吧。
> > > >
> > > > Yang Wang  于2022年7月12日周二 12:07写道：
> > > > >
> > > > > 日志里面已经说明的比较清楚了，如果用的是ClusterIP的方式，那你的Flink
> > > > > client必须在k8s集群内才能正常提交。例如：起一个Pod，然后再pod里面执行flink run
> > > > > 否则你就需要NodePort或者LoadBalancer的方式了
> > > > >
> > > > > 2022-07-12 10:23:23,021 WARN
> > > > > org.apache.flink.kubernetes.KubernetesClusterDescriptor  [] -
> > > > > Please note that Flink client operations(e.g. cancel, list, stop,
> > > > > savepoint, etc.) won't work from outside the Kubernetes cluster since
> > > > > 'kubernetes.rest-service.exposed.type' has been set to ClusterIP.
> > > > >
> > > > >
> > > > > Best,
> > > > > Yang
> > > > >
> > > > > yidan zhao  于2022年7月12日周二 10:40写道：
> > > > >
> > > > > > 如下步骤参考的文档
> > > > > >
> > https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/resource-providers/native_kubernetes/#starting-a-flink-session-on-kubernetes
> > > > > >
> > > > > > 版本：1.15
> > > > > >
> > > > > > （1）创建集群：
> > > > > >
> > > > > >
> > https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/resource-providers/native_kubernetes/#starting-a-flink-session-on-kubernetes
> > > > > > （2）提交任务：
> > > > > > ./bin/flink run \
> > > > > > --target kubernetes-session \
> > > > > > -Dkubernetes.cluster-id=my-first-flink-cluster \
> > > > > > ./examples/streaming/TopSpeedWindowing.jar
> > > > > >
> > > > > > svc是ClusterIp类型
> > > > > >
> > > > > > 第二步提交任务环节，显示如下：
> > > > > > Executing example with default input data.
> > > > > > Use --input to specify file input.
> > > > > > Printing result to stdout. Use --output to specify output path.
> > > > > > 2022-07-12 10:23:23,021 WARN
> > > > > > org.apache.flink.kubernetes.KubernetesClusterDescriptor  [] -
> > > > > > Please note that Flink client operations(e.g. cancel, list, stop,
> > > > > > savepoint, etc.) won't work from outside the Kubernetes cluster
> > since
> > > > > > 'kubernetes.rest-service.exposed.type' has been set to ClusterIP.
> > > > > > 2022-07-12 10:23:23,027 INFO
> > > > > > org.apache.flink.kubernetes.KubernetesClusterDescriptor  [] -
> > > > > > Retrieve flink cluster my-first-flink-cluster successfully,
> > JobManager
> > > > > > Web Interface: http://my-first-flink-cluster-rest.test:8081
> > > > > > 2022-07-12 10:23:23,044 WARN
> > > > > > org.apache.flink.kubernetes.KubernetesClusterDescriptor  [] -
> > > > > > Please note that Flink client operations(e.g. cancel, list, stop,
> > > > > > savepoint, etc.) won't work from outside the Kubernetes cluster
> > since
> > > > > > 'kubernetes.rest-service.exposed.type' has been set to ClusterIP.
> > > > > >
> > > > > > 
> > > > > >  The program finished with the following exception:
> > > > > > org.apache.flink.client.program.ProgramInvocationException: The
> > main
> > > > > > method caused an error: Failed to execute job
> > > > > > 'CarTopSpeedWindowingExample'.
> > > > > > ...
> > > > > > Caused by: org.apache.flink.util.FlinkException: Failed to execute
> > job
> > > > > > 'CarTopSpeedWindowingExample'.
> > > > > > ...
> > > > > > Caused by: org.apache.flink.runtime.client.JobSubmissionException:
> > > > > > Failed to submit JobGraph.
> > > > > > ...
> > > > > > Caused by:
> > org.apache.flink.util.concurrent.FutureUtils$RetryException:
> > > > > > Could not complete the operation. Number of retries has been
> > > > > > exhausted.
> > > > > > ...
> > > > > > Caused by: java.util.concurrent.CompletionException:
> > > > > > java.net.UnknownHostException: my-first-flink-cluster-rest.test:
> > Name
> > > > > > or service not known
> > > > > > ...
> > > > > > Caused by: java.net.UnknownHostException:
> > > > > > my-first-flink-cluster-rest.test: Name or service not known
> > > > > >
> > > > > >
> > > > > > 如上，根据 --target kubernetes-session
> > > > > > -Dkubernetes.cluster-id=my-first-flink-cluster

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-14 文章 lishiyuan0506



您好，这个图片好像发不出去，我添加到附件里


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 17:21 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
您好，感谢回复，这是rm相关配置，rm设的是ha




非常感谢您的回复


 Replied Message 
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 17:17 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi



仔细看了一下日志，感觉还是 yarn 的配置问题，可以看下 yarn.resourcemanager.scheduler.address 配置的什么吗？在 
client 端连接 RM 的时候打印的日志是 2022-07-14 15:10:48,109 INFO  
org.apache.hadoop.yarn.client.RMProxy[] - Connecting to 
ResourceManager at /0.0.0.0:8030 这里的地址是不对的，正常应该是 
yarn.resourcemanager.scheduler.address:8030 但是日志里面是 0.0.0.0:8030。


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 16:52 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi


是的，这个是运行参数


/opt/flink-1.13.3/bin/flink run \
-t yarn-per-job \
-Dyarn.application.name=test_wordcount \
-Dparallelism.default=1 \
-Dtaskmanager.numberOfTaskSlots=1 \
-Djobmanager.memory.process.size=1024mb \
-Dtaskmanager.memory.process.size=2048mb \
/opt/flink-1.13.3/examples/streaming/WordCount.jar


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 16:47 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi



这个是直接运行的 examples 里面的 demo 程序吗？


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 16:25 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
感谢感谢，可以看的，我添加到附件给您发过去


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 16:15 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi


可以用 yarn logs -applicationId xxx 看下日志吗？


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 15:43 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hello，根据您的思路，我查看了所有的yarn-site.xml，没有发现配置出错的地方，Spark和MR的运行都正常，感觉不是yarn的问题






| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 15:37 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi
根据你发的描述，是Flink的job manager在非RM所在机器上启动时，由于尝试连接0.0.0.0:8030
端口去向YARN申请资源时连接不通，导致失败。你可以检查下集群内worker节点的hadoop配置，看看yarn.resourcemanager.hostname等配置是否设置正确。

Best，
Biao Geng

lishiyuan0506  于2022年7月14日周四 15:17写道：

您好，我之前做了一些尝试：
1. 测试Spark、MR任务正常
2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现同样的问题
3.
尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`，测试example出现同样的问题，说明Flink已经成功加载了`yarn-site.xml`
4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export
HADOOP_CONF_DIR=/opt/hadoop-3.1.4/etc/hadoop`，`export
HADOOP_CLASSPATH=`hadoop classpath`测试example出现同样的问题


目前无论是yarn还是flink都找不出来出现了什么问题，手足无措了
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 14:31 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi,

你提到跑wordcount.jar时，当作业被调度到RM所在的机器上可以正常运行，调度到非RM所在的机器上就失败。flink环境干净的话，那大概率还是hadoop的环境设置有问题。
有几个可以检查的地方：
1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量，例如 export
HADOOP_CLASSPATH=`hadoop classpath`
2.

集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确，其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确

Best,
Biao Geng

Biao Geng  于2022年7月14日周四 11:32写道：

hi,
你有试过提交flink

example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
-irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。

Best,
Biao Geng

lishiyuan0506  于2022年7月14日周四 11:06写道：

您好，环境变量里面有，而且flink的conf.sh也设置了


lishiyuan0506
lishiyuan0...@163.com

<
https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1=lishiyuan0506=lishiyuan0506%40163.com=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png=%5B%22lishiyuan0506%40163.com%22%5D


 Replied Message 
From Yang Wang 
Date 07/14/2022 11:00
To user-zh 
Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
确认一下你是否正确设置了HADOOP_CONF_DIR环境变量

Best,
Yang

lishiyuan0506  于2022年7月14日周四 09:41写道：

打扰大家一下，请问一下各位在yarn提交flink的时候，有没有遇到过Retrying connect to server:
0.0.0.0/0.0.0.0:8030这个异常


hadoop的classpath没问题，Spark和MR在Yarn上跑也没问题，就flink有这样的问题


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-14 文章 lishiyuan0506

您好，感谢回复，这是rm相关配置，rm设的是ha




非常感谢您的回复


 Replied Message 
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 17:17 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi



仔细看了一下日志，感觉还是 yarn 的配置问题，可以看下 yarn.resourcemanager.scheduler.address 配置的什么吗？在 
client 端连接 RM 的时候打印的日志是 2022-07-14 15:10:48,109 INFO  
org.apache.hadoop.yarn.client.RMProxy[] - Connecting to 
ResourceManager at /0.0.0.0:8030 这里的地址是不对的，正常应该是 
yarn.resourcemanager.scheduler.address:8030 但是日志里面是 0.0.0.0:8030。


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 16:52 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi


是的，这个是运行参数


/opt/flink-1.13.3/bin/flink run \
-t yarn-per-job \
-Dyarn.application.name=test_wordcount \
-Dparallelism.default=1 \
-Dtaskmanager.numberOfTaskSlots=1 \
-Djobmanager.memory.process.size=1024mb \
-Dtaskmanager.memory.process.size=2048mb \
/opt/flink-1.13.3/examples/streaming/WordCount.jar


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 16:47 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi



这个是直接运行的 examples 里面的 demo 程序吗？


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 16:25 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
感谢感谢，可以看的，我添加到附件给您发过去


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 16:15 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi


可以用 yarn logs -applicationId xxx 看下日志吗？


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 15:43 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hello，根据您的思路，我查看了所有的yarn-site.xml，没有发现配置出错的地方，Spark和MR的运行都正常，感觉不是yarn的问题






| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 15:37 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi
根据你发的描述，是Flink的job manager在非RM所在机器上启动时，由于尝试连接0.0.0.0:8030
端口去向YARN申请资源时连接不通，导致失败。你可以检查下集群内worker节点的hadoop配置，看看yarn.resourcemanager.hostname等配置是否设置正确。

Best，
Biao Geng

lishiyuan0506  于2022年7月14日周四 15:17写道：

您好，我之前做了一些尝试：
1. 测试Spark、MR任务正常
2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现同样的问题
3.
尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`，测试example出现同样的问题，说明Flink已经成功加载了`yarn-site.xml`
4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export
HADOOP_CONF_DIR=/opt/hadoop-3.1.4/etc/hadoop`，`export
HADOOP_CLASSPATH=`hadoop classpath`测试example出现同样的问题


目前无论是yarn还是flink都找不出来出现了什么问题，手足无措了
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 14:31 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi,

你提到跑wordcount.jar时，当作业被调度到RM所在的机器上可以正常运行，调度到非RM所在的机器上就失败。flink环境干净的话，那大概率还是hadoop的环境设置有问题。
有几个可以检查的地方：
1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量，例如 export
HADOOP_CLASSPATH=`hadoop classpath`
2.

集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确，其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确

Best,
Biao Geng

Biao Geng  于2022年7月14日周四 11:32写道：

hi,
你有试过提交flink

example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
-irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。

Best,
Biao Geng

lishiyuan0506  于2022年7月14日周四 11:06写道：

您好，环境变量里面有，而且flink的conf.sh也设置了


lishiyuan0506
lishiyuan0...@163.com

<
https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1=lishiyuan0506=lishiyuan0506%40163.com=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png=%5B%22lishiyuan0506%40163.com%22%5D


 Replied Message 
From Yang Wang 
Date 07/14/2022 11:00
To user-zh 
Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
确认一下你是否正确设置了HADOOP_CONF_DIR环境变量

Best,
Yang

lishiyuan0506  于2022年7月14日周四 09:41写道：

打扰大家一下，请问一下各位在yarn提交flink的时候，有没有遇到过Retrying connect to server:
0.0.0.0/0.0.0.0:8030这个异常


hadoop的classpath没问题，Spark和MR在Yarn上跑也没问题，就flink有这样的问题


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-14 文章 JasonLee

Hi



仔细看了一下日志，感觉还是 yarn 的配置问题，可以看下 yarn.resourcemanager.scheduler.address 配置的什么吗？在 
client 端连接 RM 的时候打印的日志是 2022-07-14 15:10:48,109 INFO  
org.apache.hadoop.yarn.client.RMProxy[] - Connecting to 
ResourceManager at /0.0.0.0:8030 这里的地址是不对的，正常应该是 
yarn.resourcemanager.scheduler.address:8030 但是日志里面是 0.0.0.0:8030。


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 16:52 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi


是的，这个是运行参数


/opt/flink-1.13.3/bin/flink run \
-t yarn-per-job \
-Dyarn.application.name=test_wordcount \
-Dparallelism.default=1 \
-Dtaskmanager.numberOfTaskSlots=1 \
-Djobmanager.memory.process.size=1024mb \
-Dtaskmanager.memory.process.size=2048mb \
/opt/flink-1.13.3/examples/streaming/WordCount.jar


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 16:47 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi



这个是直接运行的 examples 里面的 demo 程序吗？


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 16:25 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
感谢感谢，可以看的，我添加到附件给您发过去


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 16:15 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi


可以用 yarn logs -applicationId xxx 看下日志吗？


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 15:43 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hello，根据您的思路，我查看了所有的yarn-site.xml，没有发现配置出错的地方，Spark和MR的运行都正常，感觉不是yarn的问题






| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 15:37 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi
根据你发的描述，是Flink的job manager在非RM所在机器上启动时，由于尝试连接0.0.0.0:8030
端口去向YARN申请资源时连接不通，导致失败。你可以检查下集群内worker节点的hadoop配置，看看yarn.resourcemanager.hostname等配置是否设置正确。

Best，
Biao Geng

lishiyuan0506  于2022年7月14日周四 15:17写道：

您好，我之前做了一些尝试：
1. 测试Spark、MR任务正常
2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现同样的问题
3.
尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`，测试example出现同样的问题，说明Flink已经成功加载了`yarn-site.xml`
4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export
HADOOP_CONF_DIR=/opt/hadoop-3.1.4/etc/hadoop`，`export
HADOOP_CLASSPATH=`hadoop classpath`测试example出现同样的问题


目前无论是yarn还是flink都找不出来出现了什么问题，手足无措了
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 14:31 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi,

你提到跑wordcount.jar时，当作业被调度到RM所在的机器上可以正常运行，调度到非RM所在的机器上就失败。flink环境干净的话，那大概率还是hadoop的环境设置有问题。
有几个可以检查的地方：
1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量，例如 export
HADOOP_CLASSPATH=`hadoop classpath`
2.

集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确，其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确

Best,
Biao Geng

Biao Geng  于2022年7月14日周四 11:32写道：

hi,
你有试过提交flink

example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
-irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。

Best,
Biao Geng

lishiyuan0506  于2022年7月14日周四 11:06写道：

您好，环境变量里面有，而且flink的conf.sh也设置了


lishiyuan0506
lishiyuan0...@163.com

<
https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1=lishiyuan0506=lishiyuan0506%40163.com=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png=%5B%22lishiyuan0506%40163.com%22%5D


 Replied Message 
From Yang Wang 
Date 07/14/2022 11:00
To user-zh 
Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
确认一下你是否正确设置了HADOOP_CONF_DIR环境变量

Best,
Yang

lishiyuan0506  于2022年7月14日周四 09:41写道：

打扰大家一下，请问一下各位在yarn提交flink的时候，有没有遇到过Retrying connect to server:
0.0.0.0/0.0.0.0:8030这个异常


hadoop的classpath没问题，Spark和MR在Yarn上跑也没问题，就flink有这样的问题


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-14 文章 lishiyuan0506

hi


是的，这个是运行参数


/opt/flink-1.13.3/bin/flink run \
-t yarn-per-job \
-Dyarn.application.name=test_wordcount \
-Dparallelism.default=1 \
-Dtaskmanager.numberOfTaskSlots=1 \
-Djobmanager.memory.process.size=1024mb \
-Dtaskmanager.memory.process.size=2048mb \
/opt/flink-1.13.3/examples/streaming/WordCount.jar


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 16:47 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi



这个是直接运行的 examples 里面的 demo 程序吗？


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 16:25 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
感谢感谢，可以看的，我添加到附件给您发过去


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 16:15 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi


可以用 yarn logs -applicationId xxx 看下日志吗？


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 15:43 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hello，根据您的思路，我查看了所有的yarn-site.xml，没有发现配置出错的地方，Spark和MR的运行都正常，感觉不是yarn的问题






| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 15:37 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi
根据你发的描述，是Flink的job manager在非RM所在机器上启动时，由于尝试连接0.0.0.0:8030
端口去向YARN申请资源时连接不通，导致失败。你可以检查下集群内worker节点的hadoop配置，看看yarn.resourcemanager.hostname等配置是否设置正确。

Best，
Biao Geng

lishiyuan0506  于2022年7月14日周四 15:17写道：

您好，我之前做了一些尝试：
1. 测试Spark、MR任务正常
2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现同样的问题
3.
尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`，测试example出现同样的问题，说明Flink已经成功加载了`yarn-site.xml`
4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export
HADOOP_CONF_DIR=/opt/hadoop-3.1.4/etc/hadoop`，`export
HADOOP_CLASSPATH=`hadoop classpath`测试example出现同样的问题


目前无论是yarn还是flink都找不出来出现了什么问题，手足无措了
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 14:31 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi,

你提到跑wordcount.jar时，当作业被调度到RM所在的机器上可以正常运行，调度到非RM所在的机器上就失败。flink环境干净的话，那大概率还是hadoop的环境设置有问题。
有几个可以检查的地方：
1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量，例如 export
HADOOP_CLASSPATH=`hadoop classpath`
2.

集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确，其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确

Best,
Biao Geng

Biao Geng  于2022年7月14日周四 11:32写道：

hi,
你有试过提交flink

example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
-irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。

Best,
Biao Geng

lishiyuan0506  于2022年7月14日周四 11:06写道：

您好，环境变量里面有，而且flink的conf.sh也设置了


lishiyuan0506
lishiyuan0...@163.com

<
https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1=lishiyuan0506=lishiyuan0506%40163.com=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png=%5B%22lishiyuan0506%40163.com%22%5D


 Replied Message 
From Yang Wang 
Date 07/14/2022 11:00
To user-zh 
Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
确认一下你是否正确设置了HADOOP_CONF_DIR环境变量

Best,
Yang

lishiyuan0506  于2022年7月14日周四 09:41写道：

打扰大家一下，请问一下各位在yarn提交flink的时候，有没有遇到过Retrying connect to server:
0.0.0.0/0.0.0.0:8030这个异常


hadoop的classpath没问题，Spark和MR在Yarn上跑也没问题，就flink有这样的问题


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-14 文章 JasonLee

Hi



这个是直接运行的 examples 里面的 demo 程序吗？


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 16:25 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
感谢感谢，可以看的，我添加到附件给您发过去


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 16:15 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi


可以用 yarn logs -applicationId xxx 看下日志吗？


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 15:43 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hello，根据您的思路，我查看了所有的yarn-site.xml，没有发现配置出错的地方，Spark和MR的运行都正常，感觉不是yarn的问题






| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 15:37 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi
根据你发的描述，是Flink的job manager在非RM所在机器上启动时，由于尝试连接0.0.0.0:8030
端口去向YARN申请资源时连接不通，导致失败。你可以检查下集群内worker节点的hadoop配置，看看yarn.resourcemanager.hostname等配置是否设置正确。

Best，
Biao Geng

lishiyuan0506  于2022年7月14日周四 15:17写道：

您好，我之前做了一些尝试：
1. 测试Spark、MR任务正常
2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现同样的问题
3.
尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`，测试example出现同样的问题，说明Flink已经成功加载了`yarn-site.xml`
4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export
HADOOP_CONF_DIR=/opt/hadoop-3.1.4/etc/hadoop`，`export
HADOOP_CLASSPATH=`hadoop classpath`测试example出现同样的问题


目前无论是yarn还是flink都找不出来出现了什么问题，手足无措了
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 14:31 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi,

你提到跑wordcount.jar时，当作业被调度到RM所在的机器上可以正常运行，调度到非RM所在的机器上就失败。flink环境干净的话，那大概率还是hadoop的环境设置有问题。
有几个可以检查的地方：
1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量，例如 export
HADOOP_CLASSPATH=`hadoop classpath`
2.

集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确，其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确

Best,
Biao Geng

Biao Geng  于2022年7月14日周四 11:32写道：

hi,
你有试过提交flink

example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
-irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。

Best,
Biao Geng

lishiyuan0506  于2022年7月14日周四 11:06写道：

您好，环境变量里面有，而且flink的conf.sh也设置了


lishiyuan0506
lishiyuan0...@163.com

<
https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1=lishiyuan0506=lishiyuan0506%40163.com=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png=%5B%22lishiyuan0506%40163.com%22%5D


 Replied Message 
From Yang Wang 
Date 07/14/2022 11:00
To user-zh 
Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
确认一下你是否正确设置了HADOOP_CONF_DIR环境变量

Best,
Yang

lishiyuan0506  于2022年7月14日周四 09:41写道：

打扰大家一下，请问一下各位在yarn提交flink的时候，有没有遇到过Retrying connect to server:
0.0.0.0/0.0.0.0:8030这个异常


hadoop的classpath没问题，Spark和MR在Yarn上跑也没问题，就flink有这样的问题


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-14 文章 lishiyuan0506

感谢感谢，可以看的，我添加到附件给您发过去


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | JasonLee<17610775...@163.com> |
| Date | 07/14/2022 16:15 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
Hi


可以用 yarn logs -applicationId xxx 看下日志吗？


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 15:43 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hello，根据您的思路，我查看了所有的yarn-site.xml，没有发现配置出错的地方，Spark和MR的运行都正常，感觉不是yarn的问题






| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 15:37 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi
根据你发的描述，是Flink的job manager在非RM所在机器上启动时，由于尝试连接0.0.0.0:8030
端口去向YARN申请资源时连接不通，导致失败。你可以检查下集群内worker节点的hadoop配置，看看yarn.resourcemanager.hostname等配置是否设置正确。

Best，
Biao Geng

lishiyuan0506  于2022年7月14日周四 15:17写道：

您好，我之前做了一些尝试：
1. 测试Spark、MR任务正常
2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现同样的问题
3.
尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`，测试example出现同样的问题，说明Flink已经成功加载了`yarn-site.xml`
4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export
HADOOP_CONF_DIR=/opt/hadoop-3.1.4/etc/hadoop`，`export
HADOOP_CLASSPATH=`hadoop classpath`测试example出现同样的问题


目前无论是yarn还是flink都找不出来出现了什么问题，手足无措了
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 14:31 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi,

你提到跑wordcount.jar时，当作业被调度到RM所在的机器上可以正常运行，调度到非RM所在的机器上就失败。flink环境干净的话，那大概率还是hadoop的环境设置有问题。
有几个可以检查的地方：
1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量，例如 export
HADOOP_CLASSPATH=`hadoop classpath`
2.

集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确，其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确

Best,
Biao Geng

Biao Geng  于2022年7月14日周四 11:32写道：

hi,
你有试过提交flink

example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
-irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。

Best,
Biao Geng

lishiyuan0506  于2022年7月14日周四 11:06写道：

您好，环境变量里面有，而且flink的conf.sh也设置了


lishiyuan0506
lishiyuan0...@163.com

<
https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1=lishiyuan0506=lishiyuan0506%40163.com=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png=%5B%22lishiyuan0506%40163.com%22%5D


 Replied Message 
From Yang Wang 
Date 07/14/2022 11:00
To user-zh 
Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
确认一下你是否正确设置了HADOOP_CONF_DIR环境变量

Best,
Yang

lishiyuan0506  于2022年7月14日周四 09:41写道：

打扰大家一下，请问一下各位在yarn提交flink的时候，有没有遇到过Retrying connect to server:
0.0.0.0/0.0.0.0:8030这个异常


hadoop的classpath没问题，Spark和MR在Yarn上跑也没问题，就flink有这样的问题


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|




 Log Type: jobmanager.log

Log Upload Time: Thu Jul 14 15:11:43 +0800 2022

Log Length: 52944

2022-07-14 15:10:45,900 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] - 

2022-07-14 15:10:45,904 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] -  Starting 
YarnJobClusterEntrypoint (Version: 1.13.3, Scala: 2.12, Rev:a4700e3, 
Date:2021-10-11T23:52:36+02:00)
2022-07-14 15:10:45,904 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] -  OS current 
user: root
2022-07-14 15:10:46,041 WARN  org.apache.hadoop.util.NativeCodeLoader   
   [] - Unable to load native-hadoop library for your platform... using 
builtin-java classes where applicable
2022-07-14 15:10:46,106 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] -  Current 
Hadoop/Kerberos user: root
2022-07-14 15:10:46,106 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] -  JVM: Java 
HotSpot(TM) 64-Bit Server VM - Oracle Corporation - 1.8/25.212-b10
2022-07-14 15:10:46,107 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] -  Maximum heap 
size: 429 MiBytes
2022-07-14 15:10:46,107 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] -  JAVA_HOME: 
/opt/jdk1.8.0_212
2022-07-14 15:10:46,109 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] -  Hadoop 
version: 3.1.4
2022-07-14 15:10:46,109 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] -  JVM Options:
2022-07-14 15:10:46,109 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] - 
-Xmx469762048
2022-07-14 15:10:46,109 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] - 
-Xms469762048
2022-07-14 15:10:46,109 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] - 
-XX:MaxMetaspaceSize=268435456
2022-07-14 15:10:46,109 INFO  
org.apache.flink.runtime.entrypoint.ClusterEntrypoint[] -

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-14 文章 JasonLee

Hi


可以用 yarn logs -applicationId xxx 看下日志吗？


Best
JasonLee


 Replied Message 
| From | lishiyuan0506 |
| Date | 07/14/2022 15:43 |
| To | user-zh@flink.apache.org |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hello，根据您的思路，我查看了所有的yarn-site.xml，没有发现配置出错的地方，Spark和MR的运行都正常，感觉不是yarn的问题






| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 15:37 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi
根据你发的描述，是Flink的job manager在非RM所在机器上启动时，由于尝试连接0.0.0.0:8030
端口去向YARN申请资源时连接不通，导致失败。你可以检查下集群内worker节点的hadoop配置，看看yarn.resourcemanager.hostname等配置是否设置正确。

Best，
Biao Geng

lishiyuan0506  于2022年7月14日周四 15:17写道：

您好，我之前做了一些尝试：
1. 测试Spark、MR任务正常
2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现同样的问题
3.
尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`，测试example出现同样的问题，说明Flink已经成功加载了`yarn-site.xml`
4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export
HADOOP_CONF_DIR=/opt/hadoop-3.1.4/etc/hadoop`，`export
HADOOP_CLASSPATH=`hadoop classpath`测试example出现同样的问题


目前无论是yarn还是flink都找不出来出现了什么问题，手足无措了
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 14:31 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi,

你提到跑wordcount.jar时，当作业被调度到RM所在的机器上可以正常运行，调度到非RM所在的机器上就失败。flink环境干净的话，那大概率还是hadoop的环境设置有问题。
有几个可以检查的地方：
1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量，例如 export
HADOOP_CLASSPATH=`hadoop classpath`
2.

集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确，其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确

Best,
Biao Geng

Biao Geng  于2022年7月14日周四 11:32写道：

hi,
你有试过提交flink

example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
-irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。

Best,
Biao Geng

lishiyuan0506  于2022年7月14日周四 11:06写道：

您好，环境变量里面有，而且flink的conf.sh也设置了


lishiyuan0506
lishiyuan0...@163.com

<
https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1=lishiyuan0506=lishiyuan0506%40163.com=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png=%5B%22lishiyuan0506%40163.com%22%5D


 Replied Message 
From Yang Wang 
Date 07/14/2022 11:00
To user-zh 
Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
确认一下你是否正确设置了HADOOP_CONF_DIR环境变量

Best,
Yang

lishiyuan0506  于2022年7月14日周四 09:41写道：

打扰大家一下，请问一下各位在yarn提交flink的时候，有没有遇到过Retrying connect to server:
0.0.0.0/0.0.0.0:8030这个异常


hadoop的classpath没问题，Spark和MR在Yarn上跑也没问题，就flink有这样的问题


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-14 文章 lishiyuan0506

hello，根据您的思路，我查看了所有的yarn-site.xml，没有发现配置出错的地方，Spark和MR的运行都正常，感觉不是yarn的问题






| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 15:37 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi
根据你发的描述，是Flink的job manager在非RM所在机器上启动时，由于尝试连接0.0.0.0:8030
端口去向YARN申请资源时连接不通，导致失败。你可以检查下集群内worker节点的hadoop配置，看看yarn.resourcemanager.hostname等配置是否设置正确。

Best，
Biao Geng

lishiyuan0506  于2022年7月14日周四 15:17写道：

您好，我之前做了一些尝试：
1. 测试Spark、MR任务正常
2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现同样的问题
3.
尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`，测试example出现同样的问题，说明Flink已经成功加载了`yarn-site.xml`
4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export
HADOOP_CONF_DIR=/opt/hadoop-3.1.4/etc/hadoop`，`export
HADOOP_CLASSPATH=`hadoop classpath`测试example出现同样的问题


目前无论是yarn还是flink都找不出来出现了什么问题，手足无措了
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 14:31 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi,

你提到跑wordcount.jar时，当作业被调度到RM所在的机器上可以正常运行，调度到非RM所在的机器上就失败。flink环境干净的话，那大概率还是hadoop的环境设置有问题。
有几个可以检查的地方：
1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量，例如 export
HADOOP_CLASSPATH=`hadoop classpath`
2.

集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确，其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确

Best,
Biao Geng

Biao Geng  于2022年7月14日周四 11:32写道：

hi,
你有试过提交flink

example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
-irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。

Best,
Biao Geng

lishiyuan0506  于2022年7月14日周四 11:06写道：

您好，环境变量里面有，而且flink的conf.sh也设置了


lishiyuan0506
lishiyuan0...@163.com

<
https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1=lishiyuan0506=lishiyuan0506%40163.com=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png=%5B%22lishiyuan0506%40163.com%22%5D


 Replied Message 
From Yang Wang 
Date 07/14/2022 11:00
To user-zh 
Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
确认一下你是否正确设置了HADOOP_CONF_DIR环境变量

Best,
Yang

lishiyuan0506  于2022年7月14日周四 09:41写道：

打扰大家一下，请问一下各位在yarn提交flink的时候，有没有遇到过Retrying connect to server:
0.0.0.0/0.0.0.0:8030这个异常


hadoop的classpath没问题，Spark和MR在Yarn上跑也没问题，就flink有这样的问题


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-14 文章 Biao Geng

hi
根据你发的描述，是Flink的job manager在非RM所在机器上启动时，由于尝试连接0.0.0.0:8030
端口去向YARN申请资源时连接不通，导致失败。你可以检查下集群内worker节点的hadoop配置，看看yarn.resourcemanager.hostname等配置是否设置正确。

Best，
Biao Geng

lishiyuan0506  于2022年7月14日周四 15:17写道：

> 您好，我之前做了一些尝试：
> 1. 测试Spark、MR任务正常
> 2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现同样的问题
> 3.
> 尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`，测试example出现同样的问题，说明Flink已经成功加载了`yarn-site.xml`
> 4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export
> HADOOP_CONF_DIR=/opt/hadoop-3.1.4/etc/hadoop`，`export
> HADOOP_CLASSPATH=`hadoop classpath`测试example出现同样的问题
>
>
> 目前无论是yarn还是flink都找不出来出现了什么问题，手足无措了
> | |
> lishiyuan0506
> |
> |
> lishiyuan0...@163.com
> |
>
>
>  Replied Message 
> | From | Biao Geng |
> | Date | 07/14/2022 14:31 |
> | To |  |
> | Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
> hi,
>
> 你提到跑wordcount.jar时，当作业被调度到RM所在的机器上可以正常运行，调度到非RM所在的机器上就失败。flink环境干净的话，那大概率还是hadoop的环境设置有问题。
> 有几个可以检查的地方：
> 1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量，例如 export
> HADOOP_CLASSPATH=`hadoop classpath`
> 2.
>
> 集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确，其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确
>
> Best,
> Biao Geng
>
> Biao Geng  于2022年7月14日周四 11:32写道：
>
> hi,
> 你有试过提交flink
>
> example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
> -irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。
>
> Best,
> Biao Geng
>
> lishiyuan0506  于2022年7月14日周四 11:06写道：
>
> 您好，环境变量里面有，而且flink的conf.sh也设置了
>
>
> lishiyuan0506
> lishiyuan0...@163.com
>
> <
> https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1=lishiyuan0506=lishiyuan0506%40163.com=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png=%5B%22lishiyuan0506%40163.com%22%5D
> >
>
>  Replied Message 
> From Yang Wang 
> Date 07/14/2022 11:00
> To user-zh 
> Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
> 确认一下你是否正确设置了HADOOP_CONF_DIR环境变量
>
> Best,
> Yang
>
> lishiyuan0506  于2022年7月14日周四 09:41写道：
>
> 打扰大家一下，请问一下各位在yarn提交flink的时候，有没有遇到过Retrying connect to server:
> 0.0.0.0/0.0.0.0:8030这个异常
>
>
> hadoop的classpath没问题，Spark和MR在Yarn上跑也没问题，就flink有这样的问题
>
>
> | |
> lishiyuan0506
> |
> |
> lishiyuan0...@163.com
> |
>
>
>
>

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-14 文章 lishiyuan0506

您好，我之前做了一些尝试：
1. 测试Spark、MR任务正常
2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现同样的问题
3. 
尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`DEFAULT_YARN_CONF_DIR="/opt/hadoop-3.1.4/etc/hadoop/"`，测试example出现同样的问题，说明Flink已经成功加载了`yarn-site.xml`
4.尝试在`/opt/flink-1.13.3/bin/config.sh`中配置`export 
HADOOP_CONF_DIR=/opt/hadoop-3.1.4/etc/hadoop`，`export HADOOP_CLASSPATH=`hadoop 
classpath`测试example出现同样的问题


目前无论是yarn还是flink都找不出来出现了什么问题，手足无措了
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 14:31 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi,
你提到跑wordcount.jar时，当作业被调度到RM所在的机器上可以正常运行，调度到非RM所在的机器上就失败。flink环境干净的话，那大概率还是hadoop的环境设置有问题。
有几个可以检查的地方：
1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量，例如 export
HADOOP_CLASSPATH=`hadoop classpath`
2.
集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确，其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确

Best,
Biao Geng

Biao Geng  于2022年7月14日周四 11:32写道：

hi,
你有试过提交flink
example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
-irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。

Best,
Biao Geng

lishiyuan0506  于2022年7月14日周四 11:06写道：

您好，环境变量里面有，而且flink的conf.sh也设置了


lishiyuan0506
lishiyuan0...@163.com



 Replied Message 
From Yang Wang 
Date 07/14/2022 11:00
To user-zh 
Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
确认一下你是否正确设置了HADOOP_CONF_DIR环境变量

Best,
Yang

lishiyuan0506  于2022年7月14日周四 09:41写道：

打扰大家一下，请问一下各位在yarn提交flink的时候，有没有遇到过Retrying connect to server:
0.0.0.0/0.0.0.0:8030这个异常


hadoop的classpath没问题，Spark和MR在Yarn上跑也没问题，就flink有这样的问题


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|

来自刘磊的邮件

2022-07-14 文章刘磊

flink 1.15.1 source compile failed on "annoation" module

2022-07-14 文章 krislee


Hi,

    I'm facing below error when compiling flink 1.15.1 src on 
windows(win10) .


    From error stack, it appears that compiling failed when compiling 
"annoation" module.



严重: Step 'google-java-format' found problem in 
'src\main\java\org\apache\flink\annotation\docs\ConfigGroup.java':

Unable to resolve dependencies
com.diffplug.spotless.maven.ArtifactResolutionException: Unable to 
resolve dependencies
    at 
com.diffplug.spotless.maven.ArtifactResolver.resolveDependencies(ArtifactResolver.java:88)
    at 
com.diffplug.spotless.maven.ArtifactResolver.resolve(ArtifactResolver.java:74)
    at 
com.diffplug.spotless.JarState.provisionWithTransitives(JarState.java:68)

    at com.diffplug.spotless.JarState.from(JarState.java:57)
    at com.diffplug.spotless.JarState.from(JarState.java:52)
    at 
com.diffplug.spotless.java.GoogleJavaFormatStep$State.(GoogleJavaFormatStep.java:142)
    at 
com.diffplug.spotless.java.GoogleJavaFormatStep.lambda$create$0(GoogleJavaFormatStep.java:85)
    at 
com.diffplug.spotless.FormatterStepImpl.calculateState(FormatterStepImpl.java:56)
    at 
com.diffplug.spotless.LazyForwardingEquality.state(LazyForwardingEquality.java:56)
    at 
com.diffplug.spotless.FormatterStep$Strict.format(FormatterStep.java:76)

    at com.diffplug.spotless.Formatter.compute(Formatter.java:230)
    at 
com.diffplug.spotless.PaddedCell.calculateDirtyState(PaddedCell.java:201)
    at 
com.diffplug.spotless.PaddedCell.calculateDirtyState(PaddedCell.java:188)
    at 
com.diffplug.spotless.maven.SpotlessCheckMojo.process(SpotlessCheckMojo.java:52)
    at 
com.diffplug.spotless.maven.AbstractSpotlessMojo.execute(AbstractSpotlessMojo.java:150)
    at 
com.diffplug.spotless.maven.AbstractSpotlessMojo.execute(AbstractSpotlessMojo.java:141)
    at 
org.apache.maven.plugin.DefaultBuildPluginManager.executeMojo(DefaultBuildPluginManager.java:137)
    at 
org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:210)
    at 
org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:156)
    at 
org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:148)
    at 
org.apache.maven.lifecycle.internal.LifecycleModuleBuilder.buildProject(LifecycleModuleBuilder.java:117)
    at 
org.apache.maven.lifecycle.internal.LifecycleModuleBuilder.buildProject(LifecycleModuleBuilder.java:81)
    at 
org.apache.maven.lifecycle.internal.builder.singlethreaded.SingleThreadedBuilder.build(SingleThreadedBuilder.java:56)
    at 
org.apache.maven.lifecycle.internal.LifecycleStarter.execute(LifecycleStarter.java:128)

    at org.apache.maven.DefaultMaven.doExecute(DefaultMaven.java:305)
    at org.apache.maven.DefaultMaven.doExecute(DefaultMaven.java:192)
    at org.apache.maven.DefaultMaven.execute(DefaultMaven.java:105)
    at org.apache.maven.cli.MavenCli.execute(MavenCli.java:972)
    at org.apache.maven.cli.MavenCli.doMain(MavenCli.java:293)
    at org.apache.maven.cli.MavenCli.main(MavenCli.java:196)
    at 
java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native 
Method)
    at 
java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at 
java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

    at java.base/java.lang.reflect.Method.invoke(Method.java:566)
    at 
org.codehaus.plexus.classworlds.launcher.Launcher.launchEnhanced(Launcher.java:282)
    at 
org.codehaus.plexus.classworlds.launcher.Launcher.launch(Launcher.java:225)
    at 
org.codehaus.plexus.classworlds.launcher.Launcher.mainWithExitCode(Launcher.java:406)
    at 
org.codehaus.plexus.classworlds.launcher.Launcher.main(Launcher.java:347)
Caused by: org.eclipse.aether.resolution.DependencyResolutionException: 
Failed to collect dependencies at 
com.google.googlejavaformat:google-java-format:jar:1.7 -> 
com.google.errorprone:javac-shaded:jar:9+181-r4173-1
    at 
org.eclipse.aether.internal.impl.DefaultRepositorySystem.resolveDependencies(DefaultRepositorySystem.java:353)
    at 
com.diffplug.spotless.maven.ArtifactResolver.resolveDependencies(ArtifactResolver.java:86)

    ... 37 more
Caused by: org.eclipse.aether.collection.DependencyCollectionException: 
Failed to collect dependencies at 
com.google.googlejavaformat:google-java-format:jar:1.7 -> 
com.google.errorprone:javac-shaded:jar:9+181-r4173-1
    at 
org.eclipse.aether.internal.impl.collect.DefaultDependencyCollector.collectDependencies(DefaultDependencyCollector.java:288)
    at 
org.eclipse.aether.internal.impl.DefaultRepositorySystem.resolveDependencies(DefaultRepositorySystem.java:309)

    ... 38 more
Caused by: org.eclipse.aether.resolution.ArtifactDescriptorException: 
Failed to read artifact descriptor for

Re:咨询 Flink 在 OLAP、即席查询场景下的应用问题

2022-07-14 文章 RS

Hi，


打算通过Flink查询HDFS中的数据，对查询实效性要求高，查询平均时延要求在秒级。
=
这种高实时性的要求，是不适合Presto或者Flink引擎的。


如果是数据量不大，查询逻辑不复杂，实时性要求高，建议数据同步到数据库中，使用数据库引擎来查询；
如果是数据量大，查询逻辑复杂，实时性要求不高，Flink或者Presto是可以的；
如果是数据量大，查询逻辑复杂，实时性要求高，那什么都拯救不了你


Thanks



在 2022-07-14 11:54:00，"barbzhang(张博)"  写道：

您好，我目前在调研Flink对于即席查询场景的支持程度，打算通过Flink查询HDFS中的数据，对查询实效性要求高，查询平均时延要求在秒级。

我调研了Flink集群的多种部署模式，发现Standalone on k8s 模式下的 Flink 
Session集群最满足这种需求，因此搭建了该种模式的Flink集群，打算通过我们自研的Java项目集成Flink API提交查询SQL到Flink集群执行。

 

目前我发现通过Java项目往Flink提交SQL有两种方式：

方式一：通过Flink Table API的方式

这种方式需要将集成Flink Table 
API的代码打成jar包，放在我们Java项目服务的服务器上，然后在Java项目内通过调用启动脚本的方式往Flink集群提交任务，类似：flink run 
-m {host}:{port} xxx.jar。

这种方式的缺点是main()方法在客户端执行，而且涉及到客户端往JobManager、JobManager往TaskManager分发jar包的过程，时延较高，一般至少需要十秒以上，不太满足即席查询对时延的要求。

方式二：采用类似SQL客户端的方式

这种方式没有分发jar包的过程，相对第一种方式而言时延较低，问题就在于Java项目该如何集成SQL客户端？我研究了相关代码，打算通过我们自研的Java项目直接调用Flink
 SqlClient的相关方法，类似：SQL客户端提交SQL demo。但是这种方式我们接收到的返回内容是字符串，而不是结构化的Java对象，不像Table 
API封装的那么好，需要自行做反序列化处理，而且我个人觉得这种方式不太合适。

 

综上，我想请教下您两个问题：

问题一：Flink Standalone集群其实就是常驻进程了，类似Presto这种引擎，上述方式一有没有可能Java项目集成Flink Table 
API时，直接在Java项目内运行这段代码，相当于该Java服务作为客户端，直接往Flink集群提交SQL，而不是绕了一次，先打好jar包再通过 flink 
run提交jar包的方式提交SQL。

我想让这段代码直接在Java项目提供的服务内直接运行，不知道目前能不能做到。

问题二：除了问题一的解决方案，还有没有其他方式能满足目前我们这种需求？

 

抱歉打扰您了，万分感谢！

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-14 文章 Biao Geng

hi,
你提到跑wordcount.jar时，当作业被调度到RM所在的机器上可以正常运行，调度到非RM所在的机器上就失败。flink环境干净的话，那大概率还是hadoop的环境设置有问题。
有几个可以检查的地方：
1. 运行flink run之前或者在flink的bin/config.sh里是否有正确设置hadoop环境变量，例如 export
HADOOP_CLASSPATH=`hadoop classpath`
2.
集群内机器(比如非RM所在机器)的HADOOP_CONF_DIR是否设置正确，其指向的目录里的yarn-site.xml的yarn.resourcemanager.hostname等配置是否设置正确

Best,
Biao Geng

Biao Geng  于2022年7月14日周四 11:32写道：

> hi,
> 你有试过提交flink
> example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
> -irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。
>
> Best,
> Biao Geng
>
> lishiyuan0506  于2022年7月14日周四 11:06写道：
>
>> 您好，环境变量里面有，而且flink的conf.sh也设置了
>>
>>
>> lishiyuan0506
>> lishiyuan0...@163.com
>>
>> 
>>
>>  Replied Message 
>> From Yang Wang 
>> Date 07/14/2022 11:00
>> To user-zh 
>> Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
>> 确认一下你是否正确设置了HADOOP_CONF_DIR环境变量
>>
>> Best,
>> Yang
>>
>> lishiyuan0506  于2022年7月14日周四 09:41写道：
>>
>> 打扰大家一下，请问一下各位在yarn提交flink的时候，有没有遇到过Retrying connect to server:
>> 0.0.0.0/0.0.0.0:8030这个异常
>>
>>
>> hadoop的classpath没问题，Spark和MR在Yarn上跑也没问题，就flink有这样的问题
>>
>>
>> | |
>> lishiyuan0506
>> |
>> |
>> lishiyuan0...@163.com
>> |
>>
>>
>>

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-14 文章 lishiyuan0506

您好，运行example仍然是这个问题，检查了lib没有多余的yarn配置，从官网下了一个干净的flink运行example还是出现这个问题。
| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|


 Replied Message 
| From | Biao Geng |
| Date | 07/14/2022 11:32 |
| To |  |
| Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 |
hi,
你有试过提交flink
example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep
-irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。

Best,
Biao Geng

lishiyuan0506  于2022年7月14日周四 11:06写道：

您好，环境变量里面有，而且flink的conf.sh也设置了


lishiyuan0506
lishiyuan0...@163.com



 Replied Message 
From Yang Wang 
Date 07/14/2022 11:00
To user-zh 
Subject Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030
确认一下你是否正确设置了HADOOP_CONF_DIR环境变量

Best,
Yang

lishiyuan0506  于2022年7月14日周四 09:41写道：

打扰大家一下，请问一下各位在yarn提交flink的时候，有没有遇到过Retrying connect to server:
0.0.0.0/0.0.0.0:8030这个异常


hadoop的classpath没问题，Spark和MR在Yarn上跑也没问题，就flink有这样的问题


| |
lishiyuan0506
|
|
lishiyuan0...@163.com
|

Re: Flink SQL 能处理延时丢弃的数据吗？

Flink SQL 能处理延时丢弃的数据吗？

Re: flink native k8s 按照文档提交任务找不到对应的集群

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

来自刘磊的邮件

flink 1.15.1 source compile failed on "annoation" module

Re:咨询 Flink 在 OLAP、即席查询场景下的应用问题

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

18 matches

Site Navigation

Mail list logo

Footer information