感谢 我看下这块
huweihua 于2022年4月15日周五 13:47写道：
> Nodeport 模式下获取 address 的代码在 getLoadBalancerRestEndpoint 中。历史版本会直接获取k8s
> master url, 在 Flink-1.14 版本中针对 k8s master 是 VIP 的情况做了适配[1]，可以看下是否对你有帮助
> https://issues.apache.org/jira/browse/FLINK-23507
>
>
> > 2022年4月15日 下午1:37，shimin huang 写道：
> >
> >
Fabric8FlinkKubeClient#getRestEndPointFromService
shimin huang 于2022年4月15日周五 13:37写道：
> private Optional getRestEndPointFromService(Service service, int
> restPort) {
> if (service.getStatus() == null) {
> return Optional.empty();
> }
>
> LoadBalancerStatus loadBalancer =
private Optional getRestEndPointFromService(Service service,
int restPort) {
if (service.getStatus() == null) {
return Optional.empty();
}
LoadBalancerStatus loadBalancer = service.getStatus().getLoadBalancer();
boolean hasExternalIP =
service.getSpec() != null
退订
在 2022-04-14 22:44:48，"顺其自然" <712677...@qq.com.INVALID> 写道：
>我的flink 1.12.1 sql clinet
>使用flink-sql-connector-elasticsearch7，代码里使用的flink-connector-elasticsearch7，然后在同一个flink上运行，报如下错误：
>
>Caused by: java.lang.reflect.InvocationTargetException
>at
退订
回复的原邮件
| 发件人 | huweihua |
| 日期 | 2022年04月15日 11:35 |
| 收件人 | user-zh@flink.apache.org |
| 抄送至 | |
| 主题 | Re: flink on native k8s NodePort方式启动任务后返回的jobmanager web ui的地址不是集群中的ip |
图片显示失败了，可以上传到图床，贴链接到邮件里
> 2022年4月15日 上午11:30，shimin huang 写道：
>
>
> 具体细节看和flink
图片显示失败了，可以上传到图床，贴链接到邮件里
> 2022年4月15日 上午11:30，shimin huang 写道：
>
>
> 具体细节看和flink k8s这块的细节实现有关，不清楚为什么这个externalIPs的第一个ip在我们k8s集群中为什么不存在
>
> shimin huang mailto:huangshimin1...@gmail.com>>
> 于2022年4月15日周五 11:16写道：
> hi，使用flink on native k8s NodePort方式启动任务后返回的jobmanager web
>
[image: image.png]
具体细节看和flink k8s这块的细节实现有关，不清楚为什么这个externalIPs的第一个ip在我们k8s集群中为什么不存在
shimin huang 于2022年4月15日周五 11:16写道：
> hi，使用flink on native k8s NodePort方式启动任务后返回的jobmanager web
> ui的地址不是集群中的ip，看k8s底层的部署也没发现具体问题
>
hi，使用flink on native k8s NodePort方式启动任务后返回的jobmanager web
ui的地址不是集群中的ip，看k8s底层的部署也没发现具体问题
你这个报错主要原因还是访问外部的一些镜像源失败导致的，你可以使用一些云厂商提供的代理来解决拉镜像失败的问题
或者使用--set webhook.create=false来关闭webhook功能
Best,
Yang
casel.chen 于2022年4月14日周四 15:46写道：
> The deployment 'cert-manager-webhook' shows
> Failed to pull image "quay.io/jetstack/cert-manager-webhook:v1.7.1": rpc
> error: code = Unknown desc =
flink 1.12.1 sql clinet
flink-sql-connector-elasticsearch7??flink-connector-elasticsearch7??flink
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at
感谢 我去了解了解
huweihua 于2022年4月14日周四 20:06写道：
> 使用 NodePort 会默认使用 api server 的 host + nodeport, 预期 K8S 集群内部所有节点都会转发
> nodeport 的流量，如果无法访问，可能是你使用的 K8S 做了一些封禁，把 NodePort 的流量转发功能禁用了
>
>
> > 2022年4月14日 下午5:22，shimin huang 写道：
> >
> > 使用Nodeport方式提交的flink任务返回的jobmangaer的web ui地址发现无法访问，这导致正常的flink
>
感觉像是 二次改造的问题。可以关注几个点：
1. 指标 tag 里的 job_id 是怎么带上的，是否可能多个作业相互覆盖或者只有第一个生效的场景
2. 可以在自动修改的代码里增加更多的日志，进一步定位, 例如：在 notifyOfAddedMetric() 时打印注册了哪些 metric
> 2022年4月14日 下午6:41，QiZhu Chan 写道：
>
>
>
>
>
>
使用 NodePort 会默认使用 api server 的 host + nodeport, 预期 K8S 集群内部所有节点都会转发 nodeport
的流量，如果无法访问，可能是你使用的 K8S 做了一些封禁，把 NodePort 的流量转发功能禁用了
> 2022年4月14日 下午5:22，shimin huang 写道：
>
> 使用Nodeport方式提交的flink任务返回的jobmangaer的web ui地址发现无法访问，这导致正常的flink list命令也无法获取对应
> cluster.id下的job，实际返回的jm ip发现是api
Hi，
在做Flink Metrics监控的工作过程中，有发现一个问题，Flink on yarn下，使用yarn session模式提交多个Flink
Job，只有首次提交的Job，才能正常上报Metrics；后续提交的Job，Metrics均不上报，请问是什么原因？
需要说明的是，1、InfluxdbReporter是经过二次改造的，改造后所有指标的tag均会带上job_id，方便以通过job_id查找到所有指标。2、在per-job场景下，没有这个问题，因为per-job作业拥有各自的Jobmanager。
Flink版本：1.13.3
使用Nodeport方式提交的flink任务返回的jobmangaer的web ui地址发现无法访问，这导致正常的flink list命令也无法获取对应
cluster.id下的job，实际返回的jm ip发现是api server的，请问各位有什么好的办法解决这类问题呢
shimin huang 于2022年4月14日周四 17:20写道：
> flink version: flink 1.13.0
>
>
flink version: flink 1.13.0
The deployment 'cert-manager-webhook' shows
Failed to pull image "quay.io/jetstack/cert-manager-webhook:v1.7.1": rpc error:
code = Unknown desc = Error response from daemon: Get "https://quay.io/v2/":
net/http: TLS handshake timeout
在 2022-04-14 15:40:51，"casel.chen" 写道：
按照其官方文档[1]尝试在mac本地的minikube上运行Flink Kubernetes Operator，结果抛下面的连接错误：
$ helm install flink-kubernetes-operator
flink-operator-repo/flink-kubernetes-operator --set
image.repository=apache/flink-kubernetes-operator
WARNING: Kubernetes configuration file is group-readable. This is insecure.
Hi,
可以为 HBaseDynamicTableSource 实现 FilterPushDown[1] 接口。这样子 你直接添加的 filter 会被下推到
Source，从而在读取的时候过滤掉不相关的数据。
[1]
20 matches
Mail list logo
