感谢 我看下这块
huweihua 于2022年4月15日周五 13:47写道：
> Nodeport 模式下获取 address 的代码在 getLoadBalancerRestEndpoint 中。历史版本会直接获取k8s
> master url, 在 Flink-1.14 版本中针对 k8s master 是 VIP 的情况做了适配[1]，可以看下是否对你有帮助
> https://issues.apache.org/jira/browse/FLINK-23507
>
>
> > 2022年4月15日 下午1:37，shimin huang 写道：
> >
> >
Fabric8FlinkKubeClient#getRestEndPointFromService
shimin huang 于2022年4月15日周五 13:37写道：
> private Optional getRestEndPointFromService(Service service, int
> restPort) {
> if (service.getStatus() == null) {
> return Optional.empty();
> }
>
> LoadBalancerStatus loadBalancer =
private Optional getRestEndPointFromService(Service service,
int restPort) {
if (service.getStatus() == null) {
return Optional.empty();
}
LoadBalancerStatus loadBalancer = service.getStatus().getLoadBalancer();
boolean hasExternalIP =
service.getSpec() != null
退订
在 2022-04-14 22:44:48，"顺其自然" <712677...@qq.com.INVALID> 写道：
>我的flink 1.12.1 sql clinet
>使用flink-sql-connector-elasticsearch7，代码里使用的flink-connector-elasticsearch7，然后在同一个flink上运行，报如下错误：
>
>Caused by: java.lang.reflect.InvocationTargetException
>at
退订
回复的原邮件
| 发件人 | huweihua |
| 日期 | 2022年04月15日 11:35 |
| 收件人 | user-zh@flink.apache.org |
| 抄送至 | |
| 主题 | Re: flink on native k8s NodePort方式启动任务后返回的jobmanager web ui的地址不是集群中的ip |
图片显示失败了，可以上传到图床，贴链接到邮件里
> 2022年4月15日 上午11:30，shimin huang 写道：
>
>
> 具体细节看和flink
图片显示失败了，可以上传到图床，贴链接到邮件里
> 2022年4月15日 上午11:30，shimin huang 写道：
>
>
> 具体细节看和flink k8s这块的细节实现有关，不清楚为什么这个externalIPs的第一个ip在我们k8s集群中为什么不存在
>
> shimin huang mailto:huangshimin1...@gmail.com>>
> 于2022年4月15日周五 11:16写道：
> hi，使用flink on native k8s NodePort方式启动任务后返回的jobmanager web
>
[image: image.png]
具体细节看和flink k8s这块的细节实现有关，不清楚为什么这个externalIPs的第一个ip在我们k8s集群中为什么不存在
shimin huang 于2022年4月15日周五 11:16写道：
> hi，使用flink on native k8s NodePort方式启动任务后返回的jobmanager web
> ui的地址不是集群中的ip，看k8s底层的部署也没发现具体问题
>
hi，使用flink on native k8s NodePort方式启动任务后返回的jobmanager web
ui的地址不是集群中的ip，看k8s底层的部署也没发现具体问题
你这个报错主要原因还是访问外部的一些镜像源失败导致的，你可以使用一些云厂商提供的代理来解决拉镜像失败的问题
或者使用--set webhook.create=false来关闭webhook功能
Best,
Yang
casel.chen 于2022年4月14日周四 15:46写道：
> The deployment 'cert-manager-webhook' shows
> Failed to pull image "quay.io/jetstack/cert-manager-webhook:v1.7.1": rpc
> error: code = Unknown desc =
Hello,
Searching some expertise on exception handling with checkpointing and
streaming. Let’s say some bad data flows into your Flink application and
causes an exception you are not expecting. That exception will bubble up,
ending up in killing the respective task and the app will not be able
Hi, so I have a dump file. What do I look for?
On Thu, Mar 31, 2022 at 3:28 PM John Smith wrote:
> Ok so if there's a leak, if I manually stop the job and restart it from
> the UI multiple times, I won't see the issue because because the classes
> are unloaded correctly?
>
>
> On Thu, Mar 31,
flink 1.12.1 sql clinet
flink-sql-connector-elasticsearch7??flink-connector-elasticsearch7??flink
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at
感谢 我去了解了解
huweihua 于2022年4月14日周四 20:06写道：
> 使用 NodePort 会默认使用 api server 的 host + nodeport, 预期 K8S 集群内部所有节点都会转发
> nodeport 的流量，如果无法访问，可能是你使用的 K8S 做了一些封禁，把 NodePort 的流量转发功能禁用了
>
>
> > 2022年4月14日 下午5:22，shimin huang 写道：
> >
> > 使用Nodeport方式提交的flink任务返回的jobmangaer的web ui地址发现无法访问，这导致正常的flink
>
Hi Marjan,
The method `collect` is used to collect the content of a table. However, as
`insert_statement` is a `INSERT INTO` statement and so there is no table to
collect from in your example. You could try the following code:
```
sql_statement = """
SELECT window_start, window_end,
Hi Harshit,
I think you could double check whether the version of
flink-sql-connector-kafka.jar
is also 1.14.4.
Regards,
Dian
On Thu, Apr 14, 2022 at 7:51 PM harshit.varsh...@iktara.ai <
harshit.varsh...@iktara.ai> wrote:
>
>
>
>
> *From:* harshit.varsh...@iktara.ai
感觉像是 二次改造的问题。可以关注几个点：
1. 指标 tag 里的 job_id 是怎么带上的，是否可能多个作业相互覆盖或者只有第一个生效的场景
2. 可以在自动修改的代码里增加更多的日志，进一步定位, 例如：在 notifyOfAddedMetric() 时打印注册了哪些 metric
> 2022年4月14日 下午6:41，QiZhu Chan 写道：
>
>
>
>
>
>
使用 NodePort 会默认使用 api server 的 host + nodeport, 预期 K8S 集群内部所有节点都会转发 nodeport
的流量，如果无法访问，可能是你使用的 K8S 做了一些封禁，把 NodePort 的流量转发功能禁用了
> 2022年4月14日 下午5:22，shimin huang 写道：
>
> 使用Nodeport方式提交的flink任务返回的jobmangaer的web ui地址发现无法访问，这导致正常的flink list命令也无法获取对应
> cluster.id下的job，实际返回的jm ip发现是api
From: harshit.varsh...@iktara.ai [mailto:harshit.varsh...@iktara.ai]
Sent: Thursday, April 14, 2022 4:04 PM
To: user-i...@flink.apache.org
Cc: harshit.varsh...@iktara.ai
Subject: Pyflink Kafka consumer error (version 1.14.4)
Dear Team,
I am new to pyflink and request for your
Hi，
在做Flink Metrics监控的工作过程中，有发现一个问题，Flink on yarn下，使用yarn session模式提交多个Flink
Job，只有首次提交的Job，才能正常上报Metrics；后续提交的Job，Metrics均不上报，请问是什么原因？
需要说明的是，1、InfluxdbReporter是经过二次改造的，改造后所有指标的tag均会带上job_id，方便以通过job_id查找到所有指标。2、在per-job场景下，没有这个问题，因为per-job作业拥有各自的Jobmanager。
Flink版本：1.13.3
Hello,
I have a simple source table (which is using kafka connector) that's
reading and storing data from specific kafka topic. I also have print
table:
> t_env.execute_sql("""
> CREATE TABLE print (
> window_start TIMESTAMP(3),
> window_end TIMESTAMP(3),
>
Hi Qinghui,
If you're using SQL, please be aware that there are unfortunately no
application state compatibility guarantees. You can read more about this in
the documentation [1]. This is why the community has been working on
FLIP-190 to support this in future versions [2]
Best regards,
Martijn
Hello,
There was a network issue in my environment and the job had to restart. After
the job came back up, the logs showed a lot of lines like this:
RocksDBIncrementalRestoreOperation ... Starting to restore from state handle:
...
Interestingly, those entries include information about sizes
使用Nodeport方式提交的flink任务返回的jobmangaer的web ui地址发现无法访问，这导致正常的flink list命令也无法获取对应
cluster.id下的job，实际返回的jm ip发现是api server的，请问各位有什么好的办法解决这类问题呢
shimin huang 于2022年4月14日周四 17:20写道：
> flink version: flink 1.13.0
>
>
flink version: flink 1.13.0
Hello Yu'an,
Thanks for the reply.
I'm using the SQL api, not using the `DataStream` API in the job. So
there's no `keyby` call directly in our code, but we do have some `group
by` and joins in the SQL. (We are using deprecated table planners both
before and after migration)
Do you know what
Hi Anitha,
As far as I can tell the problem is with avro itself. We upgraded avro
version we use underneath in Flink 1.12.0. In 1.11.x we used avro 1.8.2,
while starting from 1.12.x we use avro 1.10.0. Maybe that's the problem.
You could try to upgrading the avro version in your program. Just
The deployment 'cert-manager-webhook' shows
Failed to pull image "quay.io/jetstack/cert-manager-webhook:v1.7.1": rpc error:
code = Unknown desc = Error response from daemon: Get "https://quay.io/v2/":
net/http: TLS handshake timeout
在 2022-04-14 15:40:51，"casel.chen" 写道：
按照其官方文档[1]尝试在mac本地的minikube上运行Flink Kubernetes Operator，结果抛下面的连接错误：
$ helm install flink-kubernetes-operator
flink-operator-repo/flink-kubernetes-operator --set
image.repository=apache/flink-kubernetes-operator
WARNING: Kubernetes configuration file is group-readable. This is insecure.
Hi,
可以为 HBaseDynamicTableSource 实现 FilterPushDown[1] 接口。这样子 你直接添加的 filter 会被下推到
Source，从而在读取的时候过滤掉不相关的数据。
[1]
30 matches
Mail list logo
