您好:
附件是使用oss作高可用时的报错，以下是启动flink时的脚本:
../bin/kubernetes-session.sh \
-Dkubernetes.cluster-id=flink-session-1 \
-Dkubernetes.container.image=test/flink:1.13.2-scala_2.12-oss \
-Dkubernetes.container.image.pull-policy=Always \
-Dkubernetes.namespace=flink-session \
你好，
这个看起来是Hadoop的报错，连接失败的这个节点是NameNode么？创建HiveCatalog时可以指定Hadoop的配置文件的，要保证两个HiveCatalog读到的Hadoop配置是正确的。
另外使用多个HiveCatalog需要保证hive版本一致，不同版本的hive没办法一起用
On Fri, Aug 27, 2021 at 3:01 PM Jim Chen
wrote:
> Hi
>
> 集群上根本没有这个端口，也不知道这个端口是干嘛用的，为啥要连这个。这个是实时集群上的端口
>
> Caizhi Weng 于2021年8月27日周五 下午2:33写道：
Hi,
你好，图片无法加载，可以直接粘贴文字出来
祝好
唐云
From: dker eandei
Sent: Friday, August 27, 2021 14:58
To: user-zh@flink.apache.org
Subject: flink oss ha
您好:
看文档OSS可以用作 FsStatebackend，那么Flink on k8s
做高可用时，high-availability.storageDir可以配置成oss吗，我试了下，报以下错误:
Hi 航飞
可以参照[1] 看是不是类似的问题
[1] https://issues.apache.org/jira/browse/FLINK-23721
祝好
唐云
From: 李航飞
Sent: Thursday, August 26, 2021 19:02
To: user-zh
Subject: table.exec.state.ttl
Configuration conf = new Configuration();
Hi everyone,
The RC0 for Apache Flink 1.14.0 has been created. This is still a
preview-only release candidate to drive the current testing efforts and so
no official votes will take place. It has all the artifacts that we would
typically have for a release, except for the release note and the
Hi！
这些临时文件基本都是网络 shuffle 的数据，Flink 会自动清理不用的数据，理论上不会无限增大。
另外你使用的 state backend 是什么？部分 state backend 比如 rocksdb 的临时文件也会存在这里，此时就和 state
的大小相关。
王春波 <893885...@qq.com.invalid> 于2021年8月30日周一 上午10:26写道：
>
> 请问作业结束是指任务停止么，还是数据处理完成一部分，实时分析job一直在消费kafka数据，临时文件内容会很大，flink也没有什么策略处理一下么？磁盘会被占满的，怎么办呀？
>
job??kafka??flink
??
----
??:
你好, 你说的这种控制写入的方式在同一个 Flink SQL job 里是无法实现的. 控制数据是否写入某个
Sink，可以看看是否从逻辑上能在 Sink 前加一个 Filter，从而达到过滤目的；如果 kafka sink 跟 MySQL
表是一种类似级联的关系, 可以考虑先写入 MySQL, 然后另起一个 Job 用 CDC 方式读 MySQL changelog 再写入
Kafka sink.
On 8/26/21, jie han wrote:
> HI：
> 可以尝试下使用flink cdc 的方式写入到第二个kafka里面呀
>
> 悟空 于2021年8月26日周四
Hi！
io.tmp.dirs 里的文件在作业结束后会自动清理，作业运行过程中不应该清理。
王春波 <893885...@qq.com.invalid> 于2021年8月30日周一 上午9:57写道：
>
> 在运行flink任务时，在flink-conf.yaml配置文件中的io.tmp.dirs里会缓存些临时文件，这些文件有没有清理的机制？在实际运行中该目录里的文件占用巨大的磁盘空间，约40G左右，将其删除后，任务就执行失败了，不知道该如何清理，多指教
Hi！
不太明白“配置到哪一级”是什么含义。export 命令是将变量导出到目前的 shell session，在从 shell logout
之前都有效。如果运行了 export 命令之后再运行 flink run 应该就可行了。
Wayne <1...@163.com> 于2021年8月28日周六 下午8:37写道：
> 我的提交命令
>
>
> ./bin/flink run -d -m yarn-cluster
>
>
> 报错如下
> The program finished with the following exception:
>
>
>
??flink??flink-conf.yamlio.tmp.dirs??40G
11 matches
Mail list logo
