ob
from Checkpoint 10167 @ 1614825175716 for
located at
oss://xx/backend//chk-10167.
检查了jobmanager日志,同样存在此报错NoSuchKey
2021年3月3日 上午11:23,王 羽凡
mailto:wangyufan...@outlook.com>> 写道:
版本:Flink
版本:Flink 1.12.0
环境:Native Kubernetes
模式:Application Mode
描述:
Flink以Native Kubernetes Application模式运行在k8s时,使用filesystem
OSS作为backend发现日志请求OSS报错。
当代码使用`source.setStartFromEarliest();`,启动job之后从头开始消费,运行过程正常,运行到最新点位后会出现以下报错,过一段时间或者重启job之后报错消失。
l设置为WARN来暂时避免
>
> [1]. https://issues.apache.org/jira/browse/FLINK-18129
>
>
> Best,
> Yang
>
> 王 羽凡 于2021年3月1日周一 下午1:01写道:
>
>> 使用Flink1.12 Application Mode在阿里云托管Kubernetes
>> ACK启动发现一些报错,同样的报错在自建Kubernetes集群中未发现。
>> 但是观察taskmanager容器有正常启动,后续
使用Flink1.12 Application Mode在阿里云托管Kubernetes
ACK启动发现一些报错,同样的报错在自建Kubernetes集群中未发现。
但是观察taskmanager容器有正常启动,后续任务也可正常执行,针对该报错需如何处理?是不兼容阿里云ACK集群么?
启动命令:
./bin/flink run-application \
--target kubernetes-application \
-Dkubernetes.cluster-id=demo \
flink-sql-client执行建表:
CREATE TABLE source_xxx (
id INT,
ctime TIMESTAMP
) WITH (
'connector' = 'kafka',
'topic' = 'xxx',
'properties.bootstrap.servers' = 'localhost:9092',
'format' = 'debezium-json',
'scan.startup.mode' = 'earliest-offset',
'debezium-json.schema-include' = 'false',