回复： flink1.12.2 "Failed to execute job"

[太平洋]

Thanks. My Program read hundreds of small files from s3 by SQL. What has 
happened in the instantiation of the SplitEnumerator? What can i do to reduce 
the time now?


--原始邮件--
发件人:
"Becket Qin"

回复： period batch job lead to OutOfMemoryError: Metaspace problem

[太平洋]

I have tried this method, but the problem still exist.
by heap dump analysis, is 21 instances of 
"org.apache.flink.util.ChildFirstClassLoader" normal?




--原始邮件--
发件人:
"Yangze Guo"

https://ci.apache.org/projects/flink/flink-docs-master/docs/deployment/memory/mem_trouble/#outofmemoryerror-metaspace

Best,
Yangze Guo

Best,
Yangze Guo


On Tue, Apr 6, 2021 at 4:22 PM 太平洋 <495635...@qq.com wrote:

 batch job：
 read data from s3 by sql，then by some operators and write data to 
clickhouse and kafka.
 after some times, task-manager quit with OutOfMemoryError: Metaspace.

 env：
 flink version：1.12.2
 task-manager slot count: 5
 deployment： standalone kubernetes session 模式
 dependencies：

 

Flink 1.12.2 sql api 使用parquet格式报错

[太平洋]

使用 parquet 还需要手段添加其他相关的依赖吗？


环境和报错信息如下：


Flink 版本： 1.12.2
部署方式： standalone kubernetes session
添加的相关依赖

Flink 1.12.2 sql api 使用parquet格式报错

[太平洋]

使用 parquet 还需要手段添加其他相关的依赖吗？


环境和报错信息如下：


Flink 版本： 1.12.2
部署方式： standalone kubernetes session
添加的相关依赖

Flink 1.12.2 sql api 使用parquet格式报错

[太平洋]

使用 parquet 还需要手段添加其他相关的依赖吗？


环境和报错信息如下：


Flink 版本： 1.12.2
部署方式： standalone kubernetes session
添加的相关依赖

Flink 1.12.2 sql api 使用parquet格式报错

[太平洋]

使用 parquet 还需要手段添加其他相关的依赖吗？


环境和报错信息如下：


Flink 版本： 1.12.2
部署方式： standalone kubernetes session
添加的相关依赖

定时批量任务导致 OutOfMemoryError: Metaspace 问题

[太平洋]

业务场景：
每隔几分钟执行一次批量任务：通过 sql 从 s3 中读数据，经过处理后将数据写入到 clickhouse 和 kafka
执行一定次数后 task-manager 会报 OutOfMemoryError: Metaspace 问题


环境信息：
flink 版本：1.12.2
部署方式： standalone kubernetes session 模式
依赖信息：