你可以在Pod里面确认一下/data目录是否正常挂载,另外需要在Pod里ps看一下
起的JVM进程里的classpath是什么,有没有包括hadoop的jar
当然,使用Roc Marshal建议的增加flink-shaded-hadoop并且放到$FLINK_HOME/lib下也可以解决问题
Best,
Yang
Roc Marshal 于2020年7月15日周三 下午5:09写道:
>
>
>
> 你好,Z-Z,
>
> 可以尝试在
>
你好,Z-Z,
可以尝试在
https://repo1.maven.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/
下载对应的uber jar包,并就将下载后的jar文件放到flink镜像的 ${FLINK_HOME}/lib 路径下,之后启动编排的容器。
祝好。
Roc Marshal.
在 2020-07-15 10:47:39,"Z-Z" 写道:
>我在使用Flink 1.11.0版本中,使用docker-compose搭建,docker-compose文件如下:
>version:
Flink 1.11.0docker-compose??docker-compose??
version: "2.1"
services:
jobmanager:
image: flink:1.11.0-scala_2.12
expose:
- "6123"
ports:
- "8081:8081"
command: jobmanager
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
-
你说的 “jobmanager的lib文件夹” 是指哪里?Flink 的部署方式是怎样的?CLI 运行在哪里?
Thank you~
Xintong Song
On Wed, Jul 8, 2020 at 10:59 AM Z-Z wrote:
> Hi, 各位大佬们,有个问题,Flink
> 1.10.0版本中,已经在jobmanager的lib文件夹添加了flink-shaded-hadoop-2-uber-2.7.5-10.0.jar文件,通过webui上传可以正常运行任务,但通过cli命令,提交任务后报Could
> not find a file system
Hi?? ??Flink
1.10.0??jobmanager??libflink-shaded-hadoop-2-uber-2.7.5-10.0.jar??webuicli??Could
not find a file system implementation for scheme 'hdfs'. The scheme is not
directly supported by Flink
??OK??
----
??:""<13162790...@163.com;
:2020??5??29??(??) 3:20
??:"user-zh"
thanks very much ??
resource hdfs-site.xml
----
??:"wangweigu...@stevegame.cn"
??
?? 2020-05-29 15:06
user-zh
?? flink hadoop
??
hadoopTestHACluster??apipath
hdfs://TestHACluster/user/flink/test
??TestHACluster:8020
??
hadoopTestHACluster??apipath
hdfs://TestHACluster/user/flink/test
??TestHACluster:8020??
??hiveTestHACluster:8020
StreamExecutionEnvironment