Re: Streaming File Sink疑问

2019-09-04 文章 wang jinhai
简单粗暴的方案是修改集群的HADOOP_CONF_DIR,集成A、B的hdfs配置,但是不太友好,如果多个集群,每次都得修改,比较费劲。好的方式就是在flink任务里添加hdfs-site.xml,同时注意dfs.nameservices的设置 在 2019/9/4 上午11:47,“周美娜”<15957136...@163.com> 写入: 我的做法是 重新配置 HADOOP_CONF_DIR 环境变量:在flink集群里面配置 core-site.xml 和 hdfs-site.xml,同时将 HADOOP_CONF_DIR 环境变量 指向这个文件目录 > 在

Re: Streaming File Sink疑问

2019-09-04 文章 wang jinhai
这个问题我们刚好解决了。在flink任务的resources里加上hdfs-site.xml文件,把集群B的HA相关的配置复制进来,同时把dfs.nameservices的value设定为A,B,关键是加上true。不然被集群的HADOOP_CONF_DIR配置覆盖(代码逻辑在HadoopUtils类) 在 2019/9/4 上午11:47,“周美娜”<15957136...@163.com> 写入: 我的做法是 重新配置 HADOOP_CONF_DIR 环境变量:在flink集群里面配置 core-site.xml 和 hdfs-site.xml,同时将

Re: Streaming File Sink疑问

2019-09-03 文章 周美娜
我的做法是 重新配置 HADOOP_CONF_DIR 环境变量:在flink集群里面配置 core-site.xml 和 hdfs-site.xml,同时将 HADOOP_CONF_DIR 环境变量 指向这个文件目录 > 在 2019年9月4日,上午11:16,戴嘉诚 写道: > > 大家好: > 我在看到streamingFileSink >

Streaming File Sink疑问

2019-09-03 文章 戴嘉诚
大家好: 我在看到streamingFileSink