Re: 如何 Flink 通过不同的hive_catalog,访问离线和实时两套集群的hive?
你好, 你说的这些问题,不同集群的配置文件和hive版本,我都注意到了。 我们这边2套集群的版本都是一样的,配置文件,我也确认过是两套集群的 我的catalog配置文件如下: catalogs: # empty list - name: hive_raltime_catalog #实时集群 type: hive hive-conf-dir: /usr/hdp/3.1.5.0-152/hive/conf/ default-database: default hadoop-conf-dir: /usr/hdp/3.1.5.0-152/hadoop/conf/ - name: hive_offline_catalog #离线集群 type: hive hive-conf-dir: /home/rtdev/jim/app/flink-1.13.1/offline_conf/hive/ default-database: default hadoop-conf-dir: /home/rtdev/jim/app/flink-1.13.1/offline_conf/hadoop/ Rui Li 于2021年8月30日周一 上午11:59写道: > 你好, > > > 这个看起来是Hadoop的报错,连接失败的这个节点是NameNode么?创建HiveCatalog时可以指定Hadoop的配置文件的,要保证两个HiveCatalog读到的Hadoop配置是正确的。 > > 另外使用多个HiveCatalog需要保证hive版本一致,不同版本的hive没办法一起用 > > On Fri, Aug 27, 2021 at 3:01 PM Jim Chen > wrote: > > > Hi > > > > 集群上根本没有这个端口,也不知道这个端口是干嘛用的,为啥要连这个。这个是实时集群上的端口 > > > > Caizhi Weng 于2021年8月27日周五 下午2:33写道: > > > > > Hi! > > > > > > 看起来是 Flink 集群不能访问到 > > wx12-dsjrt-master001/xx.xx.xx.xx:8050,检查一下网络以及这个端口的状态看看? > > > > > > Jim Chen 于2021年8月27日周五 下午1:59写道: > > > > > > > Hi, All > > > > > > > > > > > > > > 我是使用的flink1.13.1版本,我们有2套Hadoop集群,离线和实时集群。现在实时集群上的任务,想通过hive_catalog访问离线集群。 > > > > 按照官网例子,我分别配置离线和实时的hive-conf-dir的不同路径,发现一只报错。如: > > > > 2021-08-27 13:50:22,902 INFO org.apache.hadoop.ipc.Client > > > > [] - Retrying connect to server: > > > > wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 time(s); retry > > > > policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, > > > sleepTime=1000 > > > > MILLISECONDS)。 > > > > 大家在生产中是如何解决这种问题的呢?非常感谢! > > > > > > > > > > > > -- > Best regards! > Rui Li >
Re: 如何 Flink 通过不同的hive_catalog,访问离线和实时两套集群的hive?
你好, 这个看起来是Hadoop的报错,连接失败的这个节点是NameNode么?创建HiveCatalog时可以指定Hadoop的配置文件的,要保证两个HiveCatalog读到的Hadoop配置是正确的。 另外使用多个HiveCatalog需要保证hive版本一致,不同版本的hive没办法一起用 On Fri, Aug 27, 2021 at 3:01 PM Jim Chen wrote: > Hi > > 集群上根本没有这个端口,也不知道这个端口是干嘛用的,为啥要连这个。这个是实时集群上的端口 > > Caizhi Weng 于2021年8月27日周五 下午2:33写道: > > > Hi! > > > > 看起来是 Flink 集群不能访问到 > wx12-dsjrt-master001/xx.xx.xx.xx:8050,检查一下网络以及这个端口的状态看看? > > > > Jim Chen 于2021年8月27日周五 下午1:59写道: > > > > > Hi, All > > > > > > > > > 我是使用的flink1.13.1版本,我们有2套Hadoop集群,离线和实时集群。现在实时集群上的任务,想通过hive_catalog访问离线集群。 > > > 按照官网例子,我分别配置离线和实时的hive-conf-dir的不同路径,发现一只报错。如: > > > 2021-08-27 13:50:22,902 INFO org.apache.hadoop.ipc.Client > > > [] - Retrying connect to server: > > > wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 time(s); retry > > > policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, > > sleepTime=1000 > > > MILLISECONDS)。 > > > 大家在生产中是如何解决这种问题的呢?非常感谢! > > > > > > -- Best regards! Rui Li
Re: 如何 Flink 通过不同的hive_catalog,访问离线和实时两套集群的hive?
Hi, Caizhi 你们有实时集群和离线集群分离的场景吗?你们是怎么做的? Caizhi Weng 于2021年8月27日周五 下午2:33写道: > Hi! > > 看起来是 Flink 集群不能访问到 wx12-dsjrt-master001/xx.xx.xx.xx:8050,检查一下网络以及这个端口的状态看看? > > Jim Chen 于2021年8月27日周五 下午1:59写道: > > > Hi, All > > > > > 我是使用的flink1.13.1版本,我们有2套Hadoop集群,离线和实时集群。现在实时集群上的任务,想通过hive_catalog访问离线集群。 > > 按照官网例子,我分别配置离线和实时的hive-conf-dir的不同路径,发现一只报错。如: > > 2021-08-27 13:50:22,902 INFO org.apache.hadoop.ipc.Client > > [] - Retrying connect to server: > > wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 time(s); retry > > policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, > sleepTime=1000 > > MILLISECONDS)。 > > 大家在生产中是如何解决这种问题的呢?非常感谢! > > >
Re: 如何 Flink 通过不同的hive_catalog,访问离线和实时两套集群的hive?
Hi 集群上根本没有这个端口,也不知道这个端口是干嘛用的,为啥要连这个。这个是实时集群上的端口 Caizhi Weng 于2021年8月27日周五 下午2:33写道: > Hi! > > 看起来是 Flink 集群不能访问到 wx12-dsjrt-master001/xx.xx.xx.xx:8050,检查一下网络以及这个端口的状态看看? > > Jim Chen 于2021年8月27日周五 下午1:59写道: > > > Hi, All > > > > > 我是使用的flink1.13.1版本,我们有2套Hadoop集群,离线和实时集群。现在实时集群上的任务,想通过hive_catalog访问离线集群。 > > 按照官网例子,我分别配置离线和实时的hive-conf-dir的不同路径,发现一只报错。如: > > 2021-08-27 13:50:22,902 INFO org.apache.hadoop.ipc.Client > > [] - Retrying connect to server: > > wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 time(s); retry > > policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, > sleepTime=1000 > > MILLISECONDS)。 > > 大家在生产中是如何解决这种问题的呢?非常感谢! > > >
Re: 如何 Flink 通过不同的hive_catalog,访问离线和实时两套集群的hive?
Hi! 看起来是 Flink 集群不能访问到 wx12-dsjrt-master001/xx.xx.xx.xx:8050,检查一下网络以及这个端口的状态看看? Jim Chen 于2021年8月27日周五 下午1:59写道: > Hi, All > > 我是使用的flink1.13.1版本,我们有2套Hadoop集群,离线和实时集群。现在实时集群上的任务,想通过hive_catalog访问离线集群。 > 按照官网例子,我分别配置离线和实时的hive-conf-dir的不同路径,发现一只报错。如: > 2021-08-27 13:50:22,902 INFO org.apache.hadoop.ipc.Client > [] - Retrying connect to server: > wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 time(s); retry > policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 > MILLISECONDS)。 > 大家在生产中是如何解决这种问题的呢?非常感谢! >
如何 Flink 通过不同的hive_catalog,访问离线和实时两套集群的hive?
Hi, All 我是使用的flink1.13.1版本,我们有2套Hadoop集群,离线和实时集群。现在实时集群上的任务,想通过hive_catalog访问离线集群。 按照官网例子,我分别配置离线和实时的hive-conf-dir的不同路径,发现一只报错。如: 2021-08-27 13:50:22,902 INFO org.apache.hadoop.ipc.Client [] - Retrying connect to server: wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50, sleepTime=1000 MILLISECONDS)。 大家在生产中是如何解决这种问题的呢?非常感谢!