退订

退订 | | 罗海芳 | | 邮箱：15678617...@163.com | 签名由 网易邮箱大师 定制

Re: 如何 Flink 通过不同的hive_catalog，访问离线和实时两套集群的hive？

Hi, Caizhi 你们有实时集群和离线集群分离的场景吗？你们是怎么做的？ Caizhi Weng 于2021年8月27日周五 下午2:33写道： > Hi！ > > 看起来是 Flink 集群不能访问到 wx12-dsjrt-master001/xx.xx.xx.xx:8050，检查一下网络以及这个端口的状态看看？ > > Jim Chen 于2021年8月27日周五 下午1:59写道： > > > Hi, All > > > > >

Re: 如何 Flink 通过不同的hive_catalog，访问离线和实时两套集群的hive？

Hi 集群上根本没有这个端口，也不知道这个端口是干嘛用的，为啥要连这个。这个是实时集群上的端口 Caizhi Weng 于2021年8月27日周五 下午2:33写道： > Hi！ > > 看起来是 Flink 集群不能访问到 wx12-dsjrt-master001/xx.xx.xx.xx:8050，检查一下网络以及这个端口的状态看看？ > > Jim Chen 于2021年8月27日周五 下午1:59写道： > > > Hi, All > > > > >

flink oss ha

您好: 看文档OSS可以用作 FsStatebackend，那么Flink on k8s 做高可用时，high-availability.storageDir可以配置成oss吗，我试了下，报以下错误: [cid:image002.png@01D79B53.F4C71E80] 从 Windows 版邮件发送

Re: flink sink oss problem

你可以看一下我上面贴的那个PR，那个PR实现的功能就是datastream sink to oss。至于写法就是和Datastream sink to hdfs类似的。 return StreamingFileSink .forRowFormat(new Path(ossPath), new SimpleStringEncoder("UTF-8")) .build(); 在 2021年8月27日 14:34，Caizhi Weng 写道： Hi！ 从报错上来看好像是类冲突的问题。不过 oss sink 目前应该也不支持流式写入。 具体是怎么把 datastream 写入

Re: flink sink oss problem

Hi！ 从报错上来看好像是类冲突的问题。不过 oss sink 目前应该也不支持流式写入。 具体是怎么把 datastream 写入 oss 呢？方便的话可以把代码贴一下，帮助大家更好观察问题。 payne_z 于2021年8月27日周五 下午2:02写道： > 当我使用 https://github.com/apache/flink/pull/7798， 这个PR打pacth到flink > 1.11.2，发现写flink通过Datastream写OSS功能并不可用。 > 报错信息如下： > java.lang.RuntimeException:

Re: 如何 Flink 通过不同的hive_catalog，访问离线和实时两套集群的hive？

Hi！ 看起来是 Flink 集群不能访问到 wx12-dsjrt-master001/xx.xx.xx.xx:8050，检查一下网络以及这个端口的状态看看？ Jim Chen 于2021年8月27日周五 下午1:59写道： > Hi, All > > 我是使用的flink1.13.1版本，我们有2套Hadoop集群，离线和实时集群。现在实时集群上的任务，想通过hive_catalog访问离线集群。 > 按照官网例子，我分别配置离线和实时的hive-conf-dir的不同路径，发现一只报错。如： > 2021-08-27 13:50:22,902 INFO

flink sink oss problem

当我使用 https://github.com/apache/flink/pull/7798， 这个PR打pacth到flink 1.11.2，发现写flink通过Datastream写OSS功能并不可用。 报错信息如下： java.lang.RuntimeException: java.lang.RuntimeException: class org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback not