Re: use flink 1.19 JDBC Driver can find jdbc connector
现在可以用中文了？就是opt目录里面的gateway.jar直接编辑Factory文件把connector注册就行了 > 在 2024年5月15日，15:36，Xuyang 写道： > > Hi, 看起来你之前的问题是jdbc driver找不到，可以简单描述下你的解决的方法吗？“注册connection数的数量”有点不太好理解。 > > > > > 如果确实有类似的问题、并且通过这种手段解决了的话，可以建一个improvement的jira issue[1]来帮助社区跟踪、改善这个问题，感谢！ > > > > > [1] https://issues.apache.org/jira/projects/FLINK/summary > > > > > -- > >Best！ >Xuyang > > > > > >> 在 2024-05-10 12:26:22，abc15...@163.com 写道： >> I've solved it. You need to register the number of connections in the jar of >> gateway. But this is inconvenient, and I still hope to improve it. >> 发自我的 iPhone >> 在 2024年5月10日，11:56，Xuyang 写道： >>> >>> Hi, can you print the classloader and verify if the jdbc connector exists >>> in it? >>> >>> >>> >>> >>> -- >>> >>> Best！ >>> Xuyang >>> >>> >>> >>> >>> >>> At 2024-05-09 17:48:33, "McClone" wrote: I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can not find jdbc connector,but use sql-client is normal.
Re: use flink 1.19 JDBC Driver can find jdbc connector
I've solved it. You need to register the number of connections in the jar of gateway. But this is inconvenient, and I still hope to improve it. 发自我的 iPhone > 在 2024年5月10日，11:56，Xuyang 写道： > > Hi, can you print the classloader and verify if the jdbc connector exists in > it? > > > > > -- > >Best！ >Xuyang > > > > > > At 2024-05-09 17:48:33, "McClone" wrote: >> I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can not >> find jdbc connector,but use sql-client is normal.
getMetricGroup is not supported when optimizing
使用flink 1.11.2 启动任务的时候报 getMetricGroup is not supported when optimizing 请问各位大佬，怎么解决好？ 发自我的iPhone
Re: checkpoint失败怎么排查
应该是状态大，超时设了10分钟，还没有达到超时时间。到处找不到相关日志。 发自我的iPhone > 在 2021年1月6日，10:03，赵一旦 写道： > > 没日志咋排查，为啥失败总得说下。超时的话可能就是任务压力大，状态大等。 > > 于2021年1月6日周三 上午9:53写道： > >> flink 1.11.2环境下，三个kafka topic 的数据进行join，出现checkpoint失败，没有日志，请问怎么排查？ >> >> 发自我的iPhone
checkpoint失败怎么排查
flink 1.11.2环境下，三个kafka topic 的数据进行join，出现checkpoint失败，没有日志，请问怎么排查？ 发自我的iPhone
Re: 1.11.2大概什么时候发布
好的，谢谢。主要是hive streaming这块。 发自我的iPhone > 在 2020年8月26日，18:34，Yun Tang 写道： > > 可以参照 https://flink.apache.org/downloads.html#all-stable-releases > 的历史发布记录，一般是3个月左右，也就是大约10月底。 > > 1.11.2 有什么特别期待的bug fix么？ > > 祝好 > 唐云 > > > > > From: abc15...@163.com > Sent: Wednesday, August 26, 2020 15:41 > To: user-zh@flink.apache.org > Subject: 1.11.2大概什么时候发布 > > 1.11.2大概什么时候发布？
1.11.2大概什么时候发布
1.11.2大概什么时候发布？
Elasticsearch 写入问题
在flink1.11中使用table sql写入时，有一些字段为空时，依然被写入到elasticsearch，这个方式应该不太恰当。
Re: flink orc与hive2.1.1版本冲突怎么解决
在内网，弄不出来。数组业界，在OrcFile$WriterVersion.from(OrcFile.java:145) 目前升级hive到2.3能正常用了，因为从hive2.3开始有独立的orc-core jar了。但是我们用的是CDH，这样子管理不太方便。 发自我的iPhone > 在 2020年8月21日，16:18，Rui Li 写道： > > 是说写数据用的是flink的FileSystem connector，然后读数据是用hive自己去读的？具体错误的stacktrace贴一下看看呢 > >> On Fri, Aug 21, 2020 at 3:05 PM wrote: >> >> flink table >> sql把mysql的表数据写到hdfs的路径上，存成orc。hive创建外部表，查询报错。最根本原因是hive2.1是把orc的相关类打包一起的，包名举例，org.apache.hive.orc.，而且新版的是org.apache.orc.。 >> >> 发自我的iPhone >> 在 2020年8月21日，14:37，Rui Li 写道： >>> >>> Hi, >>> >>> 能不能具体描述一下你的作业是怎么写的？比如怎么创建的hive表，如何把数据写进去之类的。我们可以试试能不能重现你的问题 >>> On Fri, Aug 21, 2020 at 1:41 PM wrote: 试过了，一样的，本质也是通过写文件。 发自我的iPhone >> 在 2020年8月21日，13:35，Jingsong Li 写道： > > 是的 > >> On Fri, Aug 21, 2020 at 1:30 PM wrote: >> >> flink hive表的方式是什么意思？hive streaming吗？ >> >> 发自我的iPhone >> 在 2020年8月21日，13:27，Jingsong Li 写道： >>> >>> Flink filesystem connector 或者 DataStream用flink-orc >> 的版本是比较新的版本，所以老版本的ORC读不了。 >>> >>> 建议你用Flink hive表的方式来写orc >>> On Fri, Aug 21, 2020 at 12:25 PM wrote: Flink是指定orc版本的，并没有用hive的。所以写进去之后，hive读不出来。 发自我的iPhone >> 在 2020年8月21日，12:15，Jingsong Li 写道： > > 如果是hive table的写，flink sql是使用hive对应版本的orc的，所以理论上效果和hive >> sql写orc是一样的。 > 确定这个版本hive写出的数据可以被读取吗？ > >> On Fri, Aug 21, 2020 at 10:17 AM wrote: >> >> 使用版本是flink 1.11 >> Hive 2.1.1 >> flink sql写到orc后，创建外部表发现无法正常读取，这个怎么解决，各位大佬？ >> >> >> > > -- > Best, Jingsong Lee >>> >>> >>> -- >>> Best, Jingsong Lee >> >> > > -- > Best, Jingsong Lee >>> >>> -- >>> Best regards! >>> Rui Li >> >> > > -- > Best regards! > Rui Li
Re: flink orc与hive2.1.1版本冲突怎么解决
flink table sql把mysql的表数据写到hdfs的路径上，存成orc。hive创建外部表，查询报错。最根本原因是hive2.1是把orc的相关类打包一起的，包名举例，org.apache.hive.orc.，而且新版的是org.apache.orc.。 发自我的iPhone > 在 2020年8月21日，14:37，Rui Li 写道： > > Hi, > > 能不能具体描述一下你的作业是怎么写的？比如怎么创建的hive表，如何把数据写进去之类的。我们可以试试能不能重现你的问题 > >> On Fri, Aug 21, 2020 at 1:41 PM wrote: >> >> 试过了，一样的，本质也是通过写文件。 >> >> 发自我的iPhone >> 在 2020年8月21日，13:35，Jingsong Li 写道： >>> >>> 是的 >>> On Fri, Aug 21, 2020 at 1:30 PM wrote: flink hive表的方式是什么意思？hive streaming吗？ 发自我的iPhone >> 在 2020年8月21日，13:27，Jingsong Li 写道： > > Flink filesystem connector 或者 DataStream用flink-orc 的版本是比较新的版本，所以老版本的ORC读不了。 > > 建议你用Flink hive表的方式来写orc > >> On Fri, Aug 21, 2020 at 12:25 PM wrote: >> >> Flink是指定orc版本的，并没有用hive的。所以写进去之后，hive读不出来。 >> >> 发自我的iPhone >> 在 2020年8月21日，12:15，Jingsong Li 写道： >>> >>> 如果是hive table的写，flink sql是使用hive对应版本的orc的，所以理论上效果和hive sql写orc是一样的。 >>> 确定这个版本hive写出的数据可以被读取吗？ >>> On Fri, Aug 21, 2020 at 10:17 AM wrote: 使用版本是flink 1.11 Hive 2.1.1 flink sql写到orc后，创建外部表发现无法正常读取，这个怎么解决，各位大佬？ >>> >>> -- >>> Best, Jingsong Lee >> > > > -- > Best, Jingsong Lee >>> >>> -- >>> Best, Jingsong Lee >> >> > > -- > Best regards! > Rui Li
Re: flink orc与hive2.1.1版本冲突怎么解决
试过了，一样的，本质也是通过写文件。 发自我的iPhone > 在 2020年8月21日，13:35，Jingsong Li 写道： > > 是的 > >> On Fri, Aug 21, 2020 at 1:30 PM wrote: >> >> flink hive表的方式是什么意思？hive streaming吗？ >> >> 发自我的iPhone >> 在 2020年8月21日，13:27，Jingsong Li 写道： >>> >>> Flink filesystem connector 或者 DataStream用flink-orc >> 的版本是比较新的版本，所以老版本的ORC读不了。 >>> >>> 建议你用Flink hive表的方式来写orc >>> On Fri, Aug 21, 2020 at 12:25 PM wrote: Flink是指定orc版本的，并没有用hive的。所以写进去之后，hive读不出来。 发自我的iPhone >> 在 2020年8月21日，12:15，Jingsong Li 写道： > > 如果是hive table的写，flink sql是使用hive对应版本的orc的，所以理论上效果和hive sql写orc是一样的。 > 确定这个版本hive写出的数据可以被读取吗？ > >> On Fri, Aug 21, 2020 at 10:17 AM wrote: >> >> 使用版本是flink 1.11 >> Hive 2.1.1 >> flink sql写到orc后，创建外部表发现无法正常读取，这个怎么解决，各位大佬？ >> >> >> > > -- > Best, Jingsong Lee >>> >>> >>> -- >>> Best, Jingsong Lee >> >> > > -- > Best, Jingsong Lee
Re: flink orc与hive2.1.1版本冲突怎么解决
flink hive表的方式是什么意思？hive streaming吗？ 发自我的iPhone > 在 2020年8月21日，13:27，Jingsong Li 写道： > > Flink filesystem connector 或者 DataStream用flink-orc 的版本是比较新的版本，所以老版本的ORC读不了。 > > 建议你用Flink hive表的方式来写orc > >> On Fri, Aug 21, 2020 at 12:25 PM wrote: >> >> Flink是指定orc版本的，并没有用hive的。所以写进去之后，hive读不出来。 >> >> 发自我的iPhone >> 在 2020年8月21日，12:15，Jingsong Li 写道： >>> >>> 如果是hive table的写，flink sql是使用hive对应版本的orc的，所以理论上效果和hive sql写orc是一样的。 >>> 确定这个版本hive写出的数据可以被读取吗？ >>> On Fri, Aug 21, 2020 at 10:17 AM wrote: 使用版本是flink 1.11 Hive 2.1.1 flink sql写到orc后，创建外部表发现无法正常读取，这个怎么解决，各位大佬？ >>> >>> -- >>> Best, Jingsong Lee >> > > > -- > Best, Jingsong Lee
Re: flink orc与hive2.1.1版本冲突怎么解决
Flink是指定orc版本的，并没有用hive的。所以写进去之后，hive读不出来。 发自我的iPhone > 在 2020年8月21日，12:15，Jingsong Li 写道： > > 如果是hive table的写，flink sql是使用hive对应版本的orc的，所以理论上效果和hive sql写orc是一样的。 > 确定这个版本hive写出的数据可以被读取吗？ > >> On Fri, Aug 21, 2020 at 10:17 AM wrote: >> >> 使用版本是flink 1.11 >> Hive 2.1.1 >> flink sql写到orc后，创建外部表发现无法正常读取，这个怎么解决，各位大佬？ >> >> >> > > -- > Best, Jingsong Lee
flink orc与hive2.1.1版本冲突怎么解决
使用版本是flink 1.11 Hive 2.1.1 flink sql写到orc后，创建外部表发现无法正常读取，这个怎么解决，各位大佬？
Re: Orc文件问题请教
已经找到原因了，hive on spark情况下，hive读取不了orc 发自我的iPhone > 在 2020年8月20日，14:50，Jingsong Li 写道： > > 你可以贴下异常栈， > 估计是ORC版本问题，如果你用file system的orc writer，那是比较新的版本。 > 建议你用下Hive的表来写，这样你可以选版本。 > > Best, > Jingsong > >> On Thu, Aug 20, 2020 at 12:10 PM wrote: >> >> 使用flink sql写到orc文件，以后，flink能读取出来，但是spark和hive均不能读取出来，impala能读取。 >> >> 发自我的iPhone > > > > -- > Best, Jingsong Lee
Orc文件问题请教
使用flink sql写到orc文件，以后，flink能读取出来，但是spark和hive均不能读取出来，impala能读取。 发自我的iPhone
flink 1.11 web ui请教
版本:1.11 部署：standalone 数据从kafka写到kafka 1.提交的任务包含两个维表join和两条insert 语句，但是在中间的执行图，只有一个方框。其他有些join任务会有不同的框，用hash连线表示。这是什么原因？ 2.底下的 records received等几个列都是0。怎么样才会统计？
请教关闭部署的问题
部署的能不能把依赖和配置文件单独出来指定，而不是打成一个jar，如果可以具体要怎么做？ 发自我的iPhone
Re: stream sink hive 在hdfs ha模式下
可以在flink-conf.yaml中加入 env.hadoop.conf.dir: 指向hadooo配置文件目录 发自我的iPhone > 在 2020年8月7日，00:16，Jark Wu 写道： > > 可以提供下完整的异常栈吗？以及使用的版本号和代码。 > >> On Mon, 3 Aug 2020 at 13:32, air23 wrote: >> >> hi 你好 >> 我这边集群是cdh的。 配置了hdfs ha模式 >> 在使用 kafka sink 到hive 时候找不到nameservices >> java.lang.IllegalArgumentException: java.net.UnknownHostException: >> nameservices1 >> >> >> 请问 在ha模式下 应该怎么配置
