退订

2021-01-24 文章 唐军亮
退订

Re: FlinkSQL1.12查询hive表很快finished；No more splits available

2021-01-24 文章 Rui Li
你好， 关于分区字段的filter，flink与hive的隐式类型转换规则不同，建议在写where条件时按照分区字段的类型来指定常量。 关于读ORC的异常，请问你的hive版本是多少呢？另外hive配置中是否指定过hive.txn.valid.txns参数？ On Sun, Jan 24, 2021 at 6:45 AM 赵一旦 wrote: > 补充（1）FlinkSQL的查询，对于分区字符串字段貌似必须加''，不加就查询不到？如上hour=02这种直接导致no more split。 >

Re: Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

2021-01-24 文章 yujianbo
请教一下大佬后来如何解决，我的hadoop和hive版本跟您一致。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: FlinkSQL1.12查询hive表很快finished；No more splits available

2021-01-24 文章 赵一旦
我hive版本应该是1.2.1，我看spark部分依赖的1.2.1的包。 此外，关于hive配置。此处我需要问下，flink集群需要有hive的依赖嘛是？我flink集群本身没加任何hive依赖。 只是在flink的sql-client启动的时候通过-l参数指定了部分包，这个包是基于flink官网文档给的那个flink-sql-connector-hive-1.2.2。 此外，在flink-client端的conf中（即classpath中）加了hive-site.xml配置，内部也仅指定了最基础的一些关于metastore的连接信息。 Rui Li 于2021年1月25日周一

Re: 退订

2021-01-24 文章 Far
退订，为什么不起作用 发自我的iPhone > 在 2021年1月24日，下午9:55，唐军亮 写道： >

Re: 退订

2021-01-24 文章 Leonard Xu
Hi 需要取消订阅邮件， 可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自 user-zh@flink.apache.org 邮件列表的邮件 邮件列表的订阅管理，请参考[1] 祝好， Leonard [1] https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list >

Re: FlinkSQL1.12查询hive表很快finished；No more splits available

2021-01-24 文章 赵一旦
基于这个回答，还有另一个英文email中有个人说我的hive-common和hive-exec不一致的问题。

Re: FlinkSQL1.12查询hive表很快finished；No more splits available

2021-01-24 文章 赵一旦
这个其实还是挺乱的，我看了下hive-storage-api貌似也不是肯定没用。 我基于flink的data-stream-api的filesink方式写hive，orc格式文件。引入的是flink-orc包，内部依赖hive-storage-api中。这个我刚刚尝试去除换成hive-exec等，结果不行，因为少了部分类，比如 MapColumnVector等。 不过之前测试过写入没问题。所以看样子我data-stream写hive的时候是需要依赖flink-orc包，也就简介引入了hive-storage-api包，这是必须的。

Re: Flink sql去重问题

2021-01-24 文章 Leonard Xu
Hello 特殊的Top-N是说去重的语义是Top 1, 所以只用保留一个大小的堆，其底层实现和其他Top-N的数据结构不一样，并不需要维护一个堆, 其他的数据根据语义 要么被丢掉，要么撤回下发新值，另外这种有状态的算子，数据都是放在state里的，设置的TTL是生效的，表示state中的数据有效期时多久，这个数据会用来判断新来的数据是丢掉还是撤回旧值并下发新的值。 祝好， Leonard > 在 2021年1月22日，10:53，guaishushu1...@163.com 写道： > > >

Re: flink sql 执行limit 很少的语句依然会暴增

2021-01-24 文章 zhang hao
flink run -py new_jdbc_source.py Traceback (most recent call last): File "new_jdbc_source.py", line 66, in st_env.execute_sql("select * from feature_bar_sink").print() File "/Users/derek.bao/dev-utils/flink-1.11.2/opt/python/pyflink.zip/pyflink/table/table_environment.py", line 543, in

Re: Flink on yarn JDK 版本支持问题

2021-01-24 文章 Yun Tang
Hi, MaxMetaspaceSize 是在JDK8中新增的，用以取代以前的PermGen[1]，JDK7中自然不支持。可以在hadoop集群中再安装JDK8，将 env.java.home 指向新的JDK [1] https://www.baeldung.com/java-permgen-metaspace#metaspace 祝好 唐云 From: Jacob <17691150...@163.com> Sent: Saturday, January 23, 2021 16:17 To:

Re: Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

2021-01-24 文章 yang nick
应该是guava包冲突问题，请参考这篇文章（参考） https://blog.csdn.net/u012121587/article/details/103903162 董海峰（Sharp） 于2021年1月24日周日 上午9:11写道： > Hi，您好啊，我最近遇到一个问题，在社区里发过，但是没人回答，想请教您一下，烦请有空的时候回复一下，谢谢您啦。 > hadoop3.3.0 flink1.12 hive3.12 > I want to integrate hive and flink. After I configure the >