Re: 回复：flink1.17版本不支持hive 2.1版本了吗

把这个 pr https://github.com/apache/flink/pull/19352 revert 掉，然后重新打包 flink hive connector 就可以。 Best regards, Yuxia - 原始邮件 - 发件人: "迎风浪子" <576637...@qq.com.INVALID> 收件人: "user-zh" 发送时间: 星期二, 2023年 9 月 19日 下午 5:20:58 主题: 回复：flink1.17版本不支持hive 2.1版本了吗 我们还在使用hive1.

Re: 如果DataSet API 被彻底废掉了，那我如何用DataStream实现分区、排序这个需求？

Flink 社区在这个 thread 讨论了这个问题，之后会出一个 guideline 来帮助用户迁移 DataSet API [1] https://lists.apache.org/thread/r0y9syc6k5nmcxvnd0hj33htdpdj9k6m Best regards, Yuxia - 原始邮件 - 发件人: "jinzhuguang" 收件人: "user-zh" 发送时间: 星期二, 2023年 7 月 11日 下午 7:16:06 主题: 如果DataSet API 被彻底废掉了，那我如何用D

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

congratulations! Best regards, Yuxia 发件人: "Andrew Otto" 收件人: "Matthias Pohl" 抄送: "Jing Ge" , "Leonard Xu" , "Yu Li" , "dev" , "User" , "user-zh" 发送时间: 星期一, 2023年 3 月 27日 下午 8:57:50 主题: Re: [ANNOUNCE] F

Re: I want to subscribe users' questions

Maybe you will also be interested in joining Flink Slack, here is my invite link for joining Flink Slack: https://join.slack.com/t/apache-flink/shared_invite/zt-1obpql04h-R3o5XM8d~Siyl3KGldkl2Q Best regards, Yuxia - 原始邮件 - 发件人: "guanyuan chen" 收件人: "User" , "u

Re: Flink SQL使用hive dialect异常

你好，可以贴一下详细的异常栈吗？ 可以在 FLINK_HOME/log/ 下面看到 Best regards, Yuxia - 原始邮件 - 发件人: "aiden" <18765295...@163.com> 收件人: "user-zh" 发送时间: 星期一, 2023年 2 月 06日 下午 4:44:02 主题: Flink SQL使用hive dialect异常 HI 我在使用Flink SQL Client开发hive时遇到一个问题，在设置set table.sql-dialect=hive

Re: HiveServer2 Endpoint只支持Hive3.1以上版本吗

Hive2.3 也支持 Best regards, Yuxia - 原始邮件 - 发件人: "junjie miao" 收件人: "user-zh" 发送时间: 星期二, 2022年 12 月 13日 下午 6:23:15 主题: HiveServer2 Endpoint只支持Hive3.1以上版本吗 flink1.16.0中SQL Gateway HiveServer2 Endpoint只支持Hive3.1以上版本吗？有测试过其他hive版本吗？

Re: 提交任务不能指定第三方jar

为啥说 不能提交依赖的第三方jar？用户的 job 把这些包打进去不就好了吗？ 还是说你指的是 sql 作业？ Best regards, Yuxia 发件人: "melin li" 收件人: "user-zh" 发送时间: 星期四, 2022年 12 月 08日 上午 9:46:45 主题: 提交任务不能指定第三方jar 客户端提交flink job 不能提交依赖的第三方jar，例如自定的函数jar，sql 里面的依赖connector jar，需要提前放置好。如果基于flink 平台化，需要动态的添加jar。目前可能的

Re: 回复：Flink HIve 文件压缩报错

目前还没办法解决，目前就只能重跑了。主要为了 exactly once 语义的。不然就会丢失这个被删除的文件的数据了。 其实如果接受非 exactly once 语义 的话，我们可以让 flink 继续跑，不过目前这个还没实现。 Best regards, Yuxia - 原始邮件 - 发件人: "迎风浪子" <576637...@qq.com.INVALID> 收件人: "user-zh" 发送时间: 星期四, 2022年 11 月 24日 下午 5:55:00 主题: 回复：Flink HIve 文件压缩报错

Re: batch mode如何同步等待执行结果

set table.dml-sync = true 是不是可以 Best regards, Yuxia - 原始邮件 - 发件人: "唐世伟" 收件人: "user-zh" 发送时间: 星期二, 2022年 11 月 08日 下午 8:06:18 主题: batch mode如何同步等待执行结果 通过./bin/flink run 提交一个batch mode的任务到yarn集群。命令只会返回任务是否正常被提交并返回applicationId。任务本身是否执行成功不会返回。当我们通过离线调度平台来调度flink batc

Re: flink cdc能否同步DDL语句?

用 datastream api，自己解析一下 DDL。 Best regards, Yuxia - 原始邮件 - 发件人: "yh z" 收件人: "user-zh" 发送时间: 星期二, 2022年 10 月 11日 上午 10:23:43 主题: Re: flink cdc能否同步DDL语句? 目前，社区的 Flink CDC，是可以读取到 binlog 中的 DDL 语句的，但是不会传递给下游，即下游无法感知 schema 的变化。 Xuyang 于2022年10月10日周一 16:46写道： > H

Re: 并行度>1时实时写入hive partition table且开启了checkpoint没有同步信息到metastore

那么生成了 success 文件了吗？ 另外你的 sink.partition-commit.trigger 用的是 process-time（默认是 process-time） 还是 partition-time。 Best regards, Yuxia - 原始邮件 - 发件人: "junjie miao" 收件人: "user-zh" 发送时间: 星期四, 2022年 9 月 22日 下午 2:27:46 主题: Re: Re: 并行度>1时实时写入hive partition table且开启了checkpoi

Re: Flink 的 大Hive 维度表

按理说是可以的，只是目前的首先是放在内存中。 Best regards, Yuxia - 原始邮件 - 发件人: "macia kk" 收件人: "user-zh" 发送时间: 星期四, 2022年 9 月 22日 下午 12:16:16 主题: Flink 的 大Hive 维度表 Hi Flink 的 Hive 维度表是放在内从中，可以把这个放到State中吗，这样用 RocksDB 就能减小一下内存的使用量

Re: flink sql中如何对于hive进行hive的参数set

目前还不支持 set HiveConf 里面的参数。 只能在创建 HiveCatalog 用的那个 hive-site.xml 里面改。 快发布的 Flink 1.16 就可以支持 set HiveConf 里面的参数。 Best regards, Yuxia - 原始邮件 - 发件人: "junjie miao" 收件人: "user-zh" 发送时间: 星期四, 2022年 9 月 22日 上午 10:19:06 主题: flink sql中如何对于hive进行hive的参数set 当使用flink sql inse

Re: Flink-1.15 HiveDynamicTableFactory 取Catalog使用

目前还不能直接 把HiveDynamicTableFactory直接作为一个connector使用。 把 HiveDynamicTableFactory 改造一下， factoryIdentifier 不能再抛出 UnsupportedOperationException("Hive factory is only work for catalog.") 异常了， 改造工作量不大。 Best regards, Yuxia - 原始邮件 - 发件人: "yanggang_it_job" 收件人: "user-zh&q

Re: get state from window

Sorry for misleading. After some investigation, seems UDTAGG can only used in flink table spi. Best regards, Yuxia - 原始邮件 - 发件人: "yuxia" 收件人: "user-zh" 抄送: "User" 发送时间: 星期四, 2022年 8 月 18日 上午 10:21:12 主题: Re: get state from window > does flink s

Re: get state from window

> does flink sql support UDTAGG? Yes, Flink sql support UDTAGG. Best regards, Yuxia - 原始邮件 - 发件人: "曲洋" 收件人: "user-zh" , "User" 发送时间: 星期四, 2022年 8 月 18日 上午 10:03:24 主题: get state from window Hi dear engineers, I have one question: does flink stre

Re: 关于老版本cdh兼容性问题

Flink 社区主要维护 Hive2，Hive3 这两个版本的 Hive connector。 针对你这个问题，你可以该一下HiveShimV110，以适配你的 CDH。然后重新build flink-hive-connector即可。 Best regards, Yuxia - 原始邮件 - 发件人: "赵帅" 收件人: "user-zh" 发送时间: 星期四, 2022年 7 月 28日 下午 2:37:17 主题: 关于老版本cdh兼容性问题 Flink版本：1.15.0 Hive版本：

Re: 为啥官方flink镜像连 ps、top、jps、ip、route 这些命令都没有。。。

估计是想轻量化flink 镜象吧。 Best regards, Yuxia - 原始邮件 - 发件人: "yidan zhao" 收件人: "user-zh" 发送时间: 星期四, 2022年 7 月 21日 下午 5:59:30 主题: 为啥官方flink镜像连 ps、top、jps、ip、route 这些命令都没有。。。 ~

Re: flink hive建表 owner为空问题

可以看看这个PR：https://github.com/apache/flink/pull/16745 Best regards, Yuxia - 原始邮件 - 发件人: "kcz" <573693...@qq.com.INVALID> 收件人: "user-zh" 发送时间: 星期一, 2022年 7 月 18日 下午 6:13:14 主题: flink hive建表 owner为空问题 flink-1.14.4 hive-3.1.0 当使用flink建立hive表，往hive写数据时候，查看hive的ow

Re: 退订

Hi，退订发送任意内容至邮箱user-zh-unsubscr...@flink.apache.org 即可 Best regards, Yuxia - 原始邮件 - 发件人: "左铿" 收件人: "user-zh" 发送时间: 星期日, 2022年 7 月 17日 下午 6:02:40 主题: 退订 退订

Re: 退订

退订发送任意内容至邮箱user-zh-unsubscr...@flink.apache.org 即可 Best regards, Yuxia - 原始邮件 - 发件人: "henrylee" 收件人: "user-zh" 发送时间: 星期日, 2022年 7 月 17日 上午 10:33:08 主题: 退订 退订

Re: flink1.15可以用jdk8吗

可以用 jdk8 Best regards, Yuxia - 原始邮件 - 发件人: "yidan zhao" 收件人: "user-zh" 发送时间: 星期一, 2022年 6 月 27日 下午 5:11:22 主题: flink1.15可以用jdk8吗 如题，看官方提示要升级到jdk11。但是我下载了官方的flink1.15后，基于jdk8也是可以启动集群的。基于jdk11也是可以。

Re: 如何写 flink udf 的 ut?

可以参考 HiveUDFTest 里面构造CallContext 的方式[1] [1] https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hive/src/test/java/org/apache/flink/table/functions/hive/HiveSimpleUDFTest.java#L222 Best regards, Yuxia - 原始邮件 - 发件人: "forideal" 收件人: "user-zh"

Re: 关于PyFlink的环境问题，期望得到回复。

.jar Best regards, Yuxia - 原始邮件 - 发件人: "张 兴博" 收件人: "user-zh" 发送时间: 星期一, 2022年 6 月 20日 上午 8:54:21 主题: 关于PyFlink的环境问题，期望得到回复。 您好： 我是西南财经大学一个在读博士，目前想使用PyFlink，但是遇到了一个问题，我的集群采用的CDH6.2.0，其中的Hadoop为3.0.0版本。当我在pytlink的程序里引入hadoop-common-3.0.0.jar（或hadoop-common-3.0.0

Re: kafka数据落地到Hive/Filesystem（orc/parquet格式）的疑问

可以配置文件的 rooling policy [1]，可以是时间间隔，也可以是文件大小。 https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/filesystem/#rolling-policy Best regards, Yuxia - 原始邮件 - 发件人: "谭家良" 收件人: "user-zh" 发送时间: 星期一, 2022年 6 月 06日 下午 4:44:51 主题: kafka数据落地到Hive/Filesyst

Re: BatchTableEnvironment读取parquet文件问题

hi, 你的图挂了，建议使用河床工具上传图片。 按理说， BatchTableEnvironment API 应该支持读取 parquet文件。 Best regards, Yuxia 发件人: "贺星" 收件人: "user-zh" 发送时间: 星期一, 2022年 5 月 16日 下午 2:37:10 主题: BatchTableEnvironment读取parquet文件问题 Hi: 我在使用flink的批处理操作时遇到了无法读取parquet文件的问题,使用的是 BatchTableEnvironme

Re: 转发：基于flink sql作业失败与取消状况下的作业参数设置咨询(flink-1.14.2)

hi，可以解释一下具体是想咨询什么问题？ Best regards, Yuxia - 原始邮件 - 发件人: "徐战辉" 收件人: "user-zh" 发送时间: 星期四, 2022年 5 月 12日 上午 10:53:00 主题: 转发：基于flink sql作业失败与取消状况下的作业参数设置咨询(flink-1.14.2) | | Jerry Guo | | wangyixuhongm...@163.com | 转发的原邮件 | 发件人 | 徐战辉 | | 发送日期 | 2022年5月12日 10:

Re: How can I set job parameter in flink sql

(" black_list_path ", "") env.getConfig.setGlobalJobParameters(Configuration.fromMap(m)) Then, you can get the parameter using context.getJobParameter("black_list_path", "/config/list.properties"); in udf. Best regards, Yuxia 发件人: "wang" <24248..

Re: flink sql无法读取Hive映射的HBase表

jira～ https://issues.apache.org/jira/projects/FLINK/summary Best regards, Yuxia - 原始邮件 - 发件人: 18579099...@163.com 收件人: "user-zh" 发送时间: 星期二, 2022年 5 月 10日 上午 10:39:16 主题: Re: Re: flink sql无法读取Hive映射的HBase表 版本： flink:1.13.6 hive:2.1.1-cdh6.2.0 hbase:2.1.0-cdh6.2.0 flinksql执行工具

Re: flink sql无法读取Hive映射的HBase表

用的是 Hive Catalog 吗？ Hive connector 和 Hive 的版本 都是多少呢？ 另外，详细堆栈贴一下。 Best regards, Yuxia - 原始邮件 - 发件人: 18579099...@163.com 收件人: "user-zh" 发送时间: 星期一, 2022年 5 月 09日 下午 5:46:02 主题: flink sql无法读取Hive映射的HBase表 我有一部分表的数据是存在hbase上的，平时通过hive加载外部表的方式读取hbase的数据，我想通过flink sql读取hive表的方式

Re: 退订

退订发任意主题的邮件至 user-zh-unsubscr...@flink.apache.org 即可 - 原始邮件 - 发件人: zh...@greatld.com 收件人: "user-zh" 发送时间: 星期五, 2022年 5 月 06日 下午 1:44:44 主题: 退订 退订 zh...@greatld.com 发件人： Peng Vincent 发送时间： 2022-04-16 11:59 收件人： user-zh 主题： 退订 Best wishes！ Vincent

Re: 退订

退订发任意主题的邮件至 user-zh-unsubscr...@flink.apache.org 即可 - 原始邮件 - 发件人: "顺其自然" <712677...@qq.com.INVALID> 收件人: "user-zh" 发送时间: 星期五, 2022年 5 月 06日 下午 1:57:30 主题: 退订 退订