Re: flink sql时区问题

> 发送时间:2021年2月1日(星期一) 上午10:46 > 收件人:"user-zh" > 主题:Re: flink sql时区问题 > > > > Hi, > 时区不生效在你的代码中是体现在那些地方呀？目前flink sql是有些时区问题，社区也希望在1.13能解决掉。 > > > 在 2021年2月1日，10:42，沉醉寒風 <1039601...@qq.com 写道： > > streamTableEnv.getConfig().setLocalTimeZone(ZoneId.of("+8"))

?????? flink sql????????

streamTableEnv.getConfig().setLocalTimeZone(ZoneId.of("+8")) . ,??, ---- ??:

Re: flink sql时区问题

Hi, 时区不生效在你的代码中是体现在那些地方呀？目前flink sql是有些时区问题，社区也希望在1.13能解决掉。 > 在 2021年2月1日，10:42，沉醉寒風 <1039601...@qq.com> 写道： > > streamTableEnv.getConfig().setLocalTimeZone(ZoneId.of("+8"))

flink sql????????

streamTableEnv.getConfig().setLocalTimeZone(ZoneId.of("+8"))

flink sql ????????????

flink sql+8,??

我的Flink SQL 任务跑了一天5个小时就挂了，报这个错，是啥原因呢

我是一个slot java.util.concurrent.TimeoutException: Invocation of public abstract java.util.concurrent.CompletableFuture

Re: Flink SQL csv格式分隔符设置失败

hi 改成下面这样: \n => U&'\000A' \t => U&'\0009' - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink-sql-gateway如何使用flink自定义的udf

1. 确保udf jar 在gateway jvm的classpath中 2. 配置： https://github.com/ververica/flink-sql-gateway/blob/master/conf/sql-gateway-defaults.yaml#L87 阿华田 于2021年1月27日周三 下午3:26写道： > 各位大佬，Flink-sql-gateway 提交flink sql任务 ，如何使用flink自定义的udf > > > | | > 阿华田 > | > | > a15733178...@1

flink sql 处理自定义watermark

我在使用Flink消费kafka中的消息，并对kafka中的每条消息增加水印，然后将kafka转换成Row,写入Hive,但是在提交PartitionTimeCommit的时候水印一直是长整形的最大负数，导致一直没办法提交分区，在hive中无法查询到数据。但是在hdfs上是有文件的，目前不太清楚是什么情况导致！ FlinkKafkaConsumerBase waterMessages = messages.assignTimestampsAndWatermarks(

Re: Re: flink-sql-gateway稳定性如何，可以在生产环境使用吗？

session-client 作用是什么呢？ session的维护和管理吗？ felixzh 于2021年1月27日周三 下午5:49写道： > 如果使用flink-sql-gateway，建议自己参照jdbc封装一个session-client > > > > > > > > > > > > > > > > > > 在 2021-01-27 14:41:28，"Jeff Zhang" 写道： > >zeppelin 有 rest api

Re:Re: flink-sql-gateway稳定性如何，可以在生产环境使用吗？

如果使用flink-sql-gateway，建议自己参照jdbc封装一个session-client 在 2021-01-27 14:41:28，"Jeff Zhang" 写道： >zeppelin 有 rest api 接口，https://www.yuque.com/jeffzhangjianfeng/gldg8w/pz2xoh > >jinsx 于2021年1月27日周三 下午2:30写道： > >> 如果使用zeppelin，zeppelin可以提供rpc接口吗 >&

Re: flink-sql-gateway相关问题

f中的execution.config 配置, > > > 对per job模式on yarn, 对应的配置是“yarn-per-job”, > > > > > > > > > 这样加载的PipelineExecutor会控制为：YarnJobClusterExecutorFactory，具备向Yarn提交job的能力，这和使用flink > > > client > > >

Re: flink-sql-gateway相关问题

和使用flink > > client > > 提交job最终是一个调用路径，余下在flink-conf中添加上yarn相关配置我理解就可以了。 > > org.apache.flink.yarn.configuration.YarnConfigOptions > > > > zilong xiao 于2021年1月26日周二 下午4:00写道： > > > > > 请问有关于flink-sql-gateway rest api以pre job模式提交作业到yarn集群的文档吗？ > > >

Re: Flink sql 1.12写入hive报metastore失败

你好， 你发的这个stacktrace只是一个warning，是否还有其他的异常呢？ On Wed, Jan 27, 2021 at 10:47 AM gimlee wrote: > 使用flink sql 1.12写入hive,未提交到yarn上成功，错误信息如下： > 2021-01-26 20:44:23.133 [main] INFO > org.apache.hadoop.hive.metastore.HiveMetaStoreClient - Trying to connect > to > metastore with URI t

flink-sql-gateway如何使用flink自定义的udf

各位大佬，Flink-sql-gateway 提交flink sql任务 ，如何使用flink自定义的udf | | 阿华田 | | a15733178...@163.com | 签名由网易邮箱大师定制

Re: flink-sql-gateway稳定性如何，可以在生产环境使用吗？

zeppelin 有 rest api 接口，https://www.yuque.com/jeffzhangjianfeng/gldg8w/pz2xoh jinsx 于2021年1月27日周三 下午2:30写道： > 如果使用zeppelin，zeppelin可以提供rpc接口吗 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ > -- Best Regards Jeff Zhang

Re: flink-sql-gateway稳定性如何，可以在生产环境使用吗？

如果使用zeppelin，zeppelin可以提供rpc接口吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink sql 1.12写入hive报metastore失败

使用flink sql 1.12写入hive,未提交到yarn上成功，错误信息如下： 2021-01-26 20:44:23.133 [main] INFO org.apache.hadoop.hive.metastore.HiveMetaStoreClient - Trying to connect to metastore with URI thrift://hdcom02.prd.com:9083 2021-01-26 20:44:23.133 [main] INFO org.apache.hadoop.hive.metastore.HiveMetaStoreClient

Re: flink-sql-gateway相关问题

b最终是一个调用路径，余下在flink-conf中添加上yarn相关配置我理解就可以了。 > > org.apache.flink.yarn.configuration.YarnConfigOptions > > > > zilong xiao 于2021年1月26日周二 下午4:00写道： > > > > > 请问有关于flink-sql-gateway rest api以pre job模式提交作业到yarn集群的文档吗？ > > > > > > > > > -- &

Re: flink-sql-gateway支持远程吗

上午12:48写道： > > > flink-sql-gateway在提交job时，会根据SPI加载executor，然后推断是local mode还是remote mode, > > 在remote mode下，根据FLINK_HOME 目录下config.sh推断的FLINK_CONF_DIR > 寻找flink-conf.yaml， > > 其中的host, rest port决定了提交的远端集群 > > > > 罗显宴 <15927482...@163.com> 于2021年1月23日周六 上午11:19写道：

Re: flink-sql-gateway支持远程吗

如果是yarn-pre-job，是如何提交到yarn集群的呢，跟host * rest port应该没关系了吧？ Sebastian Liu 于2021年1月27日周三 上午12:48写道： > flink-sql-gateway在提交job时，会根据SPI加载executor，然后推断是local mode还是remote mode, > 在remote mode下，根据FLINK_HOME 目录下config.sh推断的FLINK_CONF_DIR 寻找flink-conf.yaml， > 其中的host, rest port决定了提交的远端集

Re: flink-sql-gateway相关问题

usterExecutorFactory，具备向Yarn提交job的能力，这和使用flink > client > 提交job最终是一个调用路径，余下在flink-conf中添加上yarn相关配置我理解就可以了。 > org.apache.flink.yarn.configuration.YarnConfigOptions > > zilong xiao 于2021年1月26日周二 下午4:00写道： > > > 请问有关于flink-sql-gateway rest api以pre job模式提交作业到yarn集群的文档吗？ > >

Re: flink-sql-gateway相关问题

。 org.apache.flink.yarn.configuration.YarnConfigOptions zilong xiao 于2021年1月26日周二 下午4:00写道： > 请问有关于flink-sql-gateway rest api以pre job模式提交作业到yarn集群的文档吗？ > -- *With kind regards Sebastian Liu 刘洋 Institute of Computing Technology, Chinese Academy of Science Mobile\WeCha

Re: flink-sql-gateway支持远程吗

flink-sql-gateway在提交job时，会根据SPI加载executor，然后推断是local mode还是remote mode, 在remote mode下，根据FLINK_HOME 目录下config.sh推断的FLINK_CONF_DIR 寻找flink-conf.yaml， 其中的host, rest port决定了提交的远端集群 罗显宴 <15927482...@163.com> 于2021年1月23日周六 上午11:19写道： > > 大佬们，我试过flinksql-client和flink-sql-gateway发现都是把代码提交到本地

flink-sql-gateway相关问题

请问有关于flink-sql-gateway rest api以pre job模式提交作业到yarn集群的文档吗？

Re: flink-sql-gateway稳定性如何，可以在生产环境使用吗？

建议用zeppelin jinsx 于2021年1月26日周二 上午11:48写道： > > 想在生产环境部署flink-sql-gateway,通过jdbc方式提交sql任务。不知道flink-sql-gateway稳定性如何，有大佬能给点建议吗？ > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

flink-sql-gateway稳定性如何，可以在生产环境使用吗？

想在生产环境部署flink-sql-gateway,通过jdbc方式提交sql任务。不知道flink-sql-gateway稳定性如何，有大佬能给点建议吗？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink-sql-gateway稳定性如何，可以在生产环境使用吗？

如上， 在生产环境部署flink-sql-gateway，通过Jdbc提交sql任务。但是有点担心稳定性问题，有大佬可以给点建议吗。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink sql 执行limit 很少的语句依然会暴增

hi, 报错信息： java.lang.UnsupportedOperationException: Currently, a DynamicTableSource with SupportsLimitPushDown ability is not supported. 如果你当前的版本不是1.12的话，那么你还需要pick下rule[1]。可以关注下这个jira[2]，这里包含了所有对于SupportXXX的优化。 如果只是本地测试的话还是建议用发布的1.12 + 之前提到的commit，自己pick可能有点问题。 [1]

flink1.12用不了flink-sql-gateway

HI 大佬们， flink1.12用不了flink-sql-gateway，请问为在什么时间支持？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink sql 执行limit 很少的语句依然会暴增

flink run -py new_jdbc_source.py Traceback (most recent call last): File "new_jdbc_source.py", line 66, in st_env.execute_sql("select * from feature_bar_sink").print() File "/Users/derek.bao/dev-utils/flink-1.11.2/opt/python/pyflink.zip/pyflink/table/table_environment.py", line 543, in

Re: Flink sql去重问题

Hello 特殊的Top-N是说去重的语义是Top 1, 所以只用保留一个大小的堆，其底层实现和其他Top-N的数据结构不一样，并不需要维护一个堆, 其他的数据根据语义 要么被丢掉，要么撤回下发新值，另外这种有状态的算子，数据都是放在state里的，设置的TTL是生效的，表示state中的数据有效期时多久，这个数据会用来判断新来的数据是丢掉还是撤回旧值并下发新的值。 祝好， Leonard > 在 2021年1月22日，10:53，guaishushu1...@163.com 写道： > > >

Re: flink-sql-gateway支持远程吗

可以试试zeppelin 罗显宴 <15927482...@163.com> 于2021年1月23日周六 上午11:19写道： > > 大佬们，我试过flinksql-client和flink-sql-gateway发现都是把代码提交到本地集群运行，好像不能提交到指定远程集群上执行任务，请问大佬们，怎么提交代码到远程集群运行 > > > | | > 15927482803 > | > | > 邮箱：15927482...@163.com > | > > 签名由 网易邮箱大师 定制

Re: flink sql 执行limit 很少的语句依然会暴增

嗯嗯 好的 谢谢大家 ，应该就是这个问题了，merge到分支验证下 On Fri, Jan 22, 2021 at 11:35 AM Shengkai Fang wrote: > hi, LIMIT PUSH DOWN 近期已经merge进了master分支了。 > > [1] https://github.com/apache/flink/pull/13800 > > Land 于2021年1月22日周五 上午11:28写道： > > > 可能是没有下推到MySQL执行。 > > 问题和我遇到的类似： > >

Re: flink sql 执行limit 很少的语句依然会暴增

hi, LIMIT PUSH DOWN 近期已经merge进了master分支了。 [1] https://github.com/apache/flink/pull/13800 Land 于2021年1月22日周五 上午11:28写道： > 可能是没有下推到MySQL执行。 > 问题和我遇到的类似： > http://apache-flink.147419.n8.nabble.com/Flink-MySQL-td10374.html > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: flink sql 执行limit 很少的语句依然会暴增

可能是没有下推到MySQL执行。 问题和我遇到的类似：http://apache-flink.147419.n8.nabble.com/Flink-MySQL-td10374.html -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink sql去重问题

看到社区文档说是Blink的去重是一种特殊Top-N。经了解Top-N会保留一个最小堆，麻烦问下那其他数据是被机制清除了，还是会保存在内存中呀。用了这个Blink去重还需要用Idle State Retention Time来设置状态的TTL吗？ guaishushu1...@163.com

Flink SQL csv格式分隔符设置失败

Flink 版本：1.11.1 我的flink sql: create table stream_tmp.t1( log string) with ( 'connector' = 'kafka', 'topic' = 't1', 'properties.bootstrap.servers' = 'x:9092', 'properties.group.id' = 'flink_test_01', 'scan.startup.mode' = 'latest-offset', 'format' = 'csv', 'csv.field-delimiter

[DISCUSS] FLIP-162: Consistent Flink SQL time function behavior

Hello, everyone I want to start the discussion of FLIP-162: Consistent Flink SQL time function behavior[1]. We’ve some initial discussion of several problematic functions in dev mail list[2], and I think it's the right time to resolve them by a FLIP. Currently some time function behaviors

Re: [DISCUSS] Correct time-related function behavior in Flink SQL

> Before the changes, as I am writing this reply, the local time here is > 2021-01-21 12:03:35 (Beijing time, UTC+8). > And I tried these 5 functions in sql client, and got: > > Flink SQL> select now(), PROCTIME(), CURRENT_TIMESTAMP, CURRENT_DAT

Re: Flink SQL kafka connector有办法获取到partition、offset信息嘛？

> 看了下，是1.12才开始支持么，1.11是不行的嘛？ 是的，1.11不支持，文档也是有版本的，如果对应版本的文档里没有该功能介绍，那就是不支持的。

flink sql是否有json_to_map函数，或者实现方法是怎么样的？

hi all, 有没有什么办法可以将json转成map呢？类似于str_to_map函数。 版本：flink 1.11 planner: blink sql 需求背景： UDF函数通过http请求获得了json字符串，希望能够直接使用json内字段， UDTF可以满足一部分要求，但不灵活，因为定义UDTF时需要指定输出字段及类型，限制很大。

flink sql是否有json_to_map函数，或者实现方法是怎么样的？

hi all, 有没有什么办法可以将json转成map呢？类似于str_to_map函数。 版本：flink 1.11 planner: blink sql 需求背景： UDF函数通过http请求获得了json字符串，希望能够直接使用json内字段， UDTF可以满足一部分要求，但不灵活，因为定义UDTF时需要指定输出字段及类型，限制很大。

Flink SQL建hive表为什么没有if not exists

有个疑问，为什么在使用flink sql建hive表的时候没有 create table IF NOT EXISTS db.t1 (); 只能使用 create table db.t1 (); 而在创建动态表的时候，可以使用IF NOT EXISTS。 使用的版本是1.11.1 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink SQL kafka connector有办法获取到partition、offset信息嘛？

看了下，是1.12才开始支持么，1.11是不行的嘛？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink sql升级到1.12 基于eventtime的window聚合没有watermark导致没有数据输出

String ddl = "CREATE TABLE orders (\n" + " user_id INT,\n" + " product STRING,\n" + " amount INT,\n" + " `time` bigint,\n" + " `ts` AS TO_TIMESTAMP(FROM_UNIXTIME(`time`)),\n" + " WATERMARK

flink sql 执行limit 很少的语句依然会暴增

请教个问题，使用flink sql 去拉取mysql数据，mysql源表有千万级别数据量，使用了 select * from sourcTable limit 10； 即使是limit几条数据也会导致内存暴增。这里的limit是从mysql原表执行后 直接在flink taskmanager进行limit取数据吗？

Re: [DISCUSS] Correct time-related function behavior in Flink SQL

is tricky topic. At present, there > are many Flink jobs in our production environment that are used to count > day-level reports (eg: count PV/UV ). > > > If use the default Flink SQL, the window time range of the > statistics is incorrect, then the statistical results wi

Re: Flink SQL kafka connector有办法获取到partition、offset信息嘛？

CREATE TABLE KafkaTable ( `event_time` TIMESTAMP(3) METADATA FROM 'timestamp', `partition` BIGINT METADATA VIRTUAL, `offset` BIGINT METADATA VIRTUAL, `user_id` BIGINT, `item_id` BIGINT, `behavior` STRING ) WITH ( 'connector' = 'kafka', 'topic' = 'user_behavior',

Re: [DISCUSS] Correct time-related function behavior in Flink SQL

NOW() - CURRENT_DATE - CURRENT_TIME - CURRENT_TIMESTAMP Before the changes, as I am writing this reply, the local time here is *2021-01-21 12:03:35 (Beijing time, UTC+8)*. And I tried these 5 functions in sql client, and got: *Flink SQL> select now(), PROCTIME(), CURRENT_TIMESTAMP, CURRE

Re: Flink SQL kafka connector有办法获取到partition、offset信息嘛？

： gimlee 发送时间： 2021-01-21 11:20 收件人： user-zh 主题： Flink SQL kafka connector有办法获取到partition、offset信息嘛？ 如题，需要获取到kafka的partition、offset进行处理 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink SQL kafka connector有办法获取到partition、offset信息嘛？

如题，需要获取到kafka的partition、offset进行处理 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink sql任务提交，sql一直只执行一个

目前我所了解的Flink SQL 触发任务提交的是execcuteSql()中的insert into 以及StatementSet.execute()。我之前将两个insert into 分为两个executeSql进行提交，结果结果出现上述效果，修改成StatementSet.execute()之后得到了想要的效果，不太清楚这两种有什么区别？暂记录一下，待以后分析。小白学Flink真是好多坑 package com.zallsteel.flink.app.log; import com.google.gson.Gson; import

Flink SQL自定义source解析weblog获取数据的topic信息

之前用的spark做weblog解析，里面用topic中的partition+offset来做唯一key去重，示例如下： String key = MD5Utils.string2MD5(record.topic()+record.partition()+record.offset()); 现在改用flink sql自定义source解析weblog，在解析weblog的时候，发现已经没有kafka相关信息，覆写的函数如下： @Override public DecodingFormat> createDecodingFor

flink sql任务提交，sql一直只执行一个

Flink SQL环境 EnvironmentSettings tableEnvSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); // 创建table Env StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, tableEnvSettings); // 设置checkpoint 模型

??????????: flink sql hop????????udaf????????????merge??????????????????????

?? class PercentileUDAF extends AggregateFunction[String, ListBuffer[Float]]{ // val percentile1 = 0.5 val percentile2 = 0.75 val percentile3 = 0.98 val percentile4 = 0.99 override def getValue(accumulator: ListBuffer[Float]): String = { // val

Re: flink sql 消费kafka 消息 写入Hive不提交分区

多谢各位的耐心回答，我已经找到问题了，目前是水印使用有点问题，是我自己的问题，不好意思各位 修改之后，发现还是无法提交分区数据，经调试发现，watermark值目前是ok,但是其次是，由于Flink的toMills方法使用的UTC时间，导致我们从分区提取值时，比原始值大了8个小时，因此，导致水印一直小于 partition_time+commitDelay。接下来进行相应处理即可。

????: flink sql hop????????udaf????????????merge??????????????????????

?? ?? bigdata ?? 2021-01-18 14:52 user-zh ?? flink sql hopudafmerge?? ?? flink1.10.1 sql??hop??udaf??merge

flink sql hop????????udaf????????????merge??????????????????????

?? flink1.10.1 sql??hop??udaf??merge??merge?? org.apache.flink.table.planner.codegen.CodeGenException: No matching merge method found for AggregateFunction com.autoai.cns.udaf.PercentileUDAF' merge ??

Re: 回复： flink sql 消费kafka 消息 写入Hive不提交分区

* @desc 测试MySQLCDC to Hive > */ > public class MySQLCDC2HiveApp { > public static void main(String[] args) { > //获取执行环节 > StreamExecutionEnvironment env = > StreamExecutionEnvironment.getExecutionEnvironment(); > // 设置并发 > env.setParallelism(6);

flink sql hop????????udaf????????????merge??????????????????????

?? flink1.10.1 sql??hop??udaf??merge??merge?? org.apache.flink.table.planner.codegen.CodeGenException: No matching merge method found for AggregateFunction com.autoai.cns.udaf.PercentileUDAF' merge ??

Re: 回复： flink sql 消费kafka 消息 写入Hive不提交分区

fig().setAutoWatermarkInterval(200); // 设置Flink SQL环境 EnvironmentSettings tableEnvSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); // 创建table Env StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, tableEnvSettings); //

Re: 回复： flink sql 消费kafka 消息 写入Hive不提交分区

Flink SQL环境 EnvironmentSettings tableEnvSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); // 创建table Env StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, tableEnvSettings); // 设置checkpoint 模型

flink sql hop????????udaf????

?? flink1.10.1 sql??hop??udaf??merge??merge?? org.apache.flink.table.planner.codegen.CodeGenException: No matching merge method found for AggregateFunction com.autoai.cns.udaf.PercentileUDAF' def merge(accumulator:

????: flink sql hop????udaf????

merge??marge Evan Cheng 2021??1??18??09:00:07 bigdata ?? 2021-01-17 22:31 user-zh ?? flink sql hopudaf ?? flink1.10.1sql hop??udaf

flink sql hop????udaf????

?? flink1.10.1sql hop??udafmarge?? org.apache.flink.table.api.ValidationException: Function class 'com.autoai.cns.udaf.PercentileUDAF' does not implement at least one method named 'merge' which is public, not abstract and (in case of table

flink sql hop????udaf????

?? flink1.10.1sql hop??udafmarge?? org.apache.flink.table.api.ValidationException: Function class 'com.autoai.cns.udaf.PercentileUDAF' does not implement at least one method named 'merge' which is public, not abstract and (in case of table

回复： flink sql 消费kafka 消息 写入Hive不提交分区

贴下代码，看下你是怎么使用的 | | 刘小红 | | 18500348...@163.com | 签名由网易邮箱大师定制 在2021年1月15日 17:40，xufengfeng<503814...@qq.com> 写道： 2021年1月15日 下午3:19，花乞丐 写道： 我这边从kafka消费信息，然后写入到Hive中，目前发现不提交分区，不提交分区的原因是watemark是负数的，不清楚这个负数的watermark是怎么出现的？

Re: 回复： flink sql读kafka元数据问题

我知道 酷酷同学 啥意思，kafka 消息是key，value形式，当然这个key默认是null，他想在 select 语句里将 kafka的key值读出来对吧。 我也在文档里找了，确实是没有相关文档说明 发件人： 酷酷的浑蛋 发送时间： 2021-01-15 16:35 收件人： user-zh@flink.apache.org 主题： 回复： flink sql读kafka元数据问题 直接读topic，headers是空，我仅仅是想读key，不管topic是谁写入的 在2021年01月14日 16:03，酷酷的浑蛋 写道： 你意思是说，topic不是

Re: flink sql 消费kafka 消息 写入Hive不提交分区

> 2021年1月15日 下午3:19，花乞丐 写道： > > 我这边从kafka消费信息，然后写入到Hive中，目前发现不提交分区，不提交分区的原因是watemark是负数的，不清楚这个负数的watermark是怎么出现的？ > > > 我代码也指定了watermark,但是debug的时候好像没有起作用 > > > > -- > Sent from:

回复： flink sql读kafka元数据问题

直接读topic，headers是空，我仅仅是想读key，不管topic是谁写入的 在2021年01月14日 16:03，酷酷的浑蛋 写道： 你意思是说，topic不是flink写入的，用flink sql就不能读到key？ 在2021年01月13日 15:18，JasonLee<17610775...@163.com> 写道： hi 你写入数据的时候设置 headers 了吗 没设置的话当然是空的了 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复： flink sql读kafka元数据问题

hi 通过 headers 这种方式是可以获取到的 jark 大佬说的那种方式我还没有测试 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink sql 消费kafka 消息 写入Hive不提交分区

我这边从kafka消费信息，然后写入到Hive中，目前发现不提交分区，不提交分区的原因是watemark是负数的，不清楚这个负数的watermark是怎么出现的？ 我代码也指定了watermark,但是debug的时候好像没有起作用 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink sql hop????????????????????

?? flink1.10.1,??=-?? SELECT |DATE_FORMAT(TIMESTAMPADD(HOUR, 8, HOP_START(proctime, INTERVAL '$slide' SECOND, INTERVAL '$size'

flink sql hop????????????????????

?? flink1.10.1,??=-??

Re: Flink sql 状态过期后，checkpoint 大小没变化

Hi 1. 目前没有全局的配置 2. 开启cleanFullSnapshot 并不会物理清除数据，只是确保checkpoint数据中没有相关过期数据 祝好 唐云 From: 孙啸龙 Sent: Thursday, January 14, 2021 20:43 To: user-zh@flink.apache.org Subject: Re: Flink sql 状态过期后，checkpoint 大小没变化 你好： 非常谢谢， 本地的数据是过期了。 不好意思，还有几个疑问想请教下。 1.看

Re: Flink sql 状态过期后，checkpoint 大小没变化

你好： 非常谢谢， 本地的数据是过期了。 不好意思，还有几个疑问想请教下。 1.看文档，开启cleanFullSnapshot是只能对单个状态设置吗，没查到flink sql 开启cleanFullSnapshot的配置的地方？因为只看到StateTtlConfig是对于单个状态的设置，没有对job或者对table的config设置。 2.cleanFullSnapshot 开启后，从checkpoint恢复才会触发清理,不是在checkpoint过程中触发清理掉过期数据？ > 在 2021年1月14日，下午4:48，Yun Tang

Re: 转发：flink-sql字段类型问题

': No such file or directory//出错信息 yinghua...@163.com 发件人： 郝文强 发送时间： 2021-01-14 17:24 收件人： user-zh 主题： 转发：flink-sql字段类型问题 | | 郝文强 | | 18846086...@163.com | 签名由网易邮箱大师定制 - 转发邮件信息 - 发件人： 郝文强 <18846086...@163.com> 发送日期： 2021年01月14日 17:23 发送至： d...@flink.apache.

转发：flink-sql字段类型问题

| | 郝文强 | | 18846086...@163.com | 签名由网易邮箱大师定制 - 转发邮件信息 - 发件人： 郝文强 <18846086...@163.com> 发送日期： 2021年01月14日 17:23 发送至： d...@flink.apache.org 主题： 转发：flink-sql字段类型问题 | | 郝文强 | | 18846086...@163.com | 签名由网易邮箱大师定制 - 转发邮件信息 - 发件人： 郝文强 <18846086..

Re: Flink sql 状态过期后，checkpoint 大小没变化

] https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/state/state.html#cleanup-in-full-snapshot 祝好 唐云 From: 孙啸龙 Sent: Thursday, January 14, 2021 16:11 To: user-zh@flink.apache.org Subject: Re: Flink sql 状态过期后，checkpoint 大小没变化 你好： 使用的state

Re: Flink sql 状态过期后，checkpoint 大小没变化

__ > From: 孙啸龙 > Sent: Thursday, January 14, 2021 15:52 > To: user-zh@flink.apache.org > Subject: Flink sql 状态过期后，checkpoint 大小没变化 > > 大家好： >版本：1.12.0 >方式：flink sql >测试sql： >select a.id,b.money,b.createTime from test_sta

回复： flink sql读kafka元数据问题

官网没说在哪里读key啊 在2021年01月14日 14:52，Jark Wu 写道： kafka 读 key fields： https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/kafka.html#key-fields On Wed, 13 Jan 2021 at 15:18, JasonLee <17610775...@163.com> wrote: hi 你写入数据的时候设置 headers 了吗 没设置的话当然是空的了 - Best Wishes

Re: Flink sql 状态过期后，checkpoint 大小没变化

使用的state backend，以及对应的checkpoint 类型是什么（是否开启incremental checkpoint）？ 在一开始插入数据后，直到state TTL超过，期间均没有再插入数据过么？还是说一直在以一定的数据量在插入数据？ 祝好 唐云 From: 孙啸龙 Sent: Thursday, January 14, 2021 15:52 To: user-zh@flink.apache.org Subject: Flink sql 状态过期后，checkpoint 大小没变化 大家好

回复： flink sql读kafka元数据问题

在2021年01月14日 16:03，酷酷的浑蛋 写道： 你意思是说，topic不是flink写入的，用flink sql就不能读到key？ 在2021年01月13日 15:18，JasonLee<17610775...@163.com> 写道： hi 你写入数据的时候设置 headers 了吗 没设置的话当然是空的了 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

回复： flink sql读kafka元数据问题

你意思是说，topic不是flink写入的，用flink sql就不能读到key？ 在2021年01月13日 15:18，JasonLee<17610775...@163.com> 写道： hi 你写入数据的时候设置 headers 了吗 没设置的话当然是空的了 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink sql 状态过期后，checkpoint 大小没变化

大家好： 版本：1.12.0 方式：flink sql 测试sql： select a.id,b.money,b.createTime from test_state_from a full join test_state_from1 b on a.id=b.id; 问题： test_state_from和test_state_from1 分别插入50万条数据，查看 checkpoint 大小为83m，state ttl 设 置为16分钟，30分钟后查看

Re:Re: 请问大神们flink-sql可以指定时间清除内存中的全部State吗？

group by [时间字段] 我们也有类似场景，每天数据的时间是不一样的，这样不会导致今天的数据累加才对啊？ 在 2021-01-14 15:06:26，"Jark Wu" 写道： >为啥不用天级别的tumble window？ 自动就帮你清楚 state 了 > >On Wed, 6 Jan 2021 at 13:53, 徐州州 <25977...@qq.com> wrote: > >>

Re: 请问大神们flink-sql可以指定时间清除内存中的全部State吗？

为啥不用天级别的tumble window？ 自动就帮你清楚 state 了 On Wed, 6 Jan 2021 at 13:53, 徐州州 <25977...@qq.com> wrote: > 最近在做一个flink实时数仓项目，有个日报的场景，使用flink-on-yarn模式，如果job不停止，第二天的结果就在第一天的基础上累加了，我计算的读取规则（数据TimeStampcurrent_date）就认为是今天的数据，可是如果集群不停止第二天的计算结果就会在第一天累加，代码中只设置了env.setStateBackend(new >

Re: flink sql读kafka元数据问题

kafka 读 key fields： https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/kafka.html#key-fields On Wed, 13 Jan 2021 at 15:18, JasonLee <17610775...@163.com> wrote: > hi > > 你写入数据的时候设置 headers 了吗 没设置的话当然是空的了 > > > > - > Best Wishes > JasonLee > -- > Sent from:

Re: Flink-sql 读取hive报错,invalid type code: 9C.

So what makes it happen? Have fixed it？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink sql读kafka元数据问题

hi 你写入数据的时候设置 headers 了吗 没设置的话当然是空的了 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink sql cli 查询hive 为两个字段的分区表如果where条件不指定这两个字段条件会出异常

生产的hive表由datekey和event两个字段作为分区，查询sql语句： （1）第一组对比 SELECT vid From table_A WHERE datekey = '20210112' AND event = 'XXX' AND vid = 'aa';(*正常*) SELECT vid From table_A WHERE datekey = '20210112' AND vid = 'aa'; (*异常*) （2）第二组对比 SELECT vid From table_B WHERE datekey = '20210112' AND

Flink sql cli 查询hive 为两个字段的分区表如果where条件不指定这两个字段条件会出异常

生产的hive表由datekey和event两个字段作为分区，查询sql语句： （1）第一组对比 SELECT vid From table_A WHERE datekey = '20210112' AND event = 'XXX' AND vid = 'aa';(*正常*) SELECT vid From table_A WHERE datekey = '20210112' AND vid = 'aa'; (*异常*) SELECT vid From table_A WHERE datekey = '20210112';(*正常*)

flink sql读kafka元数据问题

WITH("`event_time` TIMESTAMP(3) METADATA FROM 'timestamp'," + "`partition` BIGINT METADATA VIRTUAL," + "`offset` BIGINT METADATA VIRTUAL," + "`headers` MAP NOT NULL METADATA VIRTUAL,”+ 在这里获取kakfa元数据时，官网没有说怎么获取kafka消息的key？，headers的信息是空的，请问怎么在flink sql中获取kafka消息key？

Re: Flink SQL一个Job使用多个Catalog的例子

我已经解决了。USE其他Catalog再建表即可。 Luna Wong 于2021年1月12日周二 下午9:41写道： > > 大家好。 > 我没有在官网找到个Job使用多个Catalog的例子。 > 我想在一个Job里使用普通的Catalog注册个Kafka Source然后，将数据发送Iceberg Sink表。这个Sink表 > 注册在另一个Iceberg + Hive 的Catalog 中。 > 注册代码如下。 > CREATE CATALOG hive_catalog WITH ( > 'type'='iceberg', >

Flink SQL一个Job使用多个Catalog的例子

大家好。 我没有在官网找到个Job使用多个Catalog的例子。 我想在一个Job里使用普通的Catalog注册个Kafka Source然后，将数据发送Iceberg Sink表。这个Sink表 注册在另一个Iceberg + Hive 的Catalog 中。 注册代码如下。 CREATE CATALOG hive_catalog WITH ( 'type'='iceberg', 'catalog-type'='hive', 'uri'='thrift://kudu1:9083', 'clients'='2', 'property-version'='1',

Re: Flink SQL 可以使用异步IO特性吗

hello,kenyore. 我大致了解了你的意思，你可以通过继承AsyncTableFunction的方式实现数据库异步IO。 公共抽象类AsyncTableFunction 扩展了UserDefinedFunction AsyncTableFunction

Re: Flink SQL 可以使用异步IO特性吗

hello,kenyore. 我大致了解了你的意思，你可以通过继承AsyncTableFunction的方式实现数据库异步IO。 公共抽象类AsyncTableFunction 扩展了UserDefinedFunction AsyncTableFunction

Re: Flink SQL 可以使用异步IO特性吗

感谢如此详尽的回复！ 但是我的场景似乎无法直接使用维表join。 因为我需要把look up的结果（会是多行数据），拼成一个数组放入数据行。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink SQL 可以使用异步IO特性吗

Hello,kenyore. 在维表的DDL的WITH参数中添加async='true'，Async 相关参数如下。 参数说明是否必填备注 async 是否开启异步请求 否 默认值为fasle。 asyncResultOrder 异步结果顺序 否 取值如下： - unordered（默认值）：无序。 - ordered：有序。 asyncTimeoutMs 异步请求的超时时间 否 单位毫秒，默认值为3分钟。 asyncCapacity 异步请求的队列容量 否 默认值为100。 asyncCallbackThreads 回调处理线程数 否

<    3   4   5   6   7   8   9   10   11   12   >