Re: Re: flink cdc能否同步DDL语句?

哪些类? > > > > > > > > > > > > > > > > > > 在 2022-10-11 10:22:07，"yuxia" 写道： > >用 datastream api，自己解析一下 DDL。 > > > >Best regards, > >Yuxia > > > >- 原始邮件 ----- > >发件人: "yh z" > >收件人: "user-zh" &

Re:Re: flink cdc能否同步DDL语句?

可以给一些hints吗？看哪些类? 在 2022-10-11 10:22:07，"yuxia" 写道： >用 datastream api，自己解析一下 DDL。 > >Best regards, >Yuxia > >- 原始邮件 - >发件人: "yh z" >收件人: "user-zh" >发送时间: 星期二, 2022年 10 月 11日 上午 10:23:43 >主题: Re: flink cdc能否同步D

Re: flink cdc能否同步DDL语句?

用 datastream api，自己解析一下 DDL。 Best regards, Yuxia - 原始邮件 - 发件人: "yh z" 收件人: "user-zh" 发送时间: 星期二, 2022年 10 月 11日 上午 10:23:43 主题: Re: flink cdc能否同步DDL语句? 目前，社区的 Flink CDC，是可以读取到 binlog 中的 DDL 语句的，但是不会传递给下游，即下游无法感知 schema 的变化。 Xuyang 于2022年10月10日周一 16:46写道： > H

Re: flink cdc能否同步DDL语句?

目前，社区的 Flink CDC，是可以读取到 binlog 中的 DDL 语句的，但是不会传递给下游，即下游无法感知 schema 的变化。 Xuyang 于2022年10月10日周一 16:46写道： > Hi， 目前应该是不行的 > 在 2022-09-26 23:27:05，"casel.chen" 写道： > >flink cdc能否同步DDL语句以实现schema同步? 例如create table , create index, truncate > table等 >

Re:flink cdc能否同步DDL语句?

Hi， 目前应该是不行的 在 2022-09-26 23:27:05，"casel.chen" 写道： >flink cdc能否同步DDL语句以实现schema同步? 例如create table , create index, truncate table等

flink cdc能否同步DDL语句?

flink cdc能否同步DDL语句以实现schema同步? 例如create table , create index, truncate table等

Re: Pyflink 1.14 维表 DDL报错

un.com/document_detail/62506.html）flink sql上找到维表 ddl如下： > create table phoneNumber( name VARCHAR, phoneNumber bigint, primary > key(name), PERIOD FOR SYSTEM_TIME )with( type='rds' ); > > > 而我自己写的如下： > create table source_1( > id int, > data TINYINT, > primary k

Pyflink 1.14 ???? DDL????

flink??join??join??https://help.aliyun.com/document_detail/62506.html??flink sql?? ddl?? create table phoneNumber( name VARCHAR, phoneNumber bigint, primary key(name), PERIOD FOR SYSTEM_TIME )with( type

Re: flink-1.12.5 定义HIVDE DDL ，并且有comment，但是hive表里面没有体现出comment

Hi！ 这个问题已经在社区提出过了，可以在 https://issues.apache.org/jira/browse/FLINK-18958 这里追踪解决进度。 kcz <573693...@qq.com.invalid> 于2021年9月27日周一 上午11:21写道： > hive版本3.1.0 > ddl如下: > create table test_hive( > id int comment 'test comment' > ) PARTITIONED BY (dt STRING) STORED

flink-1.12.5 ????HIVDE DDL ????????comment??????hive????????????????comment

hive3.1.0 ddl: create table test_hive( id int comment 'test comment' ) PARTITIONED BY (dt STRING) STORED AS orc TBLPROPERTIES ( 'partition.time-extractor.kind'='custom', 'partition.time-extractor.timestamp-pattern'='$dt', 'partition.time-extractor.class

Re: flink-1.12.0 ddl设置watermark error，但是1.13.2没有报错

这是个已知bug[1]， 在1.13.0 和 1.12.3上都修复了， 你可以用下flink 1.12.5 或 1.13.2的小版本 [1]https://issues.apache.org/jira/browse/FLINK-22082 祝好 > 在 2021年9月25日，21:29，kcz <573693...@qq.com.INVALID> 写道： > > SQL定义如下，当1.12.0将watermark语句移除之后，就不报错了。 > CREATE TABLE KafkaTable ( > test array gatherTime STRING, > log_ts

flink-1.12.0 ddl????watermark error??????1.13.2????????

SQL1.12.0??watermark?? CREATE TABLE KafkaTable ( test array

回复：flink-1.13.1 ddl kafka消费JSON数据 (ObjectNode) jsonNode错误

大佬们，帮看一下，为什么那里会出现类型转换异常了。 -- 原始邮件 -- 发件人: kcz <573693...@qq.com 发送时间: 2021年7月1日 22:49 收件人: user-zh

flink-1.13.1 ddl kafka????JSON???? (ObjectNode) jsonNode????

) at org.apache.flink.formats.json.JsonRowDataDeserializationSchema.convertToRowData(JsonRowDataDeserializationSchema.java:121) at org.apache.flink.formats.json.JsonRowDataDeserializationSchema.deserialize(JsonRowDataDeserializationSchema.java:106) DDL: CREATE TABLE user_behavior ( user_id string ) WITH ( 'connector' = 'kafka', 'topic

Re: SQL DDL选项的值需要单引号应该如何解决？

create table source ( id int ) with ( type='jdbc', username='us',password='ab\'c' ); Luna Wong 于2021年5月27日周四 下午4:02写道： > create table source ( > id int > ) with ( > type='jdbc', > username='us', > password='ab'c' > ); > > 例如上面DDL密码的值需要 ' 单引号。这种应该怎么解决？ >

SQL DDL选项的值需要单引号应该如何解决？

create table source ( id int ) with ( type='jdbc', username='us', password='ab'c' ); 例如上面DDL密码的值需要 ' 单引号。这种应该怎么解决？

Re: 求问Hive DDL TBLPROPERTIES不生效

1. watermark的问题需要检查一下source，比如watermark是如何定义的、是不是source没数据导致watermark不前进等。 2. 小文件合并的功能Hive跟FileSystem connector都是支持的，可以参考这个文档配置一下试试： https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/filesystem.html#file-compaction On Fri, Apr 9, 2021 at 1:04 PM HunterXHunter

Re: 求问Hive DDL TBLPROPERTIES不生效

你好, 1：我设置的时候就是 使用的 partition-time 同时 设定checkpoint间隔为60s。但是我发现watermark一直没有生成或者更新，导致我的数据一直无法commit。想知道 为什么watermark无法生成。当时使用process-time是没问题的。 2：因为写hive的话会有小文件的问题。所以我使用file sink来设置合并文件和控制文件大小。但是写文件是无法写hive metastore。所以hive查不出数据。 想知道有什么方法解决hive小文件问题，难道只能T+1做小文件合并吗。 -- Sent from:

Re: 求问Hive DDL TBLPROPERTIES不生效

你好， sink.partition-commit.trigger设置成process-time的话是不按照分区值来提取timestamp的，设置成partition-time才可以，但请注意partition-time需要通过watermark来触发。更详细的信息可以参考文档： https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/filesystem.html#sink-partition-commit-trigger

求问Hive DDL TBLPROPERTIES不生效

SET table.sql-dialect=hive; CREATE TABLE hive_catalog.test_db.test_insert_tb ( id BIGINT, type INT, user_id BIGINT, title STRING, ts TIMESTAMP ) PARTITIONED BY (add_date STRING, add_hour STRING) STORED AS orc TBLPROPERTIES ( 'sink.partition-commit.trigger' = 'process-time',

Re: 通过普通ddl来读写hive

这个取决于你们自己的元数据管理系统了，Flink这边实现Catalog的各个接口对接你们的系统就行。比如在Catalog::createTable的实现里可以增加鉴权机制，判断是否允许用户建表之类的。 On Wed, Feb 24, 2021 at 11:14 AM silence wrote: > 那用自定义的catalog怎么定义hive表来读写hive呢 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ > -- Best regards! Rui Li

Re: 通过普通ddl来读写hive

那用自定义的catalog怎么定义hive表来读写hive呢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 通过普通ddl来读写hive

Hello， 因为hive本身是通过metastore来管理元数据的，所以通过HiveCatalog对接metastore里的元数据是比较自然的用法。Flink引入Catalog接口的初衷也是为了能方便的对接外部系统的元数据。如果你们用的是自己开发的元数据管理平台，也可以考虑实现自定义的Catalog来对接。 我觉得用in-memory catalog维护hive元数据有点像手动对metastore的元数据做一次snapshot。虽然避免了用户直接访问底层元数据，但使用起来并不方便，比如想要读一张分区表的话需要手动把每个分区的信息添加到in-memory catalog里。

Re: 通过普通ddl来读写hive

我理解各个公司都会有自己的元数据管理平台，hive表的创建修改都需要经过严格的权限控制在平台上进行操作，包括调度任务、实时写入任务、数据血缘等。 我个人觉得理想的方式是单个flink sql的所有的connector通过自维护的元数据进行生成，不需要引入hivecatalog，使用默认的MemoryCatalog即可。 总结一下就是不希望引入HiveCatalog来进行hive表的读写 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 通过普通ddl来读写hive

2、connector的配置是保存在hive表的DBPROPERTIES里的，这是否就意味着想通过flink往现有hive表里写数据需要先通过alter语句修改hive表的属性配置，这里不希望对用户直接暴露alter > hive的能力 > 3、使用普通的ddl可以与现有connector的定义统一风格，不需要来回切换方言 > 4、可以不用将配置信息持久化，通过GenericInMemoryCatalog使用即可 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ -- Best regards! Rui Li

Re: 通过普通ddl来读写hive

你好 感谢回复 主要有以下几点原因： 1、直接使用hive catalog进行hive表的创建修改风险太高，更希望在平台层限制hive表的创建和修改 2、connector的配置是保存在hive表的DBPROPERTIES里的，这是否就意味着想通过flink往现有hive表里写数据需要先通过alter语句修改hive表的属性配置，这里不希望对用户直接暴露alter hive的能力 3、使用普通的ddl可以与现有connector的定义统一风格，不需要来回切换方言 4、可以不用将配置信息持久化，通过GenericInMemoryCatalog使用即可 -- Sent from

Re: 通过普通ddl来读写hive

你好， 请问一下不想用HiveCatalog来读写hive表的原因是什么呢？是不希望将hive表持久化（类似临时表的效果），或者是不希望维护一个metastore server？ On Tue, Feb 23, 2021 at 2:57 PM silence wrote: > 问一下社区有没有计划支持普通的ddl（不用hive的catalog）来进行读写hive表吗 > 现在不支持是有什么考虑吗 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ -- Best regards! Rui Li

通过普通ddl来读写hive

问一下社区有没有计划支持普通的ddl（不用hive的catalog）来进行读写hive表吗 现在不支持是有什么考虑吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Catalog(Kafka Connectors 的ddl)持久化到hive metastore，groupid一样的问题

非常谢谢 > 在 2021年1月30日，下午9:18，JasonLee <17610775...@163.com> 写道： > > hi > > 社区以及提供了动态修改表属性的功能,具体使用可以参考 https://mp.weixin.qq.com/s/nWKVGmAtENlQ80mdETZzDw > > > > - > Best Wishes > JasonLee > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Catalog(Kafka Connectors 的ddl)持久化到hive metastore，groupid一样的问题

hi 社区以及提供了动态修改表属性的功能,具体使用可以参考 https://mp.weixin.qq.com/s/nWKVGmAtENlQ80mdETZzDw - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Catalog(Kafka Connectors 的ddl)持久化到hive metastore，groupid一样的问题

Hi: 版本：1.12.0 DDL 语句持久化到hive metastore， 创建语句如下， CREATE TABLE KafkaTable ( `user_id` BIGINT, `item_id` BIGINT, `behavior` STRING, `ts` TIMESTAMP(3) METADATA FROM 'timestamp' ) WITH ( 'connector' = 'kafka', 'topic' = 'user_behavior

Flink ddl sql 在 Test和在Main里面执行结果不同

同一段代码，在main里面可以正常正常，在Test里面却直接结束 StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); StreamTableEnvironment bsTableEnv =

回复: Flink SQL DDL Schema csv嵌套json

Flink版本 1.12.0 发件人： amen...@163.com 发送时间： 2021-01-03 16:09 收件人： user-zh 主题： Flink SQL DDL Schema csv嵌套json hi everyone, zhangsan|man|28|goodst...@gmail.com|{"math":98, "language":{"english":89, "french":95}}|china|beijing 这是一条来自kafka消息队列中的数据，当我

Flink SQL DDL Schema csv嵌套json

hi everyone, zhangsan|man|28|goodst...@gmail.com|{"math":98, "language":{"english":89, "french":95}}|china|beijing 这是一条来自kafka消息队列中的数据，当我创建kafka ddl为之定义schema时，报出异常信息： Exception in thread "main" java.lang.IllegalArgumentException: Only simpl

Re: flink sql ddl CREATE TABLE kafka011 sink 如何开启事务exactly-once？

t; 成功"); } private void callCreateTable(SqlCommandParser.SqlCommandCall cmdCall) { String ddl = cmdCall.operands[0]; try { tEnv.executeSql(ddl); } catch (SqlParserException e) { throw new RuntimeException("SQL parse failed:\n" + ddl + &qu

flink sql ddl????????????java.lang.IncompatibleClassChangeError: Implementing class

??flink1.10.1,pom??

flink sql ddl????????????java.lang.IncompatibleClassChangeError: Implementing class

??flink1.10.1,pom??

Re: Flink SQL Row里嵌套Array该如何用DDL定义?

过已经有相关issue和讨论了[1] > > [1] https://issues.apache.org/jira/browse/FLINK-18202 > > zilong xiao 于2020年11月24日周二 下午4:46写道： > > > 这是从哪看出来的呢 求指点，另外如果想用DDL写的schema 应该怎么做呢？ > > > > Benchao Li 于2020年11月24日周二 下午4:33写道： > > > > > 看起来这个format是用的自动推导schema，而不是

Re: Flink SQL Row里嵌套Array该如何用DDL定义?

zilong xiao 于2020年11月24日周二 下午4:46写道： > 这是从哪看出来的呢 求指点，另外如果想用DDL写的schema 应该怎么做呢？ > > Benchao Li 于2020年11月24日周二 下午4:33写道： > > > 看起来这个format是用的自动推导schema，而不是用的DDL写的schema。 > > > > zilong xiao 于2020年11月24日周二 下午4:13写道： > > > > > 用的Flink1.11 不过是用的别人写的format，估计是

Re: Flink SQL Row里嵌套Array该如何用DDL定义?

这是从哪看出来的呢 求指点，另外如果想用DDL写的schema 应该怎么做呢？ Benchao Li 于2020年11月24日周二 下午4:33写道： > 看起来这个format是用的自动推导schema，而不是用的DDL写的schema。 > > zilong xiao 于2020年11月24日周二 下午4:13写道： > > > 用的Flink1.11 不过是用的别人写的format，估计是这里面有bug吧， > > https://github.com/yangyichao-mango/flink-protobuf >

Re: Flink SQL Row里嵌套Array该如何用DDL定义?

看起来这个format是用的自动推导schema，而不是用的DDL写的schema。 zilong xiao 于2020年11月24日周二 下午4:13写道： > 用的Flink1.11 不过是用的别人写的format，估计是这里面有bug吧， > https://github.com/yangyichao-mango/flink-protobuf > > Benchao Li 于2020年11月24日周二 下午3:43写道： > > > 看起来你的DDL写的没有什么问题。 > > > > 你用的

Re: Flink SQL Row里嵌套Array该如何用DDL定义?

用的Flink1.11 不过是用的别人写的format，估计是这里面有bug吧， https://github.com/yangyichao-mango/flink-protobuf Benchao Li 于2020年11月24日周二 下午3:43写道： > 看起来你的DDL写的没有什么问题。 > > 你用的是哪个Flink版本呢？ > 此外就是可以发下更完整的异常栈么？ > > zilong xiao 于2020年11月24日周二 下午2:54写道： > > > Hi Benchao，图片可以看https:/

Re: Flink SQL Row里嵌套Array该如何用DDL定义?

看起来你的DDL写的没有什么问题。 你用的是哪个Flink版本呢？ 此外就是可以发下更完整的异常栈么？ zilong xiao 于2020年11月24日周二 下午2:54写道： > Hi Benchao，图片可以看https://imgchr.com/i/DtoGge，期待您的解答~ > > Benchao Li 于2020年11月24日周二 下午2:49写道： > > > 你的图片挂了，可以将图片上传到第三方的图床再发出来；或者直接发送文本。 > > > > zilong xiao 于2020年11月24日

Re: Flink SQL Row里嵌套Array该如何用DDL定义?

Hi Benchao，图片可以看https://imgchr.com/i/DtoGge，期待您的解答~ Benchao Li 于2020年11月24日周二 下午2:49写道： > 你的图片挂了，可以将图片上传到第三方的图床再发出来；或者直接发送文本。 > > zilong xiao 于2020年11月24日周二 上午10:49写道： > > > [image: image.png] > > 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。 > > > > > -- > > Best, > Benchao Li >

Re: Flink SQL Row里嵌套Array该如何用DDL定义?

你的图片挂了，可以将图片上传到第三方的图床再发出来；或者直接发送文本。 zilong xiao 于2020年11月24日周二 上午10:49写道： > [image: image.png] > 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。 > -- Best, Benchao Li

Flink SQL Row里嵌套Array该如何用DDL定义?

[image: image.png] 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。

Re:Re: FlinkSQL 支持DDL时 补全字段并进行默认值设置吗?

是指在 Create Table 时候可以设置每一列的 default value，当这个列的值不存在时候，直接使用 default value 值？ 就像传统的 DB 一样。 Best， Hailong 在 2020-11-20 16:21:28，"Jark Wu" 写道： >你说的补全字段是指什么？有没有具体的例子？自动推导 schema 么？ > >Best, >Jark > >On Fri, 20 Nov 2020 at 17:09, 孟小鹏 wrote: > >> 目前遇到一个痛点 Flin

Re: FlinkSQL 支持DDL时 补全字段并进行默认值设置吗?

你说的补全字段是指什么？有没有具体的例子？自动推导 schema 么？ Best, Jark On Fri, 20 Nov 2020 at 17:09, 孟小鹏 wrote: > 目前遇到一个痛点 FlinkSQL可以在DDL时 补全字段并设置默认值吗?这样少了去处理ETL的步骤 > > 这快有考虑吗?

Re: pyflink利用sql ddl连接hbase-1.4.x出错Configuring the input format (null) failed: Cannot create connection to HBase

已经加入hbase路径 （:/opt/hbase/hbase-1.4.13/lib/*） > 2.程序ddl配置如下： > > source_ddl = """CREATE TABLE MySourceTable ( > hbase_rowkey_name varchar, cf1 ROW) WITH ( >'connector.type' = 'hbase', >'connector.version' = '1.4.3', >'connector.table-name

pyflink利用sql ddl连接hbase-1.4.x出错

*环境配置如下：* hbase-1.4.13 flink-1.11.1 python-3.6.1 pyflink-1.0 *已做配置如下：* 1.hadoop classpath下已经加入hbase路径 （:/opt/hbase/hbase-1.4.13/lib/*） 2.程序ddl配置如下： source_ddl = """CREATE TABLE MySourceTable ( hbase_rowkey_name varchar, cf1 ROW) WITH ( 'connector

pyflink利用sql ddl连接hbase-1.4.x出错Configuring the input format (null) failed: Cannot create connection to HBase

*环境配置如下：* hbase-1.4.13 flink-1.11.1 python-3.6.1 pyflink-1.0 *已做配置如下：* 1.hadoop classpath下已经加入hbase路径 （:/opt/hbase/hbase-1.4.13/lib/*） 2.程序ddl配置如下： source_ddl = """CREATE TABLE MySourceTable ( hbase_rowkey_name varchar, cf1 ROW) WITH ( 'connector

Re: flink1.11 sql ddl 连接kafka读取数据，使用事件时间窗口，无法触发，相同的sql使用系统时间触发没有问题

个问题 > flink1.11 sql ddl连接kafka,使用事件事件，无法触发窗口，使用process_time系统时间就可以正常触发 > create table kafka_table ( > `log_id` string, > event_date timestamp(3), > process_time as PROCTIME(), > ts as event_date, > watermark for ts as ts - interval '1' second > ) with ( > 'connector' = 'ka

Re: flink sql ddl连接kafka,flink sql使用事件时间无法正常触发时间窗口

如果要测试事件时间窗口，请保证以下几点，否则窗口不会触发： 1. 保证所有 partition 都有数据。 2. 且每个 partition 数据的 event time 都在前进 3. 且 event time 前进的距离要超过 window size + watermark offset， 即你的例子中的 10s+1s = 11s 以上如果不满足，则系统不会认为窗口结束，所以窗口就不会触发。 Best, Jark On Sat, 14 Nov 2020 at 15:11, 李世钰 wrote: > flink版本 flink1.11 > > > flink

flink1.11 sql ddl 连接kafka读取数据，使用事件时间窗口，无法触发，相同的sql使用系统时间触发没有问题

您好，请教您一个问题 flink1.11 sql ddl连接kafka,使用事件事件，无法触发窗口，使用process_time系统时间就可以正常触发 create table kafka_table ( `log_id` string, event_date timestamp(3), process_time as PROCTIME(), ts as event_date, watermark for ts as ts - interval '1' second ) with ( 'connector' = 'kafka', 'topic' = 'kafka_table

flink sql ddl连接kafka,flink sql使用事件时间无法正常触发时间窗口

flink版本 flink1.11 flink sql连接kafka create table kafka_table ( log_id string, event_time bigint, process_time as PROCTIME(), ts as TO_TIMESTAMP(FROM_UNIXTIME(event_time)), watermark for ts as ts - interval '1' second ) with ( 'connector' = 'kafka', 'topic' = 'kafka_table',

Re: Re: flink sql ddl 是否支持映射多层json

嗯，道理是一样的。ROW/MAP/ARRAY这些本来就是嵌套类型，嵌套深度没有限制 Roc Marshal 于2020年10月21日周三 下午2:38写道： > 如果是深度是三层以上也是类似的嵌套语法吗？或者说是其他的写法？ > > > 谢谢 > > Best Roc. > > > > > > 在 2020-09-24 20:53:12，"Benchao Li" 写道： > >这个情况现在是支持的，可以用类似于这种写法： > >```SQL > >CREATE TABLE MyTable ( > > a11 INT, > > a12 VARCHAR, > > a13 ROW

Re:Re: flink sql ddl 是否支持映射多层json

如果是深度是三层以上也是类似的嵌套语法吗？或者说是其他的写法？ 谢谢 Best Roc. 在 2020-09-24 20:53:12，"Benchao Li" 写道： >这个情况现在是支持的，可以用类似于这种写法： >```SQL >CREATE TABLE MyTable ( > a11 INT, > a12 VARCHAR, > a13 ROW >) WITH (...) >``` > >Roc Marshal 于2020年9月24日周四 下午7:54写道： > >> 请教个问题，flink sql

Re: flink在校验DDL属性是否合格时候代码在哪里？

HI > 在 2020年9月26日，13:26，kcz <573693...@qq.com> 写道： > > 自己写类似的，有太多的if 嵌套了，想学习下，模仿下。 DDL的属性是指WITH里面的属性吗？这个是各个connector校验的，具体的代码在可以先看下各个connector的实现，参考： DynamicTableSourceFactory DynamicTableSinkFactory 的实现类， 比如：JdbcDynamicTableFactory 祝好 Leonard

flink??????DDL????????????????????????????

??if ??

Re: flink sql ddl 是否支持映射多层json

这个情况现在是支持的，可以用类似于这种写法： ```SQL CREATE TABLE MyTable ( a11 INT, a12 VARCHAR, a13 ROW ) WITH (...) ``` Roc Marshal 于2020年9月24日周四 下午7:54写道： > 请教个问题，flink sql 流模式链接kafka的时候，message格式是多层的json，怎么对某个深度大于1的字段进行映射呢？ > { > "a11":1, > "a12":"1", > "a13":{ > "a21":1, >

flink sql ddl 是否支持映射多层json

请教个问题，flink sql 流模式链接kafka的时候，message格式是多层的json，怎么对某个深度大于1的字段进行映射呢？ { "a11":1, "a12":"1", "a13":{ "a21":1, "a22":1, "a23":"1"} } 比如像这样的格式，怎么将a2开头的字段进行映射呢？如果现有版本不支持这个特性的话，是否可以考虑对此功能进行支持？ 谢谢

Re: flink json ddl解析

; > > 问题大概懂了，坐等Flink大佬回复 > > > > Dream-底限 于2020年9月1日周二 下午4:43写道： > > > > > hi > > > 就是json数组如果是这种：[1,2,3]，我可以直接array解析 > > > > > > > > > 如果json数组是这种：[1,"test",true]，如果我用array>程序是没办法运行的，如果我用array > > int,b string,c bool

Re: flink json ddl解析

t; > > 如果json数组是这种：[1,"test",true]，如果我用array>程序是没办法运行的，如果我用array > int,b string,c boolean>>,flink做ddl翻译解析json的时候会把row > boolean>这一部分映射为解析jsonobject，但是array元素不是jsonobject会导致取不到数据 > > > > zilong xiao 于2020年9月1日周二 下午4:04写道： > > > > > 基

Re: flink-sql-gateway hive ddl 语句parse报错 godfrey he 能帮忙看下吗？

TABLE_SQL_DIALECT这个key在tableConfig里对应的就是table.sql-dialect ，设置hive dialect这个是没有问题的，需要在yml配置文件里加上configuration,我在tableenv里查看configuration的table.sql-dialect已经变成hive了，但是hive DDL语句仍然过不了sqlparse。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink-sql-gateway hive ddl 语句parse报错 godfrey he 能帮忙看下吗？

rser 的问题，是不是应该切到Flink Parser ？ > > 执行hive ddl sql校验过不去， > { > "statement": "CREATE TABLE hive_table ( user_id STRING, > order_amount > DOUBLE ) PARTITIONED BY (dt STRING, hr STRING) STORED AS parquet > TBLPROPERTIES ( 'partition.time-extracto

flink-sql-gateway hive ddl 语句parse报错 godfrey he 能帮忙看下吗？

使用flink-sql-gate-way 最新的master 版本，对应flink版本1.11.1 当使用 SET TABLE_SQL_DIALECT=hive 设置方言后 大概看了代码，感觉是SqlParser 的问题，是不是应该切到Flink Parser ？ 执行hive ddl sql校验过不去， { "statement": "CREATE TABLE hive_table ( user_id STRING, order_amount DOUBLE ) PARTITIONED BY (dt STRING, hr

Re: flink json ddl解析

问题大概懂了，坐等Flink大佬回复 Dream-底限 于2020年9月1日周二 下午4:43写道： > hi > 就是json数组如果是这种：[1,2,3]，我可以直接array解析 > > 如果json数组是这种：[1,"test",true]，如果我用array>程序是没办法运行的，如果我用array int,b string,c boolean>>,flink做ddl翻译解析json的时候会把row boolean>这一部分映射为解析jsonobject，但是array元素不是jsonobject会导致取不到

Re: flink json ddl解析

hi 就是json数组如果是这种：[1,2,3]，我可以直接array解析 如果json数组是这种：[1,"test",true]，如果我用array>程序是没办法运行的，如果我用array>,flink做ddl翻译解析json的时候会把row这一部分映射为解析jsonobject，但是array元素不是jsonobject会导致取不到数据 zilong xiao 于2020年9月1日周二 下午4:04写道： > 基本类型包装一层会导致解析不出来 这个没太明白，可以举个列子吗？ > > Dream-底限 于2020年

Re: flink json ddl解析

基本类型包装一层会导致解析不出来 这个没太明白，可以举个列子吗？ Dream-底限 于2020年9月1日周二 下午2:20写道： > hi、 > 我先前也想这样用，但后来发现ddl中的row对应json中的object，基本类型包装一层会导致解析不出来，感觉应该在ddl加一个类型映射一下这种情况 > > zilong xiao 于2020年9月1日周二 上午11:47写道： > > > like this: ARRAY String>>> > > > > Drea

Re: flink json ddl解析

hi、 我先前也想这样用，但后来发现ddl中的row对应json中的object，基本类型包装一层会导致解析不出来，感觉应该在ddl加一个类型映射一下这种情况 zilong xiao 于2020年9月1日周二 上午11:47写道： > like this: ARRAY>> > > Dream-底限 于2020年9月1日周二 上午11:40写道： > > > hi > > > > > 我正在解析json数组，在解析的时候遇到一个问题，当解析的json数组元素为同一类型的时候，我可以使用ddl的array

Re: flink json ddl解析

like this: ARRAY>> Dream-底限 于2020年9月1日周二 上午11:40写道： > hi > > 我正在解析json数组，在解析的时候遇到一个问题，当解析的json数组元素为同一类型的时候，我可以使用ddl的array进行存储，但是当json数组元素为不同类型的时候，我没办法做ddl映射，我查看JsonRowSchemaConverter解析json > array的时候，对于不同类型的数组元素解析后可以用row存储，但请问我在ddl时候要怎么做，因为在DDL用row表示数组会抛出异常 > > > pri

flink json ddl解析

hi 我正在解析json数组，在解析的时候遇到一个问题，当解析的json数组元素为同一类型的时候，我可以使用ddl的array进行存储，但是当json数组元素为不同类型的时候，我没办法做ddl映射，我查看JsonRowSchemaConverter解析json array的时候，对于不同类型的数组元素解析后可以用row存储，但请问我在ddl时候要怎么做，因为在DDL用row表示数组会抛出异常 private static TypeInformation convertArray(String location, JsonNode node, JsonNode root

Re: DDL中声明主键会报类型不匹配

Hi： > > flink版本1.11.0 connector为kafka > > DDL中声明某个字段为primary key时，会报类型不匹配，去掉primary key constraint就可以正常执行。 > > 把shop_id设置为 varchar not null也不行。 > > > > > > org.apache.flink.table.api.ValidationException: Type STRING NOT NULL of > table field 'shop_id' does not

Re: DDL中声明主键会报类型不匹配

是的 加了 primary key constraint 后会强制将类型转成 Not nullable，这个是 primary key 的特性导致的。 Best, Danny Chan 在 2020年8月20日 +0800 PM5:19，xiao cai ，写道： > Hi： > flink版本1.11.0 connector为kafka > DDL中声明某个字段为primary key时，会报类型不匹配，去掉primary key constraint就可以正常执行。 > 把shop_id设置为 varchar

DDL中声明主键会报类型不匹配

Hi： flink版本1.11.0 connector为kafka DDL中声明某个字段为primary key时，会报类型不匹配，去掉primary key constraint就可以正常执行。 把shop_id设置为 varchar not null也不行。 org.apache.flink.table.api.ValidationException: Type STRING NOT NULL of table field 'shop_id' does not match with the physical type STRING of the 'shop_id' field

回复：flink-1.10.1 想用 DDL 入 ES5.6

tks.收到 -- 原始邮件 -- 发件人: Yangze Guo https://github.com/apache/flink/pull/12184/files#diff-c71784e07a5a5c214a2f4f9843e6ef3fgt; 开始 比如你自己实现了Elasticsearch5DynamicSink

Re: flink-1.10.1 想用 DDL 入 ES5.6

- > 发件人: > "kcz" > > <573693...@qq.com; > 发送时间:2020年8月17日(星期一) 上午8:34 > 收件人:"user-zh" > 主题:回复：flink-1.10.1 想用 DDL 入 ES

??????flink-1.10.1 ???? DDL ?? ES5.6

ES5??sql??ES5 sinK??connect?? ---- ??: "kcz"

回复：flink-1.10.1 想用 DDL 入 ES5.6

谢谢大佬 我先研究研究 -- 原始邮件 -- 发件人: Leonard Xu https://github.com/apache/flink/pull/12184/files#diff-c71784e07a5a5c214a2f4f9843e6ef3f; 开始 比如你自己实现了Elasticsearch5DynamicSink

Re: flink-1.10.1 想用 DDL 入 ES5.6

Hi, 我贴的链接里有对应的PR[1], 你可以看看这个PR里的代码，代码入口可以从 Elasticsearch6DynamicSink.java 开始 比如你自己实现了Elasticsearch5DynamicSink

Re: flink-1.10.1 想用 DDL 入 ES5.6

查看您说的[1]的url之后，发现里面并没有跟 es sql jar有关的。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink-1.10.1 想用 DDL 入 ES5.6

Hi， ES5 没有SQL jar，所以不支持，可以参考[1] 支持ES6 的sql connector 的实现，这是在1.11里支持的。 Best Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-1 <https://issues.apache.org/jira/browse/FLINK-1>7027 > 在 2020年8月11日，11:18，kcz <573693...@qq.com> 写道： > > 查看了文档之后，DDL只支持ES6以上，如果我想ES5也用

Re: 回复：flink1.11 DDL定义kafka source报错

你好： 你使用的是Flink 1.11版本，但是你的建表语句还是用的老版本，建议更换新版本的建表语句后再试一下 参考如下： https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html chengyanan1...@foxmail.com 发件人： 阿华田 发送时间： 2020-08-07 14:03 收件人： user-zh@flink.apache.org 主题： 回复：flink1.11 DDL定义kafka

Re: flink1.11 DDL定义kafka source报错

你好 ： 图片是看不到的，建议直接粘贴文本再发送一次 chengyanan1...@foxmail.com 发件人： 阿华田 发送时间： 2020-08-07 13:49 收件人： user-zh 主题： flink1.11 DDL定义kafka source报错 代码如下 阿华田 a15733178...@163.com 签名由 网易邮箱大师 定制

回复：flink1.11 DDL定义kafka source报错

错误信息： Exception in thread "main" java.lang.IllegalStateException: No operators defined in streaming topology. Cannot generate StreamGraph. at org.apache.flink.table.planner.utils.ExecutorUtils.generateStreamGraph(ExecutorUtils.java:47) at

flink1.11 DDL定义kafka source报错

代码如下 | | 阿华田 | | a15733178...@163.com | 签名由网易邮箱大师定制

Re: Flink DDL 写 Hive parquet 是否支持 snappy压缩

parquet.compression=SNAPPY，更多信息可参考[1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/formats/parquet.html#format-options lydata 于2020年8月4日周二 上午11:39写道： > Flink DDL的方式 写 Hive parquet 格式 ，是否支持 snappy压缩，如果支持 请问下参数是什么？

Flink DDL 写 Hive parquet 是否支持 snappy压缩

Flink DDL的方式 写 Hive parquet 格式 ，是否支持 snappy压缩，如果支持 请问下参数是什么？

?????? flink-1.11 hive-1.2.1 ddl ????????????

sorry,idea??log4j??process-time ?? process time??log?? ---- ??:

Re: flink-1.11 hive-1.2.1 ddl 无法写入数据

Hi, kcz 看connector的properties还是1.10的格式，你换成1.11试试[1]. > 在 2020年7月29日，15:07，kcz <573693...@qq.com> 写道： > > tableEnv.executeSql("CREATE TABLE situation.source_table (\n" + >"\thost STRING,\n" + >"\turl STRING,\n" + >"\tpublic_date STRING\n" + >

Re:flink-1.11 hive-1.2.1 ddl 无法写入数据

有什么异常信息吗 在 2020-07-29 14:07:26，"kcz" <573693...@qq.com> 写道： >确认数据源有数据，全部代码如下，但是hive就是没有数据 > >package com.hive; > >import org.apache.flink.runtime.state.filesystem.FsStateBackend; >import org.apache.flink.streaming.api.CheckpointingMode; >import

flink-1.11 hive-1.2.1 ddl ????????????

hive package com.hive; import org.apache.flink.runtime.state.filesystem.FsStateBackend; import org.apache.flink.streaming.api.CheckpointingMode; import org.apache.flink.streaming.api.TimeCharacteristic; import

Re: flink 1.11 ddl 写mysql的问题

2.20.206:9092 > ', > > " > > + > > "'scan.startup.mode' = > > 'group-offsets','properties.group.id'='test'," + > > "'format' = 'debezium-json'," + > > "'debezium-json.schema-includ

Re: flink 1.11 ddl sql 添加PROCTIME()列，读取csv错误

"user-zh" > < > xbjt...@gmail.com <mailto:xbjt...@gmail.com>; > > 发送时间:2020年7月23日(星期四) 上午9:55 > > 收件人:"user-zh" user-zh@flink.apache.org>; > > &g

Re: flink 1.11 ddl sql 添加PROCTIME()列，读取csv错误

---原始邮件-- > 发件人: > "user-zh" > > mailto:xbjt...@gmail.com>; > 发送时间:2020年7月23日(星期四) 上午9:55 > 收件人:"user-zh" <ma

?????? flink 1.11 ddl sql ????PROCTIME()????????csv????

filesystemcsv?? filesystem ---- ??:

Re: flink 1.11 ddl 写mysql的问题

t; + > "'debezium-json.schema-include'='false'," + > "'debezium-json.ignore-parse-errors'='true')"; > tEnv.executeSql(sourceDdl); > System.out.println("init source ddl successful ==>" + so

flink 1.11 ddl 写mysql的问题

-offsets','properties.group.id'='test'," + "'format' = 'debezium-json'," + "'debezium-json.schema-include'='false'," + "'debezium-json.ignore-parse-errors'='true')"; tEnv.executeSql(sourceDdl)

Re: flink 1.11 ddl sql 添加PROCTIME()列，读取csv错误

Hi, Asahi 这是一个已知bug[1]，filesystem connector上处理计算列有点问题，已经有PR了，会在1.11.2和1.12版本上修复 Best Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-18665 > 在 2020年7月23日，00:07，Asahi Lee <978466...@qq.com> 写道： > > 1. 程序 >

flink 1.11 ddl sql ????PROCTIME()????????csv????

1. StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); StreamTableEnvironment bsTableEnv = StreamTableEnvironment.create(bsEnv,

  1   2   3   >