[DISCUSS] What parts of Flink SQL should we improve for usability?

is still lacked according to your development experiences ? 4. Which aspects of Flink SQL's Usability do you think are not good enough ? 5. Any other suggestions or complaints to Flink SQL ? Any feedback is welcome. Best, Leonard Xu

Re: 取消关注

Hi, Sun 是指取消订阅邮件吗？ 可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自 user-zh@flink.apache.org 邮件组的邮件 邮件组的订阅管理，可以参考[1] https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations! Dian Fu Best, Leonard > 在 2020年1月16日，18:00，Jeff Zhang 写道： > > Congrats Dian Fu ！ > > jincheng sun mailto:sunjincheng...@gmail.com>> > 于2020年1月16日周四 下午5:58写道： > Hi everyone, > > I'm very happy to announce that Dian accepted the offer of the Flink PMC to > become a

Re: 关于flink集群中调用dubbo服务的咨询

Hi, 依辰 对dubbo不太熟，你邮件里的图片挂了，可以通过图床工具发送下图片链接。 Best, Leonard > 在 2020年1月10日，11:12，依辰 <431737...@qq.com> 写道： > > Hi All, > 目前我这里有个需求是想通过flink集群，消费mq消息，然后调用发送push的dubbo服务，实现push分发的功能。 > 网上关于flink接入spring框架的资料没有找到太多，更别提dubbo服务调用相关的了(也可能是我查询资料的方式有限)。 > >

Re: 使用Flink SQL时，碰到的 【Window can only be defined over a time attribute column】

Hi，amenhub 这个提示是ts字段缺少了时间属性(time attribute)，window中的ts字段需要定义为时间属性，目前Flink支持处理时间（processing time） 和 事件时间（event time），时间属性的定义方式可以参考[1] [1]https://ci.apache.org/projects/flink/flink-docs-master/dev/table/streaming/time_attributes.html

Re: 如何看到他人问题

Hi, 订阅user-zh邮件邮件组即可收到该邮件组里的所有邮件， 可以发送任意内容的邮件到 user-zh-subscr...@flink.apache.org 订阅来自 user-zh@flink.apache.org 邮件组的邮件 邮件组的订阅管理，可以参考[1] 祝好， Leonard Xu https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list > 在 2020年4月21日，16:55，一袭月色 <1906286...@qq.com> 写道： > > 如何看到他人问题

Re: 关于StreamingFileSink

Hello，图挂了，可以搞个图床了挂链接到邮件列表。。。 另外问下为什么不从最新的cp开始恢复作业呢？这样我理解会有脏数据吧。 > 在 2020年4月19日，23:23，Yun Gao 写道： > > Hello~ 想再确认一下预期的行为：现在是希望后面重新写之后，用新写过的part-xx来覆盖之前生成的文件么~？ > > > -- > From:酷酷的浑蛋 > Send Time:2020 Apr. 18 (Sat.) 20:32 >

Re: flink sql string char 不兼容？

t; > 王双利 > > 发件人： Leonard Xu > 发送时间： 2020-04-21 18:29 > 收件人： user-zh > 主题： Re: flink sql string char 不兼容？ > Hi > Sink 对应的字段(taskid\hit)需要声明成varchar, 现在不支持varchar类型写入char(n) > > 祝好， > Leonard Xu > >> 在 2020年4月21日，18:20，王双利 写道： >> >> 下面的sql

Re: flink sql string char 不兼容？

Hi Sink 对应的字段(taskid\hit)需要声明成varchar, 现在不支持varchar类型写入char(n) 祝好， Leonard Xu > 在 2020年4月21日，18:20，王双利 写道： > > 下面的sql 执行的时候报 下面的错误CREATE TABLE target ( >jnlno VARCHAR, > -- taskid char(9), > -- hit char(4) > taskid VARCHAR, >hit VARCHAR > ) &

Re: Flink实时写入hive异常

看起来stream -> (Flink SQL) -> hive 这个场景大家都很关注，预计FLIP115完成后能解这个场景。 Best, Leonard > 在 2020年4月2日，17:10，sunfulin 写道： > > > > > Hi， > 这里就涉及到一个话题，应该怎么去实践实时和离线数仓的数据融合。我能理解这个技术上的不合理，但是通过Flink实现数仓ETL的功能，我相信很多使用Flink的会将之作为一个重要场景。 > > > > > > > > > > > > > > > 在 2020-04-01 16:05:54，"111"

Re: ddl es 报错

t; 2020年3月25日 下午1:40，zhisheng 写道： >> >> hi，Leonar Xu >> >> 官方 ES DDL 现在不支持填写 ES 集群的用户名和密码，我现在在公司已经做了扩展，加了这个功能，请问社区是否需要这个功能？我该怎么贡献呢？ >> >> 效果如图：http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-03-25-053948.png >> >> Best Wishes！ >> >> z

Re: [基础定义] 有状态计算 & 无状态计算

Hi, 状态计算，简单地理解一次计算依赖上一次的计算结果，状态理解为算子的中间结果， 比如benchao举例的window或者聚合算子就是有状态的，filter 这种算子就是无状态的。 1.10的中文文档还是非常详细的，可以参考CountWindowAverage这个例子[1] 祝好， Leonard Xu [1]https://ci.apache.org/projects/flink/flink-docs-stable/zh/dev/stream/state/state.html <https://ci.apache.org/projects/flink/flink-d

Re: [ANNOUNCE] Apache Flink 1.9.3 released

Thanks Dian for the release and being the release manager ! Best， Leonard Xu > 在 2020年4月26日，17:58，Benchao Li 写道： > > Thanks Dian for the effort, and all who make this release possible. Great > work! > > Konstantin Knauf mailto:konstan...@ververica.com>> > 于2020

Re: 关于RetractStream流写mysql出现java.sql.SQLException: No value specified for parameter 1问题

， Leonard Xu > 在 2020年4月22日，21:58，1101300123 写道： > > > > 我在SQL关联后把结果写入mysql出现 No value specified for parameter 1错误？ > 我的版本是1.10.0，代码如下 > JDBCUpsertTableSink build = JDBCUpsertTableSink.builder() > .setTableSchema(results.getSchema()) >.set

Re: json中date类型解析失败

es.apache.org/jira/browse/FLINK-16725> Best, Leonard Xu > 在 2020年4月22日，12:05，王双利 写道： > > 使用 flink-json -1.10.0 解析json数据报下面的错误 > > Caused by: java.time.format.DateTimeParseException: Text '1587527019680' > could not be parsed at index 0 > > 经检查 是 以下字段导致的 > {"j

Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

Hi, 提前创建的索引的shard配置是怎么样的？集群的reallocation、relocation配置怎样的？ 可以从这方面找思路排查下看看 祝好， Leonard Xu > 在 2020年4月22日，16:10，Oliver 写道： > > hi， > > > 我有一个任务是使用flink将kafka数据写入ES，纯ETL过程， > 现在遇到的问题是：每天0点之后数据写入ES异常,同时监控发现kafka消息开始堆积，重启任务后，kafka消息堆积现象逐渐恢复，如果不重启则堆积问题一直存在。 >

Re: json中date类型解析失败

Hi 报错是因为'format.ignore-parse-errors' 参数是在社区最新的版本才支持的，FLINK-16725在1.11应该也会修复，如果需要使用的话可以等1.11发布后使用或者自己编译master分支， 即使有了这个参数你的问题也无法解决，对你的case每行记录都会解析错误所以会过滤掉所有数据。 建议你可以在数据源就转为标准的json格式或者写个udf将long转为timestamp后使用。 祝好， Leonard Xu > 在 2020年4月22日，12:33，王双利 写道： > > 要不你们再做一个fastjson版本的？ >

Re: flink sql string char 不兼容？

Hi, 王双利 我试了下1.10.0的版本，没能复现你的异常， 如Jingsong Lees所说的char(n)到varchar已经支持了， 你能完整的贴下loginevent 的 sql吗？我再看看 祝好 Leonard Xu > 在 2020年4月21日，22:22，Jingsong Li 写道： > > Hi, > > - 首先1.10中把char Insert到varchar中是支持的，可以再check下哪里有没有问题吗？ > - 'false'应该是char(5)而不是char(4) > > Best, &g

Re: 关于RetractStream流写mysql出现java.sql.SQLException: No value specified for parameter 1问题

Hi, 我本地复现了下，用1.10.0发现的你的sql是ok的，结果也符合预期☺️，如下[1]： 看到你建了JIRA，我们在issue里继续跟进吧 祝好， Leonard Xu [1] mysql> select * from order_state_cnt; ++--+--+ | order_date | product_code | cnt | ++--+--+ | 2020-04-01 | product1 |3 | | 2020-04

Re: retract的问题

def producesRetractions: Boolean = false 祝好， Leonard Xu

Re: 关于RetractStream流写mysql出现java.sql.SQLException: No value specified for parameter 1问题

Hi， 看起来应该是你之前改代码时引入的小bug，因为从代码路径和测试来看都不能复现这个问题。 另外，如果修改了源代码记得邮件里说明下，不然好南 祝好， Leonard Xu > 在 2020年4月23日，16:26，1101300123 写道： > > 我重新在源码里打了一些日志编译后，之前的问题不见了，试了好多次没有复现了，之前因为集成clickhouse > 改过源码的delete代码，不知道是不是这个引起的 > 在2020年4月23日 16:23，Leonard Xu 写道： > Hi, > 我本地复现了下，用1.10.

Re: sql 行转列

Hi, FILTER是SQL标准里的语法，可以参考[1] FLINK SQL是支持该语法的，类似的例子官网文档可以参考 [2]中最后的例子 Best, Leonard Xu [1] https://modern-sql.com/feature/filter <https://modern-sql.com/feature/filter> [2]https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/table/tuning/streaming_aggregation_optimizatio

Re: FlinkSQL Upsert/Retraction 写入 MySQL 的问题

ql表，对应的jdbc sink 是JDBCUpsertTableSink，所以会按照Upsert的逻辑处理, 也不支持retract。 > 如若不带 group by 直接： > INSERT INTO mysql_sink SELECT f1, f2 FROM kafka_src > 主键冲突写入 mysql 是会出错的，怎么可以用 Upsert 的方式直接覆盖呢？ 不带 group by时无法推导出query的 unique key，没法做按照unique key的更新， 只需要将 query的 key （你这里是group by 后的字段）和db中主键保持一致即可 Best, Leonard Xu

Re: FlinkSQL Upsert/Retraction 写入 MySQL 的问题

Hi, wanglei PLEASE use English when send mails to user(u...@flink.apache.org) mail list. You should send to to user-zh(user-zh@flink.apache.org) mail list, and I’m pleasure to answer the question here. Best, Leonard Xu > 在 2020年4月27日，12:14，wangl...@geekplus.com.cn 写道： > > &g

Re: flink lookup join 关联出多条记录的语义问题

Hi, binlog中相同的note_id要取最新的note_id来和维表join吗？如果是可以用duplication 写法[1] Best, Leonard Xu [1]https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/queries.html#deduplication <https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/queries.html#deduplication> > 在

Re: [ANNOUNCE] Apache Flink 1.10.1 released

Thanks Yu for being the release manager, and everyone else who made this possible. Best, Leonard Xu > 在 2020年5月18日，10:43，Zhu Zhu 写道： > > Thanks Yu for being the release manager. Thanks everyone who made this > release possible! > > Thanks, > Zhu Zhu > &g

Re: MySQL写入并行度参数设置问题

Hi, 目前应该是没有的，SQL还不支持对单独的operator设置并行度, 只能针对作业设置。 Best, Leonard Xu > 在 2020年5月11日，14:36，Senior.Hu <463302...@qq.com> 写道： > > Hi All， 在使用Flink1.10 SQL写MySQL数据源时，经常出现deadlock问题。 > 目前想通过在CREATE TABLE定义DDL时，限制写入时并行度解决此问题，但是在官网上JDBC > Connector没找到对应可设置参数，想问下目前有没有支持此参数设置？

Re: SQL DDL怎样使用Long类型的时间戳作为事件时间

Hi 目前还不支持，需要自己写个简单的udf转换下， 社区有个issue[1]在跟这个问题了 Best, Leonard Xu [1]https://issues.apache.org/jira/browse/FLINK-16889 <https://issues.apache.org/jira/browse/FLINK-16889> > 在 2020年5月14日，10:01，zzh...@foxmail.com 写道： > > Hi，all > kafka消息中存在消息的时间是Long类型，既有也有秒值，毫秒值， > 我的问

Re: 数组越界

Hi, allanqinjy 运行时抛ArrayIndexOutOfBoundsException 是不符合预期的，感觉是个bug。 可以复现的haul，方便提供下复现的sql和数据吗？ Best, Leonard Xu > 在 2020年5月18日，17:37，Benchao Li 写道： > > 数组长度是运行时的问题，编译期并不知道数组的长度。而且现在好像也没有检查下标是不是合法（比如必须大于0）。我们以前也经常遇到这种问题。 > > allanqinjy 于2020年5月18日周一 下午5:15写道： > >> 我觉

Re: Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效

Hi, shangwen 这应该是AppendOnlyWriter的一个bug[1]， 在1.10.1/1.11-SNAPSHOT(master)中已经修复. 用1.10.1或master分支就好了，目前1.10.1还未发布，我了解到的1.10.1社区正在准备发布中。 如果急需修复，你可以参考1.10.1分支的代码。 Best, Leonard [1]https://issues.apache.org/jira/browse/FLINK-16281

Re: FLINK SQL中时间戳怎么处理处理

Hi，吴志勇 你的SQL表定义应该没问题，出问题的地方 现在flink的 json format 遵循 RFC3399标准[1]，其识别的timestamp的格式是:'-MM-dd'T'HH:mm:ss.SSS’Z', 暂不支持long解析为 timestamp，你可以在输出到kafka时将timestamp转换成该格式： DateFormat dateFormat = new SimpleDateFormat("-MM-dd'T'HH:mm:ss.SSS'Z'"); Date date = new Date(System.currentTimeMillis());

Re: ddl es 报错

Hi, 出发 看起来是你缺少了依赖es connector的依赖[1]，所以只能找到内置的filesystem connector，目前内置的filesystem connector只支持csv format，所以会有这个错误。 在项目中加上缺失的依赖即可，如果使用SQL CLI，也需要将依赖的jar包放到 flink的lib目录下。 org.apache.flink flink-sql-connector-elasticsearch6_2.11 ${flink.version} org.apache.flink flink-json

Re: JDBC Sink参数connector.write.max-retries 在Oracle中的bug

Hi, xinghalo 这是jdbc sink 的AppenOnlyWriter的一个已知bug，在1.10.1里已经修复[1]，社区近期在准备1.10.1的发布， 建议等1.10.1发布后升级即可。 Best, Leonard [1]https://issues.apache.org/jira/browse/FLINK-16281 > 在 2020年3月24日，18:32，111 写道： > > Hi, > 在使用jdbc

Re: Flink-1.10-SQL TopN语法问题

Hi 图挂了，可以用图床工具链接出来，或者可以把query贴出来看看嘛？ Best, Leonard Xu > 在 2020年5月9日，13:51，guaishushu1...@163.com 写道： > > hi 大家，我在使用TopN语法，往mysql写数据时，发现必须将rownum设置为数据库的主键，要不然会报错，有人遇到吗 > > guaishushu1...@163.com <mailto:guaishushu1...@163.com>

Re: 这种复杂数据直接解析成null了

p.id' = 'test-jdbc', 'connector.startup-mode' = 'earliest-offset', 'format.type' = 'json', 'format.derive-schema' = 'true' ) Best, Leonard Xu > 在 2020年5月20日，18:06，guaishushu1...@163.com 写道： > > 语句： > CREATE TABLE A ( > w_data STRING, > w_table STRING, > w_ts TIMES

Re: 数组越界

Hi, allanqinjy 方便贴下查询的query吗？今天在排查另外一个问题时也遇到了这个问题，我建了issue来跟踪[1]，想看下是不是相同原因。 Best, Leonard [1] https://issues.apache.org/jira/browse/FLINK-17847 <https://issues.apache.org/jira/browse/FLINK-17847> > 在 2020年5月18日，19:52，Leonard Xu 写道： > > Hi, allan

Re: 这种复杂数据直接解析成null了

%E5%8C%96%E7%9A%84%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B> [2] https://issues.apache.org/jira/browse/FLINK-17847 <https://issues.apache.org/jira/browse/FLINK-17847> > 在 2020年5月21日，00:01，Leonard Xu 写道： > > Hi, >> 语句： >> CREATE TABLE A ( >> w_data STRING, >>

Re: flink sql使用维表关联时报Temporal table join currently only supports 'FOR SYSTEM_TIME AS OF' left table's proctime field, doesn't support 'PROCTIME()'

Hi, 1.10（1.10.1）版本都是支持建表时用计算列声明proctime列的，temporal table也是支持join 和 left join的，我这边之前1.10 release时验证过[1]，可以参考 方便把你们完整的sql 贴出来吗？ Best, Leonard Xu [1] https://github.com/leonardBang/flink-sql-etl/blob/master/etl-job/src/main/resources/job-sql-1.10/kafka2hbase/KafkaJoinHbaseJoinMysql2Hbase.sql

Re: flink sql使用维表关联时报Temporal table join currently only supports 'FOR SYSTEM_TIME AS OF' left table's proctime field, doesn't support 'PROCTIME()'

strap.servers' = '*:9092', >'connector.properties.zookeeper.connect' = '*:2181', >'connector.startup-mode' = 'latest-offset', >'update-mode' = 'append', >'format.type' = 'json', >'format.fail-on-missing-field' = 'true' > ); > > join sql 可以查看历史记录里面有。 &g

Re: 本地测试 flink 1.10 hbase sql create table 在反序列化byte之后得到的对象conf配置为null，导致无法连接hbase集群

question, could you post your SQL or program that can reproduce the null issue rather than only a debug information? And we can keep communication in user-zh@flink.apache.org <mailto:user-zh@flink.apache.org> if you prefer Chinese. Best, Leonard Xu [1] https://flink.apache.org/

Re: sinktable更新部分字段问题

Hi，naturalfree Flink SQL 里es sink 是支持Append mode和upsert mode的[1]，upsert mode下支持按主键更新的，你可以看看。 Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/table/connect.html#elasticsearch-connector <https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/ta

Re: flink sql多层view嵌套，字段not found

Hi, linhou 使用方式没问题，这个看起来像是个bug， 你可以去社区[1]建一个issue， issue上贴个可以复现这个问题的demo Best Leonard [1] https://issues.apache.org/jira/projects/FLINK/summary > 在 2020年9月3日，18:40，Lin Hou 写道： > > activity_property

Re: flink1.11连接mysql问题

> 在 2020年8月28日，15:02，酷酷的浑蛋 写道： > > com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet > successfully received from the server was 52,445,041 milliseconds ago. The > last packet sent successfully to the server was 52,445,045 milliseconds ago. > is longer than the server

Re: 来自李国鹏的邮件

> 在 2020年8月31日，15:55，李国鹏 写道： > > 退订 Hi 是指取消订阅邮件吗？ 可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org取消订阅来自 user-zh@flink.apache.org 邮件列表的邮件 邮件列表的订阅管理，可以参考[1] 祝好， Leonard Xu [1] https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list <https://flin

Re: flink-sql消费基于on kafka的flink table，每次select这个flink table相当于是不同group id了吗？

Hi 可以看下贴下你Kafka table的option 和 作业的 checkpoint配置吗？ 可以确定的是，用的都是同一个group id,。 如果你没有配置 checkpoint, Flink Kafka consumer 的 enable.auto.commit 默认设置为 false，就不会提交对应group 的offset， 此时你两个作业只是用 group id 确定一个起始消费offset，得到的数据就是一致的。 你可以看看[1][2]里面对这个机制的解释。 Best Leonard [1]

Re: localtimestamp和current_timestamp插入mysql时区错乱

Hi, > 这样插入mysql 后dtm时区是乱的， 应该插入的是当前时间减8个小时的，变成了当前时间减21小时 变成当前时间减21小时这个感觉好奇怪，方便贴下完整的代码和数据吗？ Best Leonard

Re: flink-cdc sink mysql 问题

Hi 这个错误是jar包没有正确地加载，看代码应该没啥问题，添加jar包后需要重启下集群，你测试的时候重启了吗？ 祝好 Leonard > 在 2020年9月9日，16:48，杨帅统 写道： > > 公司希望将MySQLA库的数据实时同步到B库中，我想通过fink1.11的CDC功能不知道是否可行。 > 在做测试的时候定义一张cdc源表和一张sink表 > CREATE TABLE pvuv_test ( > id INT, > dt STRING, > pv STRING, > uv STRING , > proc_time AS PROCTIME()

Re: sql-client提交报错UpsertStreamTableSink requires that Table has a full primary keys if it is updated

Hi 这个错误一般是你的query 是upsert的query，没能推断出PK，所以报错了 。 如果是自定义的connector， 应该实现 DynamicTableSink 接口而不是 老的 UpsertStreamTableSink接口， 实现DynamicTableSink接口可以支持在表上定义PK，不用推导。 看这个报错，kudu的connector实现的是 老的UpsertStreamTableSink， 绕过的办法是改写下你的query，让query可以推导出pk。 祝好 Leonard > 在 2020年9月9日，20:27，kandy.wang 写道： >

Re: flink-sql1.11写入mysql重复问题

Hi 这个原因在于flink 和 mysql主键是不一致导致的重复数据，你可以把当前mysql表中设置成flink主键的字段添加个unique key 约束，这样和pk也是等价的。 Best Leonard > 在 2020年9月6日，21:21，凌天荣 <466792...@qq.com> 写道： > > 使用flink-sql1.11时，insert进connect为mysql的flink > table时，由于mysql里面的id是主键自增的，1.11版本upsert模式设置主键在插入的时候又不能指定为mysql的主键id，只能设置别的字段为flink >

Re: 1.11版本，创建视图后，根据表名称获取视图表对象，表名为临时名称的问题

m datagen），本身是没有表名的。createTemporaryView("table1", table); 只是 将 table所对应 queryOperation 对应到了 表名的path（table1）下, 所以 table1 对象拿到的还是同一个query operation。 如果想看创建的临时表，可以用bsTableEnv.listTables()查看。 祝好 Leonard Xu

Re: 请教一下Flink和主流数据湖集成的情况

Hello Flink 集成iceberg, iceberg 社区应该有 jingsong 和 openin <mailto:open...@gmail.com>x 在做，可以直接问下他们。 祝好 Leonard Xu > 在 2020年9月14日，16:52，dixingxing85 写道： > > 谢谢，是的是有iceberg的sink。我看之信在做flink读取iceberg这块的工作，主要想知道下进展和社区未来会重点支持哪个数据湖框架 > > Sent from my iPhone > >> On Se

Re: Flink sql权限

Hi， 据我所知，目前是不支持的，社区没找到对应的issue, 这块短期内应该没计划整，CC了熟悉这块的小伙伴。 祝好 Leonard Xu > 在 2020年9月11日，14:33，163 写道： > > > 请问，flink sql支持元数据的权限校验吗？例如使用hive catalog时，支持hive的权限检查？如果目前不支持，未来是否会考虑？ >

Re: flink table Kafka 重新连接的问题

HI > 在 2020年9月9日，16:37，marble.zh...@coinflex.com.invalid > 写道： > > 如果某个message出现exception时 table的connector, 你用的format是什么？一般这种某条message解析异常引起的失败都是可以跳过，比如配置下json.ignore-parse-errors(json) 或 csv.ignore-parse-errors（csv）。 [1]

Re: flink-cdc sink mysql 问题

陈韬说的是对的，cdc connector只有source的， 你写入的是mysql表，需要加下jdbc connector 的依赖 祝好 Leonard > >> 2020年9月10日 下午3:54，杨帅统 写道： >> >> pvuv_test_back >

Re: localtimestamp和current_timestamp插入mysql时区错乱

Hi > insert into sk > values(localtimestamp,current_timestamp,localtimestamp,current_timestamp); 1. 你flink里声明的字段类型和数据库的类型不匹配，需要保持一致，数据库里是varchar，flink是timestamp，完整类型映射可以参考[1] 2. 你插入的两个字段（ocaltimestamp,current_timestamp）的值可以贴出来看看？ Best Leonard

Re: flink sql添加 null值 字段

Hi 你需要指定下数据类型，可以用： cast(null as varchar) as person_uuid Best Leonard > 在 2020年10月15日，12:18，Dream-底限 写道： > > hi、 > 我现在使用flink sql完成如下sql语句，但是程序无法运行，请问这个功能要怎么实现： > select null as person_uuid from tablename > 抛出异常： > org.apache.flink.client.program.ProgramInvocationException: The main method >

Re: flink点查时态表支持子查询

Hi, 我理解网络开销更多来自于当前的lookup实现每次都需要访问外部系统，如果能做一些cache机制，这样能省掉较多的开销。 你说的点查sql子表可以节省开销，不是很理解，是指同一个key关联多张维表，然后查询外部系统时一个key带出多个表的数据吗？这个应该和目前flink的实现机制不太一致。 > 在 2020年10月13日，10:03，Dream-底限 写道： > > hi、 >

Re: flink sink kafka过慢问题

Hi 看起来你经确定了是在写入kafka时过慢导致了高峰期sink反压， 生产环境上1万的tps不算高的，可以先确定下是否是kafka集群写入瓶颈问题，kafka 自带的 perf 脚本可以测试下6个分区的topic写入的能力，测试时数据大小和tpoic配置可以和生产一致，如果是kafka写入瓶颈问题，那就需要增加分区，对应修改flink作业的写入并发。 另外，如果开启exactly-once配置，写入速度会慢一些，没有特别的业务需求可以用at-least-once. 祝好 Leonard > 在 2020年10月13日，19:38，xyq 写道： > > kafka

Re: [ANNOUNCE] Apache Flink 1.10.2 released

Thanks ZhuZhu for being the release manager and everyone who contributed to this release. Best, Leonard

Re: Flink SQL Map类型字段大小写不敏感支持

Hi，zilong 之前我建了一个issue[1]支持大小写敏感, 有了个初步的PR，但是社区想做全套，字段名，表名，catalog名都统一解决，所以还没支持 祝好 Leonard [1] https://issues.apache.org/jira/browse/FLINK-16175?filter=12347488 > 在 2020年8月26日，20:47，zilong xiao 写道： > > 这个有相关的issue可以follow吗？

Re: flink1.11 mysql 分页查询

Hi 可以跟下这个issue[1], 在1.12会支持用于自定义query Best Leonard https://issues.apache.org/jira/browse/FLINK-17826 > 在 2020年8月18日，09:50，china_tao 写道： > > 那肯定不行啊，我mysql表里面内容很多。FlinkSQL有没有直接分页查询的方法么？望赐教。类似于spark > dataframe中的dbtable，万分感谢 > > > > -- >

Re: flink1.11 mysql 分页查询

Hi > 在 2020年8月17日，20:46，china_tao 写道： > > 您好，请教一个问题，flink sql 读取mysql如何分页查询。 > 在spark中，dataframe可以通过dbtable，传入分页查询的语句。 > val resultDF = session.read.format("jdbc") > .option("url",jdbcUrl) > .option("dbtable" , selectSql ) > .option("user",user) > .options(writeOpts) >

Re: flink-sql 1.11整合hbase的查询性能问题

Hi > 另外，HbaseTableSource 有没有计划什么时候支持 SupportsFilterPushDown. 我搜了下社区还没相关的issue，如果是强需求你可以去社区建个issue[1]，让社区支持下 第二个异常栈，如果确认”org.apache.hive:hive-hbase-handler:2.1.1” 已经加载，我感觉是个bug， cc Rui Li 确认下 祝好 Leonard [1] https://issues.apache.org/jira/projects/FLINK/summary

Re: flink-sql 1.11整合hbase的查询性能问题

Hi， 大罗 > 在 2020年8月28日，11:57，大罗 写道： > > > 你好，我想提两个问题，关于flink-sql整合hbase，问题列表如下： > 问题一：flink-sql通过hive catalog整合hbase后的查询执行计划，可否使用rowkey做精确filter而不是整表扫描。 > > 问题二：flink-sql > 查询hive的hbase外部表，是否没有通过HBaseStorageHandler正确解析INPUTFORMAT和OUTPUTFORMAT > 问题一： HbaseTableSource 目前没有支持

Re: tidb Binlog 整库同步到 hive

Hi > 多路输出是个动态的，因为是整库的binlog ，不确定库中是否有新增表，作业要触发hive里面去创建表的动作。hive catalog create > table 是否可以在运行中来调用吗？ > 程序启动之后生成的jobgraph运行中是不是不可以调整的？如果可以的话，是否有类似的案例可以参考。 用dataStream是会更灵活些，思路也差不多，在运行中可以调用的建表动作的，但是运行的拓扑是不可以动态调整的，不管DataStream 还是 SQL 的拓扑。 祝好 Leonard

Re: flink sql 计算列不支持comment

Hi, sllence 这是个bug, 看起来是支持计算列时漏掉了comment的解析，我开了个issue去修复[1]. 祝好 Leonard [1] https://issues.apache.org/jira/browse/FLINK-19092 > 在 2020年8月29日，13:37， > 写道： > > Flink版本：1.11.1 > > > > 官网文档中定义如下： > > : > > column_name AS

Re: flink1.11时间函数

补充下哈， 可能是function这个词翻译后理解问题，功能没有确定性/不确定性这一说法，那个文档里的function都应理解为函数，note里讲的是函数的返回值是确定性的还是不确定性。 祝好 Leonard > 在 2020年8月29日，18:22，Dream-底限 写道： > > 哦哦，好吧，我昨天用NOW的时候直接报错告诉我这是个bug，让我提交issue，我以为这种标示的都是函数功能有问题的 > > Benchao Li 于2020年8月28日周五 下午8:01写道： > >> 不确定的意思是，这个函数的返回值是动态的，每次调用返回可能不同。 >>

Re: Flink 维表延迟join

多谢 Jark 提议 Issue[1] 建好了, 大家可以在issue下讨论。 祝好 Leonard [1] https://issues.apache.org/jira/browse/FLINK-19063 <https://issues.apache.org/jira/browse/FLINK-19063> > 在 2020年8月27日，19:54，Jark Wu 写道： > > @Leonard 可以先建个 issue，收集下大家的需求，大家也可以在 issue 下讨论下解决思路。 > > On Thu, 27 Aug 2

Re: [ANNOUNCE] New PMC member: Dian Fu

Congrats, Dian! Well deserved. Best Leonard > 在 2020年8月27日，19:34，Kurt Young 写道： > > Congratulations Dian! > > Best, > Kurt > > > On Thu, Aug 27, 2020 at 7:28 PM Rui Li wrote: > >> Congratulations Dian! >> >> On Thu, Aug 27, 2020 at 5:39 PM Yuan Mei wrote: >> >>> Congrats! >>> >>> On

Re: Flink 维表延迟join

Hi, all 看起来维表延迟join是一个common case, 我在邮件列表里看到蛮多小伙伴反馈了， 感觉可以考虑支持下 维表 延迟 join，大家可以一起分享下主要的业务场景吗？ Best Leonard > 在 2020年8月27日，10:39，china_tao 写道： > > 一般来说，是先有维表数据，再有流数据。如果出现了你这样的情况，两个方式，一个使用left > join，使流表数据的维表信息为null，后期通过etl再补录；或者碰到异常，把消息打到另外一个kafka中，再进行异常处理或者补录处理，也可以理解为您说的那种5分钟，10分钟join一次。 >

Re: tidb Binlog 整库同步到 hive

Hi, qishang > 1. 好像 Flink SQL 里面只能一个数据源 kafka 到一张Hive表，一个Topic是否可以根据解析的表不同插入到不同的Hive表吗 ? > 我看了一些邮件好像说不可以的，在问一下。 在一个SQL作业中是不行的，因为SQL是强依赖Schema的，schema需要事先声明。 > 2. 或者有什么好的解决方式吗？因为数据量都不是很大，表比较多，每个表都要维护一个任务的话，代价比较大。 除了多个sql作业的方式，如果需要在一个SQL作业中可以试试在一个作业里把所有表的binlog 格式统一用一个字段(如string）

Re: flink1.11读取kafka问题

Hi 是不是下游(sink mysql)反压了导致上游不再消费了，可以通过看看webui的指标[1]确定下。 祝好 Leonard [1]https://ci.apache.org/projects/flink/flink-docs-master/zh/monitoring/back_pressure.html > 在 2020年8月28日，09:22，小学生 <201782...@qq.com>

Re: 请问一下，flink 1.11 的cdc历史数据问题

Hello > Flink1.11 的cdc是支持加载历史数据的，有两个问题想求证一下： > 1.底层是使用了debezium来加载历史数据的吗？ Flink支持两种CDC格式，debezium json和 canal json， debezium 和 canal都是CDC系统，简单说他们可以把数据库表的binlog以对应的json写入到消息队列如Kafka， 作为下游系统的Flink 支持去消费对应的cdc数据，两个CDC工作都支持加载历史数据的。 另外Jark 在Veverica 开源了一个Flink CDC connector

Re: Calcite在嵌套多层包含where条件的sql语句时优化器OOM

Hi >看debug日志99%是CalcMergeRule ， 我看blink用的是FlinkCalcMergeRule ， > 在matches方法里加了些对none-deterministic表达式的过滤,， > 于是我将CalcMergeRule替换成FlinkCalcMergeRule, 并在FlinkRuleSets里做了更新 ， > 重跑后debug日志是99%是更新过的FlinkCalcMergeRule 虽然debug日志看是CalcMergeRule一直在触发，但替换CalcMergeRule后也没有改变， 推测是其他rule引起的。 有特别的需要要使用old

Re: 查询hbase sink结果表，有时查到数据，有时查不到

Hi > 通过sql查hbase时，有时查到数据，有时候查不到数据。是不是group操作，会有下游算子 发送撤回消息，导致在delete > hbase的某条rowkey数据，导致客户端查不到数据？ > 我理解 hbase sink 应该是upsert数据吧。会不会先delete 再put 导致这样的现象 ？ 是的，group by 算子会像下游 hbase sink发retract消息，hbase sink处理retract消息的实现就是先delete再insert，所以去查hbase的时候就会碰到你说的有时查不到的情况。 祝好 Leonard

Re: sql-cli执行sql报错

Hi benchao的回复是的对的， 你用SQL client 时， 不需要datastream connector的jar包，直接用SQL connector 对应的jar包 flink-*sql*-connector-kafka***.jar就行了，把你添加的其他jar包都删掉。 > 相关lib包： > flink-connector-kafka_2.12-1.10.2.jar > kafka-clients-0.11.0.3.jar 祝好 Leonard

Re: Flink-1.11 Table API &符号 语法问题

Hi, 可以的，我看了下，你可以把你异常和可以复现的代码贴下吗？ 祝好, Leonard > 在 2020年9月22日，09:44，nashcen <2415370...@qq.com> 写道： > > 语法提示错误，就没有运行。在你们的IDEA里面，1.11 Table API 的& 写法，是否显示正常？ > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 查询hbase sink结果表，有时查到数据，有时查不到

会被框架推断后省略的，这是upsert sink里的一个小优化，但是upsert sink是能收到DELETE消息的，根据query的changlog推导，部分query会产生DELETE消息的，所以upsert sink会处理 INSERT，UPDATE_AFTER， DELETE三种消息，如果有DELETE消息就会出现查询时刚好被删除的情况。 祝好 Leonard Xu

Re: Flink-1.11 Table API &符号 语法问题

Hi > > 在Flink-1.11 中，关于Table API的 select、filter方法，官方推荐语法，用$符号替换原来的" > > > > 但是我在IDEA里，按照官方API的示例去写，$符号不生效，这是什么原因？ > >

Re: flink sql 更新mysql字段

Hi Insert 到指定字段是个通用的需求，社区已经有一个issue[1] 在跟踪了，你可以关注下 祝好 Leonard [1] https://issues.apache.org/jira/browse/FLINK-18726 > 在 2020年9月28日，17:46，lemon 写道： > > hi各位： > 请问一下，如果mysql表中有20个字段，现在有多个insert into的语句分别更新指定字段，即同一条记录可能有多个insert语句去分别更新不同字段 >

Re: flink在校验DDL属性是否合格时候代码在哪里？

HI > 在 2020年9月26日，13:26，kcz <573693...@qq.com> 写道： > > 自己写类似的，有太多的if 嵌套了，想学习下，模仿下。 DDL的属性是指WITH里面的属性吗？这个是各个connector校验的，具体的代码在可以先看下各个connector的实现，参考： DynamicTableSourceFactory DynamicTableSinkFactory 的实现类， 比如：JdbcDynamicTableFactory 祝好 Leonard

Re: Field types of query result and registered TableSink 'table' do not match.

Hi 报错信息是query的schema和sink table 的schema信息不匹配， > tumble_start(proctimeField, INTERVAL '10' SECOND) as tum 是保留时间属性的，对应的类型是TimeIndicatorTypeInfo， 如果要转到TIMSTAMP，你可以在输出前， cast下tum字段的类型到TIMESTAMP(3) 祝好 Leonard

Re: Flink 1.11.1 JDBC Sink 使用旧版配置 数据丢失

> 在 2020年9月15日，16:52，LittleFall <1578166...@qq.com> 写道： > > 谢谢，请问有相关的 issue 链接吗 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ To @LItteFall : 没有对应的issue，因为是在修复changlog issue[1]时在这个issue里一起修复的，代码可以看下TableBufferReducedStatementExecutor里reduceBuffer保证是对同key上得不同操作顺序执行的。

Re: flink sql 1.11.2 jdbc connector 按月分表读取

Hi > 是我这边建issue不？ > > 这里还发现一个问题 select count(*) from mysql_table 不能执行。 > 是的，用户都可以在JIRA[1]上建issue的。 不能执行是报错吗？可以把错误信息贴下吗？ 祝好 Leonard [1]https://issues.apache.org/jira/projects/FLINK/issues

Re: Flink sql 跨库

/table/types.html#interval-year-to-month> 祝好 Leonard Xu > > > > > > > > > > > > > > At 2020-05-27 19:09:43, "Zhou Zach" wrote: >> The program finished with the following exception: >> >> >> org.apache.flink.clie

Re: Table API 有 类似于 SQL API 的 TO_TIMESTAMP 函数吗

Hi， 我看了下Descriptor的代码，如果数据源是Kafka应该有地方绕，很绕, 你可以试下，建议使用DDL。 Best Leonard Xu [1] https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-kafka-base/src/main/java/org/apache/flink/table/descriptors/Kafka.java#L111 <https://github.com/apache/flink/blob/master/flink-connect

Re: flink 如何自定义connector

Hi， 可以参考现有的connector，如hbase，jdbc，结合[1]实现自定义connector。 祝好， Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sourceSinks.html <https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sourceSinks.html> > 在 2020年5月28日，09:16，Peihui He 写道： &

Re: Table API 有 类似于 SQL API 的 TO_TIMESTAMP 函数吗

> 我原以为 Table API 会比 SQL API 自由度大一些，毕竟可以代码层面定制 Table API 确实是要灵活些，只是最近两个版本中，SQL模块社区的主要精力在搞DDL，DDL可以降低用户门槛，提升易用性，Table API的迭代稍微慢了些， 我理解1.12中应该会完善Descriptor API，这也是比较重要的用户入口，目前建议优先使用DDL。 Best, Leonard Xu > 在 2020年5月28日，10:23，macia kk 写道： > > 好的，谢谢， > > 放弃治疗，我先尝试DDL，先把 job

Re: 向flink push代码

Hi, Yangze 贴了官方教程，也可以看下 Jark 的博客[1]，中文的看起来会快一些。 Best, Leonard Xu [1] https://wuchong.me/blog/2019/02/12/how-to-become-apache-committer/ <https://wuchong.me/blog/2019/02/12/how-to-become-apache-committer/> > 在 2020年5月28日，10:18，Yangze Guo 写道： > > 您好，社区的贡献代码教程[1]。 > > Tips:

Re: flink sql 写 hive分区表失败

Hi, >|select * from dwdCatalog.dwd.t1 where `p_year` = 2020 and `p_month` = > 5 应该是 select * 会把分区字段一起带出来吧，你字段就不匹配了，select里加上你需要的字段吧 祝好， Leonard Xu > 在 2020年5月28日，12:57，Zhou Zach 写道： > > org.apache.flink.client.program.ProgramInvocationException: The main method &g

Re: flink sql 写 hive分区表失败

.dwd.t1_copy select id,name,`p_year`,`p_month` from dwdCatalog.dwd.t1 where `p_year` = 2020 and `p_month` = 4 INSERT INTO dwdCatalog.dwd.t1_copy select * from dwdCatalog.dwd.t1 where `p_year` = 2020 and `p_month` = 4 Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-mast

Re: flink写入hbase 报错如下 还会导致反压 任务变慢

Hi > org.apache.hadoop.hbase.RegionTooBusyException 这异常信息看起来像hbase集群在大量写入时碰到了问题，不像是flink这边的问题，建议排查下hbase侧，应该有一些参数可以优化。 Best, Leonard Xu

Re: Flink SQL 新手问题，RowTime field should not be null, please convert it to a non-null long value

Hi, 这个报错信息应该挺明显了，eventTime是不能为null的，请检查下Kafka里的数据ts字段是不是有null值或者没有这个字段的情况，如果是可以用个简单udf处理下没有值时ts需要指定一个值。 祝好， Leonard Xu > 在 2020年5月25日，09:52，Enzo wang 写道： > > 请各位帮忙看一下是什么问题？ > > 数据流如下： > Apache -> Logstash -> Kafka -> Flink ->ES -> Kibana > > 日志到Kafk

Re: Could not find a suitable table factory for 'TableSourceFactory'

Hi, 确实，connector包太多，DataStream 和 Table 分两套的问题，format的包也需要用户导入问题，确实比较困扰用户。 社区也在讨论flink打包方案[1]来降低用户接入成本。 祝好， Leonard Xu [1]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-quot-fat-quot-and-quot-slim-quot-Flink-distributions-tc40237.html#none <http://apache-fl

Re: Flink SQL 新手问题，RowTime field should not be null, please convert it to a non-null long value

rse-errors' = 'true',-- optional: skip fields and rows with parse errors instead of failing; 这两个参数不能同时为true。 祝好， Leonard Xu > Cheers, > Enzo > > On Mon, 25 May 2020 at 10:01, Leonard Xu <mailto:xbjt...@gmail.com>> wrote: > >> Hi, >> >> 这个报错信息应该

Re: Could not find a suitable table factory for 'TableSourceFactory'

kafka版本，2.11是scala版本 如果是Table API & SQL程序不用加 flink-connector-kafka_2.11 的依赖，你的case把dataStream的connector依赖去掉， 把 sql connector的依赖改为 flink-sql-connector-kafka-0.11_2.11 试下 Best, Leonard Xu > > macia kk 于2020年5月25日周一 上午10:05写道： > >> built.sbt >> >> val flinkVersi

Re: Could not find a suitable table factory for 'TableSourceFactory'

Hi, 你使用的kafka connector的版本是0.11的吗？报错看起来有点像版本不对 Best, Leonard Xu > 在 2020年5月25日，02:44，macia kk 写道： > > 感谢，我在之前的邮件记录中搜索到了答案。我现在遇到了新的问题,卡主了好久: > > Table API, sink to Kafka > >val result = bsTableEnv.sqlQuery("SELECT * FROM " + "") > &

Re: 本地测试 flink 1.10 hbase sql create table 在反序列化byte之后得到的对象conf配置为null，导致无法连接hbase集群

，本地IDE中也可以添加hbase-site.xml到classpath进行验证和调试，可以绕过现在的问题。 比较晚发现这个问题一是使用hbas作为source表的用户比较少，主要把hbase用作维表和结果表，维表走HBaseLookupFunction，结果表走HBaseUpsertSinkFunction，这两个的实现都是ok的，二是Hbase的ITCase实现比较特殊，没能覆盖DDL的测试，生产环境一般都是走环境变量配置，添加到classpath，我看这段代码历史还挺久的。 总之，是个好问题，我建了issue，会跟进修复。 Best, Leonard Xu [1] https

Re: Flink SQL 嵌套 nested Json 解析

Hi, kk 使用的flink版本是多少？1.10可以不用声明format的，方便贴下一条json数据吗？我可以看看 祝好， Leonard Xu > 在 2020年5月26日，01:26，macia kk 写道： > > 有哪位大佬帮我看下，谢谢 > > > 尝试了很久，还是无法解析嵌套结构的Json > > Error > > Caused by: org.apache.flink.table.api.ValidationException: SQL > validation failed

Re: flink sql的hbase connector问题

Hi， (1)是的， (2) 可以，自己实现下就行 祝好 Leonard Xu > 在 2020年5月29日，16:44，op <520075...@qq.com> 写道： > > 大家好我有两个问题: > > > 1.现有的 hbase connector 只支持 hbase 1.4.3版本吗？ > 2.可以自定义1.2.0版本的connector吗？ > > > 谢谢！

  1   2   3   4   >