Flink Weekly | 每周社区动态更新 - 2020/03/14

大家好，本文为 Flink Weekly 的第八期，由张成整理，主要内容包括：近期社区开发进展，邮件问题答疑以及社区直播和相关技术博客。 社区开发进展 Yangze Guo 在 FLIP-108 中建议 Flink 支持对 GPU 的资源管理。 [1]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-108-Add-GPU-support-in-Flink-tp38286.html 从 Flink 1.10.0 开始，Apache Flink 项目开始维护

Re: ddl

Hi 志华， 你可以完全自己扩展 Flink SQL DDL 语法的功能，用来支持你们公司自己的实时数据源，或者 Sink 等等，具体实现，请参考楼上 jinhai 的链接 Best wishes, 沈磊 jinhai wang 于2020年3月13日周五 下午7:22写道： > Page on “User-defined Sources & Sinks”. For flink 1.10: > https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sourceSinks.html >

转发：（无主题）

| | apache22 | | apach...@163.com | 签名由网易邮箱大师定制 - 转发邮件信息 - 发件人： 酷酷的浑蛋 发送日期： 2020年3月13日 19:18 发送至： user-zh@flink.apache.org select a.x01, udf_name(a.x02) from (select a.x01, a... from tb_name) a join (select * from tb_name) b on

Re: ddl

Page on “User-defined Sources & Sinks”. For flink 1.10: https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sourceSinks.html Best Regards jinhai...@gmail.com > 2020年3月13日 下午7:17，王志华

回复：ddl

有相应的接口 可以参考hbase的实现 原始邮件 发件人:王志华a15733178...@163.com 收件人:user-zhuser...@flink.apache.org 发送时间:2020年3月13日(周五) 19:17 主题:ddl 目前FLINK中对于DDL这块，它都只能什么类型的技术作为源头表或者SINK 表呢，我也网上也仅仅看到了ddl mysql sink、ddl hbase sink等。还有其他类型的支持吗？如果不支持的话，是否flink开放了相关的接口，可以提供对其他类型技术的ddl语法支持呢？比如想做一个 ddl kudu sink之类的 | | 王志华

ddl

目前FLINK中对于DDL这块，它都只能什么类型的技术作为源头表或者SINK 表呢，我也网上也仅仅看到了ddl mysql sink、ddl hbase sink等。还有其他类型的支持吗？如果不支持的话，是否flink开放了相关的接口，可以提供对其他类型技术的ddl语法支持呢？比如想做一个 ddl kudu sink之类的 | | 王志华 | | a15733178...@163.com | 签名由网易邮箱大师定制

Re: [DISCUSS] FLIP-115: Filesystem connector in Table

Hi, Very thanks for Jinsong to bring up this discussion! It should largely improve the usability after enhancing the FileSystem connector in Table. I have the same question with Piotr. From my side, I think it should be better to be able to reuse existing

自定义Trigger中ctx.registerProcessingTimeTimer无法更新onProcessingTime调用时间

请问一下，我在做processing time window的时候因为需要按照数量和时间两个维度处理数据，所以自定义了Trigger方法 其中onElement方法和onProcessingTime方法如下： @Override public TriggerResult onElement(Object element, long timestamp, W window, TriggerContext ctx) throws Exception { ReducingState count = ctx.getPartitionedState(stateDesc);

回复： 关于sql-client和sql-gateway sql中的注释支持问题

Hi Jeff, 那挺不错，我这试试 | | xinghalo | | xingh...@163.com | 签名由网易邮箱大师定制 在2020年03月13日 17:34，Jeff Zhang 写道： Hi xinghalo， Zeppelin有rest api，可以用调度系统来调rest api来跑Zeppelin的flink sql，不一定要通过UI的 111 于2020年3月13日周五 下午5:29写道： Hi Jeff， 好滴，已经加入交流群了，多交流。 不过我们目前是基于flink做的数据分析平台，可以直接集成很多任务调度的功能。

Re: 关于sql-client和sql-gateway sql中的注释支持问题

Hi xinghalo， Zeppelin有rest api，可以用调度系统来调rest api来跑Zeppelin的flink sql，不一定要通过UI的 111 于2020年3月13日周五 下午5:29写道： > Hi Jeff， > 好滴，已经加入交流群了，多交流。 > 不过我们目前是基于flink做的数据分析平台，可以直接集成很多任务调度的功能。 > 目前手动去除了注释，再提交，还是很期待官方自动支持这个特性的。 > > > | | > xinghalo > | > | > xingh...@163.com > | > 签名由网易邮箱大师定制 > > >

回复： 关于sql-client和sql-gateway sql中的注释支持问题

Hi Jeff， 好滴，已经加入交流群了，多交流。 不过我们目前是基于flink做的数据分析平台，可以直接集成很多任务调度的功能。 目前手动去除了注释，再提交，还是很期待官方自动支持这个特性的。 | | xinghalo | | xingh...@163.com | 签名由网易邮箱大师定制 在2020年03月13日 16:34，Jeff Zhang 写道： Hi xinghalo， 在Apache Zeppelin里运行Sql是可以支持sql comment的，可以加入钉钉群 30022475 来体验 godfrey he 于2020年3月13日周五

Re: [DISCUSS] FLIP-115: Filesystem connector in Table

Thanks for FLIP-115. It is really useful feature for platform developers who manage hundreds of Flink to Hive jobs in production. I think we need add 'connector.sink.username' for UserGroupInformation when data is written to HDFS 在 2020/3/13 下午3:33，“Jingsong Li” 写入: Hi everyone,

Re: [DISCUSS] FLIP-115: Filesystem connector in Table

Thanks for FLIP-115. It is really useful feature for platform developers who manage hundreds of Flink to Hive jobs in production. I think we need add 'connector.sink.username' for UserGroupInformation when data is written to HDFS Jingsong Li 于2020年3月13日周五 下午3:33写道： > Hi everyone, > > I'd like

Re: 关于sql-client和sql-gateway sql中的注释支持问题

Hi xinghalo， 在Apache Zeppelin里运行Sql是可以支持sql comment的，可以加入钉钉群 30022475 来体验 godfrey he 于2020年3月13日周五 下午3:49写道： > hi sql-gateway的做法目前和sql client类似，都是通过正则表达式来处理的。这一块sql-gateway的解法应该会和sql > client类似。我最近也会先在sql-gateway改用calcite来支持 > > Best, > Godfrey > > > Jingsong Li 于2020年3月13日周五 下午3:41写道： > > >

Re: 关于sql-client和sql-gateway sql中的注释支持问题

hi sql-gateway的做法目前和sql client类似，都是通过正则表达式来处理的。这一块sql-gateway的解法应该会和sql client类似。我最近也会先在sql-gateway改用calcite来支持 Best, Godfrey Jingsong Li 于2020年3月13日周五 下午3:41写道： > Hi, > > 现在SQL-CLI是自己解析的，等到后面统一到calcite来解析后，注释应该很自然的就支持了。 > @godfrey he 有计划统一到calcite来解析吗？ > > Best, > Jingsong Lee > > On Fri,

Re: 关于sql-client和sql-gateway sql中的注释支持问题

Hi, 现在SQL-CLI是自己解析的，等到后面统一到calcite来解析后，注释应该很自然的就支持了。 @godfrey he 有计划统一到calcite来解析吗？ Best, Jingsong Lee On Fri, Mar 13, 2020 at 3:23 PM 111 wrote: > 您好： > > > 最近在使用sql-client和sql-gateway时，发现不支持注释。 > > > > Flink SQL> show tables; -- testtest ; > > [ERROR] Unknown or invalid SQL statement.

[DISCUSS] FLIP-115: Filesystem connector in Table

Hi everyone, I'd like to start a discussion about FLIP-115 Filesystem connector in Table [1]. This FLIP will bring: - Introduce Filesystem table factory in table, support csv/parquet/orc/json/avro formats. - Introduce streaming filesystem/hive sink in table CC to user mail list, if you have any

关于sql-client和sql-gateway sql中的注释支持问题

您好： 最近在使用sql-client和sql-gateway时，发现不支持注释。 Flink SQL> show tables; -- testtest ; [ERROR] Unknown or invalid SQL statement. 目前是每次使用sql-gateway提交时手动过滤掉注释，建议增加这种注释处理。 | | xinghalo | | xingh...@163.com | 签名由网易邮箱大师定制