注册table时catalog无法变更

2020-01-06 文章 xiyu...@163.com
hi,各位: 我在开发过程中,通过下面方式注册table时,默认使用的catalog是EnvironmentSettings.DEFAULT_BUILTIN_CATALOG streamTableEnvironment.registerDataStream(tableName, dataStream, fields);尝试通过下面方式解决,但是注册的table仍然在EnvironmentSettings.DEFAULT_BUILTIN_CATALOG中 streamTableEnvironment.registerCatalog(catalogName, new

Flink Weekly | 每周社区动态更新 - 2020/01/07

2020-01-06 文章 Yun Tang
大家好 2020年转眼就来了,先恭喜大家新年快乐,Flink社区也会在新的一年中继续陪伴大家,一起来把Flink做大做好。 本周社区主要新闻是Flink-1.10.0的发布进展,将blink planner设置为SQL client默认planner的讨论,以及如何支持SQL client gateway的FLIP。 Flink开发进展 == * [**Release**]

Re:回复: 回复:如何获取算子处理一条数据记录的时间

2020-01-06 文章 张江
好的,谢谢 在 2020-01-06 20:04:09,"戴嘉诚" 写道: >你可以在算子中计算,然后上传到自定义的Flink Metrics中,这样就能看到平均一个算子的时间了. > >发件人: 张江 >发送时间: 2020年1月2日 19:18 >收件人: user-zh >抄送: user-zh >主题: 回复:如何获取算子处理一条数据记录的时间 > >我其实是想知道算子的数据处理能力,得到一个算子每秒钟最多能处理多少条数据。比如说map算子,我需要知道它一秒钟最多能转换多少数据,之后根据source端的数据量来设置算子的并行度 > > > > >| | >张江 >| >|

Re:Re: 回复:使用influxdb作为flink metrics reporter

2020-01-06 文章 张江
好的,多谢 在 2020-01-06 01:38:22,"Yun Tang" 写道: >Hi 张江 > >这个invalid boolean >一般是tag和field中间穿插空格有关,导致influxDB识别匹配的时候出了问题,你的原始报错信息是什么,不要隐去你的operator >name和task name,另外task_id= 后面的那个空格是你粘贴时候的错误还是原先就是这样。 > >最后,这些只会是warning,不会导致你的其他metrics数据无法插入,不影响整体使用。 > >祝好 >唐云 > >

回复: 回复:如何获取算子处理一条数据记录的时间

2020-01-06 文章 戴嘉诚
你可以在算子中计算,然后上传到自定义的Flink Metrics中,这样就能看到平均一个算子的时间了. 发件人: 张江 发送时间: 2020年1月2日 19:18 收件人: user-zh 抄送: user-zh 主题: 回复:如何获取算子处理一条数据记录的时间 我其实是想知道算子的数据处理能力,得到一个算子每秒钟最多能处理多少条数据。比如说map算子,我需要知道它一秒钟最多能转换多少数据,之后根据source端的数据量来设置算子的并行度 | | 张江 | | 邮箱:zjkingdom2...@163.com | 签名由 网易邮箱大师 定制 在2020年01月02日

Re:Re: 使用Flink SQL时,碰到的 【Window can only be defined over a time attribute column】

2020-01-06 文章 amenhub
hi Benchao, 刚才了解到,flink1.9版本不支持DDL time以及watermark语义的定义,所以是因此不支持window窗口函数需要的时间属性。期待1.10发布~ 祝好 在 2020-01-06 16:50:03,"Benchao Li" 写道: >hi amenhub, > >这个错误的意思是,窗口内引用的字段需要是一个时间字段,可以是事件时间,也可以是处理时间。你需要check一下你的ts字段是不是定义了时间属性。 > >可以参考下官方文档:

Re: 使用Flink SQL时,碰到的 【Window can only be defined over a time attribute column】

2020-01-06 文章 Leonard Xu
Hi,amenhub 这个提示是ts字段缺少了时间属性(time attribute),window中的ts字段需要定义为时间属性,目前Flink支持处理时间(processing time) 和 事件时间(event time),时间属性的定义方式可以参考[1] [1]https://ci.apache.org/projects/flink/flink-docs-master/dev/table/streaming/time_attributes.html

Using async io in cep

2020-01-06 文章 郑 洁锋
Hi, Is there a way to use asynchronous io to query the database in the process of cep? zjfpla...@hotmail.com

Re: 使用Flink SQL时,碰到的 【Window can only be defined over a time attribute column】

2020-01-06 文章 Benchao Li
hi amenhub, 这个错误的意思是,窗口内引用的字段需要是一个时间字段,可以是事件时间,也可以是处理时间。你需要check一下你的ts字段是不是定义了时间属性。 可以参考下官方文档: https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sql.html#group-windows amenhub 于2020年1月6日周一 下午4:45写道: > 各位好, > > > 在使用Flink SQL时,创建如下DDL,使用窗口时报错: > > > INSERT INTO sql_out >

使用Flink SQL时,碰到的 【Window can only be defined over a time attribute column】

2020-01-06 文章 amenhub
各位好, 在使用Flink SQL时,创建如下DDL,使用窗口时报错: INSERT INTO sql_out SELECT product_id, TUMBLE_END(ts, INTERVAL '2' MINUTE) AS window_end, count(*) AS cnt FROM kafka_out WHERE behavior = 'pv' GROUP BY product_id, TUMBLE(ts, INTERVAL '2' MINUTE) 错误信息:Window can only be defined over a time attribute

使用Flink SQL时,碰到的 【Window can only be defined over a time attribute column】

2020-01-06 文章 amenhub
各位好,