Session Window使用event time延迟特别高

大家好， 我遇到一个问题一直想不明白原因，想请教大家 我的代码keyby userid 然后使用session window 实现一个按userid聚合 并执行了一个 topN方法。 代码大致如下 // Topn聚合 DataStream itemList = resultDataStream .assignTimestampsAndWatermarks( new BoundedOutOfOrdernessTimestampExtractor(Time.milliseconds(100)) {

回复：sql client定义指向elasticsearch索引密码问题

好的，非常感谢 | | naturalfree | | 邮箱：naturalf...@126.com | 签名由 网易邮箱大师 定制 在2020年05月22日 11:15，Yangze Guo 写道： 目前1.11已经feature freeze，该功能最早1.12才能支持，着急的话可以看看DataStream API的ElasticSearchSink，这个是支持安全认证的，也可以自己实现一个TableSink Best, Yangze Guo On Fri, May 22, 2020 at 9:59 AM Rui Li wrote: > > Hi，目前还不支持，不过有PR在

flink ???? Kafka ???? eos ????

Hi All??  flink kafka ?? eos ?? ?? 0-05-21 16:52:15,057 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph- Source: Custom Source (1/1) (f65b2869d898a050238c53f9fbc9573b) switched from DEPLOYING to RUNNING. 2

关于flink-streaming cogroup 算子 window 支持sideout 问题

flink 1.10.0 中 streaming API 的 coGroup 算子目前还不支持sideout 来处理迟到的消息，请问社区有打算支持吗， zhaiao...@58ganji.com

疑问：flink sql 不同job消费同一个kafka表(指定了groupId)时输出相同数据？

Hi,all 使用flink版本1.10.0，在hive catalog下建了映射kafka的表: CREATE TABLE x.log.yanfa_log ( dt TIMESTAMP(3), conn_id STRING, sequence STRING, trace_id STRING, span_info STRING, service_id STRING, msg_id STRING, servicename STRING, ret_code STRING, durati

Re: 疑问：flink sql 不同job消费同一个kafka表(指定了groupId)时输出相同数据？

Hi， Flink的Kafka Connector的实现是用的Kafka lower api，也就是会自己去获取当前的partition信息，自己来分配那些subtask读取那个partition。 所以如果有两个任务，他们互相之间是没有关系的，也不会相互感知到。（只有一点，就是如果你配置了相同的group id，他们提交offset可能会互相覆盖。） 你说的那个模式是Kafka high-level api。 wind.fly@outlook.com 于2020年5月22日周五 下午4:21写道： > Hi,all > 使用flink版本1.10.0，在hi

DDL定义@timestamp字段问题提示org.apache.flink.table.api.SqlParserException

hello， 使用版本 Flink 1.10 部分业务数据kafka数据存在字段`@timestamp`, DDL如下： CREATE TABLE kafkaSrc( `@timestamp` TIMESTAMP(3) ,domain VARCHAR ,proctime AS proctime() )WITH( 'connector.type' = 'kafka', 'connector.version' = 'universal', 'connector.topic' = ’topic', 'connector.startup-mo

How to control the banlence by using FlinkKafkaConsumer.setStartFromTimestamp(timestamp)

Hello everyone, First，a brief pipeline introduction: env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) consume multi kafka topic -> union them -> assignTimestampsAndWatermarks -> keyby -> window() and so on … It's a very normal way use flink to p

Re: DDL定义@timestamp字段问题提示org.apache.flink.table.api.SqlParserException

Hi， 这个应该是一个已知bug[1], 你应该用的是1.10.0版本吧？这个在1.10.1已经修复了。 [1] https://issues.apache.org/jira/browse/FLINK-16068 oliver 于2020年5月22日周五 下午5:38写道： > hello， > 使用版本 Flink 1.10 > 部分业务数据kafka数据存在字段`@timestamp`, > DDL如下： > CREATE TABLE kafkaSrc( > `@timestamp` TIMESTAMP(3) > ,domain VARCHAR > ,p

Re: DDL定义@timestamp字段问题提示org.apache.flink.table.api.SqlParserException

谢谢 Benchao 是的，1.10.0，我升级到1.10.1试试 > 2020年5月22日 下午6:48，Benchao Li 写道： > > Hi， > > 这个应该是一个已知bug[1], 你应该用的是1.10.0版本吧？这个在1.10.1已经修复了。 > > [1] https://issues.apache.org/jira/browse/FLINK-16068 > > oliver 于2020年5月22日周五 下午5:38写道： > >> hello， >> 使用版本 Flink 1.10 >> 部分业务数据kafka数据存在字段`@timestamp`, >>

flink+prometheus继承问题

自定义的flink metrics可以通过flink rest接口拿到数据，但是prometheus没有拿到，有人遇到这种问题吗 guaishushu1...@163.com

Re: flink正则读取hdfs目录下的文件

Hi, 我们在1.11已经支持了较完整的filesystem支持，并且支持分区。(csv,json,avro,parquet,orc) 对于灵活的read，争取在1.12完成。已经有issue了： https://issues.apache.org/jira/browse/FLINK-17398 Best, Jingsong Lee On Fri, May 22, 2020 at 10:47 AM 阿华田 wrote: > input_data = "hdfs://localhost:9002/tmp/match_bak/%s*[0-9]" % > ('2018-07-16’)

Re: sinktable更新部分字段问题

Hi，naturalfree Flink SQL 里es sink 是支持Append mode和upsert mode的[1]，upsert mode下支持按主键更新的，你可以看看。 Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/table/connect.html#elasticsearch-connector

Re: 本地测试 flink 1.10 hbase sql create table 在反序列化byte之后得到的对象conf配置为null，导致无法连接hbase集群

Hi, hongxiao 我试了下，我本地hbase集群测试了下ok的[1]，没能复现你的问题，你hbase集群的环境是怎么样的呀？ Best, Leonard Xu [1] https://github.com/leonardBang/flink-sql-etl/blob/master/etl-job/src/main/java/kafka2hbase/KafkaJoinHbaseJoinMysql2Hbase.java#L33

回复：本地测试 flink 1.10 hbase sql create table 在反序列化byte之后得到的对象conf配置为null，导致无法连接hbase集群

感谢，经过测试发现，hbase可以写成功，就是无法读取，查看源码发现 hbaseRowinputformatImpl大概是这个类下面，有一句话 private transient Configuration conf; 这样conf就不会被序列化，也就是反序列化的时候为null了的原因了，具体你可以再复现一下 | | 邵红晓 | | 邮箱：17611022...@163.com | 签名由 网易邮箱大师 定制 在2020年05月23日 00:19，Leonard Xu 写道： Hi, hongxiao 我试了下，我本地hbase集群测试了下ok的[1]，没能复现你的问题，你hba

回复：本地测试 flink 1.10 hbase sql create table 在反序列化byte之后得到的对象conf配置为null，导致无法连接hbase集群

没有，经过测试是可以写入，读取会出这个问题 | | 邵红晓 | | 邮箱：17611022...@163.com | 签名由 网易邮箱大师 定制 在2020年05月23日 08:20，Jacky Lau 写道： 你是否将hbase conf目录在configs. sh脚本中显示指定了 发自我的iPhone -- 原始邮件 -- 发件人: Leonard Xu 发送时间: 2020年5月23日 00:19 收件人: shao.hongxiao <17611022...@163.com> 抄送: user-z