Re: 关于状态TTL

我发现我们之前state用的策略是`ReturnExpiredIfNotCleanedUp`策略，而不是`NeverReturnExpired`， 所以这个问题现在是不能完全避免了。 我已经建了一个jira[1]来跟踪和改进这一点。 [1] https://issues.apache.org/jira/browse/FLINK-17199 酷酷的浑蛋 于2020年4月17日周五 下午12:51写道： > > > > > 我把版本升级到了flink1.10.0，这个问题又复现了，该怎么办呢？ > 在2020年4月16日 15:28，酷酷的浑蛋 写道： >

回复： 关于状态TTL

我把版本升级到了flink1.10.0，这个问题又复现了，该怎么办呢？ 在2020年4月16日 15:28，酷酷的浑蛋 写道： 好的谢谢，我这里是1.9.1，我先试试升级版本能不能解决这个 在2020年4月15日 18:04，Benchao Li 写道： Hi， 你用的是哪个版本呢？ 在1.9版本里面的确是有点问题，默认没有开启cleanup in background [1]，不知道是不是这个问题导致的。不过这个已经在1.9.3中修复了。 [1] https://issues.apache.org/jira/browse/FLINK-15938 酷酷的浑蛋

Re: 如何合并 binlog stream 和 table stream?

总结下折腾的后续 1. 用 InputSelectable 后 checkpointing 是不行的了，强行 checkpoint 会死锁，后续也许能用还没实现的 unaligned checkpointing 绕过去，但还没实现完。。。 2. Flink 的 side input 支持也没做完。。。 3. 如果一个 job 里某个流发消息结束关闭了，然后 flink 就不能 checkpoint 了。。。 4. Flink的流批统一还在进行中。。。 目前转向 Beam继续折腾，这东西支持 side

Re: 关于flink run -m yarn提交失败。flink1.9

Hi, dlguanyq Deployment took more than 60 seconds. —— 这个日志表示已经将 Application 提交到 Yarn 了，但是 AM 一直没有启动，这一步和perjob模式或者 yarn-session 模式关系不大。 可以用 -yd 多试几次，还是不能成功的话，需要检查下 yarn 的日志 Best Weihua Hu > 2020年4月15日 09:06，guanyq 写道： > > 使用的是perjob模式提交作业，没有使用yarn-seesion。为什么perjob模式提交有这个-yd参数会有问题，还是没太懂。 > 在

Re: 为消息分配时间戳但不想重新分配水印

是的，是生效了的。没见到别人这样用过，在我的场景里这个操作是实现了我需要的逻辑，但会不会引起其他问题，我暂时还没有发现。 原始邮件 发件人: lec ssmi 收件人: flink-user-cn 发送时间: 2020年4月17日(周五) 09:25 主题: Re: 为消息分配时间戳但不想重新分配水印 请问，你对DataStream重新声明时间列和水印，生效吗？ taowang 于2020年4月16日周四 下午10:49写道： > 嗯嗯，还是十分感谢。 > 那我暂时就把这个问题先搁置了，至于issue和我们自己的实现，我自己有时间的时候就去提一个，并添加自己的实现。 >

Re: 关于flink检查点

一点个人看法： 一般业务场景下，大家都需要对流任务的错误范围有个比较确定性的认知。比如设置固定的5min周期，就可以比较确定流处理即使failover，误差也能控制在五分钟内。 但如果是自适应的间隔，负载越高周期越长，但实际failover在高负载下出现的概率应该远大于低负载，这样的设置实用价值可能就并不太大了。 half coke 于2020年4月15日周三 下午4:15写道： > 是的，根据任务负载的变化自动调整checkpoint的间隔，或者可以通过用户写的逻辑调整检查点。 > 刚开始学习flink，想请教一下。 > > Congxian Qiu 于2020年4月15日周三

Re: Flink SQL Gateway

Hi Flavio， Thanks for the detailed explanation. I think we should let Catalog know this concept first, then TableEnvironment or SQL Gateway can do more stuff based on that. But "trigger" is Database domain concept, I think it need more discuss whether Flink should support this. also cc

Re: flink cep 匹配一段时间类A，B，C事件发生

是的，这个想法好，谢谢 Dian Fu 于2020年4月16日周四 上午9:59写道： > 类似于这样？ > > AA follow by BB follow by CC > > AA定义成A or B or C > BB定义成（A or B or C）and BB.type != AA.type > CC定义成（A or B or C）and CC.type != AA.type and CC.type != BB.type > > > 在 2020年4月16日，上午8:40，Peihui He 写道： > > > > hello，all > > > >

Re: instance number of user defined function

appreciating our reply.

Re: 为消息分配时间戳但不想重新分配水印

请问，你对DataStream重新声明时间列和水印，生效吗？ taowang 于2020年4月16日周四 下午10:49写道： > 嗯嗯，还是十分感谢。 > 那我暂时就把这个问题先搁置了，至于issue和我们自己的实现，我自己有时间的时候就去提一个，并添加自己的实现。 > > > 打扰各位了，祝好！～ > > > 原始邮件 > 发件人: tison > 收件人: user-zh > 发送时间: 2020年4月16日(周四) 22:39 > 主题: Re: 为消息分配时间戳但不想重新分配水印 > > > 正在载入邮件原文…

Re: Streaming Job eventually begins failing during checkpointing

Hi Stephen I think the state name [1] which would be changed every time might the root cause. I am not familiar with Beam code, would it be possible to create so many operator states? Did you configure some parameters wrongly? [1]

Re: Streaming Job eventually begins failing during checkpointing

I posted to the beam mailing list: https://lists.apache.org/thread.html/rb2ebfad16d85bcf668978b3defd442feda0903c20db29c323497a672%40%3Cuser.beam.apache.org%3E I think this is related to a Beam feature called RequiresStableInput (which my pipeline is using). It will create a new operator (or

Re: AvroParquetWriter issues writing to S3

Hi Till, definitely seems to be a strange issue. The first time the job is loaded (with a clean instance of the Cluster) the job goes well, but if it is canceled or started again the issue came. I built an example here https://github.com/congd123/flink-s3-example You can generate the artifact

Re: 请问Flink-1.10.1 release可以在哪里下载？（无正文）

1.10.1还剩余最后一个blocker [1]，解决之后将创建Release Candidate并启动投票，预计还需要1-2周时间，感谢关注。 Best Regards, Yu [1] https://issues.apache.org/jira/browse/FLINK-16662 On Thu, 16 Apr 2020 at 17:24, godfrey he wrote: > 目前社区已经在讨论 release-1.10.1 RC [1] 的发布 > > [1] > >

WechatIMG169

在代码中给算子添加了名称，但是flink的ui上还是显示原始的名称，这种情况大佬们遇见过吗？ | | 王志华 | | a15733178...@163.com | 签名由网易邮箱大师定制

Unsubscribe

Unsubscribe

UNSUBSCRIBE

Greetings Please unsubscribe me from your mailing list JOhn M

Re: Flink SQL Gateway

Hi Flavio， If you would like to use have a UI to register data sources, run flink sql and preview the sql result, then you can use zeppelin directly. You can check the tutorial here, 1) Get started https://link.medium.com/oppqD6dIg5 2) Batch

Re: 为消息分配时间戳但不想重新分配水印

嗯嗯，还是十分感谢。 那我暂时就把这个问题先搁置了，至于issue和我们自己的实现，我自己有时间的时候就去提一个，并添加自己的实现。 打扰各位了，祝好！～ 原始邮件 发件人: tison 收件人: user-zh 发送时间: 2020年4月16日(周四) 22:39 主题: Re: 为消息分配时间戳但不想重新分配水印 正在载入邮件原文…

Re: 为消息分配时间戳但不想重新分配水印

从语义上说，已经有产生 Watermark 的逻辑了，如果 forward 此前的 watermark 在其他一些用户场景下或许也不合适。从另一个角度考虑你也可以把 watermark 带在 element 上，实现 AssignerWithPunctuatedWatermarks 的 Watermark checkAndGetNextWatermark(T lastElement, long extractedTimestamp); 方法时从 element 取出来 Best, tison. tison 于2020年4月16日周四 下午10:36写道： >

Re: 为消息分配时间戳但不想重新分配水印

喔，看差了...Flink 原生没有这样的支持，不过可以扩展基础的算子来实现你要的逻辑 参考 assignTimestampsAndWatermarks 的实现，以及 TimestampsAndPunctuatedWatermarksOperator，不要重写 processWatermark 方法，应该可以实现。DataStream 方面调用更基础的 transform 方法 如果你觉得这是一个合理的需求，应该开箱即用，也可以到 Flink 的 JIRA（issue）列表上提 https://jira.apache.org/jira/projects/FLINK/issues 注册

Re: Streaming Job eventually begins failing during checkpointing

Correction. I've actually found a place where it potentially might be creating a new operator state per checkpoint:

Re: 为消息分配时间戳但不想重新分配水印

感谢回复，但是很抱歉我试了一下发现不可以。 无论是使用了`AssignerWithPeriodicWatermarks`的`getCurrentWatermark`还是`AssignerWithPunctuatedWatermarks`的`checkAndGetNextWatermark`，当它们`return null`时下游算子拿到的水印都显示为`No Watermark`，我在下游算子中打印出`context.currentWatermark()`发现都是`Long.MIN_VALUE`的值。 看了这两个接口文档，不太理解这里的`no new watermark will be

Re: Streaming Job eventually begins failing during checkpointing

I can't say that I ever call that directly. The beam library that I'm using does call it in a couple places: https://github.com/apache/beam/blob/v2.14.0/runners/flink/src/main/java/org/apache/beam/runners/flink/translation/wrappers/streaming/io/UnboundedSourceWrapper.java#L422-L429 But it seems

Re: Question about Writing Incremental Graph Algorithms using Apache Flink Gelly

Hi Kaan, For the first issue, I think the two implementation should have difference and the first should be slower, but I think which one to use should be depend on your algorithm if it could compute incrementally only with the changed edges. However, as far as I know I think most graph

Re: How to scale a streaming Flink pipeline without abusing parallelism for long computation tasks?

Hi, I think you could utilize AsyncIO in your case with just using a local thread pool [1]. Best regards Theo [1] https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/asyncio.html Von: "Elkhan Dadashov" An: "user" Gesendet: Donnerstag, 16. April 2020

Re: 为消息分配时间戳但不想重新分配水印

在 getCurrentWatermark 里返回 null 就行了，会 forward 此前的 watermark 的。另外语义上使用 AssignerWithPunctuatedWatermarks 会更合适一点。 Best, tison. taowang 于2020年4月16日周四 下午5:13写道： > Hello,大家好： > 在flink > stream中我这里遇到一个需求是，想到对上一个算子输出的消息重新分配时间戳，但此时我不想重新分配水印。在从kafka读取消息时我已经添加了水印。 > 为了实现这个功能，我想有两种方法： > 1.

Re: Flink SQL Gateway

Basically we want to give a UI to the user to register its data sources (i.e. catalogs in the Flink world), preview them (SELECT * LIMIT 100 for example) but, in the case of JDBC catalogs, also to see relationships and triggers. We don't want to reimplement the wheel so we would like to reuse and

Re: instance number of user defined function

Hi, An UDTF will be wrapped into an operator, an operator instance will be executed by a slot (or parallelism/thread) , About operator, task, slot, you can refer to [1] for more details. A TM (a JVM process) may has multiple slots, that means a JVM process may has multiple UDTF instances. It's

Re: Flink SQL Gateway

Hi Flavio, Since 1.11(master), Flink supports "CREATE CATALOG ..." [1], we can use this statement create catalog dynamically. Currently, Catalog[2] dose not supports any operations on TRIGGER. Flink can't also use such info now. What's your user scenario? [1]

Re: Re: FlinkSQL query error when specify json-schema.

Hi wanglei, Yes, your observation is correct. Currently the type derivation relies on legacy types, which only support (38, 18) as decimal precisions. wangl...@geekplus.com.cn 于2020年4月16日周四 下午6:54写道： > > Thanks, I have tried. > > 'format.derive-schema' = 'true' will work. > > But if i insist

Re: Re: FlinkSQL query error when specify json-schema.

Thanks, I have tried. 'format.derive-schema' = 'true' will work. But if i insist to use format.json-schema, the CREATE TABLE must be writtten as: `id` DECIMAL(38,18), `timestamp` DECIMAL(38,18) wangl...@geekplus.com.cn From: Benchao Li Date: 2020-04-16 16:56 To:

instance number of user defined function

Hi: I always wonder how much instance has been initialized in the whole flink application. Suppose there is such a scenario: I have a UDTF called '*mongo_join'* through which the flink table can join with external different mongo table according to the parameters passed in.

回复：jdbc connector写入数据到mysql数据不一致的问题

Hi， 业余选手建议： 1 修改groupby规则，使之与数据库主键匹配，保证幂等 2 外套一层查询，绕开upsert Best, xinghalo 在2020年04月16日 17:46，wldd 写道： 场景：从hive读取数据计算之后写入到mysql demo sql： insert into data_hotel_day select order_date,play_date,company_code,company_name,company_region,device, cast(coalesce(sum(current_amt),0) as

jdbc connector写入数据到mysql数据不一致的问题

场景：从hive读取数据计算之后写入到mysql demo sql： insert into data_hotel_day select order_date,play_date,company_code,company_name,company_region,device, cast(coalesce(sum(current_amt),0) as decimal(38,2)) current_amt, cast(coalesce(sum(order_amt),0) as decimal(38,2)) order_amt, coalesce(sum(room_cnt),0)

回复：订阅

好的，非常感谢 ---原始邮件--- 发件人: "Dian Fu"

Re: 订阅

需要发邮件到：user-zh-subscr...@flink.apache.org 来订阅user-zh > 在 2020年4月16日，下午5:30，Dian Fu 写道： > > 需要发邮件到：user-zh-subscr...@flink.apache.org来订阅user-zh > >> 在 2020年4月16日，下午5:28，李朋 <1134415...@qq.com> 写道： >> >> 订阅 >

Re: 订阅

需要发邮件到：user-zh-subscr...@flink.apache.org来订阅user-zh > 在 2020年4月16日，下午5:28，李朋 <1134415...@qq.com> 写道： > > 订阅

Re: 请问有没有什么方法可以把checkpoint打到集群外的hdfs?

hello, 唐云： 看到你说从incremental checkpoint恢复后，要重新执行一次savepoint才可以。我自己试了一下，job从incremental checkpoint恢复之后并成功打出第一个checkpoint之后，就手动删掉了checkpoints/目录下除了新的jobid目录之外的所有的文件夹，新的job并没有失败，看起来一切正常，执行一次savepoint也没有失败。

订阅

订阅

Re: 请问Flink-1.10.1 release可以在哪里下载？（无正文）

目前社区已经在讨论 release-1.10.1 RC [1] 的发布 [1] http://mail-archives.apache.org/mod_mbox/flink-dev/202004.mbox/%3CCAM7-19K0YsejvZpfVJrvEX6_DOJ7sUViEn9nB-5zfhX8P28_9A%40mail.gmail.com%3E Best, Godfrey Benchao Li 于2020年4月16日周四 下午3:06写道： > Hi， > Flikn 1.10.1还没有正式发布，暂时还没有地方可以直接下载。可以从源码直接编译一下~ > >

Re: 请问有没有什么方法可以把checkpoint打到集群外的hdfs?

Hi 如果旧作业开启了incremental checkpoint，并从那边进行恢复的话，需要注意的是旧的checkpoint目录下的文件是不能删除的，这个是incremental checkpoint语义导致的，如果想要切割掉对旧目录的依赖，需要执行一次savepoint，并启动新作业从savepoint进行恢复。 祝好 唐云 From: zhisheng Sent: Thursday, April 16, 2020 16:37 To: user-zh Subject: Re:

Re: Question about Writing Incremental Graph Algorithms using Apache Flink Gelly

If the vertex type is POJO what happens during the union of the graph? Is there a persistent approach, or can we define a function handle such occasions? Would there be a performance difference between two cases: 1) Graph graph = … // From edges list graph =

Re: Flink SQL Gateway

Hi Flavio, that's great~ Best, Godfrey Flavio Pompermaier 于2020年4月16日周四 下午5:01写道： > Great, I'm very interested in trying it out! > Maybe we can also help with the development because we need something like > that. > Thanks a lot for the pointers > > On Thu, Apr 16, 2020 at 10:55 AM godfrey he

Re: FlinkSQL query error when specify json-schema.

Hi wanglei, You don't need to specify 'format.json-schema', the format can derive schema from the DDL. Your exception above means the schema in 'format.json-schema' and DDL are not match. wangl...@geekplus.com.cn 于2020年4月16日周四 下午4:21写道： > > CREATE TABLE user_log( > `id` INT, >

为消息分配时间戳但不想重新分配水印

Hello,大家好： 在flink stream中我这里遇到一个需求是，想到对上一个算子输出的消息重新分配时间戳，但此时我不想重新分配水印。在从kafka读取消息时我已经添加了水印。 为了实现这个功能，我想有两种方法： 1. 在算子输出后面重新为消息分配水印：看到flink stream暂时只有`assignTimestampsAndWatermarks`方法，这里面要实现两个接口：`getCurrentWatermark`和`extractTimestamp`。我只想实现`extractTimestamp`而不想管水印相关的`getCurrentWatermark

Flink upgrade to 1.10: function

Hi, All Recently, I try to upgrade flink from 1.8.2 to 1.10, but i meet some problem about function. In 1.8.2, there are just Built-In function and User-defined Functions, but in 1.10, there are 4 categories of funtions. I defined a function which named JSON_VALUE in my system, it doesn’t

(无主题)

Re: Flink SQL Gateway

Great, I'm very interested in trying it out! Maybe we can also help with the development because we need something like that. Thanks a lot for the pointers On Thu, Apr 16, 2020 at 10:55 AM godfrey he wrote: > Hi Flavio, > > We prose FLIP-91[1] to support SQL Gateway at the beginning of this

Re: Flink SQL Gateway

Hi Flavio, We prose FLIP-91[1] to support SQL Gateway at the beginning of this year. After a long discussion, we reached an agreement that SQL Gateway is an eco-system under ververia as first step.[2] Which could help SQL Gateway move forward faster. Now we almost finish first version

Flink SQL Gateway

Hi Jeff, FLIP-24 [1] proposed to develop a SQL gateway to query Flink via SQL but since then no progress has been made on that point. Do you think that Zeppelin could be used somehow as a SQL Gateway towards Flink for the moment? Any chance that a Flink SQL Gateway could ever be developed? Is

Re: flink java.util.concurrent.TimeoutException

检查一下这个 TM 的 GC 次数和时间吧 Yangze Guo 于2020年4月15日周三 下午3:03写道： > 日志上看是Taskmanager心跳超时了，如果tm还在，是不是网络问题呢？尝试把heartbeat.timeout调大一些试试？ > > Best, > Yangze Guo > > On Mon, Apr 13, 2020 at 10:40 AM 欧阳苗 wrote: > > > > > job运行了两天就挂了，然后抛出如下异常，但是taskManager没有挂，其他的job还能正常在上面跑,请问这个问题是什么原因导致的，有什么好的解决办法吗 > > > > >

Re: FlinkSQL构建流式应用checkpoint设置

也就是说这种 sql cli 作业启动后如果 kill 掉的时候，再次重启的话是不能够从 savepoint 或者 chekcpoint 恢复是吗？ godfrey he 于2020年4月15日周三 下午4:32写道： > Hi Even, > > 1. 目前 SQL CLI 支持通过在 sql-client-default.yaml 里设置 parallelism > 和 max-parallelism 来控制 CLI 任务的默认并发。或者通过 set 命令，如 set > execution.parallelism=10;放方式动态设置。例外，对于如果使用 blink >

How to scale a streaming Flink pipeline without abusing parallelism for long computation tasks?

Hi Flink users, I have a basic Flnk pipeline, doing flatmap. inside flatmap, I get the input, path it to the client library to compute some result. That library execution takes around 30 seconds to 2 minutes (depending on the input ) for producing the output from the given input ( it is

FlinkSQL query error when specify json-schema.

CREATE TABLE user_log( `id` INT, `timestamp` BIGINT ) WITH ( 'connector.type' = 'kafka', 'connector.version' = 'universal', 'connector.topic' = 'wanglei_jsontest', 'connector.startup-mode' = 'latest-offset', 'connector.properties.0.key' = 'zookeeper.connect',

Re: Question about Writing Incremental Graph Algorithms using Apache Flink Gelly

Thanks for the reply. Turns out that my serializer was writing one of the fields wrong. I fixed it and everything seems to be working correctly for now. Best Kaan On Apr 16, 2020, at 3:05 AM, Till Rohrmann wrote: Hi Kaan, I'm not entirely sure what's going wrong w/o having a minimal code

Re: AvroParquetWriter issues writing to S3

For future reference, here is the stack trace in an easier to read format: Caused by: java.lang.NoClassDefFoundError: org/joda/time/format/DateTimeParserBucket at org.joda.time.format.DateTimeFormatter.parseMillis(DateTimeFormatter.java:825 at

Re: 双流Join 基于IngressTime计算后在按照Keyby sum聚集后每次计算结果不一致的问题

如果选择ingressTime就应该默认结果不一致了，即使看上去是一致的： １．无法保证每个流的网络IO一致（那就默认为绝对不一致), 这样数据ingress time生产就会不一致。 ２．系统资源导致ingress time不一致 因此不太建议依赖ingress 一致。 ｀这一点golang/map的处理，比较赞成的， 既然不确保有序那就主动打乱它｀ 或许可以自己维护一个计数器，在source中添加自定义event-time.来模拟ingress time（根据eps计算下counter增长策略） xue...@outlook.com 于2020年4月16日周四

回复： 关于状态TTL

好的谢谢，我这里是1.9.1，我先试试升级版本能不能解决这个 在2020年4月15日 18:04，Benchao Li 写道： Hi， 你用的是哪个版本呢？ 在1.9版本里面的确是有点问题，默认没有开启cleanup in background [1]，不知道是不是这个问题导致的。不过这个已经在1.9.3中修复了。 [1] https://issues.apache.org/jira/browse/FLINK-15938 酷酷的浑蛋 于2020年4月15日周三 下午5:40写道： 我在flink sql中设置了

Re: AvroParquetWriter issues writing to S3

Hi Diogo, thanks for reporting this issue. It looks quite strange to be honest. flink-s3-fs-hadoop-1.10.0.jar contains the DateTimeParserBucket class. So either this class wasn't loaded when starting the application from scratch or there could be a problem with the plugin mechanism on restarts.

Re: 请问Flink-1.10.1 release可以在哪里下载？（无正文）

Hi， Flikn 1.10.1还没有正式发布，暂时还没有地方可以直接下载。可以从源码直接编译一下~ samuel@ubtrobot.com 于2020年4月16日周四 下午3:04写道： > > -- Benchao Li School of Electronics Engineering and Computer Science, Peking University Tel:+86-15650713730 Email: libenc...@gmail.com; libenc...@pku.edu.cn

Re: Question about Writing Incremental Graph Algorithms using Apache Flink Gelly

Hi Kaan, I'm not entirely sure what's going wrong w/o having a minimal code example which is able to reproduce the problem. So if you could provide us with this, that would allow us to look into it. Cheers, Till On Wed, Apr 15, 2020 at 6:59 PM Kaan Sancak wrote: > Thanks that is working now!

请问Flink-1.10.1 release可以在哪里下载？（无正文）