Re: 回复： 怎么不使用checkpoint

Hi 默认情况下，不调用env.enableCheckpoint，也就是不会启用checkpoint的。默认情况下的restart strategy就是NoRestart，也就是不会自动failover的。 祝好 唐云 获取 Outlook for Android From: sun <1392427...@qq.com> Sent: Friday, January 17, 2020 1:43:53 PM To: user-zh Subject: 回复：

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congrats! Thanks, Biao /'bɪ.aʊ/ On Fri, 17 Jan 2020 at 13:43, Rui Li wrote: > Congratulations Dian, well deserved! > > On Thu, Jan 16, 2020 at 5:58 PM jincheng sun > wrote: > >> Hi everyone, >> >> I'm very happy to announce that Dian accepted the offer of the Flink PMC >> to become a

?????? ??????????checkpoint

?? env.enableCheckpointing(CommonConstants.CHECK_POINTING); env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime); env.setParallelism(CommonConstants.PARALLELISM_NUMBER); // env.setRestartStrategy(RestartStrategies.noRestart());

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations Dian, well deserved! On Thu, Jan 16, 2020 at 5:58 PM jincheng sun wrote: > Hi everyone, > > I'm very happy to announce that Dian accepted the offer of the Flink PMC > to become a committer of the Flink project. > > Dian Fu has been contributing to Flink for many years. Dian Fu

Re: 怎么不使用checkpoint

你好，不设置checkpoint的情况下是不开启这个机制的 sun <1392427...@qq.com> 于2020年1月17日周五 上午10:42写道： > 我们公司因为业务的问题，我们不需要生成checkpoint文件。有办法生成checkpoint文件吗，不需要这个恢复机制

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congrats! Best Yuan On Thu, Jan 16, 2020 at 5:59 PM jincheng sun wrote: > Hi everyone, > > I'm very happy to announce that Dian accepted the offer of the Flink PMC to > become a committer of the Flink project. > > Dian Fu has been contributing to Flink for many years. Dian Fu played an >

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congrats, Dian! Best, Paul Lam > 在 2020年1月17日，10:49，tison 写道： > > Congratulations! Dian > > Best, > tison. > > > Zhu Zhu mailto:reed...@gmail.com>> 于2020年1月17日周五 > 上午10:47写道： > Congratulations Dian. > > Thanks, > Zhu Zhu > > hailongwang <18868816...@163.com >

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations! Dian Best, tison. Zhu Zhu 于2020年1月17日周五 上午10:47写道： > Congratulations Dian. > > Thanks, > Zhu Zhu > > hailongwang <18868816...@163.com> 于2020年1月17日周五 上午10:01写道： > >> >> Congratulations Dian ! >> >> Best, >> Hailong Wang >> >> >> >> >> 在 2020-01-16 21:15:34，"Congxian Qiu" 写道：

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations Dian. Thanks, Zhu Zhu hailongwang <18868816...@163.com> 于2020年1月17日周五 上午10:01写道： > > Congratulations Dian ! > > Best, > Hailong Wang > > > > > 在 2020-01-16 21:15:34，"Congxian Qiu" 写道： > > Congratulations Dian Fu > > Best, > Congxian > > > Jark Wu 于2020年1月16日周四 下午7:44写道： > >>

??????????checkpoint

??checkpointcheckpoint??

flink内存参数

大家好， 我正在做flink算子的性能测试，发现了以下问题。 flink加大数据量后运行时报OOM错误，但metrics中flink_taksmanager_Status_JVM_Memory_Direct_MemoryUsed，flink_taksmanager_Status_JVM_Memory_NonHeap_Used，flink_taksmanager_Status_JVM_Memory_Heap_Used一直没有波动（没有使用checkpoint，也没有网络方面的内存需求）。 想请问大家flink中这三个参数对应的内存具体是用来做什么的，OOM有可能是什么原因？ 谢谢大家

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations Dian ! Best, Hailong Wang 在 2020-01-16 21:15:34，"Congxian Qiu" 写道： Congratulations Dian Fu Best, Congxian Jark Wu 于2020年1月16日周四 下午7:44写道： Congratulations Dian and welcome on board! Best, Jark On Thu, 16 Jan 2020 at 19:32, Jingsong Li wrote: >

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations! Dian Fu > 2020年1月16日 下午6:22，Shuo Cheng 写道： > > Congratulations! Dian Fu

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congrats! On Thu, Jan 16, 2020 at 13:45 Peter Huang wrote: > Congratulations, Dian! > > > Best Regards > Peter Huang > > On Thu, Jan 16, 2020 at 11:04 AM Yun Tang wrote: > >> Congratulations, Dian! >> >> Best >> Yun Tang >> -- >> *From:* Benchao Li >> *Sent:*

Re: 从checkpoint恢复任务失败

Hi 确定每次恢复的时候没有其他异常么，之前有用户遇到是因为其他异常，触发cancel task的逻辑，导致清理了本地下载的文件，所以在进行硬链的时候会遇到no such file的异常。 祝好 唐云 From: claylin <1012539...@qq.com> Sent: Thursday, January 16, 2020 22:00 To: user-zh Subject: 从checkpoint恢复任务失败

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations, Dian! Best Yun Tang From: Benchao Li Sent: Thursday, January 16, 2020 22:27 To: Congxian Qiu Cc: d...@flink.apache.org ; Jingsong Li ; jincheng sun ; Shuo Cheng ; Xingbo Huang ; Wei Zhong ; Hequn Cheng ; Leonard Xu ; Jeff Zhang ; user ;

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations Dian. Congxian Qiu 于2020年1月16日周四 下午10:15写道： > Congratulations Dian Fu > > Best, > Congxian > > > Jark Wu 于2020年1月16日周四 下午7:44写道： > >> Congratulations Dian and welcome on board! >> >> Best, >> Jark >> >> On Thu, 16 Jan 2020 at 19:32, Jingsong Li wrote: >> >> > Congratulations

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations Dian Fu Best, Congxian Jark Wu 于2020年1月16日周四 下午7:44写道： > Congratulations Dian and welcome on board! > > Best, > Jark > > On Thu, 16 Jan 2020 at 19:32, Jingsong Li wrote: > > > Congratulations Dian Fu. Well deserved! > > > > Best, > > Jingsong Lee > > > > On Thu, Jan 16, 2020

Re: Frequently checkpoint failure, could make the flink sql state not clear?

Hi, AFAIK, whether a timer will fire is irrelevant to checkpoint success or not. Best, Congxian LakeShen 于2020年1月16日周四 下午8:53写道： > Hi community， now I am using Flink sql , and I set the retention time, As > I all know is that Flink will set the timer for per key to clear their > state, if

??checkpoint????????????

1.9.1checkpointsst?? 2020-01-16 19:29:39 java.lang.Exception: Exception while creating StreamOperatorStateContext. at

Frequently checkpoint failure, could make the flink sql state not clear?

Hi community， now I am using Flink sql , and I set the retention time, As I all know is that Flink will set the timer for per key to clear their state, if Flink task always checkpoint failure, are the key state cleared by timer? Thanks to your replay.

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations Dian and welcome on board! Best, Jark On Thu, 16 Jan 2020 at 19:32, Jingsong Li wrote: > Congratulations Dian Fu. Well deserved! > > Best, > Jingsong Lee > > On Thu, Jan 16, 2020 at 6:26 PM jincheng sun > wrote: > >> Congrats Dian Fu and welcome on board! >> >> Best, >>

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congrats Dian Fu and welcome on board! Best, Jincheng Shuo Cheng 于2020年1月16日周四 下午6:22写道： > Congratulations! Dian Fu > > > Xingbo Wei Zhong 于2020年1月16日周四 下午6:13写道： jincheng sun > 于2020年1月16日周四 下午5:58写道： >

[ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations! Dian Fu > Xingbo Wei Zhong 于2020年1月16日周四 下午6:13写道： jincheng sun > 于2020年1月16日周四 下午5:58写道：

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations! Dian Fu Best, Forward Xingbo Huang 于2020年1月16日周四 下午6:17写道： > Congratulations, Dian. > Well deserved! > > Best, > Xingbo > > > Wei Zhong 于2020年1月16日周四 下午6:13写道： > > > Congrats Dian Fu! Well deserved! > > > > Best, > > Wei > > > > 在 2020年1月16日，18:10，Hequn Cheng 写道： > > > >

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations, Dian. Well deserved! Best, Xingbo Wei Zhong 于2020年1月16日周四 下午6:13写道： > Congrats Dian Fu! Well deserved! > > Best, > Wei > > 在 2020年1月16日，18:10，Hequn Cheng 写道： > > Congratulations, Dian. > Well deserved! > > Best, Hequn > > On Thu, Jan 16, 2020 at 6:08 PM Leonard Xu wrote: >

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations, Dian. Well deserved! Best, Hequn On Thu, Jan 16, 2020 at 6:08 PM Leonard Xu wrote: > Congratulations! Dian Fu > > Best, > Leonard > > 在 2020年1月16日，18:00，Jeff Zhang 写道： > > Congrats Dian Fu ！ > > jincheng sun 于2020年1月16日周四 下午5:58写道： > >> Hi everyone, >> >> I'm very happy to

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations! Dian Fu Best, Leonard > 在 2020年1月16日，18:00，Jeff Zhang 写道： > > Congrats Dian Fu ！ > > jincheng sun mailto:sunjincheng...@gmail.com>> > 于2020年1月16日周四 下午5:58写道： > Hi everyone, > > I'm very happy to announce that Dian accepted the offer of the Flink PMC to > become a

Re: 怎么使用flink的内存作为缓存

valueState https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/state/state.html sun <1392427...@qq.com> 于2020年1月16日周四 下午6:05写道： > > 以前我们使用flink的时候，用到了redis，将redis作为缓存的中间件，存放一些缓存的数据，好像flink可以把这些缓存的数据放在flink内存里面，请问怎么使用flink内存来替代redis

[ANNOUNCE] Dian Fu becomes a Flink committer

Hi everyone, I'm very happy to announce that Dian accepted the offer of the Flink PMC to become a committer of the Flink project. Dian Fu has been contributing to Flink for many years. Dian Fu played an essential role in PyFlink/CEP/SQL/Table API modules. Dian Fu has contributed several major

????????flink????????redis

flink??redisredis??flinkflink??flink??redis

????1.9??????flinksql????csv format??????

?? ?? 1??1.9??flinksql??kafka??Csv format??Schema??json format?? tableEnv.connect( newKafka() .version("0.10") .topic("topic1")

求助帖:flink tpc-ds中加入blink的runtime filter问题

Re: Flink 1.6 版本，RocksDBStateBackend ,增量 Checkpoint 目录问题

原来是这样，中间的确有很多 Checkpoint 超时失败，对于这种由于 Checkpoint 失败创建的目录，Flink 本身是不会删除的，对吗？ 也就是这部分状态文件，会一直存储在HDFS 上面，这种情况是否会造成 Flink Checkpoint 目录下 shared目录无限增大呢， 非常感谢你，lucas，期待你的回复。 lucas.wu 于2020年1月16日周四 下午4:50写道： > 可能是失败的checkpoint目录，可以看看程序中间是不是有失败的checkpoint > > > 原始邮件 >

??????:flink tpc-ds????????????runtime filter????

??blink??runtime filtertpc-dsanalyseTable??query39a.sqlinsertRuntimeFilterRule??RuntimeFilterBuilderMerger??OOM

回复：Flink 1.6 版本，RocksDBStateBackend ,增量 Checkpoint 目录问题

可能是失败的checkpoint目录，可以看看程序中间是不是有失败的checkpoint 原始邮件 发件人:lakeshenshenleifight...@gmail.com 收件人:user-zhuser...@flink.apache.org 发送时间:2020年1月16日(周四) 16:47 主题:Flink 1.6 版本，RocksDBStateBackend ,增量 Checkpoint 目录问题 我使用 Flink 1.6 版本，使用的增量 Checkpoint，我看官网说，默认的 Checkpoint 保留目录是1，也就是会保留一个最新完成的 Checkpoint

Flink 1.6 版本，RocksDBStateBackend ,增量 Checkpoint 目录问题

我使用 Flink 1.6 版本，使用的增量 Checkpoint，我看官网说，默认的 Checkpoint 保留目录是1，也就是会保留一个最新完成的 Checkpoint 目录，但是在我的任务 Checkpoint 路径下面，居然有很多个 chk-xxx 目录，比如说 chk-86515，chk-37878，而且在这些目录下面，还有数据，这是什么原因呢。 对这个地方有点困惑，既然默认保留的目录是1了，为什么还有这么多 chk 目录呢。 期待你的回答