Re: flink异常

樂 Zhanghao Chen 于2022年7月25日周一 13:39写道： > 你好，可以检查下： > > 1. tm 侧是否有异常，导致 tm 退出； > 2. tm 侧是否 gc 严重导致没有及时处理心跳； > 3. jm - tm 间是否网络有异常导致心跳信息无法传达。 > > Best, > Zhanghao Chen > > From: 陈卓宇 <2572805...@qq.com.INVALID> > Sent: Friday, July 22, 2022 11:30 > To:

Re: [ANNOUNCE] Apache Flink Kubernetes Operator 1.1.0 released

 Yang Wang 于2022年7月25日周一 10:55写道： > Congrats! Thanks Gyula for driving this release, and thanks to all > contributors! > > > Best, > Yang > > Gyula Fóra 于2022年7月25日周一 10:44写道： > > > The Apache Flink community is very happy to announce the release of > Apache > > Flink Kubernetes Operator

Re: 关于Flink对中标/银河麒麟和统信的适配

嗨。适配的话可以参考下 华为的鲲鹏适配。arm、kylin、龙芯 适配 On Fri, Jul 22, 2022 at 09:44 张 兴博 wrote: > 尊敬的Flink贡献者您好： > > > 由于政策问题，很多国企和央企都将要采用银河麒麟或者中标麒麟或者统信，请问Flink/PyFlink在以上三个系统中有进行适配应用吗？有无问题？以及和在Centos部署的有何不同呢？ > >期望得到回复，万分感谢！ >

Re: 退订

如果需要取消订阅 u...@flink.apache.org 邮件组，请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 。 张保淇 于2021年7月6日周二 下午4:13写道： > 退订

Re: Re: flink waterMark 相关问题

private long autoWatermarkInterval = 200; /** * Interval in milliseconds for sending latency tracking marks from the sources to the sinks. */ 张锴 于2021年1月13日周三 上午10:26写道： > ok，明白了 > > anonnius 于2021年1月13日周三 上午10:20写道： > > > 在 StreamExecutionEnvironmennt的方法@PublicEvolving public > >

Re: flink如何传递全局变量

对 正如 -> 1048262223 所说的一样 , 目前我就是通过BroadCast 动态更细一些规则带到下游并在Process method 中 进行操作 |  zjfpla...@hotmail.com 于2020年6月9日周二 下午8:14写道： > hi， > 请问flink如何传递全局变量，静态类好像服务器端运行不行。 > 场景是：一开始flink程序起来时，读取配置文件中的配置项，此类配置项可能会在sink，source等等其他地方用到，算是整个程序的全局配置 > > > > zjfpla...@hotmail.com >

Re: Flink sql 中 无法通过 TableEnvironment 调出 createTemporaryTable()方法 以及.TableException: findAndCreateTableSource failed 异常

Hi *Benchao Li* Thanks ,你说的很对 我现在已经走在了sql的实践道路上(还好有你指出) Benchao Li 于2020年6月9日周二 上午10:05写道： > Hi, > 我看你用的是1.9.1版本，但是createTemporaryTable应该是在1.10之后才引入的。不知道你参考的是哪一版的文档呢？ > > Px New <15701181132mr@gmail.com> 于2020年6月8日周一 下午10:00写道： > > > Hi 社区: 关于

Flink sql 中 无法通过 TableEnvironment 调出 createTemporaryTable()方法 以及.TableException: findAndCreateTableSource failed 异常

Hi 社区: 关于flink sql 使用上的一个问题以及一个sql异常 我通过官网给出的结构编写代码时发现注册临时表方法无法被调用？[图1, 图 2, 图 3] 通过 tableEnvironment 调用createTemporaryTable 方法 我排查过。 但还是没能解决 1:包倒入的是官网所声明的包。 2:类倒入的是 flink.table.api.TableEnvironment/以及.java.StreamTableEnvironment 两个类 图 1 (依赖导入):

Re: 关于flinksql 与维表mysql的关联问题

好的 我可以理解为是： 通过env.addsouce创建一个广播流。下游connect后 在process方法中操作？ 1048262223 <1048262...@qq.com>于2020年6月7日 周日下午3:57写道： > Hi > > > 可以使用open + broadcast的方式解决~ > > > Best, > Yichao Yang > > > > > > ------原始邮件-- > 发件人:"P

Re: 关于flinksql 与维表mysql的关联问题

Hi ,我有一个相关操作的一疑问. 疑问: 如果我放在open 中的规则 有可能发生改变,需要重新更新的话呢? Michael Ran 于2020年6月4日周四 下午5:22写道： > 放到open 方法里面可以吗？ > 在 2020-06-04 14:15:05，"小屁孩" <932460...@qq.com> 写道： > >dear： 我有个问题想请教下,关于flinksql与mysql维表关联 关于mysql更新的问题 >

Re: CheckPoint Dir 路径下引发的一些问题

感谢回复, 我明白了在状态恢复时具体细节,以及其他文件的产生及作用 Weihua Hu 于2020年6月5日周五 下午1:48写道： > HI, Px New > > 1. Checkpoint 保存数量可以通过参数： state.checkpoints.num-retained 来控制，默认是 1 > 2. _metadata 只是一些元数据，保存了state 的句柄，其他文件是 state 数据，由各 Task 在触发 checkpoint > 的时候上传。相反在恢复 checkpoint 的时候JM 读取_metadata 将相应句柄下发到

Re: CheckPoint Dir 路径下引发的一些问题

- > 发件人:"Weihua Hu" 发送时间:2020年6月5日(星期五) 中午1:48 > 收件人:"user-zh" > 主题:Re: CheckPoint Dir 路径下引发的一些问题 > > > > HI, Px New > > 1. Checkpoint 保存数量可以通过参数： state.checkpoints.num-retained 来控制，默认是 1 > 2. _metadata 只是一些元数据，保存了state 的句柄，其他文件是 state

CheckPoint Dir 路径下引发的一些问题

Hi everyOne 有一个关于CheckPoint相关的一个问题: 1.我在项目中使用的状态后端为:Fsstatebackend 2.我在jobManager的log输出找到相应的job ID后 去对应的HDFS 找到了对应的chk目录 3.但我有两个疑问: 3.1.没有设置 chk的存储数默认是多保留多少份呢(我这边看到保留了近20次的chk)? 3.2 当我点进具体的chk-id 后 发现有很多文件[见2图] 我清楚的是当任务发生异常后tesk 会从hdfs 将_metadata 下载后进行任务恢复操作的,那其他的哪些文件是如何产生的?以及有什么作用呢? 期待回复:

Re: Flink 1.6 版本，RocksDBStateBackend ,增量 Checkpoint 目录问题

对 我认为这也不是很合理, 不知道有什么更好的解释吗 LakeShen 于2020年1月16日周四 下午5:06写道： > 原来是这样，中间的确有很多 Checkpoint 超时失败，对于这种由于 Checkpoint 失败创建的目录，Flink 本身是不会删除的，对吗？ > 也就是这部分状态文件，会一直存储在HDFS 上面，这种情况是否会造成 Flink Checkpoint 目录下 shared目录无限增大呢， > 非常感谢你，lucas，期待你的回复。 > > lucas.wu 于2020年1月16日周四 下午4:50写道： > > >

Re: flink数据sink到mysql 是事务处理

Hi 我最近在处理幂等性写入Mysql 但相关文档太少并没有实质性的操作, 所有方便参观下你这边实务写入的code吗? 非常感谢你 也可发code到我的email 15701181132mr@gmail.com 1101300123 于2020年4月10日周五 上午11:42写道： > > >

Re: Re: flink savepoint checkpoint

> > [1] https://issues.apache.org/jira/browse/FLINK-11458 > [2] https://issues.apache.org/jira/browse/FLINK-12619 > Best, > Congxian > > > zhisheng 于2020年1月10日周五 上午11:39写道： > > > hi，这个参数我理解的作用应该是：作业取消的时候是否清除之前的 checkpoint，但这个 checkpoint > > 的并不一定是作业最新的状态。而

Re: flink savepoint checkpoint

Hello ,针对于你这个问题 在FLink 中 是有这个配置的. 当程序stop时,会额外保存检查点 --> env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); lucas.wu 于2019年12月11日周三 上午11:56写道： > hi 各位： > >

Re: checkpoint、state

Yes, CheckPoint 是一个封装后的Meta信息 而这个被封装的Meta信息是有所有Operator 的state 的组成了 hahaha sc 于2019年11月29日周五 下午4:12写道： > > flink的每条数据既然都做了checkpoint，做成全局分布式一致性快照，那还需要本地state干啥呢？是否可以理解成，本地state是一致性快照的一部分而已？ > 昨天看了 社区的直播回放，听PMC的介绍，好像不是一回事。 >

Re: 流处理任务失败该如何追回之前的数据

rollback 后 taskManager 会去获取持久化存储的snapshot , Source 也会回放到 做CheckPoint 时的那个点上 不论你使用的是是什么时间吧 - Dian Fu 于2019年11月14日周四 下午1:14写道： > 如果使用的event > time，watermark是根据event计算出来的，和系统时间没有关系，所以从最后一次checkpoint恢复即可。为什么你会觉得有问题？ > > > 在 2019年11月13日，下午8:29，柯桂强 写道： > > > > >

Re: Flink DataStream KeyedStream 与 AggregateFunction

[image: image.png]建议深入解下 keyWindow,NoKeyWindow 与Assigner TimeWindow And WindowsFunction  Yuan,Youjun 于2019年11月9日周六 下午7:46写道： > 1， 是 > 2，没有标准答案，是否可以本地先聚合? > 3，AggFunc是指定做何种聚合，是sum, 还是avg, 还是count。不指定的话，Flink哪里指导你要计算啥? > > -邮件原件- > 发件人: 王佩 > 发送时间: Saturday, November 9, 2019 11:45 AM >