FLINK WEEKLY 2019/44

tor-API-of-Table-Module-td34537.html> Terry Wang 发起了 FLIP-84 的讨论，旨在重构部分设计不良的 Table API [DISCUSS] Semantic and implementation of per-job mode <http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Semantic-and-implementation-of-per-job-mode-td34502.html#a34520> tison 发起了关于 FLI

Re: Mac操作系统下Ask timed out问題

这个问题其实还挺常见的，问题有很多种可能。比如你看一下 log 下面 cluster 的日志看看 Dispatcher 有没有正常的起起来，flink-conf 你有没有改过导致超时过短（比如 1 ms）或者 资源不够。也有升级 jdk 小版本后就不复现的。 Best, tison. jeff kit 于2019年11月5日周二 下午2:43写道： > 你好。 > 我本地的Flink是官网提供的Binary包，非自己编译的。 > 我相信我的情况是少数，绝大多数人的Mac都是能跑的。 > > On Tue, Nov 5, 2019 at 2

Re: Flink DataStream KeyedStream 与 AggregateFunction

关于第二点，BLINK 和腾讯的 FLINK 定制版本 TDFLINK 都做了 local keyby 功能， 社区相关的讨论见 FLIP-44，可惜社区一直没啥时间跟进这个 Thread Best, tison. Px New <15701181132mr@gmail.com> 于2019年11月10日周日 上午10:58写道： > [image: image.png]建议深入解下 keyWindow,NoKeyWindow 与Assigner TimeWindow > And WindowsFunction  > > Yuan,Yo

FLINK WEEKLY 2019/45

FLINK WEEKLY 2019/45 用户问题 - FLINK 集群搭建的综合问题 : 社区新用户提出了搭建 FLINK 集群的一系列问题，包括监控、作业上下线和恢复相关的问题。有业务接入 FLINK 需求的朋友可以跟踪一下这个

Re: yarn-session.sh 启动 报错

图看不见，你可以外链图床或者 gist 贴 log Best, tison. 李军 于2019年11月15日周五 下午4:07写道： > 这个报错实在不知道是什么意思，哪个地方连接不上 > >

Re: yarn-session.sh 启动 报错

Hadoop version, download the optional pre-bundled Hadoop that matches your version and place it in the lib folder of Flink, or export your HADOOP_CLASSPATH <https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html> Best, tison. 李军 于2019年11月18日周一 下午4:31写道：

FLINK WEEKLY 2019/46

FLINK WEEKLY 2019/46 用户问题 - 关于从savepoint启动作业报错 migration for MapState currently isn't supported. : 1.10 中支持了 RocksDB

Re: yarn-session.sh 启动 报错

你可以改一下 yarn-session.sh 的内容，看一下最后执行的命令是啥，可能 shell 里多了空格导致一些解析上的问题。 Best, tison. 李军 于2019年11月18日周一 下午4:44写道： > 找到问题了； > 是我这个包：flink-shaded-hadoop-2-uber-2.8.3-7.0 (1) 名字错了； > 但是又有一个错误不是很明白； > > > 签名由 网易邮箱大师 <https://mail.163.com/dashi/dlpro.html?from=mail81> 定制 >

Re: ./bin/yarn-session.sh 启动； Error while running the Flink Yarn session. 错误

你的那个图可能是因为一些参数传得不对导致 YARN 部署的时候出问题了。我之前遇到过这种情况是因为我把一个参数传错了 YARN 的 APP 起来之后抛异常 你看到在那边不停的 retry 是一个已知的 BUG，我记得最近几个版本已经修了，我找找对应的 JIRA Best, tison. 李军 于2019年11月18日周一 下午4:50写道： > ./bin/yarn-session.sh 启动； Error while running the Flink Yarn session. 错误 > 报错信息图： https://blog.cs

FLINK WEEKLY 2019/48

FLINK WEEKLY 2019/48 感谢社区同学 forideal 负责编写本期 FLINK WEEKLY！ 用户问题 - 如何成为flink的contributor

Re: flink 1.9.1 guava version conflict

可以直接使用 flink-cep 模块吗？ 如果是自己定制的 flink lib，可以提供更详细的打包过程和作出的改动吗？ 这里就是不同的 guava 版本没 shaded 好导致 classloader 解析的时候出现冲突，这个问题是 adhoc 的，需要进一步的了解你【我是下载了源码之后，自己编译了flink cep相关的jar然后引入进来。】这个过程是怎么做的。 Best, tison. 孙森 于2019年11月19日周二 下午2:23写道： > 补充 > > 我是下载了源码之后，自己编译了flink > cep相关的jar然后引入进来

FLINK WEEKLY 2019/47

FLINK WEEKLY 2019/47 用户问题 - 关于flink1.7.2checkpoint本地文件存储，设置文件个数的问题 : 文件个数是 FLINK 内部逻辑，不可配置也无需配置 - Cron style

Re: Re: flink on yarn 指定节点开启 yarn session 报错

确实是 historyserver.web.port 的默认值，但我记得 HistoryServer 默认是不启动的 总之可以确认下问题能否稳定复现，失败的瞬间端口有无被占用，以及换个端口能不能起来 如果还不行再找找其他原因 Best, tison. Yangze Guo 于2019年11月27日周三 上午11:23写道： > 8082我记得是historyserver.web.port的默认值，很可能是冲突了改成8081呢？ > > Best, > Yangze Guo > > On Wed, Nov 27, 2019 at 1

Re: 本地checkpoint 文件190G了

retain 20 干啥...默认是 1 基本也还行，我还没见过其他生产上超过 5 的... 你的 checkpoint interval 是多少（这个不影响最终大小但是可能很快你就看到 checkpoint 文件大小涨上去），然后单次 checkpoint 大小多大知道吗？ 听上去像是预期行为因为你配置就是要保留很多的 checkpoint，实际上自动恢复的时候只会读最后一个 Best, tison. sun <1392427...@qq.com> 于2019年11月30日周六 上午10:33写道： > retain 配置的20，还需要在程序里面配置什么吗，

Re: 本地checkpoint 文件190G了

你的 retain 数量设置是多少，然后程序里 state 本身写了多大的 state，有没开启 incremental checkpoint Best, tison. sun <1392427...@qq.com> 于2019年11月30日周六 上午10:28写道： > 花了两天时间-- 原始邮件 -- > 发件人: "Henry" > 发送时间: 2019年11月30日(星期六) 上午10:25 > 收件人: "user-zh"; >

Re: 回复： 本地checkpoint 文件190G了

retain 调小是你的场景比较简单的方法，1 2 3 都行，你可以试试... Best, tison. sun <1392427...@qq.com> 于2019年11月30日周六 下午2:08写道： > 好的，我主要想知道，怎么定时清理那些我用不到的checkpoint 文件，怎么让我的本地checkpoint > 不会一直长大-- 原始邮件 -- > 发件人: "tangjunli...@huitongjy.com" > 发送时间: 2019年11月30日

Re: 回复：Kafka库和Flink的反向类加载方法不兼容

最近我在梳理这部分的代码，刚好看到这个邮件就敦促这写了这篇小短文 https://zhuanlan.zhihu.com/p/93374622 简要介绍了我理解的 FLINK 依赖上传和加载的过程 过程中发现官方文档中有一节 https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/debugging_classloading.html 已经把很多设计原则和坑都列出来了，不妨一看 Best, tison. 巫旭阳 于2019年11月23日周六 下午9:19写道： > 感谢回答 > 出现这个问

Re: CliFrontend 未优先加载用户jar包中的class

也是一种 hack 的方法，不过社区肯定不能在 master 上这么搞就是了（x Best, tison. aven.wu 于2020年3月3日周二 下午4:44写道： > 感谢回答 > 后来我查了Flink run脚本的classpath设置，我修改了脚本将我的jar包指定在flink classpath的最前面得以解决问题 > > Best > Aven > > 发件人: tison > 发送时间: 2020年3月3日 14:16 > 收件人: user-zh > 主题: Re: CliFrontend

Re: CliFrontend 未优先加载用户jar包中的class

1.9.2 和 1.10 上已经修复此问题，修改可参考 https://issues.apache.org/jira/browse/FLINK-13749 Best, tison. aven.wu 于2020年3月3日周二 下午2:04写道： > 组件版本 Hadoop 2.7.3，flink 1.9.1 ，elasticsearch6.5。 > 该问题的起源是因为程序我的用户程序用Jackson，并依赖了Elasticsearch rest client > ，在Yarn集群上提交任务的时候出现了如下异常： > java.lang.NoSu

Re: CliFrontend 未优先加载用户jar包中的class

https://github.com/apache/flink/commit/0f30c263eebd2fc3ecbeae69a4ce9477e1d5d774 Best, tison. tison 于2020年3月3日周二 下午2:13写道： > 1.9.2 和 1.10 上已经修复此问题，修改可参考 > > https://issues.apache.org/jira/browse/FLINK-13749 > > Best, > tison. > > > aven.wu 于2020年3月3日周二 下午2:04写道： &

Re: Re: flink on yarn任务启动报错 The assigned slot container_e10_1579661300080_0005_01_000002_0 was removed.

你上面的是 taskmanager.err，需要的是 taskmanager.log Best, tison. 郑 洁锋 于2020年1月23日周四 下午10:22写道： > 之前挂过 后面启动的时候 是checkpoints的文件丢了？ 你是这个意思吗？ > > > zjfpla...@hotmail.com > > 发件人： zhisheng<mailto:zhisheng2...@gmail.com> > 发送时间： 2020-01-22 16:45 &g

Re: Re: flink-1.10.0通过run -m yarn-cluster提交任务时异常

常见问题。 现在 Flink 不 bundle hadoop，所以你要设置下 HADOOP_CLASSPATH Best, tison. amenhub 于2020年2月18日周二 上午11:51写道： > hi, Weihua > > > 如你所说，我想要通过flink on yarn的run方式提交任务到集群上，但是当我运行./bin/flink run -m > yarn-cluster ../examples/batch/WordCount.jar ，还是一样的错误， > 日志信息只有这么一些；如果按您所说，是因为没有成功加载Flin

Re: Re: flink on yarn jdk版本问题

玄学问题，升级 JDK 小版本可接，或与类型擦除有关 你可以share一下 JM 侧的日志，应该有作业执行异常 Best, tison. 郑 洁锋 于2020年1月15日周三 下午2:17写道： > Hi， > > 非常感谢，可以了，我在flink-conf.yaml中添加了如下配置项即可正常运行 yarn-session.sh了,且Flink > Dashboard也能正常查看了 > > containerized.master.env.JAVA_HOME: /us

Re: Re: MiniCluster问题

你这完全是把几个概念混在一起了，MiniCluster 就是一个集群，是一个内部的部署模式，跟 standalone 是平行的概念。我看不懂你要干什么，但是就你的问题来说，我上面说了，就是你 MiniCluster new 出来之后没 start。但我不确定这个是不是你要的效果，MiniCluster 和 standalone 是平行的两种东西。 Best, tison. 郑 洁锋 于2020年1月16日周四 下午2:27写道： > 因为我这边看他是standalone，然后看到flink官方文档里面部署模式也有standalone模式，所以按照那个模式部署后

Re: Re: MiniCluster问题

是的，MiniCluster 会在同一个进程里起 JM TM，是一个主要用于测试的集群 standalone 的意思是没有接 YARN 这种资源管理框架，TM 由用户自己手动起，是一个可用于生产的集群 Best, tison. 郑 洁锋 于2020年1月16日周四 下午2:39写道： > 我是不是可以理解为是local的cluster，本身会去启动一个flink cluster（当前服务器模拟分布式环境），无需单独部署一个flink集群 > > > zjfpla...@hotmail

Re: MiniCluster问题

你 MiniCluster 要 start 啊（x Best, tison. 郑 洁锋 于2020年1月16日周四 上午11:38写道： > MiniCluster代码执行过程中报错： > > SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". > SLF4J: Defaulting to no-operation (NOP) logger implementation > SLF4J: See http://www.slf4j.org/code

Re: Re: MiniCluster问题

MiniCluster miniCluster = new MiniCluster(configBuilder.build()); miniCluster.start(); MiniClusterClient clusterClient = new MiniClusterClient(config, miniCluster) ; Best, tison. tison 于2020年1月16日周四 下午1:30写道： > 跟集群无关 > Best, > tison. > > > tison 于2020年1月16日周四 下午1:30写道： &

Re: Re: MiniCluster问题

跟集群无关 Best, tison. tison 于2020年1月16日周四 下午1:30写道： > 1. 这是个内部实现类，文档是一个问题，但最好不要直接依赖 > > 2. ？你截图的代码片段在哪？我看是你自己代码创建使用的啊 > > Best, > tison. > > > 郑 洁锋 于2020年1月16日周四 下午1:18写道： > >> MiniCluster有没有相关文档，官方文档里面看到部署模式里面没有相关的内容？ >> 我是通

Re: Re: MiniCluster问题

1. 这是个内部实现类，文档是一个问题，但最好不要直接依赖 2. ？你截图的代码片段在哪？我看是你自己代码创建使用的啊 Best, tison. 郑 洁锋 于2020年1月16日周四 下午1:18写道： > MiniCluster有没有相关文档，官方文档里面看到部署模式里面没有相关的内容？ > 我是通过bin/start-cluster.sh启动的flink standalone集群 > > > > zjfpla...@hotmail.com > > 发

Re: 支持flink.yarn.jars 参数

有这个想法，目前腾讯内部已经实现了相关功能，我记得 Yang Wang(in cc) 在阿里也做了类似的功能，这个要做干净可能需要连着跟 YarnClusterDescriptor 的代码都整理一下。确实也看到这个需求常常被提起，尽量在 1.11 里面实现吧。 你也可以再详细描述下行为或者由你实现社区这边帮忙 review 呀，我不太记得有没有 JIRA 了，你可以找找或者直接建一个。 Best, tison. melin li 于2020年1月20日周一 下午4:59写道： > 在spark中有一个spark.yarn.jars 参数，作业依赖jar 直接放在hdfs上

Re: flink on yarn任务启动报错 The assigned slot container_e10_1579661300080_0005_01_000002_0 was removed.

, tison. 郑 洁锋 于2020年1月22日周三 上午11:16写道： > 大家好， >flink on yarn任务启动时，发现报错了The assigned slot > container_e10_1579661300080_0005_01_02_0 was removed. >环境：flink1.8.1，cdh5.14.2，kafka0.10，jdk1.8.0_241 > > flink版本为1.8.1，yarn上的日志： > > 20/01/22 11:07:53 INFO entr

Re: Re: flink on yarn任务启动报错 The assigned slot container_e10_1579661300080_0005_01_000002_0 was removed.

那你看下 TM 那台机器上的 TM 日志，从 JM 端来看 TM 曾经成功起来过并注册了自己，你看看 TM 是怎么挂的或者别的什么情况 Best, tison. 郑 洁锋 于2020年1月22日周三 上午11:54写道： > TM没有起来，服务器本身内存cpu都是够的，还很空闲 > > > zjfpla...@hotmail.com > > 发件人： tison<mailto:wander4...@gmail.com> > 发送时间： 2020

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations! Dian Best, tison. Zhu Zhu 于2020年1月17日周五 上午10:47写道： > Congratulations Dian. > > Thanks, > Zhu Zhu > > hailongwang <18868816...@163.com> 于2020年1月17日周五 上午10:01写道： > >> >> Congratulations Dian ! >> >> Best, >> Hailong Wan

Re: CountEvictor 与 TriggerResult.FIRE_AND_PURGE 清理窗口数据有区别吗?

正好看到这一部分，还是有的，你考虑下滑动的计数窗口 [1] 会在 fire 之后把整个 windowState 丢掉，[2] 其实会重新计算 evict 之后的 windowState Best, tison. USERNAME 于2020年1月21日周二 下午5:21写道： > 大家，新年快乐~ > > > [1] TriggerResult.FIRE_AND_PURGE > > https://github.com/apache/flink/blob/1662d5d0cda6a813e5c59014acfd7615b153119f/fl

Re: Re: CountEvictor 与 TriggerResult.FIRE_AND_PURGE 清理窗口数据有区别吗?

dsWithTimestamp) { windowState.add(record.getStreamRecord()); } } Best, tison. USERNAME 于2020年1月21日周二 下午8:25写道： > evict 丢弃掉的数据，在内存或者RocksDB中也会同步删除吗？ > > > > > > > 在 2020-01-21 17:27:38，"tison" 写道： > >正好看到这一部分，还是有的，你考虑下滑动的计数窗口 > > > >[1] 会在 fire 之后把整个 win

Re: 问一下Flink Plan Visualizer什么时候会更新成1.9的样式

cc Yadong 帮你抄送了 WebUI 重构的 manager Best, tison. 于2020年1月10日周五 上午11:26写道： > 1.9的前端ui不是相比于1.8重构了吗，官网的visualizer页面还是1.8的老样式 > > -邮件原件- > 发件人: tison > 发送时间: 2020年1月8日 13:14 > 收件人: user-zh > 主题: Re: 问一下Flink Plan Visualizer什么时候会更新成1.9的样式 > > 请问你所说的 1.9 的样式是怎么样

Re: jobgraph 生成

A public way to get JSON plan of a JobGraph is, with an existing Flink Cluster, use REST API JarPlan[1]. Best, tison. [1] https://ci.apache.org/projects/flink/flink-docs-master/monitoring/rest_api.html#jars-jarid-plan tison 于2020年1月8日周三 上午11:08写道： > Hi Zhang, > > I ju

Re: jobgraph 生成

Hi Zhang, I just notice that it is sent to user list. Please send to user-zh list(in cc) next time if you want to discuss in Chinese. Best, tison. tison 于2020年1月8日周三 上午11:06写道： > 如果你是流作业的话，参考这个页面[1]搞到 JobGraph 之后可以 > > JsonPlanGenerator.generatePlan(jobGraph) > > 拿到 JobGraph 的

Re: 问一下Flink Plan Visualizer什么时候会更新成1.9的样式

请问你所说的 1.9 的样式是怎么样的呢？我记得最近有跟 visualizer 相关的讨论，但是没有这个特殊的 issue，你可以直接在 JIRA 上提 issue Best, tison. 于2020年1月8日周三 下午12:56写道： > 有大佬能解答下吗 > > -邮件原件- > 发件人: slle...@aliyun.com.INVALID > 发送时间: 2020年1月6日 11:15 > 收件人: user-zh@flink.apache.org > 主题: 问一下Flink Plan Visualizer什

Re: Flink 1.10 StopWithSavepoint only suit for the sources that implement the StoppableFunction interface?

The StoppableFunction is gone. See also https://issues.apache.org/jira/browse/FLINK-11889 Best, tison. LakeShen 于2020年3月12日周四 下午5:44写道： > Hi community, > now I am seeing the FLIP-45 , as I see the stop command only suit > for the sources that implement the Stoppabl

Re: 关于Flink 命令行参数广播的问题

Hi Aven, 静态字段的使用可能会很 tricky，因为只有同一个 task 的代码才运行在同一个 classloader 里。我见过想用静态字段做全局 Map 存储的，那个实际上只有并行度设置为 1 的时候语义才对。 你说启动的生命周期执行一些用户代码，那其实就是 RichFunction 的 open 方法，它就是设计来做这个的。具体可以看你的实际业务，未必要搞得这么奇怪（x Best, tison. aven.wu 于2020年3月12日周四 上午10:54写道： > Hello > > 还有一个问题，除了在算子的Open方法中获取这个参数还有别的

Re: Re: jobGroph如何以pre-job的方式提交到yarn运行

OK 你先说一下你的 Flink 版本是啥，我感觉这个是很久以前的版本，差不多 1.7 的样子，然后没有保密问题的话你的代码文件发一下，然后完整报错堆栈也发一下。 这个可能是你初始化 YarnClusterDescriptor 的时候有问题，你提供的都是很残缺的片段，没法猜测到底是啥原因。 一般来说 Flink 现在的 Client 实现并不是很好，直接使用 CLI 是不会有太多问题的，如果直接依赖 ClusterDescriptor 这些抽象里面有一些潜规则，你自己看的话可能得对着 Flink 的源码使用点逐步调试排查。 Best, tison. nicygan 于2020年

Re: jobGroph如何以pre-job的方式提交到yarn运行

不成功的报错是啥？ Best, tison. nicygan 于2020年3月7日周六 上午11:14写道： > dear all： > > 我用的flink版本1.9，现在我把flinksql语句生成了jobGroph，现在我不知道如何提交到yarn上，以pre-job方式运行。我尝试通过生成 > yarnClusterDescriptor提交代码，但不成功，代码大致如下，各位有没有成功示例求分享。 > > .. > JobGraph jobGraph = env.getStreamGraph(&qu

Re: Re: Re: jobGroph如何以pre-job的方式提交到yarn运行

报错前面加上这两行 final YarnConfiguration yarnConfiguration = new YarnConfiguration(); yarnClient.init(yarnConfiguration); 如果还不对就查一下 HADOOP_CLASSPATH 和 yarn-site 这些配置有没有正确配置上 Best, tison. nicygan 于2020年3月7日周六 下午4:53写道： > tison，你好。 > > > 版本是1.9，没啥隐私，代码如下： > Jo

Re: How to change the flink web-ui jobServer?

IIRC Flink on Kubernetes doesn't support configure rest port as port range. Maybe Yang(in cc) can give more information and if so, our current logic only take care of RestOptions.PORT but not RestOptions.BIND_PORT, which will be a bug. Best, tison. LakeShen 于2020年3月15日周日 上午11:25写道： >

Re: org.apache.flink.table.planner.PlanningConfigurationBuilder.java

这个文件是编译时生成的，请在根目录下运行 mvn package Best, tison. jaslou 于2020年3月10日周二 下午11:15写道： > Hi, > > > 在编译源码的时候发现flink-table-parnner模块的org.apache.flink.table.planner.PlanningConfigurationBuilder.java类报错， > 找不到 > org.apache.flink.sql.parser.impl.FlinkSqlParserImpl文件，发现flink-sql-parser模块

Re: 关于flink run -m yarn提交失败。flink1.9

-yd 参数影响的是你是否使用 perjob 模式提交作业，简单地说 with -yd 以 perjob 模式提交作业，即启动一个新集群 without -yd 提交到一个现有的 Flink on YARN 集群 哪个是你的需求呢？有没有实现用 yarn-session 启动 Flink on YARN 集群呢？ Best, tison. guanyq 于2020年4月15日周三 上午8:46写道： > 提交失败，本人测试与-yd参数有关系，这个参数去掉就可以提交了。但是不知道 -yd这个参数影响了什么？ > At 2020-04-14 15:31:00, &

Re: 为消息分配时间戳但不想重新分配水印

在 getCurrentWatermark 里返回 null 就行了，会 forward 此前的 watermark 的。另外语义上使用 AssignerWithPunctuatedWatermarks 会更合适一点。 Best, tison. taowang 于2020年4月16日周四 下午5:13写道： > Hello,大家好： > 在flink > stream中我这里遇到一个需求是，想到对上一个算子输出的消息重新分配时间戳，但此时我不想重新分配水印。在从kafka读取消息时我已经添加了水印。 > 为了实现这个功能，我想有两种方法： > 1.

Re: 为消息分配时间戳但不想重新分配水印

从语义上说，已经有产生 Watermark 的逻辑了，如果 forward 此前的 watermark 在其他一些用户场景下或许也不合适。从另一个角度考虑你也可以把 watermark 带在 element 上，实现 AssignerWithPunctuatedWatermarks 的 Watermark checkAndGetNextWatermark(T lastElement, long extractedTimestamp); 方法时从 element 取出来 Best, tison. tison 于2020年4月16日周四 下午10:36写道： > 喔，

Re: 为消息分配时间戳但不想重新分配水印

id 后创建 JIRA 单即可 Best, tison. taowang 于2020年4月16日周四 下午10:12写道： > 感谢回复，但是很抱歉我试了一下发现不可以。 > 无论是使用了`AssignerWithPeriodicWatermarks`的`getCurrentWatermark`还是`AssignerWithPunctuatedWatermarks`的`checkAndGetNextWatermark`，当它们`return > null`时下游算子拿到的水印都显示为`No > Watermark

Re: 1.10任务执行过程--源码的一些疑问

invokable 一般是 StreamTask 或者它的子类 StreamSourceTask，具体的 UDF 在 StreamTask 里，有几层包装。 MailBox 那些其实是一个简单的 EventLoop 实现，或者你理解为 Actor Model 的实现也行，可以参考这些名词的解释文章一一对应。 Best, tison. 祝尚 <17626017...@163.com> 于2020年4月19日周日 下午5:43写道： > Hi，all > 在阅读1.10有关job执行过程相关源码时遇到一些疑问，我在看到Task#doRun()方法 > i

Re: 如何看到他人问题

cc Leonard Xu 于2020年4月21日周二 下午5:03写道： > Hi, > 订阅user-zh邮件邮件组即可收到该邮件组里的所有邮件， > 可以发送任意内容的邮件到 user-zh-subscr...@flink.apache.org 订阅来自 > user-zh@flink.apache.org 邮件组的邮件 > > 邮件组的订阅管理，可以参考[1] > > 祝好， > Leonard Xu > https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list > > > 在

Re: Re: flink启动任务的方式

REST API jar run endpoint 不支持关联其他 jar 听起来是个问题。FatJar 是一种解决方案，这个可以提到 JIRA 上作为需求（x Best, tison. Arnold Zai 于2020年4月21日周二 下午5:46写道： > jarFiles参数不是个参数列表么，多传几个。 > > 或把依赖提前部署到${FLINK_HOME}/plugins里 > > chenxuying 于2020年4月21日周二 下午3:36写道： > > > 这

Re: 双流Join 基于IngressTime计算后在按照Keyby sum聚集后每次计算结果不一致的问题

IngestionTime 多次运行结果不一样很正常啊，试试 event time？ Best, tison. xuefli 于2020年4月15日周三 下午10:10写道： > 遇到一个非常头痛的问题 > > Flink1.10的集群，用hdfs做backend > > 一个流aStream准备了10亿的数据，另外一个流bStream百万 > 如果如下操作 > > 我遇到一个问题 双流Join > 带windows，使用IngressTime,在一个流的数据限制在几十万级别时，每次重算结果一致。但数据量换成10亿级别，另外

Re: flink 1.7.2 YARN Session模式提交任务问题求助

注意环境变量和 fs.hdfs.hdfsdefault 要配置成 HDFS 路径或 YARN 集群已知的本地路径，不要配置成客户端的路径。因为实际起作用是在拉起 TM 的那台机器上解析拉取的。 Best, tison. Chief 于2020年4月15日周三 下午7:40写道： > hi Yangze Guo > 您说的环境变量已经在当前用户的环境变量文件里面设置了，您可以看看我的问题描述，现在如果checkpoint的路径设置不是namenode > ha的nameservice就不会报错，checkpoint都正常。 > > > >

Re: 双流Join 基于IngressTime计算后在按照Keyby sum聚集后每次计算结果不一致的问题

Source 算子生产数据时附上的时间戳，你后面有 window/join，这个时间的间隔不是确定性的，大数据量下因为 GC 等原因有不同延迟从而导致 Window 划分不一致是正常的。即使使用 EventTime，在 Watermark 不够可靠的情况下也有可能不一致，足够可靠又可能受到滞后数据的影响损失性能并占用内存。可以看看上面文档的相关内容。 Best, tison. tison 于2020年4月15日周三 下午10:18写道： > IngestionTime 多次运行结果不一样很正常啊，试试 event time？ > > Best

Re: 最新代码编译问题

Hi, You'd better use English in user mailing list. If you prefer Chinese, you can post the email to user-zh@flink.apache.org . Best, tison. tison 于2020年3月16日周一 下午4:25写道： > 从 flink/ 根目录运行 mvn clean install -DskipTests > > 你这个问题是因为 impl 那些类是生成类，一般来说从根目录运行一次全量编译可以解决各种疑难杂症 > >

Re: 关于Flink1.10 Standalone 模式任务提交

的 BUG Best, tison. 宇张 于2020年4月23日周四 上午11:36写道： > 我尝试进行了添加，程序依然无法运行，异常信息和上面一致，下面是我的shade配置： > > > org.apache.maven.plugins > maven-shade-plugin > > > > package >

Re: flink1.10关于jar包冲突问题

能具体看一下报错吗？一般来说 Flink 自己需要的依赖都会 shaded 起来，不需要的传递依赖都应该 exclude 掉。暴露成 API 的类别一般需要封装或者使用稳定的接口。 这可能是一个工程上的问题，你可以具体罗列一下遇到的 JAR 包冲突问题，看一下怎么解。 Best, tison. 宇张 于2020年4月22日周三 上午11:52写道： > 在使用Flink1.10时，遇到最多的问题就是jar包冲突问题，okio这个包flink-parent引用的就有四个版本，还有一些没办法< > exclusions>的包，请问社区有没有优化jar包冲突的提议。 >

Re: json中date类型解析失败

应该是有内置的 UDF FROM_UNIXTIME 可以用的 Best, tison. Leonard Xu 于2020年4月22日周三 下午1:15写道： > Hi > 报错是因为'format.ignore-parse-errors' > 参数是在社区最新的版本才支持的，FLINK-16725在1.11应该也会修复，如果需要使用的话可以等1.11发布后使用或者自己编译master分支， > 即使有了这个参数你的问题也无法解决，对你的case每行记录都会解析错误所以会过滤掉所有数据。 > 建议你可以在数据源就转为标准的json格式或者写个udf将

Re: 关于Flink1.10 Standalone 模式任务提交

虽然你放到 lib 下就能行了听起来是个 BUG，能不能说明一下你的 Flink 版本还有具体的启动命令。 FLINK-13749 可能在早期版本上没有，另外 Standalone 的类加载如果是 PerJob 有更改过。 Best, tison. tison 于2020年4月22日周三 下午5:48写道： > 看下你打包的 UberJar 里有没一个内容包括 > > org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory > > 的文件 > &

Re: 关于Flink1.10 Standalone 模式任务提交

看下你打包的 UberJar 里有没一个内容包括 org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory 的文件 META-INF/services/org.apache.flink.table.factories.TableFactory Best, tison. 宇张 于2020年4月22日周三 下午5:30写道： > 我这面使用Standalone模式运行Flink任务，但是Uber > Jar里面的TableSourceFactory不能被加载

Re: 关于Flink1.10 Standalone 模式任务提交

这个问题我建议你记一个 JIRA 然后提供一个可复现的程序。因为你如果是 Flink Standalone Session 模式，在 Client 端编译失败抛出如上异常，不应该跟放不放在 lib 下有什么关系。这边听你说感觉也很奇怪，可能需要本地复现一下比较好判断。 Best, tison. 宇张 于2020年4月23日周四 上午11:53写道： > 你的意思是，UberJar 不放在 lib 里，在用户程序里通过线程上下文 ClassLoader 能加载到 > KafkaTableSourceSinkFactory > 吗？（同时 class loadin

Re: 关于Flink1.10 Standalone 模式任务提交

另外你 shaded 里面去 shaded com.ibm.icu 也意义不明... Best, tison. tison 于2020年4月23日周四 下午3:34写道： > 这个问题我建议你记一个 JIRA 然后提供一个可复现的程序。因为你如果是 Flink Standalone Session 模式，在 Client > 端编译失败抛出如上异常，不应该跟放不放在 lib 下有什么关系。这边听你说感觉也很奇怪，可能需要本地复现一下比较好判断。 > > Best, > tison. > > > 宇张 于2020年4月23日

Re: flink barrier对齐 理解

Hi, 你可以看一下官网这张经典的图[1][2]，snapshot 是按算子级别来看的，跟 source 不 source 没啥关系，全局的 chk 由 jm 上的 checkpoint coordinator 协调。 Best, tison. [1] https://ci.apache.org/projects/flink/flink-docs-master/fig/stream_aligning.svg [2] https://ci.apache.org/projects/flink/flink-docs-master/concepts/stateful-stream

Re: 使用sql时候，设置了idle过期时间，但是状态还是一直变大

考虑把 SQL 贴成 gist 链接？ Best, tison. claylin <1012539...@qq.com> 于2020年5月17日周日 下午5:32写道： > sql作业定义如下，也通过TableConfig设置了最大和最小idle > time，但是运行很长时间，查看sst的目录flink-io-8a4ac39d-b8c3-4baa-bd08-a063e6e964e9下，状态还是在一直变打，导致作业线程读写state很耗时间，最后作业处于一直反压状态，求大佬支招CREATE > TABLE yy_yapmnetwork_original

Re: save point容灾方案咨询

这个我理解不在 Flink 的范畴里啊。你 savepoint 存到一个位置，然后外部挂一个同步器在主集群和容灾集群里同步（savepoint 目录）就可以吧。 Best, tison. zhisheng 于2020年5月17日周日 下午8:40写道： > hi > > 如果做 Checkpoint 或者 Savepoint 的时候可以填两个 HDFS 集群的地址路径（一个是你的主集群/另一个是容灾集群） > 是不是就可以解决你现在的问题，达到你想要的需求？ > > Best > > zhisheng > > 请叫我雷锋

Re: flink build-in 的 udf 的源码

Hi Benchao, 我想搭车问一下这个代码生成是全局仅一次还是每个 call 都会走一遍流程？或者是其他策略。 Best, tison. Benchao Li 于2020年5月16日周六 下午9:50写道： > Hi， > > Flink内置函数的实现方式跟udf不太一样，很多函数是直接用的代码生成来做的。 > > 下面是以blink planner为例，大概说下流程： > 1. FlinkSqlOperatorTable 这个类里面放的是内置函数表，这个表会被calcite parse > SQL的时候用到，直接把这些函数识别为具

Re: 關於LocalExecutionEnvironment使用MiniCluster的配置

是这样的。 这里的配置可以参考[1][2]两个类，具体你 Maven 启动的代码路径还跟[3][4]有关。 这边可能确实文档比较缺失。可以看下配置传递的路径，TM 的数量还有 RPC 的共享格式等配置，至少编程接口上都是可以配的。 Best, tison. [1] https://github.com/apache/flink/blob/master/flink-runtime/src/main/java/org/apache/flink/runtime/minicluster/MiniCluster.java [2] https://github.com/apache/flink

Re: 关于水位线Watermark的理解

整体没啥问题，但是我看你说【假如第一个数据的事件时间刚好为12：00的，那么此时水位线应该在11：59】，这个 Watermark 跟 allowedLateness 没啥关系哈，是独立的逻辑。 文档层面你可以看看[1]，源码你可以看看[2]里面检索 allowedLateness Best, tison. [1] https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html#allowed-lateness [2] https://github.com/apache

Re: 使用广播流要怎么保证广播流比数据流先到？

高老师的方案应该是比较 make sense 的，你从网络上去限制某个先到后到很麻烦，而且就算可以，也会涉及 Flink 网络层很底层的逻辑。通常来说希望【先到】的含义是【先处理】，那你把物理上先到的缓存起来后处理就可以了。 Best, tison. 1048262223 <1048262...@qq.com> 于2020年5月24日周日 下午2:08写道： > Hello，我的理解是这样的 > 广播流一般都是为了减少访问外部配置数据，提高性能来使用的，因此如果你是在这种场景下使用播流，我有一个在生产实践过的方法可供参考。 > > 可以先在正常数

Re: 订阅

Please send email with any content to -subscr...@flink.apache.org for subscription. For example, mailto:user-zh-subscr...@flink.apache.org to subscribe user-zh@flink.apache.org Best, tison. 葛春法-18667112979 于2020年10月8日周四 下午8:45写道： > I want to subscribe flink mail.

Re: 一个main方法启动2个yarn job问题

应该说 SQL 的 update 会在底层也 call 一次 env.execute 如果你配的是所谓的 detach 模式，是有这种可能的。这个是实现问题，你可以先贴一下代码，然后描述你要的行为，看下可以怎么写 Best, tison. Rui Li 于2020年8月28日周五 下午9:59写道： > 作业代码是怎么写的啊？按说写SQL的话不需要执行Env.execute > > On Fri, Aug 28, 2020 at 9:41 AM air23 wrote: > > > 你好。我有一个接kafka 写入tidb的任务

Re: flink任务yarn perjob 提交任务如何设置job name

代码里 env.execute("你的作业名") Best, tison. 丁浩浩 <18579099...@163.com> 于2020年9月30日周三 下午3:44写道： > 如题，我需要设置flink提交到yarn的job name应该怎么设置呢？

Re: Re: Flink消费kafka，突然间任务输出结果从原来的每秒几十万降低到几万每秒

Hi Yang, 你的意思是上游输出没变，全链路没有负载升高甚至反而降低，sink 输出变少么？ 如果全链路没有异常也没有负载升高、流量阻塞，那感觉就是业务逻辑的实际结果，可以看看输入数据的内容有没有变化。 Best, tison. Yang Peng 于2020年9月30日周三 上午10:29写道： > 感谢回复，我们看了consumer的lag很小 > 而且监控显示数据流入量也没明显变化但是感觉这部分数据只是offset被更新了但是数据没有消费到，这个问题之前没有遇到过 这是突发发现的 > 而且任务重启了没法jstack判断了 > &

Re: Re: Flink消费kafka，突然间任务输出结果从原来的每秒几十万降低到几万每秒

那有审计/监控的话看下每个节点的 in/out 记录呗，总能看到是哪一步跌了... 照你现在提供的信息听起来一切正常那就是业务逻辑本身输出少了，不然总得有哪里不一样。如果只有 sink 跌了，那就是 sink 有问题，比如可能依赖了外部环境或者内部积累错误等等。 Best, tison. Yang Peng 于2020年9月30日周三 下午5:26写道： > 感谢回复，是的，之前确实怀疑是业务逻辑导致的 > 但是重启任务之后数据输出恢复了，而且让任务从故障点重新消费也没发现问题，我们这个任务已经跑了几个月了第一次遇到这种问题 > > tison 于20

Re: Re: Flink消费kafka，突然间任务输出结果从原来的每秒几十万降低到几万每秒

故障点的意思是从开始跌的地方重新消费吗？如果是这样那就是有问题，可以看看之前输出变少是正确数据输出慢了还是有些没输出了，慢了就得看看当时的环境，应该还是会有什么网络或者负载有波动的，没有可能就要怀疑监控系统有问题了；少输出了就是错了，可能是依赖的外部环境不稳定等等。 Best, tison. tison 于2020年9月30日周三 下午5:33写道： > 那有审计/监控的话看下每个节点的 in/out 记录呗，总能看到是哪一步跌了... > > 照你现在提供的信息听起来一切正常那就是业务逻辑本身输出少了，不然总得有哪里不一样。如果只有 sink 跌了，那就是 s

Re: 请教二阶段提交问题

> 可是再次提交没有意义啊，没有数据[捂脸哭] 这个事儿是这样的，你用 checkpoint 之后呢没有反过来确认的 commit 会留在 state 里，所以重启的时候重新加载 state 的时候就会再提交一遍。然后向 kafka 这一类存储 commit offset 是幂等的，发现已经 commit 过就跳过就 OK 了。 Best, tison. 蒋佳成(Jiacheng Jiang) <920334...@qq.com> 于2020年9月26日周六 下午4:01写道： > > 两阶段提交的第一阶段提交中，事务参与者反馈ok后需要作出之后一定

Re: 编译Flink时找不到scala-maven-plugin:3.1.4

从日志看你的 scala 是 2.10 版本的，比较新版本的 flink 应该都只支持 2.11 和 2.12 Best, tison. Natasha <13631230...@163.com> 于2020年9月23日周三 下午4:00写道： > Hi All, > 很高兴加入Flink这个大家庭！但是有个问题困扰了我好久！ > 当我导入Flink到IDEA中准备进行编译，输入“mvn clean install -Drat.skip=true > -Dmaven.test.skip=true -Dmaven

Re: 向flink push代码

Flink 的特点就是快（x） Best, tison. 宇张 于2020年5月28日周四 上午10:56写道： > 感谢大佬们，我看到 Leonard Xu大佬已经关注了FLINK-17991 > <https://issues.apache.org/jira/browse/FLINK-17991>这个，好快的响应速度 > > On Thu, May 28, 2020 at 10:25 AM Leonard Xu wrote: > > > Hi, > > Yangze 贴了官方教程，也可以看下 Jar

Re: RichMapFunction的问题

关于第一个问题，最好细化一下【各种问题】是什么问题。 关于第二个问题，我印象中目前 Flink 不支持按并发（SubTask）级别指定调度的位置，绕过方案可以是设置每个 TM 仅持有一个 Slot。这方面我抄送 Xintong，或许他的工作能帮到你。 Best, tison. xue...@outlook.com 于2020年5月25日周一 上午11:29写道： > 遇到两个问题： > 背景：flink v1.10集群，几十台主机，每台CPU 16，内存 50G，整个job的并发是200 > 比如我的一个RichMapFunction在ope

Re: 关于水位线Watermark的理解

最近刚好看到张俊老师的 Flink 分享 [1]，这个里面对你想了解的部分介绍得很详细，可以结合阅读（x） Best, tison. [1] https://files.alicdn.com/tpsservice/73a1f1c404d2a658585cf4f4d86ef776.pdf smq <374060...@qq.com> 于2020年5月24日周日 下午10:25写道： > 恩恩，我是刚接触flink不久，所以很多地方没有很清楚，谢谢指点 > > > ---原始邮件--- > 发件人: tison 发送时间: 2020年5月

Re: 全局state

任意并行度全局状态从物理上就是不可行的，你可以了解一下分布式计算系统怎么部署物理作业的。“全局状态”要么依赖外部存储要么依赖实现（部署）细节。 你这个需求能不能自定义 KeyBy 细节（KeySelector）来实现？相关文档见 https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/api_concepts.html#define-keys-using-key-selector-functions Best, tison. star <3149768...@qq.com> 于2020年5月26日

Re: Kafka Consumer反序列化错问题

这个原因应该是类加载的顺序问题，你配置一下 child-first 的类加载，如果是 perjob 1.10 上我记得是要指定某个配置。 参考这个文档 https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html#user-jars--classpath Best, tison. Even <452232...@qq.com> 于2020年5月29日周五 下午6:48写道： > 谢谢，请问需要怎

Re: Kafka Consumer反序列化错问题

另外关于类加载的一般性文档，可以看下这个 https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/debugging_classloading.html Best, tison. tison 于2020年5月29日周五 下午7:46写道： > 这个原因应该是类加载的顺序问题，你配置一下 child-first 的类加载，如果是 perjob 1.10 上我记得是要指定某个配置。 > > 参考这个文档 > https://ci.apache.org/projects/flin

Re: flink1.10 on yarn 问题

然后你 execute 前后的代码片段甚至整个 main 如果可以的话通过 gist 贴一下（x） Best, tison. tison 于2020年5月29日周五 下午2:21写道： > 这个问题好诡异啊，一般来说编译会在 env.execute > 的时候拦截，不应该真的调度起来才对。你能详细描述一下你提交作业的方法还有这个错误报在哪里吗（client?cluster?）？ > > Best, > tison. > > > air23 于2020年5月29日周五 下午1:38写道： > >> cdh运行fli

Re: Re: flink1.10 on yarn 问题

你运行的命令是啥？然后在哪个目录下运行的，和 flink 下载下来解压的目录是什么相对关系？ Best, tison. air23 于2020年5月29日周五 下午2:35写道： > 代码就是flink自带的例子。 > > public class WordCountStreamingByJava { > public static void main(String[] args) throws Exception { > > // 创建执行环境 > StreamExe

Re: flink 1.10webui不显示print内容

你这个程序看起来不能通过 Web UI 提交。Flink 依赖内部异常在 Web UI 提交的路径里做编译。你这直接 Catch 了是拿不到作业图的。 你这个作业真的起来了吗？ 具体提交的操作怎么样的，除了你要的 taskmanager.out 没有，有啥？ Best, tison. smq <374060...@qq.com> 于2020年5月27日周三 上午7:34写道： > FlinkKafkaConsumer011 FlinkKafkaConsumer011<(topic, new SimpleStringSchema()

Re: 订阅中文邮件列表

请发送任意邮件到 user-zh-subscr...@flink.apache.org 订阅。 Best, tison. li wei 于2020年6月2日周二 下午7:36写道： > 中文邮件列表 >

Re: flink sql报错 Could not find any factory for identifier 'kafka'

那就要看下你是什么 Flink 版本，怎么提交到 YARN 上的，以及 YARN 的日志上的 classpath 是啥了 Best, tison. 王松 于2020年7月13日周一 下午12:54写道： > 各位好，写了个demo，代码如下，在本地跑没有问题，提交到yarn session上报错： > Caused by: org.apache.flink.table.api.ValidationException: Could not find > any factory for identifier 'kafka' that i

Re: Flink DataStream 统计UV问题

你这个需求貌似是要看一天的 UV 的实时更新量，可以看一下 sliding window。如果是每天 0 点清零，实时看今天的 UV，那就是另一个问题了，应该需要自己定义 trigger & evictor 每条触发一次 window...看你数据量吧 Best, tison. shizk233 于2020年7月10日周五 上午10:23写道： > Hi Jiazhi, > > > 1.如果数据流量不是很大的话，按每条数据触发也没问题。另外，基于事件时间的情况，提前触发可以选择ContinuousEventTimeTrigger，可以查看Tr

Re: flink 高可用问题

你看一下你的 chk 间隔，看起来是作业还没调度起来就开始 chk 所以失败。可能原因资源不足，调度不起来或者调度得慢，你 chk 间隔又小，就这样了。 如果是一直 chk 以这个方式失败，应该看下调度的日志为啥迟迟调不起来 Best, tison. Yichao Yang <1048262...@qq.com> 于2020年6月22日周一 上午10:57写道： > Hi > > > 看日志应该只是INFO，而不是错误，你的job是做不了checkpoint吗？ > > > Best, > Yichao Yang &g

Re: flink JobManager HA 异常 the fencing token is null

此异常 如果稍后又选举成功，这里的异常应该是 fencing token mismatch 一类的 Best, tison. tison 于2020年6月9日周二 下午9:15写道： > 啥 flink 版本啊？1.10 Dispatcher 魔改之后应该不会 null 的 > > Best, > tison. > > > whirly 于2020年6月9日周二 下午8:58写道： > >> 大家好： >> 环境一些作业出现下面异常，怀疑是Flink JobManager配置HA的问题，请

Re: flink JobManager HA 异常 the fencing token is null

啥 flink 版本啊？1.10 Dispatcher 魔改之后应该不会 null 的 Best, tison. whirly 于2020年6月9日周二 下午8:58写道： > 大家好： > 环境一些作业出现下面异常，怀疑是Flink JobManager配置HA的问题，请问可能是什么问题？ > > > 异常信息： > Internal server error., > side:\norg.apache.flink.runtime.rpc.exceptions.FencingTokenException: >

Re: flink JobManager HA 异常 the fencing token is null

噢，那应该就是上面说的问题了 你的 Dispatcher 能被发现说明一开始选主和发布是 ok 的，你可以贴一下 HA 的配置，看看有没特别不靠谱的，然后去日志里找一下丢 leadership 的日志，一般来说前后会有一堆 zk 链接 ConnectionLoss 或者 SessionExpire 的日志 Best, tison. whirly 于2020年6月9日周二 下午9:23写道： > Flink 1.8 > > > > > | | > whirly > | > | > 邮箱：whir...@163.com &

Re: flink精准一次性消费问题

>checkpoint的配置有什么要求吗？ 配成 EXACTLY_ONCE >还有就是kafka的事务提交多久能提交一次，可配置吗？ chk 的时候提交，这里面深究的话有点并发问题，可以看 TwoPhaseCommitSink 的细节 配置这个事儿...有能力自定义，但是为啥要这么做呢呢 Best, tison. 蒋佳成(Jiacheng Jiang) <920334...@qq.com> 于2020年6月11日周四 下午4:59写道： > checkpoint完成通知里提交的事务 > > > &g

Re: flink 编译

试试 mvn clean install -DskipTests -pl flink-runtime,flink-dist Best, tison. penguin. 于2021年1月12日周二 下午9:44写道： > Hi， > > > 请问有人知道怎么单独编译flink-runtime模块吗？ > 然后这样是否能把更改的部分直接在flink-dist包中的org.apache.flink.runtime目录下进行替换？ > 整体编译一次实在太慢了。 > 谢谢！ > > > penguin

Re: Flink与Yarn的状态一致性问题

PerJob 模式下，在作业完全挂掉之后，是会上报 YARN RM 应用自己失败的状态的。 当然，在 FLINK 察觉自己 FAILED 到上报给 YARN 是有一定的时延的，也有可能因为网络等问题上报失败。 你这个是短暂的不一致时间窗口，还是说 FLINK 集群已经退了，YARN 的状态还没有变化呢？ Best, tison. zhisheng 于2020年11月12日周四 下午8:17写道： > 同遇见过这个问题，所以作业监控告警的时候一般都是拿作业所有的 task 级别的状态，而不是简单的 yarn 状态 > > hdxg1101300123 于20

Re: Flink与Yarn的状态一致性问题

fo("Shutting {} down with application status {}. Diagnostics {}.", ...) Best, tison. JasonLee <17610775...@163.com> 于2020年11月13日周五 上午11:22写道： > hi > 1,首先确定你提交的是per-job模式吗? > 2,你说的任务状态是说jm还在任务在failover,还是任务确实是挂了,jm已经退出了? > > > > > - > Best Wishes > JasonLee > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: flink算子类在多个subtask中是各自初始化1个实例对象吗？

可以这么认为，大体上你可以认为每个并发有自己的环境。 技术上，算子对象是每个并发会实例化一个，而 static 变量的【共享】程度跟你设置的 slot per TM 值还有其他一些调度相关的参数有关，但是最好不要依赖这种实现层面的东西。 一种常见的误解是我创建一个 static HashMap 就神奇地拥有了全局的键值存储，这当然是不对的，只有在同一个 JVM 实例上也就是同一个 TM 上的任务才会看到同一个 HashMap 对象，而这几乎是不可控的。 可以看一下这篇文档[1]对物理部署的实际情况有一个基本的认知。 Best, tison. [1] https

  1   2   >