回复：【问题分析】Fink任务无限反压

之前遇到过在sink到kudu的时候出现反压很严重，主要原因是测试数据不当的问题，根据我的经验，比较多的是下游io瓶颈，可以到sink组件的日志查看问题 -- 原始邮件 -- 发件人: yidan zhao http://apache-flink.147419.n8.nabble.com/

回复：flink1.12版本，yarn-application模式Flink web ui看不到日志

图里边可以看到，这个http://apache-flink.147419.n8.nabble.com/ -- Best， nbsp; pp -- Best，    pp -- Best，   pp -- Best，  pp -- Best，  pp -- Best，  pp -- Best，  pp

回复：flink1.12版本，yarn-application模式Flink web ui看不到日志

这个配置读到了，可以在webui里看到这个配置internal.yarn.log-configure-file -- 原始邮件 -- 发件人: r pp http://apache-flink.147419.n8.nabble.com/ -- Best， nbsp; pp -- Best，    pp -- Best，   pp -- Best，  pp -- Best，  pp -- Best，  pp

回复：flink1.12版本，yarn-application模式Flink web ui看不到日志

回复：flink1.12版本，yarn-application模式Flink web ui看不到日志

非常感谢，我明天测试一下，解决之后，我会把这个问题描述下 -- 原始邮件 -- 发件人: r pp http://apache-flink.147419.n8.nabble.com/ -- Best， nbsp; pp -- Best， pp -- Best， pp

回复：flink 1.12 on yarn WebUI不显示logs

加了一些配置，一些程序有日志，一些没有日志 -- 原始邮件 -- 发件人: JasonLee <17610775...@163.com 发送时间: 2021年6月3日 12:44 收件人: user-zh http://apache-flink.147419.n8.nabble.com/

flink 1.12 on yarn WebUI不显示logs

大家好 目前在测试1.12.1版本时遇到个问题，提交程序之后在WebUI查看日志，jobmanager和taskmanager logs都不显示，按f12查看，logs 是404,并响应 errors :this file does not exist in Jobmanager log dir 这是在启动过程中没有创建日志吗，不清楚什么原因导致的。

回复：flink1.12版本，yarn-application模式Flink web ui看不到日志

请问你是怎么解决这个问题的 -- 原始邮件 -- 发件人: r pp http://apache-flink.147419.n8.nabble.com/ -- Best， pp

回复：flink1.12版本，yarn-application模式Flink web ui看不到日志

你的意思是在log4j.properties中的配置吗，我门在这个里边配置了生成日志文件的格式，是在安装节点里加的，不过这个应该不是在webui里显示的。奇怪的一点是我们组有别的程序是正常的，但是一部分在webUI不显示日志。我们目前是从1.10升级到1.12，这种情况在1.12出现的 -- 原始邮件 -- 发件人: r pp http://apache-flink.147419.n8.nabble.com/ -- Best， pp

回复：flink1.12版本，yarn-application模式Flink web ui看不到日志

你这个解决了吗，我也遇到了同样的问题 -- 原始邮件 -- 发件人: todd http://apache-flink.147419.n8.nabble.com/

flink -conf.yaml修改

大家好，这个配置文件修改之后需要什么操作才生效吗，比如重启集群，还是说直接启动作业自动就应用了呢

回复：1.12 yarn-per-job提交作业失败

aul Lam 2021年3月15日 10:22，smq <374060...@qq.com 写道： 我在用这个命令提交的时候会报 flink Application rejected by queue placement policy 这个应该是没有指定queuenbsp; 但是我在命令中加了-yqu 这个参数，在web界面看quene 的时候，不是我指定的，而是default 。 另外，我用旧命令提交作业可以正常运行。请问有人碰到过这个问题吗。

回复：1.12 yarn-per-job提交作业失败

aul Lam 2021年3月15日 10:22，smq <374060...@qq.com 写道： 我在用这个命令提交的时候会报 flink Application rejected by queue placement policy 这个应该是没有指定queuenbsp; 但是我在命令中加了-yqu 这个参数，在web界面看quene 的时候，不是我指定的，而是default 。 另外，我用旧命令提交作业可以正常运行。请问有人碰到过这个问题吗。

1.12 yarn-per-job提交作业失败

我在用这个命令提交的时候会报 flink Application rejected by queue placement policy 这个应该是没有指定queue 但是我在命令中加了-yqu 这个参数，在web界面看quene 的时候，不是我指定的，而是default 。 另外，我用旧命令提交作业可以正常运行。请问有人碰到过这个问题吗。

回复：MapState 无法更新问题

可以贴个完整的代码吗 -- 原始邮件 -- 发件人: chaos http://apache-flink.147419.n8.nabble.com/

回复：自定义窗口触发器 Trigger

补充一下，我是继承Trigger自己实现了一个定时器，然后只重写了三个抽象方法 -- 原始邮件 -- 发件人: smq <374060...@qq.com 发送时间: 2021年3月8日 15:30 收件人: user-zh

自定义窗口触发器 Trigger

Trigger 抽象类其中有两个方法，onProcessingTime （）和OnEventTime （），在源码描述中，当trigger context设置的定时器触发时会调用上面两个方法。但是在实际测试中，发现，就算没有设置定时器，上面的方法也能在水印超过窗口最大时间之后触发。请问有人知道了解过这个吗。

回复：消息队列量级特别如何优化消费

被压严重一般是sink效率低或者计算过程有瓶颈，被压跟数据源数据多少没什么关系。你可以在web界面查看哪个算子导致的，然后优化就可以了 发自我的iPhone -- 原始邮件 -- 发件人: 刘建刚

回复：消息队列量级特别如何优化消费

被压严重一般是sink效率低或者计算过程有瓶颈，被压跟数据源数据多少没什么关系。你可以在web界面查看哪个算子导致的，然后优化就可以了 发自我的iPhone -- 原始邮件 -- 发件人: 刘建刚

Reply:消息队列量级特别如何优化消费

被压严重一般是sink效率低或者计算过程有瓶颈，被压跟数据源数据多少没什么关系 发自我的iPhone -- 原始邮件 -- From: 刘建刚

Reply:回复：Flink checkpoint 速度慢问题请教

我之前遇到过ck时间长，是因为反压比较高，你可以看看有没有反压的情况 发自我的iPhone -- 原始邮件 -- From: Jacob <17691150...@163.com 发送时间: 03/02/2021, 18:02 To: user-zh http://apache-flink.147419.n8.nabble.com/

Reply:回复：Flink checkpoint 速度慢问题请教

我之前遇到过ck时间长，是因为反压比较高，你可以看看有没有反压的情况 发自我的iPhone -- 原始邮件 -- From: Jacob <17691150...@163.com 发送时间: 03/02/2021, 18:02 To: user-zh http://apache-flink.147419.n8.nabble.com/

Reply:回复：Flink checkpoint 速度慢问题请教

我之前遇到过ck时间长，是因为反压比较高，你可以看看有没有反压的情况 发自我的iPhone -- 原始邮件 -- From: Jacob <17691150...@163.com 发送时间: 03/02/2021, 18:02 To: user-zh http://apache-flink.147419.n8.nabble.com/

Reply:回复：Flink checkpoint 速度慢问题请教

我之前遇到过ck 时间长，是因为反压比较高，你可以看看有没有反压的情况 -- 原始邮件 -- From: Jacob <17691150...@163.com 发送时间: 03/02/2021, 18:02 To: user-zh http://apache-flink.147419.n8.nabble.com/

Reply:回复：flink如何在无数据流的情况下也能实现state定时输出的功能

定时器触发不需要有数据，可以设置一个八点的定时器定时触发，具体操作可以百度 -- 原始邮件 -- From: Hongyuan Ma http://apache-flink.147419.n8.nabble.com/

回复：flink 设置broadcastStream 的MapStateDescriptor

多谢，刚开始理解有问题 发自我的iPhone -- 原始邮件 -- 发件人: 赵一旦

转发：flink 设置broadcastStream 的MapStateDescriptor

发自我的iPhone -- 原始邮件 -- 发件人: 明启 孙 <374060...@qq.com 发送时间: 2021年1月18日 11:30 收件人: user-zh

回复：FLINK SQL 消费kafka消息乱序问题

可能是有退款呢，我也做过类似的统计 ---原始邮件--- 发件人: "user-zh-return-9443-374060171=qq.com"

回复：容忍checkpoint 失败次数和重启策略冲突吗

你好，Congxian 因为这个是在公司内网，所以没办法把日志拿出来，这个邮件好像收不了图片。我就简单描述下。 我又重新测试这个，第一种方式是setTolerableCheckpointFaliureNumber (0), 没有设置重启策略，结果是checkpoint失败多次，程序还正常运行，查看日志，后边只有触发checkpoint和checkpoint过时未完成的日志，没有报错或异常。 第二种方式是setFailOnCheckpointingErrors(true),结果和第一种方式一样。 不知道这个设置生效是有什么前提吗,还是有什么bug

容忍checkpoint 失败次数和重启策略冲突吗

各位大佬好： 我现在设置容忍checkpoint失败次数是0,重启策略为固定延时重启，重启100次。 经过测试发现，checkpoint连续失败多次，程序还在运行，不知道是什么原因导致容忍checkpoint失败次数这个设置没有生效。

keyedstate TTL 清理状态如何触发

大家好，现在有个疑问，TTL如果设成1min，那么是时间到了之后，该state自动清除吗

回复：消费kafka source反压

谢谢，多问一句，并行度为1的话，keyby算子加上keydstate对性能影响大吗 ---原始邮件--- 发件人: "Benchao Li"

消费kafka source反压

大家好，在测试flink消费速率时，发现数据处理比较慢，大概一个task每秒处理1000条左右，经过查看UI界面，发现读取kafka数据源这块source反压达到1，请问有这方面经验吗？

关于checkpointFunction接口

大佬好，现在有个疑问，因为要用到自定义的state 保存某个值，这个状态是在keydprocessFunction实现类中用到的，我在sink的时候，实现了CheckpointFunction接口，实现了snapshotState方法，在这个方法中，我只写了一个flush到kudu的方法。这样的话我之前自己定义的state能保存到状态后端吗。 换句话说，就是snapshotState这个方法是在做checkpoint的同时调用了这个方法中的动作，还是说其他的状态不做了，只做我实现的snapshotState这个方法呢？

checkpoint问题

如果我的程序逻辑修改，还能用之前的checkpoint吗

回复：消费kafka数据乱序问题

换句话说，写进kafka的数据是同一个用户的两条，余额分别是0和100，就是我之前那个计算过程，这个计算操作在Oracle完成，我只负责把余额，也就是0或者100更新到kudu对应的余额字段，因为消费数据可能会乱序，先更新100,再更新0,这样导致存在kudu的数据是0,正确的数据最终应该是100 ---原始邮件--- 发件人: "wwj"

消费kafka数据乱序问题

大家好 现在碰到一个关于处理乱序的问题，业务场景是银行余额的更新，数据源是kafka，有一个账户余额字段，sink到kudu，更新客户余额. 如果对于同一个账户的多笔操作出现乱序，可能会导致客户余额不对。比如一个客户账户有100块，先消费100，然后存100，按照正常的数据处理顺序，帐户余额应该还是100的，假如说先处理了存钱，存上之后余额是100-100+100=100,然后处理消费100的那条数据，由于消费在前，这时这条数据对应的余额是100-100=0。 这样的话就出现了统计余额错误，请问想要按照事件时间处理数据是不是可以先keyby,然后用watermark.

flink集成到cdh

大家好，在网上找了个制作parcel的工具，flink1.9版本打好之后可以正常通过cm安装运行,但是1.10和1.11安装之后都是启动不了，请问大家有这方面的经验可以传授下吗，感激不尽！

flink sink到kafka

大家好，我想通过avro格式sink到kafka,请问该怎么实现，官网上没找到相关方法。

回复：flink sql 窗口场景的问题

我觉得既然你想要事实输出数据，那就没必要用窗口，用了时间窗口，那就是按照窗口大小来统计了，不能同时两个都实现吧，把这两种场景分开分别实现，或者你要想得到每分钟的聚合结果，就缩小窗口大小。 ---原始邮件--- 发件人: steven chen

回复：flink集群启动显示正在运行instance多,StandaloneSessionClusterEntrypoint启动后被kill

还是不行，可能是别的原因，昨天还好好的，今天不知道搞了什么就这样了。看了日志说resourcemanager拒绝连接。 ---原始邮件--- 发件人: Lijie Wang

??????flink????????????????????instance??,StandaloneSessionClusterEntrypoint????????kill

start-cluster.sh?? [root@node01 bin]# stop-cluster.sh No taskexecutor daemon (pid: 11978) is running anymore on node01. No taskexecutor daemon (pid: 5885) is running anymore on node02. No taskexecutor daemon (pid: 4529) is running anymore on node03. No standalonesession daemon (pid:

flink????????????????????instance??,StandaloneSessionClusterEntrypoint????????kill

hi ??.?? [root@node01 bin]# start-cluster.sh Starting HA cluster with 2 masters. [INFO] 5 instance(s) of standalonesession are already running on node01. Starting standalonesession daemon on host node01. [INFO] 1 instance(s) of standalonesession are already

?????? flink 1.10webui??????print????

checkpoint,??,idea,webui,,webui?? ---- ??:"tison"

?????? flink 1.10webui??????print????

FlinkKafkaConsumer011

回复：flink 1.10webui不显示print内容

我这个在集群上提交或者webui提交都看不到输出内容，这应该不是client吧 ---原始邮件--- 发件人: Lijie Wang

flink 1.10webui不显示print内容

Hi 我的代码中打印的结果不能在webui上stdout看到，但是网上看的博客有人是可以显示打印内容的，只不过不是1.10版本。 请问是配置的问题还是这个版本不支持呢

回复：关于水位线Watermark的理解

恩恩，我是刚接触flink不久，所以很多地方没有很清楚，谢谢指点 ---原始邮件--- 发件人: tisonhttps://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html#allowed-lateness [2]

回复：关于水位线Watermark的理解

感谢！ ---原始邮件--- 发件人: Benchao Li

关于水位线Watermark的理解

使用时间时间窗口处理关于数据延迟，加入允许延迟时间为1min，窗口大小是10min，那么在12：00-12：10这个窗口中，如果事件时间是在12：09：50这个数据在12：10：50这个数据到达，并且此时水位线刚好在12：09：50，那么这个延迟数据可以被处理，这个可以理解。 但是，假如第一个数据的事件时间刚好为12：00的，那么此时水位线应该在11：59，这个数据能进入12：00-12：10这个窗口被处理吗。按道理来说应该被正确处理。那么这样的话，进入窗口是按照事件时间，触发是按照水印时间。不知道这么理解对不对，这个问题想了很久。