可能和配置文件有关吧，我用的都是默认配置 smq <374060...@qq.com> 于2021年6月8日周二 上午7:10写道：
> > 图里边可以看到，这个<LOG_DIR>/jobmanager.log <LOG_DIR>/jobmanager.out > <LOG_DIR>/jobmanager.err中的LOG_DIR应该是一样的，也就是说这三个日志应该是放在一个目录下。至于什么原因少了这个. log > 确实是不清楚。 > > > > ------------------ 原始邮件 ------------------ > *发件人:* r pp <pr123sha...@gmail.com> > *发送时间:* 2021年6月7日 23:56 > *收件人:* smq <374060...@qq.com>, user-zh <user-zh@flink.apache.org> > *主题:* 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志 > > flink on yarn 模式的 Per-Job Cluster mode 在启动container ，产生jobmanager.log 前 > 都不会运行 Jar包的东西，所以，两个Jar > ，一个正常，一个不正常，只能说明，不正常的要么没有读取到日志配置文件，不产生日志，要么就是有魔法把它原本生产的日志挪走或者 > 删除，（这是我的个人理解，如果，什么都一样，同样的提交命令、同样的提交环境，就是一个有log，一个没有log，差别就是Jar包不一样，真的无法分析了，没有集群，也干不了远程调试） > 但这些 都已经和flink 是否有代码缺陷 没有关系了。附上 yarn 启动container（JobManager）的 不全 > 提交命令，日志路径部分是Yarn 提供的，图中可以看出，这里运行的是 > org.apache.flink.yarn.entrypoint.YarnJobclusterEntrypoint , > 和Jar没有啥关系，这启动JobManager 前，Jar包 只是一个String、一个运行路径、一个待运行的classJar包。 > > > smq <374060...@qq.com> 于2021年6月7日周一 下午5:48写道： > >> 这个配置读到了，可以在webui 里看到这个配置internal .yarn.log-configure-file >> >> >> >> ------------------ 原始邮件 ------------------ >> *发件人:* r pp <pr123sha...@gmail.com> >> *发送时间:* 2021年6月7日 17:24 >> *收件人:* smq <374060...@qq.com>, user-zh <user-zh@flink.apache.org> >> *主题:* 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志 >> >> 好的，如果log 文件就没有产生，是真的没有产生，还有一个flink 的原因是，没有读取到日志的配置文件。 >> >> >> >> >> smq <374060...@qq.com> 于2021年6月7日周一 下午3:31写道： >> >>> >>> 判断出确失这个.log是因为从yarn 上的logs中就看不到jobmanager .log >>> 这个文件，正常的是会有jobmanager.log文件，然后根据这个application id 去搜索containnerid >>> 也是找不到这个jobmanager .log 。正常的程序这三个文件是在一个containerid >>> 目录下在一起的，不正常的就是同一个containerID目录下只有这两个文件，这是对此很多次之后发现的。还有就是我说的完全一样的两个程序是打成两个jar >>> >>> 包的，这两个程序是在不同模块下，为了找到原因，已经改成了完全一样的程序，但是结果还是之前正常的每次运行都正常，不正常的这个改成跟正常的程序一摸一样还是运行不正常。经过这一周多的测试发现，这个结果不是随机出现的。所以就感觉很奇怪。 >>> >>> >>> >>> ------------------ 原始邮件 ------------------ >>> *发件人:* r pp <pr123sha...@gmail.com> >>> *发送时间:* 2021年6月7日 13:55 >>> *收件人:* smq <374060...@qq.com> >>> *主题:* 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志 >>> >>> 补充下，我刚刚的疑惑， 你说的缺失 ，是没有log 文件，还是说在同一个文件目录下没有看到 log，只看到了 out err，其实，不确定log >>> 是不是在别的地方？ >>> >>> r pp <pr123sha...@gmail.com> 于2021年6月7日周一 下午1:42写道： >>> >>>> 你说的缺失是指？是指在本地机器上的文件就缺失log 么？如果，本地机器上文件都有（3个，全的）。为什么 flink-web ui 只显示两个呢？ >>>> 如果，本地机器上 只有两个（缺失了log），那缺失的log 文件路径有是哪个呢？ >>>> >>>> 同一个Jar 运行，日志一会ok ，一会儿 不ok， 是不是 有别的程序 在挪动文件路径呢？ >>>> >>>> smq <374060...@qq.com> 于2021年6月7日周一 上午10:49写道： >>>> >>>>> >>>>> 你好，正常情况下flink on yarn 的container 日志中应该有.err .out .log >>>>> 这三个日志，你贴的这个-slog.file 应该就是jobmanager .log 的位置，但是我这个程序是没有.log日志这个文件的，只有err >>>>> 和out ，我试着在程序containner 里查看日志，发现能正常显示日志的container >>>>> 中有以上三种日志，不能正常显示日志的程序中，只有两个日志，没有.log日志文件。所以也看不到运行时的一些info信息。我觉得这个是yarn创建的日志文件，目前还没找到原因。我尝试过运行两个一模一样的程序，打成两个jar >>>>> 包，但是其中一个正常，另一个不正常，这种情况不影响程序运行，只是缺一些日志。 >>>>> >>>>> >>>>> >>>>> ------------------ 原始邮件 ------------------ >>>>> *发件人:* r pp <pr123sha...@gmail.com> >>>>> *发送时间:* 2021年6月4日 18:17 >>>>> *收件人:* user-zh <user-zh@flink.apache.org>, smq <374060...@qq.com> >>>>> *主题:* 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志 >>>>> >>>>> 上封，复制错了，更正下，看时间顺序。 日志启动 >>>>> 2021-06-04 17:38:15,417 INFO org.apache.flink.runtime.entrypoint. >>>>> ClusterEntrypoint [] - -Dlog >>>>> >>>>> .file=/yarn/container-logs/application_1622784975053_0013/container_1622784975053_0013_01_000001/jobmanager.log >>>>> cluster 启动 >>>>> 2021-06-04 17:38:15,425 INFO org.apache.flink.runtime.entrypoint. >>>>> ClusterEntrypoint [] - YARN daemon is running as: hdfs Yarn client user >>>>> obtainer: hdfs >>>>> >>>>> r pp <pr123sha...@gmail.com> 于2021年6月4日周五 下午6:11写道： >>>>> >>>>> > 嗨~ >>>>> > 我这边是 per-job on yarn 的mode >>>>> > >>>>> > 我查看的 yarn 的container 的日志信息，一般在程序初始化的时候，就会生产日志名，日志路径，变成环境env， >>>>> > 然后 形成config ，再启动 cluster。 >>>>> > >>>>> > 而日志路径 是yarn 的配置模式取好的，之后 flink 的获取这个信息，用于web 展示。 >>>>> > >>>>> > 所以，你可能需要定位 你的日志文件路径 是否有改变，我做test，改变日志名，flink-web 还是可以正常显示 >>>>> > ，但是改变路径，flink-web 就无法显示了 >>>>> > >>>>> > 但是具体的差异可能无法细化了，所提供的信息太少 >>>>> > env 环境信息 >>>>> > 2021-06-04 17:38:15,417 INFO org.apache.flink.runtime.entrypoint. >>>>> > ClusterEntrypoint [] - -Dlog >>>>> > >>>>> .file=/yarn/container-logs/application_1622784975053_0013/container_1622784975053_0013_01_000001/jobmanager.log >>>>> > cluster 启动信息 >>>>> > 2021-06-04 16:47:01,429 INFO org.apache.flink.runtime.entrypoint. >>>>> > ClusterEntrypoint [] - YARN daemon is running as: hdfs Yarn client >>>>> user >>>>> > obtainer: hdfs >>>>> > >>>>> > zilong xiao <acidzz...@gmail.com> 于2021年6月3日周四 下午2:17写道： >>>>> > >>>>> >> 1.10默认用的log4j1，1.12用log4j2 >>>>> >> >>>>> >> smq <374060...@qq.com> 于2021年6月2日周三 下午3:26写道： >>>>> >> >>>>> >> > >>>>> >> > >>>>> >> >>>>> 你的意思是在log4j.properties中的配置吗，我门在这个里边配置了生成日志文件的格式，是在安装节点里加的，不过这个应该不是在webui里显示的。奇怪的一点是我们组有别的程序是正常的，但是一部分在webUI不显示日志。我们目前是从1.10升级到1.12，这种情况在1.12出现的 >>>>> >> > >>>>> >> > >>>>> >> > >>>>> >> > >>>>> >> > >>>>> >> > ------------------ 原始邮件 ------------------ >>>>> >> > 发件人: r pp <pr123sha...@gmail.com> >>>>> >> > 发送时间: 2021年6月2日 15:08 >>>>> >> > 收件人: user-zh <user-zh@flink.apache.org> >>>>> >> > 主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志 >>>>> >> > >>>>> >> > >>>>> >> > >>>>> >> > 嗨~ 你们有没有改日志文件的名字 >>>>> >> > >>>>> >> > smq <374060...@qq.com> 于2021年6月2日周三 下午12:24写道： >>>>> >> > >>>>> >> > > 你这个解决了吗，我也遇到了同样的问题 >>>>> >> > > >>>>> >> > > >>>>> >> > > >>>>> >> > > >>>>> >> > > >>>>> >> > > ------------------ 原始邮件 ------------------ >>>>> >> > > 发件人: todd <todd5...@163.com&gt; >>>>> >> > > 发送时间: 2021年4月14日 19:11 >>>>> >> > > 收件人: user-zh <user-zh@flink.apache.org&gt; >>>>> >> > > 主题: 回复：flink1.12版本，yarn-application模式Flink web ui看不到日志 >>>>> >> > > >>>>> >> > > >>>>> >> > > >>>>> >> > > yarn上只有.out,.error的日志信息，但是从flink web ui的log框，无法显示日志内容。 >>>>> >> > > >>>>> >> > > >>>>> >> > > >>>>> >> > > -- >>>>> >> > > Sent from: http://apache-flink.147419.n8.nabble.com/ >>>>> >> > >>>>> >> > >>>>> >> > >>>>> >> > -- >>>>> >> > Best， >>>>> >> > pp >>>>> >> >>>>> > >>>>> > >>>>> > -- >>>>> > Best， >>>>> > pp >>>>> > >>>>> >>>>> >>>>> -- >>>>> Best， >>>>> pp >>>>> >>>> >>>> >>>> -- >>>> Best， >>>> pp >>>> >>> >>> >>> -- >>> Best， >>> pp >>> >> >> >> -- >> Best， >> pp >> > > > -- > Best， > pp > -- Best， pp
