Flink在1.11开始默认使用log4j2, log4j2已经有了很多appender[1]可以用来将日志输出到外部系统或服务。
[1] https://logging.apache.org/log4j/2.x/manual/appenders.html Best, Yangze Guo On Tue, Jul 14, 2020 at 4:46 PM nicygan <[email protected]> wrote: > > 是有这个毛病，看TM日志不方便。 > > 而且本地日志过几小时就会被清理，时间一久就看不到了，只剩JM日志。 > > > > > > > 在 2020-07-14 12:35:06，"zhisheng" <[email protected]> 写道： > >知道 YARN 的 applicationId，应该也可以去 HDFS 找对应的 taskmanager 的日志（可以拼出路径），然后复制到本地去查看 > > > >Yangze Guo <[email protected]> 于2020年7月14日周二 上午11:58写道： > > > >> Hi, 王松 > >> > >> 我理解拼接url就可以了，不用实际去登陆机器然后进到对应目录。 > >> > >> Best, > >> Yangze Guo > >> > >> On Tue, Jul 14, 2020 at 8:26 AM 王松 <[email protected]> wrote: > >> > > >> > 我们也有问题 1，和 Yangze Guo 说的一样，每次都要去对应的tm目录中去找日志，很麻烦，不知道有没有更简单的办法。 > >> > > >> > Yangze Guo <[email protected]> 于2020年7月13日周一 下午5:03写道： > >> > > >> > > 1. > >> > > > >> 我验证了一下，如果开启了日志收集，那tm的日志是会保存的，但是你整个application结束前可能看不到，有一个trick的方法，首先在jm日志中找到tm分配到了哪个NodeManager上，通过拼接url的方式来获取container的日志 > >> > > 2. 你是否需要调整一下重启策略[1]? 如果开启了ck，默认情况下就会一直尝试重启job > >> > > > >> > > [1] > >> > > > >> https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/task_failure_recovery.html > >> > > > >> > > Best, > >> > > Yangze Guo > >> > > > >> > > > >> > > On Mon, Jul 13, 2020 at 2:40 PM 程龙 <[email protected]> wrote: > >> > > > > >> > > > 不好意思 怪我灭有描述清楚 > >> > > > 1 目前开启日志收集功能 > >> > > > 2 目前已是 per-job模式 > >> > > > 3 集群使用cdh flink.1.10 > >> > > > > >> > > > > >> > > > > >> > > > > >> > > > > >> > > > > >> > > > > >> > > > > >> > > > > >> > > > > >> > > > > >> > > > > >> > > > > >> > > > > >> > > > 在 2020-07-13 11:18:46，"Yangze Guo" <[email protected]> 写道： > >> > > > >Hi, > >> > > > > > >> > > > >第一个问题，您可以尝试开启Yarn的日志收集功能[1] > >> > > > > > >> > > > >第二个问题，您可以尝试一下per-job mode [2][3] > >> > > > > > >> > > > >[1] > >> > > > >> https://ci.apache.org/projects/flink/flink-docs-master/zh/ops/deployment/yarn_setup.html#log-files > >> > > > >[2] > >> > > > >> https://ci.apache.org/projects/flink/flink-docs-master/zh/ops/deployment/#per-job-mode > >> > > > >[3] > >> > > > >> https://ci.apache.org/projects/flink/flink-docs-master/zh/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn > >> > > > > > >> > > > > > >> > > > >Best, > >> > > > >Yangze Guo > >> > > > > > >> > > > >On Mon, Jul 13, 2020 at 10:49 AM 程龙 <[email protected]> wrote: > >> > > > >> > >> > > > >> 请问一下两个问题 > >> > > > >> 1 flink on yarn的时候 taskmanager 挂掉的时候 上面的日志会被删除掉 无法查看 > >> > > ，除了使用es收集日志的这种方案， 还有没有可以使taskmanager 挂掉，相关日志仍然可以保留。 > >> > > > >> 2 flink on yarn模式 当由于错误导致taskmanager 挂掉，但是jobmanager 却一直存在， > >> > > 有没有好的方式或者策略 ， 可以是当task失败 达到重试次数之后 taskmanager挂掉，jobmanager也挂掉 > >> > > > >> > >> > > > >>
