Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
可以自定义 KafkaAppender，然后可以从 System.getProperty("log.file")
获取你要的信息维度数据，比如这个可以提取到作业 application id，container_id，是 jobmanager 还是
taskmanager，还可以根据配置只提取想要的级别日志，最后将打的依赖放到 lib 目录下即可
yujianbo <15205029...@163.com> 于2021年6月15日周二 下午7:34写道：
> 最新详细配置，可以看看我的博客：
> https://blog.csdn.net/weixin_44500374/article/details/117931457
> 如果对你有帮助帮忙点个赞~
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
最新详细配置，可以看看我的博客： https://blog.csdn.net/weixin_44500374/article/details/117931457 如果对你有帮助帮忙点个赞~ -- Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
如果你找到正确的JobManager 和TaskManager 的启动命令，如： Java -Dlog.file =...
找到log4j中 类似：${sys:log.file} , ${env:MAX_LOG_FILE_NUMBER:-10} ，一个是系统参数
-Dlog.file ，一个环境变量。
方法有：
1.直接在 运行命令中 加入新参数，再从 log4j 读取相应参数即可，相对直接一些，有可能需要改动源码
2.从日志名入手，你看无论TM 还是 JM ，看日志就区别好了，只要获取
日志名，再正则（在log4j配置中如何正则呢？）获取你想要的日志关键字，取为Kafka的topic name，基本上就可解了
王刚 于2021年6月14日周一 下午3:48写道：
> 用这两个配置 定制不同的启动参数传到log4j配置文件是不是就可以
> env.java.opts.jobmanager
> env.java.opts.taskmanager
>
> 原始邮件
> 发件人: DanielGu<610493...@qq.com>
> 收件人: user-zh
> 发送时间: 2021年6月11日(周五) 18:07
> 主题: Re: Flink1.12
> 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
>
>
> 同求一波配置
> 谢谢大佬们
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
>
--
Best，
pp
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
用这两个配置 定制不同的启动参数传到log4j配置文件是不是就可以 env.java.opts.jobmanager env.java.opts.taskmanager 原始邮件 发件人: DanielGu<610493...@qq.com> 收件人: user-zh 发送时间: 2021年6月11日(周五) 18:07 主题: Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？ 同求一波配置 谢谢大佬们 -- Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
同求一波配置 谢谢大佬们 -- Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
OK. done。 成功了。 至于怎么区分机器的话可以使用env或sys变量。
JM和TM的话可以自己改一改flink-daemon.sh脚本的启动部分，新增 "-Dxxx=${DAEMON}-${id}"
系统启动属性。然后log4使用${sys:xxx}
yidan zhao 于2021年6月10日周四 下午8:08写道：
>
> 我也尝试了一波，不过比较奇怪的是，我程序测试log4可以写kafka OK。但是flink就是写不进去。
>
> yidan zhao 于2021年6月10日周四 下午4:18写道：
> >
> > @yujianbo hi。可以把你log4j的配置发出来嘛，我也参考参考。
> >
> > yujianbo <15205029...@163.com> 于2021年6月10日周四 下午3:31写道：
> > >
> > > 大佬，能告知一下吗？我目前知道lay out有这么多的参数可以配置，哪个参数能区分jm或者tm的日志呢：
> > >
> > > 具体的格式化说明：
> > > %p：输出日志信息的优先级，即DEBUG，INFO，WARN，ERROR，FATAL。
> > > %d：输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式，如：%d{/MM/dd
> > > HH:mm:ss,SSS}。
> > > %r：输出自应用程序启动到输出该log信息耗费的毫秒数。
> > > %t：输出产生该日志事件的线程名。
> > >
> > > %l：输出日志事件的发生位置，相当于%c.%M(%F:%L)的组合，包括类全名、方法、文件名以及在代码中的行数。例如：test.TestLog4j.main(TestLog4j.java:10)。
> > > %c：输出日志信息所属的日志对象，也就是getLogger（）中的内容。
> > > %C：输出日志信息所属的类目；
> > > %logger：log4j中没有此格式；
> > > %M：输出产生日志信息的方法名。
> > > %F：输出日志消息产生时所在的文件名称。
> > > %L:：输出代码中的行号。
> > > %m:：输出代码中指定的具体日志信息。
> > > %n：输出一个回车换行符，Windows平台为"rn"，Unix平台为"n"。
> > > %x：输出和当前线程相关联的NDC(嵌套诊断环境)，尤其用到像java servlets这样的多客户多线程的应用中。
> > > %%：输出一个"%"字符。
> > >
> > >
> > >
> > > --
> > > Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
我也尝试了一波，不过比较奇怪的是，我程序测试log4可以写kafka OK。但是flink就是写不进去。
yidan zhao 于2021年6月10日周四 下午4:18写道：
>
> @yujianbo hi。可以把你log4j的配置发出来嘛，我也参考参考。
>
> yujianbo <15205029...@163.com> 于2021年6月10日周四 下午3:31写道：
> >
> > 大佬，能告知一下吗？我目前知道lay out有这么多的参数可以配置，哪个参数能区分jm或者tm的日志呢：
> >
> > 具体的格式化说明：
> > %p：输出日志信息的优先级，即DEBUG，INFO，WARN，ERROR，FATAL。
> > %d：输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式，如：%d{/MM/dd
> > HH:mm:ss,SSS}。
> > %r：输出自应用程序启动到输出该log信息耗费的毫秒数。
> > %t：输出产生该日志事件的线程名。
> >
> > %l：输出日志事件的发生位置，相当于%c.%M(%F:%L)的组合，包括类全名、方法、文件名以及在代码中的行数。例如：test.TestLog4j.main(TestLog4j.java:10)。
> > %c：输出日志信息所属的日志对象，也就是getLogger（）中的内容。
> > %C：输出日志信息所属的类目；
> > %logger：log4j中没有此格式；
> > %M：输出产生日志信息的方法名。
> > %F：输出日志消息产生时所在的文件名称。
> > %L:：输出代码中的行号。
> > %m:：输出代码中指定的具体日志信息。
> > %n：输出一个回车换行符，Windows平台为"rn"，Unix平台为"n"。
> > %x：输出和当前线程相关联的NDC(嵌套诊断环境)，尤其用到像java servlets这样的多客户多线程的应用中。
> > %%：输出一个"%"字符。
> >
> >
> >
> > --
> > Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
@yujianbo hi。可以把你log4j的配置发出来嘛，我也参考参考。
yujianbo <15205029...@163.com> 于2021年6月10日周四 下午3:31写道：
>
> 大佬，能告知一下吗？我目前知道lay out有这么多的参数可以配置，哪个参数能区分jm或者tm的日志呢：
>
> 具体的格式化说明：
> %p：输出日志信息的优先级，即DEBUG，INFO，WARN，ERROR，FATAL。
> %d：输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式，如：%d{/MM/dd
> HH:mm:ss,SSS}。
> %r：输出自应用程序启动到输出该log信息耗费的毫秒数。
> %t：输出产生该日志事件的线程名。
>
> %l：输出日志事件的发生位置，相当于%c.%M(%F:%L)的组合，包括类全名、方法、文件名以及在代码中的行数。例如：test.TestLog4j.main(TestLog4j.java:10)。
> %c：输出日志信息所属的日志对象，也就是getLogger（）中的内容。
> %C：输出日志信息所属的类目；
> %logger：log4j中没有此格式；
> %M：输出产生日志信息的方法名。
> %F：输出日志消息产生时所在的文件名称。
> %L:：输出代码中的行号。
> %m:：输出代码中指定的具体日志信息。
> %n：输出一个回车换行符，Windows平台为"rn"，Unix平台为"n"。
> %x：输出和当前线程相关联的NDC(嵌套诊断环境)，尤其用到像java servlets这样的多客户多线程的应用中。
> %%：输出一个"%"字符。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
大佬，能告知一下吗？我目前知道lay out有这么多的参数可以配置，哪个参数能区分jm或者tm的日志呢：
具体的格式化说明：
%p：输出日志信息的优先级，即DEBUG，INFO，WARN，ERROR，FATAL。
%d：输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式，如：%d{/MM/dd
HH:mm:ss,SSS}。
%r：输出自应用程序启动到输出该log信息耗费的毫秒数。
%t：输出产生该日志事件的线程名。
%l：输出日志事件的发生位置，相当于%c.%M(%F:%L)的组合，包括类全名、方法、文件名以及在代码中的行数。例如：test.TestLog4j.main(TestLog4j.java:10)。
%c：输出日志信息所属的日志对象，也就是getLogger（）中的内容。
%C：输出日志信息所属的类目；
%logger：log4j中没有此格式；
%M：输出产生日志信息的方法名。
%F：输出日志消息产生时所在的文件名称。
%L:：输出代码中的行号。
%m:：输出代码中指定的具体日志信息。
%n：输出一个回车换行符，Windows平台为"rn"，Unix平台为"n"。
%x：输出和当前线程相关联的NDC(嵌套诊断环境)，尤其用到像java servlets这样的多客户多线程的应用中。
%%：输出一个"%"字符。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
hi，yidan 可以在layout中读取系统环境变量作区分 祝好~ yidan zhao 于2021年6月10日周四 下午2:27写道： > 我觉得还有个头疼的吧，你很多机器，怎么区分每个机器还得。哪个机器的JM/TM的日志。 > > yujianbo <15205029...@163.com> 于2021年6月10日周四 下午1:48写道： > > > > log4j可以，log4j2也可以，现在头疼已经实现打kafka，不知道怎么区分这两边的日志 > > > > > > > > -- > > Sent from: http://apache-flink.147419.n8.nabble.com/ >
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
我觉得还有个头疼的吧，你很多机器，怎么区分每个机器还得。哪个机器的JM/TM的日志。 yujianbo <15205029...@163.com> 于2021年6月10日周四 下午1:48写道： > > log4j可以，log4j2也可以，现在头疼已经实现打kafka，不知道怎么区分这两边的日志 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
log4j可以，log4j2也可以，现在头疼已经实现打kafka，不知道怎么区分这两边的日志 -- Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
log4j还可以打印到kafka吗。
yujianbo <15205029...@163.com> 于2021年6月10日周四 上午11:47写道：
>
> 版本：1.12
> 框架：用默认的log4j2框架
> 问题：日志打到kafka，如何去区分jobmanager和taskmanger日志？我发现去改layout.pattern，还是没有能找到区分的好办法？
>
>
> appender.kafka.layout.type=PatternLayout
> appender.kafka.layout.pattern=%d{-MM-dd HH:mm:ss,SSS} %-5p %-60c %x -
> %m%n -- %t -- %F
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
版本：1.12
框架：用默认的log4j2框架
问题：日志打到kafka，如何去区分jobmanager和taskmanger日志？我发现去改layout.pattern，还是没有能找到区分的好办法？
appender.kafka.layout.type=PatternLayout
appender.kafka.layout.pattern=%d{-MM-dd HH:mm:ss,SSS} %-5p %-60c %x -
%m%n -- %t -- %F
--
Sent from: http://apache-flink.147419.n8.nabble.com/
