Re: flink1.11日志上报

2020-10-28 文章 m13162790856 
我们这边也是这样搜集日志上报  es 保留最近一个月的数据不回保留全部数据


在 2020年10月27日 20:48，zhisheng 写道：


弱弱的问一下，你们集群作业数量大概多少？因为用户可能打印原始数据在日志里面，这个数据量确实还是很大的，全部将日志打到 ES 每月需要多少成本啊？ 
Storm☀️  于2020年10月27日周二 下午8:37写道： > 
我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索 > > > > -- > Sent from: 
http://apache-flink.147419.n8.nabble.com/ >

Re: flink1.11日志上报

2020-10-27 文章 zhisheng 
弱弱的问一下，你们集群作业数量大概多少？因为用户可能打印原始数据在日志里面，这个数据量确实还是很大的，全部将日志打到 ES 每月需要多少成本啊？

Storm☀️  于2020年10月27日周二 下午8:37写道：

> 我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>

Re: flink1.11日志上报

2020-10-27 文章 Storm☀️ 
我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.11日志上报

2020-07-23 文章 zilong xiao 
这个可以用配置文件实现，利用kafka
appender将日志打到kafka中，然后自己去消费kafka处理即可，1.11中支持log4j2了，建议使用log4j2

Dream-底限  于2020年7月24日周五 上午10:50写道：

> hi、
>
> 我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪
>

回复：flink1.11日志上报

2020-07-23 文章 Cayden chen 
应该没有api,官网推荐的也是log  appder这种方式。用这种方式采集的日志是比较全的



---原始邮件---
发件人: "Dream-底限"

Re: flink1.11日志上报

2020-07-23 文章 Dream-底限 
hi Cayden chen、
也就是说你们日志上报的实现方式是实现自定义appder来实现是吧，这确实是一个不错的方式；
我先前看spark可以实现对应的listener用来实现日志上报，查看了一下flink
api貌似也有对应listen，具体是实现哪一个还不知道，现在我们还处在一个功能整理阶段


Cayden chen <1193216...@qq.com> 于2020年7月24日周五 上午10:53写道：

> 我们的获取逻辑是通过自定义 logback的appder( flink
> 默认的应该是log4j，对应配置在安装目录的conf下面)，appder通过解析当前系统路径(因为flink每个taskmanager会自己定义一个带有applicationId的路径，然后里面会放各种jar包，包括我自定义的appder)，获取之后通过MDC.put(),给日志加一列appId，在appder里面把日志上报到外部的日志系统
>
>
>
>
> -- 原始邮件 --
> 发件人:
>   "user-zh"
> <
> zhan...@akulaku.com>;
> 发送时间: 2020年7月24日(星期五) 上午10:49
> 收件人: "user-zh"
> 主题: flink1.11日志上报
>
>
>
> hi、
>
> 我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪

flink1.11日志上报

2020-07-23 文章 Dream-底限 
hi、
我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪