Re: Flink1.10 history server无法监控 FlinkSQL任务

2020-10-23 文章 Robin Zhang
Hi,yujianbo 只要任务结束,不管是cancel、failed、killed都会在history sever展示, 可以先去hdfs查看配置的目录是否存在任务相关的文件夹;也可以尝试重启一下history server试试。麻烦问一下,你的任务使用什么api写的,以及版本、提交方式? yujianbo wrote > 大佬,我发现我配置完后就只能看到完成的任务在history

Re: Flink1.10 history server无法监控 FlinkSQL任务

2020-10-23 文章 Robin Zhang
Hi,zhisheng 1.默认的刷新时间10s以及5s都测试过,真实体验是反应时间有点长,达到分钟级别,猜测这个参数的设置意义不大; 2.其实页面提供了Runing job List,理论上是可以展示的,如果不能展示,web用的同一套前端代码的话,觉得有点鸡肋。使用起来,目前只能查看job的一些统计信息,如 ck相关,dag相关。 使用Filnk on yarn per job提交方式, 已经启动了yarn JobHistoryServer,应该是不会产生影响的,除了sql其他api的任务监控正常。

Re: Flink1.10 history server无法监控 FlinkSQL任务

2020-10-23 文章 yujianbo
大佬,我发现我配置完后就只能看到完成的任务在history sever上面,失败的看不到。现在疑惑的是失败的能不能出现在history server -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink1.10 history server无法监控 FlinkSQL任务

2020-10-22 文章 zhisheng
Hi Robin: 1、是不是更改了刷新时间?一直不显示吗? 2、running 的作业不会显示的,你可以之间在 yarn 查看,history server 应该是只提供展示挂掉的作业 PS:另外提几个 history server 的问题 1、挂掉的作业展示能否支持分页呢?目前直接在一个页面全部展示了历史所有的作业,打开会很卡 2、有办法可以查看挂掉作业的 jm 和 tm 日志吗?因为 HDFS 其实是有日志,按道理是可以拿到日志信息然后解析展示出来的,Spark history server 也是可以查看挂掉作业的日志 Best! zhisheng Robin

Flink1.10 history server无法监控 FlinkSQL任务

2020-10-22 文章 Robin Zhang
如下图,Flink 1.10 on yarn per job提交方式,如果是java datastream 以及table api开发的应用,能够被jm正常拉取统计信息,但是sql化的job没有办法被历史服务器监控。 使用的sql不完全是官网的,但是是经过转化为datastream,以on yarn per job方式提交到yarn运行的,只是多了个sql解析动作。不能理解 ,为什么历史服务器没有加载job信息到hdfs上的目标目录。查看jobmanager日志以及configuration都能确定jm加载到了历史服务器的相关配置。