History Server是否可以查看TaskManager聚合后的日志

[lhuiseu]

Hi:
flink 1.12.0  
on yarn 模式
已经Finish的任务可以再history server中找到。但是通过WebUI查看TaskManager Log报404。目前Flink
History Server是不支持查看TaskManager聚合后的日志吗？希望了解history serve相关原理的同学给予帮助。
非常感谢。

 



--
Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.12流式写hive任务暂停问题

[lhuiseu]

一个流式写Hive的任务，调用flink restapi stop 方法暂停作业。stop暂停任务的时候，应该是会触发一次savepoint 然后
cancel。

原本以为，暂停任务触发savepoint，只是保存了状态，并不会提交分区。等到任务恢复，再按照事件时间的watermark等分区条件OK后，执行分区提交。

实际上发现，只要是触发SP，就会提交分区。查看TM日志，发现执行SP时，出现了一次 MAX_CHECKPOINT
的checkpointid。定位源码，应该是有地方调用了 AbstractStreamingWriter.endInput

请问下，stop 为什么触发 endInput？ 不希望暂停的时候，分区提交



--
Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.12流式写hive任务暂停问题

[lhuiseu]

一个流式写Hive的任务，调用flink restapi stop 方法暂停作业。stop暂停任务的时候，应该是会触发一次savepoint 然后
cancel。

原本以为，暂停任务触发savepoint，只是保存了状态，并不会提交分区。等到任务恢复，再按照事件时间的watermark等分区条件OK后，执行分区提交。

实际上发现，只要是触发SP，就会提交分区。查看TM日志，发现执行SP时，出现了一次 MAX_CHECKPOINT
的checkpointid。定位源码，应该是有地方调用了 AbstractStreamingWriter.endInput 

请问下，stop 为什么触发 endInput？ 不希望暂停的时候，分区提交



--
Sent from: http://apache-flink.147419.n8.nabble.com/