Hi, 
    lei-tian.
基于你的描述,我推测(flink-1.10+)会存在这几种可能。
1. 使用了 
flink的yarn-session模式,然后进行了相应的作业提交。这种情况表现为,作业最终完成后,yarn中对应flink集群的taskmanager 
container能够被释放掉,但是只是保留了Jobmanager组件的容器没有释放。在 flink的yarn-session模式 的部署方式中,这是正常的。
2. 不论是在flink yarn 的per-job部署模式或者yarn-session部署模式中,如果负责hbase source/sink的 
算子与其他任意一种流模式的算子进行connect或者union等多流的计算,那么将会导致hbase 
IO结束后,剩余的流式算子还是处于正常运行状态,这种情况下的大概表现为 yarn中 flink taskmanager 
container和jobmanager container 都未释放。
3.其他。
如果作业所有的souce都是读取"批模式"的数据源,比如 mysql/hbase 而非包含kafka/pulsar等,那么你可以尝试flink on yarn 
的per-job的部署方式运行任务。




祝好。
Roc











在 2021-10-18 21:31:21,"lei-tian" <[email protected]> 写道:
>您好:
>      
> 我用flink读取hbase或者文件的数据,读完数据之后页面显示状态为finished,但是这个任务在yarn上的资源还没有被释放,仍然在yarn的running列表里面,需要通过命令行kill掉这个任务,有什么解决的方法么。我没有设置batch或者streaming的模式,用的是默认的。
>
>
>| |
>lei-tian
>|
>|
>[email protected]
>|
>签名由网易邮箱大师定制

回复