timothy65535 commented on pull request #1119: URL: https://github.com/apache/incubator-kyuubi/pull/1119#issuecomment-927164271
关于及时停止超时应用: 层级一: 应用一直处于ACCEPT,但是提交程序已经超时 - 可以通过REST API或者SHELL方式停止,这两种方式存在兼容性或者是认证方面的问题,尤其是使用了kerberos认证,这种调用一定失败 - 通过上层进程与子进程交互来停止,也就是一直提到的`LauncherProtocol`,这个接口已经被用在Spark Core模块里面了,每个资源框架各自实现如何通过api方式来停止任务。比如yarn,它就是利用yarn clint去停止任务。不管是第一点提到的SHELL还是REST,底层肯定是yarn client来停止。所以说如果这种方式都停不了,那就是yarn本身就停不掉 层级二: 每次提交spark任务都会提前创建好zk上的space,如果层级一没有做到,在engine启动的时候可以检测一下space是否存在,不存在及时退出即可 层级三: 每个engine自己会有默认30分钟的检测时间,即没有session,engine也会自己退出 关于层级一,yarn client api是可以做到停掉处于accwpt的任务。如果spark launch没有做到,可以debug下。 -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected]
