timothy65535 commented on a change in pull request #1119:
URL: https://github.com/apache/incubator-kyuubi/pull/1119#discussion_r716228416
##########
File path: kyuubi-server/pom.xml
##########
@@ -55,6 +55,11 @@
<version>${project.version}</version>
</dependency>
+ <dependency>
Review comment:
追求极致,通过相同的框架来做到提交FLINK和SPARK是挺好的,不过FLINK中不存在spark
launch模块。FLINK内置的提交程序没有做与SPARK一样的`LauncherProtocol`。换言之,SPARK在这方面更好,预留接口来对接各个资源框架(YARN、K8s)等。
其次,针对这个ISSUE的案例来说,生产经常遇到资源不足的情况。如果开启动态资源,初始资源可以设置小一点,基本也难遇到ACCEPT的情况。而且生产一般应该会做离线集群和实时集群分开,再结合队列预留资源,这种情况几率也不会太大。
所以,这个看各位同仁意见吧,比较难做到同一套程序既满足SPARK和FLINK任务的提交,也满足适配不同的资源框架,同时支持及时停止任务的提交。
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]