AfterYesterday commented on issue #3654: URL: https://github.com/apache/incubator-dolphinscheduler/issues/3654#issuecomment-687711075
经过这两天的测试，dolphinscheduler不能通过shell调用带有连接hive的spark 脚本,是由于我将CDH5.16.1的spark升级到了2.4， （但是这个问题我在集群直接提交时，是没有的）。试了几种方案： 1：分别尝试了dolphinscheduler1.3的1、2两个版本，无效； 2：修改dolphinscheduler的pom文件，重新编译，使hive版本对应CDH5，无效； 3：升级hive1.1到1.2版本（直接升级2.X版本失败，可能由于CDH版本有限制），无效，还有种通过parcels升级，还没有尝试（接下来会尝试一下）； 4：添加CDH5.16.1自带的spark1.6服务，通过该服务提交的脚本可以正常执行。 以上方案4有效，方案3验证中 考虑到大家对spark版本的需求，建议使用CDH6 当前解决方案： 1:使用spark1.6,不做改动； 2:升级CDH5到6.X； ---------------------------------------------------------------- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. For queries about this service, please contact Infrastructure at: [email protected]
