zhongjiajie commented on a change in pull request #697: URL: https://github.com/apache/dolphinscheduler-website/pull/697#discussion_r811722360
########## File path: blog/zh-cn/DolphinScheduler_Kubernetes_Technology_in_action.md ########## @@ -0,0 +1,456 @@ +# Apache DolphinScheduler在Kubernetes体系中的技术实战 + +作者 | 杨滇，深圳交通中心 数据和算法平台架构师 + +## Kubernetes技术体系给Apache DolphinScheduler带来的技术新特性 + +Apache DolphinScheduler是当前非常优秀的分布式易扩展的可视化工作流任务调度平台。 + +基于笔者所在公司业务的特性，阐述我们使用 Kubernetes 作为Apache DolphinScheduler的技术底座的原因： + ++ 各类独立部署项目，需要快速建立开发环境和生产环境； ++ 项目环境互联网访问受限，服务器只能使用离线的安装方式； ++ 尽可能统一的安装配置的信息，减少多个项目配置的异常； ++ 与对象存储技术的结合，统一非结构化数据的技术； ++ 便捷的监控体系，与现有监控集成； ++ 多种调度器的混合使用； ++ 全自动的资源调整能力； ++ 快速的自愈能力； + +本文的案例都是基于Apache DolphinScheduler1.3.9版本为基础。Hadoop + +## 基于helm工具的自动化高效部署方式 + +首先，我们介绍基于官网提供的helm的安装方式。Helm 是查找、分享和使用软件构建 Kubernetes 的最优方式。也是云原生CNCF的毕业项目之一。 + +<div align=center> +<img src="/img/2022-02-22/2.png"/> +</div> + +海豚的官网和GitHub上有非常详细的配置文件和案例。这里我们重点介绍一些社区中经常出现的咨询和问题。 + +官网文档地址 https://dolphinscheduler.apache.org/zh-cn/docs/1.3.9/user_doc/kubernetes-deployment.html + +GitHub文件夹地址 https://github.com/apache/dolphinscheduler/tree/1.3.9-release/docker/kubernetes/dolphinscheduler/ + ++ 在value.yaml文件中修改镜像，以实现离线安装（air-gap install）； + https://about.gitlab.com/topics/gitops/ + ~~~yaml + image: + repository: "apache/dolphinscheduler" + tag: "1.3.9" + pullPolicy: "IfNotPresent" + ~~~ + + 针对公司内部安装好的harbor，或者其他公有云的私仓，进行pull，tag，以及push。这里我们假定私仓地址是harbor.abc.com，你所在构建镜像的主机已经进行了docker login harbor.abc.com， 且已经建立和授权私仓下面新建apache项目。 + + 执行shell命令 + + ~~~shell + docker pull apache/dolphinscheduler:1.3.9 + dock tag apache/dolphinscheduler:1.3.9 harbor.abc.com/apache/dolphinscheduler:1.3.9 + docker push apache/dolphinscheduler:1.3.9 + ~~~ + + 再替换value文件中的镜像信息，这里我们推荐使用Always的方式拉取镜像，生产环境中尽量每次去检查是否是最新的镜像内容，保证软件制品的正确性。此外，很多同学会把tag写成latest（制作镜像不写tag信息，这样在生产环境非常危险，任何人push了镜像，就相当于改变了latest的tag的镜像，而且也无法判断latest是什么版本，所以建议要明确每次发版的tag，并且使用Always。 + + ~~~yaml + image: + repository: "harbor.abc.com/apache/dolphinscheduler" + tag: "1.3.9" + pullPolicy: "Always"GitHub + ~~~ + + 把https://GitHub.com/apache/dolphinscheduler/tree/1.3.9-release/docker/Kubernetes/dolphinscheduler 整个目录copy到可以执行helm命令的主机，然后按照官网执行 Review comment: ```suggestion 把 https://github.com/apache/dolphinscheduler/tree/1.3.9-release/docker/kubernetes/dolphinscheduler/ 整个目录copy到可以执行helm命令的主机，然后按照官网执行 ``` -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected]
