fuweng11 commented on code in PR #1088: URL: https://github.com/apache/inlong-website/pull/1088#discussion_r1865359151
########## i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0.0/quick_start/offline_data_sync/dolphinscheduler_example.md: ########## @@ -0,0 +1,96 @@ +--- +title: 使用第三方 DolphinScheduler 调度引擎 +sidebar_position: 2 +--- + +在接下来的内容中，我们将介绍如何在 Apache InLong 中集成第三方调度引擎 DolphinScheduler 来创建离线数据同步。 + +## 环境部署 + +### 安装 InLong + +在开始之前，我们需要安装 InLong 的全部组件，这里提供两种方式： + +- [Docker 部署](deployment/docker.md)（推荐） +- [Bare Metal 部署](deployment/bare_metal.md) + +### 添加 Connectors + +下载与 Flink 版本对应的 [connectors](https://inlong.apache.org/zh-CN/downloads)，解压后将 `sort-connector-jdbc-[version]-SNAPSHOT.jar` 放在 `/inlong-sort/connectors/` 目录下。 +> 当前 Apache InLong 的离线数据同步能力只支持 Flink-1.18 版本，所以请下载 1.18 版本的 connectors。 + +### 在 DolphinScheduler 上的操作 + +在使用 DolphinScheduler 作为调度引擎之前，请确保有可以提供服务的 DolphinScheduler 。如果您需要为自己部署一个 DolphinScheduler，请参考 [DolphinScheduler 官方文档](https://dolphinscheduler.apache.org/zh-cn)。 + + + + + +进入令牌管理器页面创建一个令牌供 InLong 进行访问 + + + +按照图中步骤设置 token 参数，包括 [过期时间]、[用户]，并生成令牌。 + + + +### 修改 InLong Manager 中的配置 + +对于第三方调度引擎，我们需要在 InLong Manager 中修改配置 + +对于 DolphinScheduler 引擎，需要修改以下配置： + +* `schedule.engine.inlong.manager.url` : 第三方调度引擎需要通过该 url 访问 InLong Manager。 +* `schedule.engine.dolphinscheduler.url` : DolphinScheduler 部署的 url，一般格式为 http://{ip}:{port}/dolphinScheduler +* `schedule.engine.dolphinscheduler.token` : 上文中在 DolphinScheduler 令牌管理器页面中生成的 Token。 + + + +完成这些操作后，重新启动 InLong Manager 以确保配置成功启用。 + +### 在离线同步任务中使用 DolphinScheduler + +在配置离线同步任务时，在选择调度引擎时选择 DolphinScheduler，然后配置其他参数 + + + +集群管理和相关数据节点的配置请参见[使用内置的 Quartz 调度引擎](quartz_example.md)。 + +审批数据流后，返回【数据同步】页面，等待任务配置成功，配置成功后，DolphinScheduler 将定期回调 InLong Manager，并由 InLong Manager 周期提交 Flink Batch Job 到 Flink 集群。 + + + + + + + +查看 DolphinScheduler 任务实例日志。输出如下日志表示配置成功 Review Comment: ```suggestion 查看 DolphinScheduler 任务实例日志，输出如下日志表示配置成功。 ``` ########## i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0.0/quick_start/offline_data_sync/quartz_example.md: ########## @@ -80,25 +88,25 @@ CREATE TABLE sink_table ( 数据目标中 点击 【新建】→【MySQL】，配置数据目标名称、库名和表名（test.sink_table）等信息。 - + ### 配置字段信息 分别在 【源字段】 和 【目标字段】中配置 Schema 映射信息，完成后点击 【提交审批】 Review Comment: ```suggestion 分别在 【源字段】 和 【目标字段】中配置 Schema 映射信息，完成后点击 【提交审批】。 ``` ########## i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0.0/quick_start/offline_data_sync/dolphinscheduler_example.md: ########## @@ -0,0 +1,96 @@ +--- +title: 使用第三方 DolphinScheduler 调度引擎 +sidebar_position: 2 +--- + +在接下来的内容中，我们将介绍如何在 Apache InLong 中集成第三方调度引擎 DolphinScheduler 来创建离线数据同步。 + +## 环境部署 + +### 安装 InLong + +在开始之前，我们需要安装 InLong 的全部组件，这里提供两种方式： + +- [Docker 部署](deployment/docker.md)（推荐） +- [Bare Metal 部署](deployment/bare_metal.md) + +### 添加 Connectors + +下载与 Flink 版本对应的 [connectors](https://inlong.apache.org/zh-CN/downloads)，解压后将 `sort-connector-jdbc-[version]-SNAPSHOT.jar` 放在 `/inlong-sort/connectors/` 目录下。 +> 当前 Apache InLong 的离线数据同步能力只支持 Flink-1.18 版本，所以请下载 1.18 版本的 connectors。 + +### 在 DolphinScheduler 上的操作 + +在使用 DolphinScheduler 作为调度引擎之前，请确保有可以提供服务的 DolphinScheduler 。如果您需要为自己部署一个 DolphinScheduler，请参考 [DolphinScheduler 官方文档](https://dolphinscheduler.apache.org/zh-cn)。 + + + + + +进入令牌管理器页面创建一个令牌供 InLong 进行访问 Review Comment: ```suggestion 进入令牌管理器页面创建一个令牌供 InLong 进行访问。 ``` ########## i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0.0/quick_start/offline_data_sync/quartz_example.md: ########## @@ -26,44 +26,52 @@ Password: inlong ### 创建集群标签 页面点击 【集群管理】→【标签管理】→【新建】 - + **注意：default_cluster 是各个组件默认的集群标签，如果使用其它名称，确认对应标签配置已修改。** ### 注册 Pulsar 集群 - + **可以参考截图信息填写，包括集群名称、所属标签、Pulsar 集群地址等。** ## 任务创建 ### 新建数据流组 页面点击【数据同步】→【新建数据同步】，填写 数据流组 ID，注意同步类型勾选为“离线”。 - + ### 配置调度规则 -在同步类型勾选为“离线”之后，就可以配置离线任务的调度规则，目前支持两种：常规和 crontab。 +在同步类型勾选为“离线”之后，就可以配置离线任务的调度规则，调度规则主要由两个部分组成，分别为【调度引擎】和【调度类型】。 -常规调度配置需要设置以下参数： +#### 调度引擎 +Apache InLong 提供了多种调度引擎供用户选择，Quartz 是 Apache InLong 内置的调度引擎，这里使用 Quartz 来处理任务 Review Comment: ```suggestion Apache InLong 提供了多种调度引擎供用户选择，Quartz 是 Apache InLong 内置的调度引擎，这里使用 Quartz 来处理任务。 ``` ########## i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0.0/quick_start/offline_data_sync/dolphinscheduler_example.md: ########## @@ -0,0 +1,96 @@ +--- +title: 使用第三方 DolphinScheduler 调度引擎 +sidebar_position: 2 +--- + +在接下来的内容中，我们将介绍如何在 Apache InLong 中集成第三方调度引擎 DolphinScheduler 来创建离线数据同步。 + +## 环境部署 + +### 安装 InLong + +在开始之前，我们需要安装 InLong 的全部组件，这里提供两种方式： + +- [Docker 部署](deployment/docker.md)（推荐） +- [Bare Metal 部署](deployment/bare_metal.md) + +### 添加 Connectors + +下载与 Flink 版本对应的 [connectors](https://inlong.apache.org/zh-CN/downloads)，解压后将 `sort-connector-jdbc-[version]-SNAPSHOT.jar` 放在 `/inlong-sort/connectors/` 目录下。 +> 当前 Apache InLong 的离线数据同步能力只支持 Flink-1.18 版本，所以请下载 1.18 版本的 connectors。 + +### 在 DolphinScheduler 上的操作 + +在使用 DolphinScheduler 作为调度引擎之前，请确保有可以提供服务的 DolphinScheduler 。如果您需要为自己部署一个 DolphinScheduler，请参考 [DolphinScheduler 官方文档](https://dolphinscheduler.apache.org/zh-cn)。 + + + + + +进入令牌管理器页面创建一个令牌供 InLong 进行访问 + + + +按照图中步骤设置 token 参数，包括 [过期时间]、[用户]，并生成令牌。 + + + +### 修改 InLong Manager 中的配置 + +对于第三方调度引擎，我们需要在 InLong Manager 中修改配置 Review Comment: ```suggestion 对于第三方调度引擎，我们需要在 InLong Manager 中修改配置。 ``` ########## i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0.0/quick_start/offline_data_sync/dolphinscheduler_example.md: ########## @@ -0,0 +1,96 @@ +--- +title: 使用第三方 DolphinScheduler 调度引擎 +sidebar_position: 2 +--- + +在接下来的内容中，我们将介绍如何在 Apache InLong 中集成第三方调度引擎 DolphinScheduler 来创建离线数据同步。 + +## 环境部署 + +### 安装 InLong + +在开始之前，我们需要安装 InLong 的全部组件，这里提供两种方式： + +- [Docker 部署](deployment/docker.md)（推荐） +- [Bare Metal 部署](deployment/bare_metal.md) + +### 添加 Connectors + +下载与 Flink 版本对应的 [connectors](https://inlong.apache.org/zh-CN/downloads)，解压后将 `sort-connector-jdbc-[version]-SNAPSHOT.jar` 放在 `/inlong-sort/connectors/` 目录下。 +> 当前 Apache InLong 的离线数据同步能力只支持 Flink-1.18 版本，所以请下载 1.18 版本的 connectors。 + +### 在 DolphinScheduler 上的操作 + +在使用 DolphinScheduler 作为调度引擎之前，请确保有可以提供服务的 DolphinScheduler 。如果您需要为自己部署一个 DolphinScheduler，请参考 [DolphinScheduler 官方文档](https://dolphinscheduler.apache.org/zh-cn)。 + + + + + +进入令牌管理器页面创建一个令牌供 InLong 进行访问 + + + +按照图中步骤设置 token 参数，包括 [过期时间]、[用户]，并生成令牌。 + + + +### 修改 InLong Manager 中的配置 + +对于第三方调度引擎，我们需要在 InLong Manager 中修改配置 + +对于 DolphinScheduler 引擎，需要修改以下配置： + +* `schedule.engine.inlong.manager.url` : 第三方调度引擎需要通过该 url 访问 InLong Manager。 +* `schedule.engine.dolphinscheduler.url` : DolphinScheduler 部署的 url，一般格式为 http://{ip}:{port}/dolphinScheduler +* `schedule.engine.dolphinscheduler.token` : 上文中在 DolphinScheduler 令牌管理器页面中生成的 Token。 + + + +完成这些操作后，重新启动 InLong Manager 以确保配置成功启用。 + +### 在离线同步任务中使用 DolphinScheduler + +在配置离线同步任务时，在选择调度引擎时选择 DolphinScheduler，然后配置其他参数 Review Comment: ```suggestion 在配置离线同步任务时，在选择调度引擎时选择 DolphinScheduler，然后配置其他参数。 ``` ########## i18n/zh-CN/docusaurus-plugin-content-docs/version-2.0.0/quick_start/offline_data_sync/quartz_example.md: ########## @@ -80,25 +88,25 @@ CREATE TABLE sink_table ( 数据目标中 点击 【新建】→【MySQL】，配置数据目标名称、库名和表名（test.sink_table）等信息。 - + ### 配置字段信息 分别在 【源字段】 和 【目标字段】中配置 Schema 映射信息，完成后点击 【提交审批】 - + - + ### 审批数据流 页面点击【审批管理】->【我的审批】->【详情】->【通过】 Review Comment: ```suggestion 页面点击【审批管理】->【我的审批】->【详情】->【通过】。 ``` -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected]
