This is an automated email from the ASF dual-hosted git repository.
benjobs pushed a commit to branch dev
in repository
https://gitbox.apache.org/repos/asf/incubator-streampark-website.git
The following commit(s) were added to refs/heads/dev by this push:
new 76a02f1 [Improve] Improve documentation related to platform
installation and basic use. (#299)
76a02f1 is described below
commit 76a02f191da5c58889e053793e0f9e7a591ca82c
Author: lvlin241 <[email protected]>
AuthorDate: Thu Dec 7 01:05:45 2023 +0800
[Improve] Improve documentation related to platform installation and basic
use. (#299)
---
.../current/user-guide/11-platformInstall.md | 229 ++++++++++++++++
.../current/user-guide/12-platformBasicUsage.md | 287 +++++++++++++++++++++
2 files changed, 516 insertions(+)
diff --git
a/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/11-platformInstall.md
b/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/11-platformInstall.md
new file mode 100644
index 0000000..f002469
--- /dev/null
+++
b/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/11-platformInstall.md
@@ -0,0 +1,229 @@
+# 引言
+## 目的和范围
+> 本文档旨在帮助用户完成 Apache StreamPark 的安装和初步配置
+
+## 目标受众
+> 面向需要在其系统中部署 Apache StreamPark 的系统开发和运维人员
+
+# 系统要求
+>
参考：[https://streampark.apache.org/docs/user-guide/deployment#environmental-requirements](https://streampark.apache.org/docs/user-guide/deployment#environmental-requirements)
+
+## 硬件要求
+> - 本文档使用Linux：3.10.0-957.el7.x86_6
+
+
+## 软件要求
+Notes:
+
+1. **单纯安装StreamPark，可忽略hadoop**
+2. 若采用 yarn application 模式 执行flink作业，需要hadoop
+> - JDK : 1.8+
+> - MySQL : 5.6+
+> - Flink : 1.12.0+
+> - Hadoop : 2.7.0+
+> - StreamPark : 2.0.0+
+
+本文档采用的软件版本信息
+> - **JDK：1.8.0_181**
+> - **MySQL: 5.7.26**
+> - **Flink : 1.14.3-scala_2.12**
+> - **Hadoop : 3.2.1**
+
+主要组件依赖关系:
+
+# 安装前准备
+> JDK、MYSQL、HADOOP需用户自行查阅资料安装。
+
+## 下载&&配置flink
+> 下载flink
+
+```bash
+cd /usr/local
+wget
https://archive.apache.org/dist/flink/flink-1.14.3/flink-1.14.3-bin-scala_2.12.tgz
+```
+> 解压
+
+```bash
+tar -zxvf flink-1.14.3-bin-scala_2.12.tgz
+```
+> 重命名
+
+```bash
+mv flink-1.14.3 flink
+# 【可选】删除源文件
+rm -rf flink-1.14.3-bin-scala_2.12.tgz
+```
+
+> 配置flink环境变量
+
+```bash
+# 配置环境变量(vim ~/.bashrc)，加入以下内容
+export FLINK_HOME=/usr/local/flink
+export PATH=$FLINK_HOME/bin:$PATH
+
+# 生效环境变量配置
+source ~/.bashrc
+
+# 测试(出现:'Version: 1.14.3, Commit ID: 98997ea',则说明配置成功)
+flink -v
+
+```
+
+## 引入MySQL依赖包
+> 原因：**由于Apache 2.0许可与Mysql Jdbc驱动许可的不兼容，用户需要自行下载驱动jar包并放在
$STREAMPARK_HOME/lib 中,推荐使用8.x版本。**
+> 驱动包版本：mysql-connector-java-8.0.28.jar
+
+```bash
+cp mysql-connector-java-8.0.28.jar /usr/local/streampark/lib
+```
+
+## 下载StreamPark
+>
下载URL:[https://dlcdn.apache.org/incubator/streampark/2.0.0/apache-streampark_2.12-2.0.0-incubating-bin.tar.gz](https://dlcdn.apache.org/incubator/streampark/2.0.0/apache-streampark_2.12-2.0.0-incubating-bin.tar.gz)
+
+> 上传
[apache-streampark_2.12-2.0.0-incubating-bin.tar.gz](https://dlcdn.apache.org/incubator/streampark/2.0.0/apache-streampark_2.12-2.0.0-incubating-bin.tar.gz)
至 服务器 /usr/local 路径
+
+
+> 解压
+
+```bash
+tar -zxvf apache-streampark_2.12-2.0.0-incubating-bin.tar.gz
+```
+
+> 删除源文件
+
+```bash
+rm -rf apache-streampark_2.12-2.0.0-incubating-bin.tar.gz
+```
+> 重命名
+
+```bash
+mv apache-streampark_2.12-2.0.0-incubating-bin/ streampark
+```
+
+# 安装
+## 初始化系统数据
+> **目的：创建StreamPark组件部署依赖的数据库(表)，同时将其运行需要的数据提前初始化(比如：web页面的菜单、用户等信息)，便于后续操作。**
+
+### 查看执行SteamPark元数据SQL文件
+> 说明：
+> - StreamPark支持MySQL、PostgreSQL、H2
+> - 本次以MySQL为例，PostgreSQL流程基本一致
+
+> 数据库创建脚本： /usr/local/streampark/script/schema/mysql-schema.sql
+
+
+> 数据库创建脚本： /usr/local/streampark/script/data/mysql-data.sql
+
+
+> 建议：将 mysql-schema.sql、mysql-data.sql 两个文件下载到本地，便于后续直接导入执行。
+
+### 连接MySQL数据库
+> 这里使用Workbench工具，当然大家也可以选用其他的，如：Navicat等
+
+
+### 导入待执行SQL脚本
+> 菜单位置：File ----> Open SQL Script ...
+
+
+
+### 执行SQL文件
+> **创建数据库(表)**
+> **需要执行的文件：mysql-schema.sql**
+
+
+> 查看执行结果
+
+
+
+> **初始化数据库**
+> **需要执行的文件：mysql-data.sql**
+> **与mysql-schema.sql文件执行操作一致，这里不再赘述。正常执行结果如下：**
+
+
+## StreamPark配置
+> 目的：配置启动需要的数据源。
+> 配置文件所在路径：/usr/local/streampark/conf
+
+
+### 配置mysql数据源
+```bash
+vim application-mysql.yml
+```
+> **username、password、url中的数据库IP/端口号 需要改成用户自己环境的信息**
+
+```bash
+spring:
+ datasource:
+ username: 数据库用户名
+ password: 数据库用户密码
+ driver-class-name: com.mysql.cj.jdbc.Driver
+ url:
jdbc:mysql://数据库IP地址:数据库端口号/streampark?useSSL=false&useUnicode=true&characterEncoding=UTF-8&allowPublicKeyRetrieval=false&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=GMT%2B8
+```
+### 配置应用端口、hdfs存储、应用访问密码等
+```bash
+vim application.yml
+```
+> **主要的配置项：**
+> 1. **server.port # 【重要】默认的web访问端口号10000，如果有冲突(如: hive服务)可以更改**
+> 2. knife4j.basic.enable # true表示允许访问页面 Swagger API
+> 3. knife4j.basic.password # 访问页面 Swagger API 时需要密码，这样可以提高接口安全性
+> 4. **spring.profiles.activemysql # 【重要】表示系统采用何种数据源，本文档采用mysql **
+> 5. **workspace.remote # 配置工作空间信息**
+> 6. **hadoop-user-name #
如果使用hadoop，该处用户需要保证有操作hdfs的权限，否则会报“org.apache.hadoop.security.AccessControlException:
Permission denied”异常**
+> 7. ldap.password # 系统登陆页面提供了2种登录模式： 用户密码 和 ldap。这里可以配置ldap密码
+
+> 主要配置示例：
+
+
+
+
+
+### 【可选】配置kerberos
+>
背景：企业级hadoop集群环境都有设置安全访问机制，比如kerberos。StreamPark也可配置kerberos，使得flink可通过kerberos认证，向hadoop集群提交作业。
+
+> **修改项如下:**
+> 1. **security.kerberos.login.enable=true**
+> 2. **security.kerberos.login.principal=实际的principal**
+> 3. **security.kerberos.login.krb5=/etc/krb5.conf**
+> 4. **security.kerberos.login.keytab=实际的keytab文件**
+> 5. **java.security.krb5.conf=/etc/krb5.conf**
+
+
+## 启动StreamPark
+## 进入服务器StreamPark安装路径
+```bash
+cd /usr/local/streampark/
+```
+
+## 启动StreamPark服务
+```bash
+./bin/startup.sh
+```
+
+> 查看启动日志
+> 目的：确认无报错信息
+
+```bash
+tail -100f log/streampark.out
+```
+
+# 验证安装
+```bash
+# 页面正常打开，则说明部署成功。
+http://部署streampark服务IP或域名:10000/
+admin/streampark
+```
+## 页面正常访问
+
+## 系统正常登录
+
+##
+
+# 常见问题
+## Cannot load driver class: com.mysql.cj.jdbc.Driver
+> 原因：缺少mysql驱动包，参见 “3.2. 引入MySQL依赖包”
+
+
+# 参考资源
+>
[https://streampark.apache.org/docs/user-guide/deployment/](https://streampark.apache.org/docs/user-guide/deployment/)
+
diff --git
a/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/12-platformBasicUsage.md
b/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/12-platformBasicUsage.md
new file mode 100644
index 0000000..f5d4e05
--- /dev/null
+++
b/i18n/zh-CN/docusaurus-plugin-content-docs/current/user-guide/12-platformBasicUsage.md
@@ -0,0 +1,287 @@
+# 快速上手
+> 说明：该部分旨在通过简单的操作步骤，体验使用StreamPark平台提交flink作业的边界流程。
+
+## 配置FLINK_HOME
+
+
+> 点击"OK"，保存
+
+
+## 配置Flink Cluster
+> 根据flink 部署模式 以及 资源管理方式，StreamPark 支持以下6种作业模式
+> - **Standalone Session**
+> - **Yarn Session**
+> - **Yarn Per-job**
+> - **Yarn Application**
+> - **K8s Session**
+> - **K8s Application**
+>
+本次选取较为简单的 Standalone Session 模式(**下图绿色连线**)，快速上手。
+
+
+### 服务器启动 flink Standalone Session
+```bash
+start-cluster.sh
+```
+
+> 页面访问：[http://hadoop:8081/](http://hadoop:8081/)
+
+
+### 配置Flink Cluster
+
+
+
+
+## 创建作业
+
+### 主要参数
+> - Development Mode: 选择 “Flink SQL”
+> - Execution Mode: 选择 “remote”
+> - Flink Version: 选择 "flink-1.14", 即 “1.1 配置FLINK_HOME”里面配置的
+> - Flink Cluster: 选择 “myStandalonSession”, 即“1.2 配置FLINK Cluster”里面配置的
+> - Flink SQL: 详见下面示例
+> - Application Name: 作业名称
+
+### 创建作业
+
+
+
+### 保存作业
+> 点击 蓝色“Submit”按钮，提交作业
+
+
+
+## 构建作业
+
+> 构建成功
+
+
+## 启动作业
+
+### 启动检查点设置
+
+### 提交作业
+
+
+## 查看作业状态
+### 通过StreamPark看板查看
+> StreamPark dashboard
+
+
+> 查看作业详情
+
+
+
+### 查看原生 flink web ui
+
+
+> 至此，一个使用StreamPark平台提交flink job的流程基本完成。下面简单总结下StreamPark平台管理flink作业的大致流程。
+
+## StreamPark平台管理flink job的流程
+
+> 通过 StreamPark 平台 停止、修改、删除 flink job
相对简单，大家可自行体验，需要说明的一点是：**若作业为running状态，则不可删除，需先停止**。
+
+
+# StreamPark系统模块简介
+## 系统设置
+> 菜单位置
+
+
+### User Management
+> 用于管理StreamPark平台用户
+
+
+### Token Management
+> 允许用户以Restful api形式操作flink job
+
+
+
+```bash
+curl -X POST '/flink/app/cancel' \
+-H 'Authorization:
69qMW7reOXhrAh29LjPWwwP+quFqLf++MbPbsB9/NcTCKGzZE2EU7tBUBU5gqG236VF5pMyVrsE5K7hBWiyuLuJRqmxKdPct4lbGrjZZqkv5lBBYExxYVMIl+f5MZ9dbqqslZifFx3P4A//NYgGwkx5PpizomwkE+oZOqg0+c2apU0UZ9T7Dpnu/tPLk9g5w9q+6ZS2p+rTllPiEgyBnSw=='
\
+-H 'Content-Type: application/x-www-form-urlencoded; charset=UTF-8' \
+--data-urlencode 'savePoint=' \
+--data-urlencode 'id=100001' \
+--data-urlencode 'savePointed=false' \
+--data-urlencode 'drain=false' \
+-i
+```
+### Role Management
+> 用户角色：目前有2种，develop 和 admin。
+
+
+### Team Management
+> 团队：用于区分管理企业不同团队的作业。
+
+
+### Member Management
+> (团队)成员管理
+
+
+### Menu Management
+> 管理系统菜单
+
+
+## StreamPark菜单模块
+### Project
+> StreamPark结合代码仓库实现CICD
+
+
+> 使用时，点击 “+ Add new ”,配置repo信息，保存。
+
+
+
+### Application
+> **核心模块：用于对 flink job 全生命周期(创建、构建、启动、停止、删除等)管理。**
+
+
+### Variable
+> 变量管理：管理变量，可在Application 作业创建时使用。
+
+
+
+
+### Setting
+#### System Setting
+> 用于系统配置：Maven 、 Docker 、 alert email、Ingress
+
+
+
+
+
+#### Alert Setting
+> 支持多种告警通知模式
+
+
+#### Flink Home
+> 【**待完善**】可对flink作业进行一些操作，如对flink sql校验等
+
+
+
+
+#### Flink Cluster
+> - Session模式执行flink作业，根据资源管理方式不同，可以分为3种：Standalone、Yarn、K8s
+> - 【**待完善**】应用场景：资源充足，作业之间隔离性需求不是很强的场景
+> -
关于session模式，详见：[https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/deployment/overview/#session-mode](https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/deployment/overview/#session-mode)
+
+
+
+
+
+# 原生flink 与 StreamPark关联使用
+>
【**待完善**】其实，个人理解，StreamPark一大特点是对flink原生作业的管理模式在用户使用层面进行了优化，使得用户能快速利用该平台快速开发flink作业。所以，想表达的意思是：如果用户对原生flink比较熟悉的话，那StreamPark使用起来就会更加得心应手。
+
+## flink部署模式
+> 下面内容摘自 **张利兵 老师 极客时间专栏**
《[Flink核心技术与实战](https://time.geekbang.org/course/intro/100058801)》
+
+### 原生flink集群部署模式
+
+
+
+
+
+
+### 如何在StreamPark中使用
+> **Session 模式**
+
+1. 配置 Flink Cluster
+
+
+
+2. 创建作业时在 Execution Mode选择对应资源管理器的mode 和 已经建立好的Flink Cluster
+
+
+> **Application 模式**
+
+
+
+
+
+## 设置作业参数
+### 原生flink作业参数
+>
官网：[https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/deployment/config/](https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/deployment/config/)
+
+> 原生提交命令(含参数)
+
+```bash
+flink run-application -t yarn-application \
+ -Dyarn.provided.lib.dirs="hdfs://myhdfs/my-remote-flink-dist-dir" \
+ hdfs://myhdfs/jars/my-application.jar
+```
+### 如何在StreamPark中使用
+> 创建 或 修改 作业时，在“Dynamic Properties”里面按指定格式添加即可
+
+
+## 告警策略
+> 【**待完善**】
+
+### 原生flink重启机制
+>
参考：[https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/ops/state/task_failure_recovery/](https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/ops/state/task_failure_recovery/)
+
+
+### 如何在StreamPark中使用
+> 【**待完善**】一般在作业失败或出现异常时，会触发告警
+
+1. 配置告警通知
+
+
+
+
+2. 创建 或 修改 作业时，在"Fault Alert Template"、“CheckPoint Failure Options”里面配置即可
+
+
+## cp/sp
+> 【**待完善**】
+
+### 原生flink checkpoint 和 savepoint
+> cp:
[https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/datastream/fault-tolerance/checkpointing/](https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/datastream/fault-tolerance/checkpointing/)
+> sp:
[https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/ops/state/savepoints/](https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/ops/state/savepoints/)
+
+
+
+### 如何在StreamPark中配置savepoint
+> 当停止作业时，可以让用户设置savepoint
+
+
+
+
+> 查看savepoint
+
+
+
+### 如何在StreamPark中由指定savepoint恢复作业
+> 启动作业时，会让选择
+
+
+## 作业状态
+> 【**待完善**】
+
+### 原生flink 作业状态
+>
参考：[https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/internals/job_scheduling/#jobmanager-%e6%95%b0%e6%8d%ae%e7%bb%93%e6%9e%84](https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/internals/job_scheduling/#jobmanager-%e6%95%b0%e6%8d%ae%e7%bb%93%e6%9e%84)
+
+
+### StreamPark中的作业状态
+> 【**待完善**】
+
+
+## 作业详情
+### 原生flink作业详情
+> 通过 “[Apache Flink
Dashboard](http://hadoop:8088/proxy/application_1701871016253_0004/#/)”查看
+
+
+### StreamPark中作业详情
+
+> 同时在k8s模式下的作业，StreamPark还支持启动日志实时展示，如下
+
+
+## 如何与第三方系统集成
+### 原生flink如何与第三方系统集成
+> 原生flink提供了 rest api
+>
参考：[https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/ops/rest_api/](https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/ops/rest_api/)
+
+### StreamPark如何与第三方系统集成
+> 也提供了Restful Api，支持与其他系统对接，
+> 比如：开启作业 启动|停止 restapi 接口
+
+
+
