This is an automated email from the ASF dual-hosted git repository.
lidongdai pushed a commit to branch master
in repository
https://gitbox.apache.org/repos/asf/incubator-dolphinscheduler-website.git
The following commit(s) were added to refs/heads/master by this push:
new 2cfca90 add cluster and standalone deployment in english and update
some contents in chinese
new d60d51f Merge pull request #130 from lgcareer/master-1.3.0-doc
2cfca90 is described below
commit 2cfca907e38963f0f50f1a73a667877acb786c37
Author: lgcareer <[email protected]>
AuthorDate: Sat Jun 13 17:00:24 2020 +0800
add cluster and standalone deployment in english and update some contents
in chinese
---
docs/en-us/1.3.0/user_doc/cluster-deployment.md | 405 ++++++++++
docs/en-us/1.3.0/user_doc/hardware-environment.md | 48 ++
docs/en-us/1.3.0/user_doc/standalone-deployment.md | 398 ++++++++++
docs/zh-cn/1.3.0/user_doc/metadata-1.3.md | 183 +++++
docs/zh-cn/1.3.0/user_doc/standalone-deployment.md | 2 +-
docs/zh-cn/1.3.0/user_doc/system-manual.md | 842 +++++++++++++++++++++
docs/zh-cn/1.3.0/user_doc/upgrade.md | 2 +-
site_config/site.js | 4 +-
8 files changed, 1880 insertions(+), 4 deletions(-)
diff --git a/docs/en-us/1.3.0/user_doc/cluster-deployment.md
b/docs/en-us/1.3.0/user_doc/cluster-deployment.md
new file mode 100644
index 0000000..4b22393
--- /dev/null
+++ b/docs/en-us/1.3.0/user_doc/cluster-deployment.md
@@ -0,0 +1,405 @@
+# Cluster Deployment
+
+# 1、Before you begin (please install requirement basic software by yourself)
+
+ * PostgreSQL (8.2.15+) or MySQL (5.7) : Choose One
+ * [JDK](https://www.oracle.com/technetwork/java/javase/downloads/index.html)
(1.8+) : Required. Double-check configure JAVA_HOME and PATH environment
variables in /etc/profile
+ * ZooKeeper (3.4.6+) ：Required
+ * Hadoop (2.6+) or MinIO ：Optional. If you need to upload a resource
function, you can choose a local file directory as the upload folder for a
single machine (this operation does not need to deploy Hadoop). Of course, you
can also choose to upload to Hadoop or MinIO.
+
+```markdown
+ Tips：DolphinScheduler itself does not rely on Hadoop, Hive, Spark, only use
their clients for the corresponding task of running.
+```
+
+# 2、Download the binary package.
+
+- Please download the latest version of the default installation package to
the server deployment directory. For example, use /opt/dolphinscheduler as the
installation and deployment directory. Download address:
[Download](https://dist.apache.org/repos/dist/dev/incubator/dolphinscheduler/1.3.0/apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin.tar.gz)，Download
the package and move to the installation and deployment directory. Then unzip
it.
+
+```shell
+# Create the deployment directory. Do not choose a deployment directory with a
high-privilege directory such as / root or / home.
+mkdir -p /opt/dolphinscheduler;
+cd /opt/dolphinscheduler;
+# unzip
+tar -zxvf apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin.tar.gz
-C /opt/dolphinscheduler;
+
+mv apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin
dolphinscheduler-bin
+```
+
+# 3、Create deployment user and hosts mapping
+
+- Create a deployment user on the ** all ** deployment machines, and be sure
to configure sudo passwordless. If we plan to deploy DolphinScheduler on 4
machines: ds1, ds2, ds3, and ds4, we first need to create a deployment user on
each machine.
+
+```shell
+# To create a user, you need to log in as root and set the deployment user
name. Please modify it yourself. The following uses dolphinscheduler as an
example.
+useradd dolphinscheduler;
+
+# Set the user password, please modify it yourself. The following takes
dolphinscheduler123 as an example.
+echo "dolphinscheduler123" | passwd --stdin dolphinscheduler
+
+# Configure sudo passwordless
+echo 'dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
+sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers
+
+```
+
+```
+ Notes：
+ - Because the task execution service is based on 'sudo -u {linux-user}' to
switch between different Linux users to implement multi-tenant running jobs,
the deployment user needs to have sudo permissions and is passwordless. The
first-time learners who can ignore it if they don't understand.
+ - If find the "Default requiretty" in the "/etc/sudoers" file, also comment
out.
+ - If you need to use resource upload, you need to assign the user of
permission to operate the local file system, HDFS or MinIO.
+```
+
+# 4、Configure hosts mapping and ssh access and modify directory permissions.
+
+- Use the first machine (hostname is ds1) as the deployment machine, configure
the hosts of all machines to be deployed on ds1, and login as root on ds1.
+
+ ```shell
+ vi /etc/hosts
+
+ #add ip hostname
+ 192.168.xxx.xxx ds1
+ 192.168.xxx.xxx ds2
+ 192.168.xxx.xxx ds3
+ 192.168.xxx.xxx ds4
+ ```
+
+ *Note: Please delete or comment out the line 127.0.0.1*
+
+- Sync /etc/hosts on ds1 to all deployment machines
+
+ ```shell
+ for ip in ds2 ds3; # Please replace ds2 ds3 here with the hostname of
machines you want to deploy
+ do
+ sudo scp -r /etc/hosts $ip:/etc/ # Need to enter root password
during operation
+ done
+ ```
+
+ *Note: can use `sshpass -p xxx sudo scp -r /etc/hosts $ip:/etc/` to avoid
type password.*
+
+ > Install sshpass in Centos：
+ >
+ > 1. Install epel
+ >
+ > yum install -y epel-release
+ >
+ > yum repolist
+ >
+ > 2. After installing epel, you can install sshpass
+ >
+ > yum install -y sshpass
+ >
+ >
+
+- On ds1, switch to the deployment user and configure ssh passwordless login
+
+ ```shell
+ su dolphinscheduler;
+
+ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
+ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
+ chmod 600 ~/.ssh/authorized_keys
+ ```
+ Note: *If configure success, the dolphinscheduler user does not need to
enter a password when executing the command `ssh localhost`*
+
+
+
+- On ds1, configure the deployment user dolphinscheduler ssh to connect to
other machines to be deployed.
+
+ ```shell
+ su dolphinscheduler;
+ for ip in ds2 ds3; # Please replace ds2 ds3 here with the hostname of
the machine you want to deploy.
+ do
+ ssh-copy-id $ip # You need to manually enter the password of the
dolphinscheduler user during the operation.
+ done
+ # can use `sshpass -p xxx ssh-copy-id $ip` to avoid type password.
+ ```
+
+- On ds1, modify the directory permissions so that the deployment user has
operation permissions on the dolphinscheduler-backend directory.
+
+ ```shell
+ sudo chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-backend
+ ```
+
+# 5、Database initialization
+
+- Into the database. The default database is PostgreSQL. If you select MySQL,
you need to add the mysql-connector-java driver package to the lib directory of
DolphinScheduler.
+```
+mysql -uroot -p
+```
+
+- After entering the database command line window, execute the database
initialization command and set the user and password. **Note: {user} and
{password} need to be replaced with a specific database username and password**
+
+ ``` mysql
+ mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT
COLLATE utf8_general_ci;
+ mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%'
IDENTIFIED BY '{password}';
+ mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'localhost'
IDENTIFIED BY '{password}';
+ mysql> flush privileges;
+ ```
+
+- Create tables and import basic data
+
+ - Modify the following configuration in datasource.properties under the
conf directory
+
+ ```shell
+ vi conf/datasource.properties
+ ```
+
+ - If you choose Mysql, please comment out the relevant configuration of
PostgreSQL (vice versa), you also need to manually add the
[[mysql-connector-java driver jar] (https://downloads.mysql.com/archives/c-j/)]
package to lib under the directory, and then configure the database connection
information correctly.
+
+ ```properties
+ #postgre
+ #spring.datasource.driver-class-name=org.postgresql.Driver
+ #spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
+ # mysql
+ spring.datasource.driver-class-name=com.mysql.jdbc.Driver
+
spring.datasource.url=jdbc:mysql://xxx:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true
# Replace the correct IP address
+ spring.datasource.username=xxx
# replace the correct {user} value
+ spring.datasource.password=xxx
# replace the correct {password} value
+ ```
+
+ - After modifying and saving, execute the create table and import data
script in the script directory.
+
+ ```shell
+ sh script/create-dolphinscheduler.sh
+ ```
+
+ *Note: If you execute the above script and report "/bin/java: No such
file or directory" error, please configure JAVA_HOME and PATH variables in
/etc/profile*
+
+# 6、Modify runtime parameters.
+
+- Modify the environment variable in `dolphinscheduler_env.sh` file which on
the 'conf/env' directory (take the relevant software installed under
'/opt/soft' as an example)
+
+ ```shell
+ export HADOOP_HOME=/opt/soft/hadoop
+ export HADOOP_CONF_DIR=/opt/soft/hadoop/etc/hadoop
+ #export SPARK_HOME1=/opt/soft/spark1
+ export SPARK_HOME2=/opt/soft/spark2
+ export PYTHON_HOME=/opt/soft/python
+ export JAVA_HOME=/opt/soft/java
+ export HIVE_HOME=/opt/soft/hive
+ export FLINK_HOME=/opt/soft/flink
+ export DATAX_HOME=/opt/soft/datax/bin/datax.py
+ export
PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$DATAX_HOME:$PATH
+
+ ```
+
+ `Note: This step is very important. For example, JAVA_HOME and PATH must
be configured. Those that are not used can be ignored or commented out.`
+
+
+
+- Create Soft link jdk to /usr/bin/java (still JAVA_HOME=/opt/soft/java as an
example)
+
+ ```shell
+ sudo ln -s /opt/soft/java/bin/java /usr/bin/java
+ ```
+
+ - Modify the parameters in the one-click deployment config file
`conf/config/install_config.conf`, pay special attention to the configuration
of the following parameters.
+
+ ```shell
+ # choose mysql or postgresql
+ dbtype="mysql"
+
+ # Database connection address and port
+ dbhost="192.168.xx.xx:3306"
+
+ # database name
+ dbname="dolphinscheduler"
+
+ # database username
+ username="xxx"
+
+ # database password
+ # NOTICE: if there are special characters, please use the \ to escape, for
example, `[` escape to `\[`
+ passowrd="xxx"
+
+ #Zookeeper cluster
+ zkQuorum="192.168.xx.xx:2181,192.168.xx.xx:2181,192.168.xx.xx:2181"
+
+ # Note: the target installation path for dolphinscheduler, please not
config as the same as the current path (pwd)
+ installPath="/opt/soft/dolphinscheduler"
+
+ # deployment user
+ # Note: the deployment user needs to have sudo privileges and permissions
to operate hdfs. If hdfs is enabled, the root directory needs to be created by
itself
+ deployUser="dolphinscheduler"
+
+ # alert config，take QQ email for example
+ # mail protocol
+ mailProtocol="SMTP"
+
+ # mail server host
+ mailServerHost="smtp.qq.com"
+
+ # mail server port
+ # note: Different protocols and encryption methods correspond to different
ports, when SSL/TLS is enabled, make sure the port is correct.
+ mailServerPort="25"
+
+ # mail sender
+ mailSender="[email protected]"
+
+ # mail user
+ mailUser="[email protected]"
+
+ # mail sender password
+ # note: The mail.passwd is email service authorization code, not the email
login password.
+ mailPassword="xxx"
+
+ # Whether TLS mail protocol is supported,true is supported and false is
not supported
+ starttlsEnable="true"
+
+ # Whether TLS mail protocol is supported,true is supported and false is
not supported。
+ # note: only one of TLS and SSL can be in the true state.
+ sslEnable="false"
+
+ # note: sslTrust is the same as mailServerHost
+ sslTrust="smtp.qq.com"
+
+
+ # resource storage type：HDFS,S3,NONE
+ resourceStorageType="HDFS"
+
+ # if resourceStorageType is HDFS，defaultFS write namenode address，HA you
need to put core-site.xml and hdfs-site.xml in the conf directory.
+ # if S3，write S3 address，HA，for example ：s3a://dolphinscheduler，
+ # Note，s3 be sure to create the root directory /dolphinscheduler
+ defaultFS="hdfs://mycluster:8020"
+
+
+ # if not use hadoop resourcemanager, please keep default value; if
resourcemanager HA enable, please type the HA ips ; if resourcemanager is
single, make this value empty
+ yarnHaIps="192.168.xx.xx,192.168.xx.xx"
+
+ # if resourcemanager HA enable or not use resourcemanager, please skip
this value setting; If resourcemanager is single, you only need to replace
yarnIp1 to actual resourcemanager hostname.
+ singleYarnIp="yarnIp1"
+
+ # resource store on HDFS/S3 path, resource file will store to this hadoop
hdfs path, self configuration, please make sure the directory exists on hdfs
and have read write permissions。/dolphinscheduler is recommended
+ resourceUploadPath="/dolphinscheduler"
+
+ # who have permissions to create directory under HDFS/S3 root path
+ # Note: if kerberos is enabled, please config hdfsRootUser=
+ hdfsRootUser="hdfs"
+
+
+
+ # install hosts
+ # Note: install the scheduled hostname list. If it is pseudo-distributed,
just write a pseudo-distributed hostname
+ ips="ds1,ds2,ds3,ds4"
+
+ # ssh port, default 22
+ # Note: if ssh port is not default, modify here
+ sshPort="22"
+
+ # run master machine
+ # Note: list of hosts hostname for deploying master
+ masters="ds1,ds2"
+
+ # run worker machine
+ # note: need to write the worker group name of each worker, the default
value is "default"
+ workers="ds3:default,ds4:default"
+
+ # run alert machine
+ # note: list of machine hostnames for deploying alert server
+ alertServer="ds2"
+
+ # run api machine
+ # note: list of machine hostnames for deploying api server
+ apiServers="ds1"
+
+ ```
+
+ *Attention:*
+
+ - If you need to upload resources to the Hadoop cluster, and the NameNode
of the Hadoop cluster is configured with HA, you need to enable HDFS resource
upload, and you need to copy the core-site.xml and hdfs-site.xml in the Hadoop
cluster to /opt/ dolphinscheduler/conf. Non-NameNode HA skips the next step.
+
+# 7、Automated Deployment
+
+- Switch to the deployment user and execute the one-click deployment script
+
+ `sh install.sh`
+
+ ```
+ Note:
+ For the first deployment, the following message appears in step 3 of `3,
stop server` during operation. This message can be ignored.
+ sh: bin/dolphinscheduler-daemon.sh: No such file or directory
+ ```
+
+- After the script is completed, the following 5 services will be started. Use
the `jps` command to check whether the services are started (` jps` comes with
`java JDK`)
+
+```aidl
+ MasterServer ----- master service
+ WorkerServer ----- worker service
+ LoggerServer ----- logger service
+ ApiApplicationServer ----- api service
+ AlertServer ----- alert service
+```
+If the above services are started normally, the automatic deployment is
successful.
+
+
+After the deployment is successful, you can view the logs. The logs are stored
in the logs folder.
+
+```log path
+ logs/
+ ├── dolphinscheduler-alert-server.log
+ ├── dolphinscheduler-master-server.log
+ |—— dolphinscheduler-worker-server.log
+ |—— dolphinscheduler-api-server.log
+ |—— dolphinscheduler-logger-server.log
+```
+
+
+
+# 8、login
+
+- Access the address of the front page, interface IP (self-modified)
+http://192.168.xx.xx:12345/dolphinscheduler
+
+ <p align="center">
+ <img src="/img/login.png" width="60%" />
+ </p>
+
+
+
+# 9、Start and stop service
+
+* Stop all services
+
+ ` sh ./bin/stop-all.sh`
+
+* Start all services
+
+ ` sh ./bin/start-all.sh`
+
+* Start and stop master service
+
+```shell
+sh ./bin/dolphinscheduler-daemon.sh start master-server
+sh ./bin/dolphinscheduler-daemon.sh stop master-server
+```
+
+* Start and stop worker Service
+
+```shell
+sh ./bin/dolphinscheduler-daemon.sh start worker-server
+sh ./bin/dolphinscheduler-daemon.sh stop worker-server
+```
+
+* Start and stop api Service
+
+```shell
+sh ./bin/dolphinscheduler-daemon.sh start api-server
+sh ./bin/dolphinscheduler-daemon.sh stop api-server
+```
+
+* Start and stop logger Service
+
+```shell
+sh ./bin/dolphinscheduler-daemon.sh start logger-server
+sh ./bin/dolphinscheduler-daemon.sh stop logger-server
+```
+
+* Start and stop alert service
+
+```shell
+sh ./bin/dolphinscheduler-daemon.sh start alert-server
+sh ./bin/dolphinscheduler-daemon.sh stop alert-server
+```
+
+``Note: Please refer to the "Architecture Design" section for service usage``
+
diff --git a/docs/en-us/1.3.0/user_doc/hardware-environment.md
b/docs/en-us/1.3.0/user_doc/hardware-environment.md
new file mode 100644
index 0000000..705c7d8
--- /dev/null
+++ b/docs/en-us/1.3.0/user_doc/hardware-environment.md
@@ -0,0 +1,48 @@
+# Hareware Environment
+
+DolphinScheduler, as an open-source distributed workflow task scheduling
system, can be well deployed and run in Intel architecture server environments
and mainstream virtualization environments, and supports mainstream Linux
operating system environments.
+
+## 1. Linux operating system version requirements
+
+| OS | Version |
+| :----------------------- | :----------: |
+| Red Hat Enterprise Linux | 7.0 and above |
+| CentOS | 7.0 and above |
+| Oracle Enterprise Linux | 7.0 and above |
+| Ubuntu LTS | 16.04 and above |
+
+> **Attention:**
+>The above Linux operating systems can run on physical servers and mainstream
virtualization environments such as VMware, KVM, and XEN.
+
+## 2. Recommended server configuration
+DolphinScheduler supports 64-bit hardware platforms with Intel x86-64
architecture. The following recommendation is made for server hardware
configuration in a production environment:
+### Production Environment
+
+| **CPU** | **MEM** | **HD** | **NIC** | **Num** |
+| --- | --- | --- | --- | --- |
+| 4 core+ | 8 GB+ | SAS | GbE | 1+ |
+
+> **Attention:**
+> - The above-recommended configuration is the minimum configuration for
deploying DolphinScheduler. The higher configuration is strongly recommended
for production environments.
+> - The hard disk size configuration is recommended by more than 50GB. The
system disk and data disk are separated.
+
+
+## 3. Network requirements
+
+DolphinScheduler provides the following network port configurations for normal
operation:
+
+| Server | Port | Desc |
+| --- | --- | --- |
+| MasterServer | 5566 | Not the communication port. Require the native ports
do not conflict |
+| WorkerServer | 7788 | Not the communication port. Require the native ports
do not conflict |
+| ApiApplicationServer | 12345 | Backend communication port |
+| nginx | 8888 | The port for DolphinScheduler UI |
+
+> **Attention:**
+> - MasterServer and WorkerServer do not need to enable communication between
the networks. As long as the local ports do not conflict.
+> - Administrators can adjust relevant ports on the network side and host-side
according to the deployment plan of DolphinScheduler components in the actual
environment.
+
+## 4. Browser requirements
+
+DolphinScheduler recommends Chrome and the latest browsers which using Chrome
Kernel to access the front-end visual operator page.
+
diff --git a/docs/en-us/1.3.0/user_doc/standalone-deployment.md
b/docs/en-us/1.3.0/user_doc/standalone-deployment.md
new file mode 100644
index 0000000..b8b0114
--- /dev/null
+++ b/docs/en-us/1.3.0/user_doc/standalone-deployment.md
@@ -0,0 +1,398 @@
+# Standalone Deployment
+
+# 1、Before you begin (please install requirement basic software by yourself)
+
+ * PostgreSQL (8.2.15+) or MySQL (5.7) : Choose One
+ * [JDK](https://www.oracle.com/technetwork/java/javase/downloads/index.html)
(1.8+) : Required. Double-check configure JAVA_HOME and PATH environment
variables in /etc/profile
+ * ZooKeeper (3.4.6+) ：Required
+ * Hadoop (2.6+) or MinIO ：Optional. If you need to upload a resource
function, you can choose a local file directory as the upload folder for a
single machine (this operation does not need to deploy Hadoop). Of course, you
can also choose to upload to Hadoop or MinIO.
+
+```markdown
+ Tips：DolphinScheduler itself does not rely on Hadoop, Hive, Spark, only use
their clients for the corresponding task of running.
+```
+
+# 2、Download the binary package.
+
+- Please download the latest version of the default installation package to
the server deployment directory. For example, use /opt/dolphinscheduler as the
installation and deployment directory. Download address:
[Download](https://dist.apache.org/repos/dist/dev/incubator/dolphinscheduler/1.3.0/apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin.tar.gz)，Download
the package and move to the installation and deployment directory. Then unzip
it.
+
+```shell
+# Create the deployment directory. Do not choose a deployment directory with a
high-privilege directory such as / root or / home.
+mkdir -p /opt/dolphinscheduler;
+cd /opt/dolphinscheduler;
+# unzip
+tar -zxvf apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin.tar.gz
-C /opt/dolphinscheduler;
+
+mv apache-dolphinscheduler-incubating-1.3.0-dolphinscheduler-bin
dolphinscheduler-bin
+```
+
+# 3、Create deployment user and hosts mapping
+
+- Create a deployment user on the ** all ** deployment machines, and be sure
to configure sudo passwordless. If we plan to deploy DolphinScheduler on 4
machines: ds1, ds2, ds3, and ds4, we first need to create a deployment user on
each machine.
+
+```shell
+# To create a user, you need to log in as root and set the deployment user
name. Please modify it yourself. The following uses dolphinscheduler as an
example.
+useradd dolphinscheduler;
+
+# Set the user password, please modify it yourself. The following takes
dolphinscheduler123 as an example.
+echo "dolphinscheduler123" | passwd --stdin dolphinscheduler
+
+# Configure sudo passwordless
+echo 'dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
+sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers
+
+```
+
+```
+ Notes：
+ - Because the task execution service is based on 'sudo -u {linux-user}' to
switch between different Linux users to implement multi-tenant running jobs,
the deployment user needs to have sudo permissions and is passwordless. The
first-time learners who can ignore it if they don't understand.
+ - If find the "Default requiretty" in the "/etc/sudoers" file, also comment
out.
+ - If you need to use resource upload, you need to assign the user of
permission to operate the local file system, HDFS or MinIO.
+```
+
+# 4、Configure hosts mapping and ssh access and modify directory permissions.
+
+- Use the first machine (hostname is ds1) as the deployment machine, configure
the hosts of all machines to be deployed on ds1, and login as root on ds1.
+
+ ```shell
+ vi /etc/hosts
+
+ #add ip hostname
+ 192.168.xxx.xxx ds1
+ 192.168.xxx.xxx ds2
+ 192.168.xxx.xxx ds3
+ 192.168.xxx.xxx ds4
+ ```
+
+ *Note: Please delete or comment out the line 127.0.0.1*
+
+- Sync /etc/hosts on ds1 to all deployment machines
+
+ ```shell
+ for ip in ds2 ds3; # Please replace ds2 ds3 here with the hostname of
machines you want to deploy
+ do
+ sudo scp -r /etc/hosts $ip:/etc/ # Need to enter root password
during operation
+ done
+ ```
+
+ *Note: can use `sshpass -p xxx sudo scp -r /etc/hosts $ip:/etc/` to avoid
type password.*
+
+ > Install sshpass in Centos：
+ >
+ > 1. Install epel
+ >
+ > yum install -y epel-release
+ >
+ > yum repolist
+ >
+ > 2. After installing epel, you can install sshpass
+ >
+ > yum install -y sshpass
+ >
+ >
+
+- On ds1, switch to the deployment user and configure ssh passwordless login
+
+ ```shell
+ su dolphinscheduler;
+
+ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
+ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
+ chmod 600 ~/.ssh/authorized_keys
+ ```
+ Note: *If configure success, the dolphinscheduler user does not need to
enter a password when executing the command `ssh localhost`*
+
+
+
+- On ds1, configure the deployment user dolphinscheduler ssh to connect to
other machines to be deployed.
+
+ ```shell
+ su dolphinscheduler;
+ for ip in ds2 ds3; # Please replace ds2 ds3 here with the hostname of
the machine you want to deploy.
+ do
+ ssh-copy-id $ip # You need to manually enter the password of the
dolphinscheduler user during the operation.
+ done
+ # can use `sshpass -p xxx ssh-copy-id $ip` to avoid type password.
+ ```
+
+- On ds1, modify the directory permissions so that the deployment user has
operation permissions on the dolphinscheduler-backend directory.
+
+ ```shell
+ sudo chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-backend
+ ```
+
+# 5、Database initialization
+
+- Into the database. The default database is PostgreSQL. If you select MySQL,
you need to add the mysql-connector-java driver package to the lib directory of
DolphinScheduler.
+```
+mysql -uroot -p
+```
+
+- After entering the database command line window, execute the database
initialization command and set the user and password. **Note: {user} and
{password} need to be replaced with a specific database username and password**
+
+ ``` mysql
+ mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT
COLLATE utf8_general_ci;
+ mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%'
IDENTIFIED BY '{password}';
+ mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'localhost'
IDENTIFIED BY '{password}';
+ mysql> flush privileges;
+ ```
+
+- Create tables and import basic data
+
+ - Modify the following configuration in datasource.properties under the
conf directory
+
+ ```shell
+ vi conf/datasource.properties
+ ```
+
+ - If you choose Mysql, please comment out the relevant configuration of
PostgreSQL (vice versa), you also need to manually add the
[[mysql-connector-java driver jar] (https://downloads.mysql.com/archives/c-j/)]
package to lib under the directory, and then configure the database connection
information correctly.
+
+ ```properties
+ #postgre
+ #spring.datasource.driver-class-name=org.postgresql.Driver
+ #spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
+ # mysql
+ spring.datasource.driver-class-name=com.mysql.jdbc.Driver
+
spring.datasource.url=jdbc:mysql://xxx:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true
# Replace the correct IP address
+ spring.datasource.username=xxx
# replace the correct {user} value
+ spring.datasource.password=xxx
# replace the correct {password} value
+ ```
+
+ - After modifying and saving, execute the create table and import data
script in the script directory.
+
+ ```shell
+ sh script/create-dolphinscheduler.sh
+ ```
+
+ *Note: If you execute the above script and report "/bin/java: No such
file or directory" error, please configure JAVA_HOME and PATH variables in
/etc/profile*
+
+# 6、Modify runtime parameters.
+
+- Modify the environment variable in `dolphinscheduler_env.sh` file which on
the 'conf/env' directory (take the relevant software installed under
'/opt/soft' as an example)
+
+ ```shell
+ export HADOOP_HOME=/opt/soft/hadoop
+ export HADOOP_CONF_DIR=/opt/soft/hadoop/etc/hadoop
+ #export SPARK_HOME1=/opt/soft/spark1
+ export SPARK_HOME2=/opt/soft/spark2
+ export PYTHON_HOME=/opt/soft/python
+ export JAVA_HOME=/opt/soft/java
+ export HIVE_HOME=/opt/soft/hive
+ export FLINK_HOME=/opt/soft/flink
+ export DATAX_HOME=/opt/soft/datax/bin/datax.py
+ export
PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$DATAX_HOME:$PATH
+
+ ```
+
+ `Note: This step is very important. For example, JAVA_HOME and PATH must
be configured. Those that are not used can be ignored or commented out.`
+
+
+
+- Create Soft link jdk to /usr/bin/java (still JAVA_HOME=/opt/soft/java as an
example)
+
+ ```shell
+ sudo ln -s /opt/soft/java/bin/java /usr/bin/java
+ ```
+
+ - Modify the parameters in the one-click deployment config file
`conf/config/install_config.conf`, pay special attention to the configuration
of the following parameters.
+
+ ```shell
+ # choose mysql or postgresql
+ dbtype="mysql"
+
+ # Database connection address and port
+ dbhost="localhost:3306"
+
+ # database name
+ dbname="dolphinscheduler"
+
+ # database username
+ username="xxx"
+
+ # database password
+ # NOTICE: if there are special characters, please use the \ to escape, for
example, `[` escape to `\[`
+ passowrd="xxx"
+
+ # Zookeeper address, localhost:2181, remember the port 2181
+ zkQuorum="localhost:2181"
+
+ # Note: the target installation path for dolphinscheduler, please not
config as the same as the current path (pwd)
+ installPath="/opt/soft/dolphinscheduler"
+
+ # deployment user
+ # Note: the deployment user needs to have sudo privileges and permissions
to operate hdfs. If hdfs is enabled, the root directory needs to be created by
itself
+ deployUser="dolphinscheduler"
+
+ # alert config，take QQ email for example
+ # mail protocol
+ mailProtocol="SMTP"
+
+ # mail server host
+ mailServerHost="smtp.qq.com"
+
+ # mail server port
+ # note: Different protocols and encryption methods correspond to different
ports, when SSL/TLS is enabled, make sure the port is correct.
+ mailServerPort="25"
+
+ # mail sender
+ mailSender="[email protected]"
+
+ # mail user
+ mailUser="[email protected]"
+
+ # mail sender password
+ # note: The mail.passwd is email service authorization code, not the email
login password.
+ mailPassword="xxx"
+
+ # Whether TLS mail protocol is supported,true is supported and false is
not supported
+ starttlsEnable="true"
+
+ # Whether TLS mail protocol is supported,true is supported and false is
not supported。
+ # note: only one of TLS and SSL can be in the true state.
+ sslEnable="false"
+
+ # note: sslTrust is the same as mailServerHost
+ sslTrust="smtp.qq.com"
+
+
+ # resource storage type：HDFS,S3,NONE
+ resourceStorageType="HDFS"
+
+ # here is an example of saving to a local file system
+ # Note: If you want to upload to HDFS and the NameNode has HA enabled, you
need to put core-site.xml and hdfs-site.xml in the conf directory. In this
example, it is placed under /opt/dolphinscheduler/conf, and Configure the
namenode cluster name; if the NameNode is not HA, modify it to a specific IP or
host name.
+ defaultFS="file:///data/dolphinscheduler"
+
+
+ # if not use hadoop resourcemanager, please keep default value; if
resourcemanager HA enable, please type the HA ips ; if resourcemanager is
single, make this value empty
+ yarnHaIps="192.168.xx.xx,192.168.xx.xx"
+
+ # if resourcemanager HA enable or not use resourcemanager, please skip
this value setting; If resourcemanager is single, you only need to replace
yarnIp1 to actual resourcemanager hostname.
+ singleYarnIp="yarnIp1"
+
+ # resource store on HDFS/S3 path, resource file will store to this hadoop
hdfs path, self configuration, please make sure the directory exists on hdfs
and have read write permissions。/dolphinscheduler is recommended
+ resourceUploadPath="/data/dolphinscheduler"
+
+ # specify the user who have permissions to create directory under HDFS/S3
root path
+ hdfsRootUser="hdfs"
+
+
+
+ # On which machines to deploy the DS service, choose localhost for this
machine
+ ips="localhost"
+
+ # ssh port, default 22
+ # Note: if ssh port is not default, modify here
+ sshPort="22"
+
+ # run master machine
+ masters="localhost"
+
+ # run worker machine
+ workers="localhost"
+
+ # run alert machine
+ alertServer="localhost"
+
+ # run api machine
+ apiServers="localhost"
+
+ ```
+
+ *Attention:*
+
+ - If you need to upload resources to the Hadoop cluster, and the NameNode
of the Hadoop cluster is configured with HA, you need to enable HDFS resource
upload, and you need to copy the core-site.xml and hdfs-site.xml in the Hadoop
cluster to /opt/ dolphinscheduler/conf. Non-NameNode HA skips the next step.
+
+# 7、Automated Deployment
+
+- Switch to the deployment user and execute the one-click deployment script
+
+ `sh install.sh`
+
+ ```
+ Note:
+ For the first deployment, the following message appears in step 3 of `3,
stop server` during operation. This message can be ignored.
+ sh: bin/dolphinscheduler-daemon.sh: No such file or directory
+ ```
+
+- After the script is completed, the following 5 services will be started. Use
the `jps` command to check whether the services are started (` jps` comes with
`java JDK`)
+
+```aidl
+ MasterServer ----- master service
+ WorkerServer ----- worker service
+ LoggerServer ----- logger service
+ ApiApplicationServer ----- api service
+ AlertServer ----- alert service
+```
+If the above services are started normally, the automatic deployment is
successful.
+
+
+After the deployment is successful, you can view the logs. The logs are stored
in the logs folder.
+
+```log path
+ logs/
+ ├── dolphinscheduler-alert-server.log
+ ├── dolphinscheduler-master-server.log
+ |—— dolphinscheduler-worker-server.log
+ |—— dolphinscheduler-api-server.log
+ |—— dolphinscheduler-logger-server.log
+```
+
+
+
+# 8、login
+
+- Access the address of the front page, interface IP (self-modified)
+http://192.168.xx.xx:12345/dolphinscheduler
+
+ <p align="center">
+ <img src="/img/login.png" width="60%" />
+ </p>
+
+
+
+# 9、Start and stop service
+
+* Stop all services
+
+ ` sh ./bin/stop-all.sh`
+
+* Start all services
+
+ ` sh ./bin/start-all.sh`
+
+* Start and stop master service
+
+```shell
+sh ./bin/dolphinscheduler-daemon.sh start master-server
+sh ./bin/dolphinscheduler-daemon.sh stop master-server
+```
+
+* Start and stop worker Service
+
+```shell
+sh ./bin/dolphinscheduler-daemon.sh start worker-server
+sh ./bin/dolphinscheduler-daemon.sh stop worker-server
+```
+
+* Start and stop api Service
+
+```shell
+sh ./bin/dolphinscheduler-daemon.sh start api-server
+sh ./bin/dolphinscheduler-daemon.sh stop api-server
+```
+
+* Start and stop logger Service
+
+```shell
+sh ./bin/dolphinscheduler-daemon.sh start logger-server
+sh ./bin/dolphinscheduler-daemon.sh stop logger-server
+```
+
+* Start and stop alert service
+
+```shell
+sh ./bin/dolphinscheduler-daemon.sh start alert-server
+sh ./bin/dolphinscheduler-daemon.sh stop alert-server
+```
+
+``Note: Please refer to the "Architecture Design" section for service usage``
+
diff --git a/docs/zh-cn/1.3.0/user_doc/metadata-1.3.md
b/docs/zh-cn/1.3.0/user_doc/metadata-1.3.md
new file mode 100644
index 0000000..09a14ae
--- /dev/null
+++ b/docs/zh-cn/1.3.0/user_doc/metadata-1.3.md
@@ -0,0 +1,183 @@
+# Dolphin Scheduler 1.2元数据文档
+
+<a name="25Ald"></a>
+### 表概览
+| 表名 | 表信息 |
+| :---: | :---: |
+| t_ds_access_token | 访问ds后端的token |
+| t_ds_alert | 告警信息 |
+| t_ds_alertgroup | 告警组 |
+| t_ds_command | 执行命令 |
+| t_ds_datasource | 数据源 |
+| t_ds_error_command | 错误命令 |
+| t_ds_process_definition | 流程定义 |
+| t_ds_process_instance | 流程实例 |
+| t_ds_project | 项目 |
+| t_ds_queue | 队列 |
+| t_ds_relation_datasource_user | 用户关联数据源 |
+| t_ds_relation_process_instance | 子流程 |
+| t_ds_relation_project_user | 用户关联项目 |
+| t_ds_relation_resources_user | 用户关联资源 |
+| t_ds_relation_udfs_user | 用户关联UDF函数 |
+| t_ds_relation_user_alertgroup | 用户关联告警组 |
+| t_ds_resources | 资源文件 |
+| t_ds_schedules | 流程定时调度 |
+| t_ds_session | 用户登录的session |
+| t_ds_task_instance | 任务实例 |
+| t_ds_tenant | 租户 |
+| t_ds_udfs | UDF资源 |
+| t_ds_user | 用户 |
+| t_ds_version | ds版本信息 |
+
+<a name="VNVGr"></a>
+### 用户 队列 数据源
+
+
+- 一个租户下可以有多个用户<br />
+-
t_ds_user中的queue字段存储的是队列表中的queue_name信息，t_ds_tenant下存的是queue_id，在流程定义执行过程中，用户队列优先级最高，用户队列为空则采用租户队列<br
/>
+-
t_ds_datasource表中的user_id字段表示创建该数据源的用户，t_ds_relation_datasource_user中的user_id表示，对数据源有权限的用户<br
/>
+<a name="HHyGV"></a>
+### 项目 资源 告警
+
+
+- 一个用户可以有多个项目，用户项目授权通过t_ds_relation_project_user表完成project_id和user_id的关系绑定<br
/>
+-
t_ds_projcet表中的user_id表示创建该项目的用户，t_ds_relation_project_user表中的user_id表示对项目有权限的用户<br
/>
+-
t_ds_resources表中的user_id表示创建该资源的用户，t_ds_relation_resources_user中的user_id表示对资源有权限的用户<br
/>
+-
t_ds_udfs表中的user_id表示创建该UDF的用户，t_ds_relation_udfs_user表中的user_id表示对UDF有权限的用户<br
/>
+<a name="Bg2Sn"></a>
+### 命令 流程 任务
+<br
/>
+
+- 一个项目有多个流程定义，一个流程定义可以生成多个流程实例，一个流程实例可以生成多个任务实例<br />
+- t_ds_schedulers表存放流程定义的定时调度信息<br />
+-
t_ds_relation_process_instance表存放的数据用于处理流程定义中含有子流程的情况，parent_process_instance_id表示含有子流程的主流程实例id，process_instance_id表示子流程实例的id，parent_task_instance_id表示子流程节点的任务实例id，流程实例表和任务实例表分别对应t_ds_process_instance表和t_ds_task_instance表
+<a name="Pv25P"></a>
+### 核心表Schema
+<a name="32Jzd"></a>
+#### t_ds_process_definition
+| 字段 | 类型 | 注释 |
+| --- | --- | --- |
+| id | int | 主键 |
+| name | varchar | 流程定义名称 |
+| version | int | 流程定义版本 |
+| release_state | tinyint | 流程定义的发布状态：0 未上线 1已上线 |
+| project_id | int | 项目id |
+| user_id | int | 流程定义所属用户id |
+| process_definition_json | longtext | 流程定义json串 |
+| description | text | 流程定义描述 |
+| global_params | text | 全局参数 |
+| flag | tinyint | 流程是否可用：0 不可用，1 可用 |
+| locations | text | 节点坐标信息 |
+| connects | text | 节点连线信息 |
+| receivers | text | 收件人 |
+| receivers_cc | text | 抄送人 |
+| create_time | datetime | 创建时间 |
+| timeout | int | 超时时间 |
+| tenant_id | int | 租户id |
+| update_time | datetime | 更新时间 |
+
+<a name="e6jfz"></a>
+#### t_ds_process_instance
+| 字段 | 类型 | 注释 |
+| --- | --- | --- |
+| id | int | 主键 |
+| name | varchar | 流程实例名称 |
+| process_definition_id | int | 流程定义id |
+| state | tinyint | 流程实例状态：0 提交成功,1 正在运行,2 准备暂停,3 暂停,4 准备停止,5 停止,6 失败,7 成功,8
需要容错,9 kill,10 等待线程,11 等待依赖完成 |
+| recovery | tinyint | 流程实例容错标识：0 正常,1 需要被容错重启 |
+| start_time | datetime | 流程实例开始时间 |
+| end_time | datetime | 流程实例结束时间 |
+| run_times | int | 流程实例运行次数 |
+| host | varchar | 流程实例所在的机器 |
+| command_type | tinyint | 命令类型：0 启动工作流,1 从当前节点开始执行,2 恢复被容错的工作流,3 恢复暂停流程,4
从失败节点开始执行,5 补数,6 调度,7 重跑,8 暂停,9 停止,10 恢复等待线程 |
+| command_param | text | 命令的参数（json格式） |
+| task_depend_type | tinyint | 节点依赖类型：0 当前节点,1 向前执行,2 向后执行 |
+| max_try_times | tinyint | 最大重试次数 |
+| failure_strategy | tinyint | 失败策略 0 失败后结束，1 失败后继续 |
+| warning_type | tinyint | 告警类型：0 不发,1 流程成功发,2 流程失败发,3 成功失败都发 |
+| warning_group_id | int | 告警组id |
+| schedule_time | datetime | 预期运行时间 |
+| command_start_time | datetime | 开始命令时间 |
+| global_params | text | 全局参数（固化流程定义的参数） |
+| process_instance_json | longtext | 流程实例json(copy的流程定义的json) |
+| flag | tinyint | 是否可用，1 可用，0不可用 |
+| update_time | timestamp | 更新时间 |
+| is_sub_process | int | 是否是子工作流 1 是，0 不是 |
+| executor_id | int | 命令执行用户 |
+| locations | text | 节点坐标信息 |
+| connects | text | 节点连线信息 |
+| history_cmd | text | 历史命令，记录所有对流程实例的操作 |
+| dependence_schedule_times | text | 依赖节点的预估时间 |
+| process_instance_priority | int | 流程实例优先级：0 Highest,1 High,2 Medium,3 Low,4
Lowest |
+| worker_group_id | int | 任务指定运行的worker分组 |
+| timeout | int | 超时时间 |
+| tenant_id | int | 租户id |
+
+<a name="IvHEc"></a>
+#### t_ds_task_instance
+| 字段 | 类型 | 注释 |
+| --- | --- | --- |
+| id | int | 主键 |
+| name | varchar | 任务名称 |
+| task_type | varchar | 任务类型 |
+| process_definition_id | int | 流程定义id |
+| process_instance_id | int | 流程实例id |
+| task_json | longtext | 任务节点json |
+| state | tinyint | 任务实例状态：0 提交成功,1 正在运行,2 准备暂停,3 暂停,4 准备停止,5 停止,6 失败,7 成功,8
需要容错,9 kill,10 等待线程,11 等待依赖完成 |
+| submit_time | datetime | 任务提交时间 |
+| start_time | datetime | 任务开始时间 |
+| end_time | datetime | 任务结束时间 |
+| host | varchar | 执行任务的机器 |
+| execute_path | varchar | 任务执行路径 |
+| log_path | varchar | 任务日志路径 |
+| alert_flag | tinyint | 是否告警 |
+| retry_times | int | 重试次数 |
+| pid | int | 进程pid |
+| app_link | varchar | yarn app id |
+| flag | tinyint | 是否可用：0 不可用，1 可用 |
+| retry_interval | int | 重试间隔 |
+| max_retry_times | int | 最大重试次数 |
+| task_instance_priority | int | 任务实例优先级：0 Highest,1 High,2 Medium,3 Low,4
Lowest |
+| worker_group_id | int | 任务指定运行的worker分组 |
+
+<a name="pPQkU"></a>
+#### t_ds_schedules
+| 字段 | 类型 | 注释 |
+| --- | --- | --- |
+| id | int | 主键 |
+| process_definition_id | int | 流程定义id |
+| start_time | datetime | 调度开始时间 |
+| end_time | datetime | 调度结束时间 |
+| crontab | varchar | crontab 表达式 |
+| failure_strategy | tinyint | 失败策略： 0 结束，1 继续 |
+| user_id | int | 用户id |
+| release_state | tinyint | 状态：0 未上线，1 上线 |
+| warning_type | tinyint | 告警类型：0 不发,1 流程成功发,2 流程失败发,3 成功失败都发 |
+| warning_group_id | int | 告警组id |
+| process_instance_priority | int | 流程实例优先级：0 Highest,1 High,2 Medium,3 Low,4
Lowest |
+| worker_group_id | int | 任务指定运行的worker分组 |
+| create_time | datetime | 创建时间 |
+| update_time | datetime | 更新时间 |
+
+<a name="TkQzn"></a>
+#### t_ds_command
+| 字段 | 类型 | 注释 |
+| --- | --- | --- |
+| id | int | 主键 |
+| command_type | tinyint | 命令类型：0 启动工作流,1 从当前节点开始执行,2 恢复被容错的工作流,3 恢复暂停流程,4
从失败节点开始执行,5 补数,6 调度,7 重跑,8 暂停,9 停止,10 恢复等待线程 |
+| process_definition_id | int | 流程定义id |
+| command_param | text | 命令的参数（json格式） |
+| task_depend_type | tinyint | 节点依赖类型：0 当前节点,1 向前执行,2 向后执行 |
+| failure_strategy | tinyint | 失败策略：0结束，1继续 |
+| warning_type | tinyint | 告警类型：0 不发,1 流程成功发,2 流程失败发,3 成功失败都发 |
+| warning_group_id | int | 告警组 |
+| schedule_time | datetime | 预期运行时间 |
+| start_time | datetime | 开始时间 |
+| executor_id | int | 执行用户id |
+| dependence | varchar | 依赖字段 |
+| update_time | datetime | 更新时间 |
+| process_instance_priority | int | 流程实例优先级：0 Highest,1 High,2 Medium,3 Low,4
Lowest |
+| worker_group_id | int | 任务指定运行的worker分组 |
+
+
+
diff --git a/docs/zh-cn/1.3.0/user_doc/standalone-deployment.md
b/docs/zh-cn/1.3.0/user_doc/standalone-deployment.md
index ed266a9..0413fc1 100644
--- a/docs/zh-cn/1.3.0/user_doc/standalone-deployment.md
+++ b/docs/zh-cn/1.3.0/user_doc/standalone-deployment.md
@@ -209,7 +209,7 @@ mysql -uroot -p
#
如果ResourceManager是HA或者没有使用到Yarn保持默认值即可；如果是单ResourceManager，请配置真实的ResourceManager主机名或者ip
singleYarnIp="yarnIp1"
- # 资源上传根路径,主持HDFS和S3,由于hdfs支持本地文件系统，需要确保本地文件夹存在且有读写权限
+ # 资源上传根路径,支持HDFS和S3,由于hdfs支持本地文件系统，需要确保本地文件夹存在且有读写权限
resourceUploadPath="/data/dolphinscheduler"
# 具备权限创建resourceUploadPath的用户
diff --git a/docs/zh-cn/1.3.0/user_doc/system-manual.md
b/docs/zh-cn/1.3.0/user_doc/system-manual.md
new file mode 100644
index 0000000..2027a82
--- /dev/null
+++ b/docs/zh-cn/1.3.0/user_doc/system-manual.md
@@ -0,0 +1,842 @@
+# 系统使用手册
+
+
+## 快速上手
+
+ > 请参照[快速上手](quick-start.html)
+
+## 操作指南
+
+### 1. 首页
+ 首页包含用户所有项目的任务状态统计、流程状态统计、工作流定义统计。
+ <p align="center">
+ <img src="/img/home.png" width="80%" />
+ </p>
+
+### 2. 项目管理
+#### 2.1 创建项目
+ - 点击"项目管理"进入项目管理页面，点击“创建项目”按钮，输入项目名称，项目描述，点击“提交”，创建新的项目。
+
+ <p align="center">
+ <img src="/img/project.png" width="80%" />
+ </p>
+
+#### 2.2 项目首页
+ - 在项目管理页面点击项目名称链接，进入项目首页，如下图所示，项目首页包含该项目的任务状态统计、流程状态统计、工作流定义统计。
+ <p align="center">
+ <img src="/img/project-home.png" width="80%" />
+ </p>
+
+ - 任务状态统计：在指定时间范围内，统计任务实例中状态为提交成功、正在运行、准备暂停、暂停、准备停止、停止、失败、成功、需要容错、kill、等待线程的个数
+ - 流程状态统计：在指定时间范围内，统计工作流实例中状态为提交成功、正在运行、准备暂停、暂停、准备停止、停止、失败、成功、需要容错、kill、等待线程的个数
+ - 工作流定义统计：统计用户创建的工作流定义及管理员授予该用户的工作流定义
+
+#### 2.3 工作流定义
+#### <span id=creatDag>2.3.1 创建工作流定义</span>
+ - 点击项目管理->工作流->工作流定义，进入工作流定义页面，点击“创建工作流”按钮，进入**工作流DAG编辑**页面，如下图所示：
+ <p align="center">
+ <img src="/img/dag0.png" width="80%" />
+ </p>
+ - 工具栏中拖拽<img src="/img/shell.png" width="35"/>到画板中，新增一个Shell任务,如下图所示：
+ <p align="center">
+ <img src="/img/shell_dag.png" width="80%" />
+ </p>
+ - **添加shell任务的参数设置：**
+ 1. 填写“节点名称”，“描述”，“脚本”字段；
+ 1. “运行标志”勾选“正常”，若勾选“禁止执行”，运行工作流不会执行该任务；
+ 1. 选择“任务优先级”：当worker线程数不足时，级别高的任务在执行队列中会优先执行，相同优先级的任务按照先进先出的顺序执行；
+ 1. 超时告警（非必选）：勾选超时告警、超时失败，填写“超时时长”，当任务执行时间超过**超时时长**，会发送告警邮件并且任务超时失败；
+ 1. 资源（非必选）。资源文件是资源中心->文件管理页面创建或上传的文件，如文件名为`test.sh`，脚本中调用资源命令为`sh test.sh`；
+ 1. 自定义参数（非必填），参考[自定义参数](#UserDefinedParameters)；
+ 1. 点击"确认添加"按钮，保存任务设置。
+
+ - **增加任务执行的先后顺序：** 点击右上角图标<img src="/img/line.png"
width="35"/>连接任务；如下图所示，任务2和任务3并行执行，当任务1执行完，任务2、3会同时执行。
+
+ <p align="center">
+ <img src="/img/dag2.png" width="80%" />
+ </p>
+
+ - **删除依赖关系：** 点击右上角"箭头"图标<img src="/img/arrow.png"
width="35"/>，选中连接线，点击右上角"删除"图标<img src="/img/delete.png"
width="35"/>，删除任务间的依赖关系。
+ <p align="center">
+ <img src="/img/dag3.png" width="80%" />
+ </p>
+
+ - **保存工作流定义：**
点击”保存“按钮，弹出"设置DAG图名称"弹框，如下图所示，输入工作流定义名称，工作流定义描述，设置全局参数（选填，参考[自定义参数](#UserDefinedParameters)），点击"添加"按钮，工作流定义创建成功。
+ <p align="center">
+ <img src="/img/dag4.png" width="80%" />
+ </p>
+ > 其他类型任务，请参考 [任务节点类型和参数设置](#TaskParamers)。
+#### 2.3.2 工作流定义操作功能
+ 点击项目管理->工作流->工作流定义，进入工作流定义页面，如下图所示:
+ <p align="center">
+ <img src="/img/work_list.png" width="80%" />
+ </p>
+ 工作流定义列表的操作功能如下：
+ - **编辑：** 只能编辑"下线"的工作流定义。工作流DAG编辑同[创建工作流定义](#creatDag)。
+ - **上线：** 工作流状态为"下线"时，上线工作流，只有"上线"状态的工作流能运行，但不能编辑。
+ - **下线：** 工作流状态为"上线"时，下线工作流，下线状态的工作流可以编辑，但不能运行。
+ - **运行：** 只有上线的工作流能运行。运行操作步骤见[2.3.3 运行工作流](#runWorkflow)
+ - **定时：**
只有上线的工作流能设置定时，系统自动定时调度工作流运行。创建定时后的状态为"下线"，需在定时管理页面上线定时才生效。定时操作步骤见[2.3.4
工作流定时](#creatTiming)。
+ - **定时管理：** 定时管理页面可编辑、上线/下线、删除定时。
+ - **删除：** 删除工作流定义。
+ - **下载：** 下载工作流定义到本地。
+ - **树形图：** 以树形结构展示任务节点的类型及任务状态，如下图所示：
+ <p align="center">
+ <img src="/img/tree.png" width="80%" />
+ </p>
+
+#### <span id=runWorkflow>2.3.3 运行工作流</span>
+ - 点击项目管理->工作流->工作流定义，进入工作流定义页面，如下图所示，点击"上线"按钮<img src="/img/online.png"
width="35"/>，上线工作流。
+ <p align="center">
+ <img src="/img/work_list.png" width="80%" />
+ </p>
+
+ - 点击”运行“按钮，弹出启动参数设置弹框，如下图所示，设置启动参数，点击弹框中的"运行"按钮，工作流开始运行，工作流实例页面生成一条工作流实例。
+ <p align="center">
+ <img src="/img/run-work.png" width="80%" />
+ </p>
+ <span id=runParamers>工作流运行参数说明：</span>
+
+ *
失败策略：当某一个任务节点执行失败时，其他并行的任务节点需要执行的策略。”继续“表示：某一任务失败后，其他任务节点正常执行；”结束“表示：终止所有正在执行的任务，并终止整个流程。
+ * 通知策略：当流程结束，根据流程状态发送流程执行信息通知邮件，包含任何状态都不发，成功发，失败发，成功或失败都发。
+ *
流程优先级：流程运行的优先级，分五个等级：最高（HIGHEST），高(HIGH),中（MEDIUM）,低（LOW），最低（LOWEST）。当master线程数不足时，级别高的流程在执行队列中会优先执行，相同优先级的流程按照先进先出的顺序执行。
+ * worker分组：该流程只能在指定的worker机器组里执行。默认是Default，可以在任一worker上执行。
+ * 通知组：选择通知策略||超时报警||发生容错时，会发送流程信息或邮件到通知组里的所有成员。
+ * 收件人：选择通知策略||超时报警||发生容错时，会发送流程信息或告警邮件到收件人列表。
+ * 抄送人：选择通知策略||超时报警||发生容错时，会抄送流程信息或告警邮件到抄送人列表。
+ *
补数：包括串行补数、并行补数2种模式。串行补数：指定时间范围内，从开始日期至结束日期依次执行补数，只生成一条流程实例；并行补数：指定时间范围内，多天同时进行补数，生成N条流程实例。
+ * 补数： 执行指定日期的工作流定义，可以选择补数时间范围（目前只支持针对连续的天进行补数)，比如需要补5月1号到5月10号的数据，如下图所示：
+ <p align="center">
+ <img src="/img/complement.png" width="80%" />
+ </p>
+
+ >串行模式：补数从5月1号到5月10号依次执行，流程实例页面生成一条流程实例；
+
+ >并行模式：同时执行5月1号到5月10号的任务，流程实例页面生成十条流程实例。
+
+#### <span id=creatTiming>2.3.4 工作流定时</span>
+ - 创建定时：点击项目管理->工作流->工作流定义，进入工作流定义页面，上线工作流，点击"定时"按钮<img src="/img/timing.png"
width="35"/>,弹出定时参数设置弹框，如下图所示：
+ <p align="center">
+ <img src="/img/time-schedule.png" width="80%" />
+ </p>
+ - 选择起止时间。在起止时间范围内，定时运行工作流；不在起止时间范围内，不再产生定时工作流实例。
+ - 添加一个每天凌晨5点执行一次的定时，如下图所示：
+ <p align="center">
+ <img src="/img/time-schedule2.png" width="80%" />
+ </p>
+ - 失败策略、通知策略、流程优先级、Worker分组、通知组、收件人、抄送人同[工作流运行参数](#runParamers)。
+ - 点击"创建"按钮，创建定时成功，此时定时状态为"**下线**"，定时需**上线**才生效。
+ - 定时上线：点击"定时管理"按钮<img src="/img/timeManagement.png"
width="35"/>，进入定时管理页面，点击"上线"按钮，定时状态变为"上线"，如下图所示，工作流定时生效。
+ <p align="center">
+ <img src="/img/time-schedule3.png" width="80%" />
+ </p>
+#### 2.3.5 导入工作流
+ 点击项目管理->工作流->工作流定义，进入工作流定义页面，点击"导入工作流"按钮，导入本地工作流文件，工作流定义列表显示导入的工作流，状态为下线。
+
+#### 2.4 工作流实例
+#### 2.4.1 查看工作流实例
+ - 点击项目管理->工作流->工作流实例，进入工作流实例页面，如下图所示：
+ <p align="center">
+ <img src="/img/instance-list.png" width="80%" />
+ </p>
+ - 点击工作流名称，进入DAG查看页面，查看任务执行状态，如下图所示。
+ <p align="center">
+ <img src="/img/instance-detail.png" width="80%" />
+ </p>
+#### 2.4.2 查看任务日志
+ - 进入工作流实例页面，点击工作流名称，进入DAG查看页面，双击任务节点，如下图所示：
+ <p align="center">
+ <img src="/img/instanceViewLog.png" width="80%" />
+ </p>
+ - 点击"查看日志"，弹出日志弹框，如下图所示,任务实例页面也可查看任务日志，参考[任务查看日志](#taskLog)。
+ <p align="center">
+ <img src="/img/task-log.png" width="80%" />
+ </p>
+#### 2.4.3 查看任务历史记录
+ - 点击项目管理->工作流->工作流实例，进入工作流实例页面，点击工作流名称，进入工作流DAG页面;
+ - 双击任务节点，如下图所示，点击"查看历史"，跳转到任务实例页面，并展示该工作流实例运行的任务实例列表
+ <p align="center">
+ <img src="/img/task_history.png" width="80%" />
+ </p>
+
+#### 2.4.4 查看运行参数
+ - 点击项目管理->工作流->工作流实例，进入工作流实例页面，点击工作流名称，进入工作流DAG页面;
+ - 点击左上角图标<img src="/img/run_params_button.png"
width="35"/>，查看工作流实例的启动参数；点击图标<img src="/img/global_param.png"
width="35"/>，查看工作流实例的全局参数和局部参数，如下图所示：
+ <p align="center">
+ <img src="/img/run_params.png" width="80%" />
+ </p>
+
+#### 2.4.4 工作流实例操作功能
+ 点击项目管理->工作流->工作流实例，进入工作流实例页面，如下图所示：
+ <p align="center">
+ <img src="/img/instance-list.png" width="80%" />
+ </p>
+
+ - **编辑：**
只能编辑已终止的流程。点击"编辑"按钮或工作流实例名称进入DAG编辑页面，编辑后点击"保存"按钮，弹出保存DAG弹框，如下图所示，在弹框中勾选"是否更新到工作流定义"，保存后则更新工作流定义；若不勾选，则不更新工作流定义。
+ <p align="center">
+ <img src="/img/editDag.png" width="80%" />
+ </p>
+ - **重跑：** 重新执行已经终止的流程。
+ - **恢复失败：** 针对失败的流程，可以执行恢复失败操作，从失败的节点开始执行。
+ - **停止：** 对正在运行的流程进行**停止**操作，后台会先`kill`worker进程,再执行`kill -9`操作
+ - **暂停：** 对正在运行的流程进行**暂停**操作，系统状态变为**等待执行**，会等待正在执行的任务结束，暂停下一个要执行的任务。
+ - **恢复暂停：** 对暂停的流程恢复，直接从**暂停的节点**开始运行
+ - **删除：** 删除工作流实例及工作流实例下的任务实例
+ - **甘特图：** Gantt图纵轴是某个工作流实例下的任务实例的拓扑排序，横轴是任务实例的运行时间,如图示：
+ <p align="center">
+ <img src="/img/gant-pic.png" width="80%" />
+ </p>
+
+#### 2.5 任务实例
+ - 点击项目管理->工作流->任务实例，进入任务实例页面，如下图所示，点击工作流实例名称，可跳转到工作流实例DAG图查看任务状态。
+ <p align="center">
+ <img src="/img/task-list.png" width="80%" />
+ </p>
+
+ - <span id=taskLog>查看日志：</span>点击操作列中的“查看日志”按钮，可以查看任务执行的日志情况。
+ <p align="center">
+ <img src="/img/task-log2.png" width="80%" />
+ </p>
+
+### 3. 资源中心
+#### 3.1 hdfs资源配置
+ - 上传资源文件和udf函数，所有上传的文件和资源都会被存储到hdfs上，所以需要以下配置项：
+
+```
+conf/common/common.properties
+ # Users who have permission to create directories under the HDFS root path
+ hdfs.root.user=hdfs
+ # data base dir, resource file will store to this hadoop hdfs path, self
configuration, please make sure the directory exists on hdfs and have read
write permissions。"/escheduler" is recommended
+ data.store2hdfs.basepath=/dolphinscheduler
+ # resource upload startup type : HDFS,S3,NONE
+ res.upload.startup.type=HDFS
+ # whether kerberos starts
+ hadoop.security.authentication.startup.state=false
+ # java.security.krb5.conf path
+ java.security.krb5.conf.path=/opt/krb5.conf
+ # loginUserFromKeytab user
+ [email protected]
+ # loginUserFromKeytab path
+ login.user.keytab.path=/opt/hdfs.headless.keytab
+
+conf/common/hadoop.properties
+ # ha or single namenode,If namenode ha needs to copy core-site.xml and
hdfs-site.xml
+ # to the conf directory，support s3，for example : s3a://dolphinscheduler
+ fs.defaultFS=hdfs://mycluster:8020
+ #resourcemanager ha note this need ips , this empty if single
+ yarn.resourcemanager.ha.rm.ids=192.168.xx.xx,192.168.xx.xx
+ # If it is a single resourcemanager, you only need to configure one host
name. If it is resourcemanager HA, the default configuration is fine
+ yarn.application.status.address=http://xxxx:8088/ws/v1/cluster/apps/%s
+
+```
+*
yarn.resourcemanager.ha.rm.ids与yarn.application.status.address只需配置其中一个地址，另一个地址配置为空。
+*
需要从Hadoop集群的conf目录下复制core-site.xml、hdfs-site.xml到dolphinscheduler项目的conf目录下，重启api-server服务。
+
+
+#### 3.2 文件管理
+
+ >
是对各种资源文件的管理，包括创建基本的txt/log/sh/conf/py/java等文件、上传jar包等各种类型文件，可进行编辑、重命名、下载、删除等操作。
+ <p align="center">
+ <img src="/img/file-manage.png" width="80%" />
+ </p>
+
+ * 创建文件
+ > 文件格式支持以下几种类型：txt、log、sh、conf、cfg、py、java、sql、xml、hql、properties
+
+<p align="center">
+ <img src="/img/file_create.png" width="80%" />
+ </p>
+
+ * 上传文件
+
+> 上传文件：点击"上传文件"按钮进行上传，将文件拖拽到上传区域，文件名会自动以上传的文件名称补全
+
+<p align="center">
+ <img src="/img/file_upload.png" width="80%" />
+ </p>
+
+
+ * 文件查看
+
+> 对可查看的文件类型，点击文件名称，可查看文件详情
+
+<p align="center">
+ <img src="/img/file_detail.png" width="80%" />
+ </p>
+
+ * 下载文件
+
+> 点击文件列表的"下载"按钮下载文件或者在文件详情中点击右上角"下载"按钮下载文件
+
+ * 文件重命名
+
+<p align="center">
+ <img src="/img/file_rename.png" width="80%" />
+ </p>
+
+ * 删除
+> 文件列表->点击"删除"按钮，删除指定文件
+
+#### 3.3 UDF管理
+#### 3.3.1 资源管理
+ > 资源管理和文件管理功能类似，不同之处是资源管理是上传的UDF函数，文件管理上传的是用户程序，脚本及配置文件
+ > 操作功能：重命名、下载、删除。
+
+ * 上传udf资源
+ > 和上传文件相同。
+
+
+#### 3.3.2 函数管理
+
+ * 创建udf函数
+ > 点击“创建UDF函数”，输入udf函数参数，选择udf资源，点击“提交”，创建udf函数。
+
+ > 目前只支持HIVE的临时UDF函数
+
+ - UDF函数名称：输入UDF函数时的名称
+ - 包名类名：输入UDF函数的全路径
+ - UDF资源：设置创建的UDF对应的资源文件
+
+<p align="center">
+ <img src="/img/udf_edit.png" width="80%" />
+ </p>
+
+
+### 4. 创建数据源
+ > 数据源中心支持MySQL、POSTGRESQL、HIVE/IMPALA、SPARK、CLICKHOUSE、ORACLE、SQLSERVER等数据源
+
+#### 4.1 创建/编辑MySQL数据源
+
+ - 点击“数据源中心->创建数据源”，根据需求创建不同类型的数据源。
+
+ - 数据源：选择MYSQL
+ - 数据源名称：输入数据源的名称
+ - 描述：输入数据源的描述
+ - IP主机名：输入连接MySQL的IP
+ - 端口：输入连接MySQL的端口
+ - 用户名：设置连接MySQL的用户名
+ - 密码：设置连接MySQL的密码
+ - 数据库名：输入连接MySQL的数据库名称
+ - Jdbc连接参数：用于MySQL连接的参数设置，以JSON形式填写
+
+<p align="center">
+ <img src="/img/mysql_edit.png" width="80%" />
+ </p>
+
+ > 点击“测试连接”，测试数据源是否可以连接成功。
+
+#### 4.2 创建/编辑POSTGRESQL数据源
+
+- 数据源：选择POSTGRESQL
+- 数据源名称：输入数据源的名称
+- 描述：输入数据源的描述
+- IP/主机名：输入连接POSTGRESQL的IP
+- 端口：输入连接POSTGRESQL的端口
+- 用户名：设置连接POSTGRESQL的用户名
+- 密码：设置连接POSTGRESQL的密码
+- 数据库名：输入连接POSTGRESQL的数据库名称
+- Jdbc连接参数：用于POSTGRESQL连接的参数设置，以JSON形式填写
+
+<p align="center">
+ <img src="/img/postgresql_edit.png" width="80%" />
+ </p>
+
+#### 4.3 创建/编辑HIVE数据源
+
+1.使用HiveServer2方式连接
+
+ <p align="center">
+ <img src="/img/hive_edit.png" width="80%" />
+ </p>
+
+ - 数据源：选择HIVE
+ - 数据源名称：输入数据源的名称
+ - 描述：输入数据源的描述
+ - IP/主机名：输入连接HIVE的IP
+ - 端口：输入连接HIVE的端口
+ - 用户名：设置连接HIVE的用户名
+ - 密码：设置连接HIVE的密码
+ - 数据库名：输入连接HIVE的数据库名称
+ - Jdbc连接参数：用于HIVE连接的参数设置，以JSON形式填写
+
+2.使用HiveServer2 HA Zookeeper方式连接
+
+ <p align="center">
+ <img src="/img/hive_edit2.png" width="80%" />
+ </p>
+
+
+注意：如果开启了**kerberos**，则需要填写 **Principal**
+<p align="center">
+ <img src="/img/hive_kerberos.png" width="80%" />
+ </p>
+
+
+
+
+#### 4.4 创建/编辑Spark数据源
+
+<p align="center">
+ <img src="/img/spark_datesource.png" width="80%" />
+ </p>
+
+- 数据源：选择Spark
+- 数据源名称：输入数据源的名称
+- 描述：输入数据源的描述
+- IP/主机名：输入连接Spark的IP
+- 端口：输入连接Spark的端口
+- 用户名：设置连接Spark的用户名
+- 密码：设置连接Spark的密码
+- 数据库名：输入连接Spark的数据库名称
+- Jdbc连接参数：用于Spark连接的参数设置，以JSON形式填写
+
+
+
+注意：如果开启了**kerberos**，则需要填写 **Principal**
+
+<p align="center">
+ <img src="/img/sparksql_kerberos.png" width="80%" />
+ </p>
+
+
+
+### 5. 安全中心（权限系统）
+
+ *
安全中心只有管理员账户才有权限操作，分别有队列管理、租户管理、用户管理、告警组管理、worker分组管理、令牌管理等功能，在用户管理模块可以对资源、数据源、项目等授权
+ * 管理员登录，默认用户名密码：admin/dolphinscheduler123
+
+#### 5.1 创建队列
+ - 队列是在执行spark、mapreduce等程序，需要用到“队列”参数时使用的。
+ - 管理员进入安全中心->队列管理页面，点击“创建队列”按钮，创建队列。
+ <p align="center">
+ <img src="/img/create-queue.png" width="80%" />
+ </p>
+
+
+#### 5.2 添加租户
+ - 租户对应的是Linux的用户，用于worker提交作业所使用的用户。如果linux没有这个用户，worker会在执行脚本的时候创建这个用户。
+ - 租户编码：**租户编码是Linux上的用户，唯一，不能重复**
+ - 管理员进入安全中心->租户管理页面，点击“创建租户”按钮，创建租户。
+
+ <p align="center">
+ <img src="/img/addtenant.png" width="80%" />
+ </p>
+
+#### 5.3 创建普通用户
+ - 用户分为**管理员用户**和**普通用户**
+
+ * 管理员有授权和用户管理等权限，没有创建项目和工作流定义的操作的权限。
+ * 普通用户可以创建项目和对工作流定义的创建，编辑，执行等操作。
+ * 注意：如果该用户切换了租户，则该用户所在租户下所有资源将复制到切换的新租户下。
+ - 管理员进入安全中心->用户管理页面，点击“创建用户”按钮，创建用户。
+<p align="center">
+ <img src="/img/useredit2.png" width="80%" />
+ </p>
+
+ > **编辑用户信息**
+ - 管理员进入安全中心->用户管理页面，点击"编辑"按钮，编辑用户信息。
+ - 普通用户登录后，点击用户名下拉框中的用户信息，进入用户信息页面，点击"编辑"按钮，编辑用户信息。
+
+ > **修改用户密码**
+ - 管理员进入安全中心->用户管理页面，点击"编辑"按钮，编辑用户信息时，输入新密码修改用户密码。
+ - 普通用户登录后，点击用户名下拉框中的用户信息，进入修改密码页面，输入密码并确认密码后点击"编辑"按钮，则修改密码成功。
+
+
+#### 5.4 创建告警组
+ * 告警组是在启动时设置的参数，在流程结束以后会将流程的状态和其他信息以邮件形式发送给告警组。
+ - 管理员进入安全中心->告警组管理页面，点击“创建告警组”按钮，创建告警组。
+
+ <p align="center">
+ <img src="/img/mail_edit.png" width="80%" />
+ </p>
+
+#### 5.5 创建worker分组
+ -
worker分组，提供了一种让任务在指定的worker上运行的机制。管理员创建worker分组，在任务节点和运行参数中设置中可以指定该任务运行的worker分组，如果指定的分组被删除或者没有指定分组，则该任务会在任一worker上运行。
+ -
管理员进入安全中心->Worker分组管理页面，点击“创建Worker分组”按钮，创建Worker分组。worker分组内有多个ip地址（**不能写别名**），以**英文逗号**分隔。
+ <p align="center">
+ <img src="/img/worker1.png" width="80%" />
+ </p>
+
+#### 5.6 令牌管理
+ > 由于后端接口有登录检查，令牌管理提供了一种可以通过调用接口的方式对系统进行各种操作。
+ - 管理员进入安全中心->令牌管理页面，点击“创建令牌”按钮，选择失效时间与用户，点击"生成令牌"按钮，点击"提交"按钮，则选择用户的token创建成功。
+
+ <p align="center">
+ <img src="/img/creat_token.png" width="80%" />
+ </p>
+
+ - 普通用户登录后，点击用户名下拉框中的用户信息，进入令牌管理页面，选择失效时间，点击"生成令牌"按钮，点击"提交"按钮，则该用户创建token成功。
+
+ - 调用示例：
+
+```令牌调用示例
+ /**
+ * test token
+ */
+ public void doPOSTParam()throws Exception{
+ // create HttpClient
+ CloseableHttpClient httpclient = HttpClients.createDefault();
+
+ // create http post request
+ HttpPost httpPost = new
HttpPost("http://127.0.0.1:12345/escheduler/projects/create";);
+ httpPost.setHeader("token", "123");
+ // set parameters
+ List<NameValuePair> parameters = new ArrayList<NameValuePair>();
+ parameters.add(new BasicNameValuePair("projectName", "qzw"));
+ parameters.add(new BasicNameValuePair("desc", "qzw"));
+ UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(parameters);
+ httpPost.setEntity(formEntity);
+ CloseableHttpResponse response = null;
+ try {
+ // execute
+ response = httpclient.execute(httpPost);
+ // response status code 200
+ if (response.getStatusLine().getStatusCode() == 200) {
+ String content = EntityUtils.toString(response.getEntity(),
"UTF-8");
+ System.out.println(content);
+ }
+ } finally {
+ if (response != null) {
+ response.close();
+ }
+ httpclient.close();
+ }
+ }
+```
+
+#### 5.7 授予权限
+
+ * 授予权限包括项目权限，资源权限，数据源权限，UDF函数权限。
+ *
管理员可以对普通用户进行非其创建的项目、资源、数据源和UDF函数进行授权。因为项目、资源、数据源和UDF函数授权方式都是一样的，所以以项目授权为例介绍。
+ * 注意：对于用户自己创建的项目，该用户拥有所有的权限。则项目列表和已选项目列表中不会显示。
+
+ - 管理员进入安全中心->用户管理页面，点击需授权用户的“授权”按钮，如下图所示：
+ <p align="center">
+ <img src="/img/auth_user.png" width="80%" />
+ </p>
+
+ - 选择项目，进行项目授权。
+
+<p align="center">
+ <img src="/img/auth_project.png" width="80%" />
+ </p>
+
+ - 资源、数据源、UDF函数授权同项目授权。
+
+### 6. 监控中心
+
+#### 6.1 服务管理
+ - 服务管理主要是对系统中的各个服务的健康状况和基本信息的监控和显示
+
+#### 6.1.1 master监控
+ - 主要是master的相关信息。
+<p align="center">
+ <img src="/img/master-jk.png" width="80%" />
+ </p>
+
+#### 6.1.2 worker监控
+ - 主要是worker的相关信息。
+
+<p align="center">
+ <img src="/img/worker-jk.png" width="80%" />
+ </p>
+
+#### 6.1.3 Zookeeper监控
+ - 主要是zookpeeper中各个worker和master的相关配置信息。
+
+<p align="center">
+ <img src="/img/zk-jk.png" width="80%" />
+ </p>
+
+#### 6.1.4 DB监控
+ - 主要是DB的健康状况
+
+<p align="center">
+ <img src="/img/mysql-jk.png" width="80%" />
+ </p>
+
+#### 6.2 统计管理
+<p align="center">
+ <img src="/img/Statistics.png" width="80%" />
+ </p>
+
+ - 待执行命令数：统计t_ds_command表的数据
+ - 执行失败的命令数：统计t_ds_error_command表的数据
+ - 待运行任务数：统计Zookeeper中task_queue的数据
+ - 待杀死任务数：统计Zookeeper中task_kill的数据
+
+### 7. <span id=TaskParamers>任务节点类型和参数设置</span>
+
+#### 7.1 Shell节点
+ > shell节点，在worker执行的时候，会生成一个临时shell脚本，使用租户同名的linux用户执行这个脚本。
+ - 点击项目管理-项目名称-工作流定义，点击"创建工作流"按钮，进入DAG编辑页面。
+ - 工具栏中拖动<img src="/img/shell.png" width="35"/>到画板中，如下图所示：
+
+ <p align="center">
+ <img src="/img/shell_dag.png" width="80%" />
+ </p>
+
+- 节点名称：一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述信息：描述该节点的功能。
+- 任务优先级：worker线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker分组：任务分配给worker组的机器机执行，选择Default，会随机选择一台worker机执行。
+- 失败重试次数：任务失败重新提交的次数，支持下拉和手填。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败.
+- 脚本：用户开发的SHELL程序。
+- 资源：是指脚本中需要调用的资源文件列表，资源中心-文件管理上传或创建的文件。
+- 自定义参数：是SHELL局部的用户自定义参数，会替换脚本中以${变量}的内容。
+
+#### 7.2 子流程节点
+ - 子流程节点，就是把外部的某个工作流定义当做一个任务节点去执行。
+>
拖动工具栏中的任务节点到画板中，如下图所示：
+
+<p align="center">
+ <img src="/img/subprocess_edit.png" width="80%" />
+ </p>
+
+- 节点名称：一个工作流定义中的节点名称是唯一的
+- 运行标志：标识这个节点是否能正常调度
+- 描述信息：描述该节点的功能
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败.
+- 子节点：是选择子流程的工作流定义，右上角进入该子节点可以跳转到所选子流程的工作流定义
+
+#### 7.3 依赖(DEPENDENT)节点
+ - 依赖节点，就是**依赖检查节点**。比如A流程依赖昨天的B流程执行成功，依赖节点会去检查B流程在昨天是否有执行成功的实例。
+
+>
拖动工具栏中的任务节点到画板中，如下图所示：
+
+<p align="center">
+ <img src="/img/dependent_edit.png" width="80%" />
+ </p>
+
+ > 依赖节点提供了逻辑判断功能，比如检查昨天的B流程是否成功，或者C流程是否执行成功。
+
+ <p align="center">
+ <img src="/img/depend-node.png" width="80%" />
+ </p>
+
+ > 例如，A流程为周报任务，B、C流程为天任务，A任务需要B、C任务在上周的每一天都执行成功，如图示：
+
+ <p align="center">
+ <img src="/img/depend-node2.png" width="80%" />
+ </p>
+
+ > 假如，周报A同时还需要自身在上周二执行成功：
+
+ <p align="center">
+ <img src="/img/depend-node3.png" width="80%" />
+ </p>
+
+#### 7.4 存储过程节点
+ - 根据选择的数据源，执行存储过程。
+>
拖动工具栏中的任务节点到画板中，如下图所示：
+
+<p align="center">
+ <img src="/img/procedure_edit.png" width="80%" />
+ </p>
+
+- 数据源：存储过程的数据源类型支持MySQL和POSTGRESQL两种，选择对应的数据源
+- 方法：是存储过程的方法名称
+-
自定义参数：存储过程的自定义参数类型支持IN、OUT两种，数据类型支持VARCHAR、INTEGER、LONG、FLOAT、DOUBLE、DATE、TIME、TIMESTAMP、BOOLEAN九种数据类型
+
+#### 7.5 SQL节点
+ -
拖动工具栏中的任务节点到画板中
+ - 非查询SQL功能：编辑非查询SQL任务信息，sql类型选择非查询，如下图所示：
+ <p align="center">
+ <img src="/img/sql-node.png" width="80%" />
+ </p>
+
+ - 查询SQL功能：编辑查询SQL任务信息，sql类型选择查询，选择表格或附件形式发送邮件到指定的收件人，如下图所示。
+
+<p align="center">
+ <img src="/img/sql-node2.png" width="80%" />
+ </p>
+
+- 数据源：选择对应的数据源
+-
sql类型：支持查询和非查询两种，查询是select类型的查询，是有结果集返回的，可以指定邮件通知为表格、附件或表格附件三种模板。非查询是没有结果集返回的，是针对update、delete、insert三种类型的操作。
+- sql参数：输入参数格式为key1=value1;key2=value2…
+- sql语句：SQL语句
+- UDF函数：对于HIVE类型的数据源，可以引用资源中心中创建的UDF函数,其他类型的数据源暂不支持UDF函数。
+-
自定义参数：SQL任务类型，而存储过程是自定义参数顺序的给方法设置值自定义参数类型和数据类型同存储过程任务类型一样。区别在于SQL任务类型自定义参数会替换sql语句中${变量}。
+- 前置sql:前置sql在sql语句之前执行。
+- 后置sql:后置sql在sql语句之后执行。
+
+
+#### 7.6 SPARK节点
+ - 通过SPARK节点，可以直接直接执行SPARK程序，对于spark节点，worker会使用`spark-submit`方式提交任务
+
+>
拖动工具栏中的任务节点到画板中，如下图所示：
+
+<p align="center">
+ <img src="/img/spark_edit.png" width="80%" />
+ </p>
+
+- 程序类型：支持JAVA、Scala和Python三种语言
+- 主函数的class：是Spark程序的入口Main Class的全路径
+- 主jar包：是Spark的jar包
+- 部署方式：支持yarn-cluster、yarn-client和local三种模式
+- Driver内核数：可以设置Driver内核数及内存数
+- Executor数量：可以设置Executor数量、Executor内存数和Executor内核数
+- 命令行参数：是设置Spark程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 --jars、--files、--archives、--conf格式
+- 资源：如果其他参数中引用了资源文件，需要在资源中选择指定
+- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+
+ 注意：JAVA和Scala只是用来标识，没有区别，如果是Python开发的Spark则没有主函数的class，其他都是一样
+
+#### 7.7 MapReduce(MR)节点
+ - 使用MR节点，可以直接执行MR程序。对于mr节点，worker会使用`hadoop jar`方式提交任务
+
+
+>
拖动工具栏中的任务节点到画板中，如下图所示：
+
+ 1. JAVA程序
+
+ <p align="center">
+ <img src="/img/mr_java.png" width="80%" />
+ </p>
+
+- 主函数的class：是MR程序的入口Main Class的全路径
+- 程序类型：选择JAVA语言
+- 主jar包：是MR的jar包
+- 命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换
+- 其他参数：支持 –D、-files、-libjars、-archives格式
+- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
+- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+
+2. Python程序
+
+<p align="center">
+ <img src="/img/mr_edit.png" width="80%" />
+ </p>
+
+- 程序类型：选择Python语言
+- 主jar包：是运行MR的Python jar包
+- 其他参数：支持 –D、-mapper、-reducer、-input -output格式，这里可以设置用户自定义参数的输入，比如：
+- -mapper "mapper.py 1" -file mapper.py -reducer reducer.py -file
reducer.py –input /journey/words.txt -output
/journey/out/mr/${currentTimeMillis}
+- 其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是mapper.py，第二个参数是1
+- 资源： 如果其他参数中引用了资源文件，需要在资源中选择指定
+- 自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容
+
+#### 7.8 Python节点
+ - 使用python节点，可以直接执行python脚本，对于python节点，worker会使用`python **`方式提交任务。
+
+
+>
拖动工具栏中的任务节点到画板中，如下图所示：
+
+<p align="center">
+ <img src="/img/python_edit.png" width="80%" />
+ </p>
+
+- 脚本：用户开发的Python程序
+- 资源：是指脚本中需要调用的资源文件列表
+- 自定义参数：是Python局部的用户自定义参数，会替换脚本中以${变量}的内容
+
+#### 7.9 Flink节点
+ - 拖动工具栏中的<img src="/img/flink.png" width="35"/>任务节点到画板中，如下图所示：
+
+<p align="center">
+ <img src="/img/flink_edit.png" width="80%" />
+</p>
+
+
+- 程序类型：支持JAVA、Scala和Python三种语言
+- 主函数的class：是Flink程序的入口Main Class的全路径
+- 主jar包：是Flink的jar包
+- 部署方式：支持cluster、local三种模式
+- slot数量：可以设置slot数
+- taskManage数量：可以设置taskManage数
+- jobManager内存数：可以设置jobManager内存数
+- taskManager内存数：可以设置taskManager内存数
+- 命令行参数：是设置Spark程序的输入参数，支持自定义参数变量的替换。
+- 其他参数：支持 --jars、--files、--archives、--conf格式
+- 资源：如果其他参数中引用了资源文件，需要在资源中选择指定
+- 自定义参数：是Flink局部的用户自定义参数，会替换脚本中以${变量}的内容
+
+ 注意：JAVA和Scala只是用来标识，没有区别，如果是Python开发的Flink则没有主函数的class，其他都是一样
+
+#### 7.10 http节点
+
+ - 拖动工具栏中的<img src="/img/http.png" width="35"/>任务节点到画板中，如下图所示：
+
+<p align="center">
+ <img src="/img/http_edit.png" width="80%" />
+ </p>
+
+- 节点名称：一个工作流定义中的节点名称是唯一的。
+- 运行标志：标识这个节点是否能正常调度,如果不需要执行，可以打开禁止执行开关。
+- 描述信息：描述该节点的功能。
+- 任务优先级：worker线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
+- Worker分组：任务分配给worker组的机器机执行，选择Default，会随机选择一台worker机执行。
+- 失败重试次数：任务失败重新提交的次数，支持下拉和手填。
+- 失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填。
+- 超时告警：勾选超时告警、超时失败，当任务超过"超时时长"后，会发送告警邮件并且任务执行失败.
+- 请求地址：http请求URL。
+- 请求类型：支持GET、POSt、HEAD、PUT、DELETE。
+- 请求参数：支持Parameter、Body、Headers。
+- 校验条件：支持默认响应码、自定义响应码、内容包含、内容不包含。
+- 校验内容：当校验条件选择自定义响应码、内容包含、内容不包含时，需填写校验内容。
+- 自定义参数：是http局部的用户自定义参数，会替换脚本中以${变量}的内容。
+
+
+
+#### 8. 参数
+#### 8.1 系统参数
+
+<table>
+ <tr><th>变量</th><th>含义</th></tr>
+ <tr>
+ <td>${system.biz.date}</td>
+ <td>日常调度实例定时的定时时间前一天，格式为 yyyyMMdd，补数据时，该日期 +1</td>
+ </tr>
+ <tr>
+ <td>${system.biz.curdate}</td>
+ <td>日常调度实例定时的定时时间，格式为 yyyyMMdd，补数据时，该日期 +1</td>
+ </tr>
+ <tr>
+ <td>${system.datetime}</td>
+ <td>日常调度实例定时的定时时间，格式为 yyyyMMddHHmmss，补数据时，该日期 +1</td>
+ </tr>
+</table>
+
+
+#### 8.2 时间自定义参数
+
+ - 支持代码中自定义变量名，声明方式：${变量名}。可以是引用 "系统参数" 或指定 "常量"。
+
+ - 我们定义这种基准变量为 $[...] 格式的，$[yyyyMMddHHmmss] 是可以任意分解组合的，比如：$[yyyyMMdd],
$[HHmmss], $[yyyy-MM-dd] 等
+
+ - 也可以使用以下格式：
+
+
+ * 后 N 年：$[add_months(yyyyMMdd,12*N)]
+ * 前 N 年：$[add_months(yyyyMMdd,-12*N)]
+ * 后 N 月：$[add_months(yyyyMMdd,N)]
+ * 前 N 月：$[add_months(yyyyMMdd,-N)]
+ * 后 N 周：$[yyyyMMdd+7*N]
+ * 前 N 周：$[yyyyMMdd-7*N]
+ * 后 N 天：$[yyyyMMdd+N]
+ * 前 N 天：$[yyyyMMdd-N]
+ * 后 N 小时：$[HHmmss+N/24]
+ * 前 N 小时：$[HHmmss-N/24]
+ * 后 N 分钟：$[HHmmss+N/24/60]
+ * 前 N 分钟：$[HHmmss-N/24/60]
+
+#### 8.3 <span id=UserDefinedParameters>用户自定义参数</span>
+
+ -
用户自定义参数分为全局参数和局部参数。全局参数是保存工作流定义和工作流实例的时候传递的全局参数，全局参数可以在整个流程中的任何一个任务节点的局部参数引用。
+ 例如：
+
+<p align="center">
+ <img src="/img/local_parameter.png" width="80%" />
+ </p>
+
+ - global_bizdate为全局参数，引用的是系统参数。
+
+<p align="center">
+ <img src="/img/global_parameter.png" width="80%" />
+ </p>
+
+ -
任务中local_param_bizdate通过\${global_bizdate}来引用全局参数，对于脚本可以通过\${local_param_bizdate}来引全局变量global_bizdate的值，或通过JDBC直接将local_param_bizdate的值set进去
diff --git a/docs/zh-cn/1.3.0/user_doc/upgrade.md
b/docs/zh-cn/1.3.0/user_doc/upgrade.md
index 6a3453b..941ad0d 100644
--- a/docs/zh-cn/1.3.0/user_doc/upgrade.md
+++ b/docs/zh-cn/1.3.0/user_doc/upgrade.md
@@ -9,7 +9,7 @@
## 3. 下载新版本的安装包
-- [下载](https://dolphinscheduler.apache.org/en-us/docs/user_doc/download.html),
下载最新版本的前后端安装包(dolphinscheduler-backend、dolphinscheduler-ui)
+- [下载](https://dolphinscheduler.apache.org/en-us/docs/user_doc/download.html),
下载最新版本的二进制安装包
- 以下升级操作都需要在新版本的目录进行
## 4. 数据库升级
diff --git a/site_config/site.js b/site_config/site.js
index 69695d4..3bad550 100755
--- a/site_config/site.js
+++ b/site_config/site.js
@@ -18,7 +18,7 @@ export default {
children: [
{
key: 'docs1',
- text: '1.3.0',
+ text: '1.3.0(Incoming)',
link: '/en-us/docs/1.3.0/user_doc/quick-start.html',
},
{
@@ -124,7 +124,7 @@ export default {
children: [
{
key: 'docs1',
- text: '1.3.0',
+ text: '1.3.0(Incoming)',
link: '/zh-cn/docs/1.3.0/user_doc/quick-start.html',
},
{
