This is an automated email from the ASF dual-hosted git repository. duhengforever pushed a commit to branch main in repository https://gitbox.apache.org/repos/asf/rocketmq-streams.git
commit aa81fe8256e908dc12c2757cbfd3d71f237f9a14 Author: xstorm1 <[email protected]> AuthorDate: Mon Aug 2 15:48:21 2021 +0800 modify README.md --- README.md | 57 +-------------------------------------------------------- 1 file changed, 1 insertion(+), 56 deletions(-) diff --git a/README.md b/README.md index d2ff23e..92a9b2f 100644 --- a/README.md +++ b/README.md @@ -8,19 +8,6 @@ ## DataStream Example ```java -<<<<<<< HEAD - import org.apache.rocketmq.streams.client.transform.DataStream; - - - - DataStreamSource source=StreamBuilder.dataStream("namespace","pipeline"); - - source - .fromFile("/Users/junjie.cheng/text.txt",false) - .map(message->message) - .toPrint(1) - .start(); -======= import org.apache.rocketmq.streams.client.transform.DataStream; DataStreamSource source=StreamBuilder.dataStream("namespace","pipeline"); @@ -30,7 +17,6 @@ DataStreamSource source=StreamBuilder.dataStream("namespace","pipeline"); .map(message->message) .toPrint(1) .start(); ->>>>>>> main ``` ## Maven Repository @@ -58,10 +44,7 @@ StreamBuilder 用于构建流任务的源； 内部包含```dataStream()```和`` ## DataStream API ### Source -<<<<<<< HEAD -======= ->>>>>>> main DataStreamSource 是分段式编程的源头类，用于对接各种数据源， 从各大消息队列中获取数据； + ```fromFile``` 从文件中读取数据， 该方法包含俩个参数 @@ -75,15 +58,6 @@ DataStreamSource 是分段式编程的源头类，用于对接各种数据源， + ```isJson``` 是否json格式，非必填参数 + ```tags``` rocketmq消费的tags值，用于过滤消息，非必填参数 -<<<<<<< HEAD - -+ ```from``` 自定义的数据源， 通过实现ISource接口实现自己的数据源 - -### transform -transform 允许在流计算过程中对输入源的数据进行修改，进行下一步的操作；DataStream API中包括```DataStream```,```JoinStream```, ```SplitStream```,```WindowStream```等多个transform类； - -#### DataStream -======= + ```from``` 自定义的数据源， 通过实现ISource接口实现自己的数据源 ### transform @@ -92,7 +66,6 @@ transform 允许在流计算过程中对输入源的数据进行修改，进行 #### DataStream ->>>>>>> main DataStream实现了一系列常见的流计算算子 + ```map``` 通过将源的每个记录传递给函数func来返回一个新的DataStream @@ -106,17 +79,6 @@ DataStream实现了一系列常见的流计算算子 + ```toFile``` 将结果保存为文件，生成一个新的DataStreamAction实例 + ```toDB``` 将结果保存到数据库 + ```toRocketmq``` 将结果输出到rocketmq -<<<<<<< HEAD -+ ```toSls``` 将结果输出到sls -+ ```to``` 将结果经过自定义的ISink接口输出到指定的存储 -+ ```window``` 在窗口内进行相关的统计分析，一般会与```groupBy```连用， ```window()```用来定义窗口的大小， ```groupBy()```用来定义统计分析的主key，可以指定多个 - + ```count``` 在窗口内计数 - + ```min``` 获取窗口内统计值的最小值 - + ```max``` 获取窗口内统计值得最大值 - + ```avg``` 获取窗口内统计值的平均值 - + ```sum``` 获取窗口内统计值的加和值 - + ```reduce``` 在窗口内进行自定义的汇总运算 -======= + ```to``` 将结果经过自定义的ISink接口输出到指定的存储 + ```window``` 在窗口内进行相关的统计分析，一般会与```groupBy```连用， ```window()```用来定义窗口的大小， ```groupBy()```用来定义统计分析的主key，可以指定多个 + ```count``` 在窗口内计数 @@ -125,27 +87,11 @@ DataStream实现了一系列常见的流计算算子 + ```avg``` 获取窗口内统计值的平均值 + ```sum``` 获取窗口内统计值的加和值 + ```reduce``` 在窗口内进行自定义的汇总运算 ->>>>>>> main + ```join``` 根据条件将将俩个流进行关联， 合并为一个大流进行相关的运算 + ```union``` 将俩个流进行合并 + ```split``` 将一个数据流按照标签进行拆分，分为不同的数据流供下游进行分析计算 + ```with``` with算子用来指定计算过程中的相关策略，包括checkpoint的存储策略，state的存储策略等 -<<<<<<< HEAD - -# Strategy -策略机制主要用来控制计算引擎运行过程中的底层逻辑，如checkpoint，state的存储方式等，后续还会增加对窗口、双流join等的控制；所有的控制策略通过```with```算子传入，可以同时传入多个策略类型； - -```java - //指定checkpoint的存储策略 - source - .fromRocketmq("TSG_META_INFO", "") - .map(message -> message + "--") - .toPrint(1) - .with(CheckpointStrategy.db("jdbc:mysql://XXXXX:3306/XXXXX", "", "", 0L)) - .start(); -``` -======= # Strategy 策略机制主要用来控制计算引擎运行过程中的底层逻辑，如checkpoint，state的存储方式等，后续还会增加对窗口、双流join等的控制；所有的控制策略通过```with```算子传入，可以同时传入多个策略类型； @@ -158,5 +104,4 @@ source .toPrint(1) .with(CheckpointStrategy.db("jdbc:mysql://XXXXX:3306/XXXXX","","",0L)) .start(); -``` ->>>>>>> main +``` \ No newline at end of file
