This is an automated email from the ASF dual-hosted git repository.
roryqi pushed a commit to branch master
in repository https://gitbox.apache.org/repos/asf/incubator-uniffle-website.git
The following commit(s) were added to refs/heads/master by this push:
new 7dc90fe Translate 2022 summary zh-CN (#56)
7dc90fe is described below
commit 7dc90fed02d81e71181170e259a66fbafe553c9c
Author: Thinking Chen <[email protected]>
AuthorDate: Wed Aug 9 21:33:12 2023 +0800
Translate 2022 summary zh-CN (#56)
---
.../2023-01-09/2022 summary.md | 64 ++++++++++++++++++++++
1 file changed, 64 insertions(+)
diff --git a/i18n/zh-CN/docusaurus-plugin-content-blog/2023-01-09/2022
summary.md b/i18n/zh-CN/docusaurus-plugin-content-blog/2023-01-09/2022
summary.md
new file mode 100644
index 0000000..a2d7aa3
--- /dev/null
+++ b/i18n/zh-CN/docusaurus-plugin-content-blog/2023-01-09/2022 summary.md
@@ -0,0 +1,64 @@
+<!--
+ ~ Licensed to the Apache Software Foundation (ASF) under one or more
+ ~ contributor license agreements. See the NOTICE file distributed with
+ ~ this work for additional information regarding copyright ownership.
+ ~ The ASF licenses this file to You under the Apache License, Version 2.0
+ ~ (the "License"); you may not use this file except in compliance with
+ ~ the License. You may obtain a copy of the License at
+ ~
+ ~ http://www.apache.org/licenses/LICENSE-2.0
+ ~
+ ~ Unless required by applicable law or agreed to in writing, software
+ ~ distributed under the License is distributed on an "AS IS" BASIS,
+ ~ WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+ ~ See the License for the specific language governing permissions and
+ ~ limitations under the License.
+ -->
+# Apache Uniffle (incubating) - 2022 年终总结
+
+## 引言
+
+2020 年底,Apache Uniffle (incubating) 在腾讯内部写下了他的第一行代码,21 年 11 月份对外开源,22 年中被捐献给了
Apache 基金会。自被捐献给了 Apache 基金会后,它吸引了较多来自各个公司的开发者。本文瑾对 Apache Uniffle (incubating)
2022 做个简单的小结。
+
+## 时间线
+Apache Uniffle (Incubating) 于 2022 年 6 月 6 日进行 Apache 孵化器,截止到 2022 年 12 月底
(当前写作时间:2022.12.26),共新建了 157 个 Issue (其中 76 个被关闭或者解决), 新增了 272 个 PRs (其中 264
个被合入或者关闭)。
+
+Apache Uniffle (incubating) 2022 年共发布了两个版本:0.6.0 和 0.6.1。 其中:
+1. 2022.10.27:0.6.0 版本发布
+2. 2022.11.30:0.6.1 版本发布
+
+0.6.0 版本是 Uniffle 进入到 Apache 孵化器后发布的第一个版本,它包括以下特点:
+1. 优化了 Coordinator 的分配机制
+2. 优化了 `Shuffle Server` 的调度策略
+3. 优化了性能和稳定性,
+4. 支持了需 Kerberos 验证的 HDFS
+5. 支持了 Uniffle K8S Operator,让其在可在云原生环境进行部署和应用。
+
+0.6.1 版本是 0.6.0 版本之后的一个重要的 bug fix 版本,它主要修复了如下几个问题:
+1. MR 计算框架中,当 reudce task 个数超过 1024 时,partition 无法被访问的问题
+2. 并发注册 shuffle 导致了获取 shuffle 结果失败
+3. 在 WriteBufferManager#addRecord 处理 NPE
+4. 对于存在坏盘时,可能存在的内存泄漏
+
+除上述已发布的两个版本,当前 master 分支中,引入了 local order,以应对 Spark AQE 的数据倾斜优化,相比于未优化版本,性能提升
3 倍。
+
+## 社区运营情况
+Apache Uniffle (incubating)
自进入孵化器以来,增加了贡献者22人,共有贡献者33人,贡献者来自腾讯,爱奇艺,Ebay,滴滴,顺丰,百度,字节,京东,B站,Databricks等互联网公司。在新增的
22 名贡献者中,Apache Uniffle (incubating) PMC 根据贡献度, 投票选择了新增了2名 committer。希望两位新增
Committer 可以在接下来的一年对 Apache Uniffle (incubating) 持续贡献。
+
+## 使用情况
+根据跟贡献者和使用者的线上/线下沟通交流,当前 Apache Uniffle (incubating) 在腾讯,爱奇艺,滴滴,顺丰,维品会,B
站,货拉拉等公司均有生产使用。多家公司 Uniffle 处理的 Shuffle 数据量日均超过 PB,运行的 App 数过万。其使用的场景除解决原生
shuffle 的稳定性/扩展性问题外,也为了满足存算分离的计算资源,提升整体资源的利用率。
+
+## 后续规划
+在 2023 年,Apache Uniffle(incubating) 将继续以提供高效,普适的 Shuffle Service
为目标。目前有如下的工作在规划列表中:
+1. 更完整地计算引擎生态:
+ - 支持 Tez 计算框架
+ - 支持 Flink 计算框架
+2. 更完备地存储介质支持:
+ - 高效支持对象存储
+ - HDD, SSD 等本地混合存储支持
+3. 性能优化:
+ - 使用 Netty 替换 gRPC
+ - Off-heap 内存管理, 应用 zero-copy技术, 减少数据拷贝
+4. 更多的企业级特性:
+ - 多租户隔离相关功能开发
+ - 稳定性和可靠性提升