xaiyuming20 opened a new issue, #70614: URL: https://github.com/apache/doris/issues/70614
### Search before asking - [x] I had searched in the [issues](https://github.com/apache/doris/issues?q=is%3Aissue) and found no similar issues. ### Version doris 2.1.11 ### What's Wrong? ## 描述 Bug (Describe the bug) 在并发 Stream Load 的情况下,BE 的 **Web 服务端口 (8040/8045) 会永久停止响应**:TCP 连接可以建立,但**永远收不到 HTTP 响应**(`curl` 返回状态码 `000`),同时伴随以下现象: - BE 进程**依然存活**(没有崩溃,没有重启), - **9050 心跳端口保持健康** —— FE 仍然认为该 BE 存活,并持续向它发送 `307` 重定向, - **be.INFO 日志中没有 ERROR / FATAL**, - 并且它**永远不会自愈** —— 只能通过重启 BE 来恢复。 `eu-stack` 显示**全部 48 个 `EvHttpServer` 工作线程都阻塞在 StreamLoadAction 内部**: - **32 个**线程阻塞在 `io::StreamLoadPipe::_append()`(4MB 的管道已写满), - **16 个**线程阻塞在 `StreamLoadAction::_handle()` -> `std::future::get()`(**没有超时机制**)。 与此同时,**129 个** scanner 线程阻塞在 `io::StreamLoadPipe::read_at_impl()`(管道为空),以及 **2 个** `WalTable::_handle_stream_load()` 线程阻塞在 `future.get()`。 由于 `/api/health`、`/metrics` 和 `/_stream_load` 共享**同一个**工作线程池,导致节点完全无法管理(监控、健康检查和所有导入全部失败),但在 FE 看来它却像健康的一样。 ## 版本 / 环境 (Version / Environment) | 项目 | 值 | |---|---| | Doris 版本 | **2.1.11**(厂商编译版) | | 部署方式 | 3 FE + 10 BE,**FE/BE 混部**(`Hybrid Node`) | | BE 端口 | be_port 9060 / **webserver 8045** / heartbeat 9050 / brpc 8060 | | 操作系统 / 架构 | Linux **aarch64**(线程栈显示了 `bshuf_trans_byte_elem_NEON_64_neon`) | | 相关 be.conf 配置 | `webserver_num_workers` **未设置(默认 48)**;`doris_scanner_thread_pool_thread_num` 未设置;`streaming_load_max_mb=102400`;`disable_storage_page_cache=true`;`max_tablet_version_num=2500` | | 表属性 | `group_commit_interval_ms=10000`, `group_commit_data_bytes=134217728` | | 数据规模 | 每个 BE 约 **292k 个 tablet**,总计约 2.9M(包含副本) | | 导入模式 | 高频小批量:故障期间发布率约 **14.8 事务/秒** | ## 复现步骤 (To Reproduce) 1. 准备一个使用默认 `webserver_num_workers`(= 48)且 scanner 线程池不大于该值的 BE。 2. 向该 BE 发起 **> 48 个并发 Stream Load** 请求;每个批次的数据体 **< 4MB** 就足够了(管道可以在没有任何消费者的情况下缓冲整个数据体)。或者,让任何消费端的阶段变慢(发布 / 压缩 / WAL 重放),使得 4MB 的管道被写满。 3. 执行 `curl -v http://<be>:8045/api/health` → TCP 握手成功,然后**永久挂起**(`000`)。 4. 执行 `eu-stack -id -p $(pgrep -f doris_be)` → 会看到下面的堆栈模式。 5. 重启 BE → 立即恢复正常;**服务永远不会自行恢复**。 ## 线程堆栈 (Thread dump) (eu-stack,单进程内 3282 个线程) <details> <summary><b>A. 32 个工作线程阻塞于管道写满</b> — <code>StreamLoadPipe::_append</code></summary> ```text #0 pthread_cond_wait #1 doris::io::StreamLoadPipe::_append(std::shared_ptr<doris::ByteBuffer> const&, unsigned long) #2 doris::StreamLoadAction::on_chunk_data(doris::HttpRequest*) #3 ... #4 bufferevent_run_readcb_ #9 std::_Function_handler<void (), doris::EvHttpServer::start()::$_0>::_M_invoke(...) #10 doris::ThreadPool::dispatch_thread() #11 doris::Thread::supervise_thread(void*) ``` </details> <details> <summary><b>B. 16 个工作线程阻塞于无超时的 <code>future.get()</code></b></summary> ```text #0 syscall #1 std::__atomic_futex_unsigned_base::_M_futex_wait_until(...) #2 std::__basic_future<doris::Status>::_M_get_result() const #3 doris::StreamLoadAction::_handle(std::shared_ptr<doris::StreamLoadContext>) #4 doris::StreamLoadAction::handle(doris::HttpRequest*) #5 bufferevent_run_readcb_ #9 std::_Function_handler<void (), doris::EvHttpServer::start()::$_0>::_M_invoke(...) #10 doris::ThreadPool::dispatch_thread() ``` </details> <details> <summary><b>C. 129 个 scanner 线程因空管道而饥饿</b></summary> ```text #0 pthread_cond_wait #1 doris::io::StreamLoadPipe::read_at_impl(...) #2 doris::io::FileReader::read_at(...) #3 doris::NewPlainTextLineReader::read_line(...) #4 doris::vectorized::CsvReader::get_next_block(...) #5 doris::vectorized::VFileScanner::_get_block_wrapped(...) #7 doris::vectorized::VScanner::get_block(...) #8 doris::vectorized::ScannerScheduler::_scanner_scan(...) ``` </details> <details> <summary><b>D. 2 个 WAL 重放线程阻塞于内部 stream load</b></summary> ```text #1 std::__atomic_futex_unsigned_base::_M_futex_wait_until(...) #2 std::__basic_future<doris::Status>::_M_get_result() const #3 doris::WalTable::_handle_stream_load(long, string const&, string const&) #4 doris::WalTable::_replay_wal_internal(string const&) #5 doris::WalTable::_relay_wal_one_by_one() #6 doris::WalTable::replay_wals() #7 doris::WalManager::_replay_background()::$_0 ``` </details> <details> <summary><b>全进程统计 (3282 个线程)</b></summary> | 栈顶函数 | 线程数 | |---|---:| | `pthread_cond_timedwait` | 1713 | | `pthread_cond_wait` | 1179 | | `syscall` (futex) | 271 | | `__syscall` (epoll_wait) | 65 | | `__poll` (thrift) | 34 | | `__nanosleep` | 4 | | `os::signal_wait` | 1 | | **总计等待中** | **3267 (99.5%)** | | 运行中 (`memcpy` / bitshuffle / `pread` / compaction picking / `steal_task`) | 9 | | 空堆栈(解析失败) | 6 | - `__lll_lock_wait` 出现次数:**0** → 不是锁竞争问题。 - **没有线程**处于 `TabletsChannel::close` / `DeltaWriter` / publish / txn 路径中 → 说明导入根本没有到达写入/发布阶段。 - 48 个工作线程占用了 48 个事件循环;约 177 个正在进行的导入被分散在它们之上(**每个事件循环约 3.7 个连接**),因此一个被阻塞的事件循环拖死了约 3.7 个导入。 </details> ## 故障期间的运行指标 (be.INFO 聚合,20 小时) | 指标 | 窗口 1 (10.6 小时) | 窗口 2 (9.2 小时) | |---|---|---| | LOAD 查询平均耗时 | **68 659 ms** | **80 177 ms** | | LOAD 查询最大耗时 | 14 401 067 ms | 14 400 924 ms | | 发布率 (Publish rate) | **886.8 / 分钟 (14.8 / 秒)** | 786.4 / 分钟 | | 零行发布占比 | 59.2 % | 60.1 % | | 压缩率 (Compaction rate) | 99.9 / 分钟 | 80.5 / 分钟 | | 单次压缩最大延迟 | **237.6 秒** | — | | 单查询最大峰值内存 | 7 485 MB | **31 242 MB** | | ERROR / FATAL 日志 | 0 | 0 | 两个可能值得注意的观察结果: 1. 最慢的 LOAD 耗时**几乎完全相同**(14 400 2xx–14 401 0xx 毫秒,相差仅几十毫秒),即它们**在同一时刻开始并在同一时刻被记录** → 这是批量挂起,而不是随机变慢。`14 400 秒` 正好是 4 小时,看起来像是超时边界(我们还在确认)。 2. Publish : Compaction ≈ **8.9 : 1**,其中 60% 的 publish 是零行发布 → 版本累积速度远快于合并速度,这很可能是消费端最初变慢的根本原因。 ## 为什么这是一个循环等待(死锁)而不是“慢” 相关代码路径(2.1 分支): - `be/src/http/ev_http_server.cpp` — `EvHttpServer::start()` 提交 `_num_workers` 个任务;每个任务在**共享的**监听 fd 上执行 `evhttp_accept_socket()`,然后阻塞在 `event_base_dispatch()` 中。一个工作线程 = 一个事件循环,而且**一个循环会承载多个连接**。 - `be/src/http/action/stream_load.cpp` — `handle()` 调用 `_handle()`,后者在**该事件循环线程上同步且无超时地**执行 `RETURN_IF_ERROR(ctx->future.get())`;`on_chunk_data()` 调用 `ctx->body_sink->append()`,当管道满时会阻塞。 - `be/src/io/fs/stream_load_pipe.cpp` — `kMaxPipeBufferedBytes = 4 MB`;当队列为空且未结束时,`read_at_impl()` 会等待;当已排队的字节 + 新字节 > 4MB 时,`_append()` 会等待。 循环等待关系: ```text 工作线程 ── 等待 ──> future(导入完成) ▲ │ │ ▼ └── body 数据 <── scanner(等待管道有数据) ``` - 工作线程在等待 future 时占用了事件循环; - future 需要 scanner 完成才能结束; - scanner 需要管道里有字节; - 字节只能由**同一个被冻结的事件循环**从 socket 中读取。 最后一条逃生通道也被关闭了:客户端的超时/关闭事件也必须由那个冻结的循环来处理,因此**超时的请求永远不会释放它的工作线程**。这就是为什么它能存活 43 小时,以及为什么只有重启能解决问题。 ## 两次发生、两个不同入口,同一个缺陷 | | 发生 #1 (2026-10, 端口 8040) | 发生 #2 (2026-11, 端口 8045) | |---|---|---| | 版本 | 2.1.11 | 2.1.11 | | `webserver_num_workers` | 默认 48 | 默认 48 | | Scanner 线程池 | 32 (配置) | 未设置 (≥129 运行中) | | 入口点 | 并发数 > scanner 池大小 | 消费端停滞 → 管道写满 | | 阻塞的工作线程 | 44 个 `future` + 4 个 `_append` | 16 个 `future` + **32 个 `_append`** | | 处理中的导入 | ~80 | ~177 | | 恢复方式 | 仅重启 | 仅重启 | 相同的版本,相同的 48 线程池,**相反的阻塞分布**。因此 `scanner_pool < webserver_num_workers` 只是其中**一种**触发方式:**任何能阻塞工作线程的操作,最终都会导致同样的永久死锁**。仅仅调大两个池的大小只是移动了阈值,并没有消除问题。 ## 临时缓解措施(我们正在做的) 1. 同时调大 `doris_scanner_thread_pool_thread_num` 和 `webserver_num_workers`(例如 128 / 64),以确保 scanner 池 ≥ 工作线程池; 2. 在 L7 网关或客户端上限制每个 BE 正在处理中的 stream load 数量(≤ 24); 3. 看门狗:每 2 分钟探测一次 `:8045/api/health`,失败时捕获 `eu-stack`,可选自动重启(该故障不会自愈); 4. 将高频小批量导入迁移到 `INSERT INTO ... SELECT` / Spark Load,绕过 BE HTTP 路径。 ## 期望行为 (Expected behavior) 1. `StreamLoadAction::handle()` **绝不能阻塞 `event_base` 线程**(改为异步回调,或将其派发到专用的线程池),或者 2. 等待必须有**时间限制**(`future.wait_for(timeout)`),返回 `503` 并取消导入,从而释放工作线程; 3. 或者当正在处理的导入数量超过阈值时,请求应该**快速失败(`429/503`)**,而不是永久排队; 4. `doris_scanner_thread_pool_thread_num` 的默认值应该 **≥ `webserver_num_workers`**,从而消除“第 33 个并发导入”这类触发条件; 5. 理想情况下,健康/监控端点不应与可能被阻塞的用户请求共享同一个线程池。 ## 附加信息 (Additional context) - 我们可以提供**完整的 eu-stack**(3282 个线程,约 1.4 MB)、`be.conf` / `fe.conf`,以及 20 小时的 `be.INFO`(外加 Compaction / Publish / DeleteBitmap / Query 的多维度聚合数据)。请告诉我你们希望以什么形式提供(gist / 附件 / 直接粘贴)。 - **问题**: 1. 这是 2.1.x 中的已知问题吗?有没有相关的 commit / PR 可以让我跟进? 2. 3.x 版本是否已经重构了这条路径(将 stream load 移出事件循环处理,或者将 `handle()` 改为异步)?如果是,从哪个版本开始 —— 我们将据此评估是否升级。 - 如果已存在重复的 issue,请贴出链接并关闭此 issue。 ### 版本信息 (Version info) - **Doris 版本**: 2.1.11 - **环境**: 3 FE + 10 BE (FE/BE 混部), 每个 BE 12 个数据目录, 每个 BE 约 292k 个 tablet - **操作系统**: Linux aarch64 - 目前在2个集群中出现相同问题,一个是x86主机一个是arm主机均为2.1.11版本 ### What You Expected? 我想确认这个是否有完整的解决办法和补丁 ### How to Reproduce? _No response_ ### Anything Else? _No response_ ### Are you willing to submit PR? - [ ] Yes I am willing to submit a PR! ### Code of Conduct - [x] I agree to follow this project's [Code of Conduct](https://www.apache.org/foundation/policies/conduct) -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
