xaiyuming20 commented on issue #70614: URL: https://github.com/apache/doris/issues/70614#issuecomment-6910283843
你好 @Doris-Breakwater, 感谢你详细的初步评估、源码验证,以及指出相关的 PR(#53144、#70171)。我们非常感谢你透彻的分析。 根据你的反馈,我们更新了对此问题的理解: **1. 关于默认的 scanner 配置:** 在这个集群中我复核后确认,我们的 be.conf 中确实没有显式设置 doris_scanner_thread_pool_thread_num。我们承认默认逻辑是 max(48, 2 * CPU 核心数)。而第一个集群时确实设置了这个参数故导致出现第一次问题。 **2. 关于 4 小时(14400秒)的耗时:** 你的观察非常准确。我们检查了 FE 配置,确认了 insert_load_default_timeout_second=14400。最慢的 LOAD 耗时完全一致,确实是因为它们撞到了这个超时边界。 **3. 关于逃逸路径(cancel_worker)与持续不自愈:** 这是我们接下来需要进一步调查的关键点。我们怀疑即使有 `FragmentMgr::cancel_worker()`,取消操作可能也没有有效地传播。我们正在尝试收集 cancel worker 的堆栈,并检查在卡死期间取消操作是否到达了受影响的管道。我们将提供更多证据。 **4. 关于补丁覆盖不全:** 我们注意到 PR #53144(及回填的 #70171)解决了 `future.get()` 的阻塞,但正如你所说,同步阻塞的 `_append()`(卡在管道满的 32 个线程)在 #68973 中仍是一个未解决的问题。这与我们的堆栈完全吻合。 **厂商版本:** X86版本: doris-2.1.11-rc01-97b77e6cda (公网下载版本) arm版本: doris-2.1.11-1.0.2-725ba03e6a (内部编译版本) 我们收集到所需的脱敏堆栈、客户端脚本和日志(FE/BE 信息,超时边界)后,会尽快更新到这个帖子里。请保持此 issue 开放。再次感谢你的帮助! -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
