membphis commented on code in PR #1918: URL: https://github.com/apache/apisix-website/pull/1918#discussion_r2133138385
########## blog/zh/blog/2025/05/29/apisix-ai-gateway-from-cloud-native-to-ai-native.md: ########## @@ -0,0 +1,154 @@ +--- +title: "从云原生到 AI 原生：Apache APISIX 的 AI 网关架构设计与智能实践" +authors: + - name: 王院生 + title: author + url: https://github.com/membphis + image_url: https://github.com/membphis.png + - name: Yilia Lin + title: Technical Writer + url: https://github.com/Yilialinn + image_url: https://github.com/Yilialinn.png +keywords: + - APISIX + - API 网关 + - APISIX AI 网关 + - AI 原生 + - 云原生 +description: 作者：王院生，Apache APISIX PMC Member，Apahce Member，API7.ai 创始人 & CTO，《Apache APISIX 实战》作者。本文整理自 2025 年 4 月 12 日院生在 APISIX 深圳 Meetup 的演讲。 +tags: [Case Studies] +image: https://static.apiseven.com/uploads/2024/12/25/dxrwyegf_api7-cover.png +--- + +> 作者：王院生，Apache APISIX PMC 成员，Apahce 成员，API7.ai 创始人 & CTO，《Apache APISIX 实战》作者。本文整理自 2025 年 4 月 12 日院生在 APISIX 深圳 Meetup 的演讲。 +> +<!--truncate--> + +## 导语：AI 时代的焦点——Why + +2015 年，我和温铭一起创立了 APISIX 这个开源项目，在 2019 年把 APISIX 捐给了 Apache Software Foundation。如今，六年时间过去了，从我个人角度，它取得的成就是非常显著的。最开始，我们的目标很简单，就是希望能做出一个能够被别人使用的 API 网关。但随着时间的推移，越来越多不同领域的用户开始使用 APISIX，比如吉利汽车、荣耀手机等，当这些产品借助 APISIX 为我自己提供服务时，我感觉就像自己创造的孩子在反哺父母一样，这种正向循环真的非常鼓舞人心。 Review Comment: ```suggestion 2015 年，支流科技创立了 APISIX 这个开源项目，在 2019 年把 APISIX 捐给了 Apache Software Foundation。如今，六年时间过去了，它取得的成就非常显著。最开始，我们的目标很简单，就是希望能做出一个能够被别人使用的 API 网关。但随着时间的推移，越来越多不同领域的开发者、企业用户开始使用 APISIX，比如吉利汽车、荣耀手机等，当他们借助 APISIX 为自己提供服务时，就像自己孩子用另一种方式在反哺父母，自豪且令人鼓舞。 ``` ########## blog/zh/blog/2025/05/29/apisix-ai-gateway-from-cloud-native-to-ai-native.md: ########## @@ -0,0 +1,154 @@ +--- +title: "从云原生到 AI 原生：Apache APISIX 的 AI 网关架构设计与智能实践" +authors: + - name: 王院生 + title: author + url: https://github.com/membphis + image_url: https://github.com/membphis.png + - name: Yilia Lin + title: Technical Writer + url: https://github.com/Yilialinn + image_url: https://github.com/Yilialinn.png +keywords: + - APISIX + - API 网关 + - APISIX AI 网关 + - AI 原生 + - 云原生 +description: 作者：王院生，Apache APISIX PMC Member，Apahce Member，API7.ai 创始人 & CTO，《Apache APISIX 实战》作者。本文整理自 2025 年 4 月 12 日院生在 APISIX 深圳 Meetup 的演讲。 +tags: [Case Studies] +image: https://static.apiseven.com/uploads/2024/12/25/dxrwyegf_api7-cover.png +--- + +> 作者：王院生，Apache APISIX PMC 成员，Apahce 成员，API7.ai 创始人 & CTO，《Apache APISIX 实战》作者。本文整理自 2025 年 4 月 12 日院生在 APISIX 深圳 Meetup 的演讲。 +> +<!--truncate--> + +## 导语：AI 时代的焦点——Why + +2015 年，我和温铭一起创立了 APISIX 这个开源项目，在 2019 年把 APISIX 捐给了 Apache Software Foundation。如今，六年时间过去了，从我个人角度，它取得的成就是非常显著的。最开始，我们的目标很简单，就是希望能做出一个能够被别人使用的 API 网关。但随着时间的推移，越来越多不同领域的用户开始使用 APISIX，比如吉利汽车、荣耀手机等，当这些产品借助 APISIX 为我自己提供服务时，我感觉就像自己创造的孩子在反哺父母一样，这种正向循环真的非常鼓舞人心。 + +在过去的近两三年里，技术的发展速度非常快，它也在不断地改变着我们的世界。最初，我以为自己与 AI 开发并无太多关联，但在亲身使用 AI 后，我才发现它能给予我极大的帮助。现在，在我们的日常工作中，几乎每天都离不开 AI 的使用。不过，在使用 AI 的过程中，最困难的部分其实是提问。因为 AI 本质上是一种赋能工具，它能为每个人提供助力，但这种助力的成效却取决于使用者自身的水平。就好比说，如果你本身水平很高，达到了 100 分，那么 AI 或许能帮你提升到 120 分；但如果你只有 50 分，那么它可能只能帮你提升到 60 分。这是为什么呢？因为对于 AI 来说，它本身是静态的，只能作为人的辅助，不同的人使用它，最终得到的结果也会不同。 + +在 AI 时代，最难的部分就是提问。而与此同时，要想在社会中提升自我段位，黄金圈法则（Why、How、What）就显得至关重要了。当我们深入思考就会发现，提问与黄金圈法则存在着很大的交集，其核心都在于我们要直击最本质的 Why，而不仅仅关注表面的 What。只有当我们把问题问完整了，才能得到正确的答案。 Review Comment: ```suggestion 在 AI 时代，对使用者来说最难是提问本身。而与此同时，要想在社会中提升自我段位，黄金圈法则（Why、How、What）就显得至关重要了。当我们深入思考就会发现，提问与黄金圈法则存在着很大的交集，其核心都在于我们要直击最本质的 Why，而不仅仅关注表面的 What。只有当我们把问题问完整，才能得到正确的答案。 ``` ########## blog/zh/blog/2025/05/29/apisix-ai-gateway-from-cloud-native-to-ai-native.md: ########## @@ -0,0 +1,154 @@ +--- +title: "从云原生到 AI 原生：Apache APISIX 的 AI 网关架构设计与智能实践" +authors: + - name: 王院生 + title: author + url: https://github.com/membphis + image_url: https://github.com/membphis.png + - name: Yilia Lin + title: Technical Writer + url: https://github.com/Yilialinn + image_url: https://github.com/Yilialinn.png +keywords: + - APISIX + - API 网关 + - APISIX AI 网关 + - AI 原生 + - 云原生 +description: 作者：王院生，Apache APISIX PMC Member，Apahce Member，API7.ai 创始人 & CTO，《Apache APISIX 实战》作者。本文整理自 2025 年 4 月 12 日院生在 APISIX 深圳 Meetup 的演讲。 +tags: [Case Studies] +image: https://static.apiseven.com/uploads/2024/12/25/dxrwyegf_api7-cover.png +--- + +> 作者：王院生，Apache APISIX PMC 成员，Apahce 成员，API7.ai 创始人 & CTO，《Apache APISIX 实战》作者。本文整理自 2025 年 4 月 12 日院生在 APISIX 深圳 Meetup 的演讲。 +> +<!--truncate--> + +## 导语：AI 时代的焦点——Why + +2015 年，我和温铭一起创立了 APISIX 这个开源项目，在 2019 年把 APISIX 捐给了 Apache Software Foundation。如今，六年时间过去了，从我个人角度，它取得的成就是非常显著的。最开始，我们的目标很简单，就是希望能做出一个能够被别人使用的 API 网关。但随着时间的推移，越来越多不同领域的用户开始使用 APISIX，比如吉利汽车、荣耀手机等，当这些产品借助 APISIX 为我自己提供服务时，我感觉就像自己创造的孩子在反哺父母一样，这种正向循环真的非常鼓舞人心。 + +在过去的近两三年里，技术的发展速度非常快，它也在不断地改变着我们的世界。最初，我以为自己与 AI 开发并无太多关联，但在亲身使用 AI 后，我才发现它能给予我极大的帮助。现在，在我们的日常工作中，几乎每天都离不开 AI 的使用。不过，在使用 AI 的过程中，最困难的部分其实是提问。因为 AI 本质上是一种赋能工具，它能为每个人提供助力，但这种助力的成效却取决于使用者自身的水平。就好比说，如果你本身水平很高，达到了 100 分，那么 AI 或许能帮你提升到 120 分；但如果你只有 50 分，那么它可能只能帮你提升到 60 分。这是为什么呢？因为对于 AI 来说，它本身是静态的，只能作为人的辅助，不同的人使用它，最终得到的结果也会不同。 + +在 AI 时代，最难的部分就是提问。而与此同时，要想在社会中提升自我段位，黄金圈法则（Why、How、What）就显得至关重要了。当我们深入思考就会发现，提问与黄金圈法则存在着很大的交集，其核心都在于我们要直击最本质的 Why，而不仅仅关注表面的 What。只有当我们把问题问完整了，才能得到正确的答案。 + +## Apache APISIX 简介 + +[支流科技](https://www.apiseven.com/)是 Apache APISIX 的创造者和捐赠者。目前，在中国 API 管理市场中，支流科技的占有率是第一的，我们服务着超过三十万的服务，每天处理的请求量超过万亿次。 + +APISIX 是一个全动态、实时且高性能的 API 网关。作为 Apache 顶级项目，它具备诸多优秀的特性。首先，它具有高安全性和高稳定性；其次，它的云原生架构使得它能够更好地适应现代的云环境，具备很强的弹性和可扩展性；再者，它的全动态配置让使用者能够根据实际需求灵活地调整网关的配置，而无需重启服务。此外，它的生态系统非常丰富，能够与各种不同的技术和工具进行集成。还有，它的性能极致，能够高效地处理大量的请求。最后，它的社区活跃，这意味着有大量的开发者和用户在不断地贡献自己的力量，推动着项目的发展。 + +正因如此，APISIX 适用于多种场景，包括企业南北流量网关、东西流量应用 API 网关、Kubernetes Ingress Controller 以及服务网格等。APISIX 的应用范围已经深入到我们日常生活的方方面面。当你打一次出租车，或者叫一辆电动车，甚至在你进行语音办公、视频通话、炒股等操作时，APISIX 都在背后默默地提供支持。甚至连我们日常光顾的麦当劳、肯德基等快餐店，以及国内几乎所有的手机厂商、电动车厂商，甚至充电宝等领域，都有 APISIX 的身影。 + + + +## 技术演进：从云原生迈向 AI 原生 + +云原生是指系统具备弹性扩缩容能力，能够以高效、迅速的方式响应动态变化的业务需求。**AI 原生则是在此架构基础上进一步发展而来，它强调的是对 AI 模型请求的代理支持，尤其是以对话类请求为主的应用场景。**尽管这类请求在协议层面上仍采用 HTTP 协议，与传统服务请求一致，但其在性能表现上存在显著差异。 + +具体而言，AI 请求的响应通常较慢。例如，当用户向 AI 提出一个问题时，其返回结果往往不如传统 HTTP 请求那样迅速。一般而言，传统 HTTP 请求在国内的响应时间多为 10 至 100 毫秒，稍长者也多在几百毫秒内完成，基本上可在一秒内完成交互。然而，AI 请由于其生成式计算的特性，响应时间会显著增加。 + + + +此外，AI 应用带来了全新的安全挑战。以企业内部数据为例，早期人们最为关注的是像三星公司所遇到的敏感文档泄露问题。在传统业务场景中，企业极少会将完整文件提交给外部服务，这一过程通常会经过严格审慎的评估。然而，在 AI 应用中此类操作却非常常见。例如，在租房或购房过程中，用户可能会将合同文档提交给 AI 模型，以分析其中潜在的法律风险。这种使用方式在功能表现上已能接近甚至部分替代专业律师的咨询服务，且目前部分律师亦在实际工作中采用类似方法以提升效率。因此，AI 应用引发了新的内部信息安全需求。 + +最后，企业在选用 AI 服务时，也需综合考虑成本问题。以 ChatGPT 与 DeepSeek 为例，尽管两者在功能能力上相近，但 DeepSeek 的价格明显更具优势。企业需在响应速度、输出质量、成本控制、系统稳定性与可靠性等方面权衡投入与回报。 + +## AI 崛起，APISIX 如何应对 + +在 AI 应用崛起的背景下，AI 流量特性与传统流量存在显著差异。作为一个高性能、高可扩展性的 API 网关，APISIX 能够代理所有类型的 HTTP 请求，理论上无技术障碍。然而，针对 AI 请求的代理，还需满足额外的性能与特性要求，以适应 AI 服务的特殊需求。 + + + +无论是商业用户还是开源用户，在企业级别使用 AI 服务的背景下，选择一款 AI 网关已成为必要前提。企业之所以需要部署 AI 网关，是因为其在使用 AI 服务（无论来自公共云，还是私有化部署的大模型实例）时，必须实现统一的接入控制、安全审计与成本管理。 + +可能有人会提出疑问：如果仅是通过 ChatGPT 等公共服务进行简单调用，是否仍有必要部署 AI 网关？答案是肯定的。以三星公司曾发生的机密信息泄露事件为例，根本原因之一在于缺乏统一的内容提交与响应流程记录机制。**AI 网关能够为企业提供这类内容传输的统一入口，确保所有请求和应答过程可被追踪和审计，进而保障数据安全。** + +企业在使用 AI 服务过程中，内容的提交与应答应由公司层面进行统一记录。同时，若在费用方面存在不可控因素，也应建立相应的记录机制。这些措施均属于公司层面的统一安全审核与成本控制范畴。 + +传统企业可能认为，仅购买一个用户账号即可直接使用 AI 服务，无需搭建任何内部基础设施。然而事实并非如此。AI 网关的出现正是为了应对这一变化。无论企业使用的是公共云提供的 AI 产品，还是内部私有部署的多个大模型实例，均需通过 AI 网关进行统一接入与管理。 + +**AI 网关首先解决的是安全问题，其次是审计问题，最后才是一些典型的应用场景。目前商业客户主要聚焦于以下关键场景的实现。** + + + +## APISIX AI Gateway + +接下来将介绍 APISIX AI 网关的基本实现方式。本次实现所涉及的技术改动相较于以往如 Ingress Controller 的构建，属于较小范围的调整。这是因为在 APISIX 中，API 网关与 AI 网关已实现融合，对使用者而言无需作出明显区分。 + + + +从架构来看，AI 网关的架构和 API 网关基本一致，仅在语言扩展或集成方式上有所调整。之前的插件已支持多语言与插件副本，现在则在相同位置支持 AI 网关，且其形态仍为插件形式。在核心理念方面未发生根本性变化，只在底层进行了少量关键性调整和升级，已经达到预期效果。 + + + +### AI Gateway 技术创新 + +在 APISIX 中实现 AI 网关过程中所面临的主要技术难点或区别，重点在于其与传统 HTTP 入口流量之间的差异。其中一个主要区别在于，大模型实例的负载均衡机制与传统上游节点的负载均衡方式存在差异。例如，健康检查的方式不同：传统方式使用 HTTP GET，而 AI 网关中则需采用 POST 方法，调用方式发生了变化。同时，重试与熔断策略也不尽相同。 + +在可观测性方面，AI 网关尤为关注两个核心指标：一是请求与应答过程中的 Token 记录，二是与延迟相关的指标，特别包括首次响应延迟以及处于等待首次响应阶段的并发连接数。另一个客观因素是成本控制。事实上，成本在大多数场景中可通过请求与应答中的 Token 数量进行量化反映。此外，安全性也是一个关键难点。无论是在开源版本的 APISIX 还是商业版本中，它们的底层能力是一致的。 + +**目前，我们在开源版本与商业版本中均已分别支持 DeepSeek、OpenAI、千问，以及 OpenAI Compatible 的兼容模式。**支持该兼容模式的原因在于，国内实际存在远不止上述提到的 DeepSeek 一家提供大模型服务的企业。还有部分企业专为商业公司提供私有部署的大模型服务，虽然这些服务提供方并非前述三家中的任何一家，但其对外暴露的标准采用了 OpenAI 的接口规范，因此可归类为 “OpenAI Compatible” 模式。 + + + +### APISIX AI Gateway 插件概览 + +APISIX AI 网关目前有以下常用插件，在代理能力方面，我们并未采用标准的 upstream 机制，而是通过名为 `ai-proxy` 的插件，实现动态代理的功能。 Review Comment: ```suggestion APISIX AI 网关目前有以下常用插件，在代理能力方面，我们并未采用标准的 upstream 机制，而是通过名为 `ai-proxy` 等插件，实现动态代理的功能。 ``` -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: notifications-unsubscr...@apisix.apache.org For queries about this service, please contact Infrastructure at: us...@infra.apache.org
