AI 网关建设 · 高层决策 One Pager

2026-09-14 · 提报:平台架构(樊国柱)· 依据:选型调研与 POC、公司版方案、选型复评、对标选型、LiteLLM 许可分析(链接见页脚)
决策请求:批准以 agentgateway 为核心、自研控制面的公司 AI 网关方案;批准 3 人 × 12 周投入;对下方 5 项待决事项拍板。
49 / 49
POC 7 场景检查全部通过
8 + 1
直连厂商的服务 + 无身份的统一代理
26 人周
自研工程量(Skill 中心复用 SkillHub)· 3 人并行 10–12 周到试点
0 元
许可费用 · 全部开源

1现状 → 目标 流量已集中但没有治理;目标是一把 Key、全部调用带身份与计量

现状与目标 今天 存量业务应用 × N 存量统一代理无身份 · 无预算 存量8 个服务直连厂商厂商 Key 在应用里 外部模型厂商 无身份 · 无预算 · 无对账 · Key 散落 · 无统一的 MCP / Skill 入口 目标 使用方一把 Key 新建AI 网关身份 · 预算 · 策略 · 计量 模型厂商 MCP · Skill 100% 调用带身份与计量 · 账单可拆 · Key 只在网关 · 五种环境同一模板

2精简架构 一个产品、四类能力、一把 Key;Skill 中心复用讯飞开源 SkillHub;存量南北向不动;五种环境同一模板

精简架构图 使用方 开发者Claude Code · Codex 业务人员Work 工具 · 连接器 业务服务 · Agent智能助手 · xagent 客户应用 · 三方平台客户 harness · 豆包 AI 网关(本项目新建)· 一把 Key · 策略即配置 管理中心 · 门户 / 控制台 AI IdP · 登录桥 · 联邦 agentgateway 数据面(开源复用) 开源复用LLM 网关编程池 · 业务池 开源复用MCP 网关聚合 · 三级授权 复用 + 增强Skill 中心SkillHub · 审核 后置A2A 网关低优先级 预算 · 计量 · 守卫 · 审批 · 审计 · 版本化配置(增强 + 新开发) 能力供给 外部模型厂商 · 自托管模型 存量公司统一 MCP server 复用Skill 技能库(Git)+ SkillHub 存量SaaS 业务 API 数据平台 对账单 · 看板 五种环境 同一 Helm / Compose 模板 内部 1 套生产主集群 · 独立命名空间 外部 SITFAT 集群 外部 PROD生产集群 · 跨可用区 客户云上单开托管 / 自管 客户属地化离线交付包 蓝 = 云砺托管 薄荷 = 客户侧 存量 / 范围外 开源或云服务复用 增强 · 配置 新开发 个人 Key Key / OAuth 凭据 + JWT 公网 OAuth

3选型结论 主选 agentgateway;LiteLLM 条件备选;其余不引入

选型得分 agentgateway 8.76 主选 LiteLLM 8.28 条件备选 Portkey 7.08 不引入 Kong 企业版 6.74 不采购 Higress 6.36 不引入 Kong OSS(存量) 4.68 仅南北向 公司需求口径 · 13 维 · 10 分制 · 全部开源、无许可费用 原报告文档口径 Higress 8.7 > agentgateway 8.5,差距全部来自独立组件 HiMarket 的 Skill 市场

4收益

100%
模型与工具调用带身份、预算与计量;账单按"应用 → 项目 → 客户"与"厂商 → 模型"两条路径可拆,月度对账单自动出
0
厂商 Key 留在应用容器里;轮换不发版;应用出站只到网关
1 把 Key
开发者与业务人员零配置接模型、MCP、Skill;工具按人裁剪,高风险操作走审批
5 → 1
五种环境形态一套模板,客户云上与属地化交付可复制

5主要风险与对冲

  • agentgateway 项目年轻策略 IR 与网关解耦、锁版本、只用扩展点
  • 用户中心无标准换发过渡桥(IdP 代签、短 TTL、全量审计),推动补端点
  • Work 工具模型不经网关以远程 MCP 连接器与 Skill 接入,口径写入验收
  • 性能与热更新未压测试点期真实负载压测;SLO 分两档冻结

6投入与节奏 五阶段 17 周;阶段 3 随首个客户项目

阶段时间线 3 人并行 · 数据平台侧 +4 人周 第 1 周 第 3 周 第 5 周 第 7 周 第 9 周 第 11 周 第 13 周 第 15 周 第 17 周 0 澄清与契约 1 内部试点 · 一把 Key 2 MCP + Skill + 连接器 3 外部 SIT / PROD(随首客户) 4 客户侧形态 契约冻结 · IdP 路线定稿 内部试点上线 MCP 聚合端点 · 首批技能 首客户 PROD · 月度对账单 客户侧模板 · 过渡代理退役 自研 26 人周(区间 23–28):管理中心 5 · 计量对账 4 · 身份适配 3.5 · 策略处理器 2.5 · 多环境打包 2.5 · 迁移 2.5 · Skill 中心 1.5(复用 SkillHub)· 其余 4.5 | 许可费用 0 元

7需要高层决策的事项

  1. 1选型与架构agentgateway 为 AI 策略执行点;Skill 中心复用讯飞开源 SkillHub(网关侧补签名、MCP、市场清单);存量南北向不动;不引入 Higress、Portkey,不采购 Kong 企业版
  2. 2投入与团队平台 3 人 × 12 周,数据平台约 4 人周,用户中心与信息安全各一名对接人
  3. 3内部 1 套落点生产主集群独立命名空间;网关自身变更借用外部 SIT 验证
  4. 4客户侧口径云上单开默认托管模式并用我司账号统一计费;属地化按离线包交付
  5. 5范围口径Work 工具模型调用不经网关;订阅套餐型客户端不纳入;企微 / 钉钉按需