1. 页面概览

LLM 网关页(路由 /admin/llm-gateway)是 AIP 管理后台面向管理员的大模型网关控制台,把平台 LLM 网关的运行态与配置态集中在一页:Provider 状态只读总览(可用性/模型/成本/熔断/健康)、LLM 路由规则与预算限额管理(成本管控)、Provider 持久化配置更新(API Key 加密写入)、用量统计面板(summary 指标 + 最近调用记录)以及网关试调。所有请求走 aipClient/aip-api/v1 → AIP 18080)。

一句话总结:本页是 LLM 网关的「状态台 + 配置台 + 试调台」,管理员在此查看 Provider 健康、调整路由与预算、维护密钥并实时验证调用。

2. 访问入口

3. 界面布局

+--------------------------------------------------------------+
| LLM 网关                                  [刷新]               |
| Provider 状态:名称|类型|可用|模型|成本(每1k)|熔断|健康           |
| LLM 路由规则(成本管控):预算开关/用户限额/应用限额 [刷新路由]     |
|   表格:ID|任务类型|模型别名|候选Provider|降级链|限额(分)|启用|编辑 |
| Provider 配置更新(API Key 加密写入):ID*/名称/服务地址/默认模型/ |
|   每千token成本/权重/API Key/优先级/说明+启用开关                |
|    [保存 Provider] [清空]                                     |
| 用量概览:指标卡 + 最近调用记录表                                |
| 网关试调:任务类型+消息 [发送试调][清空结果] → 结果+usage          |
+--------------------------------------------------------------+

各板块职责:

4. 交互元素

控件位置含义与作用
刷新页面头部并行刷新 providers / routes / usage,加载中禁用
编辑路由表格操作列打开「编辑路由 #ID」弹窗:预算限额(分,0=不限)、启用开关、候选 Provider(provider_order)、降级链(fallback_order)、说明;保存 PUT /llm/routes/:id 并热同步
保存 ProviderProvider 表单校验 Provider ID 后 PUT /llm/providers/:id,成功后刷新状态表
清空Provider 表单重置表单为初始空值
发送试调网关试调卡片POST /llm/chat,结果展示 Provider/模型/延迟/成本/降级 + 返回内容 + usage

次要控件:预算 chip、试调「清空结果」、alert「关闭」、is_active 开关;任务类型下拉为 chat/nlq/generate_sql/summarize/esg_report/deep_report。

5. 后端关联

5.1 端点表

方法路径用途
GET/llm/providersProvider 运行态(name/kind/available/model/cost_per_1k/circuit_state/health),登录组
GET/llm/usage?limit=100用量 summary + 最近 records,登录组
POST/llm/chat网关试调,登录组
GET/llm/routes路由列表 + 预算(enabled/user_limit_cents/app_limit_cents),admin 组
PUT/llm/routes/:id部分更新路由,保存后热同步,admin 组
PUT/llm/providers/:id更新 Provider 配置,api_key 加密存储,admin 组

5.2 关键机制

6. 权限与安全

7. 常见问题与排错

8. 已知缺陷与边界

说明
Provider 状态只读状态表为运行时只读,修改需走下方「Provider 配置更新」表单
路由不可增删页面仅支持编辑路由,新建/删除未在 UI 暴露
密钥不回显编辑 Provider 时 API Key 留空表示不修改,无法查看已有密钥
用量口径依赖后端summary 指标按后端 recorder 口径聚合,历史窗口与保留策略由后端决定