路由 Router
一个密钥，调用多家模型
接三四家模型，就有三四套密钥、三四张账单；哪一家抖一下，线上就报错。路由把这些收成一个入口：统一接口、自动切换、统一计量。四项能力都在规划中，尚未对外提供；下面的模拟器现在就能玩。
动手试
路由模拟器
四个虚构上游，价格、延迟、可用率都能改。切策略、关掉某个上游，看分流、成本与成功率怎么变。
模拟 1000 次请求 · 固定随机种子 · 不发网络请求
| 上游（虚构） | 单价（元/百万词元） | 延迟（毫秒） | 正常 | 分到的流量 |
|---|
调用方看到的成功率
平均单价（元/百万词元）
平均延迟（毫秒）
因超时自动换上游的次数
模拟规则：每次请求按当前策略给四个上游排序，从第一名开始尝试；该上游按其可用率随机成功或超时，超时等 800 毫秒后换下一个；手动关掉的上游视为已熔断，直接跳过，不计入换上游次数。成功时的延迟在标称值的 0.8 到 1.2 倍之间随机。均衡策略的打分是 单价÷2 ＋ 延迟÷500，分低者优先。
能力清单
路由线的四项能力
| 能力 | 做什么 | 状态 |
|---|---|---|
| 统一接口 | 兼容主流对话接口写法，换模型只改一个名字。 | 规划中 |
| 路由策略 | 按价格、延迟或均衡自动选上游；可指定首选与兜底顺序。 | 规划中 |
| 故障转移 | 上游超时或报错时自动切到下一个，调用方只看到一次成功的返回。 | 规划中 |
| 计量与账单 | 逐次调用的用量、耗时与实际上游可查；按项目出账，支持对公结算。 | 规划中 |
路由只转发，不改写
请求原样送到上游，返回原样交回。返回里写明实际走了哪个上游，方便你自己核对。
账单逐次可查
每次调用的词元数、耗时、上游与单价都留一条记录，按项目汇总出账。
默认不留正文
设计原则是只留计量字段，不留请求与返回的正文。正式条款以内测时的服务协议为准。
网关 Gateway
数据不能出内网的单位，用私有化网关
网关装在单位自己的机房里。员工与业务系统只连网关，网关再按策略连内网模型或经批准的外部模型。密钥不下发到个人，日志留在单位自己的机器上。
| 能力 | 做什么 | 状态 |
|---|---|---|
| 私有化网关 | 网关装在单位内网，统一出口、统一审计，密钥不下发到个人。 | 规划中 |
| 审计与配额 | 谁在什么时候用哪个模型问了什么类别的问题，按部门设额度与敏感词策略。 | 规划中 |
示意图。实际拓扑按单位的网络与合规要求确定。