Skip to content / 跳到正文

功能

为用量、故障切换和一张可读的账单而做。

同一个兼容 OpenAI 的对话地址，既可以指定模型，也可以使用自动档。路由、预留和结算都在网关上完成。

自动路由

把 model 设为 auto、auto:cheap、auto:balanced 或 auto:best。auto 使用均衡档。网关会判断任务类型，并在支持该请求所需能力的模型里排序，例如视觉、工具或足够的上下文长度。预留按这条短名单里的最高报价计算，结算按实际作答的模型计价。

auto 与 auto:balanced 偏向够用、价格居中的模型。
auto:cheap 在模型仍能完成任务时，偏向更低的标价。
auto:best 偏向该任务上更高的质量分。
响应里的 model 和 x-routed-model 会写出实际作答的模型。

延迟检测与自动切换

每个模型都会记录滚动延迟和首字时间。健康样本足够之后，如果 p95 明显高于它自己的基线，这个模型会被排到名单末尾。非流式的 auto 请求若在对冲窗口内没有收到首字，会启动下一个模型。先完成的正文被返回，另一路取消，只对送达的模型扣费。

指定模型名时，可重试的错误会先重试，再沿该模型的后备列表继续。
已经产出 Token 的流式响应会留在当前模型上。
如果全部模型都失败，预留会被释放。

节省 Token 的控制项

这些控制项在组织打开之前不会生效。节省页面上的金额，是网关没有扣下的费用。和基线模型的对比会标明为估算。

供应商报告的提示缓存 Token，按低于完整输入价计费。
精确或语义响应缓存可以重放已保存的补全，且不再扣费。
上下文裁剪和提示词压缩会在调用前缩短提示。
批量优先级可以使用组织的批量折扣。下调 max tokens 只显示为未预留的 Token，不计入省下的金额。

企业智能体流程

成员可以定义最多 30 步的流程：调用智能体、条件分支、并行分支，或人工审批。审批会把运行停住，直到有人同意或拒绝。模板包括客服分拣、文档摘要和数据抽取。每一步模型调用使用与对话相同的路由和计费。

角色有所有者、管理员、成员和只读。
团队预算是额外上限。费用仍从成员的钱包扣除。
可以用 HMAC 登录钩子把用户加入组织。它不是 OIDC 登录。

节省与性能看板

登录后的控制台显示余额、冻结金额和可用金额，以及按日、按密钥汇总的用量。节省页面显示该账户已经测到的金额，并可以导出当月 CSV。组织所有者还可以下载 PDF。全站节省和可用性在有数据之前保持空白。

路由节省拿实际标价和估算基线做比较。
公开价格页上的 ROI 计算器使用同一组测得的平均值。