1. 请求会经过哪些上游
确认模型路由、区域、供应商切换策略，以及是否会在失败时自动 fallback 到其他模型或渠道。
企业 API 中转选型
API 中转站能不能用于企业生产？先验 SLA、缓存、日志和数据边界。
企业评估 OpenAI-compatible API 中转、多模型网关或聚合 API 时，不能只看“高 SLA”和 token 单价。真正要先确认的是供应商边界、上游路由透明度、缓存/日志策略、兼容接口范围、失败兜底和 POC 通过标准。
先判断：这个场景适不适合用 API 中转
普通中转、共享池、聚合 API 和企业级供应商不是同一类能力。企业可以把中转网关用于非敏感、可重试、可降级的模型调用 POC，但不应该把它当成默认的高敏生产基础设施。
如果业务包含敏感个人信息、客户隐私、涉密资料、监管数据、严格数据驻留要求，或需要政企级审计材料，应优先走正式供应商评审和专门合同，不建议使用普通 API 中转方案。
必须问供应商的 8 个问题
2. 是否缓存 prompt 或响应
明确缓存目的、保留时间、关闭方式、删除方式，以及日志中是否记录完整输入输出。
3. SLA 如何定义
不要只看百分比。要看统计窗口、赔付或补偿规则、排除项、上游故障是否计入，以及历史状态页。
4. OpenAI-compatible 覆盖到哪里
逐项测试 Chat Completions、streaming、tools、JSON schema、Responses API、embedding 和错误码语义。
5. 账单是否可复核
企业需要按项目、key、模型、时间窗口导出用量，能定位异常消耗，并和内部成本中心对应。
6. 密钥和团队权限怎么管
检查 key 级别额度、项目隔离、轮换策略、禁用流程，以及离职或外包协作时的权限收回。
7. 失败时应用怎么兜底
记录 429、5xx、超时、流式中断和结构化输出失败，确认重试、降级、人工复核和告警策略。
8. 能否支持合同/发票/POC 材料
采购前确认企业主体、合同条款、发票类型、服务边界、技术支持响应和验收标准。
一条可执行的企业 POC 路径
- 准备 20-50 条脱敏样本，覆盖真实输入、异常输入、长文本和高频任务。
- 固定模型、prompt、并发和超时设置，连续跑 50-100 次。
- 记录 p50/p95/p99 延迟、失败率、错误类型、重试后成功率和结构化输出合格率。
- 检查用量账单是否能回溯到项目、key、模型和调用时间。
- 用同一批样本对比官方直连、自建代理和第三方网关，确认真实成本与失败处理成本。
- 只在边界、成本和稳定性都可接受后，才把非核心流量逐步切入。
POC 通过不等于可以接所有生产流量。生产前还要确认数据处理协议、上游供应商边界、故障责任和企业采购材料。
Botat 适合和不适合的场景
适合先试
- 非敏感中文内容处理、摘要、分类、改写和批量清洗。
- AI 应用团队评估 DeepSeek、Qwen、Kimi 等中文强模型。
- 代码辅助、内部工具、可重试的异步任务和小流量灰度。
- 需要 OpenAI-style SDK 接入、统一 key、用量记录和排障路径。
不建议使用
- 敏感个人信息、客户隐私、涉密文档或受监管数据。
- 有严格数据驻留、私有化部署或专属审计要求的工作负载。
- 不可重试、不可降级、强实时的核心交易链路。
- 需要供应商承诺完整替代官方 OpenAI 企业合同的场景。
下一步
如果你的团队正在评估 API 中转、多模型 API 网关或 OpenAI-compatible 替代方案，可以先提交一个非敏感 POC。我们会按模型、接口、用量、失败率、账单和采购材料逐项确认，不把不适合的场景包装成可用。