稳定前缀提示
为系统提示、工具 schema 和 response format 生成稳定 cache key，帮助支持该能力的上游复用长前缀。
Caching layer
Prompt Cache 与响应缓存
很多 AI 应用会反复发送相同系统提示、工具定义和固定上下文。Botat 帮助这些稳定前缀更容易被复用，并缓存可复用结果。
核心能力
精确响应缓存
对确定性请求按租户隔离缓存结果，重复请求可以快速返回，降低延迟和上游调用量。
可配置的缓存边界
支持缓存 TTL、最大条目、租户隔离和绕过缓存，让生产环境可以按风险选择策略。
相关服务页
常见问题
流式请求会写入响应缓存吗？
不会。流式请求仍会应用请求侧优化，但不会写入精确响应缓存，以避免缓存不完整或不可复用的结果。