提示缓存

很多模型支持缓存重复的提示前缀（例如很长的系统提示、文档或工具定义）。命中缓存的部分按更低的“缓存读取”价格计费，响应也更快。

各厂商的方式

Chat Completions：usage.prompt_tokens_details.cached_tokens Anthropic Messages：usage.cache_read_input_tokens 和 usage.cache_creation_input_tokens

缓存写入和缓存读取的价格可以在模型目录的模型详情里查看；控制台的用量记录也会分别列出缓存 token。

把不变的内容（系统提示、工具定义、参考资料）放在前面，把每次变化的内容放在最后，更容易命中缓存。