提示快取

很多模型支援快取重複的提示字首（例如很長的系統提示、文件或工具定義）。命中快取的部分按更低的“快取讀取”價格計費，響應也更快。

各廠商的方式

Chat Completions：usage.prompt_tokens_details.cached_tokens Anthropic Messages：usage.cache_read_input_tokens 和 usage.cache_creation_input_tokens

快取寫入和快取讀取的價格可以在模型目錄的模型詳情裡檢視；控制台的用量記錄也會分別列出快取 token。

把不變的內容（系統提示、工具定義、參考資料）放在前面，把每次變化的內容放在最後，更容易命中快取。