智慧路由
智慧路由
不想自己挑模型?把 model 設為 auto,零詞元會先評估問題的難度,再從你的 API Key 所在分組可用的模型裡挑一個合適的來回答。簡單問題用便宜的模型,難題用更強的模型,程式碼其餘部分不需要任何改動。
選擇模式
model 填寫下面任意一個路由模式(不區分大小寫):
表中"輕量 / 標準 / 高階 / 推理"是模型檔位。站點管理員可以為每個檔位指定候選模型;沒有指定時,系統會按本站可用模型的價格自動分檔:價格最低的三分之一為輕量檔,中間三分之一為標準檔,最貴的三分之一為高階檔,支援推理的模型組成推理檔。同一檔位內優先選擇價格更低的模型,推理檔優先選擇能力最強的模型。
提示:模式和檔位以本站實際配置為準,可以在模型目錄頂部的"智慧路由"中檢視當前每個檔位包含哪些模型。
如何判斷難度
每個請求都會在轉發前快速評分(不呼叫額外的模型、幾乎不增加延遲),分數在 0 到 1 之間,按閾值分為簡單、中等、困難三檔。主要依據:
長度:最後一條提問和整個上下文越長,分數越高; 程式碼:包含程式碼塊、報錯堆疊、"寫一個函式 / 實現 / 除錯 / 重構"等程式設計任務; 數學:公式、LaTeX,或"證明 / 推導 / 求解"等; 分析與設計:如"分析 / 比較 / 設計 / 方案 / 架構 / 分散式 / 高併發 / 一致性"; 多重要求:提問裡列出了多條編號要求; 請求引數:帶工具(tools)、結構化輸出、很大的 max_tokens; 簡單意圖:問候、簡短翻譯、"什麼是…"這類短問題會降低分數。
如果你在請求裡顯式開啟了推理(OpenAI 的 reasoning_effort 為 medium 及以上、Responses 的 reasoning.effort,或 Anthropic 的 thinking),請求會直接按"困難"處理。
管理員也可以開啟"模型判定":在規則評分拿不準時,額外讓一個小模型判斷難度;判定失敗或超時會自動退回規則評分。
能力匹配
選模型前會先排除不滿足請求能力要求的模型:
請求帶圖片時,只選支援圖片輸入的模型; 請求帶工具時,只選支援工具呼叫的模型; 顯式開啟推理時,優先選支援推理的模型; 上下文很長時,只選上下文視窗放得下的模型(估算輸入超過視窗的 70% 視為放不下)。
如果目標檔位裡沒有合適的模型,會先嚐試更高的檔位,再嘗試更低的檔位。分組內完全沒有可用模型時,請求會返回 400 錯誤。
支援的介面
智慧路由對以下介面生效:
POST /v1/chat/completions(以及 /chat/completions) POST /v1/responses(以及 /responses) POST /v1/messages(Anthropic 格式)
請求體中只能有一個 model 欄位。
檢視實際使用的模型
響應頭會告訴你這次路由的結果:
在控制台的用量記錄裡,這類請求會顯示你請求的路由模式(如 auto),以及實際路由到的模型。
計費
按實際使用的模型價格計費,智慧路由本身不收取任何額外費用。
示例