流式输出
流式输出
在请求体中设置 "stream": true,接口会以 Server-Sent Events 格式边生成边返回,适合聊天界面等需要尽快展示内容的场景。
Chat Completions
每个事件是一行 data: {...},其中 choices[0].delta.content 是新增的文本,最后以 data: [DONE] 结束。
如果需要在流式响应中拿到用量,传入:
最后一个数据块会包含 usage 字段。
Python SDK
其他协议
Anthropic Messages(/v1/messages):同样传 "stream": true,返回 message_start、content_block_delta、message_stop 等事件。 Responses(/v1/responses):传 "stream": true,返回 response.output_text.delta 等事件。 Gemini 原生接口:使用 :streamGenerateContent?alt=sse。
生成时间较长的请求(长文本、推理模型、编程智能体)建议始终开启流式输出,避免中间代理因长时间无数据而断开连接。