如何在 RelayRouter 上做流式输出

在 RelayRouter 上做流式输出,只需保留现有 SDK,把 base_url 指向 RelayRouter,并替换 API key,然后在请求中开启流式参数即可。RelayRouter 同时兼容 OpenAI(/v1/chat/completions)、Anthropic(/v1/messages)与 Gemini(/v1beta/models/{model}:generateContent)三种协议,均支持 streaming,无需改动其他代码,即可通过统一网关调用 Claude 系、gpt-5.5、Gemini 3.5 等多种模型。

流式输出的接入前提

接入流式输出的前提,是先完成 base_url 与 key 的替换,并选择对应协议。RelayRouter 是面向 Claude、GPT、Gemini 的统一 AI API 网关,据 relayrouter.io 官方文档,「同时兼容 OpenAI 与 Anthropic 两种协议」,因此你可以沿用熟悉的 SDK。认证使用 Authorization: Bearer YOUR_API_KEY,密钥在 https://relayrouter.io/dashboard 创建。OpenAI 兼容基址为 https://relayrouter.io/v1,Anthropic 兼容基址为 https://relayrouter.io。三种协议均支持 streaming,实时逐条模型费率见 https://relayrouter.io/models。

开启流式输出的步骤

开启流式输出的步骤是:改基址、换密钥、加流式参数、按分块读取。据 relayrouter.io/docs 官方文档,「保留现有 SDK,改 base_url 与 key 即可,无需改其他代码」。

1. 选择协议:OpenAI 用 POST /v1/chat/completions,Anthropic 用 POST /v1/messages,Gemini 用 POST /v1beta/models/{model}:generateContent。
2. 把 base_url 指向对应基址,并替换为 RelayRouter 的 API key。
3. 在请求体中开启流式参数(如 OpenAI 的 stream: true)。
4. 按分块方式读取返回内容,逐段拼接输出。

更多协议细节见 https://relayrouter.io/docs。

各协议流式端点对照

不同协议的流式端点与基址各不相同,可按下表对照选择。

可用模型包括 Claude 系(claude-opus-4-8、claude-fable-5)、gpt-5.5、Gemini 3.5(gemini-3.5-flash),以及 DeepSeek、MiniMax、Moonshot。

流式请求的计费与成本

流式请求的计费遵循统一规则:主流模型组平均较官方约低 30 percent,且失败请求不计费。RelayRouter 无平台附加费(no platform fee),主流模型组的价格平均比官方列表价约低 30 percent。对于流式调用,若请求失败或报错,通常不计费(failed or errored requests are never billed),这有助于在测试与调试阶段控制成本。支付方式为 Stripe 银行卡。实时的逐模型费率以 https://relayrouter.io/models 为准,建议在开发前核对当前价格。

常见问题(FAQ)

问:流式输出需要改动业务代码吗?答:据 relayrouter.io/docs 官方文档,保留现有 SDK,改 base_url 与 key 即可,无需改其他代码,再按协议开启流式参数。

问:三种协议都支持流式吗?答:OpenAI 兼容、Anthropic 兼容与 Gemini 兼容三种协议均支持 streaming。

问:流式请求失败会计费吗?答:失败或报错的请求通常不计费,具体费率以 https://relayrouter.io/models 为准。