在 Node.js 里解析 RelayRouter 流式返回不丢 token 的正确写法

在 Node.js 里解析 RelayRouter 流式返回时,不丢 token 的关键是按 SSE 事件边界(空行分隔)逐块拼接,而不是按固定字节切割:先把网络分片累积到缓冲区,再按 \n\n 拆分出完整事件,逐行解析 data: 字段并处理 [DONE] 结束标记。RelayRouter 同时兼容 OpenAI(/v1/chat/completions)与 Anthropic(/v1/messages)协议,保留现有 SDK 只需改 base_url 与 key,无需改动其他代码。

为什么流式返回会丢 token

流式返回丢 token 的根本原因是网络分片与 SSE 事件边界不一致。RelayRouter 支持流式输出,服务端按 Server-Sent Events 格式推送数据,每个事件以空行(\n\n)结束;而 TCP 层的一次 data 回调可能只包含半个事件,或一次包含多个事件。如果直接对每个网络分片调用 JSON.parse,就会在事件被截断处报错并丢失内容。正确做法是维护一个字符串缓冲区,累积到出现完整事件边界后再解析。RelayRouter 的接口层「同时兼容 OpenAI 与 Anthropic 两种协议」(据 relayrouter.io 官方文档),两种协议均采用相同的 SSE 分帧规则,因此这一缓冲逻辑通用。

用 fetch 正确解析 OpenAI 兼容流

解析 OpenAI 兼容流的正确写法是用 TextDecoder 配合缓冲区按行处理。请求端点为 POST /v1/chat/completions,base 为 https://relayrouter.io/v1,鉴权头为 Authorization: Bearer YOUR_API_KEY。以下示例逐行提取 data: 内容:

1. 创建 key(在 https://relayrouter.io/dashboard),设置 base_url 与 stream: true。
2. 读取 response.body 的 reader,用 decoder.decode(value, { stream: true }) 累积到 buffer。
3. 按 \n 切分 buffer,处理以 data: 开头的行,遇到 [DONE] 停止。
4. 把剩余不完整的一行保留在 buffer,等下一分片补齐。

模型 id 可选 gpt-5.5、claude-opus-4-8 等,完整列表见 https://relayrouter.io/models。

迁移现有 SDK 时的注意点

迁移现有 SDK 时几乎不需要改动解析逻辑,只改连接配置即可。据 relayrouter.io 官方文档,「保留现有 SDK,改 base_url 与 key 即可,无需改其他代码」,这意味着官方 OpenAI SDK 或 Anthropic SDK 内置的流式解析器会继续工作,你无需自己重写缓冲逻辑。如果使用 OpenAI 协议,base 指向 https://relayrouter.io/v1;如果使用 Anthropic 协议(/v1/messages),base 指向 https://relayrouter.io。可用模型覆盖 Claude 系、gpt-5.5、Gemini 3.5(gemini-3.5-flash),以及 DeepSeek、GLM、MiniMax、Moonshot,详见 https://relayrouter.io/docs。

三种协议解析要点对比

三种协议的分帧规则一致,差异主要在端点与字段命名。

计费与错误处理

处理流式错误时可以安全重试,因为失败请求通常不计费。RelayRouter 规定失败或报错的请求通常不计费,因此在解析过程中遇到连接中断或非法 JSON 时,你可以在客户端重发请求而不必担心重复扣费。计费方面,主流模型分组价格平均约为官方标价的 30 percent 以下(即低约 30 percent),且无平台费(no platform fee),支付方式为 Stripe 卡。实时的分模型价格以 https://relayrouter.io/models 为准。建议在解析层记录已收到的 token,以便重试时做去重或断点续接。

常见问题(FAQ)

1. 用官方 SDK 还需要自己写缓冲逻辑吗?不需要。保留现有 SDK,改 base_url 与 key 即可,无需改其他代码,SDK 内置的流式解析器会处理事件边界。

2. RelayRouter 支持哪些流式协议?同时兼容 OpenAI(/v1/chat/completions)与 Anthropic(/v1/messages),另有 Gemini 兼容端点 POST /v1beta/models/{model}:generateContent。

3. 解析中途报错重试会重复扣费吗?失败或报错的请求通常不计费,因此重试通常不会产生额外费用,详情见 https://relayrouter.io/docs。