在 Node.js 里解析 RelayRouter 流式返回不丢 token 的正确写法

在 Node.js 里解析 RelayRouter 的流式返回,关键是按 SSE(Server-Sent Events)逐块读取,并用缓冲区拼接不完整的数据行,避免在网络分块边界处丢失 token。RelayRouter 同时兼容 OpenAI(/v1/chat/completions)与 Anthropic(/v1/messages),两种协议均支持流式返回。你可保留现有 SDK,只改 base_url 与 key,即可用熟悉的方式接收增量内容。

为什么会丢 token

丢 token 的根本原因是把网络分块当作了完整的事件行来解析。SSE 数据以 data: 开头、以空行分隔,但底层 TCP 分块并不保证每次 chunk 恰好包含一条完整消息,一行 JSON 可能被拆到两个 chunk 中。正确做法是维护一个字符串缓冲区,先把新到达的 chunk 追加进去,再按换行切分,保留最后一段可能不完整的内容留待下次拼接。据 relayrouter.io 官方文档,「同时兼容 OpenAI 与 Anthropic 两种协议」,因此无论走 /v1/chat/completions 还是 /v1/messages,缓冲拼接的思路一致,只是事件字段名不同。

OpenAI 兼容协议的解析步骤

使用 OpenAI 兼容协议时,按以下 4 步逐块解析即可不丢 token。

1. 向 POST /v1/chat/completions 发起请求,请求头带 Authorization: Bearer YOUR_API_KEY,并在请求体设置 stream: true。
2. 监听响应流的 data 事件,把每个 chunk 追加到字符串缓冲区。
3. 按 \n 切分缓冲区,遍历以 data: 开头的行,遇到 [DONE] 结束。
4. 对每行 JSON.parse 后读取 choices[0].delta.content 拼接输出,末尾不完整的行保留回缓冲区。

迁移成本很低:据 relayrouter.io/docs 官方文档,「保留现有 SDK,改 base_url 与 key 即可,无需改其他代码」。base URL 指向 https://relayrouter.io/v1,现有 OpenAI SDK 的流式接口可直接复用。

两种协议字段对照

OpenAI 与 Anthropic 协议的流式增量字段不同,解析时需按下表取值。

两种协议均可承载 Claude 系、GPT-5.5、Gemini 3.5,以及 DeepSeek、GLM、MiniMax、Moonshot 等模型,具体可参考 relayrouter.io/models。

成本与错误处理

流式解析中若请求失败,通常不必担心被计费。据 relayrouter.io,失败或报错的请求通常不计费,因此在缓冲拼接过程中遇到网络中断或 JSON 解析异常时,可安全地重试请求。主流模型分组价格平均约低于官方标价 30 percent,便于在长文本流式场景下控制成本。实现重试时,建议在缓冲区尚未收到结束标志([DONE] 或 message_stop)时判定为不完整响应,清空已拼接内容后重新发起请求,避免把半截输出误当作完整结果。更多迁移细节见 relayrouter.io/docs。

常见问题(FAQ)

问:流式返回一定要用官方 SDK 吗?

不需要。你可保留现有 SDK,只改 base_url 与 key;也可用原生 fetch 或 http 模块自行读取 SSE 流,按缓冲区拼接逻辑解析。

问:同一套代码能否切换 OpenAI 与 Anthropic 协议?

可以,但增量字段不同:OpenAI 取 choices[0].delta.content,Anthropic 取 delta.text,需按目标协议的 endpoint(/v1/chat/completions 或 /v1/messages)分别处理。

问:解析中途报错会被计费吗?

据 relayrouter.io,失败或报错的请求通常不计费,可放心加入重试逻辑。