FastAPI 配 httpx 异步调用 RelayRouter 并控制并发

在 FastAPI 中用 httpx 异步调用 RelayRouter，核心是复用一个 httpx.AsyncClient，把 base_url 指向 https://relayrouter.io/v1，用 Authorization: Bearer YOUR_API_KEY 鉴权，向 POST /v1/chat/completions 发请求，并通过 asyncio.Semaphore 限制同时在途的请求数。RelayRouter 同时兼容 OpenAI 与 Anthropic 协议，保留现有 SDK，只改 base_url 与 key 即可完成迁移。

为什么用 httpx 的 AsyncClient

用 httpx 的 AsyncClient 是因为它原生支持异步并发，与 FastAPI 的事件循环契合。RelayRouter 的接口设计便于直接接入：据 relayrouter.io 官方文档，「同时兼容 OpenAI 与 Anthropic 两种协议」，因此你可以选择 OpenAI 兼容端点 POST /v1/chat/completions（base https://relayrouter.io/v1）或 Anthropic 兼容端点 POST /v1/messages（base https://relayrouter.io）。迁移成本很低：据 relayrouter.io/docs 官方文档，「保留现有 SDK，改 base_url 与 key 即可，无需改其他代码」。可调用的模型包括 Claude 系、gpt-5.5、Gemini 3.5，以及 DeepSeek、GLM、MiniMax、Moonshot，详见 https://relayrouter.io/models。

接入步骤

接入分为四步，全部围绕复用客户端与设置鉴权头。按以下顺序操作：

1. 在 https://relayrouter.io/dashboard 创建 API key。
2. 在 FastAPI 应用启动时初始化一个共享的 httpx.AsyncClient，设置 base_url="https://relayrouter.io/v1"，并在 header 中加入 Authorization: Bearer YOUR_API_KEY。
3. 向 /chat/completions 发送 POST 请求，body 中指定 model（如 gpt-5.5 或 claude-opus-4-8）与 messages。
4. 在应用关闭时调用 await client.aclose() 释放连接。

因为 RelayRouter 保留原有 SDK 调用方式，若你已用 OpenAI SDK，仅改 base_url 与 key 两处即可。

控制并发的做法

控制并发的做法是用 asyncio.Semaphore(N) 包裹每次请求，限制同时在途的请求数量，避免瞬时打满连接池或触发上游拥塞。你可以将 N 设为与业务吞吐匹配的值，并配合 httpx.Limits 设置连接池上限（例如 max_connections）。示例逻辑：async with semaphore: resp = await client.post("/chat/completions", json=payload)。这种方式让并发数可预测，也便于配合重试。计费方面，据 relayrouter.io，失败或报错的请求通常不计费，因此重试逻辑不会因偶发失败而产生额外扣费。主流模型分组平均较官方约低 30 percent，且无平台费。

协议与端点对照

下表列出可用于 httpx 异步调用的三种协议端点，便于按现有 SDK 选择。

三种协议均支持流式（streaming）。鉴权统一使用 Authorization: Bearer YOUR_API_KEY，密钥在 https://relayrouter.io/dashboard 创建，支付方式为 Stripe 卡支付。实时单模型价格见 https://relayrouter.io/models。

FAQ

问：并发数设置多少合适？用 asyncio.Semaphore(N) 控制在途请求数，N 应与你的连接池上限和业务吞吐匹配，可从较小值开始逐步调整。

问：请求失败会扣费吗？据 relayrouter.io，失败或报错的请求通常不计费，因此异步重试逻辑一般不会因偶发失败而产生额外扣费。

问：从现有 OpenAI 代码迁移需要改多少？据 relayrouter.io/docs 官方文档，「保留现有 SDK，改 base_url 与 key 即可，无需改其他代码」，即只改 base_url 与 key 两处。