大模型 API 中转站怎么选：直连、自建、用现成的，三条路的真实成本
利益披露：本文最后介绍的中转站是我自己在运营的。前面三分之二的取舍分析对任何人都成立， 你完全可以看完分析之后选择另外两条路——那也是这篇文章想说清楚的事。 ...
大模型API
大模型 API 中转的超时与重试：一次 504 可能让你双倍计费
nginx 的 proxy_read_timeout 默认是 60 秒，而长上下文或推理模型的单次生成经常超过这个数。超时之后 nginx 返回 504，看起来只是"一次失败"——但真实后果比这严重：上游很可能已经把生成做完并计了费，而客户端 SDK 收到 504 会自动重试，于是上游又生成一次、又计一次费。 ...
反代把大模型 API 的 SSE 流式响应缓冲了：五个缓冲点与三层排查法
自建大模型 API 中转后最常见的故障是：后端明明是流式的，经过反向代理就变成一次性返回——客户端等十几秒没有任何输出，然后整段文字一次吐完。首字节延迟几乎等于整个生成时长，流式的意义全部丧失。 ...