反代把大模型 API 的 SSE 流式响应缓冲了:五个缓冲点与三层排查法

自建大模型 API 中转后最常见的故障是:后端明明是流式的,经过反向代理就变成一次性返回——客户端等十几秒没有任何输出,然后整段文字一次吐完。首字节延迟几乎等于整个生成时长,流式的意义全部丧失。 ...

2026年9月3日 · 5 分钟 · 2400 字 · Ambertu