Skip to content

31 10 月, 2024

[Python] FastAPI 使用 Server-Sent Events (SSE) 進行串流回覆

Last Updated on 2024-10-31 by Clay

最近建立了許多 Chatbot 的後台 API Server,一開始我是接收到使用者的訊息後回傳,將 LLM 的生成回覆一口氣顯示在前端界面,但這樣使用者體驗並不好;之後改成了 HTTP 串流,每生成一個 Token 就回傳前端界面,但後來發現在部份使用者的裝置上會發生黏包,所以最後改成了使用 WebSocket。

Read More »[Python] FastAPI 使用 Server-Sent Events (SSE) 進行串流回覆