Skip to content

Python

[Python] FastAPI 使用 Server-Sent Events (SSE) 進行串流回覆

最近建立了許多 Chatbot 的後台 API Server,一開始我是接收到使用者的訊息後回傳,將 LLM 的生成回覆一口氣顯示在前端界面,但這樣使用者體驗並不好;之後改成了 HTTP 串流,每生成一個 Token 就回傳前端界面,但後來發現在部份使用者的裝置上會發生黏包,所以最後改成了使用 WebSocket。

Read More »[Python] FastAPI 使用 Server-Sent Events (SSE) 進行串流回覆

[Python] 使用 Locust 開源壓力測試框架進行壓力測試

Locust 是一個開源的壓力測試工具,它能幫助我們模擬大量使用者對 Web 應用、API 服務進行負載測試;與傳統的壓力測試工具相比,Locust 具有可客製化、可擴展的優勢 —— 簡單來說,它支持 Python 作為腳本語言,根據我們 API 或網頁服務的不同應用場景來寫測試。

Read More »[Python] 使用 Locust 開源壓力測試框架進行壓力測試

[Python] 使用 httpx 取代 requests 進行異步請求

在 Python 的程式開發中,我們經常使用 requests 模組進行 HTTP 請求;然而 requests 在真正串連前後端及不同服務時其同步請求方式可能成為瓶頸,我最近正是因為使用 requests 造成 K8s 的探針阻塞、進而導致所開發的服務容器被誤刪 —— 此時,httpx 可能是一個更適合的異步請求操作模組。

Read More »[Python] 使用 httpx 取代 requests 進行異步請求
Exit mobile version