在過去的一週裡，我抽空按照論文 Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding 的思路嘗試復現了一遍自推測性解碼（Self-Speculative Decoding），包含以下模組：
最近建立了許多 Chatbot 的後台 API Server，一開始我是接收到使用者的訊息後回傳，將 LLM 的生成回覆一口氣顯示在前端界面，但這樣使用者體驗並不好；之後改成了 HTTP 串流，每生成一個 Token 就回傳前端界面，但後來發現在部份使用者的裝置上會發生黏包，所以最後改成了使用 WebSocket。
Read More »[Python] FastAPI 使用 Server-Sent Events (SSE) 進行串流回覆
在大家透過 LLM 架設各種服務時，是否會煩惱 LLM 經常生成一些不受控制的言論？最近我的工作正在專案收尾的緊要關頭，我使用了 Outlines 等工具用以約束 LLM 解碼，確實能控制模型生成符合我想項中的模式 —— 但我同事突然對我發出靈魂一問：那我想要它不生成某些詞彙該怎麼辦？
Read More »使用有限狀態機（FSM）和回滾（Rollback）機制控制 LLM 禁止生成禁止詞彙（Banned-Words）
Locust 是一個開源的壓力測試工具，它能幫助我們模擬大量使用者對 Web 應用、API 服務進行負載測試；與傳統的壓力測試工具相比，Locust 具有可客製化、可擴展的優勢 —— 簡單來說，它支持 Python 作為腳本語言，根據我們 API 或網頁服務的不同應用場景來寫測試。
Read More »[Python] 使用 Locust 開源壓力測試框架進行壓力測試
多模態大型語言模型（Multi-Modal Large Language Model）是一種不侷限於文字的語言模型，我知道這聽起來很衝突，不過這算是目前大家普遍接受的一種稱呼；而我今天想要紀錄的，就是該怎麼使用一個腳本就進行多模態模型的微調。
Read More »使用 SFTTrainer 微調多模態大型語言模型筆記（以 LLaVa-1.5 為例）
我第一次聽到向量量化（Vector Quantization, VQ）是在做音訊處理的朋友的口中，因此模糊地得知了向量量化是一種用於資料特徵壓縮和特徵表示的技術；當然那時，我還不清楚這與像是 PCA 等等降維技巧有什麼不同。
Read More »[Machine Learning] 向量量化（Vector Quantization, VQ）筆記
Python 中的上下文管理器裝飾器 @contextmanager 是 contextlib 模組中的一個裝飾器，可以讓開發人員簡便地創造屬於我們的上下文管理器（Context Manager）。
最近把不少 Outlines 的應用整合進了我當前工作流程中，其中我最常與 vLLM 一起使用的，不過其說明文件不知為何在 vLLM GitHub 上一直沒被 merge，所以我在設計流程時不得不一直拿一個被 rejected 的 PR 原始碼在看說明 XD
Read More »vLLM 加速推理框架中使用整合之 Outlines 工具進行解碼約束 本篇為一簡單 Python 實作，用於測試有限狀態機（Finite-State Machine）約束大型語言模型（Large Language Model）解碼出特定格式的回答，也權當作是理解 Outlines 工具的理念。當然，我實作的部份跟 Outlines 工具相比，實在顯得太過簡易。
Read More »使用有限狀態機約束大型語言模型解碼之實作 difflib 是 Python 標準函式庫中的一個模組，用於比較序列之間的差異（通常為文字）。早些年我在做碩論時還自己實現，直到現在工作了才發現有這麼簡潔的函式庫，煞是哭笑不得。
