在 TensorRT-LLM Python Session 上支援 Hydra Speculative Decoding
介紹
之前我閱讀過許多不同的 Speculative Decoding 加速推理技巧，也嘗試使用 PyTorch 實現了幾種不同的架構，包括模型架構、訓練與推理等腳本（fast-llm-inference），這一次當然又是新的目標。
Read More »在 TensorRT-LLM Python Session 上支援 Hydra Speculative DecodingBlog
[論文閱讀] Hydra: Sequentially-Dependent Draft Heads for Medusa Decoding
目前 LLM 的推理時，大部分的時間都卡在需要『逐一生成 Token』的這一環節，這顯示了當前 GPU 記憶體的瓶頸 —— 我們每次讓模型解碼出一個 Token，就必須要讀取整個模型的權重，而實際的浮點數運算量相對較小，導致 GPU 的計算能力未能充分發揮。
Read More »[論文閱讀] Hydra: Sequentially-Dependent Draft Heads for Medusa Decoding
使用 Iterated Distillation and Amplification (IDA) 訓練的 Cogito 的個人解讀
Cogito V1 是最近在 Reddit 上看到的效果很好的模型，同事們也在更早一天推薦了我，抱著體驗一下的心態放到了手邊的 RAG 任務上，效果相當驚豔 —— 最主要的是它在有查詢出相關參考資料時，不太會出現幻覺、並能好好統整多筆資料進行回答；這在我之前測試的模型當中，只有 Gemma-3 能在不經過微調的情況下給我相似的感受。
Read More »使用 Iterated Distillation and Amplification (IDA) 訓練的 Cogito 的個人解讀
[論文閱讀] Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads
最近依然還是在看加速推理的東西，奈何手邊一直在忙工作的事情沒來得及發出來呢；今天要介紹的加速推理架構是稱為 Medusa 的經典多頭解碼模型。
Read More »[論文閱讀] Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads
[論文閱讀] Gemma 3 Technical Report
今天 Gemma 3 開源了，由於工作上一直以來選用 Gemma 2 作為佈署模型，也在改進、微調 Gemma 2 上費了心力，不能免俗地對 Gemma 3 更加專注，也快速瀏覽拜讀了這篇技術報告。
Read More »[論文閱讀] Gemma 3 Technical Report
[論文閱讀] s1: Simple test-time scaling
S1 論文核心內容
Test-Time Scaling 現在是拓展 LLM 性能的一個熱門方案，藉由在模型回答問題前，先經過一番『思考』整理，進而回答出更準確的答案。
Read More »[論文閱讀] s1: Simple test-time scaling
層歸一化（LayerNorm）理論思考筆記
之前有在閱讀模型架構原始碼時，有嘗試寫過 LayerNorm 的實現（[Machine Learning] LayerNorm 層歸一化筆記），但當時的實作也僅只於按照公式復現；最近在複習架構設計時，對於 LayerNorm 有了更深入的思考，故筆記於此。
Read More »層歸一化（LayerNorm）理論思考筆記
LeetCode: 1079. Letter Tile Possibilities 解題紀錄
題目
You have n tiles, where each tile has one letter tiles[i] printed on it.
Return the number of possible non-empty sequences of letters you can make using the letters printed on those tiles.