最近依然還是在看加速推理的東西，奈何手邊一直在忙工作的事情沒來得及發出來呢；今天要介紹的加速推理架構是稱為 Medusa 的經典多頭解碼模型。
Read More »[論文閱讀] Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads
今天 Gemma 3 開源了，由於工作上一直以來選用 Gemma 2 作為佈署模型，也在改進、微調 Gemma 2 上費了心力，不能免俗地對 Gemma 3 更加專注，也快速瀏覽拜讀了這篇技術報告。
Read More »[論文閱讀] Gemma 3 Technical Report
Test-Time Scaling 現在是拓展 LLM 性能的一個熱門方案，藉由在模型回答問題前，先經過一番『思考』整理，進而回答出更準確的答案。
Read More »[論文閱讀] s1: Simple test-time scaling
在自迴歸模型（Auto-regressive Model）解碼時，如果需要解碼 K 個詞元（Tokens），則需要跑 K 次流程，而這正是當前大型語言模型的推理時間瓶頸所在。
Read More »[論文閱讀] Fast Inference from Transformers via Speculative Decoding
Cross-lingual Modular (X-Mod) 是一個有趣的語言模型架構，透過模組化不同語言的參數作為模組單元（Module Unit）組裝在模型中，好讓語言模型在新增全新語言時，可以使用獨立的參數進行微調，而（比較）不會出現災難性遺忘的窘境。
Read More »[論文閱讀] Lifting the Curse of Multilinguality by Pre-training Modular Transformers
這是華為諾亞方舟實驗室所提出加速框架，本質上是把原先投機解碼（speculative decoding）中所使用的小模型由大模型的淺層網路取代，並再由額外訓練的適配器（adapter）加上模型本身的解碼頭去生成推測的 token，再由大模型去進行驗證，並在拒絕推測 token 時由大模型所生成的機率分佈解碼結果取代 —— 這些操作與原先的 speculative decoding 其實沒有太大差別。
Read More »[論文解讀] Kangaroo: Lossless Self-Speculative Decoding via Double Early Exiting
Mistral 7B 是 2023 年 09 月 27 日所提出的大型語言模型（Large Language Model, LLM），由同名的 Mistral AI 團隊訓練而成並將其權重開源釋出。有趣的是，它所採用的授權是相當自由的 Apache 2.0，不像 Llama 2 採用了自己的 Llama 授權條款，所以是真正意義上的『開源』（Llama 授權需要在服務量達到七億時跟 Meta AI 討論授權問題）。
Read More »[論文閱讀] Mistral 7B 技術報告
ColBERT 是一種專為檢索任務設計的 Embedding Model，它會將 Query 和 Documents 的 tokens 逐項轉換出 embedding 並計算最大相似度。
Read More »[論文閱讀] ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
