Papers

[論文閱讀] Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding

Clay
2024-11-142024-11-14
AI, Machine Learning, Papers

本篇論文重點

量化、剪枝、蒸餾同樣可以加速，但得面對與原始模型不同的輸出分佈、重新訓練的開銷等等問題
原先的 Speculative Decoding 面對的問題則為我們需要使用額外的記憶體空間去驅動 draft model（草稿模型），而 Self-Speculative Decoding 僅使用了自身部份神經網路作為 draft model
自適應草稿脫離機制（Adaptive Draft-Exiting Mechanism）可以基於自動調整信心分數閾值來自動調整草稿模型的推測 tokens 數量

[論文閱讀] Fast Inference from Transformers via Speculative Decoding

Clay
2024-11-032024-11-07
AI, Machine Learning, Papers

Abstract - 摘要

在自迴歸模型（Auto-regressive Model）解碼時，如果需要解碼 K 個詞元（Tokens），則需要跑 K 次流程，而這正是當前大型語言模型的推理時間瓶頸所在。

[論文閱讀] ENTP: ENCODER-ONLY NEXT TOKEN PREDICTION

Clay
2024-10-152024-10-16
AI, Machine Learning, Papers

以下是這篇論文的一些重點摘要：

[論文閱讀] Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection

Clay
2023-11-22
Papers

前言

RAG-based LLM 是當前使用大型語言模型（Large Language Model, LLM）的一種知名架構，也就是通過『檢索』，來給模型提供訓練時所沒有的先驗知識，讓模型能夠在得知特定資訊的情況下進行問題的回答。

[論文閱讀] QLoRA: Efficient Finetuning of Quantized LLMs

Clay
2023-09-192023-09-21
Papers

前言

大模型的浪潮自從 2022 年 11 月 ChatGPT 的發布後便一發不可收拾，直到現在開源的大型語言模型（Large Language Model）的量級還在不斷增大，比方說 LLaMA-2-70B、以及 Falcon-180B 等等。

大型語言模型的性能自然是相當優秀的，可是往往需要耗費大量且價格昂貴的 GPU 記憶體，這使得一些邊緣運算裝置根本就不可能讓模型進行推理（inference） —— 更遑論訓練、微調自己的模型了。