Blog

[論文閱讀] QLoRA: Efficient Finetuning of Quantized LLMs

大模型的浪潮自從 2022 年 11 月 ChatGPT 的發布後便一發不可收拾，直到現在開源的大型語言模型（Large Language Model）的量級還在不斷增大，比方說 LLaMA-2-70B、以及 Falcon-180B 等等。

大型語言模型的性能自然是相當優秀的，可是往往需要耗費大量且價格昂貴的 GPU 記憶體，這使得一些邊緣運算裝置根本就不可能讓模型進行推理（inference） —— 更遑論訓練、微調自己的模型了。

Mojo 是一名比較新的語言，是由 LLVM 之父和 Swift 之父 Chris Lattner 所開發。

之所以開發 Mojo，據稱是為了填補『研究』與『生產』的鴻溝，所以 Mojo 擁有 Python 般簡易的語法以及 C 的執行速度。當然，最主要的可能還是對於 AI 的優化 —— 現在 AI 的市場已經值得一門全新的程式語言了。

最近在因緣際會下，有了簡單改一些模型架構的機會，於是便趁這個機會好好地摸索了下 PyTorch 中模型神經網路層的遍歷打印方式。

本篇研究工作的作者是鼎鼎大名的深度學習之父 Geoffrey Hinton，最初撰寫本篇論文時仍是 Google Brain 的研究員（於 2023 年離開）。

最近在處理一些工作上的事情時，發現客戶可能有潛在性的『需要從 PPT 中抽取文字』的需求 —— 我詢問過 PM 和主管，他們表示讓客戶自己手動複製 PPT 簡報中的文字出來就好。除非客戶有想到，然後對我們提出使用程式抽取出來的要求。

我們經常會在機器學習中聽到『KL 散度』（Kullback Libler Divergence）這個詞，而 KL 散度其實就是評估兩個機率分佈 P 和 Q 之間『差異性』的一個評估值。

在 FastAPI 官方文件中，有一段關於『自動生成交互式文件』的說明：

Robust: Get production-ready code. With automatic interactive documentation.

yield 是 Python 中的一個關鍵字，它的使用場景與 return 很像，不過使用 yield 會把函式變成一個生成器（generator）。

Podman 是一個專用來管理容器（container）和鏡像（image）的開源工具，全名為 Pod Manager tool (podman)。Podman 是一個與 docker 相似的工具，但是設計上有一些小區別。