Blog

使用 SFTTrainer 微調多模態大型語言模型筆記（以 LLaVa-1.5 為例）

多模態大型語言模型（Multi-Modal Large Language Model）是一種不侷限於文字的語言模型，我知道這聽起來很衝突，不過這算是目前大家普遍接受的一種稱呼；而我今天想要紀錄的，就是該怎麼使用一個腳本就進行多模態模型的微調。

今年以來，我因為工作的緣故，嘗試了自己跳下來進行資料的標註；這一標註之下，這才切身體會到的了訓練資料對於 AI 模型的影響有多麼徹底。

我第一次聽到向量量化（Vector Quantization, VQ）是在做音訊處理的朋友的口中，因此模糊地得知了向量量化是一種用於資料特徵壓縮和特徵表示的技術；當然那時，我還不清楚這與像是 PCA 等等降維技巧有什麼不同。

batcat 或簡稱 bat，是一個可用來當作 cat 指令的替代工具，它保留了 cat 的文件顯示功能，同時高亮顯示程式碼或設定檔中的關鍵字，讓程式開發人員能夠更方便瀏覽日常任務或程式碼文件（所以百分之百算是生產力工具！）。

Ripgrep (rg) 是一個用來快速搜尋文件內容的命令列工具，其設計目的為取代 grep，並解決 grep 在大量級的文件檢索效率。

man 是傳統的 UNIX/Linux 系統文件工具，但因為其顯示的文件往往十分詳細，對於只想要快速查看指令使用方式的使用者來說可能較為困擾。因此，一個精簡版本的 tldr 指令就因應而生了（too long, didn't read 的縮寫），它專注於提供一個簡短、易於理解的命令文件。

很早之前我就一直在尋找 htop 的美觀替代版了，幾年前某次朋友聚會時我剛好拿出筆電連線解決實驗室 docker 意外 segmentation fault 的問題，那時朋友看到我的 htop，說了一句「好原始哦～工程師好無聊哦～」讓我記恨至今（沒有啦，開玩笑的）。

viddy 是一個類似於 watch 的工具，用於在 Linux 終端機上定期運行一段指令並顯示結果。

深度神經網路訓練、微調的過程中，最重要也最稀缺的資源讓我來說肯定是 GPU 的 VRAM，所以讓每一位元真正發揮它的能力是非常重要的事情。

Linux 好用的工具實在太多了，真的是每個都想紀錄一番呢。為了慶祝 Linux 在 StatCounter 上紀錄的使用比例達到了 4.55%（2024-09-18），我決定再來紀錄一個同事推薦我的 fuck 指令。