Blog

[論文閱讀] ENTP: ENCODER-ONLY NEXT TOKEN PREDICTION

以下是這篇論文的一些重點摘要：

ncdu 是一個基於 NCurses 的磁碟空間使用分析工具，主要用於檢視與管理磁碟空間；它提供了終端機介面來瀏覽目錄結構的方式、以此來快速瀏覽目錄結構，同時能夠顯示每個目錄或檔案的大小，方便使用者找到佔用大量空間的目錄和文件。

Locust 是一個開源的壓力測試工具，它能幫助我們模擬大量使用者對 Web 應用、API 服務進行負載測試；與傳統的壓力測試工具相比，Locust 具有可客製化、可擴展的優勢 —— 簡單來說，它支持 Python 作為腳本語言，根據我們 API 或網頁服務的不同應用場景來寫測試。

多模態大型語言模型（Multi-Modal Large Language Model）是一種不侷限於文字的語言模型，我知道這聽起來很衝突，不過這算是目前大家普遍接受的一種稱呼；而我今天想要紀錄的，就是該怎麼使用一個腳本就進行多模態模型的微調。

今年以來，我因為工作的緣故，嘗試了自己跳下來進行資料的標註；這一標註之下，這才切身體會到的了訓練資料對於 AI 模型的影響有多麼徹底。

我第一次聽到向量量化（Vector Quantization, VQ）是在做音訊處理的朋友的口中，因此模糊地得知了向量量化是一種用於資料特徵壓縮和特徵表示的技術；當然那時，我還不清楚這與像是 PCA 等等降維技巧有什麼不同。

batcat 或簡稱 bat，是一個可用來當作 cat 指令的替代工具，它保留了 cat 的文件顯示功能，同時高亮顯示程式碼或設定檔中的關鍵字，讓程式開發人員能夠更方便瀏覽日常任務或程式碼文件（所以百分之百算是生產力工具！）。

Ripgrep (rg) 是一個用來快速搜尋文件內容的命令列工具，其設計目的為取代 grep，並解決 grep 在大量級的文件檢索效率。

man 是傳統的 UNIX/Linux 系統文件工具，但因為其顯示的文件往往十分詳細，對於只想要快速查看指令使用方式的使用者來說可能較為困擾。因此，一個精簡版本的 tldr 指令就因應而生了（too long, didn't read 的縮寫），它專注於提供一個簡短、易於理解的命令文件。

很早之前我就一直在尋找 htop 的美觀替代版了，幾年前某次朋友聚會時我剛好拿出筆電連線解決實驗室 docker 意外 segmentation fault 的問題，那時朋友看到我的 htop，說了一句「好原始哦～工程師好無聊哦～」讓我記恨至今（沒有啦，開玩笑的）。