一點思考：Transformer 在未來是否會被取代？
今天我在吃飯時看到了一部影片（影片附於文末），影片中不像現在很多衝著 AI 這種新穎技術的科技頻道，一上來就把 AI、經濟、取代人類等等議題一股腦地拋出來；而是仔細地，講解了從以前到現在，硬體的規格如何影響演算法（或者稱 AI 模型架構）。
Read More »一點思考：Transformer 在未來是否會被取代？Clay
KTOTrainer（Kahneman-Tversky Optimization Trainer）筆記
之前一直斷斷續續從網路上、HuggingFace 官方文件等各種地方看到名為 Kahneman-Tversky Optimization（KTO）的 LLM 微調方式（實際上跟 DPO 相似是一種價值觀對齊方式），因為其準備資料的格式比起 DPO 實在太方便了，目前先趕緊嘗試應用在自己手邊的任務上、之後再來抽空閱讀論文中的詳細內容。
Read More »KTOTrainer（Kahneman-Tversky Optimization Trainer）筆記
[Linux] ncdu 磁碟空間使用分析工具筆記
ncdu 是一個基於 NCurses 的磁碟空間使用分析工具，主要用於檢視與管理磁碟空間；它提供了終端機介面來瀏覽目錄結構的方式、以此來快速瀏覽目錄結構，同時能夠顯示每個目錄或檔案的大小，方便使用者找到佔用大量空間的目錄和文件。
[Python] 使用 Locust 開源壓力測試框架進行壓力測試
Locust 是一個開源的壓力測試工具，它能幫助我們模擬大量使用者對 Web 應用、API 服務進行負載測試；與傳統的壓力測試工具相比，Locust 具有可客製化、可擴展的優勢 —— 簡單來說，它支持 Python 作為腳本語言，根據我們 API 或網頁服務的不同應用場景來寫測試。
Read More »[Python] 使用 Locust 開源壓力測試框架進行壓力測試
使用 SFTTrainer 微調多模態大型語言模型筆記（以 LLaVa-1.5 為例）
多模態大型語言模型（Multi-Modal Large Language Model）是一種不侷限於文字的語言模型，我知道這聽起來很衝突，不過這算是目前大家普遍接受的一種稱呼；而我今天想要紀錄的，就是該怎麼使用一個腳本就進行多模態模型的微調。
Read More »使用 SFTTrainer 微調多模態大型語言模型筆記（以 LLaVa-1.5 為例）
『人們所說的常識，只是年少時所學習到的偏見』—— AI 模型的訓練資料也是如此
今年以來，我因為工作的緣故，嘗試了自己跳下來進行資料的標註；這一標註之下，這才切身體會到的了訓練資料對於 AI 模型的影響有多麼徹底。
Read More »『人們所說的常識，只是年少時所學習到的偏見』—— AI 模型的訓練資料也是如此
[Machine Learning] 向量量化（Vector Quantization, VQ）筆記
我第一次聽到向量量化（Vector Quantization, VQ）是在做音訊處理的朋友的口中，因此模糊地得知了向量量化是一種用於資料特徵壓縮和特徵表示的技術；當然那時，我還不清楚這與像是 PCA 等等降維技巧有什麼不同。
Read More »[Machine Learning] 向量量化（Vector Quantization, VQ）筆記
[Linux] 使用 batcat 指令取代 cat，高亮印出程式碼或設定
batcat 或簡稱 bat，是一個可用來當作 cat 指令的替代工具，它保留了 cat 的文件顯示功能，同時高亮顯示程式碼或設定檔中的關鍵字，讓程式開發人員能夠更方便瀏覽日常任務或程式碼文件（所以百分之百算是生產力工具！）。
[Linux] Ripgrep (rg): 超快文件搜尋工具
Ripgrep (rg) 是一個用來快速搜尋文件內容的命令列工具，其設計目的為取代 grep，並解決 grep 在大量級的文件檢索效率。