[已解決][Linux] /bin/bash: warning: shell level (1000) too high, resetting to 1
問題描述
/bin/bash: warning: shell level (1000) too high, resetting to 1Blog
LLM 微調筆記 - SFT 和 DPO 的差異
介紹
在大型語言模型（Large Language Model, LLM）的微調任務中，監督式微調（Supervised Fine-tuning, SFT）、基於人類反饋強化學習（Reinforcement Learning from Human Feedback, RLHF）和直接偏好優化（DPO）... 等等都是不錯的方法，不過他們之間存在一些差異。
Read More »LLM 微調筆記 - SFT 和 DPO 的差異
Direct Preference Optimization (DPO) 訓練方法筆記
介紹
DPO（Direct Preference Optimization, 直接偏好優化）是一種取代 RLHF（Reinforcement Learning from Human Feedback, 基於人類反饋的強化學習）的微調方式。眾所皆知，大型語言模型在經過非監督式學習後能夠學習到大量的知識與理解能力（有些研究者認為是『壓縮並保存』了知識在神經網路權重中）；在監督式學習後學會了流暢地回應我們的問題，或者說是學會了『對話』的能力。
Read More »Direct Preference Optimization (DPO) 訓練方法筆記
[已解決] fatal error: portaudio.h: No such file or directory 9 | #include "portaudio.h" | ^~~~~~~~~~~~~ compilation terminated
問題描述
今天當我在一台新的 Linux 筆電上想要安裝 pyaudio（Python 中經常用於錄音的套件）時，我遇到了之前沒有遇過的錯誤：
Read More »[已解決] fatal error: portaudio.h: No such file or directory 9 | #include "portaudio.h" | ^~~~~~~~~~~~~ compilation terminated[Python] IPython 互動界面中換行的方法簡記
前言
IPython 是一個提供互動式運算的系統，可以在各種 shell 跟視覺化界面整合在一起；比方說我們可以透過終端機使用 ipython（前題是這個模組有裝）、或是使用如 VS Code 和 PyCharm 這類的圖形化界面編輯器/IDE。
[GitHub] 發 Pull Request (PR) 的流程筆記
介紹
在 GitHub 上發 Pull Request (PR) 給開源項目是一件美好卻又重要的事情。簡單來說，PR 是一個當你看到開源專案時，發現有個真的很想做的功能/很想修復的 BUG，你可以嘗試將該開源專案分岔（fork）成自己的私有專案，並在上面進行開發；開發完成後，再藉由提交 PR 給原始的專案維護者做合併檢查，看是否要合併回原始專案的主分支。
Read More »[GitHub] 發 Pull Request (PR) 的流程筆記
[PyTorch] 將模型刪除後，釋放 GPU / CPU 的記憶體空間
問題描述
昨晚，我在改進一段將模型融合的程式碼時，由於個人設備資源不足，我採取分層合併的方法，一次只取一層的記憶體進行合併，以此減少系統同時保存的模型記憶體大小。然而，我發現模型雖然在 GPU 中的記憶體很容易被刪除、但是 CPU 中的記憶體被回收是十分不容易的。這涉及到了 Python 的資源回收器的設計。
Read More »[PyTorch] 將模型刪除後，釋放 GPU / CPU 的記憶體空間[Python] 使用 tempfile 模組建立臨時工作目錄，並在工作流程結束後自動刪除
介紹
今天在閱讀 DreamBooth 訓練原始碼時，發現了 tempfile 這個模組；剛巧手邊又在做一個模型分層合併的的腳本改寫，頓時想到使用這個模組的話能夠讓程式碼優雅一些，便順手做了個紀錄。
使用 vLLM 進行大型語言模型（LLM）的高速推理
介紹
vLLM 是加州柏克萊分校所開發的一種大型語言模型（Large Language Model, LLM）加速推理框架。它主要是利用 PagedAttention 機制提高了 GPU VRAM 的使用率，並且這一方法無須更改模型的架構。
Read More »使用 vLLM 進行大型語言模型（LLM）的高速推理