Skip to content

Clay

使用 Transformers 套件中的 AutoModel.from_pretrained() 讀取自定義模型

時至今日有許多的 AI 應用、開源專案是以 HuggingFace 開源的 transformers 套件為基底下去開發的，有許多的模型與套件也都是寫成兼容 transformers 的格式、甚至擁有一樣的函式跟方法，才更容易為人所接受。

在這樣的前提下，我偶然使用了一個開源的訓練框架，它很好地封裝了 Transformer 架構的自動讀取 —— 但一個不得不解決的問題是我希望使用我自定義的模型去做實驗；我嘗試了幾個解決方法，目的是希望使用 AutoModel.from_pretrained() 的時候，只要傳入我本地端的模型路徑，就可以正確使用我自定義的模型架構，於是就把成功的方法紀錄於本篇筆記中。

Read More »使用 Transformers 套件中的 AutoModel.from_pretrained() 讀取自定義模型

[論文閱讀] Lifting the Curse of Multilinguality by Pre-training Modular Transformers

Cross-lingual Modular (X-Mod) 是一個有趣的語言模型架構，透過模組化不同語言的參數作為模組單元（Module Unit）組裝在模型中，好讓語言模型在新增全新語言時，可以使用獨立的參數進行微調，而（比較）不會出現災難性遺忘的窘境。

Read More »[論文閱讀] Lifting the Curse of Multilinguality by Pre-training Modular Transformers
silver hard drive interals

[Linux] 透過 gparted 或 parted 重新縮放硬碟磁碟區（partition）尺寸

最近由於工作中的需求、加上一些 Steam 的遊戲在 Windows 中跑起來比較順，我認真地考慮在 Linux 的筆電中重新切割出 200GB 的硬碟空間給 Windows；不過，由於我一開始把一整顆的 1TB SSD 分配給了 Linux，現在只能重新進行磁區的縮放。

Read More »[Linux] 透過 gparted 或 parted 重新縮放硬碟磁碟區（partition）尺寸

[Linux] 使用 SSH 建立 SOCKS 代理端口讓 Firefox 透過遠端伺服器 IP 上網

如果我們手邊剛好有幾台不同 IP 的遠端伺服器，並且希望可以透過不同的 IP 瀏覽網頁（比方說一些服務本地端/本地國家不支援），我們可以選擇透過 SOCKS 代理端口，並設定好讓 Firefox 透過這些代理端口使用遠端伺服器的 IP 進行瀏覽，就不用特地裝其他的 VPN 工具了。

Read More »[Linux] 使用 SSH 建立 SOCKS 代理端口讓 Firefox 透過遠端伺服器 IP 上網