使用 Outlines 工具結構化模型的輸出
在將大型語言模型（Large Language Model, LLM）應用於實際場景時，經常不僅僅是讓模型自由發揮、任意生成文句 —— 我們也可能會希望模型返回特定的結構，比方說做選擇題、或是給一個評分。在這樣的情況下，transformers 架構的模型可以直接使用 outlines 這個工具。
Read More »使用 Outlines 工具結構化模型的輸出Clay
使用 Microsoft BIPIA 框架評估 LLM 防禦能力
現在 LLM 的服務已經涵蓋了各式各樣的領域，而提示注入（Prompt Injection）和越獄（Jailbreak）對 LLM 的威脅也是與日俱增，幾個月前甚至有客服 LLM 給了客戶錯誤的資訊導致權益受損呢（雖然那不是 Prompt 攻擊造成的）。
而 Microsoft 所開源的 BIPIA（Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models）評估方法，雖然已經是半年前的測試了，到現在也沒什麼大更新，但是應用在我手邊的任務中，仍不失為一個方便簡潔的測試方法。
Read More »使用 Microsoft BIPIA 框架評估 LLM 防禦能力
[Python] 使用 difflib 模組比較序列差異
difflib 是 Python 標準函式庫中的一個模組，用於比較序列之間的差異（通常為文字）。早些年我在做碩論時還自己實現，直到現在工作了才發現有這麼簡潔的函式庫，煞是哭笑不得。
[Python] @property 裝飾器將類別方法轉為只讀屬性
在 Python 的類別建構中，@property 是一種經常見到且確實有其好處的裝飾器，它主要的用途在於將類別的方法（class method）轉為只讀（read-only）的屬性（attribute），讓使用者透過屬性呼叫的方式來取得計算結果。
牛頓插值多項式（Newton Polynomial）
牛頓內插法是一種多項式的插值方法，使用多筆數據建構一組多項式函數，其優點在於隨著資料的添加，牛頓內插法不需要從頭開始計算，而是可以基於現有的函數進行擴展。
Read More »牛頓插值多項式（Newton Polynomial）
使用 Transformers 套件中的 AutoModel.from_pretrained() 讀取自定義模型
時至今日有許多的 AI 應用、開源專案是以 HuggingFace 開源的 transformers 套件為基底下去開發的，有許多的模型與套件也都是寫成兼容 transformers 的格式、甚至擁有一樣的函式跟方法，才更容易為人所接受。
在這樣的前提下，我偶然使用了一個開源的訓練框架，它很好地封裝了 Transformer 架構的自動讀取 —— 但一個不得不解決的問題是我希望使用我自定義的模型去做實驗；我嘗試了幾個解決方法，目的是希望使用 AutoModel.from_pretrained() 的時候，只要傳入我本地端的模型路徑，就可以正確使用我自定義的模型架構，於是就把成功的方法紀錄於本篇筆記中。
[Flutter] 使用 bitsdojo_window 來自訂客製化視窗標題欄
最近開始嘗試使用 Flutter 來實作桌面的應用程式，由於我是使用 Linux 的 Gnome 桌面，其預設的系統視窗欄（最上面的橫條）是純黑的，與我開發的 APP 其輕鬆活潑的調性不符合，所以這才找了個不錯的套件工具：bitsdojo_window。
Read More »[Flutter] 使用 bitsdojo_window 來自訂客製化視窗標題欄
[Machine Learning] Cross Entropy Loss 筆記
交叉熵介紹
交叉熵是機器學習（Machine Learning） 中非常常見的損失函數，這是因為其交叉熵是一種可以在『分類任務』中，將模型分類預測結果和實際分類標籤之間的差異做出量化。
Read More »[Machine Learning] Cross Entropy Loss 筆記
[論文閱讀] Lifting the Curse of Multilinguality by Pre-training Modular Transformers
Cross-lingual Modular (X-Mod) 是一個有趣的語言模型架構，透過模組化不同語言的參數作為模組單元（Module Unit）組裝在模型中，好讓語言模型在新增全新語言時，可以使用獨立的參數進行微調，而（比較）不會出現災難性遺忘的窘境。
Read More »[論文閱讀] Lifting the Curse of Multilinguality by Pre-training Modular Transformers
奇異值分解（Singular Value Decomposition, SVD）筆記
奇異值分解（Singular Value Decomposition, SVD）是一種將矩陣分解為三個矩陣乘機的方法，揭示了原矩陣的秩（Rank）、資料維度及重要方向，經常用於降維、壓縮和結構分析。
Read More »奇異值分解（Singular Value Decomposition, SVD）筆記