Meta AI 在近期開放了 Llama 3.1 的各種量級（405B、70B、8B），尤其是 405B 更是引人注目，可謂是開源的 LLM 第一次追上了如 GPT-4、Claude-3.5 等閉源的大型語言模型。而與此同時，Meta AI 也開源了一個小模型 Prompt-Guard-86M。
Read More »Meta-llama--Prompt-Guard-86M: 提示防護的開源模型，偵測惡意攻擊 Prompt
最近我在探索一些用來進行光學字元辨識（Optical character recognition, OCR）的模型，早些年 OCR 是研究非常熱門的領域，畢竟是電腦視覺最早可落地應用的領域；但是到了今日，OCR 也已經是非常成熟的任務了，上網一找，便可以找到性能很好的開源模型。
Read More »PaddleOCR: 擅長中文光學字元辨識（OCR）的架構與模型
在如今各種大型語言模型百花齊放的時代，各方研究者與企業都絞盡腦汁，想辦法將大型語言模型應用在手邊的工作中；但說句我個人的心裡話，現今各種語言模型的性能仍舊不夠強，其應用的場景很少，許多時候是遠遠比不上人類的。
但有一種任務類型是大型語言模型天生就相當合適的：任意場景的資訊萃取，也即是我今天想介紹的 NuExtract 模型。
Read More »NuExtract: 使用大型語言模型進行資訊萃取
SiLU （Sigmoid Linear Unit）激活函數，跟 Swish 函數十分相像，只差在一個可訓練的 beta 係數，現今也有許多大型語言模型（LLM）採用，主要是在一些探索使用非 ReLU 等激活函數的大型語言模型上，比方說經典的 Llama 架構。
Read More »[Machine Learning] SiLU 激活函數筆記
這幾個月以來我一直受到 Unsloth 這個項目的照顧，主要是因為我的工作會有很大的一部分牽涉到大型語言模型（LLM）的微調，而微調 LLM 是非常耗時的，除了收集資料外最大的時間成本就是在永無止境地透過 GPU 微調模型。
Read More »Unsloth 加速微調開源項目筆記
這是華為諾亞方舟實驗室所提出加速框架，本質上是把原先投機解碼（speculative decoding）中所使用的小模型由大模型的淺層網路取代，並再由額外訓練的適配器（adapter）加上模型本身的解碼頭去生成推測的 token，再由大模型去進行驗證，並在拒絕推測 token 時由大模型所生成的機率分佈解碼結果取代 —— 這些操作與原先的 speculative decoding 其實沒有太大差別。
Read More »[論文解讀] Kangaroo: Lossless Self-Speculative Decoding via Double Early Exiting
HuggingFace Model Hub 現在已經是無人不知、無人不曉的重要開源平台了，每天都有無數的人或組織上傳自己訓練出來的最新模型（包含文字、圖像、語音...... 等等不同領域）到這個平台上。可說是現在凡舉是個做 AI 相關工作的人，想必都會經常瀏覽 HuggingFace 他們的家的平台網站。
Read More »使用 snapshot_download 下載 HuggingFace Hub 上的模型
Mistral 7B 是 2023 年 09 月 27 日所提出的大型語言模型（Large Language Model, LLM），由同名的 Mistral AI 團隊訓練而成並將其權重開源釋出。有趣的是，它所採用的授權是相當自由的 Apache 2.0，不像 Llama 2 採用了自己的 Llama 授權條款，所以是真正意義上的『開源』（Llama 授權需要在服務量達到七億時跟 Meta AI 討論授權問題）。
Read More »[論文閱讀] Mistral 7B 技術報告
縮放點積注意力（Scaled Dot-Product Attention, SDPA）對於熟悉 Transformer 自注意力架構（Self-Attention）的人來說，恐怕馬上腦海中瞬間就閃過了：
Read More »[PyTorch] 使用 2.0+ 的 SDPA 提昇 Transformer 自注意力機制計算速度
（備註：由於本篇文章自我個人 Hackmd 導入，所以有些符號跟 WordPress 顯示不對位，還請閱讀者多多包涵，Sorry～）
RoPE 是一種通過絕對位置編碼的方式，引入相對位置的資訊給自注意力機制（Self-Attention Mechanism）的位置嵌入。
Read More »[Machine Learning] 旋轉位置嵌入 （Rotary Position Embedding, RoPE）筆記
