這是華為諾亞方舟實驗室所提出加速框架，本質上是把原先投機解碼（speculative decoding）中所使用的小模型由大模型的淺層網路取代，並再由額外訓練的適配器（adapter）加上模型本身的解碼頭去生成推測的 token，再由大模型去進行驗證，並在拒絕推測 token 時由大模型所生成的機率分佈解碼結果取代 —— 這些操作與原先的 speculative decoding 其實沒有太大差別。
Read More »[論文解讀] Kangaroo: Lossless Self-Speculative Decoding via Double Early Exiting
RESTful 設計風格（Representational State Transfer, REST）是一種用於設計網路應用程式的架構風格。它遵守著讓網路應用程式更加簡潔、可擴展和易於維護的準則去設計。
Read More »RESTful 筆記（附 Python FastAPI + CURL 範例）
在我們替手邊資料進行編號時，若是希望每筆資料都擁有獨一無二的編號、而非單純遞增的流水號，UUID 可說是最最常見的編號方式。
那麼，什麼是 UUID 呢？
Read More »通用唯一識別碼（Universally Unique Identifier, UUID）筆記
HuggingFace Model Hub 現在已經是無人不知、無人不曉的重要開源平台了，每天都有無數的人或組織上傳自己訓練出來的最新模型（包含文字、圖像、語音…… 等等不同領域）到這個平台上。可說是現在凡舉是個做 AI 相關工作的人，想必都會經常瀏覽 HuggingFace 他們的家的平台網站。
Read More »使用 snapshot_download 下載 HuggingFace Hub 上的模型
You are given a 0-indexed array nums consisting of positive integers.
There are two types of operations that you can apply on the array any number of times:
Read More »LeetCode: 2870-Minimum Number of Operations to Make Array Empty 解題紀錄
DPO（Direct Preference Optimization, 直接偏好優化）是一種取代 RLHF（Reinforcement Learning from Human Feedback, 基於人類反饋的強化學習）的微調方式。眾所皆知，大型語言模型在經過非監督式學習後能夠學習到大量的知識與理解能力（有些研究者認為是『壓縮並保存』了知識在神經網路權重中）；在監督式學習後學會了流暢地回應我們的問題，或者說是學會了『對話』的能力。
Read More »Direct Preference Optimization (DPO) 訓練方法筆記
今天當我在一台新的 Linux 筆電上想要安裝 pyaudio（Python 中經常用於錄音的套件）時，我遇到了之前沒有遇過的錯誤：
Read More »[已解決] fatal error: portaudio.h: No such file or directory 9 | #include “portaudio.h” | ^~~~~~~~~~~~~ compilation terminated Given n points on a 2D plane where points[i] = [xi, yi], Return the widest vertical area between two points such that no points are inside the area.
You are given an integer array prices representing the prices of various chocolates in a store. You are also given a single integer money, which represents your initial amount of money.
An image smoother is a filter of the size 3 x 3 that can be applied to each cell of an image by rounding down the average of the cell and the eight surrounding cells (i.e., the average of the nine cells in the blue smoother). If one or more of the surrounding cells of a cell is not present, we do not consider it in the average (i.e., the average of the four cells in the red smoother).
