coding-interview-university 是一個 GitHub 上的開源專案，裡頭收錄了亞馬遜 AWS 工程師 John Washam 先生為了面試 Google 而準備的學習筆記。截止至 2021 年 04 月，該專案已經有了 165,000 個 star。
在專案的說明中，他建議 fork 此專案，並自己使用 markdown 語法控管自己的學習進度；不過除此之外，他也同樣提到了：人不可能完全記得自己學習過的知識。他自己本身也在學習了幾個月後花費了大量時間將自己的筆記做成卡片反覆複習。
Read More »[置頂] coding-interview-university 學習筆記目錄
HuggingFace Model Hub 現在已經是無人不知、無人不曉的重要開源平台了，每天都有無數的人或組織上傳自己訓練出來的最新模型（包含文字、圖像、語音…… 等等不同領域）到這個平台上。可說是現在凡舉是個做 AI 相關工作的人，想必都會經常瀏覽 HuggingFace 他們的家的平台網站。
Read More »使用 snapshot_download 下載 HuggingFace Hub 上的模型
Mistral 7B 是 2023 年 09 月 27 日所提出的大型語言模型（Large Language Model, LLM），由同名的 Mistral AI 團隊訓練而成並將其權重開源釋出。有趣的是，它所採用的授權是相當自由的 Apache 2.0，不像 Llama 2 採用了自己的 Llama 授權條款，所以是真正意義上的『開源』（Llama 授權需要在服務量達到七億時跟 Meta AI 討論授權問題）。
Read More »[論文閱讀] Mistral 7B 技術報告
縮放點積注意力（Scaled Dot-Product Attention, SDPA）對於熟悉 Transformer 自注意力架構（Self-Attention）的人來說，恐怕馬上腦海中瞬間就閃過了：
Read More »[PyTorch] 使用 2.0+ 的 SDPA 提昇 Transformer 自注意力機制計算速度
（備註：由於本篇文章自我個人 Hackmd 導入，所以有些符號跟 WordPress 顯示不對位，還請閱讀者多多包涵，Sorry～）
RoPE 是一種通過絕對位置編碼的方式，引入相對位置的資訊給自注意力機制（Self-Attention Mechanism）的位置嵌入。
Read More »[Machine Learning] 旋轉位置嵌入 （Rotary Position Embedding, RoPE）筆記
RMSNorm 是對於 LayerNorm 的一種改進，經常用於 Transformer 自注意力機制，旨在減輕梯度消失和梯度爆炸的問題，從而幫助模型更快收斂並提高性能。
Read More »[Machine Learning] RMSNorm 筆記 高斯誤差線性單元（Gaussian Error Linear Unit, GELU）是一種機器學習中會使用到的激活函數。跟經典的 ReLU（Rectified Linear Unit）雖然相像卻有些地方不盡相同。
Read More »[Machine Learning] GELU 激活函數筆記 以前我的指導教授常常告訴我，不要僅僅只是使用別人的套件，一定要自己寫過才會有感覺。當時我沒有太多的時間去實現各種我感興趣的技術，光是拼出論文就已經竭盡全力了。但是直到現在仍時常回想教授的諄諄教誨，忍不住開始動手實現 BERT 這一經典架構的 encoder-only transformer 模型。
Read More »[PyTorch] BERT 架構實現筆記
提示注入攻擊（prompt injection attack）算是一種新興的資安疑慮問題，主要是發生在大型語言模型（Large Language Model, LLM）或其他 AI 相關領域的攻擊形式。
Read More »提示注入攻擊（prompt injection attack）的防禦筆記
我經常會使用我的電腦看全螢幕的影片，並且需要在等下工作時間到時準時回到工作狀態 —— 但尷尬的是我並不喜歡隨時拿起手機查看當前的時間，因為那樣做很麻煩。
Read More »[Linux] 顯示終端機電子時鐘時間的小工具: tty-clock 介紹
