24 2 月, 2025

Last Updated on 2025-02-24 by Clay

之前有在閱讀模型架構原始碼時，有嘗試寫過 LayerNorm 的實現（[Machine Learning] LayerNorm 層歸一化筆記），但當時的實作也僅只於按照公式復現；最近在複習架構設計時，對於 LayerNorm 有了更深入的思考，故筆記於此。