Blog

[PyTorch] 遍歷模型每一層神經網路筆記

最近在因緣際會下，有了簡單改一些模型架構的機會，於是便趁這個機會好好地摸索了下 PyTorch 中模型神經網路層的遍歷打印方式。

本篇研究工作的作者是鼎鼎大名的深度學習之父 Geoffrey Hinton，最初撰寫本篇論文時仍是 Google Brain 的研究員（於 2023 年離開）。

最近在處理一些工作上的事情時，發現客戶可能有潛在性的『需要從 PPT 中抽取文字』的需求 —— 我詢問過 PM 和主管，他們表示讓客戶自己手動複製 PPT 簡報中的文字出來就好。除非客戶有想到，然後對我們提出使用程式抽取出來的要求。

我們經常會在機器學習中聽到『KL 散度』（Kullback Libler Divergence）這個詞，而 KL 散度其實就是評估兩個機率分佈 P 和 Q 之間『差異性』的一個評估值。

在 FastAPI 官方文件中，有一段關於『自動生成交互式文件』的說明：

Robust: Get production-ready code. With automatic interactive documentation.

yield 是 Python 中的一個關鍵字，它的使用場景與 return 很像，不過使用 yield 會把函式變成一個生成器（generator）。

Podman 是一個專用來管理容器（container）和鏡像（image）的開源工具，全名為 Pod Manager tool (podman)。Podman 是一個與 docker 相似的工具，但是設計上有一些小區別。

FastAPI 是一個現代、高效的 Python web 框架。基於 python 3.7+ 並且擁有 python type hints。

duf 是一款可以在 Linux 系統上較為有『圖形化表達』的硬碟空間使用狀況檢查工具，名字取自 Disk Usage/Free Utility。順帶一提，這項工具其實不僅在 Linux，在 MacOS 和 Windows 上也都可以安裝哦。