Blog

[Machine Learning] Variational AutoEncoder (VAE) 筆記

變分自動編碼器（Variational AutoEncoder, VAE) 是自動編碼器（AutoEncoder, AE）的進階變體，架構與原本的自動編碼器相似，同樣都是由編碼器（Encoder）和解碼器（Decoder）所組成。

CuPy 是一個開源的 GPU 加速數值計算函式庫，專為深度學習以及科學計算而設計。它和 Python 中著名的 NumPy 套件有許多相同的使用方法與函式，但更進一步能夠在 GPU 上執行運算。簡單來說，例如矩陣運算等能夠利用 GPU 平行化計算的用途，CuPy 能夠實現一定程度的加速。

現在的生成式模型越來越厲害的，各個獨立研究人員也都部署起了一個又一個的開源大型語言模型（LLMs）。但是在使用大型語言模型做推理、生成回覆時，要是真要去等待一個比較長的輸出，那是真的挺花時間的。

大模型的浪潮自從 2022 年 11 月 ChatGPT 的發布後便一發不可收拾，直到現在開源的大型語言模型（Large Language Model）的量級還在不斷增大，比方說 LLaMA-2-70B、以及 Falcon-180B 等等。

大型語言模型的性能自然是相當優秀的，可是往往需要耗費大量且價格昂貴的 GPU 記憶體，這使得一些邊緣運算裝置根本就不可能讓模型進行推理（inference） —— 更遑論訓練、微調自己的模型了。

Mojo 是一名比較新的語言，是由 LLVM 之父和 Swift 之父 Chris Lattner 所開發。

之所以開發 Mojo，據稱是為了填補『研究』與『生產』的鴻溝，所以 Mojo 擁有 Python 般簡易的語法以及 C 的執行速度。當然，最主要的可能還是對於 AI 的優化 —— 現在 AI 的市場已經值得一門全新的程式語言了。

最近在因緣際會下，有了簡單改一些模型架構的機會，於是便趁這個機會好好地摸索了下 PyTorch 中模型神經網路層的遍歷打印方式。

本篇研究工作的作者是鼎鼎大名的深度學習之父 Geoffrey Hinton，最初撰寫本篇論文時仍是 Google Brain 的研究員（於 2023 年離開）。

最近在處理一些工作上的事情時，發現客戶可能有潛在性的『需要從 PPT 中抽取文字』的需求 —— 我詢問過 PM 和主管，他們表示讓客戶自己手動複製 PPT 簡報中的文字出來就好。除非客戶有想到，然後對我們提出使用程式抽取出來的要求。

我們經常會在機器學習中聽到『KL 散度』（Kullback Libler Divergence）這個詞，而 KL 散度其實就是評估兩個機率分佈 P 和 Q 之間『差異性』的一個評估值。

在 FastAPI 官方文件中，有一段關於『自動生成交互式文件』的說明：

Robust: Get production-ready code. With automatic interactive documentation.