PyTorch

在使用 PyTorch 當中的 Sigmoid 當我們的激活函數時，比如說接在模型的最後一層當二元分類的輸出，畢竟 Sigmoid 可以將數值壓在 [0-1] 之間，我們只要設定個閥值 (Threshold) ，比如說 0.5，就可以將數值分成倆類。

在處理進行 Machine Learning 的資料時，我有著『將 Labels 轉成 One-Hot Encoding 型態』這樣的需求。我本來想得很單純，就將 Tensor 轉成 Numpy，再由 Numpy 轉成 One-Hot —— 就像我在這篇《在 Numpy 中將數值轉成 One-Hot 型態》中講述的一樣。

NLLLoss 是一個常用於多分類（Multi-classes Classification）任務的 Loss function，其意義為將 『Softmax』 過後的機率值『取 Log』並將正確答案的『機率值』加總取平均。

今天我將紀錄如何使用 DCGAN 來實做簡單的『生成圖片』模型。本來我想要用美味的點心圖片來示範（我確實地下載了五十萬張點心圖片），但奈何效果不怎麼好，最後還是用回了官方示範的 CelebA。

正如同大家所熟悉的那樣，torchvision 是 PyTorch 內專門用來處理圖片的模組 —— 那麼我今天要筆記的 torchaudio，便是 PyTorch 中專門用來處理『音訊』的模組。

今天再次挑戰了不同的資料集（dataset）的分類器。這次的 CIFAR-10 是一個比起 MNIST 手寫辨識來得更難一些的題目。除了圖片的尺寸變成了 32 x 32 之外，CIFAR-10 也不再是單純的灰階值，而是有著 RGB 三原色的圖片了。

使用一個簡單的 Toy Dataset 來訓練一個『分類器』可說是再簡單不過的 Deep Learning 練習。

今天，我要來練習使用 MNIST 手寫數字辨識資料集來使用 PyTorch 搭建一個簡單的分類器。

所謂的『神經網路』，便是我們想要進行深度學習所建的『模型架構』。在 PyTorch 官方的教學裡頭，第一句話就明確地闡明了：

『可以使用 torch.nn 來建構神經網路。』

nn 包含了模型層以及一個 forward() 的函式，並且會返回 output。這在之後的程式碼中可以清楚看見。

自動求導的重要性，相信精通 Machine Learning 的大家想必一清二楚吧！我在此只簡單地說明，當然，如果我的說明有誤的那是一點兒也不奇怪的，就請各路大神不吝指導一下我吧。

基本上，建構深度學習模型分成 Forward propagation 以及 Backward propagation 兩部分。