Blog

[Machine Learning] ReLU 函式介紹與程式實作

ReLU (Rectified Linear Unit) 函式，常被翻譯為『修正線性單元』，是一種神經網路當中常用的 Activation function。被認為具有一定程度的生物原理。（雖然我並不清楚是什麼原理。）

Sigmoid() 函數簡單來講就是個映射函數，將任何變量（這些先寫成 x）映射到 [0, 1] 之間。通常被用來當作機器學習領域 (Machine Learning) 神經網路的激活函數 (Activation Function)。

使用一個簡單的 Toy Dataset 來訓練一個『分類器』可說是再簡單不過的 Deep Learning 練習。

今天，我要來練習使用 MNIST 手寫數字辨識資料集來使用 PyTorch 搭建一個簡單的分類器。

工欲善其事，必先利其器。想要流暢地學習 Python 這個語法，好用的工具是必不可少。『PyCharm』可說是我最推薦初學者的 IDE 了（當然，熟練者我也同樣推薦 XD）。

所謂的『神經網路』，便是我們想要進行深度學習所建的『模型架構』。在 PyTorch 官方的教學裡頭，第一句話就明確地闡明了：

『可以使用 torch.nn 來建構神經網路。』

nn 包含了模型層以及一個 forward() 的函式，並且會返回 output。這在之後的程式碼中可以清楚看見。

自動求導的重要性，相信精通 Machine Learning 的大家想必一清二楚吧！我在此只簡單地說明，當然，如果我的說明有誤的那是一點兒也不奇怪的，就請各路大神不吝指導一下我吧。

基本上，建構深度學習模型分成 Forward propagation 以及 Backward propagation 兩部分。

我之前寫了一個簡單的 Socket 教學，如果還不熟悉使用 Python 中的 Socket 的話請看這裡：[Python] socket 模組基本教學

就如同這篇簡單的教學所提的，我希望能夠透過 Socket 建立一個簡單的，只會重複你說話的 ChatBot，就跟大部分的 LineBot 教學一樣。（畢竟，要設定怎麼回覆使用者的話，就要看大家需要什麼『聊天主題』、要怎麼設計『檢索系統』了。）

我本來打算直接寫一篇使用 Socket 來建立簡單的、只會重複你說的話的 ChatBot，跟現在網路上還滿多的 LineBot 教學差不多。不過差別在於我使用的是 Socket 來建立兩端的連線，而 LineBot 我看過大部份都是使用 webhook 來完成的。

Google News 是 Google 所提供的新聞平台，目前最著名的便是會通過你的瀏覽新聞推薦你『想看的新聞』，這應該是基於某種關聯式學習的結果。在這點上，至少對我而言是相當適用的。（我真的每篇 Google 推薦的新聞都會想看 XDD 可以想像我到底提供了他們多少資料）

Bash on Ubuntu on Windows，或者是稱之為 Windows Subsystem for Linux (WSL)，顧名思義，是位於 Windows 底下的 Linux 子系統。

有時候，在開發軟體的過程中，會遇到許多只能由 Linux 系統來使用的套件與函式庫。有許多方便的套件，是無法在 Windows 上使用的。