Machine Learning

關於 GRU 的圖解概論筆記

GRU (Gate Recurrent Unit)，我個人並不確定其是否存在著中文譯名。它與 LSTM 同樣為 RNN (循環神經網路) 的變體，也與 LSTM 同樣旨在解決 RNN 當中存在著的梯度問題。

今天在偶然的情況下，我遭遇了這個報錯 (其時報錯的不是我的 Code)：

IndexError: Dimension out of range (expected to be in range of [-1, 0], but got 1)

在這裡紀錄我自己在調適模型的一些經驗，對於熟練者、高手大神們來說可能微不足道，但是或許可以參考一下。

TypeError: not a sequence

在使用 PyTorch 搭建深度學習的模型時，我想上面的這個報錯是最困擾人的。最大的問題是，這個報錯基本上沒有講出到底是發生什麼樣的錯，端看使用者自己去細看自己的資料格式。

在 PyTorch 當中，這是非常常見的一個問題。

RuntimeError: bool value of Tensor with more than one value is ambiguous

在我使用 PyTorch 訓練模型的時候，經常會發生我使用 GPU_A 去訓練模型、儲存模型，然而在測試模型效果的時候，卻不小心使用到了 GPU_B 來讀取測試資料 (我有多片 GPU 可以使用，還滿奢侈的 XDD)，然後再用已經儲存好的模型 (GPU_A 訓練) 來測試 ——

今天我在使用 PyTorch 搭建模型的時候，遇到了像以下這樣的報錯：

ValueError: expected sequence of length 300 at dim 1 (got 3)

之前，我曾經寫過一篇文章敘述我如何印出我使用 PyTorch 搭建的模型架構，具體連結可以參考文末。但是開心了沒多久，過了一段時間後，當我又要使用這項工具來繪製另一個全新的模型架構準備報告的同時，我卻得到了以下這樣的報錯：

AttributeError: 'tuple' object has no attribute 'size'

LSTM (Long Short-Term Memory)，中文翻譯做『長短期記憶』，是一種循環神經網路 (RNN)。其論文發表於 1997 年，是在自然語言處理當中非常重要、並且好用的模型層。

雖然僅僅只是個人體感，不過我認為在使用 PyTorch 的過程中，最容易遇到的報錯有兩個 —— 一個是模型的 “”Mismatch、另外一個就是我今天所紀錄的：