Machine Learning

[PyTorch] 提取模型權重或模型層的方法筆記

使用 PyTorch 框架搭建一個模型是一件十分方便簡易的事情。但是除了單純地搭建模型、訓練模型之外，我們也可以透過 PyTorch 框架，將已經訓練好的模型輸出其神經網路的『權重』、或是只單單擷取出其中一層『模型層』。

Embedding，在中文中經常被譯作『嵌入』，在 NLP 領域中通常指的是將『文字』轉換成『數值』的這個動作 —— 畢竟文字是所謂不連續的資料，也是電腦所無法處理的資料。

今天我在使用 PyTorch 當中的 nn.Embedding 時，由於我誤會了 nn.Embedding 的使用方法，故出現了以下報錯：

GRU (Gate Recurrent Unit)，我個人並不確定其是否存在著中文譯名。它與 LSTM 同樣為 RNN (循環神經網路) 的變體，也與 LSTM 同樣旨在解決 RNN 當中存在著的梯度問題。

今天在偶然的情況下，我遭遇了這個報錯 (其時報錯的不是我的 Code)：

IndexError: Dimension out of range (expected to be in range of [-1, 0], but got 1)

在這裡紀錄我自己在調適模型的一些經驗，對於熟練者、高手大神們來說可能微不足道，但是或許可以參考一下。

TypeError: not a sequence

在使用 PyTorch 搭建深度學習的模型時，我想上面的這個報錯是最困擾人的。最大的問題是，這個報錯基本上沒有講出到底是發生什麼樣的錯，端看使用者自己去細看自己的資料格式。

在 PyTorch 當中，這是非常常見的一個問題。

RuntimeError: bool value of Tensor with more than one value is ambiguous

在我使用 PyTorch 訓練模型的時候，經常會發生我使用 GPU_A 去訓練模型、儲存模型，然而在測試模型效果的時候，卻不小心使用到了 GPU_B 來讀取測試資料 (我有多片 GPU 可以使用，還滿奢侈的 XDD)，然後再用已經儲存好的模型 (GPU_A 訓練) 來測試 ——

今天我在使用 PyTorch 搭建模型的時候，遇到了像以下這樣的報錯：

ValueError: expected sequence of length 300 at dim 1 (got 3)