Python

[PyTorch] 確認模型的狀態屬於 train() 或是 eval()

今天我在查看 Hugging Face 的 Transformers 套件官方 Document 時，赫然發現一個恐怖的事情 —— 使用 Transformers 時所調用的 from_pretrained()，在讀取預訓練進來的時候，整個模型的狀態是屬於 eval() 、也就是評估模式的。

使用 PyTorch 搭建關於自然語言處理相關任務的人，想必都對 PyTorch 當中的 nn.Embedding() 不陌生。nn.Embedding() 是 PyTorch 當中的一個嵌入層，可以讓我們將不同的詞編號之後放入，並產生一組我們可以任意指定的向量回傳。

JPEG 2000、也就是本文標題的 JP2，是一種圖片檔案的格式，副檔名即為 .jp2。基本上，JP2 的『壓縮比』比一般熟悉的 JPEG 來得更好。

在我們使用 PyTorch 搭建模型來處理我們深度學習的任務的時候，有時候我們會面臨需要『重複定義不同模型層』的情況，有時候這是很讓人煩躁的，尤其是必須毫無必要地寫一大堆都是複製貼上的程式碼。

埋首於自然語言處理 (NLP) 工作的人們，想必都對 Glove 和 Gensim 不陌生。

BLEU 是一種評估文字相似度的演算法，經常用於評估『機器翻譯』與『人工翻譯』之間的相似度。最近由於有比對文句之間相似度與否的需求，故在他人推薦之夏稍微研究了一下 BLEU 的原理，同時試用了 NLTK 中提供的 BLEU 函式。

AutoEncoder，中文直譯的話就是『自動編碼器』，也經常被簡稱為 AE，是無監督式學習 (Unsupervised Learning) 的神經網路，基本上不需要有『標記』的資料。

這是一個比較奇怪的問題：

RuntimeError: Attempting to deserialize object on CUDA
 device 3 but torch.cuda.device_count() is 1.

Python 雖然是個熱門、簡單又優雅的程式語言，可是其執行的效能卻一直為其他程式語言的使用者所詬病。所以在像是『資料前處理』這方面，熟練地使用多執行緒、多行程就是一件非常重要的事情。

今天，當我正寫好了一個深度學習的分類模型的程式碼、正準備要開始訓練時，我的程式發生了一個相當少見的錯誤訊息 (這兩年來我覺得我幾乎看過了大部分的 Python 錯誤訊息 ...)。

SyntaxError: non-default argument follows default argument