在我們使用 PyTorch 搭建 RNN 與其各種變體 (比如 LSTM、GRU) 的模型時，若搭配 PyTorch 所提供的 Embedding 層當作模型第一層的嵌入層，那麼，我們經常會碰到不同長度序列的文章。
Read More »[PyTorch] 如何使用 pad_packed_sequence 和 pack_padded_sequence 調整可變長度序列批次
之前我曾經紀錄過，如何使用 Python 的 Gensim 套件訓練一個 Word2Vec 模型，讓我們將『詞彙』轉成『向量』，而這些轉成的『向量』也並不是毫無道理，直觀理解上，是每一維度中包含著文本中的一個隱含主題 —— 至少人們是這樣希望模型學習到東西的。
Read More »[NLP][Python] 表示文件向量： Doc2Vec 今天，當我在嘗試著自己使用 nn.Embedding() 拼接並計算句向量的時候，我在自己預先準備的 DataLoader 上得到了這樣的一個報錯：
Read More »[已解決][PyTorch] TypeError: expected Tensor as element 0 in argument 0, but got list 今天我在查看 Hugging Face 的 Transformers 套件官方 Document 時，赫然發現一個恐怖的事情 —— 使用 Transformers 時所調用的 from_pretrained()，在讀取預訓練進來的時候，整個模型的狀態是屬於 eval() 、也就是評估模式的。
Read More »[PyTorch] 確認模型的狀態屬於 train() 或是 eval() 使用 PyTorch 搭建關於自然語言處理相關任務的人，想必都對 PyTorch 當中的 nn.Embedding() 不陌生。nn.Embedding() 是 PyTorch 當中的一個嵌入層，可以讓我們將不同的詞編號之後放入，並產生一組我們可以任意指定的向量回傳。
Read More »[PyTorch] nn.Embedding() 讀取 Gensim 預訓練模型權重方法筆記
JPEG 2000、也就是本文標題的 JP2，是一種圖片檔案的格式，副檔名即為 .jp2。基本上，JP2 的『壓縮比』比一般熟悉的 JPEG 來得更好。
Read More »[Python] 使用 OpenCV 轉換 JP2 格式的圖片成 PNG、JPEG 在我們使用 PyTorch 搭建模型來處理我們深度學習的任務的時候，有時候我們會面臨需要『重複定義不同模型層』的情況，有時候這是很讓人煩躁的，尤其是必須毫無必要地寫一大堆都是複製貼上的程式碼。
Read More »[PyTorch] 使用 ModuleList 減少重複定義模型的程式碼數量 埋首於自然語言處理 (NLP) 工作的人們，想必都對 Glove 和 Gensim 不陌生。
Read More »[Python] 將 Glove 模型轉換成 Gensim 可以讀取的格式 2018 年年底，以 BERT 為首等 Transformer 模型席捲了各大 NLP 競賽的排行榜，並幾乎都有著相當優異的表現。一直以來我都對 BERT 等 Transformer 模型充滿了興趣，故今天便開始動手紀錄該如何使用 Hugging Face 所開發的 Transformers 套件。
Read More »[PyTorch] 如何使用 Hugging Face 所提供的 Transformers —— 以 BERT 為例 BLEU 是一種評估文字相似度的演算法，經常用於評估『機器翻譯』與『人工翻譯』之間的相似度。最近由於有比對文句之間相似度與否的需求，故在他人推薦之夏稍微研究了一下 BLEU 的原理，同時試用了 NLTK 中提供的 BLEU 函式。
Read More »[NLP] BLEU 計算相似度
