Machine Learning

[已解決] HuggingFace Transformers 模型返回 “‘ValueError: too many values to unpack (expected 2)’, upon training a Bert binary classification model”

在現今深度學習的框架中，無論是使用 Tensorflow、PyTorch 還是其他框架，模型的輸入輸出、資料流向…… 等等，我們都需要十分注意其資料的形狀（shape）。因為一不小心，就會讓模型架構回傳錯誤訊息。

今天我在離線環境中要使用 transformers 套件建立 ALBERT 模型時來處理 NLP 任務，當我透過 transformers 提供的 AutoTokenizer 讀取 ALBERT 模型的斷詞器：

今天我在測試 simpletransformers 這個知名的 Python NLP 深度學習套件時，我在個人筆電上遇到了模型在開始訓練時整個流程卡住的問題。

在做資料處理的過程中，經常會有需要將特定 column 的值做替換的步驟。可能是處理 missing value、可能是將錯誤的數值刪除…… 當然，Python 有眾多的工具、套件、函式可以來進行常見的取代任務。不過，總難免會有需要特殊處理的情況。

Simple Transformers 是一個 Python 的 NLP 套件/框架，旨在減少使用 Transformer 模型時的複雜步驟。能夠讓使用者透過短短幾行的程式碼，快速實現一個 NLP 任務的深度學習模型訓練環境。

今天當我透過 simpletransformers 套件訓練模型時，我得到了一個我之前沒碰過的警告訊息：

T5 ，全名是 Transfer Learning with a Unified Text-to-Text Transformer，在 2019 年底提出、隔年 2020 年則在 GLUE 上成為榜首，成功擠下了自家的 ALBERT。

Kaggle Notebook 每週都有提供一段不算短的 GPU 加速時間，並在每週六更新。也正因為如此，比起 Google Colab 我更推薦使用 Kaggle Notebook。

最近我的某項工作就是把之前的舊專案使用 PyTorch Lightning 重構成新的訓練環節，並確保分數並沒有太大變化。其中，在我將某項二分類專案重構後，試跑出現了以下錯誤：

PyTorch Lightning 是把原生 PyTorch 封裝得更高級的框架套件，就像是 Keras 之於 Tensorflow 一樣（雖然 Keras 能支援的後端我記得是不少的）。