Machine Learning

[已解決] 使用 AutoTokenizer.from_pretrained() 時發生 TypeError: not a string

今天我在離線環境中要使用 transformers 套件建立 ALBERT 模型時來處理 NLP 任務，當我透過 transformers 提供的 AutoTokenizer 讀取 ALBERT 模型的斷詞器：

今天我在測試 simpletransformers 這個知名的 Python NLP 深度學習套件時，我在個人筆電上遇到了模型在開始訓練時整個流程卡住的問題。

在做資料處理的過程中，經常會有需要將特定 column 的值做替換的步驟。可能是處理 missing value、可能是將錯誤的數值刪除...... 當然，Python 有眾多的工具、套件、函式可以來進行常見的取代任務。不過，總難免會有需要特殊處理的情況。

Simple Transformers 是一個 Python 的 NLP 套件/框架，旨在減少使用 Transformer 模型時的複雜步驟。能夠讓使用者透過短短幾行的程式碼，快速實現一個 NLP 任務的深度學習模型訓練環境。

今天當我透過 simpletransformers 套件訓練模型時，我得到了一個我之前沒碰過的警告訊息：

T5 ，全名是 Transfer Learning with a Unified Text-to-Text Transformer，在 2019 年底提出、隔年 2020 年則在 GLUE 上成為榜首，成功擠下了自家的 ALBERT。

Kaggle Notebook 每週都有提供一段不算短的 GPU 加速時間，並在每週六更新。也正因為如此，比起 Google Colab 我更推薦使用 Kaggle Notebook。

最近我的某項工作就是把之前的舊專案使用 PyTorch Lightning 重構成新的訓練環節，並確保分數並沒有太大變化。其中，在我將某項二分類專案重構後，試跑出現了以下錯誤：

PyTorch Lightning 是把原生 PyTorch 封裝得更高級的框架套件，就像是 Keras 之於 Tensorflow 一樣（雖然 Keras 能支援的後端我記得是不少的）。

我一直以來都希望能夠保存 PyTorch 訓練模型時所使用的優化器（optimizer），以便能夠在模型結束訓練之後，繼續往下訓練；一般來說，如果是要做遷移學習、微調模型（fine-tune），那麼並不需要特別將上一次訓練的優化器保存下來。