[已解決] simpletransformers 在訓練開始時卡住，不會繼續進行訓練
問題描述
今天我在測試 simpletransformers 這個知名的 Python NLP 深度學習套件時，我在個人筆電上遇到了模型在開始訓練時整個流程卡住的問題。
Read More »[已解決] simpletransformers 在訓練開始時卡住，不會繼續進行訓練Machine Learning
[Python] 如何取代 Pandas DataFrame 中特定 column 內的值
在做資料處理的過程中，經常會有需要將特定 column 的值做替換的步驟。可能是處理 missing value、可能是將錯誤的數值刪除…… 當然，Python 有眾多的工具、套件、函式可以來進行常見的取代任務。不過，總難免會有需要特殊處理的情況。
Read More »[Python] 如何取代 Pandas DataFrame 中特定 column 內的值Simple Transformers (1) – 基本介紹
介紹 Simple Transformers
Simple Transformers 是一個 Python 的 NLP 套件/框架，旨在減少使用 Transformer 模型時的複雜步驟。能夠讓使用者透過短短幾行的程式碼，快速實現一個 NLP 任務的深度學習模型訓練環境。
Read More »Simple Transformers (1) – 基本介紹
[已解決] huggingface/tokenizers: The current process just got forked. after parallelism has already been used. Disabling parallelism to avoid deadlocks
問題描述
今天當我透過 simpletransformers 套件訓練模型時，我得到了一個我之前沒碰過的警告訊息：
Read More »[已解決] huggingface/tokenizers: The current process just got forked. after parallelism has already been used. Disabling parallelism to avoid deadlocks
[Machine Learning] T5 預訓練模型學習筆記
基本介紹
T5 ，全名是 Transfer Learning with a Unified Text-to-Text Transformer，在 2019 年底提出、隔年 2020 年則在 GLUE 上成為榜首，成功擠下了自家的 ALBERT。
Read More »[Machine Learning] T5 預訓練模型學習筆記
[Machine Learning] 持續在 Kaggle Notebook 上訓練模型（關閉 session 也在遠端訓練）
Kaggle Notebook 每週都有提供一段不算短的 GPU 加速時間，並在每週六更新。也正因為如此，比起 Google Colab 我更推薦使用 Kaggle Notebook。
Read More »[Machine Learning] 持續在 Kaggle Notebook 上訓練模型（關閉 session 也在遠端訓練）
[已解決] RuntimeError: CUDA error: device kernel image is invalid – CUDA kernel errors might be asynchronously reported at some other API call…
問題描述
最近我的某項工作就是把之前的舊專案使用 PyTorch Lightning 重構成新的訓練環節，並確保分數並沒有太大變化。其中，在我將某項二分類專案重構後，試跑出現了以下錯誤：
Read More »[已解決] RuntimeError: CUDA error: device kernel image is invalid – CUDA kernel errors might be asynchronously reported at some other API call…[PyTorch] pytorch-lightning 套件介紹
PyTorch Lightning 是把原生 PyTorch 封裝得更高級的框架套件，就像是 Keras 之於 Tensorflow 一樣（雖然 Keras 能支援的後端我記得是不少的）。
Read More »[PyTorch] pytorch-lightning 套件介紹[PyTorch] 保存優化器（optimizer）來接續訓練模型
我一直以來都希望能夠保存 PyTorch 訓練模型時所使用的優化器（optimizer），以便能夠在模型結束訓練之後，繼續往下訓練；一般來說，如果是要做遷移學習、微調模型（fine-tune），那麼並不需要特別將上一次訓練的優化器保存下來。
Read More »[PyTorch] 保存優化器（optimizer）來接續訓練模型
[Machine Learning] 機器學習筆記-0 基本介紹
前言
最早切身體會到 AI 的強大，是在 AlphaGo 第一次贏了曾是世界圍棋第一人的李世石老師的時候。我從小就嚮往著成為圍棋職業棋士，也花費了許多功夫鑽研棋盤上的競技之道，更重要的是，我從小就是李世石老師的棋迷，幾乎所有從以前認識我的棋界朋友都可以作證 XD…… 於是，在 AlphaGo 擊敗李世石老師的時候，我吃驚到彷彿自己的價值觀都被顛覆了一般。
Read More »[Machine Learning] 機器學習筆記-0 基本介紹