今天當我透過 simpletransformers 套件訓練模型時，我得到了一個我之前沒碰過的警告訊息：
Read More »[已解決] huggingface/tokenizers: The current process just got forked. after parallelism has already been used. Disabling parallelism to avoid deadlocks
T5 ，全名是 Transfer Learning with a Unified Text-to-Text Transformer，在 2019 年底提出、隔年 2020 年則在 GLUE 上成為榜首，成功擠下了自家的 ALBERT。
Read More »[Machine Learning] T5 預訓練模型學習筆記
Kaggle Notebook 每週都有提供一段不算短的 GPU 加速時間，並在每週六更新。也正因為如此，比起 Google Colab 我更推薦使用 Kaggle Notebook。
Read More »[Machine Learning] 持續在 Kaggle Notebook 上訓練模型（關閉 session 也在遠端訓練）
最近我的某項工作就是把之前的舊專案使用 PyTorch Lightning 重構成新的訓練環節，並確保分數並沒有太大變化。其中，在我將某項二分類專案重構後，試跑出現了以下錯誤：
Read More »[已解決] RuntimeError: CUDA error: device kernel image is invalid – CUDA kernel errors might be asynchronously reported at some other API call… PyTorch Lightning 是把原生 PyTorch 封裝得更高級的框架套件，就像是 Keras 之於 Tensorflow 一樣（雖然 Keras 能支援的後端我記得是不少的）。
Read More »[PyTorch] pytorch-lightning 套件介紹 我一直以來都希望能夠保存 PyTorch 訓練模型時所使用的優化器（optimizer），以便能夠在模型結束訓練之後，繼續往下訓練；一般來說，如果是要做遷移學習、微調模型（fine-tune），那麼並不需要特別將上一次訓練的優化器保存下來。
Read More »[PyTorch] 保存優化器（optimizer）來接續訓練模型
最早切身體會到 AI 的強大，是在 AlphaGo 第一次贏了曾是世界圍棋第一人的李世石老師的時候。我從小就嚮往著成為圍棋職業棋士，也花費了許多功夫鑽研棋盤上的競技之道，更重要的是，我從小就是李世石老師的棋迷，幾乎所有從以前認識我的棋界朋友都可以作證 XD…… 於是，在 AlphaGo 擊敗李世石老師的時候，我吃驚到彷彿自己的價值觀都被顛覆了一般。
Read More »[Machine Learning] 機器學習筆記-0 基本介紹 CodeBERT 這一預訓練模型（pre-trained model）提出自《CodeBERT: A Pre-Trained Model for Programming and Natural Languages》。
Read More »[Machine Learning] CodeBERT 使用方法與介紹（附範例程式碼）
aitextgen 是一個封裝得很高級的 Python 套件，讓使用者只需要寫短短幾行的程式碼，便能設定好複雜的 AI 模型。它的架構採用了 OpenAI’s GPT-2 和 EleutherAI’s GPT Neo/GPT-3，也能使用預訓練模型（pre-trained model）繼續進行模型的微調。
Read More »[NLP] 使用 aitextgen 套件來生成文本 平均絕對誤差（Mean Absolute Error, MAE）是一個非常有名且基礎的評估指標，通常會出現在機器學習入門課的第一堂課、或第 N 堂 —— 這須視乎你的老師怎麼安排教材。不過對我而言，它就像瑪利歐在關卡 1-1 出發後的第一隻蘑菇怪一樣的存在。
Read More »[Machine Learning] MAE 指標介紹與程式實作
