Machine Learning

[Machine Learning] T5 預訓練模型學習筆記

Clay
2022-04-282022-04-28
2 Comments
Machine Learning, PyTorch

基本介紹

T5 ，全名是 Transfer Learning with a Unified Text-to-Text Transformer，在 2019 年底提出、隔年 2020 年則在 GLUE 上成為榜首，成功擠下了自家的 ALBERT。

[Machine Learning] 持續在 Kaggle Notebook 上訓練模型（關閉 session 也在遠端訓練）

Kaggle Notebook 每週都有提供一段不算短的 GPU 加速時間，並在每週六更新。也正因為如此，比起 Google Colab 我更推薦使用 Kaggle Notebook。

[已解決] RuntimeError: CUDA error: device kernel image is invalid - CUDA kernel errors might be asynchronously reported at some other API call...

Clay
2022-04-142022-07-27
Machine Learning, PyTorch

問題描述

最近我的某項工作就是把之前的舊專案使用 PyTorch Lightning 重構成新的訓練環節，並確保分數並沒有太大變化。其中，在我將某項二分類專案重構後，試跑出現了以下錯誤：

[PyTorch] pytorch-lightning 套件介紹

Clay
2022-04-072022-04-07
Machine Learning, PyTorch

PyTorch Lightning 是把原生 PyTorch 封裝得更高級的框架套件，就像是 Keras 之於 Tensorflow 一樣（雖然 Keras 能支援的後端我記得是不少的）。

[PyTorch] 保存優化器（optimizer）來接續訓練模型

Clay
2022-03-152022-03-15
Machine Learning, Python, PyTorch

我一直以來都希望能夠保存 PyTorch 訓練模型時所使用的優化器（optimizer），以便能夠在模型結束訓練之後，繼續往下訓練；一般來說，如果是要做遷移學習、微調模型（fine-tune），那麼並不需要特別將上一次訓練的優化器保存下來。

[Machine Learning] 機器學習筆記-0 基本介紹

Clay
2022-02-222022-02-22
Machine Learning

前言

最早切身體會到 AI 的強大，是在 AlphaGo 第一次贏了曾是世界圍棋第一人的李世石老師的時候。我從小就嚮往著成為圍棋職業棋士，也花費了許多功夫鑽研棋盤上的競技之道，更重要的是，我從小就是李世石老師的棋迷，幾乎所有從以前認識我的棋界朋友都可以作證 XD...... 於是，在 AlphaGo 擊敗李世石老師的時候，我吃驚到彷彿自己的價值觀都被顛覆了一般。

[Machine Learning] CodeBERT 使用方法與介紹（附範例程式碼）

Clay
2021-10-262023-12-30
Linux, Machine Learning, Python, PyTorch

簡介

CodeBERT 這一預訓練模型（pre-trained model）提出自《CodeBERT: A Pre-Trained Model for Programming and Natural Languages》。

[NLP] 使用 aitextgen 套件來生成文本

Clay
2021-10-132021-10-13
Machine Learning, NLP, Python

aitextgen 是一個封裝得很高級的 Python 套件，讓使用者只需要寫短短幾行的程式碼，便能設定好複雜的 AI 模型。它的架構採用了 OpenAI's GPT-2 和 EleutherAI's GPT Neo/GPT-3，也能使用預訓練模型（pre-trained model）繼續進行模型的微調。