Machine Learning

[PyTorch] 保存優化器（optimizer）來接續訓練模型

Clay
2022-03-152022-03-15
Machine Learning, Python, PyTorch

我一直以來都希望能夠保存 PyTorch 訓練模型時所使用的優化器（optimizer），以便能夠在模型結束訓練之後，繼續往下訓練；一般來說，如果是要做遷移學習、微調模型（fine-tune），那麼並不需要特別將上一次訓練的優化器保存下來。

[Machine Learning] 機器學習筆記-0 基本介紹

Clay
2022-02-222022-02-22
Machine Learning

前言

最早切身體會到 AI 的強大，是在 AlphaGo 第一次贏了曾是世界圍棋第一人的李世石老師的時候。我從小就嚮往著成為圍棋職業棋士，也花費了許多功夫鑽研棋盤上的競技之道，更重要的是，我從小就是李世石老師的棋迷，幾乎所有從以前認識我的棋界朋友都可以作證 XD…… 於是，在 AlphaGo 擊敗李世石老師的時候，我吃驚到彷彿自己的價值觀都被顛覆了一般。

[Machine Learning] CodeBERT 使用方法與介紹（附範例程式碼）

Clay
2021-10-262023-12-30
Linux, Machine Learning, Python, PyTorch

簡介

CodeBERT 這一預訓練模型（pre-trained model）提出自《CodeBERT: A Pre-Trained Model for Programming and Natural Languages》。

[NLP] 使用 aitextgen 套件來生成文本

Clay
2021-10-132021-10-13
Machine Learning, NLP, Python

aitextgen 是一個封裝得很高級的 Python 套件，讓使用者只需要寫短短幾行的程式碼，便能設定好複雜的 AI 模型。它的架構採用了 OpenAI’s GPT-2 和 EleutherAI’s GPT Neo/GPT-3，也能使用預訓練模型（pre-trained model）繼續進行模型的微調。