BigCode & StarCoder: 專精於程式的大型語言模型計畫
介紹
BigCode
首先我們先來介紹 BigCode 吧！BigCode 是一個由 Hugging Face 和 ServiceNow 共同領導的開放性科學合作項目，目的是共同開發能夠應用於『程式設計』的大型語言模型（Large Language Model, LLM）。
Read More »BigCode & StarCoder: 專精於程式的大型語言模型計畫Machine Learning
[Machine Learning] 可以和 Accuracy、F1 一同用於模型評估的 MCC 指標筆記
Introduction
每當我們訓練完一個深度學習模型後，就又到了我們評估模型好壞的時間。比方說分類任務所使用的分類模型，我們總是會拿各式各樣的指標來測試，比方說 precision、recall、F1-score、Accuracy… 指標間總是有好有壞，甚至有可能會互相衝突，所以大部分時候還是要依據任務的需求來選擇自己評估模型的指標的。
Read More »[Machine Learning] 可以和 Accuracy、F1 一同用於模型評估的 MCC 指標筆記
[已解決] HuggingFace Transformers 模型返回 "'ValueError: too many values to unpack (expected 2)', upon training a Bert binary classification model"
在現今深度學習的框架中，無論是使用 Tensorflow、PyTorch 還是其他框架，模型的輸入輸出、資料流向...... 等等，我們都需要十分注意其資料的形狀（shape）。因為一不小心，就會讓模型架構回傳錯誤訊息。
Read More »[已解決] HuggingFace Transformers 模型返回 "'ValueError: too many values to unpack (expected 2)', upon training a Bert binary classification model"
[已解決] 使用 AutoTokenizer.from_pretrained() 時發生 TypeError: not a string
今天我在離線環境中要使用 transformers 套件建立 ALBERT 模型時來處理 NLP 任務，當我透過 transformers 提供的 AutoTokenizer 讀取 ALBERT 模型的斷詞器：
Read More »[已解決] 使用 AutoTokenizer.from_pretrained() 時發生 TypeError: not a string
[已解決] simpletransformers 在訓練開始時卡住，不會繼續進行訓練
問題描述
今天我在測試 simpletransformers 這個知名的 Python NLP 深度學習套件時，我在個人筆電上遇到了模型在開始訓練時整個流程卡住的問題。
Read More »[已解決] simpletransformers 在訓練開始時卡住，不會繼續進行訓練
[Python] 如何取代 Pandas DataFrame 中特定 column 內的值
在做資料處理的過程中，經常會有需要將特定 column 的值做替換的步驟。可能是處理 missing value、可能是將錯誤的數值刪除...... 當然，Python 有眾多的工具、套件、函式可以來進行常見的取代任務。不過，總難免會有需要特殊處理的情況。
Read More »[Python] 如何取代 Pandas DataFrame 中特定 column 內的值Simple Transformers (1) - 基本介紹
介紹 Simple Transformers
Simple Transformers 是一個 Python 的 NLP 套件/框架，旨在減少使用 Transformer 模型時的複雜步驟。能夠讓使用者透過短短幾行的程式碼，快速實現一個 NLP 任務的深度學習模型訓練環境。
Read More »Simple Transformers (1) - 基本介紹[已解決] huggingface/tokenizers: The current process just got forked. after parallelism has already been used. Disabling parallelism to avoid deadlocks
問題描述
今天當我透過 simpletransformers 套件訓練模型時，我得到了一個我之前沒碰過的警告訊息：
Read More »[已解決] huggingface/tokenizers: The current process just got forked. after parallelism has already been used. Disabling parallelism to avoid deadlocks
[Machine Learning] T5 預訓練模型學習筆記
基本介紹
T5 ，全名是 Transfer Learning with a Unified Text-to-Text Transformer，在 2019 年底提出、隔年 2020 年則在 GLUE 上成為榜首，成功擠下了自家的 ALBERT。
Read More »[Machine Learning] T5 預訓練模型學習筆記[Machine Learning] 持續在 Kaggle Notebook 上訓練模型（關閉 session 也在遠端訓練）
Kaggle Notebook 每週都有提供一段不算短的 GPU 加速時間，並在每週六更新。也正因為如此，比起 Google Colab 我更推薦使用 Kaggle Notebook。
Read More »[Machine Learning] 持續在 Kaggle Notebook 上訓練模型（關閉 session 也在遠端訓練）