Skip to content

Machine Learning

使用 HuggingFace Transformer 中的 TextStreamer 和 TextIteratorStreamer 來實現串流式（stream）輸出生成 token

前言

現在的生成式模型越來越厲害的，各個獨立研究人員也都部署起了一個又一個的開源大型語言模型（LLMs）。但是在使用大型語言模型做推理、生成回覆時，要是真要去等待一個比較長的輸出，那是真的挺花時間的。

Read More »使用 HuggingFace Transformer 中的 TextStreamer 和 TextIteratorStreamer 來實現串流式（stream）輸出生成 token

[已解決] Some weights of the model checkpoint at distilbert-base-multilingual-cased were not used when initializing DistilBertForSequenceClassification: ['vocab_projector.bias', 'vocab_layer_norm.bias', 'vocab_layer_norm.weight', 'vocab_transform.weight', 'vocab_transform.bias']

問題描述

在使用 transformers 套件時，如果當我們使用如 AutoModelForSequenceClassification、AutoModelForSeq2SeqLM… 這樣不同 head 的任務模型時，經常我們會得到以下錯誤訊息：

Read More »[已解決] Some weights of the model checkpoint at distilbert-base-multilingual-cased were not used when initializing DistilBertForSequenceClassification: ['vocab_projector.bias', 'vocab_layer_norm.bias', 'vocab_layer_norm.weight', 'vocab_transform.weight', 'vocab_transform.bias']

[已解決] UserWarning: CUDA initialization: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero. (Triggered internally at …/c10/cuda/CUDAFunctions.cpp:109.) return torch._C._cuda_getDeviceCount() > 0

問題描述

今天我在我的伺服器訓練模型時，我寫好了一份多片 GPU 平行化訓練的腳本，接著把最新的資料輸入給模型開始訓練；但是在訓練過程中，我得到了沒有 GPU 的錯誤訊息。當我使用 torch.cuda.is_available() 確認時，得到了以下錯誤訊息。

Read More »[已解決] UserWarning: CUDA initialization: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero. (Triggered internally at …/c10/cuda/CUDAFunctions.cpp:109.) return torch._C._cuda_getDeviceCount() > 0

ImageBind：能轉換多模態向量的模型使用心得筆記

前言

最近的 Meta AI 真的是強到不行，似乎一瞬間站穩了 AI 研發巨擘的地位，而且還是樣樣開源的頂級標竿。從影像領域的能切割物件的 Segment Anything、到公開大型語言模型（Large Language Model）同時也是基石模型（fundational model）的 LLaMA（引起眾羊駝之亂的就是它！）、到最近能轉換 6 種模態（modals）的 ImageBind 跟語音模型計畫 （MMS）...... 只能說像我這種平凡人要努力跟上怎麼去使用都很費勁，更遑論試圖追逐他們的技術了。

Read More »ImageBind：能轉換多模態向量的模型使用心得筆記