Skip to content

6 月 2023

Consensus: 使用 AI 驅動的論文搜尋引擎

Last Updated on 2023-06-28 by Clay

在研究一些 AI 模型的時候，或許是研究所時保留下來的習慣，我總是會去翻翻模型、系統、套件相關的論文，就算只是粗略掃過 Abstract、Introduction、Conclusion 以及圖表也好，至少我能對我正在使用什麼東西、這東西背後是怎麼驅動的有個底，不是只會直接把開發團隊附上的程式碼跑起來就好。

Read More »Consensus: 使用 AI 驅動的論文搜尋引擎

Microsoft Azure Cosmos DB for MongoDB (vCore) 使用向量搜索 Comment

Last Updated on 2023-06-26 by Clay

介紹

Microsoft Azure Cosmos DB for MongoDB 是 Azure Cosmos DB 的一種 API，它可以讓使用者在 Cosmos DB 中運行 MongoDB 應用程式，而無需修改代碼。這讓開發者可以利用 Cosmos DB 的全球分佈、多模型和極限擴展的特性，同時還可以使用熟悉的 MongoDB 工具和 SDK。

Read More »Microsoft Azure Cosmos DB for MongoDB (vCore) 使用向量搜索 Comment

[已解決] Some weights of the model checkpoint at distilbert-base-multilingual-cased were not used when initializing DistilBertForSequenceClassification: [‘vocab_projector.bias’, ‘vocab_layer_norm.bias’, ‘vocab_layer_norm.weight’, ‘vocab_transform.weight’, ‘vocab_transform.bias’]

Last Updated on 2023-06-19 by Clay

問題描述

在使用 transformers 套件時，如果當我們使用如 AutoModelForSequenceClassification、AutoModelForSeq2SeqLM… 這樣不同 head 的任務模型時，經常我們會得到以下錯誤訊息：

Read More »[已解決] Some weights of the model checkpoint at distilbert-base-multilingual-cased were not used when initializing DistilBertForSequenceClassification: [‘vocab_projector.bias’, ‘vocab_layer_norm.bias’, ‘vocab_layer_norm.weight’, ‘vocab_transform.weight’, ‘vocab_transform.bias’]

[已解決] UserWarning: CUDA initialization: CUDA unknown error – this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero. (Triggered internally at …/c10/cuda/CUDAFunctions.cpp:109.) return torch._C._cuda_getDeviceCount() > 0

Last Updated on 2023-06-07 by Clay

問題描述

今天我在我的伺服器訓練模型時，我寫好了一份多片 GPU 平行化訓練的腳本，接著把最新的資料輸入給模型開始訓練；但是在訓練過程中，我得到了沒有 GPU 的錯誤訊息。當我使用 torch.cuda.is_available() 確認時，得到了以下錯誤訊息。

Read More »[已解決] UserWarning: CUDA initialization: CUDA unknown error – this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero. (Triggered internally at …/c10/cuda/CUDAFunctions.cpp:109.) return torch._C._cuda_getDeviceCount() > 0