Last Updated on 2022-07-27 by Clay
問題描述
最近我的某項工作就是把之前的舊專案使用 PyTorch Lightning 重構成新的訓練環節,並確保分數並沒有太大變化。其中,在我將某項二分類專案重構後,試跑出現了以下錯誤:
RuntimeError: CUDA error: device kernel image is invalid
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
Segmentation fault (core dumped)
解決方法
方法一: 使用 CPU 執行任務
首先,這份報錯訊息其實並沒有實際指出問題所在。為了精確定位問題,我們可以考慮的第一個方法就是直接使用 CPU 去跑,確認是否仍然會有問題出現。
方法二: 加入 “CUDA_LAUNCH_BLOCKING=1” 參數執行程式
首先,報錯說明其實已經提及了,如果想要 debug,需要傳入 CUDA_LAUNCH_BLOCKING=1
當作參數,以獲取更多的錯誤資訊。
所以要加入參數使用類似以下指令:
CUDA_LAUNCH_BLOCKING=1 python
順帶一提,在我的任務中加入此參數執行時,出現的報錯資訊為:
RuntimeError: torch.nn.functional.binary_cross_entropy and torch.nn.BCELoss are unsafe to autocast. Many models use a sigmoid layer right before the binary cross entropy layer.
In this case, combine the two layers using torch.nn.functional.binary_cross_entropy_with_logits or torch.nn.BCEWithLogitsLoss. binary_cross_entropy_with_logits and BCEWithLogits are safe to autocast.
簡單來講,我自行設定了輸出時經過 sigmoid 層並輸入 Binary Cross Entropy 的函式來計算損失函數(loss function),而 autocast 時程式覺得容易出錯;它推薦直接使用 BCEWithLogitsLoss()
和 binary_cross_entropy_with_logits()
函式。
當我修改了這些寫法後,我的任務成功開始運作了。
References
- https://discuss.pytorch.org/t/whats-the-meaning-of-this-error-how-can-i-debug-when-i-use-gpu/8052
- https://blog.csdn.net/Geek_of_CSDN/article/details/86527107
Read More
- [已解決][PyTorch] RuntimeError: Attempting to deserialize object on CUDA device 3 but torch.cuda.device_count() is 1.
- [已解決][PyTorch] RuntimeError: CUDA out of memory. Tried to allocate 2.0 GiB
- [已解決] RuntimeError: Input and parameter tensors are not at the same device, found input tensor at cpu and parameter tensor at cuda:0