Skip to content

Python

[已解決][PyTorch] 編譯(compile)後模型權重多出 "_orig_mod" 的前綴問題

問題描述

在 2023 年初,PyTorch 的 2.0 版本新增了一個 torch.compile() 的新功能,讓我們能夠在模型訓練/推理時能夠進一步提昇速度。與混合精度訓練的協同工作,經常能使我的訓練速度提昇一倍左右。

Read More »[已解決][PyTorch] 編譯(compile)後模型權重多出 "_orig_mod" 的前綴問題

[已解決] RuntimeError: OrderedDict mutated during iteration - OrderedDict 不能在迭代時發生變化

問題描述

今天我在讀取已經被 torch.compile() 之後儲存起來的模型權重,發現模型權重是使用 OrderedDict 資料結構儲存著,而這種結構本身是有序序列,換言之它的資料內容是需要嚴格遵守排序的。

Read More »[已解決] RuntimeError: OrderedDict mutated during iteration - OrderedDict 不能在迭代時發生變化

LeetCode: 2391-Minimum Amount of Time to Collect Garbage 解題紀錄

題目

You are given a 0-indexed array of strings garbage where garbage[i] represents the assortment of garbage at the ith house. garbage[i] consists only of the characters 'M''P' and 'G' representing one unit of metal, paper and glass garbage respectively. Picking up one unit of any type of garbage takes 1 minute.

Read More »LeetCode: 2391-Minimum Amount of Time to Collect Garbage 解題紀錄

使用 CuPy 來利用 GPU 提昇矩陣運算速度

前言

CuPy 是一個開源的 GPU 加速數值計算函式庫,專為深度學習以及科學計算而設計。它和 Python 中著名的 NumPy 套件有許多相同的使用方法與函式,但更進一步能夠在 GPU 上執行運算。簡單來說,例如矩陣運算等能夠利用 GPU 平行化計算的用途,CuPy 能夠實現一定程度的加速。

Read More »使用 CuPy 來利用 GPU 提昇矩陣運算速度
Exit mobile version