Blog

[Python] 使用 open() 開啟大檔案時避免記憶體錯誤的方法

在使用 Python 進行資料分析的時候，尤其是在進行自然語言處理 (NLP) 的任務時，我們很難避免跟一些過大的檔案打交道。但是我們的資料若是太大、大到我們一次全部載入記憶體便會發生報錯，那麼我們究竟該怎麼處理這些太大的檔案呢？

在使用 VIM 編輯器進行程式撰寫的過程中，我們一定都會需要『複製』、『貼上』這樣的功能。應該說很多時候寫程式都有一套模板，我們可能需要針對當前不同的任務客製化我們先前寫好的模板。在這樣的需求下，我們一定會需要『複製』、『貼上』這樣的功能。

在使用終端機連接到遠端 Server 的時候，有時我們會很迫切地希望能夠隨時查看位於遠端的圖片，尤其是我們在進行影像處理的實驗時。

今天，在我使用 PyTorch 搭建模型時，突然間有了需要提交技術報告的需求 (?)，於是乎我簡單地找了下將模型視覺化的工具： torchviz。

今天想要紀錄的是在 Linux 中要如何判斷我們裝置內的硬碟究竟是 SSD (固態硬碟)呢？還是 HDD (傳統硬碟) 呢？其實在我們將硬碟掛載在裝置上的時候，都會有留下相關資訊的文件，我們可以直接翻看。

今天在回答一位朋友的問題時，突然間看到朋友的程式碼中出現了 "filter()" 這個函式，並且被他詢問了為什麼那行程式碼為什麼不能跑。

當我們在遠端伺服器上撰寫程式的時候，許多人都會選擇簡單直白的 VIM 編輯器來進行開發。不過 VIM 雖然開箱即用，但總是比在 IDE 當中少了不少的功能 ...... 或者應該說，除了『寫程式』這件事外，VIM 原生的環境便沒有什麼多的功能了。

當我們使用終端機連線回遠端的伺服器時，一般來說我們是無法開啟任何圖形化界面的程式的。不過實際上，我們是可以通過一些簡單的設定來讓我們可以在本地端的裝置上打開遠端的程式的。

熟悉使用 Linux 系統的人想必都對 "df" 指令不陌生吧！"df" 是個常用於檢查系統硬碟分配額度的指令，可以讓我們一目了然地知道目前系統硬碟的使用狀態。

CUDA 是一個對於熟悉於架構、使用 Deep Learning (深度學習) 環境的人來說，一定是常常聽見的名詞。我們經常會聽到，在我們啟用我們的 GPU 來進行模型的訓練時，我們需要安裝 GPU Driver、CUDA、cuDNN 等等的套件，好讓深度學習能夠擁有最佳效益。