Skip to content

Python

[Python] 使用 Selenium 進行 Google 搜尋引擎的爬蟲

一直以來,我都想要寫一篇爬蟲的心得文,描述下 Regular Expression、IP 設置、User-Agent ...... 等等經常會用到的各種工具或小知識。一方面是因為當初寫 Blog 的初衷便是想要紀錄下自己學習的過程、一方面則是因為現在花了很多時間進行爬蟲的工作,怕將來若是比較少做,就會慢慢淡忘現在比較熟練的爬蟲技能。

Read More »[Python] 使用 Selenium 進行 Google 搜尋引擎的爬蟲

[Python] 使用 open() 開啟大檔案時避免記憶體錯誤的方法

在使用 Python 進行資料分析的時候,尤其是在進行自然語言處理 (NLP) 的任務時,我們很難避免跟一些過大的檔案打交道。但是我們的資料若是太大、大到我們一次全部載入記憶體便會發生報錯,那麼我們究竟該怎麼處理這些太大的檔案呢?

Read More »[Python] 使用 open() 開啟大檔案時避免記憶體錯誤的方法