Machine Learning

[已解決] ConvergenceWarning: lbfgs failed to converge (status=1): STOP: TOTAL NO. of ITERATIONS REACHED L

完整的報錯訊息為：

今天在執行以 Tensorflow 作為後端的 Keras 程式時，意外發生了以下報錯訊息：

過去我幾乎沒有使用 Weka 的經驗，但在因緣際會下，我有緣接觸了 Weka 這項適用於資料探勘、機器學習領域的工具，於是便簡單地紀錄在這裡。

搭建深度學習環境一直都不是一項簡單的事情，尤其是相當主流的 Nvidia 顯卡和 Tensorflow 的組合，其中版本的問題以及需要額外安裝的驅動、CUDA、cuDNN 就夠讓人頭疼了。而且主流的作業系統是 Linux 而非 Windows ，可以發現教學文明顯就少了些。

Early stopping 是一種應用於機器學習、深度學習的技巧，正如字面上的意思 —— 較早地停止。在進行監督式學習的過程中，這很有可能是一個找到模型收斂時機點的方法。

在使用 PyTorch 搭建深度學習環境的時候，若是我們有著切割資料集的需求（比方說將訓練資料切出驗證資料），在將資料封裝成 PyTorch 的 dataset 物件時，我們便可以透過 PyTorch 內建的切割函式 —— random_split() 來做到切割資料集。

PyTorch 是一個經常用於架構深度學習的框架，從名字就可以看出，是使用 Python 語法來調用的。PyTorch 封裝了各式各樣常用於深度學習的函式、神經網路、模型架構，使用上非常方便。

Tensorflow 可說是眾多深度學習框架當中最具知名度的（應該？），但是在我使用 Keras/Tensorflow 時，我經常會碰到以下這種關於 Numpy 版本的 FutureWarning：

在剛開始接觸 PyTorch 這個框架時，為了逐漸掌握 PyTorch 搭建模型的方法，我閱讀、執行過許多官方教學文件上的範例程式。那個時候，經常能在範例程式當中見到 squeeze()、unsqueeze() 等函式，卻不太明白這兩個函式究竟有什麼樣的用途。

TF-IDF (Term Frequency - Inverse Document Frequency) 是在文字探勘、自然語言處理當中相當著名的一種文字加權方法，能夠反映出『詞彙』對於『文件』的重要性。跟著名的 Word2Vec 同樣能夠將文字轉換成向量，以供電腦進行計算。