NLP

自然語言處理

[NLP] BLEU 計算相似度

BLEU 是一種評估文字相似度的演算法，經常用於評估『機器翻譯』與『人工翻譯』之間的相似度。最近由於有比對文句之間相似度與否的需求，故在他人推薦之夏稍微研究了一下 BLEU 的原理，同時試用了 NLTK 中提供的 BLEU 函式。

我曾經在 Stanford CoreNLP 教學 —— by Python 紀錄了該如何透過 Python 調用 Stanford CoreNLP 這個由 Stanford 團隊開發的好用工具。不過，就在最近我重新按照我自己寫的流程操縱的時候，我在新的版本遇到了以下這樣的問題：

在我們進行自然語言處理 (NLP) 任務的時候，有時候，我們會需要進行『兩個句子』的比對，好用來確認他們兩者之間相似不相似 —— 當然，如果想要比較文本，也是可以這麼做，不過稍微有點少見。

今天我在使用 Python 進行自然語言處理 (NLP) 的遇到了這個問題：

如果今天我們想要進行文字的翻譯，大部分的人想必都會不約而同地使用『Google 翻譯』吧！畢竟一來 Google 翻譯的名聲相當響亮、二來由於近年來 NLP 相關的深度學習技術越來越成熟，Google 翻譯的品質也是逐年提昇。

Facebook AI 團隊在本周開源了聊天機器人 Blender，印象中這個專案 (當時似乎是叫做 ParlAI) 似乎幾年前就有看過了？不過既然 Facebook 現在公佈了 Blender 出來，那想必是有其過人之處。

我最近研究了一會兒的文字雲產生工具，使用的當然是 Python 上鼎鼎有名的 wordcloud。目前我有個想做的功能是自定義圖片的背景，不過上網一查目前只有找到使用圖片遮罩置換圖片形狀 …… 我直覺可能是這個功能太簡單、而且太單純了，所以反而沒什麼人討論。

在 Python 中的 wordcloud 是一個著名於產生文字雲的模組。今天我想要紀錄的是該如何控制文字雲中的顏色。

wordcloud 是個 Python 中用於產生文字雲的模組，之前我也簡單地寫過該怎麼使用這個套件來製作文字雲。不過今天我更進一步地研究了設定 wordcloud 依照不同的『圖片遮罩』來產生不同形狀的文字雲、甚至控制文字雲的顏色。

FastText 是由 Facebook AI Research Lab (FAIR) 所開發的『詞嵌入』以及『文本分類』，支援 294 種語言，並且使用類神經網路訓練詞嵌入模型。