[論文閱讀] Lifting the Curse of Multilinguality by Pre-training Modular Transformers
Last Updated on 2024-08-19 by Clay
Cross-lingual Modular (X-Mod) 是一個有趣的語言模型架構,透過模組化不同語言的參數作為模組單元(Module Unit)組裝在模型中,好讓語言模型在新增全新語言時,可以使用獨立的參數進行微調,而(比較)不會出現災難性遺忘的窘境。
Read More »[論文閱讀] Lifting the Curse of Multilinguality by Pre-training Modular Transformers