Skip to content

13 8 月, 2024

[論文閱讀] Lifting the Curse of Multilinguality by Pre-training Modular Transformers

Last Updated on 2024-08-19 by Clay

Cross-lingual Modular (X-Mod) 是一個有趣的語言模型架構,透過模組化不同語言的參數作為模組單元Module Unit)組裝在模型中,好讓語言模型在新增全新語言時,可以使用獨立的參數進行微調,而(比較)不會出現災難性遺忘的窘境。

Read More »[論文閱讀] Lifting the Curse of Multilinguality by Pre-training Modular Transformers