mT5: A massively multilingual pre-trained text-to-text transformer

mT5：多语言版本的预训练语言模型T5.

• paper：mT5: A massively multilingual pre-trained text-to-text transformer
• arXiv：link

mT5(Multilingual T5)是多语言版本的预训练语言模型T5，其采用T5.1.1结构设计，并构建了多国语言版的训练数据集mC4，其技术路线并无太大创新。其实验结果如下：

其中Cross-lingual zero-shot transfer是指只在英语上进行预训练，在其他语言上测试性能。即在跨语种任务上的zero shot表现。