MassivelyMultiligualSpeech(MMS)是由Meta开源的一个AI语音识别模型。支持1107种语言的语音转文本和文本转语音，以及4000多种语言的语言识别。
MMS项目将支持的语言数量增加了10-40倍，具体取决于任务。主要成分是一个新的数据集，该数据集基于对公开宗教文本的阅读，并有效地利用了自我监督学习。
项目团队构建了涵盖1406种语言的预训练wav2vec2.0模型、1107种语言的单一多语言自动语音识别模型、相同数量语言的语音合成模型，以及4017种语言的语言识别模型。实验表明，该多语言语音识别模型在FLEURS基准测试的54种语言上将Whisper的单词错误率降低了一半以上，同时在一小部分标记数据上进行了训练。
关于MMS所涵盖的语言的概述，可查看此处。
预训练模型ModelLikMMS-300MdowloadMMS-1Bdowload可以在此处找到微调预训练模型的示例命令。微调模型ASRModelLaguagesDatasetModelSupportedlaguagesMMS-1B:FL102102FLEURSdowloaddowloadMMS-1B:L11071107MMS-labdowloaddowloadMMS-1B-all1162MMS-lab+FLEURS+CV+VP+MLSdowloaddowloadTTS下载1107种语言的isocodes 列表。找到目标语言的isocode并下载checkpoit。每个文件夹包含3个文件：G_100000.pth、cofig.jso、vocab.txt。#Examples:wgethttps://dl.fbaipublicfiles.com/mms/tts/eg.tar.gz#Eglish(eg)wgethttps://dl.fbaipublicfiles.com/mms/tts/azj-script_lati.tar.gz#NorthAzerbaijai(azj-script_lati)LID#LaguagesDatasetModelDictioarySupportedlaguages126FLEURS+VL+MMS-lab-U+MMS-ulabdowloaddowloaddowload256FLEURS+VL+MMS-lab-U+MMS-ulabdowloaddowloaddowload512FLEURS+VL+MMS-lab-U+MMS-ulabdowloaddowloaddowload1024FLEURS+VL+MMS-lab-U+MMS-ulabdowloaddowloaddowload2048FLEURS+VL+MMS-lab-U+MMS-ulabdowloaddowloaddowload4017FLEURS+VL+MMS-lab-U+MMS-ulabdowloaddowloaddowload
评论