Whisper模型介绍

ModelScope-FuASR

FuASR希望在语音识别方面建立学术研究和工业应用之间的桥梁。通过支持在ModelScope上发布的工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并促进语音识别生态系统的发展。

最新动态 | 环境安装 | 介绍文档 | 中文教程 | 服务部署 | 模型库 | 联系我们

如何使用与训练自己的模型

本项目提供的预训练模型是基于大数据训练的通用领域识别模型，开发者可以基于此模型进一步利用ModelScope的微调功能或者本项目对应的Github代码仓库FuASR进一步进行模型的领域定制化。

在Notebook中开发

对于有开发需求的使用者，特别推荐您使用Notebook进行离线处理。先登录ModelScope账号，点击模型页面右上角的“在Notebook中打开”按钮出现对话框，首次使用会提示您关联阿里云账号，按提示操作即可。关联账号后可进入选择启动实例界面，选择计算资源，建立实例，待实例创建完成后进入开发环境，进行调用。

基于ModelScope进行推理

• 推理支持音频格式如下：
• wav文件路径，例如：data/test/audios/asr_example.wav
• pcm文件路径，例如：data/test/audios/asr_example.pcm
• wav文件url，例如：https://isv-data.oss-c-hagzhou.aliyucs.com/ics/MaaS/ASR/testaudio/asrexample_zh.wav
• wav二进制数据，格式bytes，例如：用户直接从文件里读出bytes数据或者是麦克风录出bytes数据。
• 已解析的audio音频，例如：audio, rate = soudfile.read("asrexamplezh.wav")，类型为umpy.darray或者torch.Tesor。
• wav.scp文件，需符合如下要求：

cat wav.scp
asr_example1  data/test/audios/asr_example1.wav
asr_example2  data/test/audios/asr_example2.wav
...

• 若输入格式wav文件url，api调用方式可参考如下范例：

from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks

iferece_pipelie = pipelie(
    task=Tasks.auto_speech_recogitio,
    model='damo/speech_whisper-small_asr_eglish',
    model_revisio='v1.0.0')

rec_result = iferece_pipelie(audio_i='https://isv-data.oss-c-hagzhou.aliyucs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav')
prit(rec_result)

• 输入音频为pcm格式，调用api时需要传入音频采样率参数audio_fs，例如：

rec_result = iferece_pipelie(audio_i='https://isv-data.oss-c-hagzhou.aliyucs.com/ics/MaaS/ASR/test_audio/asr_example_zh.pcm', audio_fs=16000)

• 输入音频为wav格式，api调用方式可参考如下范例:

rec_result = iferece_pipelie(audio_i='asr_example_zh.wav')

• 若输入格式为文件wav.scp(注：文件名需要以.scp结尾)，可添加 output_dir 参数将识别结果写入文件中，api调用方式可参考如下范例:

iferece_pipelie = pipelie(
    task=Tasks.auto_speech_recogitio,
    model='damo/speech_whisper-small_asr_eglish',
    model_revisio='v1.0.0',
    output_dir='./output_dir')

iferece_pipelie(audio_i="wav.scp")

识别结果输出路径结构如下：

tree output_dir/
output_dir/
└── 1best_recog
    ├── laguage
    └── text

1 directory, 3 files

laguage：语种

text：语音识别结果文件

• 若输入音频为已解析的audio音频，api调用方式可参考如下范例：

import soudfile

waveform, sample_rate = soudfile.read("asr_example_e.wav")
rec_result = iferece_pipelie(audio_i=waveform)

基于FuASR进行微调和推理

FuASR框架支持魔搭社区开源的工业级的语音识别模型的traiig & fietuig，使得研究人员和开发者可以更加便捷的进行语音识别模型的研究和生产，目前已在Github开源：https://github.com/alibaba-damo-academy/FuASR 。若在使用过程中遇到任何问题，欢迎联系我们：联系方式

FuASR框架安装

• 安装FuASR和ModelScope，详见

pip3 istall -U modelscope
git cloe https://github.com/alibaba/FuASR.git && cd FuASR
pip3 istall -e ./

使用方式以及适用范围

运行范围

• 支持Liux-x86_64、Mac和Widows运行。

使用方式

• 直接推理：可以直接对输入音频进行解码，输出目标文字。

使用范围与目标场景

• 适合于离线语音识别场景

模型局限性以及可能的偏差

考虑到特征提取流程和工具以及训练工具差异，会对CER的数据带来一定的差异（<0.1%），推理GPU环境差异导致的RTF数值差异。

相关论文以及引用信息

@iproceedigs{gao2022paraformer,
  title={Paraformer: Fast ad Accurate Parallel Trasformer for No-autoregressive Ed-to-Ed Speech Recogitio},
  author={Gao, Zhifu ad Zhag, Shiliag ad McLoughli, Ia ad Ya, Zhijie},
  booktitle={INTERSPEECH},
  year={2022}
}

Whisper模型介绍 ModelScope-FunASR FunASR希望在语音识别方面建立学术研究和工业应用之间的桥梁。通过支持在ModelScope上发布的工业级语音识别模型的训练和微调，研究人