2023年2月（2月17号发布）：fuasr-0.2.0, modelscope-1.3.0 功能完善： 上线新模型： 2023年1月（1月16号发布）：fuasr-0.1.6, modelscope-1.2.0 上线新模型： 将原TesorFlow模型升级为Pytorch模型，进行推理，并支持微调定制，包括： 闽南语UiASR模型可以在不提供语种信息的情况下，识别闽南语方言、普通话，实现闽南语普通话自由说。下面主要介绍UiASR模型: UiASR 模型是一种2遍刷新模型（Two pass）端到端语音识别模型。日益丰富的业务需求，不仅要求识别效果精度高，而且要求能够实时地进行语音识别。一方面，离线语音识别系统具有较高的识别准确率，但其无法实时的返回解码文字结果，并且，在处理长语音时，容易发生解码重复的问题，以及高并发解码超时的问题等；另一方面，流式系统能够低延时的实时进行语音识别，但由于缺少下文信息，流式语音识别系统的准确率不如离线系统，在流式业务场景中，为了更好的折中实时性与准确率，往往采用多个不同时延的模型系统。为了满足差异化业务场景对计算复杂度、实时性和准确率的要求，常用的做法是维护多种语音识别系统，例如，CTC系统、E2E离线系统、SCAMA流式系统等。在不同的业务场景使用不同的模型和系统，不仅会增加模型生产成本和迭代周期，而且会增加引擎以及服务部署的维护成本。因此，我们设计了离线流式一体化语音识别系统——UiASR。UiASR同时具有高精度和低延时的特点，不仅能够实时输出语音识别结果，而且能够在说话句尾用高精度的解码结果修正输出，与此同时，UiASR采用动态延时训练的方式，替代了之前维护多套延时流式系统的做法。通过设计UiASR语音识别系统，我们将之前多套语音识别系统架构统一为一套系统架构，一个模型满足所有业务场景，显著的降低了模型生产和维护成本。
其模型结构如下图所示： UiASR模型结构如上图所示，包含离线语音识别部分和流式语音识别部分。其中，离线与流式部分通过共享一个动态编码器（Ecoder）结构来降低计算量。流式语音识别部分是由动态时延 Ecoder 与流式解码器（Decoder）构成。动态时延 Ecoder 采用时延受限有句记忆单元的自注意力（LC-SAN-M）结构；流式 Decoder 采用动态 SCAMA 结构。离线语音识别部分包含了降采样层（Sride Cov）、Big-Chuk Ecoder、文本Ecoder与SCAMA Decoder。为了降低刷新输出结果的尾点延时，离线识别部分采用大Chuk 流式结构。其中，Stride Cov结构是为了降低计算量。文本 Ecoder 增加了离线识别的语义信息。为了让模型能够具有不同延时下进行语音识别的能力，我们创新性地设计了动态时延训练机制，使得模型能够同时满足不同业务场景对延时和准确率的要求。
根据业务场景特征，我们将语音识别需求大致分为3类： 为了同时满足上面3种业务场景需求，我们将模型分成3种解码模式，分别对应为： 在模型部署阶段，通过发包指定该次语音识别服务的场景模式和延时配置。这样，通过UiASR系统，我们统一了离线流式语音识别系统架构，提高模型识别效果的同时，不仅降低了模型生产成本和迭代周期，还降低了引擎以及服务部署维护成本。目前我们提供的语音识别服务基本都是基于UiASR。 本项目提供的预训练模型是基于大数据训练的通用领域识别模型，开发者可以基于此模型进一步利用ModelScope的微调功能或者本项目对应的Github代码仓库FuASR进一步进行模型的领域定制化。 对于有开发需求的使用者，特别推荐您使用Notebook进行离线处理。先登录ModelScope账号，点击模型页面右上角的“在Notebook中打开”按钮出现对话框，首次使用会提示您关联阿里云账号，按提示操作即可。关联账号后可进入选择启动实例界面，选择计算资源，建立实例，待实例创建完成后进入开发环境，进行调用。 识别结果输出路径结构如下： rtf：计算过程耗时统计 score：识别路径得分 text：语音识别结果文件 time_stamp：时间戳结果文件 可根据使用需求对VAD和PUNC标点模型进行自由组合，使用方式如下： 以AISHELL-1数据集为例，完整数据集已经上传ModelScope，可通过数据集英文名（speechasraishell1_traisets）搜索： 可将上述代码保存为py文件（如fietue.py），直接pytho fietue.py运行；若使用多卡进行训练，如下命令： 私有数据集格式按如下准备： 其中，text文件中存放音频标注，wav.scp文件中存放wav音频绝对路径，样例如下： 支持基于ModelScope上数据集及私有数据集进行定制微调和推理，使用方式同Notebook中开发。 FuASR框架支持魔搭社区开源的工业级的语音识别模型的traiig & fietuig，使得研究人员和开发者可以更加便捷的进行语音识别模型的研究和生产，目前已在Github开源：https://github.com/alibaba-damo-academy/FuASR 。若在使用过程中遇到任何问题，欢迎联系我们：联系方式 接下来会以私有数据集为例，介绍如何在FuASR框架中进行模型推理以及微调。 若修改输出路径、数据路径、采样率、batch_size等配置，可参照在Notebook开发中私有数据微调部分的代码，修改fietue.py文件中配置，例如： 若想使用多卡进行微调训练，可按执行如下命令： 运行范围 使用方式 使用范围与目标场景 考虑到特征提取流程和工具以及训练工具差异，会对CER的数据带来一定的差异（<0.1%），推理GPU环境差异导致的RTF数值差异。Highlights
Release Notes
项目介绍
低延迟实时听写：如电话客服，IOT语音交互等，该场景对于尾点延迟非常敏感，通常需要用户说完以后立马可以得到识别结果。
流式实时听写：如会议实时字幕，语音输入法等，该场景不仅要求能够实时返回语音识别结果，以便实时显示到屏幕上，而且还需要能够在说话句尾用高精度识别结果刷新输出。
离线文件转写：如音频转写，视频字幕生成等，该场景不对实时性有要求，要求在高识别准确率情况下，尽可能快的转录文字。
fast 模式：只有一遍解码，采用低延时实时出字模式；
ormal 模式：2遍解码，第一遍低延时实时出字上屏，第二遍间隔3～6s（可配置）对解码结果进行刷新；
offlie 模式：只有一遍解码，采用高精度离线模式；
如何使用与训练自己的模型
在Notebook中开发
基于ModelScope进行推理
cat wav.scp
asr_example1 data/test/audios/asr_example1.wav
asr_example2 data/test/audios/asr_example2.wav
...
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks
iferece_pipelie = pipelie(
task=Tasks.auto_speech_recogitio,
model='damo/speech_UiASR_asr_2pass-mia-16k-commo-vocab3825')
rec_result = iferece_pipelie(audio_i='https://isv-data.oss-c-hagzhou.aliyucs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav')
prit(rec_result)
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks
iferece_pipelie = pipelie(
task=Tasks.auto_speech_recogitio,
model='damo/speech_UiASR_asr_2pass-mia-16k-commo-vocab3825',
param_dict={"decodig_model": "ormal"})
rec_result = iferece_pipelie(audio_i='https://isv-data.oss-c-hagzhou.aliyucs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav')
prit(rec_result)
rec_result = iferece_pipelie(audio_i='asr_example_zh.wav')
iferece_pipelie = pipelie(
task=Tasks.auto_speech_recogitio,
model='damo/speech_UiASR_asr_2pass-mia-16k-commo-vocab3825',
output_dir='./output_dir')
iferece_pipelie("wav.scp")
tree output_dir/
output_dir/
└── 1best_recog
├── rtf
├── score
├── text
└── time_stamp
1 directory, 4 files
import soudfile
waveform, sample_rate = soudfile.read("asr_example_zh.wav")
rec_result = iferece_pipelie(audio_i=waveform)
iferece_pipelie = pipelie(
task=Tasks.auto_speech_recogitio,
model='damo/speech_UiASR_asr_2pass-mia-16k-commo-vocab3825',
vad_model='damo/speech_fsm_vad_zh-c-16k-commo-pytorch',
puc_model='damo/puc_ct-trasformer_zh-c-commo-vocab272727-pytorch',
)
基于ModelScope进行微调
import os
from modelscope.metaifo import Traiers
from modelscope.traiers import build_traier
from modelscope.msdatasets import MsDataset
def modelscope_fietue(params):
if ot os.path.exists(params.output_dir):
os.makedirs(params.output_dir, exist_ok=True)
# dataset split ["trai", "validatio"]
ds_dict = MsDataset.load(params.data_path)
kwargs = dict(
model=params.model,
data_dir=ds_dict,
dataset_type=params.dataset_type,
work_dir=params.output_dir,
batch_bis=params.batch_bis,
max_epoch=params.max_epoch,
lr=params.lr)
traier = build_traier(Traiers.speech_asr_traier, default_args=kwargs)
traier.trai()
if __ame__ == '__mai__':
from fuasr.utils.modelscope_param import modelscope_args
params = modelscope_args(model="damo/speech_UiASR_asr_2pass-mia-16k-commo-vocab3825")
params.output_dir = "./checkpoit" # 模型保存路径
params.data_path = "speech_asr_aishell1_traisets" # 数据路径，可以为modelscope中已上传数据，也可以是本地数据
params.dataset_type = "small" # 小数据量设置small，若数据量大于1000小时，请使用large
params.batch_bis = 2000 # batch size，如果dataset_type="small"，batch_bis单位为fbak特征帧数，如果dataset_type="large"，batch_bis单位为毫秒，
params.max_epoch = 50 # 最大训练轮数
params.lr = 0.00005 # 设置学习率
modelscope_fietue(params)
CUDA_VISIBLE_DEVICES=1,2 pytho -m torch.distributed.lauch --proc_per_ode 2 fietue.py > log.txt 2>&1
params.data_path = "speech_asr_aishell1_traisets"
tree ./example_data/
./example_data/
├── validatio
│ ├── text
│ └── wav.scp
└── trai
├── text
└── wav.scp
2 directories, 4 files
cat ./example_data/text
BAC009S0002W0122 而 对 楼 市 成 交 抑 制 作 用 最 大 的 限 购
BAC009S0002W0123 也 成 为 地 方 政 府 的 眼 中 钉
cat ./example_data/wav.scp
BAC009S0002W0122 /mt/data/wav/trai/S0002/BAC009S0002W0122.wav
BAC009S0002W0123 /mt/data/wav/trai/S0002/BAC009S0002W0123.wav
在本地机器中开发
基于ModelScope进行微调和推理
基于FuASR进行微调和推理
FuASR框架安装
pip istall "modelscope[audio_asr]" -f https://modelscope.oss-c-beijig.aliyucs.com/releases/repo.html
git cloe https://github.com/alibaba/FuASR.git && cd FuASR
pip istall --editable ./
基于FuASR进行推理
cd egs_modelscope/asr/uiasr/speech_UiASR_asr_2pass-mia-16k-commo-vocab3825
pytho ifer.py
基于FuASR进行微调
cd egs_modelscope/asr/uiasr/speech_UiASR_asr_2pass-mia-16k-commo-vocab3825
pytho fietue.py
if __ame__ == '__mai__':
from fuasr.utils.modelscope_param import modelscope_args
params = modelscope_args(model="damo/speech_UiASR_asr_2pass-mia-16k-commo-vocab3825", data_path = "./data")
params.output_dir = "./checkpoit"
params.data_dir = "./example_data/"
params.batch_bis = 2000
modelscope_fietue(params)
CUDA_VISIBLE_DEVICES=1,2 pytho -m torch.distributed.lauch --proc_per_ode 2 fietue.py > 1234.txt 2>&1
使用方式以及适用范围
模型局限性以及可能的偏差
相关论文以及引用信息
@iproceedigs{gao2020uiversal,
title={Uiversal ASR: Uifyig Streamig ad No-Streamig ASR Usig a Sigle Ecoder-Decoder Model},
author={Gao, Zhifu ad Zhag, Shiliag ad Lei, Mig ad McLoughli, Ia},
booktitle={arXiv preprit arXiv:2010.14099},
year={2010}
}
点击空白处退出提示
评论