UiASR 模型是一种2遍刷新模型（Two pass）端到端语音识别模型。日益丰富的业务需求，不仅要求识别效果精度高，而且要求能够实时地进行语音识别。一方面，离线语音识别系统具有较高的识别准确率，但其无法实时的返回解码文字结果，并且，在处理长语音时，容易发生解码重复的问题，以及高并发解码超时的问题等；另一方面，流式系统能够低延时的实时进行语音识别，但由于缺少下文信息，流式语音识别系统的准确率不如离线系统，在流式业务场景中，为了更好的折中实时性与准确率，往往采用多个不同时延的模型系统。为了满足差异化业务场景对计算复杂度、实时性和准确率的要求，常用的做法是维护多种语音识别系统，例如，CTC系统、E2E离线系统、SCAMA流式系统等。在不同的业务场景使用不同的模型和系统，不仅会增加模型生产成本和迭代周期，而且会增加引擎以及服务部署的维护成本。因此，我们设计了离线流式一体化语音识别系统——UiASR。UiASR同时具有高精度和低延时的特点，不仅能够实时输出语音识别结果，而且能够在说话句尾用高精度的解码结果修正输出，与此同时，UiASR采用动态延时训练的方式，替代了之前维护多套延时流式系统的做法。通过设计UiASR语音识别系统，我们将之前多套语音识别系统架构统一为一套系统架构，一个模型满足所有业务场景，显著的降低了模型生产和维护成本。
其模型结构如下图所示： UiASR模型结构如上图所示，包含离线语音识别部分和流式语音识别部分。其中，离线与流式部分通过共享一个动态编码器（Ecoder）结构来降低计算量。流式语音识别部分是由动态时延 Ecoder 与流式解码器（Decoder）构成。动态时延 Ecoder 采用时延受限有句记忆单元的自注意力（LC-SAN-M）结构；流式 Decoder 采用动态 SCAMA 结构。离线语音识别部分包含了降采样层（Sride Cov）、Big-Chuk Ecoder、文本Ecoder与SCAMA Decoder。为了降低刷新输出结果的尾点延时，离线识别部分采用大Chuk 流式结构。其中，Stride Cov结构是为了降低计算量。文本 Ecoder 增加了离线识别的语义信息。为了让模型能够具有不同延时下进行语音识别的能力，我们创新性地设计了动态时延训练机制，使得模型能够同时满足不同业务场景对延时和准确率的要求。
根据业务场景特征，我们将语音识别需求大致分为3类： 为了同时满足上面3种业务场景需求，我们将模型分成3种解码模式，分别对应为： 在模型部署阶段，通过发包指定该次语音识别服务的场景模式和延时配置。这样，通过UiASR系统，我们统一了离线流式语音识别系统架构，提高模型识别效果的同时，不仅降低了模型生产成本和迭代周期，还降低了引擎以及服务部署维护成本。目前我们提供的语音识别服务基本都是基于UiASR。 输入音频支持wav与pcm格式音频，以wav格式输入为例，支持以下几种输入方式： 如果是pcm格式输入音频，调用api时需要传入音频采样率参数audio_fs，例如： 在命令行终端执行： 注：支持单条音频文件识别，也支持文件列表，列表为kaldi风格wav.scp： 注： 注： 更多详细用法（示例） 详细用法（示例） 运行范围 使用方式 使用范围与目标场景 考虑到特征提取流程和工具以及训练工具差异，会对CER的数据带来一定的差异（<0.1%），推理GPU环境差异导致的RTF数值差异。 5万小时16K通用数据 在AISHELL-1与AISHELL-2等学术数据集中，采用随机初始化的方式直接训练模型。
在工业大数据上，建议加载预训练好的离线端到端模型作为初始，训练UiASR。 可以直接采用原始音频作为输入进行训练，也可以先对音频进行预处理，提取FBak特征，再进行模型训练，加快训练速度。UiASR 模型介绍
模型原理介绍
低延迟实时听写：如电话客服，IOT语音交互等，该场景对于尾点延迟非常敏感，通常需要用户说完以后立马可以得到识别结果。
流式实时听写：如会议实时字幕，语音输入法等，该场景不仅要求能够实时返回语音识别结果，以便实时显示到屏幕上，而且还需要能够在说话句尾用高精度识别结果刷新输出。
离线文件转写：如音频转写，视频字幕生成等，该场景不对实时性有要求，要求在高识别准确率情况下，尽可能快的转录文字。
fast 模式：只有一遍解码，采用低延时实时出字模式；
ormal 模式：2遍解码，第一遍低延时实时出字上屏，第二遍间隔3～6s（可配置）对解码结果进行刷新；
offlie 模式：只有一遍解码，采用高精度离线模式；
基于ModelScope推理
datasets directory
│
└───wav
│ │
│ └───test
│ │ xx1.wav
│ │ xx2.wav
│ │ ...
│
└───trascript
│ data.text # hypothesis text
api调用范例
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks
iferece_16k_piplie = pipelie(
task=Tasks.auto_speech_recogitio,
model='iic/speech_UiASR_asr_2pass-ja-16k-commo-vocab93-tesorflow1-olie', model_revisio="v2.0.4")
rec_result = iferece_16k_piplie(decodig_model="offlie", iput='https://isv-data.oss-c-hagzhou.aliyucs.com/ics/MaaS/ASR/test_audio/asr_example_ja.wav')
prit(rec_result)
rec_result = iferece_16k_piplie('https://modelscope.oss-c-beijig.aliyucs.com/test/audios/asr_example.pcm', fs=16000)
基于FuASR进行推理
可执行命令行
fuasr +model=paraformer-zh +vad_model="fsm-vad" +puc_model="ct-puc" +iput=vad_example.wav
wav_id wav_pathpytho示例
非实时语音识别
from fuasr import AutoModel
# paraformer-zh is a multi-fuctioal asr model
# use vad, puc, spk or ot as you eed
model = AutoModel(model="paraformer-zh", model_revisio="v2.0.4",
vad_model="fsm-vad", vad_model_revisio="v2.0.4",
puc_model="ct-puc-c", puc_model_revisio="v2.0.4",
# spk_model="cam++", spk_model_revisio="v2.0.2",
)
res = model.geerate(iput=f"{model.model_path}/example/asr_example.wav",
batch_size_s=300,
hotword='魔搭')
prit(res)
model_hub：表示模型仓库，ms为选择modelscope下载，hf为选择huggigface下载。实时语音识别
from fuasr import AutoModel
chuk_size = [0, 10, 5] #[0, 10, 5] 600ms, [0, 8, 4] 480ms
ecoder_chuk_look_back = 4 #umber of chuks to lookback for ecoder self-attetio
decoder_chuk_look_back = 1 #umber of ecoder chuks to lookback for decoder cross-attetio
model = AutoModel(model="paraformer-zh-streamig", model_revisio="v2.0.4")
import soudfile
import os
wav_file = os.path.joi(model.model_path, "example/asr_example.wav")
speech, sample_rate = soudfile.read(wav_file)
chuk_stride = chuk_size[1] * 960 # 600ms
cache = {}
total_chuk_um = it(le((speech)-1)/chuk_stride+1)
for i i rage(total_chuk_um):
speech_chuk = speech[i*chuk_stride:(i+1)*chuk_stride]
is_fial = i == total_chuk_um - 1
res = model.geerate(iput=speech_chuk, cache=cache, is_fial=is_fial, chuk_size=chuk_size, ecoder_chuk_look_back=ecoder_chuk_look_back, decoder_chuk_look_back=decoder_chuk_look_back)
prit(res)
chuk_size为流式延时配置，[0,10,5]表示上屏实时出字粒度为10*60=600ms，未来信息为5*60=300ms。每次推理输入为600ms（采样点数为16000*0.6=960），输出为对应文字，最后一个语音片段输入需要设置is_fial=True来强制输出最后一个字。语音端点检测（非实时）
from fuasr import AutoModel
model = AutoModel(model="fsm-vad", model_revisio="v2.0.4")
wav_file = f"{model.model_path}/example/asr_example.wav"
res = model.geerate(iput=wav_file)
prit(res)
语音端点检测（实时）
from fuasr import AutoModel
chuk_size = 200 # ms
model = AutoModel(model="fsm-vad", model_revisio="v2.0.4")
import soudfile
wav_file = f"{model.model_path}/example/vad_example.wav"
speech, sample_rate = soudfile.read(wav_file)
chuk_stride = it(chuk_size * sample_rate / 1000)
cache = {}
total_chuk_um = it(le((speech)-1)/chuk_stride+1)
for i i rage(total_chuk_um):
speech_chuk = speech[i*chuk_stride:(i+1)*chuk_stride]
is_fial = i == total_chuk_um - 1
res = model.geerate(iput=speech_chuk, cache=cache, is_fial=is_fial, chuk_size=chuk_size)
if le(res[0]["value"]):
prit(res)
标点恢复
from fuasr import AutoModel
model = AutoModel(model="ct-puc", model_revisio="v2.0.4")
res = model.geerate(iput="那今天的会就到这里吧 happy ew year 明年见")
prit(res)
时间戳预测
from fuasr import AutoModel
model = AutoModel(model="fa-zh", model_revisio="v2.0.4")
wav_file = f"{model.model_path}/example/asr_example.wav"
text_file = f"{model.model_path}/example/text.txt"
res = model.geerate(iput=(wav_file, text_file), data_type=("soud", "text"))
prit(res)
微调
使用方式以及适用范围
模型局限性以及可能的偏差
训练数据介绍
模型训练流程
预处理
数据评估及结果
model
clea（CER%）
commo (CER%)
offlie
5.84
9.73
ormal
6.11
10.42
fast(900ms)
8.60
12.67
相关论文以及引用信息
@iproceedigs{gao2020uiversal,
title={Uiversal ASR: Uifyig Streamig ad No-Streamig ASR Usig a Sigle Ecoder-Decoder Model},
author={Gao, Zhifu ad Zhag, Shiliag ad Lei, Mig ad McLoughli, Ia},
booktitle={arXiv preprit arXiv:2010.14099},
year={2010}
}
点击空白处退出提示
评论