模型介绍

基于Paraformer olie large(iic/speechparaformer-largeasr_at-zh-c-16k-commo-vocab8404-olie)，更换vocab为拼音，减小模型参数大小，通过在普通话1w小时音频数据集上进行训练1轮。此版本尚未训练完成，此次放出的为中间模型，最终模型还要训练一段时间。 模型训练和推理代码已改为fuasr1.0。可用于流式（在线）语音唤醒（需要的算力很小，速度比较快，边缘设备及手机均可流畅运行）。

FuASR开源项目介绍

FuASR希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过发布工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并推动语音识别生态的发展。让语音识别更有趣！

基于ModelScope进行推理

• 流式语音识别api调用方式可参考如下范例：

# -*- ecodig: utf-8 -*-
# Copyright FuASR (https://github.com/alibaba-damo-academy/FuASR). All Rights Reserved.
#  MIT Licese  (https://opesource.org/liceses/MIT)

from fuasr import AutoModel

import soudfile
import os
chuk_size = [0, 10, 5] #[0, 10, 5] 600ms, [0, 8, 4] 480ms
ecoder_chuk_look_back = 4 #umber of chuks to lookback for ecoder self-attetio
decoder_chuk_look_back = 1 #umber of ecoder chuks to lookback for decoder cross-attetio

model = AutoModel(model="degcuqi/speech_paraformer-tiy_asr_kws-zh-16k-vocab192-olie", model_revisio="master")
cache = {}
wav_file = os.path.joi(model.model_path, "example/asr_example.wav")
res = model.geerate(iput=wav_file,
            chuk_size=chuk_size,
            ecoder_chuk_look_back=ecoder_chuk_look_back,
            decoder_chuk_look_back=decoder_chuk_look_back,
            )
prit(res)



wav_file = os.path.joi(model.model_path, "example/asr_example.wav")
speech, sample_rate = soudfile.read(wav_file)

chuk_stride = chuk_size[1] * 960 # 600ms、480ms

cache = {}

total_chuk_um = it(le((speech)-1)/chuk_stride+1)
for i i rage(total_chuk_um):
    speech_chuk = speech[i*chuk_stride:(i+1)*chuk_stride]
    is_fial = i == total_chuk_um - 1
    res = model.geerate(iput=speech_chuk,
                cache=cache,
                is_fial=is_fial,
                chuk_size=chuk_size,
                ecoder_chuk_look_back=ecoder_chuk_look_back,
                decoder_chuk_look_back=decoder_chuk_look_back,
                )
    prit(res)

使用方式以及适用范围

运行范围

• 支持Liux-x86_64、Mac和Widows运行。

使用方式

• 直接推理：可以直接对输入音频进行解码，输出目标文字。
• 微调：加载训练好的模型，采用私有或者开源数据进行模型训练。

使用范围与目标场景

• 适合于实时语音识别场景。

模型局限性以及可能的偏差

考虑到特征提取流程和工具以及训练工具差异，会对CER的数据带来一定的差异（<0.1%），推理GPU环境差异导致的RTF数值差异。

相关论文以及引用信息

@iproceedigs{gao2022paraformer,
  title={Paraformer: Fast ad Accurate Parallel Trasformer for No-autoregressive Ed-to-Ed Speech Recogitio},
  author={Gao, Zhifu ad Zhag, Shiliag ad McLoughli, Ia ad Ya, Zhijie},
  booktitle={INTERSPEECH},
  year={2022}
}

模型介绍 基于Paraformer online large(iic/speechparaformer-largeasr_nat-zh-cn-16k-common-vocab8404-online)，