多语言文本正则化和反正则化
文本正则化（Text Normalization, TN）和反正则化（Inverse Text Normalization, ITN）是什么
文本正则化（Text Normalization, TN）和反正则化（Inverse Text Normalization, ITN）是语音交互系统中必不可少的部分。对于TN，广泛用于语音合成系统的前端的数据处理，对于ITN，则广泛用于语音识别后的文本数据处理，实现从口语域到书面域的文字的转换，使显示的文字更加符合人的阅读习惯。
当前学术界和工业界被广泛使用的TN/ITN系统
- 基于语法规则WFST的系统 这种系统由大量特定语言的语法组成，该方法的优点是准确性可控，可以快速修复语法中的Badcase,该方法的不足在于没有特定上下文情况下，对于产生歧义的文本不够鲁棒。
- 基于神经网络模型的系统 这种系统需要大量的训练数据，需要这种语言的语法规则，将书面域转换为相应的口语域的数据，以产生大量的覆盖范围更广的数据。同时其方法的另外一个主要的缺点是无法修复转变的错误，修复Badcase的方法不如基于语法规则的方式来的简单。
- 混合使用语法和神经网络系统 这种混合系统中当系统没有找到匹配的语法规则时，才利用神经网络模型进行转换。该方法比较好的权衡了规则和模型的优劣，但对系统的计算资源等提出更高的要求。
基于上述三种不同系统的优劣，选择利用基于语法的WFST方案，同时利用最广泛的Google公司推出的Sparrowhawk框架，开源包括中、韩、日等十多种不同语言的ITN规则。同时基于FunASR/funtextprocessing，开源了设计和生成这些ITN规则的工具。该工具提供了安装、测试、导出的python工具。具体的使用方法可以参考FunASR/funtextprocessing中的README。
文本正则化和反正则化示意如下：
快速上手
运行范围
- 现阶段只能在Linux-x86_64运行，不支持Mac和Windows。
使用方式
- 直接推理：可以直接对输入的反正话的文字，输出转换之后的文字。
- 修改：利用FunASR/funtextprocessing/inversetextnormalization相应语言的不同语法规则进行修改。
使用范围与目标场景
- 相应语言语音识别的后处理。
安装
bash fun_text_processing/install_pynini.sh
例子
中文ITN例子
python fun_text_processing/inverse_text_normalization/inverse_normalize.py --text="二零二二年十二月二十四日，有二分之一的概率都不会在下午两点半外出。" --language=zh
英文ITN例子
python fun_text_processing/inverse_text_normalization/inverse_normalize.py --text="one hundred twenty three" --language=en
印尼语ITN例子
python fun_text_processing/inverse_text_normalization/inverse_normalize.py --text="ratus dua puluh tiga" --language=id --cache_dir ./model/ --output_file output.txt
cat output.txt
api调用范例
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
itn_inference_pipline = pipeline(
task=Tasks.inverse_text_processing,
model='damo/asr_speech_post_processing_itn-en')
rec_result = itn_inference_pipline(text_in='on december second, we paid one hundred and twenty three dollars for christmas tree.')
print(rec_result)
数据评估及结果
相关论文以及引用信息
https://github.com/alibaba-damo-academy/FunASR/tree/main/fun_text_processing
```
评论