解决直播带货数字人语音合成部分语音自然度流畅度较差,或者表现力较差的问题,提高模型下限
点击空白处退出提示
解决直播带货数字人语音合成部分语音自然度流畅度较差,或者表现力较差的问题,提高模型下限
1. 直播带货场景下GSB评测,作为qwen3-tts后训练的reward model,和best of N选择。设计直播带货场景下评测标准和prompt,建立测试集并且用多名人工打标。基于speechjudge模型,首先采用真人和模型生成音频pair,用Gemini 3.1-pro进行打标后对speechjudge进行微调,然后对模型生成的音频pair使用Gemini 3.1-pro打标,再次微调以及后训练,使得speechjudge对于测试集的判断准确率高于Gemini3.1-pro。进一步优化训练数据来源,同时微调qwen3-omni,对不同评判维度采用不同的权重训练。最终在直播表现力的4个测试集上准确率均超过Gemini3.1-pro-preview。在学术上继续进行探索,设计注意力机制缓解模型生成长CoT时对输入音频关注的减弱。
1. 直播带货场景下GSB评测,作为qwen3-tts后训练的reward model,和best of N选择。设计直播带货场景下评测标准和prompt,建立测试集并且用多名人工打标。基于speechjudge模型,首先采用真人和模型生成音频pair,用Gemini 3.1-pro进行打标后对speechjudge进行微调,然后对模型生成的音频pair使用Gemini 3.1-pro打标,再次微调以及后训练,使得speechjudge对于测试集的判断准确率高于Gemini3.1-pro。进一步优化训练数据来源,同时微调qwen3-omni,对不同评判维度采用不同的权重训练。最终在直播表现力的4个测试集上准确率均超过Gemini3.1-pro-preview。在学术上继续进行探索,设计注意力机制缓解模型生成长CoT时对输入音频关注的减弱。



评论