基于直播带货语音合成的GSB评测产品系统

我要开发同款
proginn21232269282026年11月18日
1阅读

技术信息

语言技术
Java
系统类型
算法模型
行业分类
人工智能、工业互联网

作品详情

行业场景

解决直播带货数字人语音合成部分语音自然度流畅度较差,或者表现力较差的问题,提高模型下限

功能介绍

1. 直播带货场景下GSB评测,作为qwen3-tts后训练的reward model,和best of N选择。设计直播带货场景下评测标准和prompt,建立测试集并且用多名人工打标。基于speechjudge模型,首先采用真人和模型生成音频pair,用Gemini 3.1-pro进行打标后对speechjudge进行微调,然后对模型生成的音频pair使用Gemini 3.1-pro打标,再次微调以及后训练,使得speechjudge对于测试集的判断准确率高于Gemini3.1-pro。进一步优化训练数据来源,同时微调qwen3-omni,对不同评判维度采用不同的权重训练。最终在直播表现力的4个测试集上准确率均超过Gemini3.1-pro-preview。在学术上继续进行探索,设计注意力机制缓解模型生成长CoT时对输入音频关注的减弱。

项目实现

1. 直播带货场景下GSB评测,作为qwen3-tts后训练的reward model,和best of N选择。设计直播带货场景下评测标准和prompt,建立测试集并且用多名人工打标。基于speechjudge模型,首先采用真人和模型生成音频pair,用Gemini 3.1-pro进行打标后对speechjudge进行微调,然后对模型生成的音频pair使用Gemini 3.1-pro打标,再次微调以及后训练,使得speechjudge对于测试集的判断准确率高于Gemini3.1-pro。进一步优化训练数据来源,同时微调qwen3-omni,对不同评判维度采用不同的权重训练。最终在直播表现力的4个测试集上准确率均超过Gemini3.1-pro-preview。在学术上继续进行探索,设计注意力机制缓解模型生成长CoT时对输入音频关注的减弱。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论