我认为我们在工作时，需要一个能带动我们积极性，缓解压力的桌宠，并能够帮助我们完成一定工作，也能带来一定情绪价值
工作时的玩伴
点击空白处退出提示
ElainaSama产品系统
我要开发同款技术信息
作品详情
行业场景
功能介绍
项目的模块分为ASR模块、live2d模块、TTS模块、大模型调用模块，前端控制面板，live2d模块使用live2d for unity制作，ASR模块使用阿里新一代SenseVoice实现，通过阈值和静音帧实现杂音剔除，TTS模块使用GPTSoVITS推理，也可以选择BertVits和fish-speech推理，使用fastapi进行大模型调用，使用Go和Gin、vue实现前端控制面板，使用gnet与主进程通信。
添加tts模型和live2d模型后，将自动识别模型进行选择，启动主进程后将启动各个线程，说话时将自动识别并使用ASR转换成文字并请求ai大模型，返回后通过TTS转换成语音播放，实现沟通
项目实现
该项目全程由我自己开发，没有借助ai实现
使用的技术栈有Python、Go、SenseVoice、GPTSoVITS、BertVits、fish-speech、fastapi、gin、vue、gnet、live2d
难点是ASR时人声流的识别，使音频流的时长最短
示例图片
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
评论