语音识别

语音对话，角色定制，兼容小智系统，可直接使用小智服务器系统。未来会增加智能家居控制系统，利用红外线控制电视，空调等。可以定制外壳，作为商品销售。兼容乐鑫esp32开发板。

涉及到目标识别和数据库存储、rk3588开发板目标识别、语音识别、语音合成、数据库查询等。基于语音交互+rkllm大模型：数据查询延迟在2.5秒以内，资源占用率高；基于语音交互+正则匹配：数据查询2秒以内，资源占用率低。

降麦克风的语言翻译成其他国家的语音（支持200多个国家的语音，详细情况可以参考https://help.aliyun.com/document_detail/215387.html）。可通过OBS，tiktok完成实时直播，需要配置阿里语音接口，遇到问题或者其他需求可以联系V x372282810

• 对说话人识别系统进行后门攻击 o 设计了一个白盒后门攻击系统，使用 VoxCeleb1 数据集和数据污染，攻击基于 ResNet-34 的说话人识别 系统和开源说话人识别平台 Kaldi。这是首个全面攻击说话人识别系统的工作。 o 设计了两个常见说话人识别任务的数字和物理后门攻击:说话人验证任务和闭集说话人识别任务。 o 在这两个任务上实现了 89%以上的数字攻击成功率和 70%以上的物理攻击成功率(ISPEC 2022, Long paper)。 • 通过文本数据增强以提升 NLP 模型的性能 o 通过创建同义词和反义词样本以及特征空间优化来微调RoBERTa。在文本分类任务中比基准RoBERTa 模型准确率提高了约 5.4%，在文本相似性任务中达到了约 0.907 的皮尔逊积矩相关系数。 o 使用数据增强方法将SQuAD问答数据集转换为掩码语言模型数据集，以丰富域外数据的代表性， 并微调了 Hugging Face DistilBERT 模型，将其问答性能提高了约 3.3% (基于 F1 分数)。 o 对Covid19推文文本进行数据增强以预测转推次数，在LSTM-GRU上实现了约149的平均绝对误 差(Kaggle Best Performance 127)，在情感分析任务上的分类准确率达到约 93.7%。