数字人

语言到行动闭环：自然语言→意图→任务→执行反馈 本地低延迟与隐私：Sentis 本地推理，稳定可控 一体化集成：语义、FSM、NavMesh、动画在 Unity 内 复杂场景鲁棒：动态避障与物理交互顺畅 技术选型/特点/性能： Sentis 运行 ONNX 小模型，CPU/GPU 加速 Hugging Face 意图/实体模型，可量化与蒸馏 FSM 任务图：守卫条件、超时回退、黑板上下文 NavMeshAgent 动态重规划；动画根运动/位移解耦 异步推理与主线程最小化，动作平滑

通过该项目用户可快速构建数字人&智能体应用以及可视化AI应用（如AI官网、AI小程序、AI营销、AI工具等），能够以“所想即所得”的方式快速打造高性能个性化AI应用。 我的开发能力： 1. 主导项目规划与技术选型，确保平台架构满足高并发、高稳定性的要求。 2. 负责核心模块开发，包括零代码UI设计器、工作流引擎和向量数据库的集成与优化。 3. 带领团队实现用户通过平台无代码快速构建各类AI应用，如智能APP、小程序和网页。 4. 设计并实施自动售货员客服等数字员工解决方案，提升用户交互体验。 5. 通过持续的功能迭代和性能调优，确保平台能够适应不断变化的市场需求。

1. 方案定位与问题解决 本方案面向两类核心用户群体： - 需要高效生成个人口播视频的内容创作者 - 教育机构中需要基于现有课件进行批量数字化转换的教学团队 解决的关键问题： - 降低优质口播内容的生产门槛和时间成本 - 显著减少传统课程录制过程中的人力、场地和设备投入 - 解决教育内容规模化数字转换的效率瓶颈 2. 方案特点与竞争优势 相比市场常规数字人解决方案，本方案具有以下显著特点： 高效定制训练 - 个人数字形象仅需3-4小时完成训练，较业界平均1-2天的周期缩短80% - 仅需少量样本数据即可实现高精度的个性化特征捕捉 卓越性能表现 - 实现25fps的实时生成速度，远超行业平均8-12fps的标准 - 支持连续5分钟以上的长视频无缝输出，解决传统方案中的时长限制问题 - 口型同步精度达到97%，确保视觉自然度 灵活应用场景 - 支持多种课件格式直接转换，无需额外适配 3. 产品组成与技术选型 核心组件构成 - 高效3D数字人建模与渲染引擎 - 基于深度学习的口型同步算法模块 - 语音情感分析与面部表情联动系统 - 课件内容智能解析与转换平台

SadTalker 本仓库是基于 https://github.com/OpenTalker/SadTalker （ed419f275f8a5cae7ca786349787ffebce5bd59e）改

1. 接入Ready Player Me 插件 通过RPM插件，获得模型离线资源，并通过RPM实现照片生成脸部模型的功能 2. 整合离线资源，通过scriptObject配表。 通过配表引用模型 3. 创建简易的UI框架，用来切换模型服饰 通过SkinMeshRender,切换模型的服饰

根据青少年家长日常中的痛点/需求，以“把度晓晓作为朋友”的设计理念切入，相比现在形式在新场景下为用户提供更优的服务——“辅助指导家长科学带娃、陪伴孩子健康成长”。作为“陪伴型”数字人应该更适应“千人千面”的用户需要，像真人一样在不同环境/不同时间应对不同互动对象表达不同的肢体动作、语言、情感等等。 在本校项目中，我负责绝大多数需求分析，流程图绘制，功能设计等。

语音识别： 基于paddlespeech搭建语音识别模型，识别对话 大语言模型部署： 本地部署大语言模型chatGLM2-6B，给出接口接收语音识别结果，并根据问题给出回答，将输出给到UE 数字人搭建： 使用UE4搭建数字人，在UE中给出端口接受大语言模型输出的文字，在UE中调用语音生成算法，生成相应语音。 唇语算法： 基于facebook唇语算法生成数字人唇形 语音生成： 基于paddlespeech语音生成算法 语音克隆： 基于两百条数据和预训练模型训练个人模型

1、该项目主要分为以下几个模块 视频引擎：根据传入的文案渲染视频，并推送出去 配置平台：定制数字人直播主播文案，商品和营销活动等 主播端后台和直播软件：主播端开启一键托管，让数字人主播上线，直播软件，观看数字人直播，参与主播活动 数字人调度平台：整合各个平台资源，制作视频，完成回调，启动托管，结束托管，拆封主播脚本，校准时间轴并按时间轴发起商品上下架和影响活动 2、我在里面主要开发数字人调度平台 调度平台模块，主要采用spring boot+mysql技术来实现，用来整合各个平台资源，并将脚本放进mq里面，等待异步调度模块处理 异步调度模块：主要采用spring boot+多线程技术，接受来自mq的消息，解析脚本，根据脚本时间轴，触发任务，并且在每个任务的开始，校对时间轴，避免商品和活动跟数字人直播偏差太大 3、碰见的技术难点 异步调度的时候，是出发了线程去处理任务，当短时间托管和取消托管再托管的时候，是触发了两遍消息，需要把上一次的任务停掉，这里采用future的 方式拿到现场回调参数，根据任务id取出来，然后停掉任务 推流可能不稳定早成的时间轴偏移，通过子任务开始去获取推流上的时间轴，和代码里的时间轴对比，通过休眠的方式纠正时间轴

1、该项目分为数字人数据配置管理平台，数字人视频引擎，数字人语音转文字引擎，数字人合成音频引擎四个模块， 配置平台针对配置员来说，配置数字人的执行模式，数字人的特定场景数据， 数字人视频引擎，用来展示数字人形象，合成数字人发音动作等 数字人语音转文字引擎，识别用户发音，生成对应的文字 数字人合成音频功能，用来兜底数字人视频路数不足的情况下，依旧能提供语音服务 2、我在其中负责的是1种的功能 配置平台使用的技术spring boot+mysql，负责录入执行模式，和数字人专属场景，提供兜底的方案，让数字人不至于无话可说 其他三个模块都是采用spring boot+grpc，将数字人引擎的长链接转成http接口，并维持长链接心跳 3、遇见的难题是长链接的维持，当新请求传入的时候，需要找到对应的长链接，最后通过mq的分发模式，收到请求后通过mq分发到所有的集群节点，找到对应的有长链接的节点，处理请求，渲染到数字人引擎上，呈现给用户

1.陕西优化跳转时，左侧标签隐藏问题，下方按住说话功能屏蔽 2.陕西数字人优化跳转时，历史按钮不能点击，不能阻挡跳转流程 3.陕西数字人上线生产，并自测功能完整性，自测流程，完善意见 4.迁移数字人代码到新域名下，配置新域名ng，自测新域名下数字人功能，修改数字人代理配置。 5.数字人语音中，说是或者否时，易识别其他文字，做语音强转功能，强转用户说的话 6.修改数字人统计指标功能，完成统计id，用户手机号，用户操作等功能 7首次加载速度优化

1、智慧街区商家管理平台 2、街区AI广告平台 3、街区街区商业数据可视化平台 4、云上街区aiot管理平台 5、应急预感分发平台 6、街区消费端微信小程序

AI数字人是一种先进的人工智能技术，可以模拟和复制人类的思维、行为和情感。它们能够与人类进行自然的交流和互动，并具备智能决策能力。AI数字人的使用场景非常广泛，并且具有巨大的价值。我们将AI数字人和chatGPT完美结合，广泛应用于无人直播、智慧客服、企业/城市形象宣传等，具有很高的社会效应

虚拟演唱会，实现功能 1. 舞台场景与灯光特效 2. 数字人舞蹈动作动画绑定与切换 3. 自由视角切换 4. 基于实时云渲染实现，手机端也能一键开启

AI数字人 功能实现 1. 数字人及其场景设计与制作，基于Metahuman 2. Chatgpt类打语音模型接口打通 3. 语音输入与识别 4. 口型与动作表情绑定 5. 云渲染实现，一键打开，无需终端算力

AI数字模特是一款基于人工智能技术的发型设计应用程序，可以根据用户的面部特征和发型喜好，生成个性化的发型设计方案。该应用程序使用了先进的计算机视觉技术和机器学习算法，以便更好地理解用户的需求并生成更加自然和逼真的发型设计效果。 该项目的主要目标是帮助客户建立AI数字模特应用程序，以便更好地满足用户的需求。具体来说，该项目将实现以下几个方面的目标： 收集和整理客户的发型设计数据，包括不同发型风格、发型长度、发质、脸型等信息。 使用机器学习和人工智能技术，训练AI模型以理解用户的面部特征和发型喜好，并生成个性化的发型设计方案。 将训练好的AI模型集成到客户的AI数字模特应用程序中，以便用户可以通过应用程序获得个性化的发型设计方案。 持续优化和改进AI数字模特应用程序的功能和性能，以便更好地满足用户的需求。 总的来说，该项目的目标是帮助客户建立一款先进的AI数字模特应用程序，以便更好地满足用户的需求，提高客户在发型设计领域的竞争力。