1、立项原因，旨在解决什么产品问题
传统视频会议终端普遍存在4K超高清处理能力不足、场景覆盖单一（缺乏小型会议室、户外布控、分体式旗舰等形态）、智能化程度低（无本地人脸识别、虚拟背景、声源追踪）以及会议纪要依赖云端存在隐私风险等问题。本项目通过基于RK3568/RK3588芯片的Android终端系列化设计，解决高性能4K60编解码与本地AI推理的融合难题，提升会议沉浸感与数据安全性。
2、行业场景，业务背景
主要面向企业远程办公、应急指挥、远程医疗、在线教育等音视频通信场景。随着混合办公常态化，用户对画质、实时性、隐私保护提出更高要求。业务背景是替换传统H.323/SIP终端，提供一体式/分体式/户外型全场景覆盖，并集成端侧AI能力（语音识别+大语言模型）实现智能会议纪要，满足政企客户对数据不出场、弱网可用、高画质低延迟的核心诉求。
1、项目有哪些具体功能模块
1.1、视频采集与预处理模块（支持HDMI/SDI/VGA/Type-C等多路输入，最高4K60）
1.2、4K60编解码模块（H.264/H.265硬件编解码）
1.3、本地YUV预览与渲染模块
1.4、人脸识别与虚拟背景模块
1.5、声源定位与摄像头智能追踪模块
1.6、本地会议纪要模块（ASR语音识别 + Qwen3大语言模型）
1.7、多路视频混合与输出模块（最多4路HDMI输出）
1.8、设备管理及云台控制模块（GE600/GE100）
2、项目的主要功能描述
实现超高清视频会议终端的完整功能链：支持4K60超低延迟采集、编码、解码与本地预览；通过AI算法实现参会人身份自动识别、背景替换（无需绿幕）；基于声源定位自动控制云台追踪发言人；在终端侧完成语音实时转写与大模型摘要生成，输出结构化会议纪要，无需上传云端。同时支持多路视频输入输出，适配小型会议室、户外应急布控及旗舰分体式部署。
1、“我”负责哪些具体任务
负责视频会议终端产品技术预研，包括RK3568/RK3588芯片性能评估、压测与选型；设计并实现视频功能模块的整体架构与编码；推动产品开发进度对齐，把控代码质量与版本发布；协调解决线上问题（如4K60渲染卡顿、声源追踪延迟等），并完成本地会议纪要模块的端侧集成。
2、项目使用了哪些技术栈、架构，实现上亮点、难点
技术栈：Android系统底层定制，RK3568/RK3588平台硬件编解码（Mpp）、Camera HAL3、DRM显示框架；AI推理使用RKNN Toolkit（人脸识别、虚拟背景）；声源定位基于麦克风阵列算法；ASR使用WeNet端侧模型，LLM为Qwen3-1.8B量化部署。
架构：分层架构——驱动层（V4L2/ALSA）、媒体引擎层（自定义MediaCodec封装）、AI服务层（独立NPU进程）、应用层（Kotlin/Java）。
亮点难点：实现4K60全链路端到端延迟低于120ms；在RK3588上通过NPU+VPU流水线并行解决人脸识别与编解码的资源争抢问题；本地部署Qwen3时通过4-bit量化和注意力优化，将推理内存控制在2GB以内，并解决首字生成延迟问题。
评论