面向复杂场景的多模态穿戴式导盲设备（国家级大学生创新创业训练项目）产品系统

一、立项原因，旨在解决什么产品问题
视障人士的核心困境是"出得去、走不好"。中国约有 1730 万视障者，每 80 人中就有 1 名失明人士，每年新增盲人约 45 万、低视力者 135 万；而约 30% 的残障人士基本不外出。现有方案各有硬伤：盲杖靠敲击探测前方扇形路面，信息量小、需反复试探，无法识别红绿灯、斑马线、公交站；导盲犬单只成本约 20 万元、培育需两年且淘汰率高达 70%~80%，覆盖面极窄；电子导盲产品则普遍陷入两难——导盲杖功能单一、续航短，穿戴式设备重量大、束缚感强，导盲机器人价格约 5000 元，基于手机 APP 的方案又依赖触屏操作，对视障者极不友好。
本项目要做一件"穿在身上、听得懂、带得走"的产品：以解放双手的可穿戴背心替代盲杖的敲击试探，以语音播报替代触觉反馈，让视障者在无额外手持负担的前提下，获得关于障碍物、路口、盲道与公交信息的连续、可理解的环境描述，从而真正实现独立、安全的出行。

二、行业场景，业务背景
政策与市场双重驱动。"十三五"以来残疾人事业被高度重视；我国残疾人、老年人及伤病者基础辅助器具需求总量已达约 6 亿件，预计市场产值突破万亿元。全球老年人与残疾人辅助器具市场 2023 年销售额约 1626.3 亿元，预计 2030 年达 2993.1 亿元，年复合增长率 9.11%。但国内产品仍集中于低技术、功能单一、成本导向，高端辅助器具依赖进口，核心技术受制。
场景上分为室外与室内两端。室外依托视觉识别（红绿灯、斑马线、盲道、路牌、公交号）结合激光雷达测距、GPS/北斗定位与地图 API 路径规划，完成复杂路况下的避障与导航；室内因 GPS 失效、盲道缺失，长期是视障者出行的空白区，需以蓝牙信标等方式补位。全场景覆盖、多源融合感知、自然语音交互，是行业公认的技术方向，也是本项目切入的产业空白点。

「慧衣」是一款穿戴式语音导盲背心，以树莓派为计算核心，通过语音交互、多模态感知与地图服务三条主线，让视障人士在不依赖手持盲杖的状态下完成独立出行。功能分为五类：
一、免手语音交互。说出唤醒词"慧衣"即可激活，全程无需按键或触摸屏。系统接入大语言模型理解自然语言指令，支持多轮对话、时间查询、天气播报与日常闲聊；所有输出经统一播报队列调度，用户可随时用唤醒词打断当前播报。
二、室外导航与出行。基于高德地图完成目的地检索、步行路线规划与全程语音引导；结合 GPS/北斗实时定位，判断用户是否偏离预定路线或进入禁行区域并及时提醒；支持"我在哪"当前位置播报、"周边有什么"附近设施检索推荐，以及打车出行；识别到公交号牌时读取文字并与预设乘车信息比对，提示是否为要等的车。
三、环境感知与避障，这是设备的核心。激光雷达负责测距与动态物体跟踪，并通过墙面相对速度反推自身行进速度，从而区分静止障碍与移动行人；摄像头识别红绿灯（语音提示可否通行）、斑马线、盲道并在偏离盲道时提醒，以及路沿、围栏、路障与常见物品；两类数据经多模态融合形成统一"世界模型"，按危险等级排序，带冷却与播报礼让策略，只播报最紧要的一条，避免信息轰炸。
四、室内导航。针对 GPS 失效的室内场景，采用蓝牙信标定位，提供室内路径指引，补上盲道缺失造成的出行空白。
五、生活与关怀服务。内置单词学习、新闻浏览、闹钟与定时提醒、生日及节日提醒、录音备忘、文字与物品识别等功能，并设有紧急求助机制，兼顾出行之外的日常陪伴需求。

一、我负责的具体任务
我作为项目负责人，负责总体方案设计与系统集成。① 定架构：确立语音交互、多模态感知、地图服务三线并行方案，定义播报出口与线程生命周期机制；② 写主控：打通唤醒词接入、语音采集识别、大模型意图理解到功能分发的全链路；③ 调硬件：牵头雷达、摄像头、GPS/北斗、蓝牙信标驱动调试与时间对齐；④ 做融合：实现雷达与视觉融合、危险排序、播报冷却与礼让策略；⑤ 联调测试：外场实测与日志复盘，定位修复缺陷；⑥ 统筹进度经费，维护云端与亲属网页端链路。

二、技术栈、架构与实现亮点、难点
技术栈：以树莓派 4B 为核心，配 YDLidar 雷达、摄像头、GPS/北斗、罗盘、麦克风扬声器与蓝牙信标；软件用 Python：唤醒 Porcupine、识别讯飞实时听写、播报百度语音合成、意图理解智谱 GLM-4、导航高德地图 API；视觉识别依托远程 GPU 服务，位置经云服务器与网页端呈现给亲属。
架构为双链路并行、单一出口：语音线与感知线各自成模块，四个管理器各持守护线程，以退出/打断事件控制生命周期；两线消息汇入容量为 1 的播报队列，由唯一线程串行输出，一次只播一条、紧要优先。
亮点：① 以墙面相对速度反推自身速度做自运动补偿，区分静止障碍与行人；② 雷达几何量与视觉语义互相校验，形成统一环境模型；③ 播报设优先级、冷却与礼让，避免信息轰炸；④ 唤醒词可随时打断播报；⑤ 大模型做意图理解，自然语言直达功能。
难点：单目测距受物体尺寸与相机标定制约；雷达点云分类难、兜底比例高；传感器启停的多线程一致性难保证；室内 GPS 失效、蓝牙信号波动大，需指纹定位补足；视觉推理依赖远程算力，延迟制约实时性；避障播报还须权衡多说扰人与少说危险。