基于AIoT与微信小程序的智能居家跌倒监测系统的设计与实现产品系统

应用领域
1.智慧养老/居家监护 ：针对独居老人、行动不便人群的安全监护。
2.智能家居安防 ：整合视觉识别与语音交互的智能家庭安全系统。
3.远程健康管理 ：子女远程监控父母健康状态的解决方案。
痛点解决
1.老年人跌倒后无法及时求助的安全隐患。
2.传统监控仅能录像，无法实时识别危险行为。
3.子女异地工作无法实时了解家中老人状态。
4.缺乏智能化的报警与通知机制。

1. 实时视频监控
视频流采集 ：ESP32-CAM驱动OV2640摄像头，支持QCIF分辨率10FPS视频流。
MJPEG视频传输 ：通过HTTP服务器实现实时视频流推送。
多设备切换 ：支持多个摄像头设备的管理与切换。
2. 跌倒检测系统
AI视觉识别 ：基于YOLOv5训练的轻量化跌倒识别模型。
多级置信度判定 ：正常→可疑→跌倒中→已跌倒→恢复五状态机。
智能报警机制 ：检测到跌倒自动触发报警，生成标注图片。
3. 语音交互功能
语音唤醒 ：ESP32-S3部署小智AI模型，支持语音唤醒。
智能问答 ：实现语音交互与问答功能。
音频文本流 ：实时显示语音交互内容。
4. 远程监控与控制
微信小程序客户端 ：实时视频监控、报警记录管理。
WebSocket通信 ：客户端与设备双向实时数据传输。
RESTful API ：设备状态查询、报警记录获取接口。
5. 设备管理
设备列表管理 ：支持多设备添加、删除、切换。
连接状态监控 ：实时显示WebSocket连接状态。
系统状态查询 ：设备运行状态、网络状态、存储信息。

1. 硬件端
ESP32-CAM视频流端
配置OV2640摄像头引脚
支持SCCB接口通信，配置图像参数
实现摄像头初始化与帧数据获取
使用FreeRTOS互斥锁保护状态访问
通过vTaskDelay实现任务调度
ESP32-S3 语音交互端
统一的音频输入输出接口
I2S通道管理
音量控制与输入增益调节
电源管理
多任务架构
Opus编解码
采样率转换
唤醒词检测
语音活动检测
2.服务器端
实现MJPEG视频流传输（multipart/x-mixed-replace）
支持帧率控制
提供RESTful API接口（/api/status, /api/system）
加载YOLOv5训练模型（路径： fall detection dataset/runs/train/fall_final/weights/best.pt ）
处理视频帧，解码base64数据
检测跌倒（class_id=0为跌倒，class_id=1为正常）
生成标注图片并保存
调用报警管理器创建报警记录
创建报警记录（设备ID、时间戳、置信度、标注图片路径）
支持报警记录查询接口
WebSocket通信 :
支持客户端与设备的双向数据传输
处理hello握手、音频参数协商
支持二进制数据（视频/音频）传输
3. 客户端 - 微信小程序
视频监控页面 ( pages/monitor/monitor.js ):
WebSocket连接管理（连接状态监控、自动重连）
MJPEG视频流播放（base64解码显示）
多设备切换功能
定时刷新机制
报警记录页面 ( pages/alarm/alarm.js ):
报警记录列表展示（时间、置信度、标注图片）
报警状态筛选
报警详情查看