立项原因：当前建筑工地现场管理普遍存在人员监管效率低、安全巡检盲区多、异常事件响应滞后等问题，传统的人工巡查方式难以实时掌握工地全域动态，尤其是高空作业区、深基坑等危险区域。本项目旨在通过三维建模与智能视觉分析技术，将工地实体空间数字化，实现远程、立体、实时的智慧监管，有效降低安全事故发生概率，提升工地整体管理水平。
行业场景：智慧工地是建筑行业数字化转型的重要方向，本系统适用于中大型房建、市政、桥梁等施工场地。通过无人机倾斜摄影或GIS工具快速生成工地实景三维模型，结合部署在塔吊、围挡、出入通道等关键点位的监控摄像头，利用边缘端AI算法对未戴安全帽、人员入侵禁区等行为进行自动检测，并将告警信息与三维空间位置关联，为项目管理人员提供直观、可视化的决策辅助工具。
功能模块：本系统主要包括以下模块——三维场景展示与交互模块、视频流接入与管理模块、异常行为检测模块、告警信息定位与可视化模块、二维视频与三维模型融合投影模块、历史告警查询与统计模块。
主要功能描述：
三维场景展示：基于Cesium引擎加载工地倾斜摄影模型或手工建模数据，支持旋转、缩放、测量、图层切换等基础操作，实现工地全貌的数字化还原。
视频流接入：支持RTSP/RTMP等多种协议接入摄像头实时画面，可在三维场景中按摄像头实际安装位置进行挂载，点击设备图标即可弹出实时视频窗口。
异常行为检测：在摄像头端部署轻量化PyTorch目标检测模型（如YOLOv5），实时分析视频帧，识别未佩戴安全帽、翻越围挡、闯入禁入区域等行为，检测结果和截图即时回传。
告警三维定位：接收服务器推送的异常信息后，自动在三维场景对应经纬度位置生成闪烁标记点，并弹出告警卡片（含时间、类型、现场截图），支持点击跳转至该摄像头画面复核。
虚实融合投影：利用摄像机标定和透视变换技术，将二维视频画面投影到三维模型的对应纹理区域，实现“视频贴图”效果，让管理人员在三维场景中直观看到实时动态，替代传统分屏查看方式。
数据统计：按日/周/月维度统计各区域告警频次，生成热力图辅助分析高风险时段和区域。
“我”负责的具体任务：本人独立负责三维模型在Cesium中的加载、坐标配准、LOD优化及场景交互开发；完成多路摄像头视频流的接入、解码与播放控制；基于PyTorch实现YOLOv5人员检测算法的模型训练、剪枝量化，并将其部署到边缘设备（如Jetson Nano）上运行；设计并开发二维视频到三维场景的投影映射算法，将摄像头画面实时融合到模型表面；同时负责前端Vue页面的整体架构与后端API对接，确保告警数据与三维场景的联动更新。
技术栈与亮点难点：
技术栈：前端使用Vue3 + TypeScript + Cesium 1.113，视频处理使用FFmpeg + WebRTC，检测算法基于PyTorch 2.0 + YOLOv5，后端使用Node.js + Express + MySQL，部署环境为Docker + Nginx。
架构亮点：采用前后端分离，前端通过WebSocket接收实时告警推送；摄像头端检测与云端解耦，边缘计算降低带宽压力；三维场景使用3D Tiles格式动态加载，支持海量模型数据的分层分块渲染。
实现难点：视频投影需要精确求解单应性矩阵，并实时更新纹理坐标，对Cesium的Primitive API进行了二次封装；算法部署到边缘设备时需平衡帧率与精度，通过TensorRT加速使推理速度达到15FPS以上；多路视频的同步渲染和内存管理也做了针对性优化，避免浏览器卡顿。
评论