本项目聚焦大交通与港口物流两大高危作业场景。在高速公路场景中，部署于重点路段、隧道口、互通枢纽的监控点位，可全天候识别违规停车、行人闯入、事故拥堵等异常事件，为交警路政提供秒级告警，减少二次事故。在港口码头场景中，覆盖集装箱堆场、危化品作业区、高处临边及闸口区域，实现人员入侵、未佩戴安全帽/反光衣、危险区域翻越、摔倒倒地以及明火烟雾的自动识别与预警。两类场景均属于7×24小时无人值守、人工轮巡成本高且事故后果严重的领域，通过AI视觉替代人工盯屏，可显著提升安防响应速度与作业安全水平。
1. 港口码头智能视频监控：基于YOLOv8目标检测与RTMPose姿态估计算法，实现码头作业区域人员入侵检测、未佩戴安全帽/反光衣识别、危险区域翻越报警及人员摔倒倒地自动告警，替代人工轮巡，降低高处坠落、机械伤害等事故风险。
2. 高速公路事件检测：对重点路段进行实时视频分析，自动识别违规停车、行人闯入、抛洒物、交通事故拥堵等异常事件，触发告警并联动监控中心弹窗，缩短应急响应时间。
3. 烟火与火焰早期识别：针对港区仓库、堆场、危化品作业区，基于火焰/烟雾视觉检测模型实现明火与烟雾的早期预警，配合煤气灶/明火区域检测能力，做到火情秒级发现。
4. 算法边缘端部署与告警闭环：模型经INT8量化后通过ONNX Runtime/C++推理框架部署到边缘盒子，对接RTSP视频流，输出结构化告警数据到平台，支持事件截图、录像回放与多端推送。
一、本人负责的具体任务
本人作为AI算法侧负责人，独立承担从算法选型、模型训练、TensorRT/ONNX量化加速到C++推理工程化的全链路工作：（1）负责港口摔倒检测、安全帽识别及高速公路事件检测三类算法的数据清洗、标注规范制定与模型训练调优；（2）负责将模型转换为ONNX并做INT8量化，基于C++封装高性能推理服务，接入GB28181/RTSP实时视频流；（3）负责与后端平台对接告警协议，输出结构化JSON告警并联动录像抓拍。
二、技术栈与整体架构
技术栈：Python(PyTorch)训练 + YOLOv8算法 + ONNX Runtime/TensorRT推理 + C++(工业级推理服务) + OpenCV + FFmpeg/RTSP拉流 + LLM大模型二次复判。
整体架构采用"边缘盒子+中心平台"两级架构：边缘端部署多路视频拉流、模型推理、状态机判定，仅在事件触发时上传告警截图与短视频片段到中心平台，中心侧做事件聚合、工单流转与可视化大屏展示，整体链路端到端延迟非大模型复判控制在500ms以内，大模型复判控制在5秒内。
三、实现亮点
1. 误报抑制：检测报警不依赖单帧判断，而是采用多帧判断、相机二次放大、LLM复判等方式实现低误报率。
2. 工程优化：在单张消费级GPU(5060Ti 16G)上可并行处理多路1080p视频流，C++推理服务复用官方预处理库、自动读取ONNX输入尺寸，部署效率大幅提升。
3. 业务闭环：告警不是简单丢一张图，而是附带事件前N秒缓冲录像。
评论