基于计算机视觉与大模型的智慧巡检平台

技术信息

语言技术
C++、Python、Kafka、openCV、Docker系统类型
Web、算法模型行业分类
人工智能、边缘计算

作品详情

行业场景

本项目面向高速公路智慧巡检与交通事件智能监测场景，针对多路 RTSP 视频流中交通事件发现不及时、人工巡检效率低、异常事件识别依赖人工判断等问题，建设融合计算机视觉与大语言模型的智能巡检平台。系统覆盖车辆、行人、锥桶、抛洒物等目标的实时检测与分类，以及行人上路、异常停车、路面抛洒物、道路施工等交通事件的自动识别。同时扩展大模型能力，实现行业知识问答、巡检报告自动生成，为交通运维管理提供智能化支持。

功能介绍

1. 多路视频实时分析：接入高速公路多路 RTSP 视频流，实现车辆、行人、锥桶、抛洒物等目标检测、分类与跟踪。
2. 交通事件智能识别：结合目标检测结果与业务规则，识别行人上路、异常停车、路面抛洒物、道路施工等多种交通异常事件，并将事件图片、视频等信息推送至前后端展示。
3. AI 模型训练与推理加速：支持目标检测与分类模型训练、微调及结构优化，基于 CUDA、TensorRT 进行推理加速，生成 Runtime Engine 模型文件，并通过 DeepStream Pipeline 实现视频分析流程集成。
4. 大模型私有化部署：基于VLLM/SGlang部署本地大语言模型，结合 LoRA 微调，满足行业场景下的定制化应用需求。
5. 行业知识问答：基于Text Embedding、RAG 检索增强生成与知识图谱技术，增强大模型对垂直领域知识的检索、理解与回答能力。
6. 智能报告生成：基于langgraph构建自动化工作流程，整合巡检数据与业务信息，生成结构化巡检报告，提升信息整理和报告编制效率。

项目实现

1. 负责项目算法端各环节的研发与集成，包括数据集收集整理、标注任务分派、目标检测与分类模型训练、微调及效果优化。
2. 基于 CUDA 与 TensorRT 优化模型推理性能，生成 Runtime Engine 模型文件，并使用 C++、DeepStream Pipeline 构建多路 RTSP 视频流实时分析链路，实现检测、分类、跟踪及事件结果输出。
3. 结合检测结果与业务规则，实现交通异常事件的逻辑判断，并将事件图片、视频等信息发送至前后端展示。
4. 负责本地大模型的部署、LoRA 微调与上线，结合 Text Embedding、RAG 和知识图谱技术构建行业知识问答能力。
5. 基于langgraph实现巡检报告自动生成流程，整合模型分析结果与业务数据，提升报告生成的自动化程度。
6. 负责算法模块联调、模型部署、推理性能优化及上线维护，推动传统视觉算法与大模型应用在智慧巡检场景中的融合落地。