项目简介： 省重点科研项目，经费 130 万元，本项目旨在突破深度学习和多光谱融合的火灾图像监则预警关键技术，采用深度卷积神经网络实现对烟雾和火焰的快速识别，并 通过近红外、可见光及热成像图像的数据融合进一步提高识别准确率。 项目目标： 利用深度学习和近红外、可见光及热成像数据融合技术，实现对烟火的高可靠率智能识别，在此基础上研制出基于深度学习和多 光谱融合的火灾早期监测预警系统，并在典型场景开展应用示范，从而实现对火灾的早期可靠预警。 承担工作： 该项目由我独立完成，目前已做的工作包括调研并制定开发方案、采集近红外和可见光视频、配准双模态数据并制作数据集、基 于 Pytorch 开发 3DVGG 烟火识别模型、使用多注意力机制优化模型、开发系统 GUI。已有成果： 1、 基于 Pytorch 开发 3DVGG 烟火识别算法 1 套 2、 基于 Python 开发双波段烟火识别系统 1 套 3、 核心期刊论文 1 篇 4、 相关发明专利 1 个 主要解决方案： 提高复杂环境下烟火识别的精度，主要从两个方面做出优化。一是融合近红外和可见光双波段图像数据，二是使用视频流中基 于时间的动态特征和基于空间的静态特征降低漏报、误报。通过实验结果表明，使用双波段特征的同时，结合注意力机制充分利用视 频的动态信息，可以有效提高烟火识别精度。