深度学习

目标： - 边缘计算网关放在住宅小区机房，接入小区监控摄像头，添加AI算法功能，实时检测和告警 算法： - 电动车进电梯 - 人员倒地 - 物品遗留 - 高空抛物 我的工作： - 算法设计 - 云端算法训练 - 边缘端算法服务开发和算法模型适配

算法工作描述： - 边缘计算网关，接入厂房监控摄像头，对员工行为进行监控，行为包括：蹲、坐、玩手机 - 对人员行为进行识别，采用方案：OpenPose算法检测人体关键点并正确连接构建躯干，从而估计人体姿态。人体关键点通常对应人体上有一定自由度的关节，比如颈、肩、肘、腕、腰、膝、踝等，通过对人体关键点在三维空间相对位置的计算，来估计人体当前的姿态 - 算法识别员工有三种违规行为后，持续检测行为持续时间，当达到设定值5分钟时，对员工违规行为进行记录 - 现场部署有人员定位系统，人员随身携带定位工牌，摄像头检测到员工违规后，根据摄像头编号和人员在摄像头中的像素位置，定位到员工在厂房真实坐标系中的位置，从而在人员定位系统查询到该员工的身份信息 - 根据摄像头编号和人员在摄像头中的像素位置，采用相机九点标定方案，构建仿射变换矩阵，定位员工在厂房真实坐标系中的位置 我的工作内容： - 云端算法模型训练 - 边缘端算法服务开发和算法模型适配

目标：智慧工厂建设，厂区监控相机添加AI算法功能 - 9种算法需求：安全帽，工服是否合规，非法进入，烟气告警，明火告警，人脸权限，电子围栏告警，防护服操作规范，除静电操作规范 项目方案： - 边缘计算，算法服务器训练模型，下发算法到边缘计算网关，对接入的多路监控相机进行实时推理检测 - 现场108路监控相机，使用6台边缘计算网关+2台算法服务器，实现9种算法实时检测 - 1号边缘计算网关：接入13路相机视频流，其中9路相机实时检测烟火，3路相机实时检测工作服，1路相机实时检测防护服操作规范 - 2号边缘计算网关：接入12路相机视频流，其中4路相机实时检测烟火，8路相机实时检测区域入侵 - 3号边缘计算网关：接入5路相机视频流，实时进行人脸识别，实现权限管理 - 4号边缘计算网关：接入12路相机视频流，其中5路相机实时检测烟火，3路相机实时检测工作服，3路相机实时检测安全帽，1路相机实时检测区域入侵 - 5号边缘计算网关：接入11路相机视频流，实时检测烟火 - 6号边缘计算网关：接入10路相机视频流，其中5路相机实时检测区域入侵，1路相机实时检测安全帽，4路相机实时检测电子围栏 - 1台算法服务器，负责处理45路相机视频流，其中23路相机实时检测电子围栏，8路相机实时检测烟火，13路相机实时检测区域入侵，1路相机实时检测除静电操作规程 算法实现： - 算法推理引擎服务基于英伟达提供的Deepstream框架进行二次开发，实现对相机视频数据实时算法处理的过程 - Deepstream框架的核心实现思路：基于开源框架GStreamer开发而成，采用插件方式，根据业务需要可以灵活添加、裁剪、编辑插件，组成一条功能完整的视频数据流算法推理通道 - 正常使用的算法框架（pytorch、caffe、TF）训练后的算法模型，在边缘计算端的推理速度是无法满足多路相机实施推理需求的，这里使用Deepstream框架，利用TensorRT实现算法加速 - TensorRT在获得网络结算流图后会针对计算流图进行优化，这部分优化不会改变图中最底层的计算内容，而是会去重构计算图来获得更快更高效的执行方式，即计算不变，优化计算方法 我的工作内容： - 算法框架和算法模型的选型 - 云端算法服务的开发和算法模型的训练 - 边缘端算法服务的开发和算法模型的适配

1. 项目是基于边缘计算的深度学习模型训练和推理加速的实验平台。模型训练主要包括数据并行、模型并行、流水线并行等分布式训练模式，以及联邦学习。模型推理主要包括多出口网络模型、模型切分和卸载。此外，我们以多目标跟踪 MOT 为案例，测试平台的适用性。 2. 我主要负责平台 MOT 应用示范的后端工作，包括推流、视频编解码等。