主要负责的内容：项目描述：一、需求分析：通过光学摄像头结合红外传感器记录人体姿势行为，家居设备根据人类的姿态判断人的行为进行相应的控制，现有的技术可以实现热感图人体姿态识别。二、 数据 获取 ：数 据来 源于 甲方 ，一 方面 是光 学摄 像头 记录 的数 据， 这些 数据 通过openpose 算法打好 18 个关键点的标签，另一方面就是红外传感器获得的热感图数据，前者的标签和后者的图的关键点一一对应，以此作为训练数据，并且进行图像增强、清洗不相关数据。三、模型构建和模型训练：模型采用的是 3d 卷积的方式来处理，五层 3d 卷积和四层 3d 反卷积（光学摄像头和红外传感器的热感图是利用时间戳来进行一一对应），设计好之后，将数据放到模型里进行训练，观察训练过程中的热感图关键点实时检测情况，检查精度。四、模型优化：采用更好优化器 adm、激活函数使用 leakey，通过调整学习率衰减公式中的 local_step 优化学习率经过模型训练优化，模型准确率达到 96.98%。五、模型部署：模型部署在服务器上，有服务器对数据进行预测处理，光学摄像头和红外传感器只是存储数据的媒介。项目难点：一、光学摄像头和红外传感器分辨率不一致，红外传感器的图像大小是 32x24,通过 FPN 扩大图片的特征性。二、一开始得到的结果发现图像效果存在网格化，人体特征度识别效果并没有达到要求，确认数据没有问题之后，调整学习率的衰减度(local_step)解决。