该项目为疫情期间,可搭建在小区门口的机器人上的,功能为代替测温检查的小区工作人员,检测待进入人员的体温、身份信息、是否佩戴口罩和健康码颜色。
1. 人脸识别:通过opencv中的CascadeClassifier人脸分类器训练,取摄像头实时视频中的每一帧图像,用face.LBPHFaceRecognizer识别,判断是否为小区居民;
2. 健康码识别:通过pyzbar解析图片,找到二维码区域,对提取二维码信息并进行颜色识别;
3. 口罩识别:使用opencv中的dnn.blobFromImage和tensorflow.keras中函数,找到人脸并用已有模型对其上有无口罩进行预测;
4. 语音:使用科大讯飞tts语音包,可实现“请您佩戴口罩”的语音提醒和简单问答服务;
5. 门:设计有模型门,若待进入人员体温正常、人脸验证为小区居民、佩戴口罩且健康码为绿色,则通过蓝牙控制打开模型门。门默认打开5秒,考虑到老人可能通行速度较慢,门框上设有传感器,若5秒过后检测到有人仍在门框附近,则到没人时再关门。
机器人各模块间通过ros系统通讯。