基于人脸识别的视频辅助系统

梁晟  

第一章绪论

在我国民航运输业高速发展的今天，持续增长的空中交通流量对安全生产[1]系统的安全稳定运行提出了更高的要求，一线值班人员对生产设备进行认真严谨的巡视维护十分重要，值班员巡视地点和停留的时间有具体的要求。目前的管理手段主要通过检查视频监控以及查阅巡视登记手册来对值班员值班情况进行管理，存在工作量大，效率过低等缺陷。如何通过技术手段正确识别，做好预防和提醒的措施，加强生产设备巡视管理，方面管理人员进行检查与监控，对保障民航空管安全、高效、可持续的发展具有重要意义。

针对这种现象，本文提出一种基于人脸识别的视频辅助系统，通过对巡视的值班员巡视识别抓拍，为安全管理人员提供高效的安全管理手段。系统共分为两部分，第一部分人脸识别算法模块，该部分实现了对巡视的值班员进行识别抓拍，第二部分为基于人脸识别的视频辅助系统，该部分利用人脸识别模块推送的识别抓拍结果和每日的班表两者结合，统计出安全管理人员需要的数据。

第二章人脸识别算法模块

本文的人脸识别通过深度学习算法[2]实现，采用框架的为pytorch，利用该框架实现人脸识别开源模型OpenFace[3]，对摄像头采集的图像信息进行处理从而得到识别结果。维护人员可通过可视化的网页设置视频源和查看识别抓拍结果，并把识别结果推送至视频辅助系统，从而得到安全管理人员需要的数据。可视化网页通过django后端加vue前端的方式实现，具体功能和界面如下：

智能预览页面可以实现观看各个视频通道的实时画面，页面为识别到的信息以及人脸库中匹配到的分数最高的人脸库照片。

识别查询可看到各个视频通道抓拍并经过系统识别处理后的信息，系统默认展示出抓拍图片与人脸库比对得到的5个得分最高的人脸信息，并去得到最高的作为最终识别结果。

人脸分组和人脸库用于图片分组和上传抓拍值班员的照片，例如下图建立一个名为TEST的人脸分组，在该分组中上传各个值班员的照片，然后再描述中填入值班员姓名，就可以将值班员的照片和姓名进行绑定，系统从视频流中抓拍到照片时会与人脸库的照片进行比对，最终实现值班员身份的识别。

布点设置用于设置视频源的获取地址，本系统目前仅支持从IP摄像头获取视频流数据，在RTSP流地址输入摄像头IP和端口即可通过RTSP协议实现视频流的传输，在布点名称中可输入巡视点的名字以便在识别结果中显示。

在数据对接中可实现识别结果信息的推送，本系统采用http协议进行数据推送，接收服务器在对应路由地址会收到本系统推送的JSON格式数据。

第三章基于人脸识别的视频增强系统

本系统导航条共有主页、详细记录、更多三个导航链接，其中更多中有班表信息和参数设置两个导航链接，其功能界面分别如下

主页页面如下图所示分三个模块，

首先是上方的查询功能模块，可以在这个模块中进行部门、科室、人员和日期的条件查询左侧为值班人员信息模块，模块上方可以看到值班人员的值班日期，该信息如果为当日会在后方有个（今天）标志。模块下方为各部门值班的人员的岗位信息和姓名，默认为折叠状态岗位信息和姓名不可见，点击后可展开该部门值班情况，可以看到当日值班的所有岗位和该岗位的值班员姓名，

点击值班员的姓名可以自动匹配该值班员的部门、科室归属信息并根据匹配到的信息进行条件查询到该值班员当日的值班记录。

最后是值班记录模块，该模块可以看到当日值班员的所有记录，系统默认以2小时划分一个时段进行统计，并且设定2分钟内同一个摄像头只会对同一个人做1次识别记录，打卡次数为一个摄像头对该值班员做的识别记录，如果值班员在巡视过程中离开了摄像头的视频监控范围，当其再次出现在摄像头范围内时会再次被系统识别记录，两者的时间差值为最长打卡时间间隔，因此可以通过打卡次数和最长打卡间隔来粗略估计值班员在摄像头下的巡视时间，点击详细记录可以观看该值班员对应日期的详细值班记录，此处可以看到更详细的值班记录，可以通过此处的照片核对识别信息是否正确，如果有对应值班规定要佩戴口罩还可以在此处查看该值班员是否按规定规范佩戴了口罩。

值班记录页面分两个模块，上面为条件查询模块，可以通过设置查询条件来帅选出对应的详细值班记录详细，下面为值班详细的记录信息，此处可以通过查看录像来在安防系统中观看对应视频录像来人工审核该值班员的巡视时间是否满足单位的时间规定。

在更多中有班表信息和参数设置两个导航链接，班表信息页面有两个模块，上方为查询模块，可以通过设置条件查询各个部门和科室的班表，也可以快速切换各个月份和当前月的班表，下方为班表信息显示模块，垓处显示所有当天每个岗位的名称和该岗位值班员姓名

参数设置页面有两个部分，一个部分输系统参数设置，该部分为一些重要的系统参数一般为维护人员配置，目前只设置了识别可信度后续根据用户使用情况会增加别的参数，该值为每个摄像头经过人脸识别处理后保存在数据库中的一个数值，范围为0-100，该值越高表明摄像头中拍到的人和人脸库中保存的人脸图片越接近，识别准确性就更高，所以把这个值设置得越高系统中展示的值班记录信息识别准确度就越高，经过大量测试发现可信度超过70时数据几乎不会是识别错误的数据，被过滤掉的识别正确数据量也在可接受范围，因此该值设置为70.。

用户参数设置页面可让用户根据部门、科室或者岗位设置不同的巡视时间规则，该时间规则范围小的优先使用。当系统采集、识别并统计估计该值班员不满足定制的巡视时间规则时，系统会在首页将其标红提示用户通过录像人工核定，核定后可手动取消该标志。

目前该系统已在桂林空管站投入使用，视频源最高支持96路即最多可同时添加96个IP摄像头采集图像信息，后续根据安全管理人员需求增加功能。

[1]郭庆,邹汶倩,陈芳.新形势下空管单位安全管理效能提升的思考[J].民航管理,2022(05):65-67.

[2]翟磊. 基于深度学习的人脸识别算法研究[D].浙江大学,2020.DOI:10.27461/d.cnki.gzjdx.2020.003135.

[3][1]Florian Schroff,Dmitry Kalenichenko,James Philbin. FaceNet: A Unified Embedding for Face Recognition and Clustering.[J]. CoRR,2015,abs/1503.03832.