基于计算机视觉的公交乘客上下车识别

夏函

摘 要 ：随着我国城市化进程的加快，城市人口迅速上升，城市出行人数也大幅度增长，因此，城市的公共交通也面临挑战，解决交通问题成为城市化进程中必须面对的重大问题之一。本文研究了利用计算机视觉技术获取公交车乘客上下车站点对的方法，基于 YOLOv3 的目标检测框架实现对公交乘客的目标检测，对检测的目标进行跟踪并基于跟踪轨迹提取上下车乘客。

关键词：视频数据；深度学习；目标检测；目标跟踪；公交 OD

乘坐公交出行作为城市居民主要的出行方式，面临城市巨大的客流量带来的公交车调度，线路优化等一系列问题。合理的公交车调度有利于提升公交资源的利用水平，改善市民出行效率，缓解城市交通拥堵状况等。不合理的公交车调度容易造成公交资源的浪费，也可能导致客流量较大的站点市民候车时间过长，甚至无车可乘的情况。而公交车的调度，线路优化等任务，需要有公交乘客反馈的数据进行支持，其中，公交乘客出行时的起点与终点数据（OD，Origin and Destination）是当中比较重要的数据。

1 基于计算机视觉公交乘客OD的发展

传统的 OD 获取方法是通过人工调查，如使用问卷调查、跟车调查等方法，这些方法存在明显的局限性。（1）调查成本高，人工成本花费较高且会受到人员素质，情绪，态度等影响；（2）采样率低，采用人工调查的方法往往采样率较低，因此很难保证其结论的合理性；（3）数据的时效性差，从方案的制定到数据采集整理耗时数月，且后期处理时间较长，以此无法保证其时效性。随着大数据技术的发展，采样公交刷卡数据推算乘客 OD 得到越来越多的应用，但是，采用公交刷卡数据同样存在不足：（1）存在样本偏差，公交刷卡数据只针对持有公交 IC 卡的公交乘客样本，使用现金支付或其他支付方法，如微信支付、支付宝等乘客没有被统计，这种数据会导致统计结果存在偏差；（2）结果无法验证。在大多数城市中乘坐公交时只刷一次卡，IC 卡数据只记录了上车站点的信息，而没有下车站点的信息。因此，使用这种刷卡数据对 OD 进行推断时无法对结果进行验证。

计算机视觉技术的快速发展以及计算机运算能力的提高，同时基于深度学习的目标检测与跟踪，目标重识别技术的成熟为视频数据的应用起到了很大的促进作用。城市公交车辆中安装摄像头已经越来越普遍，通过摄像机采集的图像数据包含大量待发掘和利用的信息。摄像机能够完整地记录公交乘客的信息，避免了采用单一刷卡数据导致的样本偏差。视频能够直观地记录乘客的上下车站点信息，减少了使用复杂模型推算乘客 OD 时的不确定性，其结果可以被验证。使用视频数据也能减少问卷调查或跟车调查等方法带来的高成本和低收益问题。公交乘客 OD 信息对公交问题的解决有着重要的重要，使用传统的人工调查或公交 IC 刷卡数据推算的方法存在各种的不足，而公交摄像头的普及和计算机视觉技术的发展与成熟为解决公交乘客 OD 的获取提供了新的研究思路。

2 公交乘客目标检测

在基于计算机视觉的公交乘客上下车重识别任务中，首先需要自动检测图像中出现的乘客，获取图像中乘客的候选图像和出现的位置。检测算法的性能将对后续的跟踪和提取产生很大的影响。检测算法一般使用算法在检测目标对象的四周生成一个最小矩形框，以此标识物体在图像中出现的位置。在实现目标检测模型时，不仅需要考虑提高检测出图像中目标的能力，还要较少的产生错误的检测，在此基础上再考虑算法运行的速度等因素。本文使用 YOLOv3 作为公交乘客目标检测框架，建立公交乘客数据集并对检测器进行改进，让 YOLOv3 检测器能够减小错检和漏检的概率，并得到更加稳定的检测结果。

2.1 公交乘客检测算法

YOLOv3 是 YOLO 系列的第三代检测器。YOLOv3 通过将输入的图像均匀划分成单元格来进行检测。首先把输入的图片均匀划分成网格，对于每个单元格，使用卷积网络预测每个单元格存在目标的概率及检测框的回归值，对于所有的检测框，使用非极大抑制的方法保留置信度最大的检测框。

2.2 建立公交车行人数据集

利用公交监控视频拍摄的视频，截取前车门和后车门于公交停站期间的视频片段，通过视频分帧方法获取乘客上下车的图像，因为连续的视频在相邻帧之间的变化不大，如果每一帧都提取，会导致训练的图像数据差异较小，不仅不利于模型的训练，也浪费的标注时间。本文采用每隔 5 帧抽取一帧的方法，从视频中获取 3000 张图像。然后通过图像标注工具对图像进行标注，最终得到训练集 2500 张，测试集 500张。

2.3 实验结果

首先对乘客数据集进行 K 均值聚类分析。计算在不同 K 值下的平均 IOU 值，从而选择 K 的最优值。当 K 值在 2 到 9 之间逐渐递增时，平均 IOU 处于快速增长的趋势，在 k=9 之后，平均 IOU 值的变化缓慢。检测算法在 3 种尺度上进行多尺度的预测。因此，需要选择的聚类数量为 3 的倍数，另外还需要考虑网络的计算量。接着，使用公交乘客数据集对 Darknet-53 网络进行训练，模型的损失迭代 20000次后模型的 Loss 值趋于 0.5 附近，此时停止模型的训练。通过训练集测试，模型的 mAP值为 89.4，对比原有的检测器的 mAP 值 76.2，提高了 12.3%。通过训练得到的检测器，可以较好的实现对乘客目标的检测。

3 公交乘客目标跟踪与上下车提取

3.1 跟踪算法框架

目标跟踪任务是对图像序列或视频中的目标对象进行连续地跟踪。从粒子滤波、卡尔曼滤波等经典跟踪算法到基于深度学习的相关跟踪算法，其目标跟踪准确率有了很大提升。为了实现目标跟踪的准确度与实时性，本文将 YOLOv3 和 DeepSort 结合，实现对检测目标的跟踪。

Deepsort 算法融合了位置信息和外观信息实现对连续多帧图像中目标的检测，这样不仅能够减弱目标被遮挡的情况下的跟踪丢失的问题，而且有效地抑制了目标序号频繁更新的情况。跟踪算法框架首先使用 YOLOv3 检测器对乘客进行检测，获得乘客位置的检测框，然后使用卡尔曼滤波算法估计候选框在下一帧中可能出现的位置，之后对视频中连续多帧图像的乘客进行轨迹匹配。算法使用三种不同的匹配方法，分别为外观匹配、运动匹配和级联匹配，以实现更加准确的匹配结果，实现对多个乘客目标的连续跟踪。

3.2 公交乘客轨迹分析

因为车厢内对着车门方向的摄像头拍摄的范围包括车内画面和车外环境。因此，拍摄的人类目标不仅包含上下车乘客，还有车外候车的乘客或行人，如果仅仅依靠目标检测和跟踪，得到的对象并没有区分乘客与行人，是否存在上车或下车的行为。基于跟踪的轨迹对检测和跟踪的对象进行提取。通过检测得到的对象可以概括为四种状态：上车状态、下车状态、乘车状态、候车/行人状态。为了获得乘客的 OD 信息，从检测的结果中提取停站时上车以及下车的乘客。对比处于不同状态下的对象，其运动轨迹是具有区分性的，可以通过轨迹信息提取上下车的乘客对象。

3.3 上下车乘客提取算法

为了获得处于上车或下车状态的乘客，利用检测目标的运动轨迹与基准线的不同交互状态进行提取。公交乘客上下车过程可以简单归纳为以下流程：首先判断检测目标是否属于上下车行为，然后进一步判断属于上车还是下车，最后生成上车或下车乘客数据集。

4 结论

公交乘客 OD 的作用可以体现在公交规划,公交运营和个体等方面。在公交线网层面,线网 OD 能够为大中运量的交通规划提供依据。本文基于公交车内视频数据，利用计算机视觉技术，对公交乘客进行检测跟踪，最终实现了对公交车乘客上下车站点对的获取。

参考文献

[1]李腊全,郑申海.计算机视觉在大学生科研训练计划中的作用及实践探索[J].中国多媒体与网络教学学报(上旬刊),2022(02):57-60.

[2]陈之射,阳威.计算机视觉及网络领域中人工智能的运用[J].华东科技,2022(01):108-110.

[3]房霆宸,杨佳林,贺洪煜.基于计算机视觉的智能化建造技术研究与应用[J].建筑施工,2021,43(12):2596-2597+2603.

[4]吕一尘.沉浸式新闻：计算机视觉下的临场真实与客观真实[J].新媒体研究,2021,7(23):8-10.

[5]房霆宸,左俊卿,龚剑.计算机视觉在建筑工程施工领域的研究与应用[J].建筑施工,2021,43(11):2376-2379+2382.

[6]王新. 基于计算机视觉的交通目标识别与检测研究[D].新疆大学,2021.