基于深度学习的无人机视觉目标检测与跟踪

沈可明 夏碧辉

摘要：随着我国社会经济的迅速发展，科技水平的而不断提高，无人机得到了广泛的应用，本文提出了一种基于深度学习与目标跟踪方法,综合单目视觉和双目立体视觉特点的无人机障碍物实时感知方法。

关键词：无人机；视觉；目标检测；跟踪

引言

随着科学技术的进步，无人机的应用越来越广泛。通过在无人机上搭载高清摄像头，结合飞控系统和相关算法，可实现无人机对拍摄物体的识别检测与跟踪。但传统目标检测算法抽象和表征物体特征的能力不强，因此研究人员借助深度学习、卷积神经网络等技术提取目标特征。

1视觉检测和跟踪识别系统

近年来，人们针对视觉跟踪问题提出很多算法，但现有的算法在解决无人机协同应用过程中的长时间实时视觉跟踪问题上仍存在不足。早期的基于模板匹配的跟踪是通过非连续地更新模板来描述相似性，从而找到最优的跟踪结果。此类方法虽然对于目标的外观变化时有一定的稳定性，但没有充分利用目标的特征信息，且模板更新存在误差，故无法长时间稳定准确地跟踪目标。无人机检测和跟踪以图像处理链为重点，以目标和周围场景之间的相对运动维度为突破，与导致检测器视觉饱和的照明条件、反射率和同质性等背景特征的动态变化有关。因此，在基于机器视觉的探测和跟踪算法中必须保障对这些问题表现出足够的稳定性，由卡尔曼滤波器实现跟踪功能得以增强，卡尔曼滤波器强制连续检测之间的时间一致性。在无人机特定的协同应用的视觉检测和跟踪识别体系结构中，目标无人机上不需要额外的传感器，并能提供精确的视线跟踪信息。

2目标检测相关工作

2.1特征提取方法

早期的图像特征检测和提取技术主要采用边缘检测、角检测等方法，后来通过区域检测进一步提取出图像的显著特征。早期的图像特征提取一般分为三个步骤：预处理、特征提取、特征处理；然后再利用机器学习等方法对特征进行分类等操作。神经网络中用来提取图像特征最早应用是卷积神经网络，从最开始的LeNet5，到在图像识别任务上取得重大突破的AlexNet，再到更强大的ZFNet、ResNet，Darknet，都充分展示了卷积神经网络在图像领域的地位。深度学习的快速发展和设备能力的改善（如算力、内存容量、能耗、图像传感器分辨率和光学器件）提升了视觉应用的性能和成本效益，并进一步加快了此类应用的扩展。基于深度学习的特征提取方法主要是基于卷积神经网络来自动提取图像的特征。

2.2感受野网络

随着深度神经网络的发展，目前性能最佳的目标检测模型都依赖于深度的CNN主干网，如ResNet-101和Inception，虽然强大的特征表示有利于性能的提升，但却带来高额的计算成本。相反的，一些轻量级的检测模型可以实时的处理检测问题，但随之带来的是精度的牺牲。文献[13]通过使用人工设计的网络模块（hand-craftedmechanism）强化轻量级特征来构建快速准确的检测模型。受人类视觉系统中感受野（RF）结构的启发，文献提出了一种新颖的RF模块（RFB），它通过模拟RF的大小和偏心率之间的关系增强了特征的可辨性和模型的鲁棒性。RFB是一种多分支的卷积模块，它的内部结构可以分为两个部分：具有不同卷积核的多分支卷积层后接膨胀池化或膨胀卷积。

2.3数据集构建

数据决定了学习的上限，而神经网络只是逼近这个上限，所以一开始的数据收集工作，起到了关键的作用。其中，数据的采集又是非常困难的，因为针对无人机目标检测问题，并不存在公开的标准训练数据库能够训练神经网络，所以只能按照现有的条件重新采集新的数据。无人机数据集采集主要是通过使用摄像机对6种市面主流的消费级无人机（五种不同大小不同形状的四旋翼无人机和一种直升机）和主要干扰物气球进行拍摄视频，然后对视频进行抽帧，得到无人机图片，之后再对图片进一步筛选标注，就得到了无人机的数据集。

3目标跟踪

3.1相关工作

目标跟踪任务旨在给定目标的初始位置，计算出后续每帧图像中目标的位置信息。国内外的科研工作者对此问题进行了广泛研究。例如，提出了一种单PTZ摄像头下的快速运动物体的实时跟踪方法，该方法引入了卡尔曼滤波算法和感兴趣区域来达到跟踪快速物体的效果。提出了一个基于单PTZ摄像头的视频监控系统，利用背景差分的方法检测出运动目标。然而这些传统的静态摄像头下的目标跟踪，受限于摄像头视角的有限性,难以对感兴趣目标进行大范围和长时间的跟踪。近年来，随着无人机技术的发展，基于无人机进行目标追踪被广泛应用在航拍、电力巡检、物流、军事侦察、目标打击等领域。例如，某人介绍了基于视觉的无人机目标追踪方法，该方法是采用数传将摄像机采集到的图像数据发送到远端进行处理后再发送指令给无人机。介绍了一种基于合作目标的无人机目标跟踪方法，能够实现准确跟踪，此方法主要用在危险物排除。尽管这些方法取得了突破性进展，但它们大多只考虑了改进追踪算法，而没有采用一定的控制策略以控制无人机飞行，使其达到变速飞行的效果，无法在复杂电力场景中对运动隐患目标进行有效追踪。

3.2追踪模块

为了准确实时地对电力场景下运动的隐患目标进行追踪，本文采用目标追踪和目标检测算法相结合的方式，在目标追踪算法追错或追丢的情况下，能够通过目标检测算法及时地纠正或找回，进而保障追踪的准确性。具体而言，简洁高效的目标追踪算法核相关滤波（KernelCorrelationFilter，KCF）和目标检测算法YOLOv3，值得一提的是，本文所提框架，也适用于其他的目标检测和目标追踪算法。

3.3KCF目标追踪

经典的KCF核相关滤波追踪算法，通过使用循环移位得到的循环矩阵来采集正负样本，利用循环矩阵在傅里叶空间可对角化的性质，将矩阵的运算转化为元素的点乘，从而降低了运算量，使得算法满足实时性要求，在众多目标追踪相关任务中取得了出色的效果。为了保证追踪效果，常见的提高算法判别能力的高斯核函数。为了降低追踪目标丢失的可能性，可引入目标检测算法（即YOLOv3）来重新捕获可能丢失的运动目标，以提高模型效果。

3.4追踪目标定位

由于YOLOv3借鉴残差网络结构，形成了更深的Darknet-53网络结构，以及采用多尺度检测，提升了mAP及小物体检测效果,其在目标检测的诸多相关任务中得到了广泛应用并取得了优异的检测效果。因此，采用YOLOv3网络结构来对运动目标进行目标检测，以弥补追踪过程中目标丢失问题。

结束语

随着人工智能的快速发展,深度学习方法在无人机避障的感知过程中有着巨大的应用前景,其强大的逼近能力使其能够提取到更多的障碍特征,并具有更强的环境适应性,从而使得无人机在搭载一个双目相机的情况下能够完成对障碍物的实时感知。

参考文献

[1]鞠默然，罗海波，王仲博，等．改进的YOLOV3算法及其在小目标检测中的应用[J]．光学学报，2019，39（7）：0715004.

[2]魏湧明,全吉成,侯宇青阳.基于YOLOv2的无人机航拍图像定位研究[J].激光与光电子学进展,2017,54(11):95-104.

[3]刘大伟,韩玲,韩晓勇.基于深度学习的高分辨率遥感影像分类研究[J].光学学报,2016,36(4):298-30.

[4]汤坚，杨骥，宫煦利．面向电网巡检的多旋翼无人机航测系统关键技术研究及应用［J］．测绘通报，2017(5):71-74．