基于改进YOLOv5的有遮挡行人检测方法研究_李彤晖.pdf

现代计算机Modern Computer第 28 卷 第 24 期2022年12月25日文章编号:1007-1423（2022）24-0047-05DOI:10.3969/j.issn.1007-1423.2022.24.008基于改进YOLOv5的有遮挡行人检测方法研究李彤晖，宋晓茹（西安工业大学电子信息工程学院，西安710021）摘要：针对行人检测因遮挡而出现的检测精度低、误检率高的问题，提出基于YOLOv5m算法的改进KSEYOLO检测模型。首先进行初始中心点选取优化，选取匹配行人目标的先验框尺寸，提升检测精度；其次引入注意力机制模块，提升网络对于行人目标的关注度，降低误检率；最后，在公开数据集上进行训练并测试。结果表明，对比传统主流识别算法，KSEYOLO在检测精度、召回率以及平均精度均值上均有提升，可有效应用于遮挡情况下的行人检测与其相关领域。关键词：YOLOv5；行人检测；注意力机制；Kmeans+0引言有遮挡的行人检测作为机器视觉的热门研究方向，主要分为两类情况：一类为包含建筑、车辆、树木等其他物体对于行人的遮挡造成目标信息的缺失；另一类则为行人之间的相互遮挡，多姿态动作引入大量干扰信息，均会导致检测精度降低与误检问题的发生。近年来，有遮挡的行人检测受到国内外科研工作者的广泛研究，取得了良好的发展。Enzweiler等1提出了具有部分遮挡处理的多线索行人分类方法，通过检查遮挡边界来确定可见性的程度，依赖于遮挡的分量权重将专家分类器的混合决策集中于未遮挡的行人身体部分；Wojek等2提出一种在跟踪器中加入遮挡背景的3D模型场景，并使用HOG+SVM3训练遮挡背景的检测器，实现多对象跟踪，但人力物力成本太高；蒋胜等4提出一种基于区域的全卷积网络，使用强化学习方法将行人和复杂干扰区域划分，缓解了传统网络的误检问题；Zhang等提出一种基于FasterRCNN5架构的、简单紧凑的行人遮挡检测方法6，在单个模型中使用跨通道的注意机制来表示各种遮挡模式，引入自我或外部引导的注意力网络提升网络对行人目标的关注度，但检测速度有待提升。在此基础上，本文设计 KSEYOLO 检测模型，以提升识别算法鲁棒性与检测精度，降低误检率。首先优化初始中心点的选取，使得目标框与真实框更为接近，以降低模型误检率；其次在骨干网络中引入SENet模块7，增强通道之间的学习能力，提升对于行人目标的关注，进而提升检测精度；最后在公开数据集上将改进 KSEYOLO 与三种主流检测算法进行对比分析实验，以证明改进模型检测性能的提升。1YOLOv5m模型的研究采用YOLOv5m作为基础识别网络在研究后进行改进，原网络主要分为以下四个部分：输入端，包括数据增强，自适应锚框计算与图片缩放。Mosaic数据增强随机缩放、剪裁、排布4张图片拼在一起，可同时处理4幅图片并添加更多小目标；网络每次训练时在初始锚框的基础上输出预测框，自适应计算与真实框的差距，获得最好锚框值后反向更新，迭代网络参数；为减少信息冗余问题，网络给原始图像自适应地添加最少的黑边后统一缩放到一个标准尺寸，再送入检测网络中，提升模型实时性。骨干网络，由CSP、SPP与Focus三个模块 47现代计算机2022年构成。CSP模块将基础层特征映射先划分再跨阶段层次结构合并，提升神经网络的学习能力，在不影响精度的情况下提升模型实时性；SPP模块采用输入图像分布最大池化，再通过 Concat操作拼接融合特征，提高模型检测精度；Focus关键为切片操作，输入图像后由通道每个区域每隔固定步长取值进行切片操作，再将所有的切片按通道连接，经过一次卷积操作，最终得到特征图。颈网络，核心为FPN和PAN结构，FPN 结构将高层的、大目标的类别特征向低层传递，PAN 结构将低层的、大目标的位置特征和小目标的类别、位置特征向上传递，两者互补并克服各自局限性，强化模型特征提取能力。预测端，使用加权NMS对多目标和有遮挡的目标增强识别能力，获得最优目标检测框；损失函数使用CIOU_Loss，考虑目标框回归函数的重叠面积、中心点距离、长宽比三个重要几何因素，有效解决边界框不重合的问题，提高了预测框回归的速度和精度。2改进KSEYOLO模型的构建2 2.1 1Kmeans+Kmeans+聚类方法聚类方法Kmeans 是基于划分方法的无监督聚类算法，通过欧氏距离从样本中随机选取K个质心作为初始聚类中心，计算选取样本距离最近质心点进行分配，得到 K 个不同的簇。该方法虽简单有效，但不同的初始聚类中心可能导致完全不同的聚类结果。KSEYOLO 模型采用Kmeans+聚类方法，优化选择初始质心，对行人数据集中的真实框的尺寸进行聚类分析，选取与行人目标相匹配的先验框尺寸，降低模型误检率。Kmeans+聚类方法先从数据集中随机选取一个样本作为初始聚类中心并计算与每个样本间的最短距离D(x)；再计算每个样本点被选作下个聚类中心的概率D(Xi)2i=1nD(Xi)2，使用轮盘法选取下一个聚类中心；不断重复上述工作，直至选出K个聚类中心。2 2.2 2SENetSENet的引入的引入SENet通过对通道间的关系建模来提高网络性能，使用全局的信息加强有用特征，网络结构简单且易于部署，如图1所示。其中Fsq表示采用全局平均池化压缩每个通道的特征，使得靠近输入的层也可获得全局感受野；Fex由显示通道间相关性的参数为每个特征通道生成权重。图 1SE模块示意图在骨干网络的每个CSP 模块之后引入SE模块可提升模型对于通道之间的学习能力，将原CSP模块删掉一个卷积层和与之相连的BN层以保证算法实时性，并进一步加强行人相关特征，从而提高模型检测精度，降低漏检率，KSE-YOLO的总体结构如图2所示。3实验验证与结果分析3 3.1 1数据集的构建数据集的构建INRIA数据集是使用较多的静态行人数据集，OTCBVS 数据集采集校园繁忙通道十字路口的行人图像，均存在许多遮挡情况，故将两 48李彤晖等：基于改进YOLOv5的有遮挡行人检测方法研究第24期者整合共提取5726张图片，包含15000多个行人目标构建数据集，使用LabelImg工具进行标注，将标注图像从xml转换为YOLOv5格式，按721的比例分为训练集、测试集和验证集。3 3.2 2衡量指标衡量指标为了衡量算法的性能，将检测精度（Precision）、召回率（Recall）、均值平均精度 mAP（Mean Average Precision）作为衡量算法性能的标准，mAP0.5：0.95表示阈值取0.5到0.95时，总体平均mAP值，计算公式如下所示：Precision=TPTP+FP（1）Recall=TPTP+FN（2）mAP=1Cc CAP(c)（3）其中，TP表示预测为正，实际为正；FN表示预测为负，实际为正；FP表示预测为正，实际为负；TN表示预测为负，实际为负。3 3.3 3实验验证与结果分析实验验证与结果分析3 3.3 3.1 1实验环境与参数设置实验环境与参数设置实验操作系统为 Windows10，CUDA 10.1，显卡 NVIDIA RTX 3090Ti*2 加速，输入图像尺寸为128 128，Python编写程序，Adam优化算法更新网络参数，模型参数设置如表1所示。表 1模型参数设置模型参数批量个数Epoch学习率Dropout率参数设置163000.010.053 3.3 3.2 2检测结果检测结果与分析与分析KSE-YOLO算法的检测结果如图3所示，可得改进算法的检测精度随着步长迅速增长，最终稳定在93.3%，在迭代40次时，损失值大约图 2KSE-YOLO网络结构图 49现代计算机2022年在0.01左右，mAP0.5：0.95已经达到75%左右，且loss值下降收敛曲线较好。从测试集中随机选取不同场景下的行人图片进行测试，结果如图 4所示，图中可以看出KSE-YOLO算法对于遮挡行人目标的检测精度较高，漏检与误检率较低。图 4行人检测结果3 3.3 3.3 3经典算法对比结果与分析经典算法对比结果与分析在相同配置条件下进行 KSEYOLO 与主流目标检测算法的对比测试，结果如表2所示。由表2可得：与传统YOLOv5m相比，改进算法检测精度提升3.2个百分点，召回率提升4.5个百分点，平均检测精度提升6.9个百分点；与YOLOv3、YOLOv4 相比，改进算法的各项评价指标均表现更优。综上，改进算法在进行遮挡情况下的行人检测时，能够保证较高的检测精度和较低的漏检率。表2模型检测性能对比模型YOLOv3YOLOv4YOLOv5mKSE-YOLO精度0.8510.8720.9010.9330.4650.5760.7040.749召回率mAP0.5：0.950.5380.6460.7230.7924结语针对目前存在遮挡的行人检测中识别准确率不足以及误检率较高的问题，提出基于 YOLOv5m 网络的改进 KSEYOLO 检测模型。采用Kmeans+聚类方法优化初始质心选取，提升算法鲁棒性；在骨干网络的每个CSP模块后引入SENet，提升网络对于行人目标的关注度；最后在公开数据集上进行实验。结果表明，改进算法在检测精度、召回率与平均精度方面都有一定提升，可有效应用于遮挡环境下的行人检测及其相关领域。下一步将在复杂环境下提高识别精度以及模型轻量化方向进行研究。参考文献：1 ENZWEILER M，EIGENSTETTER A，SCHIELEB，et al.Multicue pedestrian classification with partial occlusion handlingCComputer Vision andPattern Recognition.IEEE，2010：1366-1387.2 WOJEK C，WALK S，ROTH S，et al.Monocular visual scene understanding：understanding multiobjecttraffic scenes J.IEEE Transactions on Pattern Analy（a）检测精度（b）obj_loss（c）mAP0.5：0.95Obj_lossmAP_0.5:0.951.00.80.60.40.20.00.00.20.40.60.81.0PrecisionConfidence图 3KSE-YOLOv5算法检测结果 50李彤晖等：基于改进YOLOv5的有遮挡行人检测方法研究第24期sis and Machine Intelligence，2013，35（4）：882-897.3 WANG X，HAN T X，YAN S.An HOG-LBP human detector with partial occlusion handlingCIEEE International Conference on Computer Vision.IEEE，2009.4 蒋胜，黄敏，朱启兵，等.基于RFCN的行人检测方法研究 J.计算机工程与应用，2018，54（18）：180-183，262.5 REN S，HE K，GIRSHICK R，et al.Faster R-CNN：towards realtime object detection with regionproposal networks C Advances in Neural Information Processing Systems，2015：91-99.6 ZHANG S，YANG J，SCHIELE B.Occluded pedestrian detection through guided attentionC2018IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，UT，USA，2018：6995-7003.7 HU J，SHEN L，ALBANIE S，et al.SqueezeandEx