基于轻量化网络和注意力机制的智能车快速目标识别方法 陈志军.pdf

该【基于轻量化网络和注意力机制的智能车快速目标识别方法 陈志军 】是由【袭人】上传分享，文档一共【11】页，该文档可以免费在线阅读，需要了解更多关于【基于轻量化网络和注意力机制的智能车快速目标识别方法 陈志军 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:.
交通运输系统工程与信息
JournalofTransportationSystemsEngineeringandInformationTechnology
ISSN1009-6744,CN11-4520/U
《交通运输系统工程与信息》网络首发论文
题目:基于轻量化网络和注意力机制的智能车快速目标识别方法
作者:陈志军,胡军楠,冷姚,钱闯,吴超仲
收稿日期:2022-07-12
网络首发日期:2022-09-28
引用格式:陈志军,胡军楠,冷姚,钱闯,
能车快速目标识别方法[J/OL].交通运输系统工程与信息.
.
网络首发:在编辑部工作流程中,稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶
段。录用定稿指内容已经确定,且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期
刊特定版式(包括网络呈现版式)排版后的稿件,可暂不确定出版年、卷、期和页码。整期汇编定稿指出
版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出
版管理条例》和《期刊出版管理规定》的有关规定;学术研究成果具有创新性、科学性和先进性,符合编
辑部对刊文的录用要求,不存在学术不端行为及其他侵权行为;稿件内容应基本符合国家有关书刊编辑、
出版的技术标准,正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。
为确保录用定稿网络首发的严肃性,录用定稿一经发布,不得修改论文题目、作者、机构名称和学术内容,
只可基于编辑规范进行少量文字的修改。
出版确认:纸质期刊编辑部通过与《中国学术期刊(光盘版)》电子杂志社有限公司签约,在《中国
学术期刊(网络版)》出版传播平台上创办与纸质期刊内容一致的网络版,以单篇或整期出版形式,在印刷
出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊(网络版)》是国家新闻出
版广电总局批准的网络连续型出版物(ISSN2096-4188,CN11-6037/Z),所以签约期刊的网络版上网络首
发论文视为正式出版。
:.
췸싧쫗랢쪱볤ꎺ2022-09-2815:59:25
췸싧쫗랢뗘횷ꎺ.
基于轻量化网络和注意力机制的智能车快速目标识
别方法
陈志军1,胡军楠,冷姚,钱闯,吴超仲
(武汉理工大学智能交通系统研究中心,武汉430063)
摘要:为提高智能车在真实环境中的实时检测能力,改善复杂环境下检测效果不佳的问题,
本文提出了一种基于轻量化网络和注意力机制的智能车快速目标识别方法。首先,为了减少
网络计算参数和提升目标识别算法的推理速度,提出利用GhostNet加速YOLOv4的特征提
取;其次,为了提高复杂场景下对道路目标的识别精度,在GhostNet和特征金字塔部分添
加结合软阈值化改进的注意力模块。为了验证本文提出方法的有效性,选取PascalVOC、
KITTI公开数据集和自制城市道路数据集进行实验对比。与其他目标检测算法在精度和速度
上进行比较,%的情况下,模型参数量降低到
%,检测速度提升了66%,检测速度和精度优于其他算法,可满足智能车的实时
感知需求。
关键词:智能交通;目标识别;深度学****轻量化;注意力机制
中图分类号::A
IntelligentVehicleFastTargetRecognitionMethodBasedon
LightweightNetworkandAttentionMechanism
CHENZhi-jun*,HUJun-nan,LENGYao,QIANChuang,WUChao-zhong
(IntelligentTransportationSystemsResearchCenter,WuhanUniversityofTechnology,Wuhan
430063,China)
Abstract:Inordertoimprovethereal-timedetectionabilityofintelligentvehicleinreal
environmentandimprovethepoordetectioneffectincomplexenvironment,thispaperproposesa
fasttargetrecognitionmethodofintelligentvehiclebasedonlightweightnetworkandattention
,inordertoreducethenetworkcalculationparametersandimprovethe
reasoningspeedofthetargetrecognitionalgorithm,GhostNetisproposedtoacceleratethefeature
extractionofyolov4;Secondly,inordertoimprovetherecognitionaccuracyofroadtargetsin
complexscenes,animprovedattentionmodulecombinedwithsoftthresholdingisaddedto

paper,PascalVOC,Kittipublicdatasetsandself-madeurbanroaddatasetsareselectedfor

andspeed,theresultsshowthatwhentheaveragedetectionaccuracyofthismethodisincreased
%,%,andthedetectionspeedis
increasedby66%.Thedetectionspeedandaccuracyarebetterthanotheralgorithms,whichcan
meetthereal-timeperceptionneedsofintelligentvehicles.
Keywords:intelligenttransportation;targetidentification;deeplearning;lightweight;attention
mechanism
收稿日期:2022-07-12修回日期:2022-09-09录用日期:2022-09-21
基金项目:国家自然科学基金/NationalNaturalScienceFoundationofChina(52072288);湖北省
科技重大专项/MajorscienceandtechnologyprojectsinHubeiProvince(2020AAA001)
作者简介:陈志军(1983-),男,河南周口人,副教授,博士。*通信作者:******@
1
:.
0引言
智能车在提高行车安全、减轻驾驶员负担方面具有重要作用,并有助于节能环保和提高
交通效率,是实现智能交通的关键载体[1]。在复杂行驶环境下,准确高效的实时感知能力可
为智能车提供可靠的环境信息,对保障车辆安全性和稳定性至关重要[2]。
在智能车感知领域,主要采用基于深度学****的目标检测方法。经典算法如YOLOv3[3]、
FasterRCNN[4]等,国内外学者根据智能车的感知需求对检测算法做了一系列改进,Possatti
等[5]将交通灯数据集进行样本增强,同时将感知算法与智能车使用的先验地图相结合,实现
对真实场景交通灯的准确识别。Mohd-Isa等[6]通过在YOLOv3框架中集成空间金字塔池化,
进一步识别真实环境中的远小交通标志。邵毅明等[7]通过动态路由协议对物体的实例化参数
进行表达和传递,保留了各特征对象间的空间层级关系,提高了智能车对道路环境中行人目
标检测的准确率。由于智能车对感知实时性要求较高,上述这些算法往往网络模型较大,且
难以平衡检测速度与精度,无法满足智能车实时感知的需求。近年来,学术界和工业界将研
究重点放在感知算法轻量化上,结合轻量化网络改进的目标识别网络在节省计算资源方面效
果显著,经典轻量化模型包括MobileNet[8]和ShuffleNet[9]等,MobileNet提出了深度分离卷
积,并使用逐点卷积进行通道间信息融合来实现模型压缩,ShuffleNet利用逐点群卷积和通
道混洗实现了参数量的降低。Deng等[10]采用MobileNetv3作为特征提取块,利用YOLOv4[11]
作为分支来检测车辆和车道线,适用于跟车场景的车辆和车道线多任务实时检测模型。史宝
岱等[12]采用特征拼接的方式多支路并行,并将通道注意力机制与深度可分离卷积结合,实
现了对道路图像的快速检测。张凡[13]针对现有交通标志检测与识别网络检测速度慢的问题,
采用压缩激励模块,提出了基于轻量化多尺度特征融合的交通标志识别方法。Chen等[14]在
Tiny-YOLOv3的网络层结构上进行裁剪,提升了智能车在道路环境中的检测速度,但是损
失了检测精度。现有智能车轻量化感知方法大多从模型压缩的角度出发,这些方法未考虑图
像特征之间的关联和冗余性,且存在检测精度下降的问题。
针对这些问题,本文兼顾算法检测速度和准确性需求,提出一种基于GhostNet[15]的智
能车轻量化目标识别方法。为了降低YOLOv4算法特征提取过程中图像参数的冗余计算和
提高推理速度,使用改进后的GhostNet网络替换YOLOv4原始的主干特征提取网络,改变
模型的卷积计算方式,使网络参数计算量显著降低;智能车主要关注复杂行驶环境中的车辆
和行人等信息,且轻量化网络会造成精度损失,采用结合软阈值化改进的CBAM
(ConvolutionalBlockAttentionModule)注意力模块[16]使算法获取到更多的关键特征;最终
在保证检测精度的同时满足了智能车的实时检测需求。
1基于改进注意力机制的GhostNet轻量化网络

GhostNet是一种基于MobileNet[8]模型改进的轻量化网络结构,通过计算量更小的操作
来生成常规特征提取方法中的冗余特征图,避免了大量的卷积计算,从而在不影响模型精度
的情况下减少模型计算复杂度。GhostNet的思想是将传统的卷积分成两步[15]:第1步使用1
×1卷积核生成输入特征层的特征浓缩,第2步对生成的特征图使用计算量较低的逐层卷积
获得另一半特征图,最后将两组特征图拼接在一起,得到了与传统卷积层同等特征表达能力
的相似特征图。Ghost卷积与传统卷积的计算参数量对比为:nn''''
hwmkkshwkk(1)
ss
RS''
hwnkkm
11s(1)
kkmkk
sssm+-11

kkmsms
2
:.
式中分子部分代表Ghost卷积的参数量,分母部分代表传统卷积的参数量。m是输入通
道数,h表示输入特征图高度,w表示输入特征图宽度,n表示输出通道数,h'是输出特征
图高度,w'是输出特征图宽度,k×k是卷积核的尺寸。s代表Ghost特征图的个数,且s远
小于m,则理论参数压缩比大约等于Ghost特征图的个数s,因此Ghost卷积极大减少了网
络参数计算量。

利用GhostNet对特征提取网络进行轻量化改进后计算参数显著减少,但由于特征稀疏
的影响,会导致部分精度损失。通过加入注意力机制获得需要重点关注的目标区域,相比于
原始特征提取方式,注意力机制在仅增加少量计算参数的情况下,获取到目标更多的关键特
征,从而提高检测准确率。
本文结合软阈值化机理对CBAM注意力机制[16]做出改进。在计算机视觉领域,由于图
像信息中存在噪声冗余,通过软阈值函数可实现降噪处理,利用神经网络自动选取阈值从而
削弱冗余特征对识别任务的影响,避免了阈值难以选取的问题。将软阈值化与注意力机制结
合,针对特征的重要程度自适应设置不同的阈值,同时可通过注意力机制进行自动阈值调整,
从而实现对图像关键特征的强化和对冗余特征的抑制。软阈值函数的公式和其偏导公式如下
所示:
xx,
(2)
ysoftxx(,)0,
xx,

1,x
y(3)
0,x
x
1,x
式中x表示输入特征,y表示输出特征,τ表示阈值。通过注意力机制生成的权重系数
自动调整阈值,当输入特征大于阈值时对特征进行收缩;当输入特征小于阈值时,视为冗余
噪声,将特征置零。软阈值化函数的导数只为0或1,可以有效防止梯度的消失与爆炸问题。
在CBAM注意力机制中,输入特征依次经过通道注意力模块和空间注意力模块进行强
化。其中通道注意力模块的特点是保持通道维度不变,压缩空间维度,主要关注目标的种类
信息;空间注意力模块的特点是保持空间维度不变,压缩通道维度,主要关注目标的位置信
息。将从通道注意力机制和空间注意力机制提取的特征依次进行软阈值化处理,利用软阈值
化函数改进的CBAM注意力机制网络结构如图1所示,通道注意力模块和空间注意力模块
的具体结构如图2所示,其中通道注意力首先沿着空间维度将输入进行最大池化和平均池化,
然后利用共享的全连接层对两者进行处理,通道数首先调整为原来的1/8,然后再恢复到原
来的通道数,实现特征转换和信息重组,对获取到的新特征进行相加和激活,得到最终的输
出;空间注意力首先沿着通道维度将输入进行最大池化和平均池化,并将两者进行堆叠,然
后进行卷积和激活,得到最终的输出。
图1结合软阈值化的CBAM模块网络结构
3
:.

(a)通道注意力网络结构(b)空间注意力网络结构
图2通道注意力和空间注意力具体结构

将结合软阈值化改进的CBAM注意力模块SCBAM(Soft-thresholdConvolutionalBlock
AttentionModule)嵌入到GhostNet中,SCBAM模块的部署位置如图3所示,通过在GhostNet
中应用注意力机制,实现了在降低计算参数的情况下提取到更多关键特征。
图3改进GhostNet整体结构

2基于轻量化网络和注意力机制的智能车快速目标识别网络
本文选用YOLOv4[11]算法进行改进,结合GhostNet和注意力机制提出了一种智能车轻
量化目标识别方法,其整体结构如图4所示。
图4改进YOLOv4整体网络结构

使用改进后的GhostNet轻量化网络替代YOLOv4的原始特征提取网络,在不影响提取
特征的情况下实现算法的轻量化目标,输入特征首先经过常规卷积、正则化和激活函数,保
留足量特征,然后经过多个Ghost模块实现轻量化的特征提取。SPP(SpatialPyramidPooling)
多重池化代表将从GhostNet输出的特征进行多尺度最大池化,然后将特征拼接后输入到特
征金字塔部分。上采样卷积拼接和下采样卷积拼接代表特征金字塔中的一些特定模块,将这
些模块通过不同的级联方式进行连接,获得不同尺寸的预测头输出,从而实现对不同大小目
标的精确识别。
结合GhostNet轻量化网络和SCABAM注意力机制改进后的YOLOv4算法具体结构见
图5。使用GhostNet作为YOLOv4新的特征提取网络,同时将SCBAM注意力模块添加在
GhostNet的第4层和第6层,获取到更多图像特征;将GhostNet的第6、7、8三层分别输
入到特征金字塔网络PANet(PathAggregationNetwork)和SPP多重池化结构中。SPP结构
中包括四种尺度的最大池化,池化核大小分别是1×1、5×5、9×9和13×13,这种结构可
以有效增加感受野,从而分离出最显著的目标上下文信息。
在特征金字塔PANet部分,添加了深度可分离卷积和结合软阈值化改进的注意力模块
4
:.
即SCBAM。通过深度可分离卷积(DepthwiseSeparableConvolution)进一步降低网络计算参
数,深度可分离卷积在MobileNet[8]中首次提出,极大降低了模型的参数量,适合部署于计
算资源有限的设备中。特征金字塔PANet的核心思想是对特征进行反复提取,将PANet的
特征从上到下视为一二三共3层;从GhostNet主干网络第6层输出的特征视为第一层,其
经过卷积和来自PANet中第二层上采样的特征拼接之后,再在后面叠加SCBAM注意力模
块,最终输出一个YoloHead预测头,预测框尺寸大小为76×76;从GhostNet主干网络第7
层输出的特征视为第二层,其经过卷积和来自第三层上采样的特征拼接之后,再将特征叠加
第一层下采样的特征,经过拼接和深度可分离卷积后输出一个YoloHead预测头,此预测框
尺寸大小为38×38;从SPP多重池化输出的特征首先进行拼接和卷积,视为第三层,然后
在其后添加一个SCBAM注意力模块,然后将其与来自第二层下采样的特征进行拼接,经过
深度可分离卷积后输出YoloHead预测头,此预测框尺寸大小为19×19;最终得到了三种尺
寸大小的预测框,从而可以对图像中不同大小的目标进行有效预测。算法整体的输入特征、
提取的关键特征和输出特征参数如表1所示,其中特征的三个维度代表长度、宽度和通道数,
输出特征里的通道数k随数据集中的目标种类数而变化。
表1Ghost-SCBAM-YOLOv4算法关键参数
Table1KeyparametersettingofGhost-SCBAM-YOLOv4
输入维度输出维度
输入特征416×416×326×26×80,26×26×112,13×13×160
提取关键特征26×26×80,26×26×112,13×13×16076×76×k,38×38×k,19×19×k
输出特征76×76×k,38×38×k,19×19×k—
为了解决YOLOv4模型在轻量化后准确率损失的问题,在模型的特征金字塔层添加四
个SCBAM注意力模块,由于特征在经过拼接或采样处理后不够突出,因此主要将四个
SCBAM注意力机制添加到经过拼接的特征层后和上下采样处理的特征层后,具体位置如图
5所示。对特征金字塔提取的特征进行多次注意力机制强化,使输入到预测层的特征更聚合,
增强预测层的特征表达能力,最终实现算法检测速度和精度的提升。
图5Ghost-SCBAM-YOLOv4算法具体结构
-SCBAM-YOLOv4algorithm
3实验与分析
5
:.

本文选择公开数据集PASCALVOC2007、KITTI和自制武汉市城市道路实车实验数据
集用于训练测试。VOC2007数据集共包含21504张带标签的图片,包含20个种类,每张图
片内的目标特征区分度明显;KITTI数据集是目前国际上最大的自动驾驶场景下的计算机视
觉算法评测数据集,包含7481张带标签的图片,本文对数据集中的汽车、卡车、行人和自
行车进行了训练与识别;自制城市道路实车实验数据集采集于夜晚武汉市的城市道路,包含
3000张图片,标签包含汽车、行人和大巴车三类。三个数据集采用相同的比例划分方法,
训练集和测试集的划分比例为9:1,并在后期实验中使用K折交叉验证和多种比例划分方法
来测试算法的稳定性,数据集部分图片展示如图6所示。
(a)VOC数据集部分样本(b)KITTI数据集部分样本(c)自制数据集部分样本
图6三个数据集部分样本图像

本文算法训练过程使用的显卡为NVIDIAGeForceRTX3080,显存大小为10GB,CPU
型号为IntelCorei7-10700KF,-GPU,Cuda版本为
;在RTX3080显卡上进行训练时,,采用余弦退火技术
对学****率进行动态调整;优化器采用SGD随机梯度下降方法;算法共训练150个epoch,
BatchSize设置为8。

在本节中,我们对算法性能进行了测试和对比。首先将原始YOLOv4算法、使用原始
GhostNet轻量化改进的Ghost-YOLOv4和引入注意力机制的轻量化
DwGhost-SCBAM-YOLOv4算法进行对比;然后将本文的DwGhost-SCBAM-YOLOv4算法
与业界主流目标检测算法进行对比。
实验主要从算法检测速度和精度方面对各项指标进行了对比。使用的评价指标包括平均
准确率mAP(meanAveragePrecision)和对数平均误检率lamr(logaveragemissrate),其中lamr
代表对数平均漏检率,其定义为检测错误正样本的数量与图片中全部正样本的比例,经过对
数平均调整后,可体现算法对负样本的特征抑制和对正样本持续稳定的筛选能力,体现了算
法的检测稳定性;在检测速度方面,使用平均单张图片的处理时间FPS(FramesPerSecond)
和模型权重大小作为评价指标。在VOC2007数据集、KITTI数据集和自制夜晚城市道路数
据集上对本文所采用的优化方法和原始方法进行评估和对比,结果如表2所示。
表2本文方法与原始YOLOv4方法在各数据集上的性能对比
Table2Theperformancecomparisonbetweenthismethodandtheoriginalyolov4methodoneachdataset
模型权重FPSmAPLamr
数据集网络模型
大小(MB)(帧/秒)(%)(%)

VOC2007Ghost-
DwGhost-SCBAM-

6
:.
Ghost-
DwGhost-SCBAM-

夜晚
Ghost-
城市道路
DwGhost-SCBAM-
由表2可知,在不增加注意力机制的情况下,Ghost-YOLOv4算法的模型权重在三个数
%,检测速度FPS平均增加了66%,显著提升了算法检测速度,但
是检测精度有所下降。添加SCBAM注意力机制和深度可分离卷积后,提出的
DwGhost-SCBAM-YOLOv4方法平均检测准确度相比Ghost-%,相比原始
%,且算法的稳定性指标lamr也有所优化,同时使模型大小降
%,检测速度FPS增加了66%,在保证精度的情况下实现了算法的轻量化目标。
在VOC和KITTI公开数据集上的检测效果优于原始YOLOv4方法和数据集官方指标,三个
数据集具体的检测准确率如图7所示,图像检测效果对比如图8所示。
(a)VOC数据集识别效果(b)KITTI数据集识别效果(c)自制数据集识别效果
图7不同数据集检测准确率

(a)原始算法检测效果(b)本文算法检测效果
图8算法检测效果对比

在图7中,本文提出的DwGhost-SCBAM-YOLOv4算法在VOC数据集上的平均检测准
%,其中汽车、大巴、火车和行人等常见交通目标的检测准确率均在90%以
上;在KITTI数据集上进行检测,其中对汽车的检测准确率达到83%;在自制夜晚城市道
7
:.
路数据集上进行检测,由于黑暗环境下目标特征难以提取,对汽车的检测准确率是56%,
仍优于大部分专为黑夜环境设计的车辆检测方法,证明了本文方法在检测精度上的有效性。
为进一步验证本文方法在检测速度和精度上的有效性,选取目前主流的目标检测算法进
行对比,其中主流常规检测算法包括FasterRcnn[4]、SSD[17]和YOLOv3[3],轻量化目标检测
算法包括MobileNet[8]、ShuffleNet[9]和YOLOv5s[18]。将这些算法在VOC数据集和相同软硬
件环境下进行训练,训练集和测试集的比例为9:1,结果对比如表3所示,不同算法检测速
度对比如图9所示。
表3本文方法与其他目标检测算法性能对比
Table3Theperformanceofthismethodiscomparedwithothertargetdetectionalgorithms
网络模型模型权重FPSmAP
大小(MB)(帧/秒)(%)




YOLOv5(s)
MobileNetv3-

DwGhost-SCBAM-YOLOv4(ours)
图9不同算法检测速度对比

由表