基于单目视觉的无人水面艇目标跟踪方法 饶六中.pdf

该【基于单目视觉的无人水面艇目标跟踪方法 饶六中 】是由【妙玉】上传分享，文档一共【5】页，该文档可以免费在线阅读，需要了解更多关于【基于单目视觉的无人水面艇目标跟踪方法 饶六中 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。44 传感器与微系统(TransducerandMicrosystemTechnologies) 2022年第41卷第7期
DOI:—9787(2022)07—0044—04
基于单目视觉的无人水面艇目标跟踪方法*
饶六中,王建华,郑 翔,张山甲
(上海海事大学航运技术与控制工程交通行业重点实验室,上海201306)
摘 要:水面目标跟踪是无人水面艇(USV)实现智能作业的重要基础技术。针对流场干扰下传统船舶纯
方位目标跟踪存在较大跟踪误差的问题,提出一种基于单目视觉的无人水面艇目标跟踪方法。在构建跟
踪船与被跟踪船运动模型的基础上,利用跟踪船的单目相机获取被跟踪船船尾搭载的标志物图像。通过
比较运动过程中标志物图像与期望图像的位置关系,实时计算出偏航角和偏航距离作为控制器输入量,实
时调节跟踪船的航向和航速,从而实现对被跟踪船的跟踪。仿真实验分析了不同目标路径情况下流场干扰
对跟踪性能的影响,实验结果表明:该无人水面艇目标跟踪系统具有良好的跟踪性能和一定的抗干扰能力。
关键词:无人水面艇;单目视觉;目标跟踪;流场干扰
中图分类号: 文献标识码:A 文章编号:1000—9787(2022)07—0044—04
Monocularvision-basedmethodfortargettrackingofUSV*
RAOLiuzhong,WANGJianhua,ZHENGXiang,ZHANGShanjia
(MarineTechnologyandControlEngineeringKeyLaboratory,ShanghaiMaritimeUniversity,Shanghai201306,China)
Abstract:Surfacetargettrackingisoneofthefundamentaltechnologiesforunmannedsurfacevehicle(USV)to
-onlytargettracking
oftraditionalshipsunderflowfieldinterferences,atargettrackingmethodbasedonmonocularvisionisproposed
,theimageofthemarkeronthestern

relationshipbetweenthemarkerimageandthedesiredimageduringthemovement,theheadingerrorandcross-
trackerrorarecalculatedinrealtimeandareusedasthecontrollerinputs,andtheheadingandspeedofthe
,the

showthatthetargettrackingsystemofUSVhasgoodtrackingperformanceandcertaininterferencerejecting
properties.
Keywords:unmannedsurfacevehicle(USV);monocularvision;targettracking;flowfieldinterference
0 引 言传统纯方位目标跟踪算法存在较大跟踪误差的问题,文
无人水面艇(unmannedsurfacevehicle,USV)是一种新献[5]提出利用计算机视觉技术分析被跟踪船航行图像,
型的无人化水上智能作业平台,具备小型轻量,机动灵活等计算被跟踪船航向和位置信息,该方法有效降低跟踪误差。
优势[1],适用于执行危险、狭窄水域等情况下的任务。在无人水面艇的目标跟踪根据使用领域不同分为实体目
无人水面艇领域,对水面目标的跟踪是研究热点之一,具有标跟踪和图像目标跟踪[6]。基于图像目标跟踪的应用,文
十分广泛的应用前景,例如无人水面艇主从式编队作业、水献[7]提出一种基于立体视觉的方法估计运动中无人水面
面目标抵近监视与跟踪、航运服务等。特别在弱联通的狭艇的位置、速度和航向,该方法将简单的立体视觉匹配算法
窄河道水域,无人水面艇之间互为中继节点实现与岸基的与扩展卡尔曼滤波的预测校正方法相结合实现无人水面艇
[2]
通信,这一应用为无人水面艇的目标跟踪提供了工程应对被跟踪船的跟踪;文献[8]提出基于单目视觉的自动特
用价值。征提取和跟踪滤波算法,对被跟踪船进行实时检测和跟踪,
近十几年来,视觉跟踪技术取得长足进步,研究人员提利用相机图像中地平线到被跟踪船的像素距离计算出距离
[3]
出许多有效的视觉目标跟踪算法。针对文献[4]提出的信息,最终利用无人船对被跟踪船进行跟踪实验;文献[9]
收稿日期:2020—10—13
*基金项目:国家自然科学基金资助项目(61703272)
第7期 饶六中,等:基于单目视觉的无人水面艇目标跟踪方法 45
通过处理高清图像获得高精度的被跟踪船距离,在提取的附体坐标系原点O与无人艇重心G重合;u为无人艇在附
感兴趣区域上,对原始图像进行立体匹配,为被跟踪船的定体坐标系中沿x轴的航速,v为无人艇在附体坐标系中沿
位提供准确的三维信息,最终提出将基于二维图像的目标y轴的航速;Fl,Fr分别为无人水面艇左右螺旋桨产生的推
跟踪与约束模板匹配相结合计算深度的方法,对被跟踪船力;Xflow,Yflow分别为流作用于艇体的流体动力;Nflow为流体
进行跟踪;文献[10]提出融合HOG与颜色特征进行运动作用于艇体的力矩;Vflow为抛物线型流场的流速;d为无人
目标跟踪;文献[11]通过将经典的跟踪方法Mean-Shift搜水面艇的宽度;ψ为无人水面艇的艏向角,取正北方Y轴方
索模型和卡尔曼(Kalman)滤波预测模型用于水面图像中向为0°;f为无人水面艇行驶中所受所有阻力之和。本文
目标位置信息跟踪。仅考虑无人水面艇的前进,艏摇,横漂运动,忽略艇的垂荡、
结合国内外文献发现,在非均匀流场下的水面目标跟横摇、纵摇运动得出如下平面运动方程[14]
mu
+f=F+F+X
踪研究较少,但流场干扰在实际河道中不可忽略,因此,本■·lrflow
|
文提出一种基于单目视觉的无人水面艇目标跟踪方法。首m·v=Yflow
|
先,描述了无人水面艇在不均匀流场干扰下的平面运动方■
d(1)
J·ω=(Fl-Fr-fl+fr)+Nflow
程;然后,通过对运动状态下标志物的检测提出视觉跟踪方|2
|t
法;在不均匀流场干扰下,利用实验室自主开发的无人水面=+
■ψψ0∫ωdt
艇实验平台进行仿真实验,验证本文所提方法的有效性和0
正确性。式中 m为无人艇的总质量;J为艇的转动惯量;ω为转动
角速度;fl,fr分别为艇体左右两侧所受的阻力;ψ0为无人
1 目标跟踪问题描述
为成功地跟踪上被跟踪船,需要获得被跟踪船相对于水面艇的初始艏向角。
跟踪船的距离和方位信息。 流场模型
能相同,跟踪船利用单目相机对被跟踪船船尾搭载的标志本文假设天气情况良好,在内河航道水域只存在流场
物进行检测并保持限定距离跟随被跟踪船,最终分析不均干扰的情况下,仿真验证跟踪船对被跟踪船的跟踪性能。
匀流场干扰和不同目标路径对跟踪轨迹误差和航向误差的通常情况流速沿航道纵向变化不大,但航道横断面分布不
影响。均匀,一般航道中心流速最大,向两侧逐渐减小,本文结合
实际建立如图2所示的流场模型,流速分布纵向不变,横向
跟踪船运动模型沿航道以抛物线型分布,流向与航道平行。



)

双桨无人水面艇“海翔”号,该艇长,宽,最大航-

s
·
m
4(
速可达节,无艏侧推器和舵,主要通过调节两侧推进电机/
[12,13]
螺旋桨的转速对无人水面艇进行控制。流
0
无人水面艇在抛物线型流场干扰下跟踪被跟踪船的示流向0°
0102030405060
1
意图如图所示,其中无人水面艇作为跟踪船搭载单目相流场宽度/m
机,被跟踪船船尾搭载标志物。为表述跟踪船的速度、航向图2 流场模型
XOY
以及位置等信息,本文建立世界坐标系www和跟踪船 上述流场模型的公式表达如下
附体坐标系xoy描述跟踪船水平运动特性。2
Vflow=2Pflow×((-1/1800)×Wflow+(1/30)×Wflow)
(2)
Yw
式中 2Pflow为峰速,Wflow为流场宽度。
Ac
2 基于单目视觉的无人水面艇目标跟踪方法
Nflow
(-)
被跟踪船标志物检测方法
ψωX
uXflow图像中目标对象识别主要基于目标对象的颜色、纹理
o(G)B
F1f
vD和形状三个属性。为更准确识别被跟踪船标志物,所选特
dYflow
Fry征应不易受运动状态的改变而影响,因此,本文选用目标对
Vflow象的颜色属性进行检测。为简化描述过程,本文只针对红
OwXw
图1 跟踪问题示意色特征的标志物进行检测流程的说明。首先将采集到的红
其中,Yw轴与正北方向平行,Xw轴与正东方向平行;色标志物由三原色(RGB)颜色空间转换到HSV颜色空间,
46 传感器与微系统 第41卷
如图3(a)所示;在HSV颜色空间确定标志物的颜色阈值可以计算出相机沿光轴方向到实际标志物几何中心X1的
范围并进行二值化处理,效果如图3(b)所示;从图3(b)可距离Z,其计算公式为
H
以看出存在一定的噪点,需要对图像进行降噪处理。文Z=f×4
h()
献[15]使用自适应中值滤波图像去噪方法,通过自适应改
HhX
变滤波窗口大小,有效降低了非噪声点误判为噪声点的概其中,为实际标志物的高度,为标志物图像与1
横坐标处的垂直像素高度。在附体坐标系下,实际标志物
率,本文应用该方法后的处理效果如图3(c)所示,图像中
Z
的噪声点被有效去除;最终,初始化标志物轮廓质心,确定相对于跟踪船的位置可以由偏航角θc和距离计算得出
x=Z
图像中标志物面积最大的轮廓的外接矩形,检测出标志物(5)
{y=Z×tanθ
(c)
在图像中的位置,效果如图3(d)所示。在跟踪过程中,虚拟航线始终垂直于标志物表面,可以
通过检测标志物图像左右两侧边界确定标志物图像的几何
中心Ac,在附体坐标系下,如图1所示,以船体中心为坐标
(a)HSV颜色空间(b)二值化处理
原点,设标志物几何中心为Ac,在虚拟航线上任取一点B,
则偏航距离D可具体表达为
→
→
AcO×AcB
D=
→(6)
(c)自适应中值滤波(d)标志物外接矩形|AcB|
图3 图像处理效果利用偏航距离可以判断出跟踪船与标志物的相对位置
视觉跟踪原理关系,当D<0时跟踪船位于虚拟航线右边,当D>0时跟
跟踪船对被跟踪船船尾搭载的标志物进行动态跟踪踪船位于虚拟航线左边。
时,需要实时获取被跟踪船相对跟踪船的方位和距离, 性能评估
选择标志物图像的几何中心位置与标志物期望图像进行对为了评估跟踪船对被跟踪船标志物的跟踪效果,本文
比来获取方位误差和距离误差。跟踪船只与标志物位置关将跟踪船在跟踪被跟踪船过程中的航向误差和跟踪路径误
系如图1所示。为了更好说明本文提出的视觉跟踪原理,差作为跟踪性能的评价指标,设定总的跟踪点数为N,航向
定义虚拟航线AcB垂直于标志物几何中心表面,跟踪船搭平均误差Δθ和跟踪路径平均误差Δd的具体表达如下
载的单目摄像机光轴与跟踪船航向相同。定义摄像机光轴N
∑|ψusvi-φusvi|
i=1
水平方向偏离标志物图像几何中心的角度为偏航角θc,跟Δ=7
θN()
踪船偏离虚拟航线的距离为偏航距离D,本文将偏航角和
N
2222
偏航距离作为控制器的输入量进行目标跟踪。∑|Δ1+Δ2-Δ3-Δ4|
i=1■
Δ=8
偏航角的计算dN()
标志物图像与期望图像的几何位置关系如图4所示,式中 Δ1=Xi-Xobji,Δ2=Yi-Yobji,Δ3=xi-Xobji,Δ4=yi-
其中,θc为偏航角,θc(-)为标志物的几何中心在摄像机图Yobji,(Xi,Yi)为跟踪船在第i个跟踪点的位置;(Xobji,Yobji)
像坐标的左侧,θc(+)为标志物的几何中心在摄像机图像为期望路径在第i个跟踪点的位置;(xi,yi)为被跟踪船在
坐标的右侧。第i个跟踪点的位置,ψusvi为跟踪船在第i个跟踪点的航
OX向;φusvi为被跟踪船在第i个跟踪点的航向。
X1<XcXc<X13 仿真实验
X+X
1c+X1仿真实验基于“海翔号”的视觉系统,搭建仿真实验平
θ(-)θ(+)
cc台,其中,跟踪船搭载的摄像机内参矩阵为[1050,640,0;
Y010505120011050
图4 偏航角计算,,;,,],像素焦距为,图像分辨率为
偏航角θc定义为标志物图像的几何中心X1与期望图1280像素×1024像素,标志物的大小为2m×1m。仿真实
像的几何中心Xc的差值与相机焦距的比值验结合大多数实际河道宽度、不同季节流速不同的情况,设
θc=arctan((X1-Xc)/f)(3)计不同流速干扰和不同期望路径验证本文提出视觉跟踪算
式中 f为摄像机焦距,假设标志物图像的几何中心X1与法的跟踪性能,仿真忽略船的垂荡、横摇、纵摇运动,只考虑
期望图像的几何中心Xc的横坐标相等。跟踪船在水平面内的运动。
抛物线型流场干扰下直线路径的目标跟踪
在不考虑相机镜头畸变的情况下,根据小孔成像模型为了直观地观察和分析抛物线型流场干扰对直线路径
第7期 饶六中,等:基于单目视觉的无人水面艇目标跟踪方法 47
下目标跟踪的影响,仿真实验设计了流向为0°,宽度为35m 仿真结果可以看出,随着流速的增大,跟踪船与被跟踪
不同峰速的抛物线型流场,目标路径为起点坐标(0,50)m,船的运动轨迹偏离期望路径的程度增大,航向变化也逐渐
终点坐标(35,85)m的直线,整个运动过程的仿真结果如增大,导致跟踪误差也逐渐增大。基于固定双桨无舵的船
图5所示。体模型,仿真试验得出跟踪船能抵抗非均匀流场的最大流
9090
。为了抵御流场的干扰,被跟踪船的实际航向
跟踪船只路径跟踪船只路径
80被跟踪船只路径被跟踪船只路径
无人水面艇80无人水面艇
期望路径期望路径与期望路径方向有一定的角度,但被跟踪船的速度和干扰
70目标船只标志物目标船只标志物
mm70
//
yy
6060的合速度仍指向期望路径,跟踪船正是利用这一部分合速
流向0°
5050流向0°度来平衡流场的干扰,当干扰的速度过大时,这一合速度将
-**********-**********变小,导致被跟踪船无法前进。实验结果表明:
x/mx/m
(a)(b),跟踪误差与航向误差随着流速的减小而
/s
/s
.6m/s逐渐减小,均保持在可跟踪范围之内。
/s
m
/
d
a4

离
/结束语

距
度流场干扰

弧本文针对无人水面艇跟踪水面目标物的问题提出一种
跟踪误差

0基于单目视觉的无人水面艇目标跟踪方法。为验证本文提
05001000150020000500100015002000
跟踪点数跟踪点数出视觉跟踪算法的有效性,仿真实验设定不同峰速的流场
(c)不同流速下航向变化(d)跟踪误差干扰、不同期望路径对跟踪精度的影响进行分析。实验结
图5 流场干扰下直线路径的目标跟踪果表明:不同峰速的流场干扰下,峰速越大,跟踪误差和航
由图5(a),(b)可以看出,在同类型流场下,随着峰速
的增大,跟踪船的跟踪轨迹与被跟踪船的跟踪轨迹整体向向误差越大,反之越小。针对本文所述“海翔号”船体模型
可以得出,,本文算法能够保持良
流向的方向偏移。由图5(c),(d)可以看出,随着峰速的增好的跟踪效果,为下一步的实际实验奠定了理论基础。
大,跟踪船的航向变化逐渐增大,并向流向的反方向偏移,参考文献:
反映在轨迹上就是跟踪精度的下降。Tend时刻,当流场流速
[1] 朱炜,[J].造船技术,2017(2):

在以内,跟踪船的平均跟踪误差为,平均1-6.
°,以上仿真结果表明在流场干扰下跟踪
船能够较好跟踪上被跟踪船标志物,具有一定的抗干扰性。[2] :CN108901001A[P].
2018—11—27.
抛物线型流场干扰下回转路径的目标跟踪
为验证在流场干扰下对沿回转路径运动的目标的跟踪[3] 单玉刚,
述[J].计算机工程与应用,2020,56(9):13-23.
性能,设定被跟踪船的期望路径为圆心(30,30)m,半径
[4] 陈均瑞,盛守照,
20m13
的顺时针方向的圆弧,被跟踪船的初始位置为(,踪方法[J].舰船电子工程,2019,39(8):51-55.
10m135m
),跟踪船的初始位置为(,),结合实际河道宽度,[5]
40m0°
设定抛物线型流场宽度为,流向。仿真实验将对比究[J].舰船科学技术,2020,42(4):34-36.
6
分析不同峰速下跟踪船的跟踪误差,如图所示。[6] [D].哈尔滨:哈尔滨工
6060
无人艇的运动轨迹跟踪船只路径无人艇的运动轨迹跟踪船只路径
被跟踪船只路径被跟踪船只路径程大学,2018.
50无人水面艇50无人水面艇
期望路径期望路径
40目标船只标志物40目标船只标志物[7] SINISTERRAAJ,DHANAKMR,VONELLENRIEDERK.
mm
/30/30
yy
2020Stereovision-basedtargettrackingsystemforUSVoperations[J].
1010OceanEngineering,2017,133:197-214.
0流向0°0流向0°
01020304050600102030405060[8] CHOY,PARKJ,KANGM,
x/mx/m
(a)(b)[C]∥
/s
.4m/sInternationalConferenceonUbiquitousRobots&AmbientIntelli-
/s
/s
m
/

抛物线形
agenceIEEE2015.
r0,,
离
/流场干扰

距
度跟踪误差9
差[],,,
弧-2

下无人艇航向变化误
detectionandtrackingforunmannedsurfacevehicleCIEEE
-40[]∥
040008000040008000
InternationalConferenceonCybernetics&IntelligentSystems
跟踪点数跟踪点数,
(c)不同流速下航向变化(d)跟踪误差IEEE,2015.
图6 流场干扰下回转路径的目标跟踪(下转第51页)
第7期 尹春岳,等:绝缘层烧结收缩率对氧传感器输出特性的影响 51
31(8):9-11.[10]沈杰,简家文,章东兴,
[4] SPIRIGJV,RAMAMOORTHYR,AKBARSA,-制备[J].传感技术学报,2009(11):1533-1537.
peraturezirconiaoxygensensorwithsealedmetal/metaloxide SHENJie,JIANJiawen,ZHANGDongxing,
internalreference[J].SensorsandActuatorsB:Chemical,2007,limiting-currenttypeoxygensensorsbyatechnologyofmulti-
124(1):192-[J].ChineseJournalofSensorsandActuators,
[5] 梁斌,周芬,谢敏,(11):1533-1537.
备及其性能[J].硅酸盐通报,2018,37(2):541-546.[11]刘玺,王亮,刘志远,
LIANGBin,ZHOUFen,XIEMin,-型制备工艺研究[J].传感器与微系统,2020,39(7):38-40.
tiesoflimitingcurrentoxygensensorwithbilayerelectrolyte[J]. LIUXi,WANGLiang,LIUZhiyuan,
BulletinoftheChineseCeramicSociety,2018,37(2):541-water-basedtapecastingforlimitingcurrentoxygensensor[J].
,2020,39(7):38-40.
[6] [D].武汉:武[12]刘洋,杨永超,皮倩倩,
汉科技大学,[J].电子元器件与信息技术,2021,5(5):
-106.
performanceoflimitcurrentoxygensensor[D].Wuhan:Wuhan LIUYang,YANGYongchao,PIQianqian,
UniversityofScienceandTechnology,
[7] 刘智敏,秦浩,王洋洋,[J].ElectronicComponentsand
析及改进[J].传感器与微系统,2018,37(4):38-,2021,5(5):105-106.
LIUZhimin,QINHao,WANGYangyang,[13]谢胜秋,程振乾,任健,
andimprovementofsealingmaterialcrackofZrO2oxygen及结构优化[J].传感器与微系统,2017,36(5):29-32.
sensor[J].TransducerandMicrosystemTechnologies,2018, XIEShengqiu,CHENGZhenqian,RENJian,
37(4):38-
[8] 周贞,吴翔,—8YSZ叠层制备极限电流型氧传oxygensensor[J].TransducerandMicrosystemTechnologies,
感器[J].电子元件与材料,2012,31(2):18-,36(5):29-32.
ZHOUZhen,WUXiang,[14]程楚,王金霞,简家文,
oxygensensormadewith8YSZandAl2O3aselectrolyteand器扩散孔的研究[J].传感器与微系统,2019,38(8):11-14.
supportinglayer[J].ElectronicComponentsandMaterials,2012, CHENGChu,WANGJinxia,JIANJiawen,
31(2):18-
[9] 邵禹铭,郑雁公,邹杰,[J].TransducerandMicrosystemTech-
究[J].传感器与微系统,2017,36(4):46-,2019,38(8):11-14.
SHAOYuming,ZHENGYangong,ZOUJie,-作者简介:
tingcurrentoxygensensorbycastingandco-firingmethod[J].尹春岳(1991-),男,助理工程师,主要从事化学量气体传感
TransducerandMicrosystemTechnologies,2017,36(4):46-。
■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
(上接第47页)[14][D].哈尔滨:
[10]陈强,尚振宏,,2013.
跟踪方法[J].传感器与微系统,2020,39(3):76-79,90.[15]唐宁,[J].微
CHENQiang,SHANGZhenhong,-timem