基于对抗点的局部点云神经网络特征匹配攻击 史亚文.pdf

该【基于对抗点的局部点云神经网络特征匹配攻击 史亚文 】是由【周瑞】上传分享，文档一共【13】页，该文档可以免费在线阅读，需要了解更多关于【基于对抗点的局部点云神经网络特征匹配攻击 史亚文 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:.
计算机辅助设计与图形学学报
JournalofComputer-AidedDesign&ComputerGraphics
ISSN1003-9775,CN11-2925/TP
《计算机辅助设计与图形学学报》网络首发论文
题目:基于对抗点的局部点云神经网络特征匹配攻击
作者:史亚文,唐可可,彭伟龙,吴坚鹏,顾钊铨,方美娥
收稿日期:2021-08-23
网络首发日期:2022-07-15
引用格式:史亚文,唐可可,彭伟龙,吴坚鹏,顾钊铨,
云神经网络特征匹配攻击[J/OL].计算机辅助设计与图形学学报.
.
网络首发:在编辑部工作流程中,稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶
段。录用定稿指内容已经确定,且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期
刊特定版式(包括网络呈现版式)排版后的稿件,可暂不确定出版年、卷、期和页码。整期汇编定稿指出
版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出
版管理条例》和《期刊出版管理规定》的有关规定;学术研究成果具有创新性、科学性和先进性,符合编
辑部对刊文的录用要求,不存在学术不端行为及其他侵权行为;稿件内容应基本符合国家有关书刊编辑、
出版的技术标准,正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。
为确保录用定稿网络首发的严肃性,录用定稿一经发布,不得修改论文题目、作者、机构名称和学术内容,
只可基于编辑规范进行少量文字的修改。
出版确认:纸质期刊编辑部通过与《中国学术期刊(光盘版)》电子杂志社有限公司签约,在《中国
学术期刊(网络版)》出版传播平台上创办与纸质期刊内容一致的网络版,以单篇或整期出版形式,在印刷
出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊(网络版)》是国家新闻出
版广电总局批准的网络连续型出版物(ISSN2096-4188,CN11-6037/Z),所以签约期刊的网络版上网络首
发论文视为正式出版。
:.
췸싧쫗랢쪱볤ꎺ2022-07-1508:54:59
췸싧쫗랢뗘횷ꎺ.

2022年JournalofComputer-AidedDesign&ComputerGraphics2022
基于对抗点的局部点云神经网络特征匹配攻击
史亚文1),唐可可1)*,彭伟龙2),吴坚鹏1),顾钊铨1),方美娥2)
1)(广州大学网络空间先进技术研究院广州510006)
2)(广州大学计算机科学与网络工程学院广州510006)
(******@)
摘要:对基于点云神经网络的局部形状特征匹配模型进行对抗攻击,
述问题,提出了3种基于对抗点的攻击方法,包括通过移动原始待匹配局部点云中点的坐标进行对抗点扰动;计
算局部点云的显著图,通过添加点到显著图中关键点的位置并施加位移进行对抗点添加;通过将显著图中的关键
,3种
攻击方法均能实现有效攻击;攻击的效果与所设置的扰动大小有关;在保证隐蔽性的前提下,随着扰动的增大,
攻击效果逐渐显著,如DIP模型被攻击后的特征匹配召回率可从100%降低至2%.
关键词:局部特征匹配模型;对抗攻击;对抗鲁棒性;特征匹配召回率
中图法分类号::.
AdversarialAttacksonDeepLocalFeatureMatchingModelsof3DPointClouds
ShiYawen1),TangKeke1)*,PengWeilong2),WuJianpeng1),GuZhaoquan1),andFangMei’e2)
1)(CyberspaceInstituteofAdvancedTechnology,GuangzhouUniversity,Guangzhou510006)
2)(SchoolofComputerScienceandCyberEngineering,GuangzhouUniversity,Guangzhou510006)
Abstract:Adversarialattacksondeeplocalfeaturematchingmodelsof3Dpointcloudsplayacriticalrole

adversarialpoints,.,adversarialpointperturbationbychangingthecoordinatesofallpointsinthepartial
pointcloudtobematched;adversarialpointadditionbyaddingpointstothepositionsofkeypointsina
pre-calculatedsaliencymapandthenapplyingperturbation;adversarialpointdeletionbymovingkeypoints

-
sides,-
quirementofmaintainingimperceptibility,withtheincreaseofdisturbance,theattackperformanceimproves,
.,thefeaturematchingrecalloftheDIPmodelcanbereducedfrom100%to2%aftertheattack.
Keywords:localfeaturematchingmodels;adversarialattack;adversarialrobustness;featurematchingre-
call
收稿日期:2021-08-23;修回日期:2021-12-:国家重点研发计划(2019YFB1706003);国家自然科学基金(62102105,
62072126,61902082);广东省基础与应用基础研究基金(2020A1515110997,2022A1515011501,2022A1515010138);广州市科技计划
(202002030263,202102010419,202201020229).史亚文(1998—),女,硕士研究生,CCF会员,主要研究方向为计算机图形学、人工智
能及安全;唐可可(1990—),男,博士,副教授,硕士生导师,CCF会员,论文通信作者,主要研究方向为计算机图形学、人工智能及
安全;彭伟龙(1988—),男,博士,讲师,硕士生导师,CCF会员,主要研究方向为智能图形学;吴坚鹏(1994—),男,硕士研究生,
CCF会员,主要研究方向为计算机图形学;顾钊铨(1989—),男,博士,教授,硕士生导师,CCF会员,主要研究方向为人工智能安全;
方美娥(1974—),女,博士,教授,博士生导师,CCF会员,主要研究方向为计算机图形学.
:.
2计算机辅助设计与图形学学报第34卷
基于局部形状特征的相似度可建立三维物体匹配模型的脆弱性.
之间对应关系,在室内场景重建、机器人导航定

维点云数据获取成本越来越低且其表达方式简单,

(1)
的复杂性以及诸多任务的高安全性要求,针对面多是基于像素值、表面法向和曲率等静态几何属
向三维点云局部形状匹配方案的鲁棒性评估具有性而人工构建的直方图特征[12-13].之后的一些工
,从而
传统的局部形状匹配方法大多针对特定场景将部分位置关系编码到局部形状特征中,提高了
手工构造局部形状特征描述子[1-4],受实际场景中特征的表达能力[14-17].不满足法向作为参照所带
噪声、密度变化和遮挡等多种因素的影响,其鲁来的歧义性,后期的SHOT[2],RoPS[3]和SGC[4]等
,并进行特征聚合,
开和深度学****技术的广泛应用,,传统方法
深度神经网络的点云局部形状匹配方法被提出,是针对特定场景手工构造的,受实际场景中噪
如PPFNet[5],PPF-FoldNet[6]和PointDSC[7]等展现声、密度变化和遮挡等多种因素的影响极大,鲁
出了较大的性能潜力,很大程度上解决了局部形棒性差.
状特征匹配任务针对传统干扰鲁棒性不足的问题.(2),越来越多的工
然而,文献[8]表明,深度学****技术具有脆弱性,作将深度学****方法应用到局部形状特征匹配任务.
通过有意识地施加人眼难以察觉的噪声扰动,就早期的3DMatch[18]通过将三维点云结构化为三维
,再使用类似于传统二维图像中的神经网络
工作,,后续方法
任务的深度学****模型也会受到对抗攻击的威胁,大多使用PointNet[19],DGCNN[20](dynamicgraph
如通过对三维点云施加噪声[9]、增加对抗物体[10]CNNforlearningonpointclouds)和KPConv[21]等
以及删除部分关键点[11],[5]首先将局部点
的分类预测结果出错,表明其应对对抗攻击的鲁云转化为点对特征,然后使用PointNet提取初步
,现有的基于深度神经网络的三的局部形状特征,并与全局特征进行融合,最终

击鲁棒性不足的情况,,PPF-FoldNet[6]将点对特征分别输入类似
针对三维点云局部形状特征匹配任务的对抗PointNet结构的编码器和类似FoldingNet[17]结构
攻击工作仍存在空白,能否借鉴已有点云分类任的解码器,使其自主学****出包含关键判别性信息
务上的攻击方法,[22]基于KPConv设计了
型,,将密集特征提取和特征点选择
针对基于深度神经网络的三维点云局部形状合并到一个网络中,提高了局部特征匹配的效率
特征匹配模型是否具有脆弱性的问题,[23](distinctive3Dlocal
了局部点云匹配的攻击方法,用点扰动、点添加deepdescriptors)和SpinNet[12]通过使用局部参照
和点删除等攻击策略对匹配模型的脆弱性进行评系或法向加圆柱形卷积的操作,解决了旋转不变
,本文探究了3种不同类型的对抗攻性的问题,进一步提升了局部形状特征描述子的
击方法:基于对抗点扰动的攻击方法、,深度学****技术已经成为处理三
点添加的攻击方法以及基于对抗点删除的攻击方维点云局部形状特征匹配任务的主流方案.
法,
,通过实验验证近年来,随着面向点云数据的深度学****方法
本文提出的3种不同类型的攻击方法的有效性,的不断普及,研究人员开始注意到针对三维点云
[24]将传统二维
:.
史亚文,等:基于对抗点的局部点云神经网络特征匹配攻击3

的识别上,[9]匹配模型同样基于深度学****方法,但目前没有针
不仅参照二维图像攻击场景设计了点云扰动攻击对三维点云局部形状特征匹配模型的对抗攻击方
方案,还针对点云场景的特性,,针对它们存在的
点云神经网络的方案,即增加对抗点、增加对抗不足,提出针对三维点云局部形状匹配的几何深
[25]在目标函度学****模型的对抗攻击技术,探究三维点云局部
数中加入了与几何性质相关的目标项,通过增加形状特征匹配模型的脆弱性.
物理上更合理的点簇,保证对抗点云表面的光滑
性降低扰动被察觉的可能性,以期生成的点云看2三维点云局部形状特征匹配过程
[26]在文献[9]的基础上加入
了K近邻损失,,
文献[27]通过迭代地删除对PointNet分类作用中对于给定的原始目标点云和待匹配的局部点云,
有显著效果的点,
[11]通过显著性分析删除关键点,以欺骗经过训原始目标点云和所有待匹配的局部点云提取特征
[28]通过将原始点云和描述子;然后根据描述子之间的相似度计算特征
经过统计异常值去除处理的点云同时推向分类模距离找到相似度最高的描述子,即特征距离最小
型的决策边界,.
献[29]进一步通过文献[30]的生成对抗网络和目对于给定的点云Q和待匹配局部点云库PN,
,PN中包括一组局部点云,局部形状特征匹
不同于三维点云分类任务,三维点云局部形配的目标是找到PN中与Q特征距离最小的局部点
状匹配任务建模的是一个特征距离度量问题,
PtDQP(,)iQPN
型也更加复杂,导致当前适用于三维点云分类任待匹配局部点云的特征距离,它应该满足
Pi
,
DQPDQP,,ti≤
,
tnittn1,2,,,12,1,1,,,,-
任务被证明容易受到对抗攻击的影响,表明深度
为三维点云局部形状特征匹配的一般过程示意图.
学****方法具有脆弱性,对抗攻击方法对提升模型
神经网络特征描述子特征距离
图1特征匹配过程
点云P施加扰动,生成对抗点云A作为对抗样本,
3面向局部形状特征匹配的对抗攻击使可成功地与局部点云P匹配的点云与A的特征
距离增大,导致原本可成功地与局部点云P匹配
,局部形状匹配模型的预测
(1).
模型的对抗攻击任务的实现是通过对输入的局部(2)
:.
4计算机辅助设计与图形学学报第34卷
声数据可通过向点云中添加一组满足高斯分布的
ED,PA≤.
随机噪声生成,这种方式生成的点云噪声数据通PD,PA≥

常会使原始待匹配点云的形状发生较大的变化,其中,表示施加的扰动应使人眼识
ED,PA≤
,本文提出别的距离差异极小,即使人眼难以察觉到;
的对抗攻击方法生成的对抗性点云可以通过攻击表示三维点云局部形状匹配模型预
PD,PA≥
测度方式对点云扰动施加限制,在生成过程中可
测出的特征距离极大,即使模型预测结果出错.
以限制扰动大小,也可以多次迭代并在迭代的过
如果施加的扰动满足以上条件,则认为扰动大小
程中选择最优的扰动,使生成的对抗点云形状与
合理.
原始待匹配点云形状近似,从而达到生成的对抗
(4)
点云虽然人眼难以察觉,但三维点云局部形状匹
配攻击的完整过程可分为3步.
配模型预测结果出错,即攻击成功的目的.

(3),选择进行攻击生成对抗点云.
P1P2P2A
云施加的扰动应该使人眼难以察觉,
P1
使局部形状匹配模型预测出的特征距离变大,匹大于原与的特征距离.
P2P1
,,使模型
和测量对抗点云A与原始局部点云P之间的表示判别结果出错.
人眼识别的距离差异(eyerecognitiondistance,在此过程中,需要对生成的对抗点云A和原
ED)和三维点云局部形状匹配模型预测出的特征始P2的攻击测度ED,PA2和PD,PA2进行限制,
距离(predictedfeaturedistance,PD),如果用保证施加的扰动难被人眼察觉的同时,使三维点
表示一个较大值,表示一个较小值,
PD的数学约束表示为局部点云对抗样本生成和攻击的完整过程.
局部点云
特匹配成功
特
征
距
离
增匹配失败
大
扰动
对抗点
对抗样本局部形状匹配模型匹配结果
图2局部点云对抗样本生成和攻击的完整过程

在攻击测度的设计中,本文使用L2距离和倒L距离度量扰动的大小,衡量2个点云之间的差
2
角距离(chamferdistance,CD)度量对抗样本与原距.
始局部点云的距离.(2)
(1),CD值越大,说明2个点云之间的
始局部点云形状近似,


DAPyx,min1-2
CDxP2
AyA

DAPAPL2,i1-12
xy-2
其中,表示原始输入的局部点云;表示对PxP
PAP
:.
史亚文,等:基于对抗点的局部点云神经网络特征匹配攻击5
抗样本为基础;A与P2的特征距离沿梯度方向扰
其中,1表示A中任意一点y
minxPyx-2222动,然后再经过函数,保证新生成的对
AyACAA,
到的最小距离之和;表示抗点云A不易被察觉.
P1minxy-2
PxPyA2(3)
LpLp
,扰
P2A

本文针对三维点云局部形状匹配模型,实现Lp
了3种类型的攻击方法:基于对抗点扰动的对抗1

攻击、基于对抗点添加的对抗攻击以及基于对抗DPApaLiip2,-
i1
,为原始局部点云中第i个点的坐标;
piP2

ai
针对基于对抗点扰动的对抗攻击,本文实现局部点云中的对抗点施加扰动时使用范数进
P2Lp
了3种对抗点扰动方法:基于快速梯度算法(fast
行限制,生成基于L范数扰动的对抗样本A.
gradientsignmethod,FGSM)的对抗点扰动方法、基p

于迭代快速梯度算法(iterativefastgradientsign
对抗点添加攻击方法的目的是生成一组攻击
method,I-FGSM)的对抗点扰动方法和基于L范数
p点,其中,每个生成的攻击点
的对抗点扰动方法,这3种方法都是通过改变原始Qqiki|1,2,,

待匹配局部点云中原有点的坐标xyz,,对点云中
只适用于点云数据,因为局部点云中点的个数不
的点进行扰动,改变点云中点的位置,生成对抗样唯一,所以可以添加指定数量的独立对抗点.
,若点xi为要移动的点,i为对第
由于三维点云的搜索空间比较大,为了使增
i个点的扰动,则P中的点xi3变为加的扰动更有效,不能随机在待匹配局部点云
P2
xxiniii,1,2,,.,本文参考文献[11]先计算出点云
(1),将生成的点初始化到关键点
的梯度方向执行一步更新,,首先把原始局部点

云施加扰动,生成对抗样本,FGSM算法的数学表系中,然后通过迭代地移动点函⼌簝㌲✫뀃夔
达式为点位置,计算出移动前后的损失差值,估算出局部
.点云块中每个点的显著分数,形成点云的显著图.
AP2-signAD,PP12
P2将显著图中分数较高的点作为关键点,它们处于
其中,对于输入三维点云局部形状匹配模型的2个决定对象类别的关键位置,所以在其附近添加对
待匹配局部点云P1和P2,本文选择P2为初始对抗抗点容易改变模型最终的预测结果.
点云;sign函数用于计算梯度方向;是一个可总的来说,对抗点添加这种攻击方法的对抗
以调整的超参数,通过调节,为每个扰
(2)I--FGSM算法通过多次重复动点寻找合适的位置,具体步骤如下.
改进FGSM算法,.
失,达到更好的攻击效果,I-.

达式为
的中间过程作为最终对抗样本.
AP
02.
除了上述2种攻击方法AD,,PP本文还实现了一种12
ACANAN+1,-sign
简单有效的攻击方法——对抗点删除P2.
其中,CAA,函数用于限制A中的每个点都在原由于点云的形状信息集中在其表面的点上,
始点云的邻域内,每次以上一步迭代生成的对点云数据中处于中心位置的点对模型的预测结果
:.
6计算机辅助设计与图形学学报第34卷
影响不大,把点移动到中心位置所带来的影响相

样,本文参考文献[11]计算出点云的显著图,然后
选择显著分数较高的关键点,将其移动到中心的
.
,建立球
形坐标系.
,将
显著分数高的点作为关键点.
⼌簝㌲✫뀀
中心,模拟点删除效果.
图3部分3DMatch室内场景数据集可视化
4实验及结果评估

针对DIP和SpinNet这2种三维点云局部形本文选择DIP[23]和SpinNet[12]作为待攻击模
状匹配模型,
练集和测试集分别训练和测试以及对抗样本生成,局部形状匹配任务的最新模型,在3DMatch数据
分别所提出的3种攻击方法,并基于各种度量对集上均表现出优秀的匹配效果,具有代表意义.
,在3DMatch测试数据

,进一步将攻击方法扩展到SpinNet模型上,验

3DMatch数据集收集了来自62个真实场景的数据,形状匹配模型.

配模型的训练任务,8个场景的数据用于模型的测(1)特征匹配召回率(featurematchingrecall,
).本文使用FMR衡量攻击前后DIP模型生
,它可以直接反映整个测试数

FMR
练集,对三维点云局部形状匹配模型进行训练,
并使用包含8个场景的3DMatch测试集评估训练11M.*
R11MΩτxyij-≤τ12≥τ
1(,)sΩs
实验选择3DMatch测试数据集中8个场景中其中,M表示局部形状中点对的数量;1表示
的Hotel1和Hotel3场景作为原始点云数据,通过指示函数;Ωs表示第s个局部块的点对应;τ*表
对抗攻击方法生成基于3DMatch数据集的对抗样示当前局部点云块的Rt,变换,其中R为线性变
,t为平移变换矩阵;y表示xi在Y中选
j
,即
;τ1和τ2是2个超
yFFyYjyxyjargminjij-,
参数,初始值一般为τ1,τ2
的Rt,情况下,计算M个点云对中每个点云对的
特征距离,如果计算的xy,距离小于或等于
ij
τ1,计算的距离大于或等于τ2,则表示这个点
云对的特征距离相近,否则特征距离较远.
(2)形状匹配准确率(accuracy,Acc).Acc
Eva