融合全局与局部特征的跨数据集表情识别方法 梁艳.pdf

该【融合全局与局部特征的跨数据集表情识别方法 梁艳 】是由【学习好资料】上传分享，文档一共【10】页，该文档可以免费在线阅读，需要了解更多关于【融合全局与局部特征的跨数据集表情识别方法 梁艳 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。智能系统学报CAAITransactionsonIntelligentSystemsISSN1673-23-1538/TP《智能系统学报》网络首发论文题目:融合全局与局部特征的跨数据集表情识别方法作者:梁艳,温兴,潘家辉收稿日期:2022-12-29网络首发日期:2023-08-01引用格式:梁艳,温兴,[J/OL].:///kcms2/detail/:在编辑部工作流程中,稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶段。录用定稿指内容已经确定,且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期刊特定版式(包括网络呈现版式)排版后的稿件,可暂不确定出版年、卷、期和页码。整期汇编定稿指出版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出版管理条例》和《期刊出版管理规定》的有关规定;学术研究成果具有创新性、科学性和先进性,符合编辑部对刊文的录用要求,不存在学术不端行为及其他侵权行为;稿件内容应基本符合国家有关书刊编辑、出版的技术标准,正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。为确保录用定稿网络首发的严肃性,录用定稿一经发布,不得修改论文题目、作者、机构名称和学术内容,只可基于编辑规范进行少量文字的修改。出版确认:纸质期刊编辑部通过与《中国学术期刊(光盘版)》电子杂志社有限公司签约,在《中国学术期刊(网络版)》出版传播平台上创办与纸质期刊内容一致的网络版,以单篇或整期出版形式,在印刷出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊(网络版)》是国家新闻出版广电总局批准的网络连续型出版物(ISSN2096-11-6037/Z),所以签约期刊的网络版上网络首发论文视为正式出版。网络首发时间:2023-08-0109:49:40网络首发地址:https:///kcms2/detail/·1·智能系统学报第7卷DOI:,温兴,潘家辉(华南师范大学软件学院,广东佛山528200)摘要:人脸表情数据集在收集过程中存在主观的标注差异和客观的条件差异,导致表情识别模型在不同数据集间呈现明显的性能差异。为了提高跨数据集表情识别精度、减少表情识别在实际应用中进行样本打标重训练的过程,本文提出了一种基于表情融合特征的域对抗网络模型,用于跨数据集人脸表情识别。采用残差神经网络提取人脸表情的全局特征与局部特征。利用Encoder模块对全局特征与局部特征进行融合,学****更深层次的表情信息。使用细粒度的域鉴别器进行源数据集与目标数据集对抗,对齐数据集的边缘分布和条件分布,使模型能迁移到无标签的目标数据集中。以RAF-DB为源数据集,以CK+、JAFFE、、FER2013、Expw分别作为目标数据集进行跨数据集人脸表情识别实验。与其它跨数据集人脸表情识别算法相比,所提方法获得了最高的平均识别率。实验结果表明,所提方法能有效提高跨数据集人脸表情识别的性能。关键词:跨数据集;人脸表情识别;领域自适应;特征融合;自注意力机制;迁移学****细粒度域鉴别器;残差网络中图分类号:TP391文献标志码:A中文引用格式:梁艳,温兴,[J].智能系统学报,DOI:.英文引用格式:LIANGYan,WENXing,-datasetfacialexpressionrecognitionmethodfusingglobalandlocalfeatures[J].CAAItransactionsonintelligentsystems,DOI:.Cross-datasetfacialexpressionrecognitionmethodfusingglobalandlocalfeaturesLIANGYan,WENXing,PANJiahui(SchoolofSoftware,SouthChinaNormalUniversity,Guangdong528200,China)Abstract:Duetosubjectiveannotationdifferencesandobjectiveconditiondifferencesinthecollectionoffacialexpressiondatasets,-datasetexpressionrecognitionandreducetheprocessofsamplemarkingandretrainingforexpressionrecognitioninpracticalapplications,workmodelbasedonexpressionfusionfeaturesisproposedforcross--graineddomaindiscriminatorisadoptedtoan-tagonizethesourcedatasetagainstthetargetdataset,aligningtheedgedistributionandconditionaldistributionofthedataset,-DBisusedasthesourcedataset,andCK+,JAFFE,,FER2013,andExpwareusedasthetargetdatasetsrespectivelyforcross-paredwithothercross-datasetfacialexpressionrecognitionalgorithms,-:cross-dataset;facialexpressionrecognition;domainadaptation;featurefusion;self-attentionmechanism;transferlearning;fine-graineddomaindiscriminator;work人脸表情是人类最自然、最直接的情绪表达方式之一。研究发现,在人们日常交流沟通的过程中,有55%的情感信息靠人脸表情进行传递[1]。收稿日期:2022-12-:国家科技创新2030-“脑科学与类脑智能技术”重点项展。目前,该技术已广泛应用在医学、安全监控、目(2022ZD0208900);国家自然科学基金项目(62076103)[2]通信作者:-mail:******@..教育等领域。梁艳,等:融合全局与局部特征的跨数据集表情识别方法为了推动人脸表情识别的理论研究与实际应应方法:领域对抗神经网络(domain-adversarial用,在过去的十几年里,work,DANN)[11]、条件域对抗自适应网表情数据集,并提出了多种方法来提高表情识别络(work,的性能。但是,大部分的表情识别算法都基于一CDAN)[12]应用到跨数据集表情识别任务,学****领域个前提,即:训练集和测试集来自同一个数据集,不变性特征。Wang等[13]在域对抗中通过缩小目标训练数据和测试数据特征分布相同。然而这一假数据集样本与源数据集对应类别的特征中心的距设并不总是成立,在实际应用中,测试集与训练离,扩大与源数据集不同类别的特征中心的距离,集通常来自不同的数据分布,因此模型需要进行实现类级别的对齐。跨数据集表情识别验证。领域自适应方法仅在特征分布层面上对齐不近年来,领域自适应方法成为迁移学****中最同域特征分布,目标数据集无需提供标签信息,为热门的研究之一,其核心问题是解决数据分布因此可应用于无监督的跨数据集表情识别[14]。但不一致对模型性能的影响。Xu等[3]证明,把源域是,目前大部分基于领域自适应的跨数据集表情和目标域的特征范数调整到一个较大范围的值可识别方法仅对齐表情特征的边缘分布,未关注不以获得显著的迁移收益。Lee等[4]利用特定任务的同数据集间的表情类内差异导致特征的条件分布决策边界和Wasserstein度量在领域之间进行特差异。而使用通用的域对抗自适应算法强行对齐征分布对齐。考虑到领域自适应方法在解决跨域两个数据集间的整体分布,将不可避免地把来自问题的有效性,有学者尝试把基于统计差异的领源数据集和目标数据集的不同表情类别样本混合域自适应方法用于跨数据集表情识别任务。莫宏在一起,导致不同表情数据集间类别不匹配问题。伟等[5]利用一个特征变换矩阵,把源域和目标域因此,为了提高跨数据集表情识别的特征可数据映射到公共子空间,减小域间分布差异。Long迁移性,解决跨数据集表情类别不匹配问题,本等[6]基于统计的思想提出了一种新的深度自适应文提出一种利用表情融合特征对齐不同数据集联网络(work,DAN)架构,把合分布的领域自适应方法,利用编码器(Encoder)领域自适应方法与深度学****技术结合起来。Li等模块融合表情的全局特征和局部特征,并通过表[7]将DAN网络应用到人脸表情识别,引入最大均情分类器与细粒度域鉴别器联合对抗训练,提高值误差(maximummeandiscrepancy,MMD)来测量分类器在无标签的目标数据集的识别效果。源域与目标域的特征散度,减小源域与目标域的1本文方法分布距离。Xu等[8,9]基于MMD损失寻找远离表情特在跨数据集表情识别任务中,给定一个源数ssns征中心的异常样本,并在训练过程中通过抑制异据集Dxysiii?{(,)}?1和目标数据集tnt常样本来提高跨数据集表情识别准确率。Dxtjj?{()}?1,其中x表示样本,n表示样本数受对抗学****技术的启发,有部分学者采用基量。这两个数据集在两种不同环境下采样,具有于对抗学****的领域自适应方法,即域对抗自适应不同的分布ps?X,Y?和pt?X,Y?,其中目标数方法,实现跨数据集表情识别。该类方法的核心据集样本不提供标签。为了提升跨数据集表情识思想是加入一个域鉴别器,使之与表情分类器进别性能,本文从两方面进行改进,提高跨数据集行对抗,在对抗过程中学****到同时适用于两个数表情识别性能。1)通过关注人脸表情的关键区域,据集的表情特征。Chen等[10]将经典的域对抗自适学****更多表情相关信息,提高表情特征的可迁移智能系统学报第7卷性,抑制数据集自带的偏差。2)使用细粒度的对情分类器由两层全连接网络构成,根据融合特征抗领域自适应策略,对齐表情类级别的信息。本对表情进行分类。域鉴别器用于与表情分类器进文提出的域对抗网络模型框架如图1所示。该模行联合对抗,本文通过把传统域鉴别器的2个域型主要由特征提取器、表情分类器和域鉴别器3判别通道(即源域和目标域)扩展为2K通道(K部分组成。特征提取器利用多残差网络为表情类别数),进行不同数据集间的整体对抗和(Multi-)提取人脸表情的全局和局部特不同数据集相同表情类别间的细粒度对抗,达到征,然后利用Encoder层进行表情特征融合。表同时对齐数据边缘分布和条件分布的效果。特征提取器表情分类器全全连连N多残差网络Encoder接接Lcls层层特征提取特征融合人脸区域和五官区域定位源数据集愤怒...惊讶愤怒NLadv&LD...?224?3根据人脸动作单元(actionunit,AU)[15]全局特征人脸区域全局特征提取的划分可知,表情的决定性信息聚集在人脸的五45?45?3?5官位置。为了提高表情特征的可迁移性,本文提?5表情图像局部特征提取局部特征五官局部区域取人脸区域的全局特征和五官区域的局部特征,EncoderN?并利用Encoder模型进行特征融合。qk多头注意力网络前馈网络特征提取器的具体结构如图2所示。首先使v+用多任务卷积神经网络(multi-taskconvolu-融合特征[16]work,N)对表情数据输入n?n?c集的人脸图像进行人脸定位以及5个关键点(左BatchNormn?n?cConv-3(1?1)n?n?128残差模块眼、右眼、鼻子、左嘴角、右嘴角)定位。然后,Conv-1(3?3)??64Stride=??3[17]将人脸区域输入到四层残差网络,提取表情的Conv-2(3?3)??128全局特征。此外,以关键点为中心,截取5个大+???(W、H分别为人脸区域的图2特征提取器的结构宽和高)的子图作为判断表情类别的关键区域,,提取表情的局部特征。为了使模型学****到领域不变性的表情特征,梁艳,等:融合全局与局部特征的跨数据集表情识别方法本文基于Transformer[18]的Encoder模块,设计度对抗,使数据集相同类间能实现协调自适应。了一个具有N层的表情Encoder层,将上述提取传统域对抗自适应损失为:的全局和局部表情特征输入Encoder层进行表情LL??L??clsd(2)特征的融合。Encoder层包括一个多头注意力网式中:L为表情的分类损失,L为域判别损失,络和一个前馈网络。首先根据全局和局部表情特clsd?和?分别是分类损失和域判别损失的权重。征获得三个自注意力向量q,k和v[19],然后,L的目的是帮助G学****到表情分类信息,它采输入多头注意力网络,根据下式计算特征间的权cls用交叉熵损失在源数据集上最小化预测分类与真重,获得加权后的特征ci:实表情分类间的区别,计算公式为:Tqkii(1)SKcvii?softmax()(3)dLypcls????ikiklog()ik??11其中d为特征维度,这里为128。把加权特征ci输式中:S表示源域样本数量,K表示表情类别,入前馈网络进行学****最终获得表情融合特征xi。y为源域样本i第k类的类别信息,,其目标息。是学****一个表情识别模型G,令G可以在不带标式(2)中的域判别损失L目的是帮助域鉴别签的目标数据集上实现较高表情识别准确率。具d器D区分来自不同数据集的表情特征,使提取的体来说,表情识别模型G由特征提取器F和表情特征能对齐源数据集和目标数据集,损失计算公分类器C构成。域对抗自适应方法在解决跨域表式为:情识别问题时,在表情识别模型G的基础上引入S??了域鉴别器D。通过域鉴别器D对表情识别模型L?????(1??d)logP(d0|xi)di?1??(4)G提取的表情特征进行域来源判断,在反向传播T??时加入梯度反转层,使模型混淆来自不同数据集?????dlogP(d1|xi)i?1??的表情特征,从而使表情分类器C能应用到目标式中:d为0代表特征来自源数据集,为1则代数据集。最后,通过表情分类器C和域鉴别器D表特征来自目标数据集;S为源数据集样本数量;联合对抗训练,实现在无标签的目标数据集上进T为目标数据集样本数量;P(d?0|x)为域鉴别器行表情分类。预测特征为源数据集的概率。大部分域对抗自适应方法中,域鉴别器D采传统的域鉴别器只能判别d?0或者d?1,用二分类方式区分表情特征来自源数据集还是目即特征标签为[1,0]或[0,1]。为了将表情类别信标数据集,再由梯度反转进行特征混淆,对齐数息纳入对抗性学****框架,达到同时对齐表情特征据集间边缘分布。但是,由于人脸表情存在类内的边缘分布和条件分布的效果,本文修改了传统差异大、类间差异小的特性,仅仅混淆源、目标的域鉴别器D,将2个域判别通道扩展为2K通数据集内的所有特征,会引起表情数据集间跨域道(K为表情类别数),进行不同数据集间的整类别不匹配问题。因此,本文对算法进行改进,体对抗以及不同数据集相同表情类别间的细粒度令表情分类器C与域鉴别器D不仅在数据集间对抗。通过更细粒度的对抗性学****不仅仅对齐进行宏观的对抗,还增加了表情相同类间的细粒智能系统学报第7卷数据集间表情特征的边缘分布,而且对齐特征的目标数据集表情图像的特征输入域鉴别器计算域类内条件分布。判别损失LD和Ladv,最终,在域鉴别器D和表本文使用表情特征提取器和分类器对目标域情分类器C的对抗学****下对齐不同表情数据集间进行软标签的标注,然后将源数据集表情图像与的联合分布。目标数据集表情图像的标签扩展为2K维标签,2实验结果与分析其中源域标签在1至K维使用原来的标签信息,?1至2K维数据置为0;目标域标签在1至本文采用6个表情数据集进行算法测试,具K维数据置为0,在K?1至2K维使用软标签标体包括实验室环境下的CK+[20]和JAFFE[21]数据集注。通过对i和K?[22]、FER2013[23]、ExpW[24]、不同数据集间表情分布对齐。RAF-DB[25]数据集。这些数据集都包含愤怒、厌恶、为了实现基于类别的对抗,本文将提取的融恐惧、高兴、悲伤、惊讶、中性等7种表情。合特征输入细粒度域鉴别器中计算细粒度类判别CK+数据集包含来自123个实验对象的593个损失。与传统域判别损失不同的是,本文在LdLD图像序列,每个图像序列都是从中性表情到峰值加入了类别信息,具体计算公式如下:[7]表情。本文参照文献的方法,从每个序列中抽SK??LaP?ck????dx??log(,0)|D?iki取1帧中性表情图像和3帧表情图像,去除无效i?1k?1????(5)TK??数据后共获得1236张图像进行实验。??????aPcklog(,1)|dx???jkjj?1k?1??JAFFE数据集包括来自10位日本女性共213张图像。本文使用了所有图像进行实验。式中:,为第k类的信息,即上文所述构建2K维的标签具有不同的头部姿势、年龄范围、遮挡和照明。信息。该数据集分为训练集、验证集和测试集,分别有此外,为了引导特征提取器F学****到两个数958、436和372个样本。据集共用的表情特征,我们还增加了一个整体判FER2013是一个自然场景下获得的表情数据别损失Ladv,其目的是帮助域鉴别器获取目标数集,包含35887张大小为48×48像素的图像。数据集的类别信息,从而经过梯度翻转后可以混淆据集进一步分为28709张图像的训练集、3589张两个数据集的类别信息,进而引导特征提取器F图像的验证集和3589张图像的测试集。学****共用表情特征,Ladv的计算公式如下:ExpW数据集由谷歌图像搜索中下载的表情图TK????????aPclogkdx(,0)|(6)Ladv??jkjj?1k?1????像构成,包含91793张人脸图像。综上所述,本文采用的总损失L为:RAF-DB数据集也是由互联网上收集的图像构成,共29672张表情图像,其中15339张图像有LLLL??????123clsadvD(7)7种基本表情,分为12271个训练样本和3068个其中,?、?和?分别是表情分类损失、细粒123测试样本。度类判别损失和整体判别损失的权重。,将源数据集表情图像的特征遵循跨数据集表情识别的通用标准[14],本文输入表情分类器中计算表情分类损失Lcls,将源、梁艳,等:融合全局与局部特征的跨数据集表情识别方法选取平均准确率作为评价指标。,然后再计算所有类别的准确率为探究融合特征对表情识别性能的影响,本均值,即为跨数据集表情识别算法的平均准确率。文采用相同的网络提取全局特征、,在6个数据集进行表情识别实验,结果本文方法的训练目标为最小化式(7)的总损如表1所示(文中表格加粗数据为最佳结果)。失L,以目标数据集获得最高平均准确率作为标从实验结果可知,本文提出的融合特征方法准,训练表情识别模型G和域鉴别器D。本文分在6个数据集的表情识别性能均优于仅采用全局两个阶段进行训练。第一阶段,在源数据集采用特征或局部特征的方法,它的平均表情识别准确随机梯度下降(stochasticgradientdescent,%,比仅SGD)算法训练特征提取器F和表情分类器C,%。由此可见,,,训表情全局特征与局部特征存在互补性,对两种特练100轮后获得初始的表情识别模型G;第二阶征进行融合,可以大幅提高表情识别的准确率。段,加入域鉴别器D,使用总损失L进行对抗训此外,为了验证细粒度域对抗自适应方法在练,使初始表情识别模型G迁移到不带标签的域跨数据集表情识别任务中的有效性,我们参照文[14]鉴别器中,在这步骤中同样使用SGD算法训练模献的做法,采用RAF-DB作为源域,其余5个数型,除了特征提取器F和表情分类器C的学****率据集作为目标域,使用融合特征进行对抗,与无[11],其余超参数均与第一阶段相同,域对抗方法、两种通用域对抗自适应方法(DANN[12]本阶段训练采用学****率递减策略,每20轮学****率和CDAN)进行模型迁移效果对比,实验结果如表2所示。。式(7)中3个损失权重?1、?2和?3的比值设为50:50:1。表1分别采用全局特征、局部特征、融合特征进行表情识别的结果对比parisonofexpressionrecognitionresultsusingglobalfeatures,localfeatures,andfusionfeatures,respectively%特征类型CK+RAF-、通用域对抗、细粒度域对抗的跨数据集识别结果对比parisonofcross-datasetrecognitionresultsfornon-domainadversarial,generaldomainad-versarial,andfine-graineddomainadversarial%方法CK+(DANN)[11](CDAN)[12]·7·梁艳,等:融合全局与局部特征的跨数据集表情识别方法第7卷从表2可知,采用细粒度域对抗自适应方法近五年的几个跨数据集算法进行对比。所有方法的结果均优于无域对抗方法和DANN方法,其平均均使用相同的源数据集RAF-%,-18,分别以CK+、JAFFE、、FER2013、于DANN和CDAN方法,%%。ExpW作为目标域进行测试,结果如表3所示。其实验结果证明,细粒度域对抗自适应方法能有效中,POCAN[13]和ESSRN[9]方法的数据来源于原文献,地提高跨数据集的表情识别性能。其他几种方法的数据则来自文献[10]。为验证本文方法的性能,我们把本文方法与表3本文方法与其他方法的比较parisonoftheproposedmethodwithothermethods%方法CK+[3][4][26][7][10][13]----ESSRN[9]---,本文方法在CK+和FER2013练前,(2)细粒度域对抗前(仅在源数据集训练),进行跨数据集表情识别时,获得最优识别结果。(3)细粒度域对抗中(加入目标数据集后,经过在JAFFE、),(4)细粒度域对抗后,这四种情的准确率。%,况的表情特征使用t-SNE算法[27]降维,进行可视高于其他方法。化展示,如图3所示。值得注意的是,,在模型训练前,两个数据集数据集的准确率稍低于AGRA方法。这可能是因为表情类别的特征分布非常混杂,无法进行表情分两个数据集均为自然场景下获取的数据集,部分类。在细粒度域对抗前,由于已经在源数据集进人脸存在较大的头部姿态变化以及面部遮挡等问行了第一阶段的表情分类训练,两个数据集的相题,导致局部表情特征获取失败,影响了本文提同表情类别的特征聚类开始显现。在细粒度域对出的表情识别模型的性能。抗训练过程中,,类间差距也逐渐扩大。细粒度域对抗训为了进一步证明细粒度域鉴别器能有效地对练完成后,两个数据集的特征已呈现聚类,表情齐不同数据集表情类别间的分布,我们把迁移过的类间分布差异明显。这表明,通过细粒度域对程中不同阶段的表情特征进行可视化展示和对抗训练,可以学****到不同数据集的相同表情类别比。具体来说,我们以RAF-DB为源数据集,CK+信息,并聚合在一起,同时加大不同表情类间距为目标数据集,将迁移过程的四个阶段:(1)训离,从而降低两个数据集间的特征分布差异。·8·梁艳,等:融合全局与局部特征的跨数据集表情识别方法第7卷(a)训练前(b)细粒度域对抗前(c)细粒度域对抗中(d)细粒度域对抗后图3RAF-DB迁移到CK+-DBtransfertoCK+[2]LIS,:asurvey[J].IEEEtransactionsonputing,2020,13(3):1195-,本文提[3]XUR,LIG,YANGJ,:a