含类信息的极限学习机自动编码器特征学习方法 程蓉.pdf

该【含类信息的极限学习机自动编码器特征学习方法 程蓉 】是由【贾敬】上传分享，文档一共【10】页，该文档可以免费在线阅读，需要了解更多关于【含类信息的极限学习机自动编码器特征学习方法 程蓉 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。电子测量技术
ElectronicMeasurementTechnology
ISSN1002-7300,CN11-2175/TN
《电子测量技术》网络首发论文
题目:含类信息的极限学****机自动编码器特征学****方法
作者:程蓉,白艳萍,胡红萍,谭秀辉,续婷
网络首发日期:2022-08-11
引用格式:程蓉,白艳萍,胡红萍,谭秀辉,
特征学****方法[J/OL].电子测量技术.
.
网络首发:在编辑部工作流程中,稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶
段。录用定稿指内容已经确定,且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期
刊特定版式(包括网络呈现版式)排版后的稿件,可暂不确定出版年、卷、期和页码。整期汇编定稿指出
版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出
版管理条例》和《期刊出版管理规定》的有关规定;学术研究成果具有创新性、科学性和先进性,符合编
辑部对刊文的录用要求,不存在学术不端行为及其他侵权行为;稿件内容应基本符合国家有关书刊编辑、
出版的技术标准,正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。
为确保录用定稿网络首发的严肃性,录用定稿一经发布,不得修改论文题目、作者、机构名称和学术内容,
只可基于编辑规范进行少量文字的修改。
出版确认:纸质期刊编辑部通过与《中国学术期刊(光盘版)》电子杂志社有限公司签约,在《中国
学术期刊(网络版)》出版传播平台上创办与纸质期刊内容一致的网络版,以单篇或整期出版形式,在印刷
出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊(网络版)》是国家新闻出
版广电总局批准的网络连续型出版物(ISSN2096-4188,CN11-6037/Z),所以签约期刊的网络版上网络首
发论文视为正式出版。
网络首发时间:2022-08-1114:23:36
网络首发地址:.
含类信息的极限学****机自动编码器特征学****方法
程蓉白艳萍胡红萍谭秀辉续婷
(中北大学理学院山西太原030051)
摘要:极限学****机自动编码器(ELM-AE)将极限学****机(ELM)技术与自动编码器(AE)结合,可以无监督学****数据特征且克
服了参数迭代调整的昂贵时间消耗。然而,以最小化重构误差为目标的ELM-AE并不能有效利用分类问题中的数据类别信息,导
致特征的类别可分性较差。针对此现象,本文提出一种面向数据分类的含类信息极限学****机自编码(CELM-AE)特征学****方法,
该方法将投影特征向量的类间离散度与类内相似度限制到ELM-AE的目标函数中,且可通过解析算法求得更具类别分辨力的最优
数据表示。对6种UCI数据集分别使用基于CELM-AE、ELM-AE和AE的特征表示进行分类实验,结果表明,CELM-AE得到的数据
特征在两种分类器(ELM/KNN)下的分类精度与稳定性表现均优于ELM-AE与AE,且时间代价很小,说明了CELM-AE在提取可分
性数据特征表示方面的优势。
关键词:极限学****机;自动编码器;特征学****数据分类
中图分类号:TP3文献标识码:A国家标准学科分类代码:
FeatureLearningMethodofExtremeLearningMachineAuto-encoderwith
CategoryInformation
ChengRongBaiYanpingHuHongpingTanXiuhuiXuTing
(SchoolofScience,NorthUniversityofChina,Taiyuan030051,China)
Abstract:Extremelearningmachineauto-encoder(ELM-AE)combinesextremelearningmachine(ELM)technologywith
auto-encoder(AE),whichcanlearndatafeaturesunsupervisedandovercometheexpensivetimeconsumptionofparameteriterative
,ELM-AE,whichaimstominimizereconstructionerrors,cannoteffectivelyusethedatacategoryinformationin
classificationproblems,,thispaperproposesadata
classification-orientedfeaturelearningmethodofextremelearningmachineauto-encoderwithcategoryinformation(CELM-AE),which
limitstheinterclassdispersionandintraclasssimilarityoftheprojectedfeaturevectortotheobjectivefunctionofELM-AE,andcan

datasetsarecarriedoutusingthefeaturerepresentationbasedonCELM-AE,ELM-
classificationaccuracyandstabilityofthedatafeaturesobtainedbyCELM-AEunderthetwoclassifiers(ELM/KNN)arebetterthan
ELM-AEandAE,andthetimecostisverysmall,whichshowstheadvantagesofCELM-AEinextractingtheseparablefeature
representationofdata.
Keywords:extremelearningmachine;auto-encoder;featurelearning;dataclassification
[2]
0引言表示学****方法中,自动编码器(AE)是一种前馈神经网
络(包括输入层、隐藏层和输出层),它以无监督的方式学机器学****算法的泛化能力取决于数据集,因此合理设
进行堆叠的网络设计被提出,称为堆栈式自编码(SAE)[3]。
计数据集的特征来表示数据的显著结构就显得十分重要。
AE或SAE的学****训练采用的是误差反向传播方式,当面
特征学****或表征学****1]是一种能够从训练数据中自动提取
向分类任务时,只需在自编码结构的顶层添加一个输出层,
分类或其他特定任务所需的有效表征的技术。在各种特征
基金项目:山西省基础研究计划资助项目(202103021223189,202103021224195,202103021224212,202**********),国家自然科学基金项目(61774137),
山西省回国留学人员科研项目(2020-104,2021-108)资助
然后采用基于梯度下降的策略,对整个系统的参数(包括整自动编码阶段的权值,从而获得更具有代表性与可分性
在SAE中构建新数据表示的参数)进行调整,从而最小化的数据特征。为了保持ELM-AE对特征进行快速学****的特
分类误差。换句话说,分类错误被反向传播到SAE,以指点,同时又获得更具类别代表性的数据特征而提高数据分
导各层AE构建更具代表性和区分性的特征,从而实现更类精度,本文提出了一种将数据类别信息加入到ELM-AE
好的分类。但由于基于误差方向传播的训练方法非常耗时,中的数据表示方法,该方法将投影数据的类间离散度与类
且容易陷入局部极值等,AE的训练方式限制了其在实际应内相似度限制到ELM-AE的目标函数中去,并通过解析算
用中的效果。法获得最优数据表示,保持了运算快速优势的同时获得了
Huang等人于2006年提出了基于单层前馈网络相较于原算法更具类别代表性的特征表示。
(SLFN)的极限学****机(ELM)技术[4],该方法的关键原
理是从输入层到隐藏层随机选择权重,然后通过最小化损1相关工作
失函数解析地确定SLFN的输出权重,因此ELM比传统
本节将简要介绍极限学****机(ELM)与极限学****机自
SLFN的训练算法在回归与分类时更为简单高效。自那时
编码器(ELM-AE),并基于此引出下节经改进的含类别信
以来,大量理论和实验证据证明了ELM的多重优势,如快
息的极限学****机自动编码器。
速训练、强大的泛化能力和通用逼近能力[5]。到目前为止,
(ELM)
大量的ELM已成功应用于许多领域,例如模式分类[6-8]、
极限学****机(ELM)由Huang等人于2006年提出,是
图像重建[9]、图像分割[10,11]、预测[12,13]、聚类[14,15]等。2013
一种基于单层前馈网络(SLFN)的高效学****算法。极限学
年,Kasun等人首先将极限学****机技术用于数据自编码,提出了ELM-AE模型[16],该方法借助ELM算法的优势,
作用,但它们不需要调整,只要这些神经元是非线性分段
能够通过最小化输入训练数据的重建误差,有效地学****数
连续且随机生成的,它们就具有普适逼近能力[4-5,27-28]。这
据表示,并将其推广为多层结构(ML-ELM),在MNIST
自然克服了许多传统学****算法(如BP)遇到的学****速度慢,
数据集上取得了优于其它算法的特征表示分类效果,进而
容易得到局部最优解等相关的学****瓶颈和障碍。
引起了相关学术界的关注。之后几年,ELM-AE被应用于
如图1所示,ELM网络结构的网络输出如下:
声信号分类[17]、缺失数据插补[18]、数据流分类[19]、光伏功
L
[20][21]T(1)
率预测、故障检测等多种领域,同时ELM-AE的多种fhLii()()()xβxhxβ
i1
变形与改进方法也被相继提出,如Wong等人受到核学****br/>其中,ββ,,...,ββT是隐层节点与输出节点间的权值
的启发,提出了核极限学****机自编码器(KELM-AE),消12L
矩阵,h()(),(),...,()xxxxhhh是隐层输出向量。设
除了ELM-AE隐层节点数量的影响[22]。Sun等人考虑到数12L
激活函数为,则,其中的权值向量
据流形结构,将流形正则化加入ELM-AE的目标函数中,gx()hgbiii()(,,)xax
a与偏置b通过随机方式生成并在训练中保持不变。从而
提出了图正则化极限学****机自动编码器(GELM-AE),使ii
其具有更强的能力以提取适合聚类的特征[23]。陈晓云等人在ELM网络中,输入向量x被投影为L维ELM随机特征
hx(),当给定n个独立的训练样本{(,)1,2,...}xtin时,
将子空间结构学****与ELM-AE结合,提出可以保持数据子ii
空间结构的极限学****机自动编码器,在数据聚类方面取得考虑到算法的泛化性能与鲁棒性,ELM解决的是如下优化
问题:
良好效果[24]。Liu等人提出了类约束极限学****机(C2ELM),
22C
对不同类别数据分别训练ELM-AE,将所有解码权值组合Minimize:()βTHXβ(2)
2
[25]
为投影变换矩阵,并验证了该方法的有效性。Chang等其中,
人提出了一种简单、有效、快速的深层结构ELMAENet,h(x1)g(a1x1b1)g(a2x1b2)g(aLLx1b)

使用ELM-AE来获得卷积层滤波器,不再需要参数调整,h(x2)g(a1x2b1)g(a2x2b2)g(aLLx2b)
H=
[26]
但仍具有良好的图像分类性能。
h(x)g(axb)g(axb)g(axb)
基本ELM-AE与ML-ELM在特征提取阶段采用的都n1n12n2LnL
TTTT
是完全无监督的训练方式,即通过最小化重构误差获得数代表ELM网络隐层神经元的输出矩阵,Tt12,t,...,tn
据的特征表示。由于其沿袭了ELM的学****方式,各编码层为目标输出矩阵。
的权值不随训练而调整,只根据最小二乘法求得解码权值,由目标函数(2)可得最优输出权值的解析解为:
1
使其能够保持快速学****的优势,但这同时也使ELM-AE不ITT
βΗHΗT(3)
能像传统AE一样利用增加有监督的分类输出层去反向调C
由此可见,对比传统前向网络的训练方式,ELM具有更加
快速的学****速度,且可证明其具有通用逼近与分类能力。2含类信息的极限学****机自动编码器
β
1(,)a11b1
1(CELM-AE)
22
x…y
…从ELM-AE的设计原理可以看出,基于极限学****方式的
…
自动编码器具有学****速度快,能够计算解析最优解的优点。
L
然而,由于ELM-AE的特征表示只考虑对输入数据X的重
m(,)aLLbl
建,而与数据本身的类别标签信息无关,所以仅基于目标
图1ELM结构图函数(5)提取的数据特征并不能保证在数据分类任务中获
得令人满意的效果。为了提取更具代表性和区分性的数据
(ELM-AE)
表示,面向分类任务,目标函数中应该增加已有数据的类
基于极限学****机的自动编码器(ELM-AE)具有严格轴
别信息,从而帮助提高对未知数据的分类准确率。具体来
对称结构,如图2所示,不同于捆绑权重自动编码器(TAE),
说,CELM-AE就是将带标签样本投影向量的类间离散度与
ELM-AE并未采用捆绑权重,且由于只有解码阶段的权重需
类内相似度同时限制到学****任务的目标函数中去,以期获
要计算,其计算开销远小于TAE。而与ELM相比,ELM-AE
得更有利于分类任务的特征表示投影变换矩阵。
采用的是将网络输出数据T设置为输入数据X的无监督

学****方式,其目标是最小化输入X的重建误差,从而获得
设原样本空间的均值(中心)向量为:
原数据的特征表示,而输出层权值的计算则与ELM相似。
1
,()(8)
Vincent等人曾指出AE的隐层需要保持输入数据的信息,mxkkK1,...,
NkxX
因此ELM-AE采用正交随机参数来保持输入数据的欧几里k
则投影后的样本均值为:
得信息[29],其隐层节点输出具体计算如下:
11
TT,
mxxkprojkβmβ
h(xxAbaxax)()(),...,ggbgb()11LL
NNkkxxprojkkXX
AAIbbTT,1,ifLm
(4)(kK1,...,)(9)
TT
AAIbb,1,ifLmCELM-AE的目标函数具体表达式如下:
222
其中,Αaaa12,,...,L为输入节点与隐层节点间的正交C1
Minimaze:()FβXHXβmmkl
22kl
随机权值矩阵,bbbb12,,...,L为隐层节点的偏置向量。
KN
k2
从而,ELM-AE的优化目标函数为:2xβTm
2kik
22Cki11
Minimize:βXH(X)β(5)
2(10)
对β求导,并令其为零,可得最优输出权值解矩阵β为:其中第一项用于控制模型复杂度,第二项为模型的误差损
1失,第三项为各类投影数据的均值向量间距离和,反映投
ITT
βΗHΗX(6)影数据总类间离散程度,第四项为各类投影数据与均值向
C
输入数据X通过ELM-AE的解码权值β得到新的特征表量的总距离和,反映投影数据总类内相似程度。K表示类
别数,N表示第k类中的数据样本个数,x表示第k类
示:kki
T数据中的第i个样本,C,,12为正则化因子。
XXprojβ(7)

β
1(,)a11b1为了得到使目标函数达到最小的权值矩阵β,将目标
1函数F对β求导数,并令其为零,即可得最优解。
22
…22C
xx令f1βXH()Xβ,则f1可等价地写为:
…
…2
C
LTTTT
f1trββtrXβH(X)XH(X)β
2
m(aLL,b)m
(11)
图2ELM-AE结构图
f1对β求导,得:
df
1βCCH(X)TTH(X)βH(X)X(12)
dβ
2
112TBartels-Stewart方法求解,将方程(20)中的系数矩阵
令f2mmmmklklβ,则f2
N
22klklKk
IHXHXC()()T与SS进行Schur分
可等价地写为:21kikl
kikl11
1TT解,即:
ftr2βmmmmklklβ
2kl
(13)TT
ICH(X)H(X)UR1U
1trβSβT
klKNk(21)
2klT
2Ski1Skl=VR2V
f2对β求导,得:k11ikl
df
21T(14)则方程(20)可变化为三角形矩阵方程
βSSklklkl1βS
d2βklklT
R12BBRD,其中BUβV,
其中,
DUTTCH()XXV。
T,()(15)
Smmmmklklklkl,K1,...,
klkl
记Bbbb12,,...,m,Dddd12,,...,m,其中
为原数据总类间散度矩阵,刻画原数据各类的类间离散程L(2)
bdkk,R,R2rij,ij,1,...,m。则可得B的列递
度。
KNk推公式:
T2
令f2xβmk1
3kik(2)(2),()
2ki11RIbdb1rrkkkkiikkm1,...,
Ni1
Kk2
2xβTTmβ,(22)
2kik
ki11通过向前代换依次求解,可得矩阵B的所有列向量b,再
则f可等价地写为:k
3通过
KNk
T
ftr2βxmxmβTβUBVT(23)
32kikkik
ki11(16)即可求出方程(20)的解矩阵β,从而得到目标函数F的最
KNk
2trβSβT优解。
2ki
ki11基于以上讨论,CELM-AE方法的总体框架如图3所示,
f对β求导,得:
3其具体算法步骤总结如下:
dfKKNNkk
32βSSTβS(17)
kikiki2CELM-AE特征学****算法
d2βkiki1111
其中,
输入:原始数据矩阵Xnm,投影后的特征表示维数L,
KKNNkk
T(18)正则化因子,0,0
SxmxmkikikkikC012
kiki1111
(kK1,...,,iN1,...,k)输出:含类别信息的数据特征表示矩阵Xproj
为原数据总类内散度矩阵,刻画原数据各类的类内离散程
(4)随机初始化正交权值矩阵Α与偏
度。
置向量b;
综合公式(12)、(14)和(17),可得
-AE的隐层输出矩阵HX();
dFnl
βCCH(X)(TTH)(X)βHXX
d,根据公式(15)和(18)计
(19)
N
Kk算样本总类间散度矩阵S和总类内散度矩阵
βSβSkl
12klkikl
klki11
KNk
dF;
令0,得Ski
dki11
(20),由
IHCX(H)TX()ββSS
21kiklBartels-Stewart方法求出解矩阵β(公式(23)),则
k11ikl(20)
TX的含样本类别信息的数据特征表示矩阵
CH()XXnm
T。
公式(20)为西尔维斯特(Sylvester)矩阵方程,借助矩阵XXprojβ
Kronecker积的朴素求解法会增加方程阶数从而提高计算
复杂度,在数据特征维数较高时并不适用。可采用经典
能力进行检验。当设置了数据集在两种编码器下的投影向
KNk
22C22
Min:()FβXHXβ12mmxβTm
klkik量维数后,为了避免ELM隐层节点个数在训练分类器时
222klki11L
转化对分类结果的进一步影响,实验直接将CELM-AE的投影向
KNkT
IHCCXH()()()XTTββSSHXX量作为ELM的隐层输入向量,如图4所示。故
矩阵方程21kiklXXprojβ
kik11l
求解CELM-AE+ELM的数据分类实验步骤为:首先,根据训练集
βUBVT
Xtrain与分类目标Ttrain中包含的类别信息,利用CELM-AE
算法得到解码权值β;其次,将自编码的解码权值βT作为
1(,)a11bβ1
1ELM网络的输入权值,且不设置随机偏差向量,并使用(24)
22
数据矩阵…特征表示矩阵
x…x式确定ELM分类器的输出层权值β(实验中将C设置为
…11
XXXβT
nmproj8
L10);最后,将测试集Xtest输入ELM网络,得到相应分类
m(,)abm
LL结果并与目标对比得出分类准确率。
Ttest
图3CELM-AE总体框架图1
ITT
β1GXGXGXT()()()projprojprojtrain(24)
C1
3实验结果与分析
βT
1(,)a11b11ββ11
1
本节将对CELM-AE关于数据表示的区分能力进行检验,1
2222
…
…
并采用两种分类网络分别对此进行实验验证,并与ELM-AEx
…
xx…t
…
…
及AE方法进行对比分析。
LL
m(,)abmmK

实验选取了6个UCI公开数据集(Iris,Wine,Image图4CELM-AE+ELM结构图
Segmentation,VehicleSilhouettes,BreastCancer
Wisconsin(Diagnostic),Spambase),具体的数据集说明表2给出了在某个特定投影特征维数L时,三种自编
如表1所示。码算法(CSELM-AE,ELM-AE,AE)下的ELM分类精度(100
次独立实验的平均正确率),多次实验分类正确率的标准
表1数据集说明
差,及每次实验的平均耗时统计对比。从表2中可以看出,
数据集维数样本数类别数
在相同的特定投影特征维数L前提下,基于CSELM-AE与
Iris41503ELM-AE特征学****算法的分类实验耗时远小于基于AE算法
Wine131783的分类实验,这是由于AE算法在特征学****时使用的是基于
Segmentation1923107梯度下降的反向传播学****方式,而CSELM-AE与ELM-AE则
Vehicle188464使用解析方法优化,可以更高效地学****到有效特征表示。
Breast305692此外,通过比较平均分类正确率与标准差指标可以看出,
Spambase5746012基于CSELM-AE的分类正确率在6种不同数据集上均高于基
于ELM-AE与AE的分类表现,且实验结果更为稳定,说明
所有实验全部随机选取数据集的70%作为训练集
加入数据类别信息的ELM自编码对数据分类效果起到了明
Xtrain,30%作为测试集Xtest,并为减少因数据选取随机性
产生的差异,采用100次独立实验的平均分类表现作为该显的积极作用。
数据集上的最终分类评估依据。编码器激活函数采用另外,图5给出了两种高效率自编码算法对6种数据
sigmoid函数,输出向量采用One-Hot二进制编码方式。集在设置不同投影特征维数L时的平均分类正确率(100

次实验)对比曲线,说明对维数变化的特征表达Xproj,
1(C1,1,1),也即在目标函数中同时考虑
12CELM-AE的数据区分能力均高于ELM-AE。为了更直观地比
投影特征向量的类间离散度与类内相似度两个损失项,对
较CELM-AE、ELM-AE与AE在数据区分能力方面的差别,图

6绘出了Iris数据集中相同的测试数据利用三种不同编码
分析。
2维空间后的图像,并标注了相应算法的特
1)基于ELM分类器的对比实验征学****时间,可以看出CELM-AE的学****时间消耗虽略高于
首先采用ELM网络分类器对CELM-AE的数据表示区分ELM-AE,但仍然十分快速,且相较于ELM-AE和AE,基于
CELM-AE的投影测试数据具有更加明显的可分性。
表2三种编码算法在ELM分类器下的分类表现
CELM-AE+ELMELM-AE+ELMAE+ELM
数据集投影维数
正确率标准差运行时间正确率标准差运行时间正确率标准差运行时间
20
20
60
80
80
120
(a)Iris(b)Wine(c)Segmentation
(d)Vehicle(e)Breast(f)Spambase
图5不同投影向量维数时的ELM分类比较
(a)CELM-AE(t)(b)ELM-AE(t)(c)AE(t)
图6可视化的二维投影数据与特征学****时间对比(t为特征学****时间)
2)基于KNN分类器的对比实验
为了进一步验证CELM-AE相比于ELM-AE及AE在分类特征表示方面的优势,我们又选择了K最近邻分类算法
(KNN)[30]对6类数据集在特定维数下的投影特征进行分的标准差,及每次实验的平均耗时统计。通过平均分类正
类,即首先在给定投影维数后,根据训练集与分类
LXtrain确率与标准差两项指标的对比,可以看出,经过100次独
目标中包含的类别信息,利用CELM-AE算法