下载此文档

北邮 大数据技术课程重点总结.docx


文档分类:通信/电子 | 页数:约43页 举报非法文档有奖
1/43
下载提示
  • 1.该资料是网友上传的,本站提供全文预览,预览什么样,下载就什么样。
  • 2.下载该文档所得收入归上传者、原创者。
  • 3.下载的文档,不会出现我们的网址水印。
1/43 下载此文档
文档列表 文档介绍
..
大数据技术
,什么是机器学****br/>什么是机器学****br/>关注的问题:计算机程序如何随着经验积累自动提高性能;
研究计算机怎样模拟或实现人类的学****行为,以获取新的知识或技能,重新组织已有的知识
结构使些椅歧的品我集知道其VC维
■如:N维会间中脱性分炎蠡和成性更番粒的VC雄是并+/
.噪声的种类:
数据噪声:Ehl
g的VC维度过高带来的噪声:dvc
训练集过小带来的噪声iN
.误差函数(损失函数)J®=.g㈤*侬]
两种重弃的银裳翁敦
口篇4•教
■总*LU*的则蜃pGflMidh与事一小?
■与伸多■■的•0)]
E^t&-泌Trrr{strj"Q〕sUJ*卦YJa一班My
,g*+HriX
册小(Xy)1+i-<i*.**fl4«****fX
.给出数据计算误差
..
输入数据
P(t7—I\x)=(v—2\x)=("一3㈤V
。/1误差的陆况
err(yJ,y)=
{,8

,
f(x)=cu^gmaxP(y\x)
平方误差的情况
errfy1fy)=
/


,29
"Wy*P&1刈yer
..
.线性回归算法:简单并且有效的方法,典型公式/?W=w%
口在被掘林口工,桁由输入星味X,杓*输出向量产
□")(-piscuJd-itiwrsc
□X,的续熊自斗】JkN
口通廊最优妁hK'y
线性回归的误差函数:使得各点到目标线/平面的平均距离最小!
errfy*ty)=(y'-y)2
旦/M=(说=式人(“)—九))就是卬马

:
耳/w,的矩阵形为
..
楮度下降法求04MM
Efn(w)=^\\Xw-y\\2=^(wTXTXw-2wTXTy+yTy)
*记为a:记为b;y”;记为c
次是单变量的情况
Ein(w)=(QW2-2biv+c)
叫/刈=^(2aw-2b)
用是多维变量的情况
Ein(w)一也(wraw-2wTb+c)吟/刈=5(2aw-2b)
7
叫的)=-(XTXw-XTy)z
..
最优化的线性回归斛(蹩空间)
=0
,HX如果不可逆如票是奇并矩阵,则不可逆3
其他方式定义
叼/V=X、、
叫O二十kXw-Ry)
MA%果可更
”二(X『Xf
(XTXyiJT记分X、冰/pseudo*inverseN»d+I
上述嘉件保证大部分情况下KY可逆.
然性回归算法
口在数据集D上,构建输入矩阵X,构建输出向量y
r—11—1Vi
X=-F-y=力
■■•I■■,
[4\%.
讨算pseudo-inversB
X+的维度fd+1)xN
返回最优的修=X-y
简单并且有效的力注!
T-7
:
..
..
口线性分类,设有髀析解y={-L+1}hfxj~signfn<Y^err(vry)=『/#」』NP-Hard
口蚯性囱阳,密故的解析解
ycRh(x)-vi^jrerr(y'ty)=(y7-y)z
高效率的解析解
mnEin(w)=IIXiv-y||2EJw)f连续,可做分,凸的教
卜1,十”亡R
使用轨桂闺龙来世缶具,
.左教痣蕖D上跑一叠蜘住®归:
.8街=和刖佛[囚.
(IV)
(W)
LOJ
寻找W吐使得
有好的£”并JLE即是好的,发生了学****br/>.过拟合:
原因:模型复杂太高,噪声,数据量规模有限。解决方案:使用简单的模型,数据清洗(整形)
.正则化
,正则化,验证。
g就黑;j求2”⑺"|
Hrtj*―腌/小鹏*注电4下』桌
10
*qf京*=下尢子的*小2.
E£w)+玄懵皿
生科1均时皿)+T小.=。
*比・|卬*iZTZ+NFWy
:
..
..
一种通过网络实现文件在多台主机上进行分布式存储的文件系统;

北邮 大数据技术课程重点总结 来自淘豆网www.taodocs.com转载请标明出处.

相关文档 更多>>
非法内容举报中心
文档信息
  • 页数43
  • 收藏数0 收藏
  • 顶次数0
  • 上传人zhangshus
  • 文件大小264 KB
  • 时间2022-05-16