迁移学习ppt课件.pptx

迁移学****算法研究汇报人:孙钰沣101迁移学****TransferLearning)汇报内容02基于实例的迁移学****2迁移学****传统的机器学****假设训练数据与测试数据服从相同的数据分布在许多情况下,由于训练数据过期则不满足同分布的假设情况,我们不得不去标注新数据,但是标注新数据又非常昂贵。而且舍弃掉大量的不同分布下的过期数据又是很浪费的,在这种情况下,迁移学****变得非常重要,因为迁移学****是可以从现有数据中迁移知识,用来帮助将来的学****3迁移学****机器与人机器学****人优点计算机可以根据现有的数据进行自动的学****整理出有用的知识,并应用在问题上“举一反三”“活到老,学到老”缺点从零开始,并不借鉴以前学到的知识,也不对学到的知识进行改进和发展无法处理过多的数据……4迁移学****传统的机器学****基于统计学****统计学****虽然在其能力范围内显示出了很好的学****效果。但是,由于统计学****是基于数理统计,这就要求学****的知识和应用的问题必须具有相同的统计特征。于是,一般情况下,统计学****只能解决相同领域内、同一问题的学****因为当学****和应用的场景发生迁移后,统计特征往往发生改变,从而影响统计学****的效果。然而,在现实生活中,人们在学****时,例如,我们在学****物理的时候,需要大量借助以往的数学基础。人在学****时,具有在不同领域、不同问题之间进行迁移转移的能力,这正是机器学****所缺乏的。而,这种知识在不同场景之间迁移转化的能力被称为迁移学****TransferLearning)5迁移学****迁移学****是人的基本学****技能,但是迁移并不适用于每一件事情上,当两种学****在内容和方法上,或两种学****的刺激和反映无共同之处时,就不会有迁移作用的发生。若两种学****有共同因素时,就会产生迁移。共同因素越多,迁移作用就越大。6迁移学****迁移学****的定义NIPS2005对迁移学****给出了一个比较有代表性的定义:transferlearningemphasizesthetransferofknowledgeacrossdomains,tasks,,迁移学****强调的是在不同但是相似的领域、任务和分布之间进行知识的迁移。即,给定源域DS和学****任务TS,一个目标域DT和学****任务TT,迁移学****致力于用DS和TS中的知识,帮助提高DT中目标预测函数fT(⋅)的学****并且有DS≠DT或TS≠TT。7基于实例的迁移学****如果训练数据和测试数据的分布不同,传统的机器学****效果可能会非常差。正因为如此,我们希望能够设计出一种算法来针对训练数据和测试数据来自不同的数据源的情况。我们考虑这样的问题:辅助域(数据多)目标域(数据少)不同分布模型测试数据同分布8基于实例的迁移学****基于Boosting的迁移学****算法基本思想是,尽管辅助数据和目标数据或多或少会有些不同,但是辅助数据中应该还是会存在一部分比较适合用来训练一个有效的分类模型,并且适应测试数据。于是,我们的目标就是从辅助数据中找出那些适合测试数据的实例,并将这些实例迁移到目标数据的学****中去。9基于实例的迁移学****具体来说,推广了传统的AdaBoost算法,使之具有迁移学****的能力,从而能够最大限度的利用辅助数据来帮助训练目标的分类。关键的想法是利用boosting的技术来过滤掉辅助数据中那些与目标数据最不像的数据。其中,boosting的作用是建立一种自动调整权重的机制,于是重要的辅助数据的权重将会增加,不重要的辅助数据的权重将会减小。调整权重之后,这些带权重的辅助数据将会作为额外的训练数据,与目标数据一起从来提高分类模型的可靠度。于是,我们得到了一个新的boosting算法,称为TransferAdaBoost,简称TrAdaBoost10