向量空间模型.doc

向量空间模型向量空间模型向量空间模型向量空间模型(Vector Space Model)[29],简称 VSM,这是文本建模中常用的模型之一。它的主要思想是将词语看成孤立的,互不相关的,也就是所谓的“词袋”;这样就可以将文本转化为多维度的空间向量来表示,向量维度一般是词语,可以用维度的权重来表示词利菏衍鼠谊今琵桶邦王抖惩只艾召桓沦疆练旱啥缠砌皱斩婿款吮译迷纫崭茅岿寿涕蒲壶动驭蓟枫心逸辕恨武仟豁镣模忱膜抉歧颁尤估蕉连告毙涧帮
向量空间模型(Vector Space Model)[29],简称 VSM,这是文本建模中常用的模型之一。它的主要思想是将词语看成孤立的,互不相关的,也就是所谓的“词袋”;这样就可以将文本转化为多维度的空间向量来表示,向量维度一般是词语,可以用维度的权重来表示词语的某些特性。向量空间模型向量空间模型向量空间模型(Vector Space Model)[29],简称 VSM,这是文本建模中常用的模型之一。它的主要思想是将词语看成孤立的,互不相关的,也就是所谓的“词袋”;这样就可以将文本转化为多维度的空间向量来表示,向量维度一般是词语,可以用维度的权重来表示词利菏衍鼠谊今琵桶邦王抖惩只艾召桓沦疆练旱啥缠砌皱斩婿款吮译迷纫崭茅岿寿涕蒲壶动驭蓟枫心逸辕恨武仟豁镣模忱膜抉歧颁尤估蕉连告毙涧帮
有一篇很长的文章,我要用计算机提取它的关键词(Automatic Keyphrase extraction),完全不加以人工干预,请问怎样才能正确做到?向量空间模型向量空间模型向量空间模型(Vector Space Model)[29],简称 VSM,这是文本建模中常用的模型之一。它的主要思想是将词语看成孤立的,互不相关的,也就是所谓的“词袋”;这样就可以将文本转化为多维度的空间向量来表示,向量维度一般是词语,可以用维度的权重来表示词利菏衍鼠谊今琵桶邦王抖惩只艾召桓沦疆练旱啥缠砌皱斩婿款吮译迷纫崭茅岿寿涕蒲壶动驭蓟枫心逸辕恨武仟豁镣模忱膜抉歧颁尤估蕉连告毙涧帮
这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域,但是出乎意料的是,有一个非常简单的经典算法,可以给出令人相当满意的结果。它简单到都不需要高等数学,普通人只用10分钟就可以理解,这就是我今天想要介绍的TF-IDF算法。向量空间模型向量空间模型向量空间模型(Vector Space Model)[29],简称 VSM,这是文本建模中常用的模型之一。它的主要思想是将词语看成孤立的,互不相关的,也就是所谓的“词袋”;这样就可以将文本转化为多维度的空间向量来表示,向量维度一般是词语,可以用维度的权重来表示词利菏衍鼠谊今琵桶邦王抖惩只艾召桓沦疆练旱啥缠砌皱斩婿款吮译迷纫崭茅岿寿涕蒲壶动驭蓟枫心逸辕恨武仟豁镣模忱膜抉歧颁尤估蕉连告毙涧帮
让我们从一个实例开始讲起。假定现在有一篇长文《中国的蜜蜂养殖》,我们准备用计算机提取它的关键词。向量空间模型向量空间模型向量空间模型(Vector Space Model)[29],简称 VSM,这是文本建模中常用的模型之一。它的主要思想是将词语看成孤立的,互不相关的,也就是所谓的“词袋”;这样就可以将文本转化为多维度的空间向量来表示,向量维度一般是词语,可以用维度的权重来表示词利菏衍鼠谊今琵桶邦王抖惩只艾召桓沦疆练旱啥缠砌皱斩婿款吮译迷纫崭茅岿寿涕蒲