语料库的背景知识以及详细介绍.ppt

五语料库? 1 什么是语料库? 2 语料库的发展? 3 语料的收集与加工? 4 语料库的应用? 5 小结 1 什么是语料库?语料库(corpus) :存放语言材料的仓库?现代的语料库是指存放在计算机里的原始语料文本或经过加工后带有语言学信息标注的语料文本。?关于语料库的三点基本认识: ?语料库中存放的是在实际使用中真实出现过的语言材料; ?语料库是以计算机为载体承载语言知识的基础资源; ?真实语料需要经过分析、处理和加工,才能成为有用的资源。 1 什么是语料库?北京大学计算语言所富士通人民日报标注语料库样例: ?历史/n 将/d 铭记/v 这个/r 坐标/n : /w 北纬/b /m 度/q 、/w 东经/b 114. 3 /m 度/q ; /w ?人们/n 将/d 铭记/v 这/r 一/m 时刻/n : /w 1998年/t 1月/t 10日/t 11时/t 50 分/t 。/w ?[中国/ns 政府/n]nt 顺利/ad 恢复/v 对/p 香港/ns 行使/v 主权/n , /w 并/c 按照/p “/w 一国两制/j ”/w 、/w “/w 港人治港/l ”/w 、/w 高度/d 自治/v 的/u 方针/n 保持/v 香港/ns 的/u 繁荣/an 稳定/an 。/w 1 什么是语料库 1 什么是语料库? London-Lund 英语口语语料库样例: ?^what a_bout a cigar\ette# . / ?* ((4 sylls)) * /?* I ^w\on't have one th/anks# * - - - / ?^aren't you .going to sit d/own# - / ?^[/\m]# - / ?^have my _coffee in p=eace# - - - / ?^quite a nice .room to !s\it in ((actually))# / ?* ^\isn't * it# / ?* ^y/\es# * - - - / 1 什么是语料库? London-Lund 英语口语语料库部分标记: ?语料库的分类?生语料库:未经加工的,没有任何切分、标注标记的原始语料库?熟语料库:经过加工,带有切分、标注标记的语料库 1 什么是语料库?语料库的分类: ?口语语料?书面语料?共时语料?历时语料?平衡语料?专门语料?监控语料?样本语料?语料库的分类: ?生语料库:未经加工的,没有任何切分、标注标记的原始语料库?熟语料库:经过加工,带有切分、标注标记的语料库 1 什么是语料库?语料库与语言知识库: ?语料库:以语言的真实材料为基础来呈现语言知识,反映语言单位的用法和意义,基本以知识的原始形态表现——语言的原貌; ?语言知识库:由专家从大量的实例中提炼、抽象、概括出来的系统的语言知识,如电子词典、句法规则库、词法分析规则库等。