计算语言学—语言学.ppt

计算语言学
计算语言学—语言学
一、计算语言学的定义：是利用计算计研究和处理自然语言的学科。
狭义：指的是通过建立形式化的计算模型，用计算机分析、处理、理解并生成自然语言的学科。例：“有意见分歧” 算一算怎么切分合理
是“有意 见 分歧” 还是 : “有 意见 分歧” ？
广义：包括狭义的内容；还包括利用计算机对语言文字进行的各种定量化和精密化的研究。
例1：中国《红楼梦》的作者：前八十回和后四十回是不是一个人。
例2：方言亲属关系的计量：
计算语言学—语言学
二、计算语言学的发展：
计算语言学的研究首先是从机器翻译开始的。
1、《圣经·创世纪》中“巴比塔”的传说。
2、17世纪中叶展开的“普遍语言”的运动，旨在运用逻辑原则和图形符号的基础上，创造出一种无歧义的语言。
3、20世纪30年代，法国工程师提出了用机器进行语言翻译的想法，并在1933年7月获得了一项“翻译机”的专利，叫做“机械脑”。
计算语言学—语言学
4、1946年，美国研制出第一台电子计算机，人们开始用计算机进行翻译的尝试，当时采用的是词对词的策略，所以翻译效果不理想。如：
I don't know the boy who is waiting outside.
5、在1960年代初期，计算语言学曾因做机器翻译的应用研究，受到各国政府的大力支持而风光一时，然而一直没有满意的成绩。于是美国政府委托国家科学院评估机器翻译的计划。1966年该评估报告指出：当时的研究是没有希望做好机器翻译的。
计算语言学—语言学
6、人们在失败中得到启发，认为要搞好自动翻译，必须在语言理论和计算机科学两方面下足功夫，其中尤其语言处理理论的研究，人们认识到，如果计算机无法理解自然语言，机器翻译等只能是空中楼阁。
7、计算语言学的进一步发展
音字转换：语音识别
自动文摘：自动给出一篇或多篇文章的摘要
信息检索：在海量的信息准确找到你所需要的信息
信息过滤：从信息流中筛选出特定的的信息（信息安全、突发事件）…………
计算语言学—语言学
三、计算语言学的学科分类：就理论研究来看，计算机语言学还可以分为计算语音学、计算词汇学、计算语法学、计算语义学、语料库语言学等不同的分支学科。
（一）、计算语音学：研究如何用计算机对语音信息进行处理，实现语音的自动识别和合成。
语音识别：机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。
语音合成：将可视的文本信息转化为可听的语音信息。
计算语言学—语言学
一般来说，完整的语音识别要经历三个步骤：
（1）、语音特征提取：目的是从语音波形中提取随时间变化的语音特征序列。
（2）、声学模型与模式匹配（识别算法）：声学模型通常将获取的语音特征通过学****算法产生。在识别时将输入的语音特征同声学模型（模式）进行匹配与比较，得到最佳的识别结果。
（3）、计算机对识别结果进行语法、语义分析。明白语言的意义以便作出相应的反应。通常是通过语言模型来实现。
计算语言学—语言学
清华大学电子工程系，非特定人汉语连续语音识别系统的识别精度，达到94．8％，接近实用水平
语音识别
特定人
非特定人
大词汇量
小词汇量
孤立发音
连续发音
中小词汇量非特定人语音识别系统识别精度已经大于98％
满足通常应用的要求
一些用户交换机、电话机、手机已经包含了语音识别拨号功能，还有语音记事本、语音智能玩具。人们可以通过电话网络用语音识别口语对话系统查询有关的机票、旅游、银行信息，并且取得很好的结果。全球语音识别电话软件年销售收入达上亿美元。
5000词邮包校核非特定人连续语音识别系统的识别率达到98．73％。
计算语言学—语言学
（二）、计算词汇学：研究如何用计算机处理自然语言的词汇。
他笑了 桌子笑了 桌子搬走了。
（三）计算语法学：研究如何用计算机来分析自然语言的语法。这种研究在计算语言学中叫做自动语法分析。
花开了\花钱了
计算语言学—语言学
（四）语料库语言学：语料库(corpus)亦称语库或素材，是收集并科学地组织起来的一套语言材料，这种材料是某种语言中自然出现的，可以是书面的，也可以是口头的。语料库语言学(corpus linguistics)是以语料库中的语篇(text)语料为基础对语言进行研究的一门学科。
计算语言学—语言学