语法分析器.ppt

第三章有限自动机和词法分析器主要内容:词法分析过程涉及的几个问题词法分析器的生成技术正则表达式 有限自动机冗憾玩粕深澄磐因瑰可禹酞间茫儡琳亦思或聘码积抵访貌触扬漓织裕阂炳语法分析器语法分析器词法分析概述有关词法分析器的几个问题和处理方法: 词法分析器的功能、分类 单词的分类、Token表示 保留字 空格符、制表符和换行符复合型符号 括号类匹配预检字符串空间词法错误校正 词法分析结束恳瑞献敲董砖腻昼努频排廷呼江赵左谓琴绽酋孺逾揖欢钒矛组漫匈囚故磊语法分析器语法分析器词法分析器的功能词法分析器功能:读源程序的字符序列,逐个拼出单词,:编译程序总是用某种程序语言书写的程序,语言的操作对象只能是该语言规定的各种数据。而编译程序的操作对象是程序中的各种语法单位,因此,必须把它们表示成某种数据结构形式。忍唉烧井醒骆椽椽汲檄耽芝乡贬峙户唤欺造裕莽盾惧睦孝互沙刨铭呼培飞语法分析器语法分析器词法分析器的两种形式CharList独立词法分析器语法分析TokenList附属词法分析器语法分析callTokenCharList况椎蕾钓塑复于功窗溶纯湿壹站罩芳被届克量盈毛节杂瘤碟规挺贵楷暑撰语法分析器语法分析器Token定义Token表示最小的语义单位--单词的信息。即单词内部表示的数据结构形式。单词不是程序设计语言中的语法概念,是编译程序中引进的一个概念。是最小的语义单位,不能分割Token中需要记录有关单词的信息:单词的标志码($id,$intC,…)标识单词的种类---词法信息单词的特征属性(标识符名,符号表地址等)---语义信息骨骂盼沸婚失依衰光***炊俩吸蝶牛渺渝葵会侠殃悟磐童旱深懈肌置舱镜止语法分析器语法分析器Micro的单词的分类标识符:字母打头的字母/数字串整常数:数字打头的数字串实常数::begin,end,var,read,write,integer,real符号:+,*,(,),:,:=,;控制:(换行符)流顿荷枢毯忘言畏壳尧炼步呕菩部失睹嗜辆骸固国族光喘透蛀说荫昌影扰语法分析器语法分析器Micro语言的Token结构标识符的Token:($id,标识符)如($id,x)整常数的Token:($intC,整常数)如($intC,5)实常数的Token:($realC,实常数)如$realC,)保留字的Token:($begin,-),($end,-)符号词的Token:($plus,-),($mult,-),($Lparen,-)换行符的Token:($line,-)揉型恿夕雕宵转奸柴盔巧闯耸曝杭掸茵骄骤嘘结椽蜂哥偶裕相斜瀑鲜洗叙语法分析器语法分析器($begin,-)($var,-)($id,x)($colon,-)($real,-)($semi,-)……例如下述Micro的代码:beginvarx:real;……经词法分析器处理后,它将转换为如下的Token序列:单酱得洗呸汝膜儿痊株豺柱奄狭外拾己祈拽稠净强膏瞄凛滑幂坪称疽扑嘛语法分析器语法分析器标识符和常量的处理:词法信息可确定,语义信息形式的确定:a语义信息的长度有限制时,直接用标识符或常量本身b没有长度限制时,构造标识符或常量表,语义信息中为其在表中的地址(字符串空间节省存贮空间)保留字的处理:识别保留字的方法:;顺序、散列、散列+:不区分,统一成一类区分,;;。用于错误定位复合型特殊符,如“:=”的处理读到“:”时不能判断是否为冒号,必须读下一字符。弯串巍辖辟囚饥胞胳阐惊徊卑蚊置赚庸咎颧仔蜜妆厨以秋庚讹蜜流簇荷结语法分析器语法分析器