215.cpp

学习编译原理的实用教程.教程共分7章: 第1章 编译系统概述 第2章 词法分析 第3章 程序设计语言的语法描述 第4章 自上而下的语法分析 第5章 自下而上的语法分析 第6章 语法制导翻译

//2.1.5 词法分析器手工构造实例
#include <iostream.h>
#include <fstream.h>
#include <string.h>
#include <stdlib.h>
#include <conio.h>
const short WORDLEN=20;
struct code_val{
	char code;
	char val[WORDLEN];
};
//预处理函数原型
void pro_process(char *);
//扫描函数原型
code_val scanner(char *);
//拼接函数原型
void concat(char [],char);
//查保留字表函数
char reserve(char []);
//主函数
void main()
{
	char buf[4048]={'\0'};//扫描缓冲区
//预处理
	pro_process(buf);
//显示buf
	cout<<buf<<endl;
//单词识别
	ofstream coutf("Lex_r.txt",ios::out);
	code_val t;//临时变量
	do{
		t=scanner(buf);//调用一次扫描器获得一个单词二元式
		cout<<t.code<<'\t'<<t.val<<endl;//屏幕显示单词二元式
 		coutf<<t.code<<'\t'<<t.val<<endl;//单词二元式输出至文件
	} while(t.code!='#');
	cout<<"End of lexical analysis!"<<endl;
	getch();
}
//扫描函数，每调用一次，返回一个单词的二元式。
struct code_val scanner(char *buf)
{
	static int i=0;//buf指针
	struct code_val t={'\0',"NUL"};//临时变量
	char token[WORDLEN]="";//用于拼接单词
//去除前导空格
	while(buf[i]==' ')i++;
//开始识别单词
	//标识符或基本字
	if(buf[i]>='a' && buf[i]<='z'){
		while(buf[i]>='a' && buf[i]<='z'||buf[i]>='0' && buf[i]<='9')
			concat(token,buf[i++]);
		t.code=reserve(token);//查保留字表
		if(t.code=='i')strcpy(t.val,token);//是标识符
		return t;//返回标识符或基本字的二元式
	}
	//整常数或实常数
	if(buf[i]>='0' && buf[i]<='9'){
		while(buf[i]>='0' && buf[i]<='9')
			concat(token,buf[i++]);
		if(buf[i]=='.'){//实常数123.
			concat(token,buf[i++]);
			while(buf[i]>='0' && buf[i]<='9')//123.4
				concat(token,buf[i++]);
			t.code='y';
		}
		else//整常数
			t.code='x';
		strcpy(t.val,token);
		return t;//返回当前单词整常数(123)或实常数(123.或123.4)的二元式
	}
	//实常数
	if(buf[i]=='.'){
		concat(token,buf[i++]);
		if(buf[i]>='0' && buf[i]<='9'){
			while(buf[i]>='0' && buf[i]<='9')
				concat(token,buf[i++]);
			t.code='y';
			strcpy(t.val,token);
			return t;//返回当前单词实常数(.123)的二元式
		}
		else{//单个.错误词形
			cout<<"Error word>"<<token<<endl;
			exit(0);
		}
	}
	//其余单词
	switch(buf[i]){
		case ',':
			t.code=',';
			break;
		case ';':
			t.code=';';
			break;
		case '(':
			t.code='(';
			break;
		case ')':
			t.code=')';
			break;
		case '=':
			t.code='=';
			break;
		case '+':
			if(buf[++i]=='+')	
				t.code='$';
			else{
				t.code='+';
				i--;
			}
			break;
		case '*':
			t.code='*';
			break;
		case '#':
			t.code='#';
			break;
		default://错误字符
			cout<<"Error char>"<<buf[i]<<endl;
			exit(0);
	}//end of switch
	i++;//指向下个单词
	return t;//返回当前单词的二元式
}
//拼接函数，原token="BEG", buf[i++]='I', 调用后token="BEGI"。
void concat(char token[],char c)
{
	for(int i=0;token[i];i++);
	token[i]=c;
	token[++i]='\0';
}
char reserve(char token[])
{
	const char *table[]={"begin","end","integer","real"};
	const char code[]={"{}ac"};
	for(int i=0;i<(int)strlen(code);i++)
		if(strcmp(token,table[i])==0) return code[i];
	return 'i';	//标识符的单词种别为'i'
}
//预处理函数
void pro_process(char *buf)
{
	ifstream cinf("source.txt",ios::in);
	int i=0;char old_c='\0',cur_c;//计数器，前一个字符，当前字符。
	bool in_comment=false;//状态标志，false表示当前字符未处于注释中。
	while(cinf.read(&cur_c,sizeof(char))){//从文件读一个字符
		switch(in_comment){
		case false:
			if(old_c=='/' && cur_c=='*'){//进入注释
				i--;//去除已存入扫描缓冲区的字符'/'
				in_comment=true;
			}
			else {
				if(old_c=='\\' && cur_c=='\n') //去除续行符'\'，包括后续换行符。
					i--;//去除已存入扫描缓冲区的字符'\'
				else {
					if(cur_c>='A' && cur_c<='Z') cur_c+=32;//大写变小写
					if(cur_c=='\t' || cur_c=='\n') cur_c=' ';//空格
					buf[i++]=cur_c ;
				}
			}
			break;
		case true:
			if(old_c=='*' && cur_c=='/')//离开注释
				in_comment=false;
		}//end of switch
		old_c= cur_c;//保留前一个字符
	}//end of while
	buf[i]='#';
}