token.txt

编译原理的一个基本试验：词法分析器；可将一个C源文件

(keyword: #,-)
(identifier,include)
(str,stdio.h)
(keyword: void,-)
(identifier,main)
(delimer:(,-)
(delimer:),-)
(delimer:{,-)
(keyword: while,-)
(delimer:(,-)
(identifier,av)
(comparison:<=,-)
(identifier,bv)
(delimer:),-)
(delimer:{,-)
(keyword: int,-)
(identifier,av)
(fuzhuhao:=,-)
(number,19)
(delimer:,,-)
(identifier,bv)
(fuzhuhao:=,-)
(number,89)
(delimer:,,-)
(identifier,cv)
(fuzhuhao:=,-)
(number,88)
(delimer:;,-)
(keyword: if,-)
(delimer:(,-)
(identifier,av)
(comparison:<,-)
(identifier,bv)
(delimer:),-)
(identifier,cv)
(fuzhuhao:=,-)
(identifier,cv)
(operator:+,-)
(identifier,av)
(delimer:;,-)
(keyword: else,-)
(keyword: if,-)
(delimer:(,-)
(identifier,cv)
(comparison:!=,-)
(identifier,bv)
(delimer:),-)
(identifier,cv)
(fuzhuhao:=,-)
(identifier,cv)
(operator:-,-)
(identifier,bv)
(delimer:;,-)
(delimer:},-)
(delimer:},-)