使用lex分析java源程序.txt

Lex是美国Bell实验室用C语言研制的一个词法分析程序自生成工具。它的基本原理就是使用正则表达式扫描匹配文本

使用lex分析java源程序

    一般编译程序在进行词法分析的过程中都要将源程序中的无用符号及注释删除。虽然这个步骤并不复杂，用c语言就可以直接实现，但是如果用词法分析程序生成工具lex实现起来却可以更加方便。

       Lex是美国Bell实验室用C语言研制的一个词法分析程序自生成工具

。它的基本原理就是使用正则表达式扫描匹配文本，并为每一个匹配模式定义一些操作，当用C语言作宿主语言时，这些操作都由C语言实现。

一种匹配的正则表达式可能会包含相关的动作。这一动作可能还包括返回一个标记。当 Lex 接收到文件或文本形式的输入时，它试图将文本与正则表达式进行匹配。它一次读入一个输入字符，直到找到一个匹配的模式。如果能够找到一个匹配的模式，Lex 就执行相关的动作（可能包括返回一个标记）。另一方面，如果没有可以匹配的正则表达式，将会停止进一步的处理，Lex 将显示一个错误消息。

Lex 和 C 是强耦合的。一个 .l 文件（Lex 文件具有 .l 的扩展名）通过 lex 公用程序来传递，并生成 C 的输出文件。这些文件被编译为词法分析器的可执行版本。

本程序对java源程序进行分析，主要实现以下两个功能：

(1)、清除注释。java源程序有三种注释方法：1、单行注释，以//开头直到行结束；2、多行注释，以/*为开始，*/为结束，可以注释多行；3、java文档注释，这也是一种多行注释，但它可以通过java文档生成工具写入java程序文档中。它以/**为开始，*/为结束。

(2)、通过程序行数计算工作量。

(3)、计算程序中类的个数，并判断有没有两个public类，如果存在则报错：There is an error:One java file cannot includes two public class。

单行注释的清除。由于单行注释以//开头直到行结束，首先要匹配的就是//，然后清除从匹配处到行结束的所有字符。具体实现如下：

"//" {

      int c;

      while ( (c = input()) != '\n' &&

         c != EOF )

      {

         ;

      }

      code = add(code,'\n');

   }

 

多行注释的清除。多行注释有两种，一种是普通多行注释，另一种是java文档注释。这两种注释都以*/结束，普通多行注释以/*开始，java文档注释以/**开始。可以先匹配/*，然后向后搜索*/。要区别这两种注释就要看/*后面是否紧跟一个*字符，如果不是则为普通多行注释；如果是还要看下一字符是否为/字符，如果是也为普通注释，如果不是则为java文档注释。具体lex程序实现如下：

"/*" {

        int c,ct=0;

        char * javadoc = "/*there is a Java Doc Comment*/";

        for ( ; ; )

       {

           while ( (c = input()) != '*' &&

              c != EOF )

           {

              ct++;

           }

           

           if ( c == '*' )

           {

              c = input();

              if ( c == '/' )

              {

                  ct = 0;

                  break;    /* found the end */

              }

              else

              {

                  if(ct==0)

                      code = strcat(code,javadoc);

              }

           }

           

           if ( c == EOF )

           {

               printf( "EOF in comment" );

               break;

           }

       }

    }

 

my.l即为lex程序。输入一段带有注释的java源程序，然后打入结束标志$号，回车就可以看到在输出的程序中所有注释都已经删除，在含有java文档注释的地方加上了一句注释：/*there is a Java Doc Comment*/。

经过仔细研究发现，上面的实现过程还是过分依赖C语言，没有真正发挥Lex模式匹配的强大功能。单行注释、普通多行注释、Java文档注释可分别由下列模式匹配：

\/\/.*\n

\/\*[^\*\/]*\*\/

\/\*\*[^\*\/]*\*\/

本程序还提供了识别类定义的功能，匹配模式如下：

public[ \n\t]+class[ \n\t]+[a-zA-Z][_a-zA-z0-9]*/[ \n\t]*\{[^\]}*\}

(public|protected|private)[ \n\t]+class[ \n\t]+[a-zA-Z][_a-zA-z0-9]*/[ \n\t]*\{[^\]}*\}

[ \n\t]*class[ \n\t]+[a-zA-Z][_a-zA-z0-9]*/[ \n\t]*\{[^\]}*\}

 

经完善后的lex程序如下所示：

%{

#include <string.h>

char * code = "";

int codelines = 0;

int classnum = 0;

int pubclass = 0;

char * classes[4]={"","","",""};

/*add a char c to the string code*/

char * add(char * code,char c)

{

    char * temp;

    if(code==NULL)

        return "";

    temp = (char*)malloc(sizeof(char)*2);

    temp[0] = c;

    temp[1] = '\0';

    temp = strcat(code,temp);

    return temp;

}

 

%}

%%

\/\*[^\*\/]*\*\/ code = add(code,'');

\/\*\*[^\*\/]*\*\/ code = strcat(code,"/*there is a Java Doc Comment*/\n");

\/\/.*\n code = add(code,'\n');

 

public[ \n\t]+class[ \n\t]+[a-zA-Z][_a-zA-z0-9]*/[ \n\t]*\{[^\}]*\} {

        classes[classnum] = (char*)malloc(100);

        classes[classnum] = strcpy(classes[classnum],yytext);

        classnum++;

        code = strcat(code,yytext);

        pubclass++;

    }

 

(public|protected|private)[ \n\t]+class[ \n\t]+[a-zA-Z][_a-zA-z0-9]*/[ \n\t]*\{[^\}]*\} {

        classes[classnum] = (char*)malloc(100);

        classes[classnum] = strcpy(classes[classnum],yytext);

        classnum++;

        code = strcat(code,yytext);

    }

 

[ \n\t]*class[ \n\t]+[a-zA-Z][_a-zA-z0-9]*/[ \n\t]*\{[^\}]*\} {

        classes[classnum] = (char*)malloc(100);

        classes[classnum] = strcpy(classes[classnum],yytext);

        classnum++;

        code = strcat(code,yytext);

    }

 

\n  code = add(code,'\n');

. {

        if(yytext[0] == ';')

           codelines++;

        code = add(code,yytext[0]);

    }

%%

 

yywrap()

{

    int i=0;

    printf("\nBelow is the code without comment:\n\n");

    printf(code);

    printf("\n\nConclude:\nThis code weights %d lines\n",codelines);

    printf("This code includes %d classes\n",classnum);

    printf("classes:\n");

    for(i=0;i<classnum;i++)

    {

        printf(classes[i]);

        printf("\n");

    }

    if(pubclass>1)

        printf("\nThere is an error: a java file cannot have two public class\n");

    code = (char*)malloc(1);

    code[0]='\0';

}

 

main()

{

    yylex();

    system("pause");

    return 1;

}

这个程序还有另外两个其他功能：1、根据程序的行数来确定程序工作量，行数等于分号的个数。在结果的末尾将会显示行数；2、我们知道一个java文件中不能存在两个public类，本程序可以检查一个文件中存在几个类，并判断是否存在两个或两个以上的public类，如果存在就报错。

注：my.l文件是改进前的lex程序，改进后的程序保存在my1.l文件中，Java.txt内含有一个java源程序可以用来测试。运行lexyy.exe，复制java.txt里面的内容粘贴到程序里，加上输入结束符Ctrl+z，然后回车即可看到结果；或者在dos下把java.txt作为lexyy.exe的参数运行lexyy.exe也可。