Lex工具
-------
Lex工具是一種詞法分析程序生成器，它可以根據詞法規則說明書的要求來生成單詞識別程序，由該程序識別出輸入文本中的各個單詞。
1、lex程序的結構
-定義部分
-規則部分
-用戶子程序部分
其中規則部分是必須的，定義和用戶子程序部分是任選的。
(1) 定義部分
定義部分起始于"%{"符號，終止于"%}"符號，其間可以是包括include語句、聲明語句在內的C語句。
%{
#include "stdio.h"
#include "y.tab.h"
extern int lineno;
%}
(2) 規則部分
規則部分起始于"%%"符號，終止于"%%"符號，其間則是詞法規則。詞法規則由模式和動作兩部分組成。模式部分可以由任意的正則表達式組成，動作部分是由C語言語句組成，這些語句用來對所匹配的模式進行相應處理。需要注意的是，lex將識別出來的單詞存放在yytext[]字符數據中，因此該數組的內容就代表了所識別出來的單詞的內容。
%%
[\t] {;}
[0-9]+\.?[0-9]*\.[0-9]+
{ sscanf(yytext,"%1f", &yylval.val);
return NUMBER; }
\n { lineno++;return ''\n''; }
. { return yytex+[0]; }
%%
(3) 用戶子程序部分
用戶子程序部分可以包含用C語言編寫的子程序，而這些子程序可以用在前面的動作中，這樣就可以達到簡化編程的目的。下面是帶有用戶子程序的lex程序片段。
"/*" skipcmnts();
. /* rest of rules */
%%
skipcmnts()
{
for ( ; ; )
{
while (input()!=''*'');
if(input()!=''/'')
unput(yytext[yylen-1]);
else return;
}
2、lex工具的使用方法
首先編寫一個lex程序
vi lex.l
%{
#include "stdio.h"
%}
%%
[\n] ;
[0-9]+ printf("Interger: %s \n",yytext);
[0-9]*\.[0-9]+ printf("Float: %s\n",yytext);
[a-zA-Z][a-zA-Z0-9]* printf("Word:%s\n",yytext);
. printf("Other symbol:%c\n",yytext[0]);
%%
然后使用lex將lex.l轉換成C語言程序
$lex lex.l
使用上述命令產生的C語言程序為lex.yy.c
然后使用C編譯程序將lex.yy.c編譯成可執行程序regn
$cc -c lex.yy.c
$cc lex.yy.o -ll -o regn
下面可以使用regn來識別單詞
$vi testfile
x=355
y=113
p=x/y
# ./regn < testfile
Word:x
Other symbol:=
Interger: 355
Word:y
Other symbol:=
Interger: 113
Word:p
Other symbol:=
Word:x
Other symbol:/
Word:y
#
yacc工具
--------
yacc工具是一種語法分析程序生成器，它可以將有關某種語言的語法說明書轉換成相應的語法分析程序，由該程序完成對相應語言中語句的語法分析工作。
1、yacc程序結構
在使用yacc工具前，必須首先編寫yacc程序，因為有關語法分析程序是根據yacc程序生成的。yacc程序實際上是有關語法規則的說明書，它也是由定義部分、規則部分和子程序部分組成的。yacc程序的定義部分類似于lex程序的定義部分，只是在其后可帶有yacc聲明，其中包括詞法單詞、語法變量、優先級和結合性信息。yacc程序的規則部分由語法規則和相應的動作組成，子程序部分可以包括在前面規則部分用到的子程序定義。接下來是main主程序，它調用yyparse子程序來對輸入進行語法分析，而yyparse反復地調用yylex子程序來獲得輸入單詞，在語法出錯時可通過yyerror子程序來處理。
2、yacc工具的使用方法
實例：我們將yacc程序分成片段，把這些片段組合在一起就是yacc程序。我們要使用的語法規則是一個有關四則運算的語法規則，可用BNF范式描述
list: expr \n
list expr \n
expr :NUMBER
expr + expr
expr - expr
expr * expr
expr / expr
(expr)
其含義是list是一個表達式序列，每個后面帶有一個新行。表達式是一個數值，或是由運算符連起來的兩個表達式，以及用圓括號括起來的表達式。
下面是有關上述語法規則的yacc程序片段。
$vi hoc.y
%{
#define YYSTYPE double
%}
%token NUMBER
%left ''+'' ''-''
%left ''*'' ''/''
%%
list:
list ''\n''
list expr ''\n'' { printf("\t%. 8g\n",$2);}
;
expr : NUMBER {$$=$1;}
expr ''+'' expr {$$ = $1 + $3; }
expr ''-'' expr {$$ = $1 - $3; }
expr ''*'' expr {$$ = $1 * $3; }
expr ''/'' expr {$$ = $1 / $3; }
''(''expr'')'' {$$ = $2; }
%%
上述yacc程序片段實際上是它的定義部分和規則部分。在yacc聲明部分，%token NUMBER表明了NUMBER是一個單詞符號，%left則表明了運算符號的左結合性，并且''*''和''/''和優先級比''+''和''-''的優先級高。在yacc程序的規則部分，備用規則是用''''隔開的，規則中的動作實際上是C語句序列，其中$n(即$1,$2等)是用來引用規則中的第幾個成份，而$$則代表了整個規則的返回值。
下面的yacc程序片段是main主程序
#include <stdio.h>
#include <ctype.h>
char *progname;
int lineno=1;
main(argc,argv)
int argc;
char *argv[];
{ progname = argv[0];
yyparse();
}
main主程序調用yyparse子程序來處理來處理輸入,而yyparse又是通過yylex子程序來獲得輸入單詞并通過yyerror子程序來報告出錯信息。下面是有關這兩個子程序的yacc程序片段
yylex()
{ int c;
while ((c=getchar()) == '' '' c==''\t'') ;
if (c==EOF)
return 0;
if (c==''.''isdigit(c)){
ungetc(c,stdin);
scanf("%lf", &yylval);
return NUMBER;
}
if(c==''\n'')
lineno++;
return c;
}
yyerror(s)
char *s;
{ warning (s,(char *)0);
}
warning(s,t)
char *s,*t;
{ fprintf(stderr,"%s:%s",progname,s);
if(t)
fprintf(stderr,"%s",t);
fprintf(stderr," near line %d\n",lineno);
}
這樣就完成了整個yacc程序
接下來就使用 yacc將hoc.y轉換成C語言程序
$yacc hoc.y
使用上述命令產生的C語言程序為y.tab.c,這時可以使用C編譯程序將它編譯成可執行程序hoc.
$cc y.tab.c -o hoc
下面是使用hoc的例子
# ./hoc
4*3*2
24
(1+2)*(3+4)
21
1/2
0.5
355/133
2.6691729
-3-4
./hoc:Syntax error near line 5
上述結果顯示中，分別表明了計算結果，最后一次計算出錯的原因是由于在規則定義中未來定義單目減運算符號。