author: Kevin Lynx email: zmhn320#163.com date: 3.7.2009
詞法分析
詞法分析屬于整個(gè)編譯流程中的第一個(gè)階段。為什么要把編譯過程分為多個(gè)階段，這就
如同軟件分層一樣，個(gè)人覺得是出于降低復(fù)雜性的考慮。
再次聲明我不會告訴你任何編譯原理的理論知識，因?yàn)樘孤实卣f我也不會:D。所以我努
力將我們需要了解的概念盡可能簡單地告訴你。當(dāng)然，可能會與教科書不吻合。
什么是詞法分析?
詞法分析就是把一段話整理成單詞集合。舉個(gè)簡單的例子，例如有代碼:age = age + 1;，
經(jīng)過詞法分析后，將得到：age、=、age、+、1、;幾個(gè)符號。為了方便，我稱每個(gè)單詞為一
個(gè)token。
詞法分析的作用
詞法分析分析出來的單詞集合，直接作為編譯流程中接下來的語法分析的輸入。那么語
法分析階段面對的將是一個(gè)一個(gè)的token，而不是單個(gè)的字符。
例如，在處理age = age + 1;這種語句時(shí)，當(dāng)我們獲取到token "="時(shí)，我們直接期望接
下來的token應(yīng)該是個(gè)表達(dá)式。以單詞為單位地處理，比直接處理單個(gè)字符簡單很多。
詞法分析的過程
詞法分析的輸入是單個(gè)字符流，一般我們fopen一個(gè)源代碼文件，保存在一個(gè)char緩存
里，這就是詞法分析的輸入。而詞法分析的最終輸出結(jié)果就是一個(gè)一個(gè)的token。
為了處理方便，token并不是單純的單詞。通常我們會將源代碼中的所有單詞分類，例
如變量名其實(shí)都屬于一類token。簡單的token可定義為：
struct Token
{
int type;
char value[256];
};
type用于表示token的類型，例如一個(gè)變量名token的類型是一個(gè)標(biāo)識符。value可以用
來具體地保存這個(gè)變量的名字。
對于type的處理，通常會事先定義一組枚舉值，例如：
enum { ID, NUM, STRING, IF, ELSE, WHILE, RETURN, FUNCTION }等等用于標(biāo)示
在一個(gè)源代碼中可能出現(xiàn)的所有token。
雖然說詞法分析的結(jié)果是一個(gè)token集合，但事實(shí)上我們并不是一次做完詞法分析。通常
詞法分析模塊提供一個(gè)get_token函數(shù)。每次調(diào)用該函數(shù)時(shí)，都返回源代碼中下一個(gè)token。
例如，有源代碼：age = age + 1;
第一次調(diào)用get_token將獲得 { ID, "age" }，第二次獲得 { ASSIGN, "=" }，第三次
獲得{ ID, "age" }，等等。
那么，詞法分析該如何實(shí)現(xiàn)？也就是struct Token get_token()函數(shù)如何實(shí)現(xiàn)？其實(shí)很
簡單，你告訴我：給你一個(gè)字符串，你如何判斷這個(gè)字符串全部是數(shù)字？
int is_num( const char *str )
{
while( *str != 0 )
{
if( !isdigit( *str++ ) ) return 0;
}
return 1;
}
所以，基本上，詞法分析的過程也就是這個(gè)過程。就拿標(biāo)識符舉例，典型的標(biāo)識符一般
以字符開頭，然后接著是數(shù)字或字符或_，當(dāng)遇到非法字符時(shí)，這個(gè)標(biāo)識符的掃描即結(jié)束。
詞法分析一般是個(gè)while+switch：
struct Token get_token()
{
while( current_char != 0 )
{
switch( current_char )
{
case CHARACTER:
/* 掃描一個(gè)標(biāo)識符 token */
break;
case '=':
/* 獲得一個(gè) ASSIGN token */
break;
...
}
}
}
現(xiàn)在，試著去總結(jié)一門語言里的每一個(gè)token的規(guī)則，然后自己去寫寫看。
代碼導(dǎo)讀
在本節(jié)我將提供kl在googlecode的SVN上的代碼，先不要去管代碼包中的其他東西。關(guān)于
詞法的代碼可以在kllex.c kllex.h中找到。lex_token是提供給其他模塊的接口，用于獲取
當(dāng)前掃描的token。掃描結(jié)果可以通過lexState結(jié)構(gòu)體獲取。
再次提下版權(quán)問題，代碼文件以及代碼包中我并沒有加入任何版權(quán)說明，哪怕是GPL。
但是如同我之前說的一樣，我不介意你傳播、改動此代碼，但是請保留原作者信息。當(dāng)然，
我并不介意你加上@modified by xxx:)。
下載kl源代碼：http://klcommon.googlecode.com/files/kllan_0.1.0.zip