編輯器制作之語法加亮基本原理在上一篇文章里，我簡單的提及了語法加亮的基本思路，下面在總結概括一下。
筆者認為，對于編輯器而言，如果支持非常嚴格的語法加亮的話，那么擴展性是很低的。那么在擴展性和正確性之間，我們應該取得一個平衡。這個平衡就是既要保證編輯器的高效率運轉，又要保持文本配置文件的可編輯性。
首先，幾乎所有的編程語言都具有某種共性，這些共性概括如下：
1.關鍵字
2.注釋
3.字符串
4.Delimiters
5.普通字符
那么對于一個字符串序列，我們應該如何做呢?任何一個人都會很自然的想到：從前往后掃描。對，那么如何掃描呢?我用的手段是狀態機。或者不能完全稱之為狀態機，因為在我的狀態機里面用到了預先判斷，對于一個長度為N的字符串，最壞的情況下會掃描M*N*L次(其中M為某些塊的起始或者結束標記的長度,L為塊的個數,關于什么是塊，參加我的上一篇文章),所以對于我的這個狀態機，稱之為狀態模式更貼切一些。狀態模式是個好東西，對于狀態模式乃何物以及如何構造，本文不作詳細闡述。
如果僅僅是識別上面這些東西的話，那么語法加亮是非常容易實現的。但事與愿違，事情并不是如此簡單。舉個例子html.在最開始的時候html的確讓我傷透了腦筋，因為他可以嵌入各種各樣的語言，并且每種語言的schema并不一樣，比如可以嵌入css，或者js,或者vbs，當然還有php, java, c#代碼等等。這個時候該如何做呢? 我用的手段是分塊之后，對于不同的子語言應用不同的schema，這么做并不是完全對的(和Lex分析相比)，或多或少會出現某種問題，不過大多數情況下表現的都非常好，這個點就叫平衡。
再說一下狀態分析，定義如下函數: 偽代碼
//根據起始狀態，分析字符串line的第index字符應該是何種狀態
state NextState( string line, int index, state start_state ){
switch( start_state ){
case .
return some_state;
case .
return some_state;
case .
return some_state;
case .
return some_state;
}
}
//分析一行字符串的某一個字符應該是何種狀態,并預存入cache
state ParseLine( string line, int index, state start_state ){
for( i=index; i<line.Length; i++ ){
start_state = NextState( line, i, start_state );
siwtch( start_state ){
//set text attributes
}
}
//分析完之后，在進行分析一遍，進行一些細節匹配
DetailMatch(...)
//分析完之后，我們要返回該行的最后的狀態，用來作為下一行的起始狀態
return start_state;
}
//這個函數主要用來對于分完塊之后的代碼進行細節匹配，比如匹配注釋中的email和url
//或者普通字符中的數字等等
void DetailMatch(...){
//use regex to match some details, such as number or email
}
上面這幾個函數都簡單明了，比較容易理解，對于ParseLine我們發現在進行行跳轉的時候DetailMatch并不是必須的。什么叫行跳轉呢?比如打開一個代碼文件，現在我要跳轉到第5000行，那么很顯然第5000行需要放到屏幕上頭，這個時候我怎么知道第5000行的起始狀態呢?當然也得從第一航開始分析，但是我們發現DetailMatch其實并不是必須的，因為我們只需要作塊狀識別就夠了，所以速度是非常客觀的。
先寫這么多了,等我以后老了，我打算把這些東西寫成一本書，名字就叫編輯器制作基本原理,呵呵.
不敢妄自菲薄，下面貼兩個代碼片段和上面的偽代碼均是按照上述方法生成的，還算美觀.
C++代碼
#include <stdio.h>
// line comment email test@test.com
// url:http://m.shnenglu.com/megax in comment over
/*
block comment
email test@test.com url:http://m.shnenglu.com/megax in comment over
*/
int main(int argc, char *argv[])
{
email: test@test.com
http://m.shnenglu.com/megax in comment over
int a = Class::Somfunction(); // function
char * p = "abcdef
string to new line"; // string can continue, just test
char* p = "abcef\"\\"; //escpae
char* p = 'abcef\"\\'; //escpae, just test;
asm{
; test sub lan
; line comment email test@test.com
; url:http://m.shnenglu.com/megax in comment over
mov ax, 10
add ax, 0x12AD
add ax, 123L
jump loop1
}
// number test
int a = 1234; int b = 0xA12D;
int c = 1234L; float a = 123.456;
return 0;
}
HTML代碼嵌入css，js
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" lang="zh-CN">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<link href="images/favicon.ico" rel="SHORTCUT ICON" />
<title>test</title>
<script type="text/javascript">
function setTab(m,n){
var tli=document.getElementById("menu"+m).getElementsByTagName("a");
var mli=document.getElementById("main"+m).getElementsByTagName("div");
for(i=0;i<tli.length;i++){
tli[i].className=i==n?"current1 current2":"";
mli[i].style.display=i==n?"block":"none";
}
var a = 0x012345678;
var a = 0xABCDEF12345;
// line comment test@test.com in comment http://m.shnenglu.com/megax in comment over
/*
block comment in js
test@test.com in comment
http://m.shnenglu.com/megax in comment
over
*/
}
</script> function style var
<style>
body{
function style var
font-size: 12px;
font-family: "sfdsfdsf";
/*
block comment in css
test@test.com in comment
http://m.shnenglu.com/megax in comment
over
*/
}
</style>
</head>
<body>
<table>
</table>
function style var /*sdfdsfdsf*/ return var
<!--
block comment in html
test@test.com in comment
http://m.shnenglu.com/megax in comment
over
-->
</body>
</html>
下面看一下cppblog自帶的代碼加亮,沒有c++的，用c#代替
#include <stdio.h>
// line comment email test@test.com
// url:http://m.shnenglu.com/megax in comment over
/*
block comment
email test@test.com url:http://m.shnenglu.com/megax in comment over
*/
int main(int argc, char *argv[])
{
int a = Class::Somfunction(); // function
char * p = "abcdef
string to new line"; // string can continue, just test
char* p = "abcef\"\\"; //escpae
char* p = 'abcef\"\\'; //escpae, just test;
asm{
; test sub lan
; line comment email test@test.com
; url:http://m.shnenglu.com/megax in comment over
mov ax, 10
add ax, 0x12AD
add ax, 123L
jump loop1
}
// number test
int a = 1234; int b = 0xA12D;
int c = 1234L; float a = 123.456;
return 0;
}
HTML的
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" lang="zh-CN">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<link href="images/favicon.ico" rel="SHORTCUT ICON" />
<title>test</title>
<script type="text/javascript">
function setTab(m,n){
var tli=document.getElementById("menu"+m).getElementsByTagName("a");
var mli=document.getElementById("main"+m).getElementsByTagName("div");
for(i=0;i<tli.length;i++){
tli[i].className=i==n?"current1 current2":"";
mli[i].style.display=i==n?"block":"none";
}
var a = 0x012345678;
var a = 0xABCDEF12345;
// line comment test@test.com in comment http://m.shnenglu.com/megax in comment over
/*
block comment in js
test@test.com in comment
http://m.shnenglu.com/megax in comment
over
*/
}
</script> function style var
<style>
body{
function style var
font-size: 12px;
font-family: "sfdsfdsf";
/*
block comment in css
test@test.com in comment
http://m.shnenglu.com/megax in comment
over
*/
}
</style>
</head>
<body>
<table>
</table>
function style var /*sdfdsfdsf*/ return var
<!--
block comment in html
test@test.com in comment
http://m.shnenglu.com/megax in comment
over
-->
</body>
</html>
posted on 2008-07-09 20:23
megax 閱讀(2146)
評論(4) 編輯 收藏 引用