青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

隨筆-341  評論-2670  文章-0  trackbacks-0
    之前曾經為Parser Combinator寫過一篇教程。這次為了處理Vczh Library++新設計的ManagedX托管語言,我為Parser Combinator新增了三個組合子。

    第一個是def,第二個是let。它們組合使用。def(pattern, defaultValue)的意思是,如果pattern成功了那么返回pattern的分析結構,否則返回defaultValue。let(pattern, value)的意思是,如果pattern成功了則返回value,否則失敗。因此他們可以一起使用。舉個例子,ManagedX跟C#一樣具有5種type accessor:public, protected, protected internal, private, internal。其中四種accessor的文法類型是token,剩下的protected internal則是tuple<token, token>。因此我們無法很方便地為它寫一個記號到語法樹的轉換函數。而且對于缺省情況要返回private的這種行為,在EBNF+handler上直接表達出來也比較困難。當def和let還不存在的時候,我們需要這么寫:

    accessor = (PUBLIC[ToAccessor] | PROTECTED[ToAccessor] | PRIVATE[ToAccessor] | INTERNAL[ToAccessor] | (PROTECTED + INTERNAL)[ToProtectedInternal])[ToAccessorWithDefault];

    這個時候我們需要創建三個函數,分別是ToAccessor、ToProtectedInternal和ToAccessorWithDefault。因為accessor本身不是一個重要的語法元素,所以我們不需要為accessor記錄一些源代碼的位置信息。表達式則需要位置信息,這可以在我們產生錯誤信息的時候知道錯誤發生在源代碼中的位置。而accessor總是直接屬于某一個重要的語法元素的,所以不需要保存。如果不需要保存位置信息的話,那么一個ToXXX的函數其實就是沒有必要的。這個時候可以讓def和let來簡化操作:

    accessor = def(let(PUBLIC, acc::Public) | let(PROTECTED, acc::Protected) | let(PRIVATE, acc::Private) | let(INTERNAL, acc::Internal) | let(PROTECTED+INTERNAL, acc::ProtectedInternal), acc::Private);

    看起來好像差不多,但實際上我們已經減少了那三個不需要存在的函數。

============================無恥的分割線====================================

    第三個是binop。做這個主要是因為那個通用的lrec(左遞歸組合子)在對付帶大量括號的表達式的時候性能表現不好。這里稍微解釋一下原因。假設我們的語言有>、+、*和()四種操作符,那文法一般都寫成:

    exp0 = NUMBER | '(' exp3 ')'
    exp1 = exp1 '*' exp0 | exp0
    exp2 = exp2 '+' exp1 | exp1
    exp3 = exp3 '>' exp2 | exp2

    因此可以很容易的知道,當我們分析1*2*3的時候,走的是下面的路子:
    exp3
    = exp2
    = exp1
    = exp1 '*' exp0
    = exp1 '*' exp1 '*' exp0
    = '1' '*' '2' '*' '3'

    現在我們做一個簡單的變換,把1*2*3變成((1*2)*3)。意義不變,但是分析的路徑卻完全改變了:
    exp3
    = exp2
    = exp1
    = exp0
    = '(' exp3 ')'
    = '(' exp2 ')'
    = '(' exp1 ')'
    = '(' exp1 '*' exp0 ')'
    = '(' exo0 '*' exp0 ')'
    = '(' '(' exp3 ')' '*' exp0 ')'
    = '(' '(' exp2 ')' '*' exp0 ')'
    = '(' '(' exp1 ')' '*' exp0 ')'
    = '(' '(' exp1 '*' exp0 ')' '*' exp0 ')'
    = '(' '(' exp0 '*' exp0 ')' '*' exp0 ')'
    = '(' '(' '1' '*' '2' ')' '*' '3' ')'

    咋一看好像沒什么區別,但是對于ManagedX這種有十幾個優先級的操作符的語言來說,如果給一個復雜的表達式的每一個節點都加上括號,等于一下子增加了上千層文法的遞歸分析。由于Parser Combinator是遞歸向下分析器,因此路徑有這么長,那么遞歸的層次也會有這么長。而且為了避免boost::Spirit那個天殺的超慢編譯速度的問題,這里犧牲了一點點性能,將組合字的Parse函數做成了虛函數,所以編譯速度提高了超多。一般來說一個需要編譯一個半小時的boost::Spirit語法分析器用我的庫只需要幾秒鐘就可以編譯完了。不過現在卻帶來了問題。括號一多,性能下降的比較明顯。但是我們顯然不能因噎廢食,因此我決定往Parser Combinator提供一個手寫的帶優先級的左右結合一二元操作符語法分析器。為了將這個手寫的分析器插入框架并變得通用,我決定采用下面的結構。下面的代碼是從ManagedX的語法分析器中截取出來的:
 1      expression    = binop(exp0)
 2             .pre(ADD_SUB, ToPreUnary).pre(NOT_BITNOT, ToPreUnary).pre(INC_DEC, ToPreUnary).precedence()
 3             .lbin(MUL_DIV_MOD, ToBinary).precedence()
 4             .lbin(ADD_SUB, ToBinary).precedence()
 5             .lbin(LT << LT, ToBinaryShift).lbin(GT >> GT, ToBinaryShift).precedence()
 6             .lbin(LT, ToBinary).lbin(LE, ToBinary).lbin(GT, ToBinary).lbin(GE, ToBinary).precedence()
 7             .post(AS + type, ToCasting).post(IS + type, ToIsType).precedence()
 8             .lbin(EE, ToBinary).lbin(NE, ToBinary).precedence()
 9             .lbin(BITAND, ToBinary).precedence()
10             .lbin(XOR, ToBinary).precedence()
11             .lbin(BITOR, ToBinary).precedence()
12             .lbin(AND, ToBinary).precedence()
13             .lbin(OR, ToBinary).precedence()
14             .lbin(QQ, ToNullChoice).precedence()
15             .lbin(QT + (expression << COLON(NeedColon)), ToChoice).precedence()
16             .rbin(OPEQ, ToBinaryEq).rbin(EQ, ToAssignment).precedence()
17             ;

    binop組合子的參數代表整個帶優先級的最高優先級表達式組合字(參考上面給出的>+*()文法,可以知道這里的exp0是什么意思)。binop給出了四個子組合子,分別是pre(前綴一元操作符)、post(后綴一元操作符)、lbin(左結合二元操作符)和rbin(右結合二元操作符)。precedence代表一個優先級的所有操作符定義結束。這里我做了一個小限制,也就是每一個precedence只能包含pre、post、lbin和rbin的其中一種。實踐表明這種限制不會帶來任何問題。因此這里我們得到了一張操作符和優先級的關系表。到了這里我們就可以在Parser Combinator的框架下寫一個手寫的語法分析器(下載源代碼并打開Library\Combinator\_Binop.h)來做了。至于如何手寫語法分析器,我之前給出了一篇文章,大家可以參考這個來閱讀_Binop.h。

    binop比起簡單的用lrec做同樣的事情,性能在debug下提高了100多倍,release下面則少一點。到了這里,Parser Combinator重新滿足了性能要求,我們可以放心大膽的用一點點無所謂的性能換取一千多倍的編譯時間了。在這里貼出當binop還沒出現的時候我用lrec給出的操作符文法的實現:
 1      exp1     = exp0
 2            | ((ADD_SUB | NOT_BITNOT | INC_DEC) + exp1)[ToUnary]
 3            ;
 4 
 5      exp2     = lrec(exp1 + *((MUL_DIV_MOD + exp1)[ToBinaryLrec]), ToLrecExpression);
 6      exp3     = lrec(exp2 + *((ADD_SUB + exp2)[ToBinaryLrec]), ToLrecExpression);
 7      exp4     = lrec(exp3 + *((((LT << LT) | (GT >> GT)) + exp3)[ToBinaryShiftLrec]), ToLrecExpression);
 8      exp5     = lrec(exp4 + *(((LT | LE | GT | GE) + exp4)[ToBinaryLrec] | (AS + type)[ToCastingLrec] | (IS + type)[ToIsTypeLrec]), ToLrecExpression);
 9      exp6     = lrec(exp5 + *(((EE | NE) + exp5)[ToBinaryLrec]), ToLrecExpression);
10      exp7     = lrec(exp6 + *((BITAND + exp6)[ToBinaryLrec]), ToLrecExpression);
11      exp8     = lrec(exp7 + *((XOR + exp7)[ToBinaryLrec]), ToLrecExpression);
12      exp9     = lrec(exp8 + *((BITOR + exp8)[ToBinaryLrec]), ToLrecExpression);
13      exp10     = lrec(exp9 + *((AND + exp9)[ToBinaryLrec]), ToLrecExpression);
14      exp11     = lrec(exp10 + *((OR + exp10)[ToBinaryLrec]), ToLrecExpression);
15      exp12     = lrec(exp11 + *((QQ + exp11)[ToNullChoiceLrec]), ToLrecExpression);
16      exp13     = lrec(exp12 + *((QT + (exp12 + (COLON(NeedColon) >> exp12)))[ToChoiceLrec]), ToLrecExpression);
17      expression    = (exp13 + OPEQ + expression)[ToBinaryEq]
18            | (exp13 + EQ + expression)[ToAssignment]
19            | exp13
20            ;
21 
22 


posted on 2011-06-04 21:45 陳梓瀚(vczh) 閱讀(3627) 評論(10)  編輯 收藏 引用 所屬分類: VL++3.0開發紀事

評論:
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 02:05 | iloveprogramme
學習啊  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 06:47 | 林林
你的解析器是自頂向下分析的,用自底向上的比較好吧?  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 07:45 | 陳梓瀚(vczh)
@林林
那個規約順序只是一個解釋而已,跟實際的順序不一樣的。我這里還是自底向上的  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 12:56 | ooseven
@陳梓瀚(vczh)
當然不能憑你上面的順序來判斷你分析的方式,只不過發現你好像
很喜歡提到spirit,它是自頂向下的語法分析器所以我才有此一問。  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 17:51 | 陳梓瀚(vczh)
@ooseven
原來林林==ooseven啊  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 22:01 | lwch
組合子在構造分析樹時是自頂向下的,而在分析時則是自底向上的.  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-06 04:43 | ooseven
@陳梓瀚(vczh)
是阿,早兩年前寫詞法與語法分析器的時候還向您請教過呢,
在這里表達我的感謝之意!  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-06 06:08 | 陳梓瀚(vczh)
@ooseven
我很喜歡傳播知識的滅哈哈  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化[未登錄] 2011-06-06 22:05 | vincent
你倆的id換的我淚奔了  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-07 00:33 | 陳梓瀚(vczh)
@vincent
為何要淚奔  回復  更多評論
  
青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            久久亚洲电影| 欧美激情一区二区三区全黄 | 久久蜜臀精品av| 国产精品日韩欧美综合| 亚洲人成网站影音先锋播放| 免费91麻豆精品国产自产在线观看| 一片黄亚洲嫩模| 欧美日韩另类一区| 日韩午夜视频在线观看| 亚洲国产精品久久精品怡红院| 亚洲一区一卡| 国产精品一卡| 欧美一级淫片aaaaaaa视频| 亚洲看片网站| 欧美日韩中文精品| 中文av一区特黄| 亚洲免费观看高清完整版在线观看熊| 蘑菇福利视频一区播放| 亚洲欧洲精品一区二区三区波多野1战4 | 亚洲高清一区二| 毛片一区二区三区| 久热国产精品视频| 亚洲欧洲在线一区| 亚洲人体偷拍| 欧美在线观看视频一区二区三区| 亚洲精品在线三区| 美女视频一区免费观看| 久久男人av资源网站| 亚洲国产婷婷香蕉久久久久久| 欧美国产精品va在线观看| 欧美国产日韩一区二区| 99国产精品视频免费观看| 亚洲精品日产精品乱码不卡| 欧美日韩免费在线观看| 欧美一区2区三区4区公司二百| 欧美一进一出视频| 亚洲国产精品专区久久| 亚洲最新在线| 极品少妇一区二区| 亚洲黄一区二区三区| 国产精品捆绑调教| 蜜桃av一区二区| 欧美日韩视频一区二区| 久久国产精品99精品国产| 久久久噜噜噜久噜久久| 中国女人久久久| 久久久久国产一区二区三区四区| 亚洲精品欧美一区二区三区| 亚洲一区三区视频在线观看| 在线观看免费视频综合| 在线亚洲一区二区| 18成人免费观看视频| 9i看片成人免费高清| 国产一区二区三区久久久 | 欧美精品久久99| 久久精品99久久香蕉国产色戒| 猫咪成人在线观看| 午夜精品久久久久久久久久久久 | 久久精品综合一区| 亚洲天天影视| 美国十次成人| 久久精品99国产精品酒店日本| 欧美成人国产va精品日本一级| 欧美一区视频| 欧美婷婷在线| 欧美黄色一级视频| 国产欧美激情| 99ri日韩精品视频| 在线免费观看成人网| 亚洲欧美999| 亚洲一区影院| 欧美日韩国产一区精品一区| 欧美成人免费在线| 国产在线日韩| 亚洲欧美电影院| 亚洲欧美韩国| 欧美三级电影大全| 亚洲欧洲日韩综合二区| 亚洲国产精品久久人人爱蜜臀| 亚洲欧美日韩成人高清在线一区| 一本色道久久综合亚洲精品高清 | 欧美成人dvd在线视频| 亚洲自拍偷拍网址| 久久黄色网页| 国产精品福利在线观看| 91久久精品www人人做人人爽| 伊伊综合在线| 久久久久国产精品厨房| 久久亚洲精品一区| 狠狠干综合网| 久久久久久网站| 欧美激情国产日韩精品一区18| 在线日韩视频| 欧美1级日本1级| 亚洲激情视频在线| 亚洲九九精品| 欧美激情一级片一区二区| 亚洲国产欧美在线| 一本色道久久加勒比88综合| 欧美日韩亚洲一区二区三区在线观看| 91久久精品国产91久久性色| 99天天综合性| 欧美色视频日本高清在线观看| 日韩网站在线看片你懂的| 亚洲视频一区| 国产麻豆一精品一av一免费| 性欧美激情精品| 美脚丝袜一区二区三区在线观看 | 欧美亚洲专区| 好吊视频一区二区三区四区| 久久蜜桃精品| 亚洲黄色免费| 亚洲欧美激情一区二区| 国产欧美综合一区二区三区| 久久精品人人做人人爽| 欧美激情一区二区三区在线视频观看 | 欧美一区激情| 在线免费观看一区二区三区| 欧美激情1区2区3区| 日韩亚洲欧美一区二区三区| 午夜精品亚洲| 亚洲国产精品激情在线观看| 欧美日韩综合网| 欧美一区二区三区日韩| 欧美黄色免费网站| 午夜精品视频在线| 亚洲国产精品一区| 国产精品久久久久免费a∨| 欧美在线欧美在线| 亚洲精品久久久久久一区二区| 亚洲女同性videos| 亚洲国产日韩欧美在线图片| 国产精品成人一区二区艾草| 久久久久久穴| 宅男噜噜噜66一区二区66| 久久字幕精品一区| 亚洲欧美日韩精品一区二区| 亚洲国产精品成人精品| 国产精品影视天天线| 欧美激情精品久久久久| 欧美一区二区视频在线观看2020| 亚洲日本激情| 美女脱光内衣内裤视频久久网站| 亚洲一二三区视频在线观看| 亚洲电影成人| 国产在线欧美| 亚洲视频免费观看| 亚欧美中日韩视频| 99国产精品| 亚洲大胆女人| 国产午夜精品美女毛片视频| 欧美日韩一区成人| 欧美**字幕| 久久一综合视频| 欧美尤物一区| 亚洲尤物在线视频观看| 亚洲麻豆视频| 亚洲娇小video精品| 欧美成人嫩草网站| 久久在线观看视频| 久久国产直播| 欧美在线视频二区| 亚洲欧美中日韩| 亚洲一区国产| 亚洲永久免费精品| 亚洲天堂偷拍| 中文在线不卡视频| 99视频+国产日韩欧美| 亚洲理论电影网| 亚洲人体1000| 亚洲另类黄色| 99在线精品视频在线观看| 亚洲三级电影全部在线观看高清| 在线欧美三区| 91久久精品国产| 一区二区三区在线免费视频 | 亚洲最新视频在线播放| 亚洲精品九九| 亚洲日本久久| 亚洲最新视频在线播放| 99re6这里只有精品| 日韩亚洲在线| 亚洲一区二区动漫| 亚洲午夜视频在线观看| 亚洲一区二区三区在线观看视频| 亚洲午夜国产成人av电影男同| 亚洲一区二区三区影院| 亚洲欧美视频在线观看视频| 欧美一区高清| 男女视频一区二区| 亚洲激情综合| 亚洲视频在线观看网站| 亚洲免费网址| 久久久精彩视频| 欧美mv日韩mv国产网站| 欧美日韩激情网| 国产丝袜一区二区三区| 在线观看成人网| 一区二区三区福利| 久久国产婷婷国产香蕉|