青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

隨筆 - 17  文章 - 48  trackbacks - 0
<2014年9月>
31123456
78910111213
14151617181920
21222324252627
2829301234
567891011

常用鏈接

留言簿(3)

隨筆檔案

搜索

  •  

最新評論

閱讀排行榜

評論排行榜

實現正則表達式的想法很早就有,各種原因導致沒有做,最近花了點時間先實現了幾個簡單的正則語法,分別是concatenation、alternation和closure,其他語法及metacharacter等有時間了有想法了之后再擴展。

 

這三種基本的語法分別是對應這樣的:

concatenation: abc    表示匹配字符串abc

alternation: abc|def   表示匹配字符串abc或者def

closure: a*               表示匹配零個到多個a構成的字符串

 

我們知道正則表達式最終需要轉換成自動機才能用來匹配字符串,我實現的正則通過如下幾個步驟把正則表達式轉換成自動機:

正則表達式->Parse成AST->生成邊(字符)集合->生成NFA->NFA subset construction->轉換成DFA->DFA minimization

最后用DFA minimization之后構造的自動機來匹配字符串。

 

正則語法的分析

一個正則表達式寫出來,要讓這個正則表達式匹配字符串等操作之前,我們先需要從正則表達式中提取需要的信息并在正則語法錯誤的時候提示錯誤,這個過程自然少不了parser。一個parser通常是從一個lexer里面獲取一個token,而正則表達式的token都是字符,那么lexer不需要做任何的分詞操作,只需要簡單的把字符返回給parser即可。

那三種基本的正則語法對應的BNF為:

re ::= alter
re_base ::= char | char_range | '(' re ')'
alter ::= alter_base alter_end
alter_base ::= concat
alter_end ::= '|' alter_base alter_end | epsilon
concat ::= concat_base concat_end
concat_base ::= re_base | closure
concat_end ::= concat_base concat_end | epsilon
closure ::= re_base '*'

這個parser分析了正則表達式之后產生AST,AST的node類型為:

class ASTNode
{
public:
    ACCEPT_VISITOR() = 0;
    virtual ~ASTNode() { }
};
 
class CharNode : public ASTNode
{
public:
    explicit CharNode(int c) : c_(c) { }
 
    ACCEPT_VISITOR();
 
    int c_;
};
 
class CharRangeNode : public ASTNode
{
public:
    struct Range
    {
        int first_;
        int last_;

        explicit Range(int first = 0, int last = 0)
            : first_(first), last_(last)
        {
        }
    };

    CharRangeNode() { }

    void AddRange(int first, int last)
    {
        ranges_.push_back(Range(first, last));
    }
 
    void AddChar(int c)
    {
        chars_.push_back(c);
    }
 
    ACCEPT_VISITOR();
 
    std::vector<Range> ranges_;
    std::vector<int> chars_;
};
 
class ConcatenationNode : public ASTNode
{
public:
    void AddNode(std::unique_ptr<ASTNode> node)
    {
        nodes_.push_back(std::move(node));
    }
 
    ACCEPT_VISITOR();
 
    std::vector<std::unique_ptr<ASTNode>> nodes_;
};
 
class AlternationNode : public ASTNode
{
public:
    void AddNode(std::unique_ptr<ASTNode> node)
    {
        nodes_.push_back(std::move(node));
    }
 
    ACCEPT_VISITOR();
 
    std::vector<std::unique_ptr<ASTNode>> nodes_;
};
 
class ClosureNode : public ASTNode
{
public:
    explicit ClosureNode(std::unique_ptr<ASTNode> node)
        : node_(std::move(node))
{
    }
 
    ACCEPT_VISITOR();
 
    std::unique_ptr<ASTNode> node_;
};

其中ASTNode作為AST的基類,并提供接口實現Visitor模式訪問ASTNode類型。

 

字符(邊)集的構造

AST構造好了之后,需要把AST轉換成NFA。語法中有[a-zA-Z0-9]這種字符區間表示法,我們可以用最簡單原始的方法轉換,就是把區間中的每個字符都轉化成相應的一條邊(NFA中的邊),這樣一來會導致字符區間越大,對應邊的數量會越多,使得對應的NFA也越大。因此,我們需要構造區間字符集合來減少邊的數量。

比如正則表達式是:a[x-z]|[a-z]*e

那么我們希望對應的字符集合是這樣:[a-a] [b-d] [e-e] [f-w] [x-z]

這需要構造一個字符集,每次插入一個區間的時候,把新插入的區間與已存在的區間進行分割,初始時已存在的區間集為空,那么正則表達式a[x-z]|[a-z]*e的劃分步驟如下:

已存在區間集合{},插入[a-a],得到{[a-a]}

已存在區間集合{[a-a]},插入[x-z],得到{[a-a], [x-z]}

已存在區間集合{[a-a], [x-z]},插入[a-z],得到{[a-a], [b-w], [x-z]}

已存在區間集合{[a-a], [b-w], [x-z]},插入[e-e],得到{[a-a], [b-d], [e-e], [f-w], [x-z]}

這個區間構造完成了之后,還需要在后面轉換成NFA邊的時候,根據字符區間查詢出在這個集合中,由哪幾個區間構成,比如:

查詢區間[a-a],得到[a-a]

查詢區間[x-z],得到[x-z]

查詢區間[a-z],得到區間[a-a] [b-d] [e-e] [f-w] [x-z]

在轉換成NFA時,集合中的每個區間都對應一條邊,這樣相對于每個字符對應一條邊,邊的數量不會太多。

有了這么一個集合構造的類之后,把正則的AST中的字符信息提取出來構造出這么個集合即可,這樣只需要寫個visitor就完成了:

class EdgeSetConstructorVisitor : public Visitor
{
public:
    explicit EdgeSetConstructorVisitor(EdgeSet *edge_set)
        : edge_set_(edge_set)
    {
    }
 
    EdgeSetConstructorVisitor(const EdgeSetConstructorVisitor &) = delete;
    void operator = (const EdgeSetConstructorVisitor &) = delete;
 
    VISIT_NODE(CharNode);
    VISIT_NODE(CharRangeNode);
    VISIT_NODE(ConcatenationNode);
    VISIT_NODE(AlternationNode);
    VISIT_NODE(ClosureNode);

private:
    EdgeSet *edge_set_;
};

邊集合構造完成之后,下一步就是生成NFA了。

posted on 2013-07-05 13:30 airtrack 閱讀(4450) 評論(3)  編輯 收藏 引用

FeedBack:
# re: 正則表達式實現(一) 2013-07-05 23:31 陳梓瀚(vczh)
# re: 正則表達式實現(一) 2013-07-06 01:34 airtrack
@陳梓瀚(vczh)
哈哈,早知道陳祖寫過正則引擎的系列文章,一直沒看,是想在我自己思考之后如果遇到問題的時候再看,啊哈哈。  回復  更多評論
  
# re: 正則表達式實現(一) 2013-07-06 20:13 溪流
學習了  回復  更多評論
  

只有注冊用戶登錄后才能發表評論。
網站導航: 博客園   IT新聞   BlogJava   博問   Chat2DB   管理


青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
      <noscript id="pjuwb"></noscript>
            <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
              <dd id="pjuwb"></dd>
              <abbr id="pjuwb"></abbr>
              国产精品普通话对白| 老司机精品导航| 欧美~级网站不卡| 欧美激情一二三区| 亚洲综合第一| 激情文学一区| 欧美日韩成人在线观看| 国产亚洲欧美另类中文| 亚洲女同精品视频| 久久一区二区三区国产精品| 久久久久九九九九| 美女性感视频久久久| 欧美在线播放一区| 国产精品美女| 国产真实乱偷精品视频免| 一区二区三区四区五区在线| 精品99一区二区| 亚洲春色另类小说| 国产亚洲视频在线| 国产精品视频免费在线观看| 欧美日韩国产黄| 久久精品一级爱片| 亚洲制服丝袜在线| 久久成人18免费观看| 久久亚洲精品中文字幕冲田杏梨| 欧美国产成人在线| 午夜精品免费| 亚洲精品四区| 久久久久久网址| 欧美激情四色 | 久久免费99精品久久久久久| 久久久久九九九| 亚洲一区二区三区乱码aⅴ| 欧美日韩免费网站| 美女999久久久精品视频| 国产精品人人做人人爽| 一区二区三区视频在线| 亚洲欧美三级伦理| 欧美成人69| 伊人久久大香线蕉综合热线| 亚洲国产精品久久久久秋霞影院| 欧美日韩免费看| 在线观看av一区| 久久久国产一区二区| 你懂的国产精品| 一区二区精品在线| 欧美大片一区| 国产麻豆一精品一av一免费| 午夜精品免费视频| 媚黑女一区二区| 久热re这里精品视频在线6| 国产噜噜噜噜噜久久久久久久久| 宅男精品导航| 99精品视频网| 最新国产乱人伦偷精品免费网站| 亚洲欧美日韩中文播放| 欧美久久久久久久| 亚洲图片激情小说| 欧美成人视屏| 欧美在线观看你懂的| 久久影视精品| 国内精品一区二区| 亚洲精品国精品久久99热一| 欧美日韩99| 亚洲伊人伊色伊影伊综合网| 麻豆国产精品777777在线| 免费观看日韩av| 国产亚洲精久久久久久| 欧美在线观看视频| 午夜在线观看免费一区| 亚洲国产三级在线| 亚洲永久免费| 国产精品女人久久久久久| 欧美一级播放| 欧美日韩午夜在线视频| 欧美伊人久久| 久久精品亚洲精品| 91久久久在线| 亚洲一区二区视频在线| 亚洲免费在线视频| 亚洲成人在线观看视频| 久久精品视频免费播放| 亚洲国产精品第一区二区| 亚洲裸体在线观看| 久久久久久香蕉网| 久久精品国产免费观看| 国产精品地址| 一本色道精品久久一区二区三区| 狠狠色丁香婷婷综合| 亚洲精品综合久久中文字幕| 国产精品久久久久婷婷| 女同一区二区| 欧美视频免费看| 欧美韩日亚洲| 欧美一区午夜视频在线观看| 伊人久久综合| 欧美日韩成人一区二区| 亚洲片在线观看| 91久久久久久| 美女被久久久| 亚洲第一精品夜夜躁人人爽| 最近中文字幕日韩精品 | 亚洲人成亚洲人成在线观看| 久久久99久久精品女同性 | 嫩草国产精品入口| 欧美影院久久久| 一色屋精品视频免费看| 欧美极品影院| 午夜精品久久久99热福利| 久久精品91久久久久久再现| 亚洲激情视频在线| 国产精品xxxxx| 亚洲影院在线观看| 免费不卡在线视频| 欧美一区在线看| 激情五月婷婷综合| 国产午夜精品一区二区三区视频 | 亚洲一区免费观看| 亚洲大胆av| 国产精品私拍pans大尺度在线 | 日韩天堂av| 亚洲调教视频在线观看| 亚洲第一在线| 91久久国产自产拍夜夜嗨| 欧美日本在线一区| 玖玖玖国产精品| 久久网站热最新地址| 亚洲综合第一| 亚洲精品在线一区二区| 蜜桃av一区| 久久久久国产成人精品亚洲午夜| 亚洲美女精品一区| 亚洲欧美日韩在线综合| 你懂的亚洲视频| 99精品久久久| 欧美国产精品v| 欧美午夜视频一区二区| 狠狠综合久久av一区二区老牛| 国产区二精品视| 亚洲美女黄色| 亚洲一区日韩| 亚洲综合久久久久| 久久久欧美一区二区| 欧美一区二区高清| 久久riav二区三区| 欧美看片网站| 欧美视频在线视频| 欧美日韩a区| 一本高清dvd不卡在线观看| 欧美xxx成人| 蜜臀av性久久久久蜜臀aⅴ| 国产精品美女久久久久久2018| 国产人成一区二区三区影院| 亚洲国产精品久久久久| 香蕉成人啪国产精品视频综合网| 欧美一区综合| 亚洲激情影院| 亚洲国产高清在线| 欧美绝品在线观看成人午夜影视 | 日韩视频久久| 精品9999| 欧美成人小视频| 欧美国产免费| 中文av字幕一区| 亚洲少妇中出一区| 国产精品人人做人人爽| 欧美影视一区| 久久人91精品久久久久久不卡| 一区在线播放视频| 欧美黄在线观看| 欧美天堂亚洲电影院在线播放| 亚洲一区二区三区四区五区黄| 亚洲一区二区成人| 极品尤物一区二区三区| 亚洲精品久久久久中文字幕欢迎你 | 国产精品久久久久91| 久久国产精品72免费观看| 久久色在线播放| 午夜欧美不卡精品aaaaa| 久久本道综合色狠狠五月| 久久久久久久综合| 亚洲先锋成人| 久久噜噜亚洲综合| 久久久精品tv| 国产欧美日韩综合| 一本色道久久综合| 99国内精品| 麻豆精品一区二区av白丝在线| 亚洲欧美一区二区三区久久| 久久综合狠狠综合久久激情| 久久久国产精品一区二区三区| 欧美日韩性生活视频| 亚洲国产精品一区在线观看不卡 | 亚洲最新色图| 正在播放欧美视频| 欧美性一二三区| 欧美成人高清| 久久久久久久久久久一区| 一区二区久久久久久| 欧美激情视频网站|