青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

  C++博客 :: 首頁(yè) :: 新隨筆 ::  ::  :: 管理
1. 常見(jiàn)的中文分詞器有:極易分詞的(MMAnalyzer) 、"庖丁分詞"分詞器(PaodingAnalzyer)、IKAnalyzer 等等。其中 MMAnalyzer 和 PaodingAnalzyer 不支持 lucene3.0及以后版本。

   使用方式都類似,在構(gòu)建分詞器時(shí)

     Analyzer analyzer 
= new [My]Analyzer(); 

     

2. 這里只示例 IKAnalyzer,目前只有它支持Lucene3.0 以后的版本。 

   首先需要導(dǎo)入 IKAnalyzer3.
2.0Stable.jar 包

 

3. 示例代碼

     view plaincopy to clipboardprint
?
public class AnalyzerTest {   
       @Test  
       
public void test() throws Exception {   
              String text 
= "An IndexWriter creates and maintains an index.";   
              
/* 標(biāo)準(zhǔn)分詞器:?jiǎn)巫臃衷~ */  
              Analyzer analyzer 
= new StandardAnalyzer(Version.LUCENE_30);   
              testAnalyzer(analyzer, text);   
    
              String text2 
= "測(cè)試中文環(huán)境下的信息檢索";   
              testAnalyzer(
new IKAnalyzer(), text2); // 使用IKAnalyzer,詞庫(kù)分詞   
       }
   
    
       
/**  
        * 使用指定的分詞器對(duì)指定的文本進(jìn)行分詞,并打印結(jié)果  
        *  
        * 
@param analyzer  
        * 
@param text  
        * 
@throws Exception  
        
*/
  
       
private void testAnalyzer(Analyzer analyzer, String text) throws Exception {   
              System.out.println(
"當(dāng)前使用的分詞器:" + analyzer.getClass());   
    
              TokenStream tokenStream 
= analyzer.tokenStream("content"new StringReader(text));   
              tokenStream.addAttribute(TermAttribute.
class);   
    
              
while (tokenStream.incrementToken()) {   
                     TermAttribute termAttribute 
= tokenStream.getAttribute(TermAttribute.class);   
                     System.out.println(termAttribute.term());   
              }
   
       }
   
}
   
   
public class AnalyzerTest {
       @Test
       
public void test() throws Exception {
              String text 
= "An IndexWriter creates and maintains an index.";
              
/* 標(biāo)準(zhǔn)分詞器:?jiǎn)巫臃衷~ */
              Analyzer analyzer 
= new StandardAnalyzer(Version.LUCENE_30);
              testAnalyzer(analyzer, text);
 
              String text2 
= "測(cè)試中文環(huán)境下的信息檢索";
              testAnalyzer(
new IKAnalyzer(), text2); // 使用IKAnalyzer,詞庫(kù)分詞
       }

 
       
/**
        * 使用指定的分詞器對(duì)指定的文本進(jìn)行分詞,并打印結(jié)果
        *
        * 
@param analyzer
        * 
@param text
        * 
@throws Exception
        
*/

       
private void testAnalyzer(Analyzer analyzer, String text) throws Exception {
              System.out.println(
"當(dāng)前使用的分詞器:" + analyzer.getClass());
 
              TokenStream tokenStream 
= analyzer.tokenStream("content"new StringReader(text));
              tokenStream.addAttribute(TermAttribute.
class);
 
              
while (tokenStream.incrementToken()) {
                     TermAttribute termAttribute 
= tokenStream.getAttribute(TermAttribute.class);
                     System.out.println(termAttribute.term());
              }

       }

}

  

3. 如何擴(kuò)展詞庫(kù):很多情況下,我們可能需要定制自己的詞庫(kù),例如 XXX 公司,我們希望這能被分詞器識(shí)別,并拆分成一個(gè)詞。

   IKAnalyzer 可以很方便的實(shí)現(xiàn)我們的這種需求。

   新建 IKAnalyzer.cfg.xml

     view plaincopy to clipboardprint
?
<?xml version="1.0" encoding="UTF-8"?>  
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">    
<properties>    
       
<!-- 1,文件要是 UTF-8 編碼。2,一行寫(xiě)一個(gè)詞 -->  
       
<!--用戶可以在這里配置自己的擴(kuò)展字典-->  
       
<entry key="ext_dict">/mydict.dic</entry>  
</properties>  
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> 
<properties> 
       
<!-- 1,文件要是 UTF-8 編碼。2,一行寫(xiě)一個(gè)詞 -->
       
<!--用戶可以在這里配置自己的擴(kuò)展字典-->
       
<entry key="ext_dict">/mydict.dic</entry>
</properties> 

       

       解析:

               
<entry key="ext_dict">/mydict.dic</entry> 擴(kuò)展了一個(gè)自己的詞典,名字叫 mydict.dic

               因此我們要建一個(gè)文本文件,名為:mydict.dic  (此處使用的 .dic 并非必須)

               在這個(gè)文本文件里寫(xiě)入:

                    北京XXXX科技有限公司

               這樣就添加了一個(gè)詞匯。

               如果要添加多個(gè),則新起一行:

                    詞匯一

                    詞匯二

                    詞匯三

                    

               需要注意的是,這個(gè)文件一定要使用 UTF
-8編碼

 

4. 停用詞:

    有些詞在文本中出現(xiàn)的頻率非常高,但是對(duì)文本所攜帶的信息基本不產(chǎn)生影響,例如英文的
"a、an、the、of",或中文的"的、了、著",以及各種標(biāo)點(diǎn)符號(hào)等,這樣的詞稱為停用詞(stop word)。

    文本經(jīng)過(guò)分詞之后,停用詞通常被過(guò)濾掉,不會(huì)被進(jìn)行索引。在檢索的時(shí)候,用戶的查詢中如果含有停用詞,檢索系統(tǒng)也會(huì)將其過(guò)濾掉(因?yàn)橛脩糨斎氲牟樵冏址惨M(jìn)行分詞處理)。

    排除停用詞可以加快建立索引的速度,減小索引庫(kù)文件的大小。

    IKAnalyzer 中自定義停用詞也非常方便,和配置 
"擴(kuò)展詞庫(kù)" 操作類型,只需要在 IKAnalyzer.cfg.xml 加入如下配置:

       
<entry key="ext_stopwords">/ext_stopword.dic</entry> 

       同樣這個(gè)配置也指向了一個(gè)文本文件 
/ext_stopword.dic (后綴名任意),格式如下:

           也

          了

          仍

          從

          



本文來(lái)自CSDN博客,轉(zhuǎn)載請(qǐng)標(biāo)明出處:http:
//blog.csdn.net/wenlin56/archive/2010/12/13/6074124.aspx

Feedback

# re: Lucene入門(mén)級(jí)筆記五 -- 分詞器,使用中文分詞器,擴(kuò)展詞庫(kù),停用詞  回復(fù)  更多評(píng)論   

2016-07-05 20:08 by 回家看回家看
54544554
青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            亚洲欧美国产视频| 欧美午夜免费影院| 国产精品三级久久久久久电影| 亚洲制服av| 亚洲免费一在线| 宅男噜噜噜66国产日韩在线观看| 欧美激情在线观看| 美女视频黄免费的久久| 久久人人97超碰精品888| 欧美 日韩 国产精品免费观看| 久久精品91久久香蕉加勒比| 午夜精品一区二区三区在线播放| 亚洲一区二区欧美日韩| 亚洲一区三区电影在线观看| 国产精品v日韩精品v欧美精品网站| 欧美三级在线播放| 国产精品九九| 国产无遮挡一区二区三区毛片日本| 欧美午夜一区| 国产欧美精品日韩精品| 亚洲电影中文字幕| 亚洲人妖在线| 亚洲天天影视| 欧美中文字幕不卡| 蜜臀久久久99精品久久久久久| 亚洲精品看片| 亚洲精品综合| 欧美性jizz18性欧美| 亚洲视频综合| 性欧美超级视频| 久久日韩精品| 欧美国产一区二区三区激情无套| 一本久久精品一区二区| 久久精品视频在线| 欧美.www| 国产精品久久久久久久久免费| 国产精品自拍视频| 伊人成人网在线看| 欧美一区二区三区免费观看| 久久人体大胆视频| 亚洲精品黄色| 欧美一区二区三区四区在线观看地址 | 亚洲一区二区综合| 性色一区二区| 女仆av观看一区| av成人免费在线| 久久久亚洲综合| 国产精品欧美日韩久久| 亚洲制服欧美中文字幕中文字幕| 久久亚洲不卡| 国产精品久久久久久妇女6080 | 狂野欧美一区| 99国产精品私拍| 午夜在线观看欧美| 欧美日韩精品免费| 亚洲精品久久久久久久久| 久久久久久亚洲精品中文字幕| 99精品视频网| 欧美日本在线看| 亚洲免费久久| 亚洲黄网站黄| 欧美3dxxxxhd| 亚洲黄色在线观看| 亚洲丶国产丶欧美一区二区三区| 久久久免费av| 亚洲激情在线| 亚洲精品久久| 国产精品成人一区二区三区夜夜夜| 亚洲美女av在线播放| 亚洲国产天堂久久综合| 欧美理论在线| 午夜精品久久久久久久久久久久 | 欧美日韩99| 午夜精品久久久久影视| 免费在线视频一区| 欧美一区二区观看视频| 亚洲欧美日韩国产一区| 亚洲天堂黄色| 国产精品一二三| 久久国产色av| 老牛国产精品一区的观看方式| 亚洲国产成人一区| 亚洲欧洲一二三| 欧美日韩国产精品专区| 性色av一区二区怡红| 久久久久久久网站| 99精品欧美一区| 亚洲欧美变态国产另类| 国产一区二区三区四区老人| 巨胸喷奶水www久久久免费动漫| 免费成人小视频| 一个色综合导航| 欧美伊人久久| 亚洲剧情一区二区| 午夜视频在线观看一区二区三区| 在线播放不卡| a91a精品视频在线观看| 国产偷国产偷亚洲高清97cao| 亚洲第一精品福利| 国产日韩欧美麻豆| 亚洲激情第一区| 国产午夜精品麻豆| 亚洲国产精品一区二区久| 国产精品亚发布| 亚洲高清不卡| 国产欧美 在线欧美| 亚洲人妖在线| 1024成人网色www| 性欧美办公室18xxxxhd| 这里只有精品在线播放| 久久青草欧美一区二区三区| 香蕉精品999视频一区二区| 欧美高清在线一区| 美国成人毛片| 国产视频一区免费看| 中文精品视频| 一区二区三区视频在线观看| 老司机午夜精品视频| 久久久爽爽爽美女图片| 国产精品视屏| 亚洲手机视频| 亚洲小说欧美另类婷婷| 欧美区亚洲区| 亚洲日本精品国产第一区| 在线免费精品视频| 久久精品成人欧美大片古装| 欧美一区二区网站| 国产精品日韩在线| 亚洲午夜伦理| 亚洲欧美一区二区视频| 欧美视频网址| 99精品欧美一区二区蜜桃免费| 亚洲三级免费观看| 欧美aa国产视频| 亚洲二区视频在线| 亚洲激情av在线| 欧美成人午夜视频| 欧美视频一区二区在线观看| 最近看过的日韩成人| 亚洲精品在线电影| 免费观看亚洲视频大全| 欧美国产一区二区| 亚洲精品久久久久久久久| 欧美国产日韩一区| 亚洲精品美女在线观看播放| 99亚洲一区二区| 欧美日韩在线另类| 亚洲视频综合在线| 欧美在线观看网址综合| 国产在线欧美日韩| 久久亚洲精品欧美| 亚洲国产精品嫩草影院| 99视频+国产日韩欧美| 欧美日韩精品免费看| 中文一区在线| 久久亚洲免费| 亚洲国产91精品在线观看| 欧美电影电视剧在线观看| 亚洲毛片在线看| 久久99在线观看| 亚洲国产99精品国自产| 欧美日韩国产一区| 午夜久久电影网| 欧美激情一区二区| 午夜在线观看免费一区| 精品999日本| 欧美网站在线观看| 久久精品欧洲| 一本色道综合亚洲| 久久伊人亚洲| 亚洲午夜视频在线| 伊人婷婷久久| 国产精品久久久久久亚洲毛片| 欧美在线综合| 最新亚洲一区| 久久欧美中文字幕| 亚洲午夜精品一区二区| 国一区二区在线观看| 欧美日韩亚洲综合| 久久久免费精品| 亚洲午夜一级| 亚洲激情在线播放| 久久天堂成人| 午夜精品福利一区二区三区av| 亚洲春色另类小说| 国产精品户外野外| 欧美不卡福利| 久久精品国内一区二区三区| 一区二区三区精品视频在线观看 | 日韩视频免费观看| 国产一级精品aaaaa看| 欧美日本韩国一区二区三区| 久久久久91| 欧美亚洲在线播放| 日韩图片一区| 欧美大片免费看| 麻豆久久精品| 久久人人爽国产| 久久精品视频免费| 香蕉久久夜色精品|