青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

Javen-Studio 咖啡小屋

http://javenstudio.org - C++ Java 分布式 搜索引擎
Naven's Research Laboratory - Thinking of Life, Imagination of Future

  C++博客 :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理 ::
  24 隨筆 :: 57 文章 :: 170 評論 :: 4 Trackbacks

4           索引是如何創建的

為了使用Lucene來索引數據,首先你比把它轉換成一個純文本(plain-texttokens的數據流(stream),并通過它創建出Document對象,其包含的Fields成員容納這些文本數據。一旦你準備好些Document對象,你就可以調用IndexWriter類的addDocument(Document)方法來傳遞這些對象到Lucene并寫入索引中。當你做這些的時候,Lucene首先分析(analyzer)這些數據來使得它們更適合索引。詳見《Lucene In Action

    // Store the index on disk
    Directory directory = FSDirectory.getDirectory("/tmp/testindex");
    
// Use standard analyzer
    Analyzer analyzer = new StandardAnalyzer(); 
    
// Create IndexWriter object
    IndexWriter iwriter = new IndexWriter(directory, analyzer, true);
    iwriter.setMaxFieldLength(
25000);
    
// make a new, empty document
    Document doc = new Document();
    File f 
= new File("/tmp/test.txt");
    
// Add the path of the file as a field named "path".  Use a field that is 
    
// indexed (i.e. searchable), but don't tokenize the field into words.
    doc.add(new Field("path", f.getPath(), Field.Store.YES, Field.Index.UN_TOKENIZED));
    String text 
= "This is the text to be indexed.";
    doc.add(
new Field("fieldname", text, Field.Store.YES,      Field.Index.TOKENIZED));
    
// Add the last modified date of the file a field named "modified".  Use 
    
// a field that is indexed (i.e. searchable), but don't tokenize the field
    
// into words.
    doc.add(new Field("modified",
        DateTools.timeToString(f.lastModified(), DateTools.Resolution.MINUTE),
        Field.Store.YES, Field.Index.UN_TOKENIZED));
    
// Add the contents of the file to a field named "contents".  Specify a Reader,
    
// so that the text of the file is tokenized and indexed, but not stored.
    
// Note that FileReader expects the file to be in the system's default encoding.
    
// If that's not the case searching for special characters will fail.
    doc.add(new Field("contents"new FileReader(f)));
    iwriter.addDocument(doc);
    iwriter.optimize();
    iwriter.close();

下面詳細介紹每一個類的處理機制。

4.1       索引創建類IndexWriter

一個IndexWriter對象創建并且維護(maintains) 一條索引.

它的構造函數(constructor)create參數(argument)確定(determines)是否一條新的索引將被創建,或者是否一條已經存在的索引將被打開。需要注意的是你可以使用create=true參數打開一條索引,即使有其他readers也在在使用這條索引。舊的readers將繼續檢索它們已經打開的”point in time”快照(snapshot),并不能看見那些新已創建的索引,直到它們再次打開(re-open)。另外還有一個沒有create參數的構造函數,如果提供的目錄(provided path)中沒有已經存在的索引,它將創建它,否則將打開此存在的索引。

另一方面(in either case),添加文檔使用addDocument()方法,刪除文檔使用removeDocument()方法,而且一篇文檔可以使用updateDocument()方法來更新(僅僅是先執行delete在執行add操作而已)。當完成了添加、刪除、更新文檔,應該需要調用close方法。

這些修改會緩存在內存中(buffered in memory),并且定期地(periodically)刷新到(flushDirectory中(在上述方法的調用期間)。一次flush操作會在如下時候觸發(triggered):當從上一次flush操作后有足夠多緩存的delete操作(參見setMaxBufferedDeleteTerms(int)),或者足夠多已添加的文檔(參見setMaxBufferedDocs(int)),無論哪個更快些(whichever is sooner)。當一次flush發生時,等待的(pendingdeleteadd文檔都會被flush到索引中。一次flush可能觸發一個或更多的片斷合并(segment merges)。

構造函數中的可選參數(optional argumentautoCommit控制(controls)修改對IndexReader實體(instance)讀取相同索引的能見度(visibility)。當設置為false時,修改操作將不可見(visible)直到close()方法被調用后。需要注意的是修改將依然被flushDirectory,就像新文件一樣(as new files),但是卻不會被提交(commit)(沒有新的引用那些新文件的segments_N文件會被寫入(written referencing the new files))直道close()方法被調用。如果在調用close()之前發生了某種嚴重錯誤(something goes terribly wrong)(例如JVM崩潰了),于是索引將反映(reflect)沒有任何修改發生過(none of changes made)(它將保留它開始的狀態(remain in its starting state))。你還可以調用close(),這樣可以關閉那些沒有提交任何修改操作的writers,并且清除所有那些已經flush但是現在不被引用的(unreferenced)索引文件。這個模式(mode)對防止(preventreaders在一個錯誤的時間重新刷新(refresh)非常有用(例如在你完成所有delete操作后,但是在你完成添加操作前的時候)。它還能被用來實現簡單的single-writer的事務語義(transactional semantics)("all or none")。

autoCommit設為true的時候,每次flush也會是一次提交(IndexReader實體將會把每次flush當作一次提交)。這是缺省的設置,目的是為了匹配(match2.2版本之前的行為(behavior)。當以這種模式運行時,當優化(optimize)或者片斷合并(segment merges)正在進行(take place)的時候需要小心地重新刷新(refresh)你的readers,因為這兩個操作會綁定(tie up)可觀的(substantial)磁盤空間。

當一條索引暫時(for a while)將不會有更多的文檔被添加,并且期望(desired)得到最理想(optimal)的檢索性能(performance),于是optimize()方法應該在索引被關閉之前被調用。

打開IndexWriter會為使用的Directory創建一個lock文件。嘗試對相同的Directory打開另一個IndexWriter將會導致(lead to)一個LockObtainFailedException異常。如果一個建立在相同的DirectoryIndexReader對象被用來從這條索引中刪除文檔的時候,這個異常也會被拋出。

專家(Expert):IndexWriter允許指定(specify)一個可選的(optionalIndexDeletionPolicy實現。你可以通過這個控制什么時候優先的提交(prior commit)從索引中被刪除。缺省的策略(policy)是KeepOnlyLastCommitDeletionPolicy類,在一個新的提交完成的時候它會馬上所有的優先提交(prior commit)(這匹配2.2版本之前的行為)。創建你自己的策略能夠允許你明確地(explicitly)保留以前的”point in time”提交(commit)在索引中存在(alive)一段時間。為了讓readers刷新到新的提交,在它們之下沒有被刪除的舊的提交(without having the old commit deleted out from under them)。這對那些不支持“在最后關閉時才刪除”語義(”delete on last close semantics)的文件系統(filesystem)如NFS,而這是Lucene的“point in time”檢索通常所依賴的(normally rely on)。

 

 

 

 

 

 

 

Annotated Lucene 作者:naven 日期:2007-5-1

posted on 2007-05-10 00:07 Javen-Studio 閱讀(1247) 評論(0)  編輯 收藏 引用
青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            亚洲视频大全| 国产精品区一区二区三| 欧美先锋影音| 亚洲精品在线二区| 亚洲精品之草原avav久久| 欧美日本一区二区三区 | 久久久久欧美精品| 亚洲视频图片小说| 午夜激情久久久| 亚洲欧美日韩国产成人精品影院| 欧美成人中文字幕| 久久综合久久综合久久| 欧美成人亚洲| 欧美日韩亚洲一区三区| 蜜臀av在线播放一区二区三区| 欧美激情一区二区三区全黄 | 久久久午夜视频| 亚洲精品女av网站| 欧美一区高清| 在线免费高清一区二区三区| 欧美色视频在线| 国产精品成人一区二区艾草| 久久亚洲春色中文字幕| 久久精品天堂| 夜夜爽av福利精品导航| 欧美二区在线看| 亚洲一区二区三区四区五区黄| 亚洲最新视频在线播放| 日韩午夜高潮| 久久国产婷婷国产香蕉| 久久综合久久综合这里只有精品| 噜噜噜噜噜久久久久久91| 午夜精品久久久久久99热| 久久久久久噜噜噜久久久精品| 欧美精品久久久久久久| 黄色欧美日韩| 亚洲精品国偷自产在线99热| 欧美综合二区| 免费永久网站黄欧美| 亚洲一区二区在线观看视频| 亚洲视频网在线直播| 欧美精品1区2区3区| 国产欧美 在线欧美| 亚洲国产欧美一区| 一本色道久久综合亚洲精品高清 | 欧美肥婆在线| 亚洲精品日本| 国产精品久久久久久久一区探花| 一区二区日韩伦理片| 亚洲国产精品成人久久综合一区| 久久精品国产亚洲a| 久久久久久国产精品mv| 美国十次成人| 久久免费国产精品| 国产亚洲激情| 久久人91精品久久久久久不卡| 亚洲在线视频| 国产一区二区三区在线观看网站 | 亚洲成色最大综合在线| 亚洲视频999| 欧美成人激情视频免费观看| 午夜精品久久久久| 亚洲国产高清aⅴ视频| 欧美在线视频一区二区| 欧美日本韩国一区| 国产精品扒开腿做爽爽爽视频| 欧美韩国日本一区| 久久久久久9| 一区二区三区|亚洲午夜| 亚洲第一狼人社区| 欧美电影打屁股sp| 一区二区三区精品久久久| 日韩亚洲精品在线| 国产精品免费在线| 久久男人资源视频| 欧美波霸影院| 亚洲欧美日韩一区二区在线| 麻豆成人在线| 日韩一区二区精品| 亚洲一区免费视频| 国产日韩亚洲欧美精品| 免费观看久久久4p| 你懂的国产精品| 中国日韩欧美久久久久久久久| 国产在线视频不卡二| 国产精品爽黄69| 欧美激情一区二区三区不卡| 国产精品大片免费观看| 免费不卡欧美自拍视频| 亚洲精品视频免费在线观看| 亚洲精品护士| 国产精品久久久久天堂| 欧美在线亚洲在线| 另类天堂av| 亚洲欧美精品在线观看| 久久精品国产免费看久久精品| 亚洲国产裸拍裸体视频在线观看乱了| 亚洲丁香婷深爱综合| 国产精品久久国产精品99gif| 久久青草福利网站| 欧美日韩精品综合在线| 久久女同互慰一区二区三区| 欧美日韩亚洲一区二区三区在线观看| 欧美亚洲免费高清在线观看| 麻豆av一区二区三区久久| 亚洲性感激情| 久久一区二区三区超碰国产精品| 制服丝袜激情欧洲亚洲| 噜噜噜在线观看免费视频日韩| 亚洲欧美视频在线观看视频| 欧美成年人视频| 久久久久高清| 欧美体内谢she精2性欧美 | 欧美一区二区性| 亚洲国产成人久久综合| 欧美午夜激情在线| 欧美激情视频一区二区三区免费| 国产精品久久久久国产a级| 欧美激情精品久久久| 国内视频一区| 亚洲欧美国产三级| 亚洲午夜国产成人av电影男同| 久久综合久久综合久久| 欧美在线网站| 国产精品欧美日韩久久| 亚洲欧洲视频在线| 亚洲国产婷婷| 久久综合九色综合欧美狠狠| 久久精品夜色噜噜亚洲a∨| 国产精品r级在线| 亚洲看片网站| 亚洲美女中出| 欧美激情按摩在线| 亚洲国产三级| 亚洲国产精品久久精品怡红院| 欧美一级专区| 久久精品免费| 国产一区免费视频| 欧美夜福利tv在线| 久久精品导航| 精品999网站| 久久久久久久网| 欧美mv日韩mv国产网站| 在线观看视频欧美| 老司机精品福利视频| 欧美大尺度在线观看| 黄色在线成人| 最新国产成人在线观看 | 激情欧美一区二区| 亚洲视频香蕉人妖| 亚洲尤物在线| 国产精品久久国产愉拍| 亚洲免费在线播放| 久久久久国产精品厨房| 91久久中文字幕| 欧美巨乳在线| 一区二区三区成人| 欧美在线观看一区二区| 国产一级精品aaaaa看| 久久久久久91香蕉国产| 欧美激情精品久久久久| 中文亚洲字幕| 国产一区二区欧美| 欧美成人精品激情在线观看| 亚洲精选大片| 久久福利视频导航| 亚洲娇小video精品| 欧美日韩一区不卡| 午夜精品久久久久久| 亚洲成人在线视频播放 | 亚洲免费视频一区二区| 久久国产精品高清| 亚洲激情欧美| 国产精品video| 久久久另类综合| 一区二区激情小说| 久久久综合免费视频| av不卡在线| 国产一区白浆| 欧美日韩国产黄| 欧美伊人久久| 亚洲最新色图| 欧美激情在线观看| 欧美一级二区| 日韩视频在线观看一区二区| 国产欧美一区二区三区视频| 欧美激情a∨在线视频播放| 欧美一二三区在线观看| 亚洲精品中文字幕女同| 久久人人97超碰精品888| 亚洲一区二区高清| 亚洲欧洲精品一区二区三区波多野1战4 | 欧美aⅴ99久久黑人专区| 亚洲午夜久久久久久尤物 | 久久精品免费播放| 一区二区三区精密机械公司| 欧美肥婆在线| 欧美黑人国产人伦爽爽爽| 久久精品国内一区二区三区| 亚洲午夜电影在线观看|