Annotated Lucene(中文版)

Annotated Lucene 作者：naven

1           Lucene是什么

Apache Lucene是一個(gè)高性能（high-performance）的全能的全文檢索（full-featured text search engine）的搜索引擎框架庫，完全（entirely）使用Java開發(fā)。它是一種技術(shù)（technology），適合于（suitable for）幾乎（nearly）任何一種需要全文檢索（full-text search）的應(yīng)用，特別是跨平臺(tái)（cross-platform）的應(yīng)用。

Lucene 通過一些簡(jiǎn)單的接口（simple API）提供了強(qiáng)大的特征（powerful features）：

可擴(kuò)展的高性能的索引能力（Scalable, High-Performance Indexing）

ü         超過20M/分鐘的處理能力（Pentium M 1.5GHz）

ü         很少的RAM內(nèi)存需求，只需要1MB heap

ü         增量索引（incremental indexing）的速度與批量索引（batch indexing）的速度一樣快

ü         索引的大小粗略（roughly）為被索引的文本大小的20-30%

強(qiáng)大的精確的高效率的檢索算法（Powerful, Accurate and Efficient Search Algorithms）

ü         分級(jí)檢索（ranked searching）能力，最好的結(jié)果優(yōu)先推出在前面

ü         很多強(qiáng)大的query種類：phrase queries, wildcard queries, proximity queries, range queries等

ü         支持域檢索（fielded searching），如標(biāo)題、作者、正文等

ü         支持日期范圍檢索（date-range searching）

ü         可以按任意域排序（sorting by any field）

ü         支持多個(gè)索引的檢索（multiple-index searching）并合并結(jié)果集（merged results）

ü         允許更新和檢索（update and searching）并發(fā)進(jìn)行（simultaneous）

跨平臺(tái)解決方案（Cross-Platform Solution）

ü         以Open Source方式提供并遵循Apache License，允許你可以在即包括商業(yè)應(yīng)用也包括Open Source程序中使用Lucene

ü         100%-pure Java（純Java實(shí)現(xiàn)）

ü         提供其他開發(fā)語言的實(shí)現(xiàn)版本并且它們的索引文件是兼容的

Lucene API被分成（divide into）如下幾種包（package）

org.apache.lucene.analysis        定義了一個(gè)抽象的Analyser API，用于將text文本從一個(gè)java.io.Reader轉(zhuǎn)換成一個(gè)TokenStream，即包括一些Tokens的枚舉容器（enumeration）。一個(gè)TokenStream的組成（compose）是通過在一個(gè)Tokenizer的輸出的結(jié)果上再應(yīng)用TokenFilters生成的。一些少量的Analysers實(shí)現(xiàn)已經(jīng)提供，包括StopAnalyzer和基于語法（gramar-based）分析的StandardAnalyzer。

org.apache.lucene.document     提供一個(gè)簡(jiǎn)單的Document類，一個(gè)document只不過包括一系列的命名了（named）的Fields（域），它們的內(nèi)容可以是文本（strings）也可以是一個(gè)java.io.Reader的實(shí)例。

org.apache.lucene.index             提供兩個(gè)主要地餓類，一個(gè)是IndexWriter用于創(chuàng)建索引并添加文檔（document），另一個(gè)是IndexReader用于訪問索引中的數(shù)據(jù)。

org.apache.lucene.search 提供數(shù)據(jù)結(jié)構(gòu)（data structures）來呈現(xiàn)（represent）查詢（queries）：TermQuery用于單個(gè)的詞（individual words），PhraseQuery用于短語，BooleanQuery用于通過boolean關(guān)系組合（combinations）在一起的queries。而抽象的Searcher用于轉(zhuǎn)變queries為命中的結(jié)果（hits）。IndexSearcher實(shí)現(xiàn)了在一個(gè)單獨(dú)（single）的IndexReader上檢索。

org.apache.lucene.queryParser         使用JavaCC實(shí)現(xiàn)一個(gè)QueryParser。

org.apache.lucene.store             定義了一個(gè)抽象的類用于存儲(chǔ)呈現(xiàn)的數(shù)據(jù)(storing persistent data)，即Directory（目錄），一個(gè)收集器（collection）包含了一些命名了的文件（named files），它們通過一個(gè)IndexOutput來寫入，以及一個(gè)IndexInput來讀取。提供了兩個(gè)實(shí)現(xiàn)，FSDirectory使用一個(gè)文件系統(tǒng)目錄來存儲(chǔ)文件，而另一個(gè)RAMDirectory則實(shí)現(xiàn)了將文件當(dāng)作駐留內(nèi)存的數(shù)據(jù)結(jié)構(gòu)（memory-resident data structures）。

org.apache.lucene.util                包含了一小部分有用（handy）的數(shù)據(jù)結(jié)構(gòu)，如BitVector和PriorityQueue等。

2           Hello World!

下面是一段簡(jiǎn)單的代碼展示如何使用Lucene來進(jìn)行索引和檢索（使用JUnit來檢查結(jié)果是否是我們預(yù)期的）：

 1    // Store the index in memory:
 2    Directory directory = new RAMDirectory();
 3    // To store an index on disk, use this instead:
 4    //Directory directory = FSDirectory.getDirectory("/tmp/testindex");
 5    IndexWriter iwriter = new IndexWriter(directory, analyzer, true);
 6    iwriter.setMaxFieldLength(25000);
 7    Document doc = new Document();
 8    String text = "This is the text to be indexed.";
 9    doc.add(new Field("fieldname", text, Field.Store.YES,
10        Field.Index.TOKENIZED));
11    iwriter.addDocument(doc);
12    iwriter.optimize();
13    iwriter.close();
14    
15    // Now search the index:
16    IndexSearcher isearcher = new IndexSearcher(directory);
17    // Parse a simple query that searches for "text":
18    QueryParser parser = new QueryParser("fieldname", analyzer);
19    Query query = parser.parse("text");
20    Hits hits = isearcher.search(query);
21    assertEquals(1, hits.length());
22    // Iterate through the results:
23    for (int i = 0; i < hits.length(); i++) {
24      Document hitDoc = hits.doc(i);
25      assertEquals("This is the text to be indexed.", hitDoc.get("fieldname"));
26    }
27    isearcher.close();
28    directory.close(); 

為了使用Lucene，一個(gè)應(yīng)用程序需要做如下幾件事：

1.          通過添加一系列Fields來創(chuàng)建一批Documents對(duì)象。

2.          創(chuàng)建一個(gè)IndexWriter對(duì)象，并且調(diào)用它的AddDocument()方法來添加進(jìn)Documents。

3.          調(diào)用QueryParser.parse()處理一段文本（string）來建造一個(gè)查詢（query）對(duì)象。

4.          創(chuàng)建一個(gè)IndexReader對(duì)象并將查詢對(duì)象傳入到它的search()方法中。

Annotated Lucene 作者：naven 日期：2007-5-1