基于Lucene的多源數(shù)據(jù)全文檢索的研究與實現(xiàn)

邱敏明，任洪敏，顧利軍

（上海海事大學信息工程學院，上海 201306）

0 引言

在當今社會，軟件開發(fā)的速度、規(guī)模都在快速提升，軟件開發(fā)過程中產(chǎn)生的文檔無論是文檔的存在格式還是存儲方式都存在著各種方式。在文檔的格式層面有.doc、.docx、.pdf等；在存儲方式層面，有存儲在本地磁盤的、MySQL數(shù)據(jù)庫、Git倉庫等幾種方。這些文檔就是檢索系統(tǒng)的數(shù)據(jù)，文檔的存儲地方則是檢索系統(tǒng)的數(shù)據(jù)源。如何從多種數(shù)據(jù)源中快速有效地檢索到期望的數(shù)據(jù)，這點在企業(yè)日常的開發(fā)中日益受到重視。

由于數(shù)據(jù)的多樣性，這里的多樣性不僅僅是數(shù)據(jù)之間的格式差異，也包括了不同數(shù)據(jù)的不同屬性，同時也還有數(shù)據(jù)存儲方式的差異性。所以對索引的創(chuàng)建提出了較為苛刻、復雜的要求?；贚ucene的全文檢索系統(tǒng)，通過使用Lucene提供的接口，提出了利用XML配置文件的方式來降低數(shù)據(jù)多樣性帶來復雜度，同時通過配置文件來實現(xiàn)檢索的多樣性的方式。系統(tǒng)還針對如何保證檢索結(jié)果的準確性和有效性的問題，提出了通過注冊監(jiān)聽服務的方式，來即時獲取數(shù)據(jù)的變化，再根據(jù)這些變化即時調(diào)整相關(guān)的索引，以此來保證索引的有效性。

1 系統(tǒng)模型

1.1 Lucene簡介

Lucene是一個高性能的Java全文檢索工具包而不是完整的全文檢索引擎，它提供了完整的查詢和索引引擎以及部分的文本分析引擎。

Lucene具有如下突出的優(yōu)點：

（1）索引文件格式獨立于應用平臺。

（2）它提供了一套強大的查詢引擎，Lucene的查詢實現(xiàn)中默認實現(xiàn)了布爾查詢、模糊查詢等，開發(fā)人員可以使用這些查詢接口。

1.2 系統(tǒng)模型

基于Lucene的全文檢索系統(tǒng)將主要用于提供文檔的快速檢索，這些文檔的來源主要是本地的文件系統(tǒng)、MySQL數(shù)據(jù)庫以及Git倉庫。圖1展示了系統(tǒng)的主要結(jié)構(gòu)。

系統(tǒng)主要由四個部分構(gòu)成，一是數(shù)據(jù)獲取模塊、二是索引創(chuàng)建模塊、三是檢索模塊、四是數(shù)據(jù)展示模塊。該系統(tǒng)將作為一個獨立的檢索工具為用戶提供簡單有效的文檔檢索工具。

圖1 系統(tǒng)結(jié)構(gòu)

2 索引創(chuàng)建

2.1 Lucene及其索引文檔

首先需要了解需要用到的Lucene的索引。

●文檔（Document）：文檔在索引和搜索的時候都會用到，是索引和搜索的基本單位（類似于關(guān)系數(shù)據(jù)庫關(guān)系表中的記錄），在搜索的時候根據(jù)這些內(nèi)容進行匹配，找到的也是一個個匹配的文檔，然后再從文檔中找出需要的內(nèi)容，進行還原。

●域（Field）：域是文檔中真正用來匹配的東西，Lucene中文檔是由域構(gòu)成，每個域都有其名稱、類型和值。

●分析器（Analyzer）/詞元（Term）：

分析器同樣是在索引和搜索的時候都需要用到，分析器是把原始文檔（或者用戶輸入）解析成一個個的詞語（稱為詞元），Lucene的索引就是一種倒排索引的結(jié)構(gòu)，存儲的是從詞元到文檔的映射。原始文檔通過分析器轉(zhuǎn)換成詞元然后將詞元和文檔的映射關(guān)系存儲為索引，用戶搜索時分析器將用戶的輸入轉(zhuǎn)換為詞元然后到索引中去查找匹配的文檔。圖2是各個類型的文檔創(chuàng)建索引的過程，主要包括，讀取文檔、解析文檔、再將解析的文檔利用Lucene進行索引創(chuàng)建。這個過程其實就是將普通的文檔轉(zhuǎn)換成Lucene能夠識別的文檔。

圖2 索引創(chuàng)建流程

2.2 索引模型設計

通過XML的Schema和Lucene的索引文檔格式的比較，為檢索系統(tǒng)設計了如下Schema模型：

圖3 XML Schema模型

這樣設計可以達到以下幾點效果：

（1）可以對文檔按所屬項目進行分類，實現(xiàn)分類檢索；

（2）實現(xiàn)索引內(nèi)容的可配置化，降低對不同格式文檔創(chuàng)建索引時的復雜性；

（3）可以數(shù)據(jù)根據(jù)數(shù)據(jù)來源庫進行分類，利于顯示數(shù)據(jù)來源；

（4）實現(xiàn)索引內(nèi)容的可配置化，靈活調(diào)整需要索引的庫、表、字段；

（5）實現(xiàn)數(shù)據(jù)讀取自動化。

2.3 索引創(chuàng)建

在完成索引模型設計之后，通過調(diào)用Lucene提供的索引創(chuàng)建API，即可完成索引工作。在索引創(chuàng)建的過程中，有一步很重要的工作，那就是“分詞”。

分詞主要是將一段語句進行切分，例如“我是一個學生。”這句話可以被切分成“我”、“是”、“一個”、“學生”這幾個詞。然后系統(tǒng)就將這幾個詞作為“Term”保存在索引文件中，因為Lucene索引文件中的最小單位是詞元（Term），在檢索的時候其實也是匹配詞元的。

基于Lucene的多源數(shù)據(jù)全文檢索系統(tǒng)采用的是IKAnalyzer這一分詞器，而并非是Lucene提供的Smart ChineseAnalyzer。圖4是兩個分詞器對于同一段語句的分詞結(jié)果。

可以看出Lucene自帶的Smart ChineseAnalyzer在切分語句中包含的英文單詞時，英文單詞被切分后與原單詞出入較大，相比IKAnalyzer則沒有出現(xiàn)該問題，并且IKAanlyzer有著其他好處：

（1）IKAnalyzer可以設置切分粒，支持細粒度分詞；

（2）實現(xiàn)了Lucene的分詞接口的同時也支持獨立分詞系統(tǒng)；

（3）可以配置自己的語境字典，策略很隨意。

3 索引數(shù)據(jù)的實時更新

索引文件的準確性是保證檢索結(jié)果有效性的關(guān)鍵，在數(shù)據(jù)源中數(shù)據(jù)發(fā)生改變但未更新索引文件時就會導致檢索的結(jié)果不準確。所以基于Lucene的全文檢索系統(tǒng)采用了數(shù)據(jù)訂閱與消費組合的模式來處理增量數(shù)據(jù)，以此來保證索引文件的有效性。

3.1 增量索引

在上一節(jié)中提到的索引創(chuàng)建過程，是用于系統(tǒng)初始化時創(chuàng)建索引的，這種方式稱之為全量索引。但在系統(tǒng)開始運行后，若有新的文檔被添加到數(shù)據(jù)源或原有文檔數(shù)據(jù)在數(shù)據(jù)源中發(fā)生更改，為了保證用戶檢索結(jié)果的準確性，必定需要更新原有的索引。如果還是采用全量索引的方式來更新，就會存在以下幾點缺點：

（1）耗時長。創(chuàng)建索引所消耗的時間主要取決于帶索引數(shù)據(jù)的量，在大數(shù)據(jù)量的情況下，索引創(chuàng)建將消耗大量時間；

（2）檢索結(jié)果準確性不受保證。若原有數(shù)據(jù)已發(fā)生改變，但全量索引還未完成，那么這時的檢索結(jié)果將會顯示數(shù)據(jù)未更新時的狀態(tài)，那么檢索結(jié)果就不是正確的。

正是以上缺點，基于Lucene的全文檢索系統(tǒng)采用增量索引的方式來更新索引。

增量索引，即，對新增的數(shù)據(jù)進行索引。這里新增的數(shù)據(jù)并不僅僅只限于“Add”操作產(chǎn)生的數(shù)據(jù),同時也包含了“Update”和“Delete”操作帶來的數(shù)據(jù)變更。系統(tǒng)對些變化了的數(shù)據(jù)進行索引更新處理，這樣就能保證檢索結(jié)果的正確性。由于這些數(shù)據(jù)變更操作主要是來源于其他應用，同時，該檢索系統(tǒng)是作為獨立的檢索工具來使用，要求對其他應用的依賴性和侵入性有很好的控制，所以檢索系統(tǒng)采用了以下的模式來實現(xiàn)增量索引。

3.2 數(shù)據(jù)訂閱與消費模式

數(shù)據(jù)訂閱與消費，分為數(shù)據(jù)訂閱和數(shù)據(jù)消費兩個動作。數(shù)據(jù)訂閱主要是用來捕捉變化的數(shù)據(jù)，數(shù)據(jù)消費是指將獲取到的變化了的數(shù)據(jù)進行索引。這完成兩個步驟即可實現(xiàn)所需的增量索引。

（1）數(shù)據(jù)訂閱

對于本地文件系統(tǒng)，系統(tǒng)采用Java Listener監(jiān)聽器的方式，對目標目錄進行監(jiān)測，當有文件變動時就會捕捉到變動的文件以及具體的變動形式。

對于MySQL數(shù)據(jù)庫，通過注冊監(jiān)聽服務，并解析其二進制文件的方式來獲取數(shù)據(jù)庫中的數(shù)據(jù)變更。

對于Git倉庫，利用Git Hooks可以及時得到倉庫內(nèi)文件的變更。當有Git的提交操作時，通過Hooks就能抓取到操作的內(nèi)容。

通過這三種方式就實現(xiàn)了對不同數(shù)據(jù)源的數(shù)據(jù)訂閱操作。通過訂閱數(shù)據(jù)的方式來實現(xiàn)增量索引可以在減少檢索系統(tǒng)對其他系統(tǒng)的侵入性和依賴性。

圖4 分詞結(jié)果圖

（2）數(shù)據(jù)消費

數(shù)據(jù)消費是指系統(tǒng)的索引服務將獲取到的增量的數(shù)據(jù)進行轉(zhuǎn)化從原始的格式轉(zhuǎn)換成Lucene可識別的索引文件。這個過程亦可稱為增量更新。這樣保證了索引文件的準確性，在一定程度上實現(xiàn)了索引的實時性，同時不會對原有的索引文件有太大變動，不會對整個系統(tǒng)的檢索的服務產(chǎn)生較大影響。圖5展示的是系統(tǒng)采用的數(shù)據(jù)訂閱與消費模型。

圖5 數(shù)據(jù)訂閱與消費模型

4 檢索及檢索結(jié)果

4.1 多樣化的檢索

基于Lucene的多源數(shù)據(jù)檢索系統(tǒng)提供了多種檢索方式有常見的模糊檢索也有精確檢索。迷糊檢索提供的是廣而全的檢索結(jié)果，精確檢索提供的是細而精的檢索結(jié)果。

(1)建立制造業(yè)企業(yè)分類目錄，推動勞動密集型制造業(yè)轉(zhuǎn)移、轉(zhuǎn)型或退出。政府應順應勞動力成本上升的形勢，科學地建立制造業(yè)企業(yè)分類目錄，依據(jù)所建立的目錄推動勞動密集型制造業(yè)轉(zhuǎn)移、轉(zhuǎn)型或退出，改變制造業(yè)企業(yè)的“粗放型”發(fā)展方式，引導制造業(yè)結(jié)構(gòu)優(yōu)化。

（1）模糊檢索

模糊檢索是檢索系統(tǒng)最基本的檢索功能，系統(tǒng)會將獲取到的待檢索內(nèi)容在系統(tǒng)的三個數(shù)據(jù)源的索引文件中進行檢索，這樣的模糊檢索就類似于SQL語句中用“l(fā)ike”關(guān)鍵詞一樣，只要包含了搜索關(guān)鍵字的數(shù)據(jù)，都被檢索出來。

（2）精確檢索

基于Lucene的多源數(shù)據(jù)檢索系統(tǒng)也提供了精確檢索的功能。由于檢索粒度相較模糊檢索會小很多，所以檢索結(jié)果的量也會小很多，主要是針對精細化檢索。

4.2 檢索的實現(xiàn)

檢索總的來說其實就是從Lucene的索引文件中搜索的與關(guān)鍵字匹配索引記錄的操作，但這一步操作可以細分成多個步驟。

第一步是將檢索內(nèi)容進行分詞，這一步也是整個檢索的關(guān)鍵一步，目的是將長句進行切分，以此獲得Lucene索引的最小單位“Term”，然后再按最小單位保存在索引文件中。所以檢索時也需要用相同的分詞器將頁面輸入的待檢索值進行分詞，如果不是用相同的分詞器，對相同內(nèi)容的切分結(jié)果或許會有不同，那么就會導致待檢索內(nèi)容和索引文件里面的關(guān)鍵字不匹配，這樣就導致了檢索結(jié)果不正確，所以必須使用和創(chuàng)建索引時相同的分詞器。

第二步是將經(jīng)過處理的檢索內(nèi)容和現(xiàn)有的索引文檔進行比較得到與檢索內(nèi)容相關(guān)的索引文檔。

第三步是將獲得的索引文檔按照相關(guān)度進行打分。在給索引文檔打分的過程涉及到一個很重要的步驟，那就是計算權(quán)重（Term weight）。計算權(quán)重是指找出詞（Term）對文檔的重要性的過程稱。影響一個詞（Term）在一篇文檔中的重要性主要有兩個因素：

（1）Term Frequency（TF）：即此 Term 在此文檔中出現(xiàn)了多少次。TF越大說明越重要。

（2）Document Frequency（DF）：即有多少文檔包含次Term。DF越大說明越不重要。

如果詞（Term）在文檔中出現(xiàn)的次數(shù)越多，說明此詞（Term）對該文檔越重要，如“搜索”這個詞，在本文檔中出現(xiàn)的次數(shù)很多，說明本文檔主要就是講這方面的事的。然而在一篇英語文檔中，this出現(xiàn)的次數(shù)更多，就說明越重要嗎？不是的，這是由第二個因素進行調(diào)整，第二個因素說明，有越多的文檔包含此詞（Term）,說明此詞（Term）太普通，不足以區(qū)分這些文檔，因而重要性越低。Lucene就根據(jù)這兩個因素，設計了給索引得到的文檔進行打分的計算公式：

其中 queryNorm（q）：queryNorm（q）是查詢權(quán)重對得分的影響，這個因素對所有文檔都是一樣的值，所以它不影響排序結(jié)果；

tf（t in d）：即term t在文檔d中出現(xiàn)的個數(shù)；

idf（t）：關(guān)聯(lián)到反轉(zhuǎn)文檔頻率，文檔頻率指出現(xiàn)term t的文檔數(shù)docFreq。docFreq越少idf就越高（物以稀為貴），但在同一個查詢下些值是相同的；

boost（t）：查詢時期term的加權(quán)，這個就是一個影響值；

norm（t,d）：這個項是長度的加權(quán)因子，目的是為了將同樣匹配的文檔，比較短的放比較前面。

最后按照文檔得分進行排序，得到了索引結(jié)果順序。圖6為系統(tǒng)運行結(jié)果圖，搜索包含“上海海事lucene”的文檔，最終搜索結(jié)果如圖6所示。

在檢索服務剛啟動時，由于不可避免的文件的I/O操作導致了耗時增加到500毫秒左右，但再進行檢索時，檢索耗時可降低到100毫秒左右，整個的效率還是很可觀的。

5 結(jié)語

基于Lucene的多源數(shù)據(jù)檢索系統(tǒng)提供了快捷方便的文檔檢索操作，提供了多樣化的檢索方式。同時由于采用可配置劃的方式來實現(xiàn)索引創(chuàng)建工作，使得整個系統(tǒng)更加方便，且易維護，而且實現(xiàn)了對于第三方程序最低程度的依賴和侵入性，實現(xiàn)了較高的獨立性。

圖6