基于Lucene的中文分詞器的改進(jìn)與實(shí)現(xiàn)

羅惠峰，郭淑琴

（浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023）

0 引言

隨著網(wǎng)絡(luò)的發(fā)展和數(shù)據(jù)存儲(chǔ)技術(shù)的成熟，如何在大量的數(shù)據(jù)中快速、準(zhǔn)確地獲取到我們所需要的信息成為一個(gè)亟待解決的問題，也是信息檢索技術(shù)的核心問題。

信息檢索的核心是全文檢索技術(shù)，全文檢索是指以各種計(jì)算機(jī)數(shù)據(jù)諸如文字、聲音、圖像等為處理對(duì)象，提供按照數(shù)據(jù)資料的內(nèi)容而不是外在特征來實(shí)現(xiàn)的信息檢索手段。當(dāng)前對(duì)全文數(shù)據(jù)的檢索主要有兩種方法：順序掃描法（Serial Scanning）和倒排索引法（Inverted Index）。前者較為原始，對(duì)于小數(shù)量的數(shù)據(jù)是最直接和最方便的方法；但隨著數(shù)據(jù)量的增多，倒排索引法具有更快的檢索速度和更全的應(yīng)用范圍[1]。Lucene并不是一個(gè)完整的搜索引擎應(yīng)用，而是一個(gè)開放源代碼的高性能、可伸縮的信息搜索庫，可以方便地嵌入到各種應(yīng)用中，實(shí)現(xiàn)針對(duì)應(yīng)用的全文索引/檢索功能，并且已經(jīng)在許多搜索項(xiàng)目中得到了廣泛的應(yīng)用[2]。

中文分詞技術(shù)作為信息檢索的核心技術(shù)之一，它的研究與發(fā)展促進(jìn)了全文檢索技術(shù)的應(yīng)用。本文主要研究了中文分詞的最大匹配算法，并通過該算法對(duì)原始中文分詞器進(jìn)行了改進(jìn)，改進(jìn)后的分詞器更加適用于中文條件下的搜索。

1 Lucene架構(gòu)及簡(jiǎn)介

圖1描述了基于Lucene的全文檢索過程，Lucene對(duì)索引的創(chuàng)建和搜索是通過不同的流程來實(shí)現(xiàn)。創(chuàng)建索引時(shí)，需要通過文件、數(shù)據(jù)庫、Web或人工輸入方式來對(duì)數(shù)據(jù)進(jìn)行采集；其次則需要建立索引的Document，一條Document就類似于數(shù)據(jù)庫的一條記錄[3]；最后通過這些Document來生成索引。搜索索引時(shí)，首先通過用戶查詢得到用戶的查詢條件，然后Lucene通過查詢條件對(duì)索引進(jìn)行搜索，并將最終經(jīng)過一定規(guī)則排序后的結(jié)果返回給用戶。目前常見的搜索引擎排序算法有Direct Hit排序算法、PageRank算法、排名競(jìng)價(jià)服務(wù)和詞頻位置加權(quán)算法[4]。

圖1 基于Lucene的全文檢索過程

圖2 為Lucene的邏輯架構(gòu)圖。由圖2可以看出Lucene索引和檢索時(shí)各個(gè)模塊間的調(diào)用關(guān)系：當(dāng)索引文件時(shí)，接口模塊會(huì)先調(diào)用語法分析器對(duì)文本進(jìn)行分析，并通過基礎(chǔ)結(jié)構(gòu)公共模塊將分析后的數(shù)據(jù)寫入索引文件中。用戶查詢時(shí)，同樣是通過接口模塊將查詢語句傳遞到索引核心模塊，該模塊負(fù)責(zé)在底層的存儲(chǔ)類中讀取索引文件里面的數(shù)據(jù)，并返回給接口模塊[5]。該邏輯圖中的部分模塊是作為公共類存在的。

圖2 Lucene核心邏輯架構(gòu)

2 自定義中文分詞器的設(shè)計(jì)

Lucene架構(gòu)中的分詞器（Analyzer）用于對(duì)文本數(shù)據(jù)進(jìn)行分詞，文本數(shù)據(jù)的索引創(chuàng)建過程一般包含以下幾步：（1）將原文檔傳遞給分詞組件（Tokenizer）；（2）將得到的詞元 （Token） 傳遞給語言過濾組件（TokenFilter）；（3）最后將得到的語匯單元（Term）傳遞給索引組件從而建立該詞的索引[6]。如圖3所示。

圖3 分析器對(duì)文本數(shù)據(jù)的處理流程

2.1 文本解析器的應(yīng)用

在構(gòu)建搜索程序時(shí)，一個(gè)重要的步驟就是從文檔中提取文本以用于索引。這就要求搜索程序能夠處理多種多樣的文檔。對(duì)于XML或者HTML等文本格式，必須小心處理以避免對(duì)其標(biāo)簽進(jìn)行錯(cuò)誤的改寫。

由于Lucene只能處理文本內(nèi)容，而不能直接處理文件，因此對(duì)于存儲(chǔ)文本的各種文件，Lucene過去采用不同的文檔過濾器，并通過這些過濾器從文件中提取文本，同時(shí)還需要自己檢測(cè)文檔類型和編碼類型[4]。通過引入文本解析器TIKA作為中間模塊，實(shí)現(xiàn)對(duì)文件的文本內(nèi)容進(jìn)行提取。除此之外，TIKA還能從大多數(shù)類型的文檔中提取出元數(shù)據(jù)[7]。TIKA相當(dāng)于提供了應(yīng)對(duì)各種文件的中間器，如圖4所示。

圖4 TIKA解析器在系統(tǒng)中的應(yīng)用架構(gòu)

2.2 分詞器的設(shè)計(jì)思路

經(jīng)過文本提取后的內(nèi)容，就可以進(jìn)行分詞操作了。然而Lucene自帶的分詞器在中文環(huán)境下的應(yīng)用具有很大的局限性。對(duì)于英文該分詞器采用空格分詞，對(duì)于中文實(shí)際上只是將文本切割為單個(gè)字符，并不符合中文的語法及語義。最大匹配算法（MMSEG）是一種常見的、基于詞典的分詞算法[8]。該算法以正向最大匹配為主，多種消除歧義的規(guī)則為輔。它的匹配規(guī)則包括正向匹配和復(fù)雜匹配；歧義消除規(guī)則依次采用最大匹配、最大平均單詞長度、單詞長度最小方差和單字單詞語素最大自由度對(duì)語句進(jìn)行分詞，直到只有一種結(jié)果或者最后一個(gè)規(guī)則使用完畢。

該算法強(qiáng)調(diào)長度和均衡，體現(xiàn)在以下幾個(gè)方面：每個(gè)詞的組合要盡可能長，每個(gè)詞也要盡可能長，每個(gè)詞的長度要盡可能接近，每個(gè)詞的詞頻也要較為接近。例如，假設(shè) C1，C2，C3，…，Cn為一組字符構(gòu)成的短語字符串，首先搜索詞典以確定_C1_是否為單個(gè)字，若為單個(gè)字則繼續(xù)搜索_C1C2_，直到在詞典中找到最長的單詞即為最合理的匹配。取出這個(gè)詞，并對(duì)下一個(gè)字符采取同樣的操作，直到該字符串最后一個(gè)字。在消除歧義方面，定義平均詞長：

式中N為詞組總字?jǐn)?shù)，M為詞語數(shù)量。對(duì)于字?jǐn)?shù)一定的詞組，詞語數(shù)量越少則平均詞長越大，該系列分詞后的詞語更符合中文語義。當(dāng)平均詞長相同時(shí)，繼續(xù)采用詞語長度的變化率（即標(biāo)準(zhǔn)差公式）來判斷分詞的好壞，定義每個(gè)詞的長度分別為 n1，n2，n3，…，nn，則該短語詞語長度變化率為：

變化率越小，則說明該方法下的分詞效果越好。最后，對(duì)于單字詞和連接詞的判斷，采用的方法是計(jì)算詞組中的所有單字詞詞頻的自然對(duì)數(shù)，然后將得到的值相加，取總和最大的詞組。例如A_BBB_C（單字詞詞頻，A：3，C：7），DD_E_F （單字詞詞頻，E：5，F(xiàn)：5） 表示兩個(gè)詞組，A、C、E、F表示不同的單字詞，如果不取自然對(duì)數(shù)，單純就詞頻來計(jì)算，這兩個(gè)詞組是一樣的，但實(shí)際上不同的詞頻范圍所表示的效果也不同，所以這里取自然對(duì)數(shù)：

比如：設(shè)施_和 _服務(wù)，設(shè)施_和服 _務(wù)，在文本中，“和”字作為單字的詞頻越高，則第一種分詞方法的可能性就越大。

基于以上所述的分詞算法，對(duì)示例語句“我是一名大學(xué)生”進(jìn)行分析，并標(biāo)明分詞后的語匯單元的屬性，如圖5所示。

圖5 帶有位置信息和偏移信息的中文語匯單元

由圖5各項(xiàng)屬性可知，當(dāng)文本被語匯單元化了之后，相對(duì)于前一個(gè)語匯單元的位置信息將以位置增量值保存，默認(rèn)值為1。如果位置增量大于1，則表明兩個(gè)語匯單元之間有被TokenFilter過濾掉的停用詞?；谝陨戏衷~算法，可以構(gòu)建同義詞引擎，該同義詞能滿足與原詞匯具有相同的詞匯偏移量，并且通過堆棧的方式設(shè)置0位置增量來表示插入的同義詞，那么就可以實(shí)現(xiàn)基于Lucene的中文同義詞分詞器的改進(jìn)。這種改進(jìn)使得在搜索時(shí)，輸入任何一個(gè)同義詞，都能得到相匹配的結(jié)果。

3 Lucene應(yīng)用測(cè)試實(shí)例及分析

根據(jù)前文所述的自定義中文分詞器的設(shè)計(jì)方案，將該分詞器集成到Lucene分詞模塊中去，并通過對(duì)比最大匹配算法分詞器（MMSegAnalyzer）以及封裝好的自定義中文分詞器（MyAnalyzer）來進(jìn)行測(cè)試。自定義中文分詞器部分代碼如下，構(gòu)造該類時(shí)將同義詞引擎?zhèn)魅?，并加載絕對(duì)路徑下的詞典。

public class MyAnalyzer extends Analyzer{

private SamewordContext samewordContext；

//構(gòu)造時(shí)把同義詞引擎 SamewordContext傳入

public MyAnalyzer（SamewordContext swc）{

samewordContext=swc；

}

@Override

public TokenStream tokenStream（String fieldName，Reader reader）{

Dictionary dic=

Dictionary.getInstance（＂D：\Java\mmseg4j-1.8.5\data＂）；

//分詞器采用最大匹配算法分詞器

return new MySameTokenFilter（new MMSegTokenizer（new MaxWordSeg（dic），reader），samewordContext

}

}

首先測(cè)試文本解析器TIKA的解析性能，通過對(duì)比TXT文本與被解析后的PDF文檔在Lucene中和Windows中對(duì)中文詞組“工具”的識(shí)別條數(shù)、索引和檢索時(shí)間，表明結(jié)合了文本解析器TIKA的Lucene具有較強(qiáng)的實(shí)用性。本文所用測(cè)試文本為世界科技百卷書及中華學(xué)生百科全書共200冊(cè)，數(shù)據(jù)量約30 MB，系統(tǒng)為Windows 7 SP2。測(cè)試結(jié)果如表1所示。

表1 在不同環(huán)境下對(duì)不同格式文檔搜索的對(duì)比

由表1可得知，使用Lucene對(duì)文件內(nèi)容創(chuàng)建索引并進(jìn)行搜索，其檢索效率與Windows自帶檢索功能相比，具有更快的算法實(shí)現(xiàn)。在搜索速度上，兩種方式的速度差別并不大，主要差別在于索引創(chuàng)建的過程。該實(shí)驗(yàn)結(jié)果很好地證明了最大匹配算法在中文分詞上的優(yōu)越性，以及TIKA對(duì)文本內(nèi)容的解析性能。

接下來對(duì)搜索系統(tǒng)的完備性進(jìn)行測(cè)試。首先通過同義詞引擎將一組詞匯定義為相關(guān)同義詞，這使得在檢索某一詞匯時(shí)，即使文檔本身中不包含該內(nèi)容，但只要包含了該詞匯的相關(guān)同義詞，即可獲得檢索結(jié)果。該方法是基于前述的位置信息和偏移信息等語匯單元屬性。定義同義詞：文明=文化=中華文明，并通過自定義分詞器建立索引并檢索這些詞匯，檢索結(jié)果如表2所示。

表2 搜索結(jié)果查全率功能測(cè)試

由表2測(cè)試得知，當(dāng)文本解析器與自定義分詞器被引入Lucene之后，檢索響應(yīng)度和檢索滿意度均有較高提升，可以更方便快捷地實(shí)現(xiàn)用戶對(duì)數(shù)據(jù)的管理與檢索。

4 結(jié)束語

通常使用功能完備性、分詞準(zhǔn)確性、檢索速度、查全率來評(píng)價(jià)搜索系統(tǒng)的性能。通過上述測(cè)試實(shí)例的對(duì)比發(fā)現(xiàn)，結(jié)合了改進(jìn)后的自定義中文分詞器的搜索系統(tǒng)，對(duì)以上性能指標(biāo)均有較高提升。當(dāng)然，該分詞器算法主要是根據(jù)最大匹配算法，通過詞典的加載來完成同義詞引擎的構(gòu)造。將來的研究方向：可以結(jié)合中文語義及概率統(tǒng)計(jì)智能化得出同義詞詞根，從而根據(jù)詞根使得搜索系統(tǒng)更加豐富化、人性化，并將其應(yīng)用在網(wǎng)絡(luò)數(shù)據(jù)檢索、網(wǎng)站搜索功能等方面。

[1]張博.基于 Lucene倒排索引性能的研究與優(yōu)化 [D].昆明：昆明理工大學(xué)，2013.

[2]李永春，丁華福.Lucene的全文檢索的研究與應(yīng)用[J].計(jì)算機(jī)技術(shù)與發(fā)展，2009，20（2）：12-15.

[3]羅剛.解密搜索引擎技術(shù)實(shí)戰(zhàn)Lucene&Java精華版[M].北京：電子工業(yè)出版社，2014.

[4]高樂，張健.基于網(wǎng)頁分塊的搜索引擎排序算法改進(jìn)[J].浙江工業(yè)大學(xué)學(xué)報(bào)，2005，33（3）：272-275.

[5]林碧英，趙銳，陳良臣.基于 Lucene的全文檢索引擎研究與應(yīng)用 [J].計(jì)算機(jī)技術(shù)與發(fā)展，2007，17 （5）：186-190.

[6]劉冰凌.基于正向最大匹配算法的優(yōu)化算法ImpFMMseg的實(shí)現(xiàn)[D].武漢：中南民族大學(xué)，2010.

[7]CUTTING D.The Lucene search engine powerful flexible and free[M].Newyork： John Wiley Sons，2000.

[8]MCCANDLESS M.Lucene in Action[M].牛長流，肖宇，譯.北京：人民郵電出版社，2011.