基于本體的局部文檔分析查詢擴展方法研究

周劍烽

中國人民銀行杭州中心支行，浙江杭州 310001

基于本體的局部文檔分析查詢擴展方法研究

周劍烽

中國人民銀行杭州中心支行，浙江杭州 310001

檢索技術(shù)已經(jīng)成為信息領域的重要技術(shù)之一，查詢擴展技術(shù)是信息檢索技術(shù)的一個關(guān)鍵技術(shù)，對提高檢索結(jié)果的準確性和完整性有重要作用。為提高檢索的查全率，本文在分析了傳統(tǒng)查詢擴展方法的基礎上，結(jié)合語義檢索技術(shù)的發(fā)展趨勢，將語義模型中的本體概念融合到查詢擴展技術(shù)中，提出了基于本體的局部文檔分析查詢擴展方法。實驗結(jié)果顯示，該方法的檢索結(jié)果與人們的認識比較接近，達到了較好的語義檢索效果。

本體 語義檢索 查詢擴展 局部文檔分析

0 引言

目前的信息檢索系統(tǒng)以關(guān)鍵詞匹配為技術(shù)基礎，檢索結(jié)果的優(yōu)劣依賴于用戶給出的檢索關(guān)鍵詞。Furnas第一個發(fā)現(xiàn)了“詞典問題”（dictionary problem）[1]，即兩個人使用同樣關(guān)鍵詞描述同一事物的幾率小于20%。同時Xu Jx和Croft WB等人發(fā)現(xiàn)，49%的用戶僅用一個關(guān)鍵詞表達自己的查詢請求，33%的用戶使用兩個單詞進行查詢，用戶平均只使用1.4個單詞描述他們的查詢[2]。使用的查詢詞越少，結(jié)果命中率就越低，查詢擴展技術(shù)由此產(chǎn)生，逐漸發(fā)展成了信息檢索領域的一個重要研究方向，并已經(jīng)向語義擴展方向發(fā)展。

本文將語義本體技術(shù)融合到基于局部文檔分析的查詢擴展方法中，得到了一種改進的基于本體的局部文檔分析查詢擴展方法，從語義角度擴展關(guān)鍵詞，從而提高檢索的質(zhì)量。

1 相關(guān)理論

1.1 查詢擴展定義

查詢擴展就是指利用計算機語言學、信息學等多種技術(shù)，把與初始查詢相關(guān)的詞或概念以邏輯“或”的方式添加到初始查詢中，得到比初始查詢更長的新查詢，然后再次檢索文檔，以改善信息檢索的查全率和查準率，從而解決 “詞不匹配”問題[3]。查詢擴展技術(shù)大致可以分為3類：1）基于用戶相關(guān)反饋的方法[4]；2）基于全局文檔集分析的方法[5]；3）基于局部文檔集分析的方法[3]。

1.2 基于局部文檔集分析的方法

基于局部文檔集分析的方法是在基于全局文檔集分析的方法基礎上提出來的，克服了全局分析方法構(gòu)建全局敘詞表計算量大的問題，同時也解決了基于用戶相關(guān)反饋方法需要用戶干預查詢擴展的不足。但是該方法的效率取決于參與分析的文檔數(shù)及文檔的大?。ㄔ~量），文檔量大、文檔體積大仍然會給局部文檔分析帶來巨大的計算量。同時由于難以保證待分析文檔的相關(guān)性，造成擴展后查詢表達式相關(guān)性的不確定，影響檢索結(jié)果質(zhì)量。

1.3 本體

本體是共享概念模型的明確的形式化規(guī)范說明[6]。從知識共享的角度來說，本體是通用意義上的概念定義集合，以分層次的形式化模式定義領域內(nèi)術(shù)語間的相互關(guān)系，提供對這個領域知識的共同理解。實質(zhì)上本體是一個領域的抽象知識化表示形式，具有良好的層次結(jié)構(gòu)，以概念、實例以及各種關(guān)系表示領域中的信息。通過對本體中的關(guān)系進行推理，可以發(fā)掘隱含信息，實現(xiàn)語義上的關(guān)聯(lián)。

2 基于本體的局部文檔分析查詢擴展方法

為了更好的發(fā)揮基于局部文檔分析的方法優(yōu)勢，同時實現(xiàn)語義支持，本文將本體技術(shù)應用到基于局部文檔分析的方法中，提出了基于本體的局部文檔分析查詢擴展方法。改進后的方法充分利用了本體的優(yōu)良特性，以本體指導整個查詢擴展過程，實現(xiàn)了對語義的支持，基本原理為：1）初始查詢請求提交；2）本體化初始查詢請求的關(guān)鍵詞，并利用本體對關(guān)鍵詞進行同義、近義擴展；3）進行一次檢索；4）從檢索結(jié)果中取N（N取值可以節(jié)）個文檔進行分析，利用文檔矢量（由文檔特征詞權(quán)重構(gòu)成，特征詞權(quán)重根據(jù)出現(xiàn)頻率計算得到）提取文檔中的特征詞。文檔矢量在對文檔進行預處理時形成，重復使用；5）一次擴展后的關(guān)鍵詞集通過本體進行二次語義擴展。通過本體對關(guān)鍵詞逐個進行相似度值查詢，根據(jù)相似度值的高低來決定新擴展詞的取舍。向一次擴展關(guān)鍵詞集合中添加語義相關(guān)的概念、實例，提高了檢索詞的語義完備性；6）對步驟4）和5）得到的關(guān)鍵詞集合進行交運算，得到最終的擴展結(jié)果。這一步操作得到的關(guān)鍵詞，既滿足了傳統(tǒng)方法的共現(xiàn)頻率統(tǒng)計，也滿足了語義相關(guān)性的描述，丟棄了兩種方法產(chǎn)生的不一致的詞，保證了語義相關(guān)性。

圖1 基于本體的局部文檔分析查詢擴展方法

擴展過程由兩條路，一條為本體擴展過程，即步驟5）；一條是傳統(tǒng)的文檔分析過程，即步驟3）和4）。最終通過步驟6）合為一條路，產(chǎn)生最終的檢索詞集合。本體技術(shù)的使用，實現(xiàn)了對語義的支持，使擴展結(jié)果語義上更加明確，避免二義性。

3 實驗及結(jié)果分析

本文以田徑項目作為領域，構(gòu)建了一個簡單的實驗本體。概念：田徑項目，跳躍，徑賽，投擲，接力，公路賽，障礙賽，短跑，長跑；實例：競走，馬拉松，女子100m欄，男子110m欄， 5000m，10 000m ，4×100m，4×400m，100m，400m，200m，標槍，鐵餅，鉛球，鏈球，跳高，跳遠，三級跳遠，撐桿跳高。

本文從網(wǎng)絡上摘取了60個與田徑項目相關(guān)的新聞作為實驗文檔，采用分層向量空間模型[7]進行文檔的矢量化，得到對應的文檔矢量。

以檢索 “短跑”為例，使用傳統(tǒng)方法和本文方法進行對比實驗，使用查全率和查準率兩個指標來衡量檢索質(zhì)量。60個樣本文檔中與“短跑”相關(guān)的文檔總共是16個。

1）使用本文基于本體的局部文檔分析查詢擴展方法，最終檢索結(jié)果如表1所示。

表1 檢索文檔相似度值（其余文檔為零）

根據(jù)文檔相似度值對結(jié)果進行相關(guān)性排序，以一定的閾值獲取最終結(jié)果返回給用戶。相似度閾值分別取0.3，0.4，0.5時，對應的查全率分別為：100%，87.5%，25%，查準率相同為：100%。

2）使用傳統(tǒng)局部文檔分析查詢擴展方法，最終檢索結(jié)果如表2所示。取同樣的閾值0.3，0.4，0.5，對應的查全率分別為：62.5%，37.5%，37.5%，查準率相同為100%。

表2 檢索文檔相似度值（其余文檔為零）

圖2 本文方法與傳統(tǒng)方法檢索查全率對比

兩種方法的查全率對比如圖2所示。對文檔相似度的要求也提高，符合的文檔數(shù)量減少，查全率自然降低，閾值為0.3、0.4的時候，本文的方法對用戶檢索詞的擴展效果更好，相關(guān)性更大，查全率高于原方法。為了使最終結(jié)果文檔數(shù)在一個合適的范圍內(nèi)，需要在查全率和查準率之間選擇一個平衡點，也就是選擇一個合適的閾值來進行控制，實驗中閾值取0.3和0.4都可以，在這個前提下，本文提出的方法能保證檢索詞的有效性和相關(guān)性，大大提高查全率，并保證查準率。

4 結(jié)論

對比結(jié)果，兩種方法查準率一樣，但查全率差別較大。閾值為0.3、0.4時，本文方法的查全率遠高于原方法；閾值為0.5時，兩種方法查全率差不多，但都比較低。原因為：隨著閾值的提高，

本文針對基于局部分析的查詢擴展不支持語義的弱點，通過融合本體技術(shù)于其中，得到了一個改進的方法。通過實驗結(jié)果數(shù)據(jù)的對比分析，驗證了本文提出的方法的有效性。

[1]Furnas GW，Landauer TK，Gomez LM，Dumais ST. The vocabulary problem in human-system communication. Communication of ACM，1987，30(11):964-971.

[2]崔航，文繼榮，李敏.基于用戶日志的查詢擴展統(tǒng)計模型[J].軟件學報，2003，14(9)：1593-1599.

[3]黃名選，嚴小衛(wèi)，張師超.查詢擴展技術(shù)進展與展望[J].計算機應用與軟件,2007，24(11)：1-4.

[4]宋玲麗，成穎，單啟成.信息檢索系統(tǒng)中的相關(guān)反饋技術(shù)[J].情報學報，2005，24(1)：34-41.

[5]TA Runkler, JC Bezdek. Automatic keyword extraction with relational clustering and Levenshtein distances，9th IEEE International Conference on Fuzzy Systems，IEEE，2000:636-640.

[6]陳泳，林世平.基于本體的語義檢索技術(shù)[J].計算機工程與應用,2006(S1)：78-80.

[7]高珊.信息檢索中的查詢擴展及相關(guān)技術(shù)研究[D].湖北：華中師范大學，2008：20-21.

G252.7

A

1674-6708（2011）36-0054-02