文本信息檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

李高鵬 艾山·吾買爾 鄭炅 王路路

摘? 要： 隨著信息化的發(fā)展，互聯(lián)網(wǎng)上出現(xiàn)了越來越多的文檔信息，如何根據(jù)用戶的需要從海量的文檔中快速獲取相關(guān)信息成為了研究的熱點(diǎn)。采用Python編程語言、Django Web應(yīng)用框架、UWSGI Web服務(wù)器、Nignx代理服務(wù)器，基于TextRank關(guān)鍵詞提取算法、倒排索引結(jié)構(gòu)、Jaccard相似度計(jì)算以及MySQL數(shù)據(jù)庫技術(shù)構(gòu)建了漢英文本信息檢索系統(tǒng)。該系統(tǒng)包含文本注冊、文本檢索和文本注銷三個(gè)模塊，可實(shí)現(xiàn)千萬量級(jí)文本數(shù)量上的快速注冊和快速檢索功能，為構(gòu)建輿情分析系統(tǒng)提供服務(wù)，并可根據(jù)人們特定的需求，擴(kuò)展文本檢索服務(wù)。

關(guān)鍵詞： 信息檢索; 算法介紹; 倒排索引; 檢索系統(tǒng)構(gòu)建; 快速注冊; 快速檢索

中圖分類號(hào)： TN911.2?34; TP391? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）16?0062?05

0? 引? 言

隨著信息技術(shù)的飛速發(fā)展和我國人民生活水平的提高，互聯(lián)網(wǎng)已經(jīng)成為人們?nèi)粘Ｉ顚W(xué)習(xí)的一部分。我國已經(jīng)進(jìn)入了知識(shí)爆炸的時(shí)代，互聯(lián)網(wǎng)上的漢語、英語相關(guān)的文檔數(shù)量不斷增加，并且未來還會(huì)繼續(xù)增多。如何幫助用戶快速有效地從海量的文本數(shù)據(jù)中找到需要的文本信息，成為學(xué)者們研究的重要課題。文本檢索是指根據(jù)用戶輸入的信息從大量的文本集合中查找出相關(guān)文本的一種技術(shù)。文本檢索作為信息檢索[1]的一種，常用于搜索引擎、數(shù)字圖書館、輿情系統(tǒng)等領(lǐng)域。文本檢索已經(jīng)成為信息處理領(lǐng)域中不可獲取的工具。常用的文本檢索模型[2]可以分為三類：基于集合論的檢索模型、基于代數(shù)的檢索模型和基于概率論的檢索模型。其主要包括布爾模型、向量空間模型、概率模型、引用分析模型等。

文本檢索[3]是當(dāng)代網(wǎng)絡(luò)技術(shù)中的主流技術(shù)之一。文本檢索[4]的過程一般分為兩個(gè)步驟：索引的建立和索引的搜索，索引的建立是指對結(jié)構(gòu)化文本和非結(jié)構(gòu)化文本（一般將非結(jié)構(gòu)化文本轉(zhuǎn)換為結(jié)構(gòu)化文本）進(jìn)行特征抽取，建立索引的過程;索引的搜索是指將用戶的請求作為檢索對象，根據(jù)請求文本的特征，搜索數(shù)據(jù)庫，返回結(jié)果的過程。雖然Google、百度等公司的搜索技術(shù)[5]已經(jīng)相當(dāng)成熟，但針對不同用戶特定的需求，這些搜索引擎并不能很好的滿足，也不方便用戶根據(jù)需要進(jìn)行擴(kuò)展。

基于以上現(xiàn)象和問題，本文基于TextRank關(guān)鍵詞提取算法、倒排索引結(jié)構(gòu)、Jaccard相似度計(jì)算方法及MySQL數(shù)據(jù)庫技術(shù)等構(gòu)建了漢英文本信息檢索系統(tǒng)，實(shí)現(xiàn)了千萬量級(jí)文本下的快速檢索，并且用戶可根據(jù)不同需求進(jìn)行文本的注冊、注銷，滿足用戶特點(diǎn)的需求，實(shí)現(xiàn)個(gè)性化搜索，幫助用戶從海量文本數(shù)據(jù)完成檢索任務(wù)，為輿情分析系統(tǒng)的構(gòu)建提供服務(wù)，另外本文構(gòu)建的系統(tǒng)同樣適用于其他語言。

1? 算法介紹

1.1? TextRank算法

TextRank[6]算法來源于Google的網(wǎng)頁排名算法PageRank[7]，是一種基于圖的排序，可用于關(guān)鍵詞提取、短語提取和摘要提取。TextRank算法在進(jìn)行關(guān)鍵詞提取時(shí)，首先對于文本分句，過濾掉停用詞，去除標(biāo)點(diǎn)亂碼等無意義的字符，再結(jié)合詞性標(biāo)注方法篩選出名詞、動(dòng)詞、形容詞等重要詞匯作為關(guān)鍵詞候選詞匯。利用篩選出的詞匯構(gòu)建關(guān)鍵詞圖，每個(gè)單詞作為圖中的一個(gè)節(jié)點(diǎn)，把具有共現(xiàn)關(guān)系的詞進(jìn)行連接，迭代確定各個(gè)節(jié)點(diǎn)的權(quán)重，直到權(quán)重收斂為止，之后對各個(gè)節(jié)點(diǎn)進(jìn)行排序，根據(jù)需要輸出最重要的前n個(gè)詞作為提取出的文本的關(guān)鍵詞。TextRank算法中可將文本看作是一個(gè)無向加權(quán)圖[G=（V，E）]，[V]表示關(guān)鍵詞的集合，[E]表示邊的集合，TextRank的核心公式為：

[WS（Vi）=（1-d）+d·Vj∈In（Vi）ωjiVk∈Out（Vj）ωjkWS（Vj）]? （1）

式中：[WS（Vi）] 表示第[Vi]個(gè)關(guān)鍵詞的TextRank值，該公式表示TextRank中單詞[Vi]的權(quán)重值由[Vi] 之前的各個(gè)關(guān)鍵詞[Vj]組成;[d]表示阻尼系數(shù)，一般設(shè)置為0.85;[ωji]和[ωjk]表示兩個(gè)關(guān)鍵詞節(jié)點(diǎn)之間的邊的權(quán)重;[In（Vi）]表示指向關(guān)鍵詞[Vi]的關(guān)鍵詞的集合;[Out（Vj）]表示關(guān)鍵詞[Vj]指向其他關(guān)鍵詞的集合。

1.2? 倒排索引算法

搜索引擎是根據(jù)用戶輸入的關(guān)鍵詞信息，從文檔集合中找出包含這些關(guān)鍵詞的文檔。如何快速準(zhǔn)確地找出文檔呢？一般選擇采用單詞文檔矩陣結(jié)構(gòu)表示這些文檔。在搜索引擎中，每個(gè)文檔都有其對應(yīng)的文檔ID，可以把文檔看作是一些關(guān)鍵詞組成的集合，根據(jù)單詞文檔模型，可以知道哪些關(guān)鍵詞在哪些文檔中，哪些文檔包含了哪些關(guān)鍵詞。索引結(jié)構(gòu)作為單詞文檔矩陣結(jié)構(gòu)的一種，在用來表示單詞與文檔之間的對應(yīng)關(guān)系時(shí)，把文檔ID與該文檔提取出的關(guān)鍵詞相對應(yīng)的結(jié)構(gòu)稱為正向索引結(jié)構(gòu)，如表1所示。

在使用正向索引結(jié)構(gòu)進(jìn)行知識(shí)檢索時(shí)，只能從頭逐一查詢，文檔數(shù)量較多時(shí)，會(huì)導(dǎo)致資源開銷大、查詢效率低等問題。為了能快速根據(jù)關(guān)鍵詞查詢出對應(yīng)的文本，可將正向索引結(jié)構(gòu)重新構(gòu)建成每個(gè)關(guān)鍵詞對應(yīng)包含該關(guān)鍵詞文檔ID集合的結(jié)構(gòu)。這種結(jié)構(gòu)就是倒排索引[8]結(jié)構(gòu)，如表2所示。

在進(jìn)行文本注冊時(shí)，本文使用倒排索引結(jié)構(gòu)把通過TextRank算法提取出的關(guān)鍵詞特征與包含該關(guān)鍵詞的文檔進(jìn)行關(guān)聯(lián)，構(gòu)建索引表并存入到MySQL數(shù)據(jù)庫中。在進(jìn)行文本檢索時(shí)，通過關(guān)鍵詞信息檢索出包含這些關(guān)鍵詞的文本，快速過濾掉不相關(guān)文本，提高檢索效率。在進(jìn)行文本注銷時(shí)，不僅刪除掉數(shù)據(jù)庫中的不相關(guān)文本，還根據(jù)注銷文本的關(guān)鍵詞重新修正了數(shù)據(jù)庫中存儲(chǔ)的倒排索引表，保證了檢索結(jié)果的實(shí)時(shí)性、準(zhǔn)確性。

1.3? 杰卡德相似系數(shù)

Jaccard相似度通常用來計(jì)算兩個(gè)集合之間的相似程度[9]。Jaccard相似度計(jì)算公式為：[J（A，B）=A?BA?B? ? ? ? ? ? ? ?=A?BA+B-A?B] （2）

式中：[A] 和[B] 表示兩個(gè)集合;集合[A] 和集合[B] 的交集與并集的比值表示Jaccard相似度，比值越大表示兩個(gè)集合越相似。在漢英文本信息檢索系統(tǒng)中，本文用Jaccard相似度計(jì)算檢索出的文本與查找文本的相似度。通過對相似度進(jìn)行排序，返回相似度從高到低的前n個(gè)結(jié)果。

1.4? MD5消息摘要算法

MD5[10]（Message?Digest Algorithm 5）消息摘要算法屬于Hash算法的一種，它的作用是無論輸入多長的字符串，都會(huì)通過其特定的字符串變換算法將輸入的字符串轉(zhuǎn)換為特定長度的大整數(shù)，形成唯一的MD5消息摘要，當(dāng)輸入的內(nèi)容發(fā)生任何形式的變化時(shí)都會(huì)改變這一消息摘要。MD5算法廣泛用于各種加密、解密技術(shù)。本文將爬取的網(wǎng)頁url地址和關(guān)鍵詞轉(zhuǎn)換為32位的MD5編碼，減少了存儲(chǔ)空間，加快了檢索速度。

2? 漢英雙語文本信息檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

2.1? 系統(tǒng)功能結(jié)構(gòu)圖

文本信息檢索系統(tǒng)由文本注冊、文本檢索、文本注銷三個(gè)模塊構(gòu)成。文本注冊模塊包含關(guān)鍵詞提取模塊，正向索引和倒排索引的構(gòu)建模塊，根據(jù)關(guān)鍵詞與文檔之間的關(guān)系，構(gòu)建正向索引和倒排索引結(jié)構(gòu)，并將構(gòu)建好的索引結(jié)構(gòu)存入到數(shù)據(jù)庫的索引表中，實(shí)現(xiàn)索引庫的構(gòu)建。文本檢索模塊包括關(guān)鍵詞提取模塊、檢索模塊和相似度計(jì)算模塊，通過關(guān)鍵詞信息從索引庫中找出包含這些關(guān)鍵詞的文本，并計(jì)算檢索到的文本與查找到的相關(guān)文本之間的相似程度，排序輸出最終結(jié)果。文本注銷模塊功能與文本注冊模塊相反，該模塊包括關(guān)鍵詞提取模塊和索引重建模塊，根據(jù)文本的ID找到需要注銷的文本，刪除正向索引表中的信息，根據(jù)提取出的文本的關(guān)鍵詞，找到并修改索引庫中對應(yīng)的倒排索引表。文本信息檢索系統(tǒng)的功能結(jié)構(gòu)圖如圖1所示。

2.1.1? 文本注冊模塊

本文首先對爬取到的特定Web網(wǎng)頁，通過正則匹配法，提取出網(wǎng)頁內(nèi)的文本信息，之后進(jìn)行語種判別，根據(jù)判別結(jié)果分別將請求提交到對應(yīng)的漢語注冊接口和英文注冊接口。Web網(wǎng)頁的url作為對應(yīng)文檔的rowkey，并使用MD5編碼得到rowkey對應(yīng)的rowkeyCode，將網(wǎng)頁內(nèi)抽取的文本信息作為context存入數(shù)據(jù)庫中。在文本注冊模塊將與Web網(wǎng)頁的url網(wǎng)址對應(yīng)的rowkeycode存入數(shù)據(jù)庫中，保證數(shù)據(jù)庫中文檔的唯一性，避免存入重復(fù)文檔。為了提高檢索的速度，壓縮存儲(chǔ)空間，本文采用TextRank算法對context中的內(nèi)容進(jìn)行關(guān)鍵詞提取。根據(jù)文檔和關(guān)鍵詞之間的關(guān)聯(lián)建立正向索引表和倒排索引表，存入到索引庫中，成功注冊后返回消息。文本檢索模塊流程圖如圖2所示。

圖2? 文本檢索模塊流程圖

Fig. 2? Flow chart of text retrieval module

2.1.2? 文本檢索模塊

文本檢索模塊在獲取到請求之后，先進(jìn)行參數(shù)校驗(yàn)，判斷參數(shù)是否合法，如果不合法，直接退出，并返回錯(cuò)誤類型;如果合法，則對待檢索的文本進(jìn)行關(guān)鍵詞提取。根據(jù)提取的關(guān)鍵詞在索引庫找出包含這些關(guān)鍵詞的文本，拿到相應(yīng)的rowkey，再把正向索引表中rowkey對應(yīng)的文本的特征、權(quán)重與待檢索文本的特征進(jìn)行Jaccard加權(quán)計(jì)算，得到文本之間的相關(guān)性，并排序輸入前n個(gè)結(jié)果，作為最終結(jié)果返回。

2.1.3? 文本注銷模塊

文本注銷模塊在接收到注銷請求后，同樣先檢查參數(shù)是否合法，如不合法，結(jié)束并返回相應(yīng)的錯(cuò)誤類型;如果合法，通過rowkey查找數(shù)據(jù)庫中是否包含此條記錄。如果數(shù)據(jù)庫中沒有此條記錄，結(jié)束程序返回相應(yīng)的錯(cuò)誤類型;如果數(shù)據(jù)庫中存在該記錄，刪除正向索引表中的記錄，并修改倒排索引表中的關(guān)鍵詞對應(yīng)的文檔序列，刪除該條文檔的編號(hào)，完成這些操作后，返回注銷成功消息。

2.2? 數(shù)據(jù)庫系統(tǒng)設(shè)計(jì)

數(shù)據(jù)庫設(shè)計(jì)包括概念模型設(shè)計(jì)、邏輯模型設(shè)計(jì)和物理模型設(shè)計(jì)三個(gè)層次。在數(shù)據(jù)庫設(shè)計(jì)過程中，數(shù)據(jù)庫中的數(shù)據(jù)應(yīng)當(dāng)減少冗余，避免一組數(shù)據(jù)在數(shù)據(jù)庫多個(gè)表中重復(fù)出現(xiàn)。但在實(shí)際情境中，為了加快索引，方便快速查詢，通常會(huì)違背這些數(shù)據(jù)庫的設(shè)計(jì)規(guī)范。通過增加冗余列，進(jìn)行數(shù)據(jù)庫表的合并和拆分，減少表之間的連接，減少數(shù)據(jù)庫的計(jì)算壓力，以達(dá)到提高性能的目的。以中文為例的文本檢索信息的物理數(shù)據(jù)模型如圖3所示。

圖3所示以漢語文本信息檢索系統(tǒng)為例，該系統(tǒng)中一共設(shè)計(jì)了8張表，分別為文本注冊表、文本內(nèi)容信息存儲(chǔ)表、文本基本信息存儲(chǔ)表、索引信息存儲(chǔ)表、備用索引信息存儲(chǔ)表、文本注銷表、臨時(shí)索引信息表、臨時(shí)排序表。文本注冊表用來判斷該篇文本是否已經(jīng)注冊過，可以方便在文本注冊和文本注銷時(shí)查找待注冊文本和待注銷文本是否在數(shù)據(jù)庫中。文本基本信息存儲(chǔ)表用來存儲(chǔ)注冊文本的詳細(xì)信息，包括爬取時(shí)間、發(fā)布時(shí)間、文本來源等。索引信息存儲(chǔ)表，即倒排索引表，該表存儲(chǔ)的是關(guān)鍵詞與包含該關(guān)鍵詞的文本編號(hào)的對應(yīng)關(guān)系，當(dāng)?shù)古疟碜兊煤艽髸r(shí)，會(huì)降低檢索速度，這時(shí)會(huì)對倒排索引表進(jìn)行切分，存儲(chǔ)到備用索引信息存儲(chǔ)表中。文本注銷表用來存儲(chǔ)用戶傳入的需要注銷的文本，以便在后臺(tái)執(zhí)行文本注銷操作。臨時(shí)索引信息表存儲(chǔ)的根據(jù)關(guān)鍵詞信息檢索到的文章編號(hào)，同文本內(nèi)容信息存儲(chǔ)表中的rowkeycode相對應(yīng)。文本內(nèi)容信息存儲(chǔ)表，即正向索引表，用來存儲(chǔ)文本的編號(hào)rowkeycode以及從文本中提取的關(guān)鍵詞信息orginaltext，用來同用戶傳入的檢索文本進(jìn)行相關(guān)性計(jì)算。計(jì)算完的結(jié)果存儲(chǔ)在臨時(shí)排序表中。

3? 系統(tǒng)測試

本文在構(gòu)建漢英文本信息檢索系統(tǒng)后，向檢索系統(tǒng)中注冊3 000萬條數(shù)據(jù)進(jìn)行測試。實(shí)驗(yàn)使用的系統(tǒng)硬件環(huán)境是CPU Intel[?] Xeon[?] CPU E5?2690 V4 @ 2.60 GHz*56 GB，512 GB內(nèi)存，2 TB硬盤。使用的軟件環(huán)境如下：操作系統(tǒng)為Centos 7.2，Pyhton 3.6，Django（1.11.3），uWSGI（2.0.15），Nginx（1.12.1），MySQL（8.0.12）數(shù)據(jù)庫。數(shù)據(jù)注冊的速度及索引構(gòu)建速度隨文本數(shù)量的變化關(guān)系如圖4所示，文本檢索的速度如表3所示。

從圖4可以看出，在索引庫的建立過程中，隨著索引內(nèi)容的增加呈現(xiàn)出非線性增長，本文注冊3 000萬條數(shù)據(jù)，注冊文本的平均長度為2 123個(gè)字符，共花費(fèi)了41.76 h，基本可滿足快速構(gòu)建索引庫的要求。表3顯示的是向數(shù)據(jù)庫中注冊了3 142萬條數(shù)據(jù)后的檢索速度的測試結(jié)果，當(dāng)數(shù)據(jù)量達(dá)到3 000萬條時(shí)，平均每秒可完成3～4條文本的檢索。

關(guān)于文本信息檢索系統(tǒng)的檢索質(zhì)量，本文是通過關(guān)鍵詞匹配在數(shù)據(jù)庫中查找相關(guān)文本，把匹配到的結(jié)果與用戶輸入的檢索文本進(jìn)行相似度計(jì)算，并設(shè)定相似度閾值，對于大于相似度閾值的文本，根據(jù)相似度、發(fā)布時(shí)間、爬取時(shí)間等排序，按照用戶的需要輸出結(jié)果。因此，檢索結(jié)果與關(guān)鍵詞提取算法相關(guān)性較大。TextRank算法能較好地抽取文本中的關(guān)鍵詞，通過判定本系統(tǒng)的搜索結(jié)果可滿足檢索質(zhì)量的要求。

4? 結(jié)? 語

本文利用Django框架，基于TextRank關(guān)鍵詞提取算法、倒排索引結(jié)構(gòu)、Jaccard文本相似度計(jì)算方法及MySQL數(shù)據(jù)庫技術(shù)，構(gòu)建了信息檢索系統(tǒng)，實(shí)現(xiàn)了千萬量級(jí)下快速注冊、快速檢索的文本信息檢索，同時(shí)用戶可根據(jù)文本注冊和文本注銷模塊對該文本信息檢索系統(tǒng)進(jìn)行擴(kuò)展，滿足用戶不同的需求。雖然關(guān)鍵詞可以在一定程度上代表文本的語義，但并不能完全表示文本的語義信息，所以下一步將會(huì)研究實(shí)現(xiàn)基于語義的智能化的檢索。

注：本文通訊作者為艾山·吾買爾。

參考文獻(xiàn)

[1] 王勇.Web網(wǎng)絡(luò)環(huán)境下的語義檢索平臺(tái)設(shè)計(jì)與分析[J].現(xiàn)代電子技術(shù)，2016，39（16）：14?18.

WANG Yong. Design and analysis of semantic retrieval platform in web network environment [J]. Modern electronics technique， 2016， 39（16）： 14?18.

[2] 丁志均，楊青，張會(huì)兵，等.基于非結(jié)構(gòu)化文本檢索模型綜述[J].計(jì)算機(jī)應(yīng)用研究，2017，34（6）：1601?1608.

DING Zhijun， YANG Qing， ZHANG Huibing， et al. Review of unstructured text retrieval model [J]. Application research of computers， 2017， 34（6）： 1601?1608.

[3] SONG W， WANG B， WANG Q， et al. A privacy?preserved full?text retrieval algorithm over encrypted data for cloud storage applications [J]. Journal of parallel & distributed computing， 2017， 99： 14?27.

[4] SHI X J， WANG Z F. An optimized full?text retrieval system based on lucene in oracle database [C]// 2014 Enterprise Systems Conference. Shanghai： IEEE， 2014： 61?65.

[5] 楊凱.數(shù)字圖書館個(gè)性化搜索引擎的用戶建模[J].現(xiàn)代電子技術(shù)，2016，39（7）：97?102.

YANG Kai. User modeling of personalized search engine for digital library [J]. Modern electronics technique， 2016， 39（7）： 97?102.

[6] TIAN X. Extracting keywords with modified TextRank model [J]. Data analysis & knowledge discovery， 2017（2）： 28?34.

[7] CHEN G， FU K， LOZA A， et al. PageRank tracker： from ranking to tracking [J]. IEEE transactions on cybernetics， 2014， 44（6）： 882?893.

[8] 林俊鴻，姜琨，楊岳湘.倒排索引查詢處理技術(shù)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2015（3）：572?575.

LIN Junhong， JIANG Kun， YANG Yuexiang. Query processing strategies based on inverted indexes [J]. Computer engineering and design， 2015（3）： 572?575.

[9] 俞婷婷，徐彭娜，江育娥，等.基于改進(jìn)的Jaccard系數(shù)文檔相似度計(jì)算方法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2017，26（12）：137?142.

YU Tingting， XU Pengna， JIANG Yue， et al. Text similarity method based on the improved Jaccard coefficient [J]. Computer systems & applications， 2017， 26（12）： 137?142.

[10] 李夏夢，潘廣貞.基于消息摘要算法第五版和IDEA的混合加密算法[J].科學(xué)技術(shù)與工程，2017（9）：233?238.

LI Xiameng， PAN Guangzhen. Message?digest algorithm 5?IDEA based hybrid encryption algorithm [J]. Science technology and engineering， 2017（9）： 233?238.