基于關鍵詞的信息檢索系統(tǒng)的研究

　　摘要：文章重點闡述了如何實現(xiàn)利用關鍵詞查詢的信息檢索系統(tǒng)。系統(tǒng)根據(jù)關鍵詞的屬性分為文本查詢和屬性查詢，在這兩種查詢模式中又細分為單表查詢、匹配查詢和遍歷查詢。文章最后對系統(tǒng)開發(fā)中所做工作進行了總結，并闡述了將來進一步對該系統(tǒng)進行擴充與完善的一些工作。
　　關鍵詞：關系數(shù)據(jù)庫；關鍵詞查詢；信息檢索；Top-K查詢
　　一、引言
　　搜索引擎并不真正搜索互聯(lián)網，它搜索的是預先整理好的網頁索引數(shù)據(jù)庫。真正意義上的搜索引擎，通常指的是收集了互聯(lián)網上幾千萬到幾十億個網頁并對網頁中的每一個文字（即關鍵詞）進行索引，建立索引數(shù)據(jù)庫的全文搜索引擎。
　　搜索引擎的原理，可以看作三步：從互聯(lián)網上抓取網頁→建立索引數(shù)據(jù)庫→在索引數(shù)據(jù)庫中搜索排序。
　　從互聯(lián)網上抓取網頁：利用能夠從互聯(lián)網上自動收集網頁的Spider系統(tǒng)程序，自動訪問互聯(lián)網，并沿著任何網頁中的所有URL爬到其他網頁，重復這過程，并把爬過的所有網頁收集回來。
　　建立索引數(shù)據(jù)庫：由分析索引系統(tǒng)程序對收集回來的網頁進行分析，提取相關網頁信息（包括URL、編碼類型、包含的所有關鍵詞、關鍵詞位置、生成時間、大小、與其他網頁的鏈接等），根據(jù)一定的相關度算法進行大量復雜計算，得到每一個關鍵詞的相關度（或重要性），然后用這些相關信息建立網頁索引數(shù)據(jù)庫。
　　在索引數(shù)據(jù)庫中搜索排序：用戶輸入關鍵詞后，由搜索系統(tǒng)程序從網頁索引數(shù)據(jù)庫中找到符合該關鍵詞的所有相關網頁。相關度越高，排名越靠前。最后，由頁面生成系統(tǒng)將搜索結果的鏈接地址和頁面內容摘要等組織起來返回給用戶。
　　第一步是簡單排名的首次嘗試。第二步中提出了基于當前技術水平的IR評分函數(shù)的一個排名方法。最近，第三步對第二步中的方法有了更高層次的改善。
　　搜索引擎的Spider會定期重新訪問所有網頁（各搜索引擎的周期不同），更新網頁索引數(shù)據(jù)庫，增加新網頁，去除死鏈接，并根據(jù)網頁文字和鏈接關系的變化重新排序。這樣，網頁的具體文字變化情況就會反映到用戶查詢的結果中。文本文檔和網頁的關鍵詞檢索已經是成熟的研究領域。近年來，結構化和半結構化數(shù)據(jù)的關鍵詞查詢開始引起研究人員的興趣。Oracle，DB2，SQLServer等關系數(shù)據(jù)庫都提供了文本搜索擴展，這為實現(xiàn)關系數(shù)據(jù)庫的關鍵詞查詢提供了一個基礎。
　　二、系統(tǒng)總體設計
　?。ㄒ唬┫到y(tǒng)分析
　　本系統(tǒng)是用來模擬某商場的貨品查詢系統(tǒng)。利用本系統(tǒng)，用戶可以通過輸入關鍵詞查詢自己想要的信息。查詢的結果在返回前是經過排序的，與用戶關鍵詞最為符合的結果列在結果集的前面。系統(tǒng)支持文本關鍵詞查詢和數(shù)字關鍵詞查詢兩種查詢模式。在這兩種查詢模式下又細分為單表查詢，匹配查詢和遍歷查詢三種子查詢模式。
　　1.單表查詢。因為用戶有時候會有很明確的查詢目標，就是指定自己希望查詢的表，該功能在用戶指定的表中查詢關鍵字。把查詢到的與關鍵字匹配的元素返回給用戶。
　　2.匹配查詢。該查詢方式是通過匹配表查詢實現(xiàn)關鍵詞的查詢。當用戶輸入關鍵詞后，系統(tǒng)會在匹配表中查詢與該關鍵詞相對應的表和表中的屬性。這樣使系統(tǒng)有明確的查詢目標，大大提高了系統(tǒng)效率。
　　3.遍歷查詢。該查詢模式是在用戶遞交的關鍵詞既不符合單表查詢又不符合匹配查詢的時候，系統(tǒng)沒有明確的查詢目標。就遍歷整個數(shù)據(jù)庫中的所有表和所有屬性，查詢與關鍵詞匹配的元素。
　　（二）系統(tǒng)設計
　　該商品系統(tǒng)是基于Internet的查詢系統(tǒng)。系統(tǒng)是建立在B/S三層結構上，即Browser/WebServer/Database。
　　1.Browser（客戶端）。只需使用標準的瀏覽器，不需安裝其他程序，只需要打開網頁遞交所需查詢的關鍵字就可以使用。
　　2.WebServer（www服務器提供者）。記錄傳進的關鍵詞并將關鍵詞遞交給數(shù)據(jù)庫，再從數(shù)據(jù)庫中讀取查詢結果返回給用戶。
　　3.Database（數(shù)據(jù)庫）。存放相關的商品的信息。
　　網絡系統(tǒng)平臺模式大體上分為4種：主機終端模式、文件服務器模式、客戶機/服務器模式（Client/Server，簡稱C/S）和Web瀏覽器/服務器模式（Browser/Server，簡稱B/S）。主機終端模式，已被逐步淘汰。而文件服務器模式只適用小規(guī)模的局域網，對于用戶多、數(shù)據(jù)量大的情況就會產生網絡瓶頸，在互聯(lián)網上不能滿足用戶要求。對于遠程系統(tǒng)來說，主要考慮C/S模式和B/S模式。C/S模式主要由客戶應用程序（Client）、服務器管理程序（Server）和中間件（middleware）三個部件組成。C/S模式的優(yōu)點：交互性強、提供更安全的存取模式、降低網絡通信量。由于C/S在邏輯結構上比B/S少一層，對于相同的任務，C/S完成的速度比B/S快，這就使得C/S模式更利于處理大量數(shù)據(jù)。
　　B/S模式是一種以Web技術為基礎的新型的網絡系統(tǒng)平臺模式。把傳統(tǒng)C/S模式中的服務器部分分解為一個數(shù)據(jù)服務器與一個或多個應用服務器（Web服務器），從而構成一個三層結構的客戶服務器體系。第一層客戶機是用戶與整個系統(tǒng)的接口?？蛻舻膽贸绦蚓喌揭粋€通用的瀏覽器軟件。第二層Web服務器將啟動相應的進程來響應客戶的請求，并動態(tài)生成一串HTML代碼，其中嵌入處理的結果，返回給客戶機的瀏覽器。第三層數(shù)據(jù)庫服務器的任務類似于C/S模式，負責協(xié)調不同的Web服務器發(fā)出的SQL請求，管理數(shù)據(jù)庫。B/S模式的優(yōu)點是簡化了客戶端、用戶的操作更簡單、適用于網上信息發(fā)布。
　　三、系統(tǒng)實現(xiàn)
　?。ㄒ唬┪谋静樵儗崿F(xiàn)
　　1.單表查詢。單表查詢的原理就是用戶輸入要查詢的商品表，然后系統(tǒng)會遍歷表中所有的文本屬性，接著在這些文本屬性中尋找與用戶遞交的關鍵詞相匹配的元素，最后返回到系統(tǒng)界面中。同時系統(tǒng)會對用戶輸入的關鍵詞進行檢測，如果該關鍵詞在關系匹配表和屬性匹配表中存在就會調用更新分數(shù)函數(shù)把關系匹配表和屬性匹配表中的分數(shù)字段的值自動加“1”，如果在關系匹配表和屬性匹配表中不存在的話，那么就會調用插入函數(shù)把該關鍵詞作為新的關鍵詞插入到關系匹配表和屬性匹配表中，并且會賦予初始分數(shù)和系統(tǒng)的當前時間。
　　實現(xiàn)這個功能的主要有：查詢指定表、結果集評分、插入新關鍵詞以及返回有序結果集。
　　2.利用匹配表查詢。匹配表查詢的原理就是關鍵詞已經與表和表中的屬性一一對應起來，只要輸入的關鍵詞在關系匹配表和屬性匹配表中存在那么系統(tǒng)就會通過關系匹配表找到關鍵詞對應的表，然后再通過屬性匹配表找到關鍵詞在表中對應的屬性，這樣大大的提高了查詢效率，所以從理論上來說這種查詢方式的響應時間的平均值應該是最小的。實現(xiàn)這個功能的主要就是匹配關鍵詞。
　　3.遍歷數(shù)據(jù)庫查詢。遍歷數(shù)據(jù)庫查詢的原理就是當用戶沒有選擇商品類型，同時遞交的關鍵詞又不是關系匹配表和屬性匹配表中“Keywords”這個字段的子集，那么出現(xiàn)這種情況系統(tǒng)就會遍歷數(shù)據(jù)庫所有表和表中的所有文本屬性，所以這種查詢模式的系統(tǒng)響應時間是最長的也是最耗費系統(tǒng)資源的。
　　實現(xiàn)這個功能主要就是匹配關鍵詞和遍歷整個數(shù)據(jù)庫的屬性。
　?。ǘ?shù)字查詢實現(xiàn)
　　此模塊的作用就是滿足用戶對數(shù)據(jù)庫中數(shù)字屬性的查詢。這個模塊類似文本查詢，分為單表查詢和遍歷查詢兩種查詢模式，沒有了文本查詢中的匹配查詢。
　　1.數(shù)字查詢的單表查詢。在用戶指定的表中，查詢用戶輸入的數(shù)字范圍，并且把結果返回給用戶。
　　2.遍歷查詢。在用戶沒有指定表而輸入了查詢條件，那么系統(tǒng)就會遍歷這個表查詢是否存在與用戶輸入的查詢范圍相符合的元素。
　　這個功能的主要就是通過匹配數(shù)字關鍵字和遍歷整個數(shù)據(jù)庫的數(shù)字屬性來實現(xiàn)。
　?。ㄈ┫到y(tǒng)流程
　　流程上介紹了系統(tǒng)的運行方式。首先系統(tǒng)判斷用戶輸入的關鍵詞是文本屬性還是數(shù)字屬性，再判定用戶的查詢方式是單表查詢還是非單表查詢，如果是非單表查詢再判斷是匹配查詢還是遍歷查詢，如果存在所要查詢的關鍵字那么把排序好的結果集返回給用戶，不存在的話就返回個空集給用戶，告訴用戶輸入的關鍵詞在數(shù)據(jù)庫中沒有找到匹配項。
　　四、結束語
　　關鍵詞查詢是當今互聯(lián)網上使用最為廣泛的數(shù)據(jù)庫查詢技術之一。它以其友好的查詢界面，和與人們自然語言相接近，并且是十分高效贏得了用戶們的肯定。比如，現(xiàn)今被最為推崇的搜索引擎Google它就是基于關鍵詞查詢。
　　本文詳細論述了一個基于關鍵詞查詢的商品檢索系統(tǒng)。通過對系統(tǒng)的結構和功能的分析了解系統(tǒng)的主要功能是完成用戶輸入的關鍵詞在數(shù)據(jù)庫中的查詢工作，返回一個有序的結果集。
　　系統(tǒng)根據(jù)遞交的關鍵詞的屬性分為了文本查詢和數(shù)字查詢兩種，每一種都有不同的評分標準和相關算法，在這兩種模式下又分為單表查詢，匹配查詢和遍歷查詢這三種子模式。
　　以上幾種查詢方式是符合用戶使用系統(tǒng)的習慣，最大可能滿足用戶不同的查詢方式。系統(tǒng)是經過嚴格的編碼和多次的測試的，結果集的產生是準確的，符合用戶遞交的關鍵字同時系統(tǒng)還會顯示系統(tǒng)響應時間反映了系統(tǒng)執(zhí)行這次查詢的效率，讓用戶對自己這次關鍵詞查詢在時間花費上有定量的認識。
　　當然，如果能整合數(shù)據(jù)庫檢索系統(tǒng)，信息檢索系統(tǒng)和XML檢索系統(tǒng)，不管采用怎樣的方式，關鍵詞提交搜索仍是用戶與系統(tǒng)之間最重要的接口。繼續(xù)深入探討以各種方式存儲在數(shù)據(jù)庫中的信息并返回相關信息成為以后工作中的重點。
　　參考文獻：
　　1.王云.關系數(shù)據(jù)庫的索引技術[J].計算機與信