網(wǎng)絡(luò)信息檢索的工具

[摘 要] 搜索引擎是人們使用Internet信息資源的重要工具。本文對(duì)目前的中文搜索引擎進(jìn)行了簡要的分析，指出了其存在的缺陷和發(fā)展的方向。

[關(guān)鍵詞] 信息檢索 中文搜索引擎 存在的問題 發(fā)展方向

隨著Internet信息資源的迅速增長，如何在浩瀚的信息海洋中準(zhǔn)確、方便、快速地找到自己所需的信息，成了迫切需要解決的問題，從1995年開始出現(xiàn)的信息檢索工具——搜索引擎很好地解決了這一問題。然而各種搜索引擎，特別是尚處于發(fā)展初期的中文搜索引擎還存在著很多的缺陷有待改進(jìn)，本文旨在分析目前中文搜索引擎存在的主要問題，并為解決此類問題提出一些建議和方法。

一、搜索引擎的概念和及類型

搜索引擎又稱檢索引擎，是指運(yùn)行在Internet上，以信息資源為對(duì)象，以信息檢索的方式為用戶提供所需數(shù)據(jù)的服務(wù)系統(tǒng)，主要包括信息存取、信息管理和信息檢索三大部分。

目前，中文搜索引擎主要有三種類型：目錄式搜索引擎、機(jī)器人搜索引擎（又稱全文搜索引擎）和元搜索引擎。

1.目錄式搜索引擎。目錄式搜索引擎是以人工或半人工方式收集信息，建立數(shù)據(jù)庫，由編輯人員在訪問了某個(gè)web站點(diǎn)后，對(duì)該站點(diǎn)進(jìn)行描述，并根據(jù)站點(diǎn)的內(nèi)容和性質(zhì)將其歸為一個(gè)預(yù)先分好的類別。由于目錄式搜索引擎的信息分類和信息搜集有人的參與，其搜索的準(zhǔn)確度較高，導(dǎo)航質(zhì)量也不錯(cuò)。但因其人工的介入，維護(hù)量大，信息量少，信息更新不及時(shí)都使得人們利用它的程度有限。國內(nèi)著名的新浪、搜狐、中文雅虎都屬于這種類型。

2.機(jī)器人搜索引擎。這是一種目前運(yùn)用較廣泛的搜索引擎。國內(nèi)以百度，google、天網(wǎng)為代表。它是使用自動(dòng)采集軟件Robot，搜集和發(fā)現(xiàn)信息，并下載到本地文檔庫，再對(duì)文檔內(nèi)容進(jìn)行自動(dòng)分析并建立索引。對(duì)于用戶提出的檢索要求，通過檢索模塊檢索索引，找出匹配文檔返回給用戶。

機(jī)器人搜索引擎具有龐大的全文索引數(shù)據(jù)庫。其優(yōu)點(diǎn)是信息量大，范圍廣，較適用于檢索難以查找的信息或一些較模糊的主題。缺點(diǎn)是缺乏清晰的層次結(jié)構(gòu)，檢索結(jié)果重復(fù)較多，需要用戶自己進(jìn)行篩選。

3.元搜索引擎。元搜索引擎是一種調(diào)用其他搜索引擎的引擎。它是通過一個(gè)統(tǒng)一的用戶界面，幫助用戶在多個(gè)搜索引擎中選擇和利用合適的搜索引擎來實(shí)現(xiàn)檢索。中文元搜索引擎開發(fā)較少，較成熟的則更少，萬緯搜索是目前有一定影響的中文元搜索引擎。

二、現(xiàn)階段中文搜索引擎存在的主要問題

1.信息覆蓋面有限?，F(xiàn)階段搜索引擎所覆蓋的數(shù)據(jù)庫的規(guī)模是非常有限的，據(jù)美國科學(xué)期刊Natures一篇報(bào)告中稱，全球最大的搜索引擎也只能覆蓋現(xiàn)有網(wǎng)頁的16%。中文搜索引擎因起步慢、中文信息所占互聯(lián)網(wǎng)全部信息的比例?。ㄖ徽既烤W(wǎng)絡(luò)信息的5%）等原因在這方面尤為突出。

2.查全率不高。查全率是指檢索出的相關(guān)信息量與存儲(chǔ)在檢索系統(tǒng)中的全部相關(guān)信息量的百分比，是判斷檢索系統(tǒng)質(zhì)量的度量之一。

國內(nèi)絕大多數(shù)的網(wǎng)站組織的信息大多都是通過瀏覽方式獲得內(nèi)容。即使是經(jīng)過精心組織、編排非常合理的網(wǎng)站，也會(huì)有70%～80%的網(wǎng)頁不能被搜索引擎檢索到。中文目錄式搜索引擎因需人工介入、維護(hù)量大，在這方面表現(xiàn)較明顯。

3.查準(zhǔn)率較低。查準(zhǔn)率更是判斷檢索系統(tǒng)質(zhì)量的重要尺度。是指系統(tǒng)所檢索到的真正與查詢內(nèi)容相關(guān)的文檔占檢索出的所有文檔數(shù)的百分比。

造成查準(zhǔn)率低的原因是，部分搜索引擎的分類體系與科學(xué)知識(shí)體系之間缺乏內(nèi)在聯(lián)系；類目之間邏輯關(guān)系模糊，導(dǎo)致檢索路徑與搜索引擎類目錯(cuò)位；信息加工深度不夠；檢索功能單一；檢索詞的專指性較差；大部分的檢索結(jié)果是題錄式而非全文式，其內(nèi)容簡單等等。機(jī)器人搜索引擎的分類和索引缺乏人工的參與，其查準(zhǔn)率不如目錄式搜索引擎，且檢索結(jié)果中還含有大量的重復(fù)、虛假的信息。

4.專業(yè)性的搜索引擎發(fā)展遲緩。專業(yè)性的搜索引擎是為專門收錄某一行業(yè)，某一主題的信息而建立，能夠提供專題信息查詢服務(wù)的搜索引擎。目前中文搜索引擎大多是綜合性的，能同時(shí)收錄各行業(yè)、各學(xué)科的多種信息，但在反映某一行業(yè)或某一專題的信息方面很難做到全面、精確，不能給用戶提供特定的信息服務(wù)。這就使得專業(yè)人員，特別是某一領(lǐng)域的學(xué)者、專家不愿意利用中文搜索引擎去查詢資料。

5.檢索功能方面存在缺陷。一是檢索中符合布爾邏輯運(yùn)算符的搜索引擎極為有限；二是關(guān)鍵詞檢索輸出的結(jié)果相關(guān)度排序方式雜亂，不能根據(jù)用戶需要來選擇信息輸出的方式；三是多數(shù)的搜索引擎是面向主題搜索不是面向用戶搜索，不能重復(fù)利用用戶檢索過的成果，更不能對(duì)特定的用戶進(jìn)行定題跟蹤服務(wù)；四是檢索網(wǎng)站的主頁不規(guī)范，有些太簡，有些又太繁，而且廣告內(nèi)容太多，無法進(jìn)行有效檢索。

三、中文搜索引擎的發(fā)展方向

1.提高查全率。首先是需要開發(fā)分布式的系統(tǒng)。這種系統(tǒng)可以把各個(gè)接點(diǎn)當(dāng)作是新的信息資源，擴(kuò)大數(shù)據(jù)庫的規(guī)模，正在興起的元搜索引擎屬于這種系統(tǒng)，它在接受了用戶的查詢命令后，可同時(shí)用多個(gè)搜索引擎進(jìn)行查詢；二是把專業(yè)數(shù)據(jù)庫資源納入自己的檢索范圍。除了Web信息資源外，網(wǎng)上還有大量的非Web信息資源，如聯(lián)機(jī)檢索系統(tǒng)、光盤檢索系統(tǒng)、專業(yè)數(shù)據(jù)庫系統(tǒng)。如中文搜索引擎能把這些Web和非Web資源結(jié)合起來使用，即使有的只能查到題錄、文摘等內(nèi)容，也大大擴(kuò)展了檢索范圍，能為用戶提供較全面的檢索需求。

2.提高查準(zhǔn)率。需解決以下幾個(gè)難關(guān)：首先需提高搜索引擎的信息過濾功能。在對(duì)網(wǎng)絡(luò)信息進(jìn)行集中的搜集之后，搜索引擎還需對(duì)這些信息進(jìn)行鑒別和過濾，即剔除大量的無用信息，而把有效的信息提煉出來并加以聚集；第二則是需對(duì)專家過濾后的信息進(jìn)行一定的檢索標(biāo)引，并給予相關(guān)的標(biāo)識(shí)符號(hào)，如關(guān)鍵詞、分類號(hào)、主題詞等各種標(biāo)識(shí)，其關(guān)鍵是利用智能檢索技術(shù)，提高準(zhǔn)確性；把檢索的結(jié)果存儲(chǔ)在相應(yīng)的數(shù)據(jù)庫中，并由URL與Internet建立鏈接供用戶使用；還需注意信息定期更新，以保證信息的新穎性和鏈接的可靠性。

3.建立垂直化專業(yè)領(lǐng)域的搜索引擎。網(wǎng)絡(luò)用戶所從事的職業(yè)千差萬別，不同的用戶對(duì)信息搜索往往有不同的要求。綜合性的搜索引擎收錄的范圍太廣、太大無法滿足某一特定的需求。垂直化專業(yè)搜索引擎則可解決這一難題。它只面向某一特定的領(lǐng)域，專注于自己的特長和核心技術(shù)，能保證對(duì)該領(lǐng)域的信息的收錄齊全與更新迅速。在提供專業(yè)信息方面有著大型綜合搜索引擎無法比擬的優(yōu)勢，所采用的技術(shù)都是些較成熟的技術(shù)。

中文垂直化專業(yè)搜索引擎的發(fā)展已取得了一定的成功，如新浪的新聞搜索，博客搜索、雅虎的個(gè)性化旅行路線搜索、百度的MP3搜索、Google的學(xué)術(shù)搜索，航班搜索等都為用戶提供了較好的搜索功能，為今后的繼續(xù)發(fā)展奠定了基礎(chǔ)。

4.搜索引擎的智能化發(fā)展。智能搜索引擎是未來搜索引擎的發(fā)展趨勢?？梢酝ㄟ^自然語言與用戶交互，最大限度地了解用戶的需求。智能檢索一是表現(xiàn)在搜索引擎技術(shù)的智能化，研究重點(diǎn)放在自然語言處理技術(shù)和人工智能技術(shù)的研究上；另一表現(xiàn)是體現(xiàn)在搜索引擎面向檢索者的智能化，它致力于通過分析檢索者的檢索和瀏覽行為來學(xué)習(xí)檢索者的需求，利用搜索引擎現(xiàn)有的服務(wù)有選擇地為檢索者提供個(gè)性化的服務(wù)。

5.加強(qiáng)搜索引擎的檢索功能。首先需強(qiáng)化全文檢索功能。利用Robot實(shí)現(xiàn)對(duì)站點(diǎn)頁面文字內(nèi)容的全面檢索技術(shù)。比起目錄檢索，全文檢索提供了全新的檢索功能，可以直接根據(jù)文獻(xiàn)資料的內(nèi)容進(jìn)行檢索，支持多角度、多側(cè)面地綜合利用信息資源，全面、準(zhǔn)確、快速是衡量全文檢索系統(tǒng)的關(guān)鍵指標(biāo)；同時(shí)改善用戶檢索界面，設(shè)計(jì)簡潔、明白的界面引導(dǎo)用戶進(jìn)入檢索狀態(tài)；更方便、實(shí)用的檢索技巧的利用，中文搜索引擎需簡化和統(tǒng)一語法規(guī)則，如布爾邏輯檢索符號(hào)的利用：空格或“*”代替“與”、“+”代替“或”、“-”代替“非”，規(guī)范語法符號(hào)，節(jié)省用戶的檢索時(shí)間；還需研發(fā)查詢圖像、聲音、圖片和電影的搜索引擎。

6.完善元搜索引擎。元搜索引擎彌補(bǔ)了獨(dú)立搜索引擎不全的特點(diǎn)，提高了檢索的全面性?，F(xiàn)開發(fā)出的中文元搜索引擎的數(shù)目很少，還有諸多缺陷，需在各方面進(jìn)一步改進(jìn)。

元搜索引擎要對(duì)各獨(dú)立的信息特色進(jìn)行較細(xì)致的調(diào)查，以確定自己要收錄的范圍；在對(duì)目標(biāo)搜索引擎的組織中突出獨(dú)立搜索引擎的檢索特色，并設(shè)計(jì)各搜索引擎之間的檢索方式的轉(zhuǎn)換算法，提高用戶檢索行為的針對(duì)性；建立更為靈活的，面向用戶的信息檢索服務(wù)。檢索界面要統(tǒng)一和友好，檢索方法的設(shè)置要提供給用戶更多的自由空間，使用戶可以按照自己的意愿合理的組織檢索式；在檢索結(jié)果的顯示中要開發(fā)出一個(gè)有效的檢索結(jié)果去重、選擇、排序和優(yōu)化算法，這是中文搜索引擎開發(fā)中的一個(gè)重點(diǎn)和難點(diǎn)。

參考文獻(xiàn)：

[1]孫建軍 成 穎:信息檢索技術(shù)[M].北京:科學(xué)出版社，2004

[2]王 豐:國內(nèi)中文搜索引擎研究[J].網(wǎng)絡(luò)通訊與安全，2007，(8）