基于P2P技術(shù)的網(wǎng)絡(luò)信息檢索探討

鄭藝芳

摘 要：隨著計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展，計(jì)算機(jī)技術(shù)也從傳統(tǒng)的單機(jī)運(yùn)行發(fā)展到網(wǎng)絡(luò)、網(wǎng)格化發(fā)展，當(dāng)前計(jì)算機(jī)網(wǎng)絡(luò)發(fā)展模式主要為：客戶端/服務(wù)器， 瀏覽器/服務(wù)器模式，這兩種模式都存在著對(duì)服務(wù)器要求非常高，海量信息調(diào)度、檢索存在著耗時(shí)高等問(wèn)題，而peer-to-peer（P2P）正是針對(duì)此問(wèn)題二提出的分布式計(jì)算模式。此種模式具有存儲(chǔ)內(nèi)容集中、檢索方便、系統(tǒng)組織協(xié)調(diào)能力優(yōu)良等特點(diǎn)。

關(guān)鍵詞：P2P技術(shù)；網(wǎng)絡(luò)信息檢索；研究

1 P2P技術(shù)概述

1.1 P2P定義

P2P是Peer-to-Peer（對(duì)等網(wǎng)絡(luò)，對(duì)等計(jì)算）的簡(jiǎn)稱，中文譯名為對(duì)等互聯(lián)或者點(diǎn)對(duì)點(diǎn)技術(shù)，在P2P網(wǎng)絡(luò)中各個(gè)節(jié)點(diǎn)被稱為peer（對(duì)等體）。P2P是一種網(wǎng)絡(luò)模型，在這種網(wǎng)絡(luò)中所有的節(jié)點(diǎn)是對(duì)等的（稱為對(duì)等點(diǎn)），各節(jié)點(diǎn)無(wú)主從之分，具有相同的責(zé)任與能力并協(xié)同完成任務(wù)。對(duì)等點(diǎn)之間通過(guò)直接互連共享信息資源、處理器資源、存儲(chǔ)資源甚至高速緩存資源等，無(wú)需依賴集中式服務(wù)器或資源就可完成。

P2P網(wǎng)絡(luò)并不是一種專門的新興技術(shù)，而是假設(shè)在互聯(lián)網(wǎng)絡(luò)中的結(jié)構(gòu)基礎(chǔ)?；ヂ?lián)網(wǎng)最基本的協(xié)議TCP/IP并沒(méi)有客戶機(jī)和服務(wù)器的概念，所有的設(shè)備都是通訊的平等的一端。在十年之前，所有的互聯(lián)網(wǎng)上的系統(tǒng)都同時(shí)具有服務(wù)器和客戶機(jī)的功能。當(dāng)然，后來(lái)發(fā)展的那些架構(gòu)在TCP/IP之上的軟件的確采用了客戶機(jī)/服務(wù)器的結(jié)構(gòu)：瀏覽器和Web服務(wù)器，郵件客戶端和郵件服務(wù)器。但是，對(duì)于服務(wù)器來(lái)說(shuō)，它們之間仍然是對(duì)等聯(lián)網(wǎng)的。以email為例，互聯(lián)網(wǎng)上并沒(méi)有一個(gè)巨大的、唯一的郵件服務(wù)器來(lái)處理所有的email，而是對(duì)等聯(lián)網(wǎng)的郵件服務(wù)器相互協(xié)作把email傳送到相應(yīng)的服務(wù)器上去。另外用戶之間email則一直對(duì)等的聯(lián)絡(luò)渠道。

1.2 P2P發(fā)展的影響

由于各種信息資源的發(fā)展和不斷壯大，通過(guò)共享資源的方式來(lái)提升數(shù)據(jù)的傳送、文件共享的功能要求將會(huì)越來(lái)越高，而當(dāng)前的應(yīng)用系統(tǒng)采用的方式大都是用服務(wù)器共享的方式，這已經(jīng)開(kāi)始嚴(yán)重制約著信息傳遞的數(shù)據(jù)，因而P2P作為一種新的共享方式出現(xiàn)，成為了時(shí)代的寵兒，它為文件共享、分布式計(jì)算機(jī)和信息交流提供了一種更加靈活和高效的模式，也為信息安全帶來(lái)了新的挑戰(zhàn)。

2 基于P2P技術(shù)的網(wǎng)絡(luò)信息檢索

2.1 基于P2P技術(shù)的網(wǎng)絡(luò)信息檢索的提出

傳統(tǒng)的信息檢索基于C/S模式，在該模式中，數(shù)據(jù)的分發(fā)采用專門的服務(wù)器，多個(gè)客戶端都從此服務(wù)器獲取數(shù)據(jù)。這種模式的優(yōu)點(diǎn)是：數(shù)據(jù)的一致性容易控制，系統(tǒng)也容易管理，但這種模式對(duì)于大規(guī)模網(wǎng)絡(luò)的環(huán)境容易造成性能瓶頸。在網(wǎng)絡(luò)邊緣信息不斷豐富的今天，我們必須在互聯(lián)網(wǎng)上設(shè)置擁有強(qiáng)大處理能力和高寬帶的高性能計(jì)算機(jī)，配合高檔的服務(wù)器軟件，再將大量的數(shù)據(jù)集中存放在上面。這種架構(gòu)使我們對(duì)服務(wù)端的投入巨大，因此服務(wù)器的個(gè)數(shù)只能是有限的，這就使系統(tǒng)容易出現(xiàn)單一失效點(diǎn)。同時(shí)C/S模式使得互聯(lián)網(wǎng)中無(wú)論是信息還是資源均向同一方向集中，它的網(wǎng)絡(luò)優(yōu)勢(shì)往往被局限于企業(yè)內(nèi)部，制約了企業(yè)間的信息交流，而且網(wǎng)絡(luò)安全性較差也是一個(gè)不容忽視的問(wèn)題。從目前公布的數(shù)據(jù)來(lái)看，容量最大的搜索引擎也不過(guò)是抓取了整個(gè)網(wǎng)頁(yè)數(shù)量的40%左右。傳統(tǒng)的集中式引擎無(wú)法勝任實(shí)時(shí)性強(qiáng)的海量信息檢索，P2P技術(shù)的蓬勃發(fā)展卻為信息檢索提供了全新的思路。在P2P網(wǎng)絡(luò)中，每個(gè)參與網(wǎng)絡(luò)的主機(jī)既是內(nèi)容的消費(fèi)者，又是內(nèi)容的提供者，各個(gè)結(jié)點(diǎn)各自對(duì)自己本機(jī)上存儲(chǔ)的信息做索引，所有信息提供者一起構(gòu)成一個(gè)龐大的分布式數(shù)據(jù)庫(kù)以供檢索，這可以有效解決動(dòng)態(tài)網(wǎng)頁(yè)信息檢索的問(wèn)題，同時(shí)P2P網(wǎng)絡(luò)中的每一個(gè)企業(yè)的信息點(diǎn)都是一個(gè)獨(dú)立的Peer節(jié)點(diǎn)，每個(gè)Peer節(jié)點(diǎn)之間進(jìn)行對(duì)等通訊，避免了傳統(tǒng)C/S結(jié)構(gòu)的低效和高成本，數(shù)據(jù)的集中處理又避免了P2P帶來(lái)的數(shù)據(jù)分散。

2.2 基于P2P技術(shù)的網(wǎng)絡(luò)信息檢索的原理

在P2P網(wǎng)絡(luò)中，每個(gè)參與的節(jié)點(diǎn)既是服務(wù)器又是客戶端，既是信息的提供者又是信息的消費(fèi)者。P2P信息檢索的目的就是網(wǎng)絡(luò)中的任意節(jié)點(diǎn)都可以提交檢索的請(qǐng)求，然后這些檢索通過(guò)某種路由機(jī)制被路由到和檢索相關(guān)的節(jié)點(diǎn)上去，存儲(chǔ)有和該檢索相關(guān)信息的節(jié)點(diǎn)將會(huì)回應(yīng)請(qǐng)求，把本地相關(guān)的內(nèi)容以對(duì)等的形式直接傳送到請(qǐng)求節(jié)點(diǎn)上，示意圖見(jiàn)圖1。

圖中的檢索過(guò)程分為以下幾個(gè)階段：

每個(gè)節(jié)點(diǎn)在加入網(wǎng)絡(luò)的時(shí)候，會(huì)對(duì)存儲(chǔ)在本節(jié)點(diǎn)上的內(nèi)容進(jìn)行索引，以滿足本地內(nèi)容檢索的目的。然后按某種預(yù)定的規(guī)則選擇一些節(jié)點(diǎn)作為自己的鄰居，加入到P2P網(wǎng)絡(luò)當(dāng)中。

（1）發(fā)起者P提出檢索請(qǐng)求q，并將q發(fā)送給自己的鄰居。

（2）P的鄰居收到q后，再按照某種策略轉(zhuǎn)發(fā)給它在網(wǎng)絡(luò)中的其它鄰居節(jié)點(diǎn)。這樣，q就在整個(gè)網(wǎng)絡(luò)中傳播開(kāi)來(lái)。

（3）收到請(qǐng)求q的節(jié)點(diǎn)如果存儲(chǔ)有相應(yīng)內(nèi)容信息，則將對(duì)應(yīng)的內(nèi)容返回。

2.3 基于P2P技術(shù)的網(wǎng)絡(luò)信息檢索的主要分類

P2P檢索主要分成3種類型：結(jié)構(gòu)化的P2P、網(wǎng)絡(luò)的搜索技術(shù)以及針對(duì)這2種類型的改進(jìn)技術(shù)。前出現(xiàn)的P2P系統(tǒng)具備足夠的語(yǔ)義，能夠處理復(fù)雜查詢，以稱為新一代的P2P檢索技術(shù)。

P2P信息檢索主要是要提高交互式作業(yè)方式、用戶透明度，拓寬信息檢索空間、提高信息檢索的準(zhǔn)確性。

2.4 P2P檢索技術(shù)的方法

P2P查詢的關(guān)鍵技術(shù)包含比較廣泛，核心技術(shù)包括索引構(gòu)造技術(shù)、路由策略及查詢優(yōu)化等，下面將分別對(duì)它們進(jìn)行介紹。

2.4.1 索引構(gòu)造技術(shù)

索引構(gòu)造技術(shù)直接影響P2P系統(tǒng)的路由策略以及系統(tǒng)的查詢效率，因此，構(gòu)造具有豐富語(yǔ)義和高效的索引對(duì)于P2P系統(tǒng)是非常關(guān)鍵的，一般索引構(gòu)造技術(shù)分成基于模式的索引和實(shí)例索引，模式索引為PDMS所特有，考慮了語(yǔ)義異構(gòu)問(wèn)題。實(shí)例索引包括：①通過(guò)散列將原始數(shù)據(jù)標(biāo)識(shí)符映射到ID集合，再將ID集合映射到負(fù)責(zé)該ID的peer，可以具有多種拓?fù)湫螒B(tài)的散列索引；②把數(shù)據(jù)庫(kù)中B+樹(shù)思想在P2P環(huán)境下進(jìn)行擴(kuò)展產(chǎn)生的樹(shù)形索引。實(shí)例索引有多種分布方法：本地分布、集中式分布和分布式分布。本地索引中各peer只維持對(duì)自己的數(shù)據(jù)的引用，而不管其他節(jié)點(diǎn)上的數(shù)據(jù)的信息；集中式索引需單個(gè)服務(wù)器上保存許多peer上數(shù)據(jù)的引用，索引是集中的，但數(shù)據(jù)是分布的；分布式索引指向目標(biāo)的指針存放在多個(gè)peer上，可有效分散查詢負(fù)載和索引的存儲(chǔ)負(fù)載，具有更強(qiáng)的健壯性和可擴(kuò)展性。

2.4.2 查詢優(yōu)化

由于P2P網(wǎng)絡(luò)動(dòng)態(tài)的特性，不能假定具備數(shù)據(jù)分布的全局視圖，也不能在這些網(wǎng)絡(luò)中采用靜態(tài)的拓?fù)浜筒樵冇?jì)劃，使得提交的查詢不太可能在整個(gè)查詢處理過(guò)程中都保持原來(lái)的性質(zhì)。為此，對(duì)查詢進(jìn)行優(yōu)化變得非常重要，這樣可以加快查詢執(zhí)行的效率，同時(shí)減少網(wǎng)絡(luò)流量。

2.5 基于P2P技術(shù)的網(wǎng)絡(luò)信息檢索的特點(diǎn)

P2P系統(tǒng)具有自組織性、對(duì)稱性、可擴(kuò)展性以及分布控制等優(yōu)良特性。隨著P2P系統(tǒng)的廣泛應(yīng)用，該系統(tǒng)被認(rèn)為是未來(lái)分布式計(jì)算的關(guān)鍵技術(shù)，可以應(yīng)用于數(shù)據(jù)共享、CPU周期共享、及時(shí)信息傳輸以及協(xié)同工作組件等方面，同時(shí)在搜索引擎、數(shù)據(jù)流管理、語(yǔ)義網(wǎng)、協(xié)作信息過(guò)濾等領(lǐng)域具有廣闊的應(yīng)用前景。對(duì)P2P的研究主要集中在搜索、存儲(chǔ)、安全和應(yīng)用4個(gè)方面，而搜索是P2P技術(shù)的核心。

P2P信息檢索通過(guò)分布式存儲(chǔ)和處理能力為大范圍的Web文件搜索提供可能，傳統(tǒng)式的搜索引擎對(duì)于數(shù)據(jù)的更新緩慢不能滿足用戶實(shí)時(shí)性要求。受網(wǎng)絡(luò)爬蟲(chóng)采集信息能力的限制，傳統(tǒng)的搜索引擎很難進(jìn)行深度采集深層次的網(wǎng)頁(yè)信息。與傳統(tǒng)的檢索技術(shù)相比較，基于P2P信息檢索技術(shù)有以下優(yōu)點(diǎn)：（1）P2P信息檢索充分利用以大規(guī)模分布形式存在的信息。（2）彌補(bǔ)傳統(tǒng)搜索引擎無(wú)力深度挖掘網(wǎng)站信息的弱點(diǎn)。（3）挖掘移動(dòng)終端的信息。（4）構(gòu)建人性化的信息終端。

傳統(tǒng)的信息檢索，必須借助網(wǎng)絡(luò)檢索工具Internet上的信息極其豐富，這些信息分布在全世界不同的計(jì)算機(jī)主機(jī)上，基于超文本結(jié)構(gòu)在Internet上，基于WWW的信息組織采用了超文本方式?；赑2P技術(shù)的信息檢索技術(shù)以人為本的理念使客戶使用起來(lái)更加方便、容易，檢索的更加徹底和透明。未來(lái)的P2P檢索技術(shù)主要是和3G技術(shù)，移動(dòng)智能技術(shù)結(jié)合起來(lái)，使用戶深切感受到21世紀(jì)網(wǎng)絡(luò)時(shí)代的方便。

3 基于P2P技術(shù)的研究

3.1 基于P2P的網(wǎng)絡(luò)信息資源的檢索-搜索引擎的研究

3.1.1 Caching技術(shù)

在對(duì)等網(wǎng)絡(luò)中，索引信息的擴(kuò)散是通過(guò)查詢來(lái)驅(qū)動(dòng)的，成功的查詢結(jié)果被緩存下來(lái)，使得索引信息可以再網(wǎng)絡(luò)擴(kuò)散開(kāi)來(lái)。資源搜索效率可否再次成百倍地提高，即在用戶未提出問(wèn)題時(shí)就為他準(zhǔn)備好答案，Caching技術(shù)可以使資源效率達(dá)到10-100。盡管網(wǎng)絡(luò)資源無(wú)限爆炸，但每一個(gè)成員及其每一次查詢，所涉及到的回答域都是有限的，并且基本保持固定不變，這就是局部性原理。計(jì)算機(jī)體系結(jié)構(gòu)中關(guān)鍵技術(shù)指令和數(shù)據(jù)在不久的將來(lái)可能被再次訪問(wèn)，即下一程序指令在前條指令的概率非常大，因此，實(shí)踐局部性往往會(huì)引起對(duì)最近使用區(qū)域的集中訪問(wèn)；空間局部性指的是一個(gè)進(jìn)程訪問(wèn)的各項(xiàng)進(jìn)程彼此很近，即下一次程序指令在前條指令附近的概率非常大。前者就是程序Cache，后者就是數(shù)據(jù)Cache的理論依據(jù)。

3.1.2 分布式的Gnutella搜索機(jī)制

在Gnutella中，每個(gè)節(jié)點(diǎn)共享一些文件，并提供基于文件名的本地查詢操作。它使用消費(fèi)洪泛的方式搜索其他節(jié)點(diǎn)上的文件。發(fā)起搜索操作的節(jié)點(diǎn)向所有鄰居節(jié)點(diǎn)發(fā)送Query消息，而接到Query消息的節(jié)點(diǎn)進(jìn)行本地查詢，并把查詢進(jìn)一步轉(zhuǎn)發(fā)給自己的所有鄰居。為避免無(wú)窮遞歸，每個(gè)搜索消息都有一個(gè)TTL域，它隨著轉(zhuǎn)發(fā)的進(jìn)行而遞減，TTL為零的消息則不再被轉(zhuǎn)發(fā)。每個(gè)請(qǐng)求都有一個(gè)準(zhǔn)一的標(biāo)識(shí)號(hào)。已收到請(qǐng)求的節(jié)點(diǎn)如發(fā)現(xiàn)已處理過(guò)，則丟棄該請(qǐng)求。

Gnutella的搜索機(jī)制可以看出，個(gè)別節(jié)點(diǎn)失效對(duì)查詢結(jié)果影響較小，能動(dòng)態(tài)適應(yīng)網(wǎng)絡(luò)拓?fù)渥兓?，允許節(jié)點(diǎn)動(dòng)態(tài)加入或退出。

4 結(jié)束語(yǔ)

基于P2P對(duì)等檢索技術(shù)的發(fā)展將會(huì)為互聯(lián)網(wǎng)信息搜索技術(shù)提供出了全新的解決方案，它讓Internet上的共享方式提升到了一個(gè)新的水平，讓人們能夠以更方便、快捷的方式參與到網(wǎng)絡(luò)交互中去，讓人們能夠更好的體驗(yàn)到數(shù)據(jù)共享、數(shù)據(jù)應(yīng)用。

參考文獻(xiàn)

[1]劉化君.計(jì)算機(jī)網(wǎng)絡(luò)與通信[M].北京：高等教育出版社，2007.11.

[2]James F.Kurose，Keith W.Ross.Computer NetworkingATop-DownApproach.Chenming.第四版.機(jī)械工業(yè)出版社，2008.12.

[3]田口美帆.互聯(lián)網(wǎng)技術(shù)[M].科學(xué)出版社，2004.

[4]傅向華，馮博琴.主題驅(qū)動(dòng)的P2P分布式信息搜索機(jī)制研究[J].小型微型計(jì)算機(jī)系統(tǒng)，2006.

[5]徐光明，沈云付.基于語(yǔ)義網(wǎng)的節(jié)點(diǎn)關(guān)聯(lián)的P2P搜索[Z].

[6]周晉，路海明，李衍達(dá).用Small2World設(shè)計(jì)無(wú)組織P2P系統(tǒng)的路由算法[J].軟件學(xué)報(bào)，2004.

[7]凌波，陸志國(guó)，黃維維，等.PeerIS：基于Peer2to2Peer的信息檢索系統(tǒng)[J].軟件學(xué)報(bào)，2004.

[8]馮國(guó)富，毛鶯池，陸桑璐，等.PeerRank.一種無(wú)結(jié)構(gòu)P2P資源發(fā)現(xiàn)策略[J].軟件學(xué)報(bào)，2006.

[9]何盈捷，王珊，杜小勇.純PeertoPeer環(huán)境下有效的Top2k查詢[J].軟件學(xué)報(bào)，2005.

[10]李治軍，廖明宏.基于信任的P2P真實(shí)性查詢及副本管理算法[J].軟件學(xué)報(bào)，2006.