基于云計(jì)算的語(yǔ)義搜索引擎探究

汪志群

（東北石油大學(xué),黑龍江大慶,163318）

0 引言

互聯(lián)網(wǎng)行業(yè)的快速發(fā)展正在引領(lǐng)著人們的日常生活和工作方式發(fā)生著日新月異的變化。隨著互聯(lián)網(wǎng)行業(yè)的急速發(fā)展，計(jì)算機(jī)能量消耗、存儲(chǔ)、硬件的成本等都在不斷的提高?；ヂ?lián)網(wǎng)急需新的解決方案來(lái)解決目前的情況。針對(duì)當(dāng)前的互聯(lián)網(wǎng)情況，數(shù)據(jù)的分析和收集都需要建立在一種新的平臺(tái)上，這個(gè)平臺(tái)就是本文所研究的云計(jì)算。在云計(jì)算上，針對(duì)目前的海量數(shù)據(jù)，進(jìn)行語(yǔ)義搜索引擎的研究。

1 云計(jì)算介紹

云計(jì)算指的是提供應(yīng)用和部署數(shù)據(jù)中心等這些服務(wù)的硬件和軟件。數(shù)據(jù)中心的硬件和軟件就是我們所謂的云。當(dāng)云作為公司或者機(jī)關(guān)內(nèi)部使用的時(shí)候，我們稱之為私有云。當(dāng)云作為公共服務(wù)，對(duì)外提供服務(wù)的時(shí)候，我們稱之為公共云。從硬件的角度來(lái)說(shuō)，云計(jì)算的好處主要在三個(gè)方面。第一，用戶不需要提前做出資源配置的計(jì)劃，云計(jì)算的資源是即需即用，取之不盡的。第二，云用戶只需要購(gòu)買或者獲取免費(fèi)的云資源就可以直接使用，隨著需要的增加，可以購(gòu)買更多的資源。第三，云用戶可以在需要的時(shí)候，使用云資源，不需要的時(shí)候及時(shí)釋放云資源。云計(jì)算在發(fā)展的過(guò)程中遇到了很多的困難，同時(shí)也有不少的機(jī)遇。

2 搜索引擎介紹

在互聯(lián)網(wǎng)行業(yè)發(fā)展的初期，網(wǎng)絡(luò)信息相對(duì)來(lái)說(shuō)比較少，人們需要查閱資料往往通過(guò)書(shū)籍的查找。然而隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)不斷增加，人們想找自己需要的東西不在通過(guò)書(shū)籍去翻閱了，因?yàn)槟菢拥乃俣葘?shí)在是太慢了。只需要通過(guò)一臺(tái)聯(lián)網(wǎng)的電腦，百度或者google 一下就可以了。百度和google 就是所謂的搜索引擎。因?yàn)樗阉饕鎸?duì)基本上所有的網(wǎng)頁(yè)都進(jìn)行掃描，因此搜索引擎的數(shù)據(jù)是非常海量的。根據(jù)調(diào)查顯示，目前70%的人，都可以通過(guò)搜索引擎來(lái)找到自己需要的信息。搜索引擎已經(jīng)變成了一個(gè)信息門戶和信息樞紐，成為人們獲取知識(shí)和解決問(wèn)題的必備工具。目前大部分的搜索引擎公司都存在著各種各樣的問(wèn)題，比如人員安排是按模塊劃分、團(tuán)隊(duì)間接口不明確、計(jì)算機(jī)資源不足、存儲(chǔ)空間紊亂等。目前，搜索引擎的評(píng)價(jià)體系已經(jīng)是非常明晰的了。一個(gè)好的搜索引擎必須具備快速、準(zhǔn)確、完整等條件。然而，當(dāng)前的搜索引擎因?yàn)楣緦?shí)力的不同，不可能去下載全世界所有的網(wǎng)頁(yè)，因?yàn)檫@需要的是一個(gè)無(wú)法想象的存儲(chǔ)容量。就算是搜索引擎巨頭Google，據(jù)說(shuō)下載的網(wǎng)頁(yè)數(shù)量也僅僅只有0.02%而已。同時(shí)在互聯(lián)網(wǎng)中，很多的信息并沒(méi)有被信息化，因此也不可能完全涉及到。擺在眾多搜索引擎公司面前的問(wèn)題，如何在現(xiàn)有硬件設(shè)施的基礎(chǔ)上更加高效的進(jìn)行計(jì)算和完整的搜索是目前面臨的比較大的問(wèn)題。

3 基于DHT 的全分布網(wǎng)絡(luò)語(yǔ)義搜索算法

傳統(tǒng)的搜索引擎，往往將數(shù)據(jù)等都存儲(chǔ)在特定的服務(wù)器上，這樣對(duì)服務(wù)器的要求就比較高。云計(jì)算屬于一種數(shù)據(jù)中心架構(gòu)，它不依賴于固定的服務(wù)器，與傳統(tǒng)形式的服務(wù)器設(shè)備相比，它屬于一種容易擴(kuò)展，方便管理的網(wǎng)絡(luò)服務(wù)。使用云計(jì)算可以為搜索引擎帶來(lái)最安全、最可靠的數(shù)據(jù)存儲(chǔ)功能，滿足搜索引擎海量數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)要求。云計(jì)算可以把所有的計(jì)算資源集中起來(lái)，對(duì)于搜索引擎這種需要對(duì)海量數(shù)據(jù)進(jìn)行處理的高強(qiáng)度處理要求來(lái)說(shuō)，云計(jì)算是相當(dāng)適合的。通過(guò)軟件來(lái)實(shí)現(xiàn)對(duì)計(jì)算資源的自動(dòng)管理。同時(shí)云計(jì)算可以把現(xiàn)有數(shù)據(jù)和原有的歷史數(shù)據(jù)進(jìn)行自動(dòng)整合，確保文章庫(kù)的最新。

目前來(lái)說(shuō)，搜索引擎主要非為兩大類，一類是全文檢索技術(shù)，另外一類是分類的搜索算法。全文檢索技術(shù)的代表是百度和谷歌。全文檢索技術(shù)通過(guò)對(duì)大量的文本文檔進(jìn)行倒排索引，然后用戶通過(guò)一些關(guān)鍵詞就可以對(duì)文檔進(jìn)行查找。分類的搜索算法的代表是雅虎。分類的搜索算法是通過(guò)把網(wǎng)站進(jìn)行樹(shù)狀的歸類，實(shí)現(xiàn)目錄檢索。這兩種搜索引擎方法都是基于關(guān)鍵詞的。用戶需要輸入一定量的關(guān)鍵詞才能找到自己想要尋找的網(wǎng)頁(yè)。然而這種搜索引擎缺乏語(yǔ)義關(guān)聯(lián)和語(yǔ)義的聯(lián)想，有時(shí)候未必能搜索到用戶想要的信息。因此語(yǔ)義搜索引擎是一種急需補(bǔ)充的技術(shù)。

圖1 文章距離算法流程圖

我們通過(guò)把文章向量距離算法和詞關(guān)聯(lián)度算法進(jìn)行結(jié)合，并且結(jié)合P2P 結(jié)構(gòu)化網(wǎng)絡(luò)提出文章近似度匹配算法。文章距離算法的流程圖如圖1 所示。

文章詞頻的計(jì)算方法：詞頻向量是每篇文章都會(huì)產(chǎn)生的，文檔通常可以使用向量進(jìn)行表示，文檔中的詞就是文檔的特征頻率，用于文章距離算法中使用。通常我們?cè)谶M(jìn)行文章詞頻提取的時(shí)候，我們會(huì)去掉一些沒(méi)有實(shí)際表達(dá)作用的詞匯。

詞關(guān)聯(lián)表的產(chǎn)生和擴(kuò)充：首先搜索引擎會(huì)從網(wǎng)絡(luò)中抓取文章，將文章訓(xùn)練成詞關(guān)聯(lián)表”。然而互聯(lián)網(wǎng)的極速發(fā)展，導(dǎo)致每秒鐘都有可能有成千上萬(wàn)、不計(jì)其數(shù)的文章在進(jìn)行更新，這里我們需要一個(gè)可以進(jìn)行自動(dòng)更新而且可以持續(xù)不斷進(jìn)行大規(guī)模訓(xùn)練的詞庫(kù)。因此我們需要定制一個(gè)單獨(dú)的詞頻更新模塊。

關(guān)聯(lián)表屬于一個(gè)上三角矩陣，在文章庫(kù)中出現(xiàn)過(guò)的實(shí)詞用行和列進(jìn)行表示。同一篇文章中，兩個(gè)單詞出現(xiàn)的次數(shù)在矩陣行和列的交接處表示出來(lái)。例如單詞G 和E，他們的交接處是2，表示他們?cè)谕黄恼轮谐霈F(xiàn)了兩次。當(dāng)文章庫(kù)進(jìn)行更新時(shí)，會(huì)對(duì)詞關(guān)聯(lián)度進(jìn)行更新。隨著訓(xùn)練文章數(shù)目的增加，矩陣也不斷的變大。比如當(dāng)文章庫(kù)的數(shù)量增加到一定的程度時(shí)，G 和E 交接處的數(shù)字變成了40，文章庫(kù)總數(shù)量是2000 的話，我們就可以認(rèn)為這兩個(gè)詞在同一篇文章中的同時(shí)出現(xiàn)的概率為百分之二。

詞的關(guān)聯(lián)度在詞向量擴(kuò)展時(shí)的應(yīng)用：兩篇文章在比較的過(guò)程中，一定會(huì)出現(xiàn)陌生詞匯。陌生詞匯指的是這兩個(gè)詞頻向量中沒(méi)有同時(shí)出現(xiàn)的詞。兩篇文章進(jìn)行向量比較時(shí)，需要擴(kuò)展兩篇文章之間的詞表才能進(jìn)行兩篇文章之間的向量比較。要不，兩篇文章的向量維數(shù)將會(huì)不同，這樣也就不存在向量距離這么一個(gè)說(shuō)法了。如果兩篇文章A 和B，它們的詞頻向量分別為a 和b，這樣我們就可以將他們的詞頻向量進(jìn)行擴(kuò)展，擴(kuò)展為a 和b 的并積。將原來(lái)的詞的詞頻保留，新生成的詞頻一律設(shè)置為0 即可。然而這種方法想的有點(diǎn)過(guò)于簡(jiǎn)單了，因?yàn)槿绻鸄 和B 中的關(guān)鍵詞都是陌生的，僅僅通過(guò)將詞頻賦值為0 的做法，很難辨別出來(lái)兩者之間的關(guān)聯(lián)程度，也就不知道哪兩個(gè)關(guān)鍵詞更加接近。由此，我們就需要設(shè)計(jì)相應(yīng)的關(guān)聯(lián)度算法。

關(guān)聯(lián)度算法：關(guān)聯(lián)度算法的主體思想是，當(dāng)陌生詞出現(xiàn)在兩篇文章之間的時(shí)候，比如文章A 中的關(guān)鍵詞對(duì)于文章B 來(lái)說(shuō)，是陌生的。這時(shí)候，就需要通過(guò)一種算法，將A 中現(xiàn)有的關(guān)鍵詞，推出B 和A 的關(guān)聯(lián)，并將計(jì)算值賦值，而不是之前提到的統(tǒng)統(tǒng)賦值為0。如圖2 所示，關(guān)鍵詞G 對(duì)于文章B 來(lái)說(shuō)屬于陌生詞，而G 本身?yè)碛袕腁 到F 這么多的關(guān)鍵詞。通過(guò)計(jì)算關(guān)聯(lián)度來(lái)判斷G 和文章B 的接近程度。詞頻向量擴(kuò)展圖如圖2 所示。

圖2 詞頻向量擴(kuò)展圖

返回相似文章列表：通過(guò)對(duì)DHT 中所有的詞頻表進(jìn)行距離計(jì)算后，通過(guò)原文章距離最接近的和排序返回的一些文章的鏈接和快照。這些鏈接和快照就是我們常常在使用搜索引擎搜索某些關(guān)鍵詞后出來(lái)的結(jié)果。

4 總結(jié)

本文主要的研究對(duì)象為基于云計(jì)算的語(yǔ)義搜索引擎，將搜索引擎的海量的數(shù)據(jù)源和海量的數(shù)據(jù)處理功能部署在云上，通過(guò)云計(jì)算的手段來(lái)完成傳統(tǒng)的服務(wù)器負(fù)載的功能。傳統(tǒng)的搜索往往是通過(guò)關(guān)鍵詞搜索技術(shù)進(jìn)行定位，最后獲得搜索結(jié)果，本文研究的搜索引擎為語(yǔ)義搜索引擎，將關(guān)鍵詞所對(duì)應(yīng)的關(guān)聯(lián)詞等同時(shí)進(jìn)行搜索，最后獲取到搜索結(jié)果。這樣獲得的搜索結(jié)果將會(huì)更多，更加能夠滿足客戶的需求。與傳統(tǒng)的搜索引擎相比，本文所研究的所有引擎更有市場(chǎng)發(fā)展前景，更加適合未來(lái)市場(chǎng)的發(fā)展需要。

[1] 陳大平集成搜索引擎與元搜索引擎比較研究大學(xué)圖書(shū)情報(bào)學(xué)刊 2009 年 2 月第 23 卷第 1 期 42-43 頁(yè)

[2] 崔飛虎、潘正運(yùn)基于互聯(lián)網(wǎng)的全文搜索引擎模型信息安全與通信保密2010 年 02 期 120-122 頁(yè)