基于語(yǔ)義相似度的聚焦爬蟲(chóng)研究

林春杰 金苗娟

摘? 要：實(shí)現(xiàn)高效獲取互聯(lián)網(wǎng)中特定領(lǐng)域信息的有效途徑是使用聚焦爬蟲(chóng)，針對(duì)聚焦爬蟲(chóng)在判斷主題相關(guān)時(shí)缺少語(yǔ)義信息的問(wèn)題，提出了一個(gè)基于語(yǔ)義相似度計(jì)算的聚焦爬蟲(chóng)框架。該框架抽取網(wǎng)頁(yè)的主題詞、內(nèi)容和鏈接信息作為網(wǎng)頁(yè)特征，計(jì)算主題相似度。通過(guò)鏈接的主題相關(guān)度計(jì)算，過(guò)濾URL和判斷URL的重要程度。最后給出了對(duì)比試驗(yàn)，驗(yàn)證了該方法的有效性。

關(guān)鍵詞：聚焦爬蟲(chóng);語(yǔ)義相似度;本體;搜索引擎

Abstract：The effective way to achieve efficient access to information in specific areas of the internet is to use focused crawler. To solve the problem of lack of semantic information when focused crawler judges the relevant topics，a focused crawler framework based on semantic similarity calculation is proposed. The framework extracts the subject words，content and link information of web pages as the features of web pages，and calculates the subject similarity. Through the calculation of topic relevance of links，we can filter URL and rank URL. Finally，the experiment result demonstrated that the proposed method has higher performance than traditional crawlers.

Keywords：focused crawler;semantic similarity;ontology;search engine

0? 引? 言

互聯(lián)網(wǎng)信息的規(guī)模正在不斷地增長(zhǎng)，但人們搜集信息的效率卻相對(duì)落后，搜索引擎技術(shù)可以幫助人們從海量數(shù)據(jù)中快速檢索到所需要的信息。網(wǎng)絡(luò)爬蟲(chóng)是搜索引擎的核心，它負(fù)責(zé)從網(wǎng)絡(luò)中尋找和搜集資源。以Google、百度等搜索引擎為代表的通用搜索引擎目標(biāo)是覆蓋全網(wǎng)絡(luò)，采用廣度優(yōu)先算法的爬蟲(chóng)搜集網(wǎng)頁(yè)進(jìn)行索引，其軟硬件資源消耗較大、無(wú)法深入抓取深層網(wǎng)絡(luò)資源。聚焦爬蟲(chóng)通過(guò)限定某一個(gè)主題，抓取相應(yīng)的網(wǎng)頁(yè)，從而提高抓取效率和精度，因此受到了廣泛的關(guān)注。

聚焦爬蟲(chóng)只關(guān)注特定的主題相關(guān)的網(wǎng)頁(yè)，無(wú)需搜索整個(gè)Web，效率較高，但如何判定網(wǎng)頁(yè)的主題相關(guān)性是其核心問(wèn)題之一。Fish-Search[1]是最早的聚焦爬蟲(chóng)，它采用深度優(yōu)先策略，只抓取與給定的查詢（關(guān)鍵詞或正則表達(dá)式）相匹配的頁(yè)面。Shark-Search[2]系統(tǒng)改進(jìn)了Fish-Search系統(tǒng)，提出利用TF-IDF（term frequency-inverse document frequency）作為文件與用戶查詢之間相關(guān)程度的度量或評(píng)級(jí)，構(gòu)建空間向量模型計(jì)算網(wǎng)頁(yè)和主題之間的相似度。PageRank算法[3]將Web看作是有向圖，通過(guò)網(wǎng)頁(yè)之間的鏈接計(jì)算網(wǎng)頁(yè)間的重要度和相似度。近年來(lái)很多新方法被引入到聚焦爬蟲(chóng)中，文獻(xiàn)[4]提出了將多目標(biāo)蟻群算法應(yīng)用于鏈接選擇，優(yōu)化爬蟲(chóng)搜索方向。文獻(xiàn)[5]給出了一個(gè)融合LDA的卷積神經(jīng)網(wǎng)絡(luò)主題爬蟲(chóng)方法，利用LDA提取的特征彌補(bǔ)神經(jīng)網(wǎng)絡(luò)缺失的主題信息，文獻(xiàn)[6]提出基于主題建模和上位詞替換的語(yǔ)義信息的向量空間語(yǔ)義相似度計(jì)算模型。然而，目前網(wǎng)頁(yè)結(jié)構(gòu)多樣，語(yǔ)義豐富，如何利用更多的語(yǔ)義信息來(lái)提高聚焦爬蟲(chóng)的效率成為了一個(gè)待解決的問(wèn)題。

針對(duì)上述問(wèn)題，提出了一個(gè)基于語(yǔ)義相似度計(jì)算的分布式聚焦爬蟲(chóng)框架，該框架通過(guò)計(jì)算抽取出的網(wǎng)頁(yè)特征間的相似度判斷當(dāng)前網(wǎng)頁(yè)和主題的相似度，利用鏈接信息計(jì)算待爬取網(wǎng)頁(yè)和當(dāng)前主題的相似度從而實(shí)現(xiàn)URL過(guò)濾和排序。筆者在前期的自科基金項(xiàng)目資助下對(duì)本體的構(gòu)建、映射、合并和語(yǔ)義標(biāo)注等方面做了基礎(chǔ)性的研究，提出的語(yǔ)義相似度計(jì)算方法是一種基于本體的方法，目的是通過(guò)本體本身蘊(yùn)含的語(yǔ)義信息擴(kuò)展網(wǎng)頁(yè)中的特征，提高網(wǎng)頁(yè)過(guò)濾的精度，最后通過(guò)對(duì)比實(shí)驗(yàn)驗(yàn)證了該方法的有效性。

1? 網(wǎng)頁(yè)特征描述

網(wǎng)頁(yè)的內(nèi)容通常由HTML語(yǔ)言描述，HTML文檔是一個(gè)半結(jié)構(gòu)化的文檔，主要包含網(wǎng)頁(yè)的結(jié)構(gòu)信息，缺少語(yǔ)義。因此如何有效提取網(wǎng)頁(yè)中的特征是影響主題分類器的性能的關(guān)鍵問(wèn)題。網(wǎng)頁(yè)中除正文文本以外，還包括對(duì)網(wǎng)頁(yè)主題描述的信息，例如