基于Storm的可擴(kuò)展的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計(jì)研究

關(guān)鍵詞：Storm；可擴(kuò)展；分布式；網(wǎng)絡(luò)爬蟲；系統(tǒng)設(shè)計(jì)

0 引言

在互聯(lián)網(wǎng)時代背景下，大量新型商業(yè)模式被廣泛應(yīng)用于互聯(lián)網(wǎng)領(lǐng)域中，造成互聯(lián)網(wǎng)上所創(chuàng)建的站點(diǎn)數(shù)量急劇增加，導(dǎo)致互聯(lián)網(wǎng)上的信息資源呈現(xiàn)出指數(shù)型爆炸式增長。在海量互聯(lián)網(wǎng)信息資源中，人們?nèi)粝肟焖贆z索和查閱自己感興趣的網(wǎng)絡(luò)資源，必須加強(qiáng)對網(wǎng)絡(luò)爬蟲技術(shù)的應(yīng)用[1]。然而，傳統(tǒng)單機(jī)網(wǎng)絡(luò)爬蟲技術(shù)過于落后，難以滿足現(xiàn)代化日益增長的數(shù)據(jù)抓取使用需求。分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)和應(yīng)用可以解決上述問題，該系統(tǒng)主要應(yīng)用Storm云平臺，確保多臺機(jī)器在運(yùn)行期間能夠高效地分工合作，使得網(wǎng)絡(luò)爬蟲速率和性能不斷提升。因此，在Storm云平臺的應(yīng)用背景下，強(qiáng)化對新型分布式網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)的研究顯得尤為重要。

1 提出問題

傳統(tǒng)單機(jī)網(wǎng)絡(luò)爬蟲技術(shù)因過于落后，難以滿足現(xiàn)代化日益增長的數(shù)據(jù)抓取使用需求。而分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)和應(yīng)用可以解決以上問題，該系統(tǒng)主要應(yīng)用Storm云平臺，確保多臺機(jī)器在運(yùn)行期間，能夠高效地分工合作，使得網(wǎng)絡(luò)爬蟲速率和性能不斷提升。

2 具體設(shè)計(jì)方案

2.1 系統(tǒng)設(shè)計(jì)原則與關(guān)鍵技術(shù)

2.1.1 系統(tǒng)設(shè)計(jì)原則

該系統(tǒng)設(shè)計(jì)目的是提高分布式網(wǎng)絡(luò)爬蟲的速度和性能，為用戶打造安全可靠的網(wǎng)絡(luò)環(huán)境。因此，系統(tǒng)設(shè)計(jì)應(yīng)遵循以下幾個原則：1） 效率性原則。通過提升系統(tǒng)效率，避免因系統(tǒng)運(yùn)行過慢而降低用戶體驗(yàn)。為滿足系統(tǒng)效率性需求，應(yīng)將系統(tǒng)內(nèi)部網(wǎng)絡(luò)帶寬設(shè)置在萬兆以上，避免因網(wǎng)絡(luò)運(yùn)行緩慢而降低系統(tǒng)整體運(yùn)行效率。2） 可靠性原則。系統(tǒng)可靠性主要是指系統(tǒng)正常執(zhí)行一段時間所對應(yīng)的概率，系統(tǒng)實(shí)際運(yùn)行過程中，如果出現(xiàn)非法輸入數(shù)據(jù)行為，或者某硬件部分出現(xiàn)異常問題，此時，系統(tǒng)仍然繼續(xù)穩(wěn)定執(zhí)行相關(guān)功能的概率，通過提高系統(tǒng)可靠性，可以確保系統(tǒng)能夠正常、穩(wěn)定、安全地運(yùn)行。3） 安全性原則。系統(tǒng)安全性需求主要涉及數(shù)據(jù)預(yù)防丟失、禁止網(wǎng)絡(luò)病毒入侵系統(tǒng)等，通過對系統(tǒng)進(jìn)行安全化設(shè)計(jì)，可以實(shí)現(xiàn)對系統(tǒng)數(shù)據(jù)訪問流程的保護(hù)，避免系統(tǒng)數(shù)據(jù)出現(xiàn)丟失、泄露等風(fēng)險，同時，還要加強(qiáng)對系統(tǒng)權(quán)限安全化管理，避免因出現(xiàn)非法人員登錄和訪問該系統(tǒng)造成重要系統(tǒng)數(shù)據(jù)丟失。

2.1.2 Storm 云平臺

Storm的出現(xiàn)填補(bǔ)了這一空白。Storm云平臺由Nathan Marz開發(fā)，后被Twitter收購。收購后，Twitter 將Storm開源，隨后社區(qū)越來活躍，使用者越來越多，名聲大噪，被很多企業(yè)采納使用，甚至很多被用于二次開發(fā)，催生了許多優(yōu)秀產(chǎn)品。Storm主打計(jì)算實(shí)時流數(shù)據(jù)，使得對源源不斷的流數(shù)據(jù)處理起來變得更加方便，彌補(bǔ)了Hadoop批處理在實(shí)時數(shù)據(jù)的低效性[2]。

2.2 系統(tǒng)總體設(shè)計(jì)

2.2.1 系統(tǒng)框架設(shè)計(jì)

應(yīng)用本文系統(tǒng)抓取新浪微博平臺數(shù)據(jù)時，首先，利用Storm云平臺對網(wǎng)絡(luò)爬蟲相關(guān)數(shù)據(jù)進(jìn)行抓取，隨后，將抓取好的數(shù)據(jù)安全傳輸并存儲至分布式數(shù)據(jù)庫中，為后期的聚類、分類等業(yè)務(wù)處理提供依據(jù)。與傳統(tǒng)單機(jī)網(wǎng)絡(luò)爬蟲技術(shù)相比，本文系統(tǒng)具有數(shù)據(jù)處理速度快、容錯性高等優(yōu)勢。本文系統(tǒng)總體框架如圖1所示，從圖1中可以看出，本文系統(tǒng)主要包含種子URL 文檔、模擬登錄、URL優(yōu)化鏈接、網(wǎng)頁下載等模塊，這些模塊既相互獨(dú)立又相互聯(lián)系，在實(shí)際運(yùn)行期間分工明確[3]。

2.2.2 系統(tǒng)數(shù)據(jù)庫設(shè)計(jì)

當(dāng)網(wǎng)絡(luò)數(shù)據(jù)被成功抓取后，需將抓取的數(shù)據(jù)存儲到數(shù)據(jù)庫中，以便后期相關(guān)人員查看和調(diào)用。因此，在進(jìn)行本文系統(tǒng)設(shè)計(jì)期間，要重視對系統(tǒng)數(shù)據(jù)庫的設(shè)計(jì)。系統(tǒng)數(shù)據(jù)庫中包含多種數(shù)據(jù)表，為保證數(shù)據(jù)庫設(shè)計(jì)質(zhì)量，本文重點(diǎn)設(shè)計(jì)了搜索結(jié)果表、用戶信息表、微博評論信息表、微博轉(zhuǎn)發(fā)信息表等數(shù)據(jù)表[4]。其中，搜索結(jié)果表包含微博發(fā)表時間、微博發(fā)表設(shè)備、微博地址、微博內(nèi)容等屬性；用戶信息表包含用戶姓名、用戶昵稱、用戶地址、用戶粉絲數(shù)、用戶微博數(shù)、用戶關(guān)注數(shù)等屬性；微博評論信息表主要包含微博評論內(nèi)容、評論時間、被點(diǎn)贊次數(shù)等屬性；微博轉(zhuǎn)發(fā)信息表主要包含微博轉(zhuǎn)發(fā)時間、微博轉(zhuǎn)發(fā)次數(shù)、微博點(diǎn)贊次數(shù)、微博URL地址等屬性。

另外，為確保所設(shè)計(jì)的數(shù)據(jù)庫能更好地滿足數(shù)據(jù)的增刪改查操作，現(xiàn)將數(shù)據(jù)庫操作封裝類的主要代碼編寫如下：

2.3 系統(tǒng)模塊設(shè)計(jì)

2.3.1 種子URL 文檔模塊

首先初始化種子URL文檔。Storm集群在Topol?ogy的Spout中將該種子URL讀入集群中，作為網(wǎng)絡(luò)爬蟲的入口。在該Topology中，Spout為系統(tǒng)消息讀入的接口，因此種子URL在該Spout中的nextTuple（）函數(shù)中發(fā)送給下一個Bolt來處理。Storm的Topology在初始化的時候會先初始化open（）函數(shù)，因此種子URL可以在該函數(shù)中直接獲取[5]。

2.3.2 模擬登錄模塊設(shè)計(jì)

模擬登錄模塊是使用程序模擬真實(shí)新浪微博用戶來登錄新浪微博平臺，目的是獲取Cookie。其中，需要跟新浪微博身份認(rèn)證平臺進(jìn)行一系列的交互。

2.3.3 URL 優(yōu)化鏈接模塊

URL優(yōu)化鏈接的具體流程如圖2所示。從圖2中可以看出，首先獲取微博URL，通過應(yīng)用Chrome瀏覽器開發(fā)工具快速查找和獲取微博URL地址（如：http：//weibo. com/aj/v6/comment/big？ id=3817652743101226&page=2） 。其次，獲取微博ID。結(jié)合所獲取的微博URL，不難發(fā)現(xiàn)微博的唯一ID為“3817652743101226”。最后，對獲取的微博URL地址進(jìn)行轉(zhuǎn)化，使其轉(zhuǎn)化為某條微博評論或者轉(zhuǎn)發(fā)期間可以翻頁的地址，該地址可被新浪微博平臺快速識別和獲取[6]。

2.3.4 網(wǎng)頁下載模塊設(shè)計(jì)

在設(shè)計(jì)網(wǎng)頁下載模塊時，為提高網(wǎng)頁下載速度，須運(yùn)用多線程思想。具體操作包括：使用線程連接池對線程進(jìn)行統(tǒng)一管理，減少線程的創(chuàng)建或者銷毀，從而達(dá)到提高系統(tǒng)程序執(zhí)行性能的目的。在進(jìn)行網(wǎng)頁信息抓取時，要運(yùn)用get請求，當(dāng)get請求發(fā)送結(jié)束后，從新浪微博平臺中抓取和查找HTTP狀態(tài)響應(yīng)值。針對所獲取的狀態(tài)響應(yīng)值進(jìn)行個性化操作和處理。當(dāng)響應(yīng)碼顯示為“200”，說明本文系統(tǒng)服務(wù)器成功接收和發(fā)送get請求，并成功返回相應(yīng)的響應(yīng)數(shù)據(jù)，此時網(wǎng)頁下載成功[7]。

2.3.5 網(wǎng)頁解析模塊設(shè)計(jì)

運(yùn)用網(wǎng)頁下載模塊，所下載的網(wǎng)頁通常含有冗余、無利用價值的數(shù)據(jù)，此時，需要將所下載好的原始網(wǎng)頁數(shù)據(jù)傳輸和發(fā)送至網(wǎng)頁解析模塊，由網(wǎng)頁解析模塊對這些數(shù)據(jù)進(jìn)行篩選解析處理。在設(shè)計(jì)網(wǎng)頁解析模塊時，通常會用到HTML文檔解析器。該解析模塊所解析內(nèi)容主要包含以下兩個部分：1） 從網(wǎng)頁中，解析出所需要的URL鏈接，然后，將該鏈接發(fā)送和傳輸至URL鏈接優(yōu)化模塊中，由URL鏈接優(yōu)化模塊對該鏈接進(jìn)行優(yōu)化處理，并將最終優(yōu)化處理結(jié)果發(fā)送和存儲至數(shù)據(jù)庫中[8]。2） 從網(wǎng)頁中解析出微博評論等所需數(shù)據(jù)。總之，網(wǎng)頁解析模塊用于對微博數(shù)據(jù)、微博用戶數(shù)據(jù)、微博轉(zhuǎn)發(fā)數(shù)據(jù)等多種數(shù)據(jù)的統(tǒng)一解析處理。

2.3.6 數(shù)據(jù)存儲模塊設(shè)計(jì)

在設(shè)計(jì)數(shù)據(jù)存儲模塊時，需要使用Java來操作分布式數(shù)據(jù)庫，需要在工程中添加mongojavadriver2.9.3.jar依賴，而后可以通過程序來對分布式數(shù)據(jù)庫進(jìn)行增刪改查等操作。在操作整個集群的時候，由于仲裁節(jié)點(diǎn)不存儲數(shù)據(jù)，只負(fù)責(zé)投票，因此前端不需要連接到仲裁節(jié)點(diǎn)。在分布式數(shù)據(jù)庫中建立一個名為“的數(shù)據(jù)庫，然后連接到數(shù)據(jù)庫中具體的集合。

3 設(shè)計(jì)方案執(zhí)行效果

3.1 Storm 集群環(huán)境搭建

在Storm集群中，含有三個節(jié)點(diǎn)，這些節(jié)點(diǎn)主要運(yùn)行于Nimbus、Supervisor后臺程序中。在搭建Storm集群環(huán)境時，需要在下載和安裝Zookeeper集群的基礎(chǔ)上，做好對Storm相關(guān)參數(shù)的配置，然后，啟動所創(chuàng)建好的Storm集群。

3.2 系統(tǒng)功能測試

為測試系統(tǒng)功能實(shí)現(xiàn)效果，本文以“新浪微博”為應(yīng)用場景，通過對“地震”“傷亡”關(guān)鍵字眼進(jìn)行主題搜索，從微博數(shù)據(jù)、用戶數(shù)據(jù)兩個角度分析，測試系統(tǒng)所抓取信息數(shù)據(jù)情況。通過搜索以上關(guān)鍵字眼，系統(tǒng)會自動呈現(xiàn)出2 000條微博數(shù)據(jù)，即2 000個用戶發(fā)表了2 000條微博數(shù)據(jù)。通過查看分布式數(shù)據(jù)庫，獲得如表1所示的文檔數(shù)。

從表1中的數(shù)據(jù)可以看出，本文系統(tǒng)抓取準(zhǔn)確率達(dá)到百分之百，這說明新浪微博中“地震”“傷亡”不同主題下的各項(xiàng)數(shù)據(jù)均成功抓取。因此，本文系統(tǒng)所含有的模擬登錄、網(wǎng)頁下載、數(shù)據(jù)存儲等功能模塊可以正常、穩(wěn)定地運(yùn)行。

為測試和驗(yàn)證本文系統(tǒng)在抓取微博評論信息、微博轉(zhuǎn)發(fā)信息方面的性能，以“某一條微博”為案例，該條微博含有19 890條微博轉(zhuǎn)發(fā)量和19 190條微博評論量，通過調(diào)用分布式數(shù)據(jù)庫查看轉(zhuǎn)發(fā)信息和評論信息所對應(yīng)的文檔數(shù)，獲得如表2所示的查看結(jié)果。

從表2中的數(shù)據(jù)可以看出，本文系統(tǒng)抓取準(zhǔn)確率達(dá)到百分之百，這說明本文系統(tǒng)全部下載所有評論數(shù)、轉(zhuǎn)發(fā)數(shù)。因此，本文系統(tǒng)通過利用微博的UR地址，可以成功抓取和獲得所有微博的評論數(shù)和轉(zhuǎn)發(fā)數(shù)，具有穩(wěn)定可靠、數(shù)據(jù)處理能力強(qiáng)等特點(diǎn)。

4 結(jié)束語

綜上所述，本文所設(shè)計(jì)的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)主要運(yùn)用Storm云平臺，該云平臺具有強(qiáng)大的在功能拓展性和并行處理能力等特性，通過運(yùn)用Storm云平臺這些特性，可以最大限度地提高分布式網(wǎng)絡(luò)爬蟲速度和性能。本文系統(tǒng)在具體設(shè)計(jì)時，選用“新浪微博”這一應(yīng)用場景，通過抓取新浪微博平臺相關(guān)數(shù)據(jù)，并將所抓取好的數(shù)據(jù)安全、可靠地存儲到指定的數(shù)據(jù)庫中，方便其他人員查看和調(diào)用?？傊?，本文提出的基于Storm可擴(kuò)展的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計(jì)方案具有較高的有效性和可靠性；實(shí)現(xiàn)對系統(tǒng)種子URL文檔、模擬登錄、URL優(yōu)化鏈接、網(wǎng)頁下載等多個模塊的成功設(shè)計(jì)和開發(fā)，保證系統(tǒng)各功能模塊運(yùn)行安全性和可靠性，符合預(yù)期設(shè)計(jì)標(biāo)準(zhǔn)和要求，值得被進(jìn)一步推廣和應(yīng)用。