針對微博的免登錄分布式網(wǎng)絡(luò)爬蟲的研究

(西安理工大學(xué) 自動化與信息工程學(xué)院，西安 710000)

0 引言

隨著人類社會進(jìn)入互聯(lián)網(wǎng)時代，數(shù)據(jù)已經(jīng)成為了一種新的資源。人們在互聯(lián)網(wǎng)上挖掘數(shù)據(jù)資源后，進(jìn)行大數(shù)據(jù)分析，可以產(chǎn)生巨大的社會和經(jīng)濟價值。

新浪微博作為國內(nèi)最大的微博平臺已經(jīng)深入人們生活，2018年6月月活躍用戶數(shù)增至4.31億，日活躍用戶數(shù)增至1.9億，每天新產(chǎn)生微博數(shù)千萬條。微博[1]具有傳播速度快，實時性高，覆蓋面廣等特點，使得其中的數(shù)據(jù)具有很高的價值。尤其是它的實時性，已經(jīng)讓其成為輿情分析最好的數(shù)據(jù)源。

目前獲取微博數(shù)據(jù)通用的解決方案是新浪官方提供的API和網(wǎng)絡(luò)爬蟲。但是官方API嚴(yán)格限制訪問頻率，再加上新浪設(shè)置了諸多反爬蟲障礙，使得快速獲取微博中的海量數(shù)據(jù)成為了難題。

廉捷[2]等人提取采用官方API和普通網(wǎng)絡(luò)爬蟲的方法采集數(shù)據(jù)，但是由于API的訪問限制，獲取大數(shù)據(jù)量時速率明顯較慢；黃延煒、劉嘉勇[3]提出將微博官方API和基于網(wǎng)絡(luò)數(shù)據(jù)流的微博采集方法相結(jié)合的方案，雖然數(shù)據(jù)抓取速度相對更快，但是依然沒有突破官方API的訪問限制，還犧牲了一定的數(shù)據(jù)完整性；孫青云[4]等人提出了基于模擬登錄的網(wǎng)絡(luò)爬蟲采集方案，打破了API的訪問限制，解決了傳統(tǒng)的網(wǎng)絡(luò)爬蟲需要身份驗證的問題，但是由于增加了模擬登錄操作以及單機計算能力的限制，數(shù)據(jù)獲取速度依然不足以滿足對海量數(shù)據(jù)獲取的要求。

另外，在對分布式網(wǎng)絡(luò)爬蟲的研究方面，斯坦福大學(xué)的Cho J和Garcia-Molina[5]提出了多個分布式網(wǎng)絡(luò)爬蟲架構(gòu)并且首次給出了分布式網(wǎng)絡(luò)爬蟲的分類方法和評價標(biāo)準(zhǔn)等一系列基本概念，認(rèn)為分布式網(wǎng)絡(luò)爬蟲與單機爬蟲相比，具有高擴展性和減少網(wǎng)絡(luò)負(fù)載的優(yōu)勢，為分布式網(wǎng)絡(luò)爬蟲的后續(xù)研究打下了基礎(chǔ)。DL Quoc等人提出了一種地理分布式的網(wǎng)絡(luò)爬蟲系統(tǒng)UniCrawl[6]；還有Apache基金會資助的開源網(wǎng)絡(luò)爬蟲項目Nutch。

本文以新浪微博這個優(yōu)質(zhì)的社交平臺為數(shù)據(jù)源，先設(shè)計了一個免登錄的網(wǎng)絡(luò)爬蟲，又將Hadoop大數(shù)據(jù)平臺與該爬蟲相結(jié)合，設(shè)計了一個免登錄的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，可以很好解決海量數(shù)據(jù)挖掘的問題。主要工作如下：

1)對于新浪微博，設(shè)計了免登錄的爬蟲程序，實現(xiàn)了比模擬登錄爬蟲更快的數(shù)據(jù)抓取，并且保證數(shù)據(jù)的完整性和程序的穩(wěn)定性。

2)設(shè)計了一個分布式爬蟲系統(tǒng)。利用Hadoop分布式計算平臺，將(1)中設(shè)計的爬蟲程序MapReduce化，利用多臺計算機的計算能力，實現(xiàn)更加快速的信息獲取。

1 免登錄微博爬蟲的設(shè)計

1.1 新浪官方API

新浪微博開放平臺開放了包括微博、評論、用戶及關(guān)系在內(nèi)的二十余類接口，通過Oauth2.0用戶授權(quán)后即可在任意開發(fā)環(huán)境下使用。雖然新浪微博API提供的功能豐富齊全，但是由于對訪問速度有限制，見表1，這樣的限制不滿足我們想要快速抓取海量用戶微博數(shù)據(jù)的要求，所以我們選擇利用網(wǎng)絡(luò)爬蟲來獲取微博數(shù)據(jù)。

表1 新浪微博官方API訪問限制表 次/小時

1.2 免登錄穩(wěn)定抓取微博數(shù)據(jù)

用戶訪問微博時需要登錄才能完整獲取信息。網(wǎng)絡(luò)爬蟲為了獲取完整數(shù)據(jù)通常也需要設(shè)置模擬登錄操作。但是這個操作相對復(fù)雜，而且需要與Web服務(wù)器多一次交互，所以速度會因此減慢。

我們發(fā)現(xiàn)了一個更好的數(shù)據(jù)采集方法，即通過解析動態(tài)網(wǎng)頁XHR的URL，來獲取微博動態(tài)網(wǎng)頁的源代碼，這樣可以巧妙地實現(xiàn)免登錄抓取微博動態(tài)網(wǎng)頁，同時保證了數(shù)據(jù)的完整性。

我們發(fā)現(xiàn)微博用戶首頁XHR的URL為固定格式，如下：

https://m.weibo.cn/api/container/getIndex?type=uid&value=+ID+&containerid=107603+ID+&page=1

只要通過用戶ID和該固定格式，就可以生成每個用戶的微博首頁XHR的URL，然后直接利用爬蟲解析這個URL，就可以跳過登錄操作，免登錄的抓取微博數(shù)據(jù)。

另外，由于微博互動量巨大，服務(wù)器壓力較大，如果快速大規(guī)模爬取微博數(shù)據(jù)時，會觸發(fā)微博預(yù)設(shè)的爬蟲檢測機制，服務(wù)器一旦檢測訪問為爬蟲，則拒絕其訪問，讓爬蟲難以長時間穩(wěn)定運行。所以，我們利用付費IP代理建立IP代理池，讓我們的爬蟲程序隨機切換IP代理池中的IP，將爬蟲“偽裝”成不同地點的用戶進(jìn)行訪問，規(guī)避微博的反爬蟲系統(tǒng)的檢測。

1.3 設(shè)計針對微博的免登錄網(wǎng)絡(luò)爬蟲

首先，由于微博PC端網(wǎng)頁結(jié)構(gòu)復(fù)雜，不利于信息抓取，而其移動端網(wǎng)頁結(jié)構(gòu)相對簡單，主要數(shù)據(jù)如微博內(nèi)容、評論、時間等信息并沒有缺失，所以我們選擇對微博的移動端網(wǎng)頁進(jìn)行爬取。

用戶是微博的基本單元，微博用戶通過互相“關(guān)注”形成了如圖1網(wǎng)狀結(jié)構(gòu)。所有的數(shù)據(jù)采集都需以用戶微博首頁為起點，但是微博并不提供所有的用戶列表，所以我們首先需要盡可能多的獲取微博用戶列表。

圖1 微博用戶網(wǎng)絡(luò)結(jié)構(gòu)圖

我們可以通過這個網(wǎng)絡(luò)，利用爬蟲，獲取大量的用戶ID。由于用戶形成的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，深度較大，很容易形成抓取“黑洞”，而且隨著深度的不斷增加，爬取到的用戶重復(fù)度會越來越高，再加上我們設(shè)計的網(wǎng)絡(luò)爬蟲無需進(jìn)行特定主題搜索，所以我們設(shè)計了一個基于廣度優(yōu)先策略的通用網(wǎng)絡(luò)爬蟲來獲取微博用戶列表。

在獲取到微博用戶列表后，再設(shè)計一個通用網(wǎng)絡(luò)爬蟲，遍歷用戶列表中的URL，解析出網(wǎng)頁源代碼，利用正則表達(dá)式或網(wǎng)頁標(biāo)簽抓取每個用戶的數(shù)據(jù)。綜上，我們設(shè)計了如圖2的免登錄網(wǎng)絡(luò)爬蟲系統(tǒng)。

圖2 免登錄微博網(wǎng)絡(luò)爬蟲工作流程

具體過程如下：

1)我們從微博上選取各個領(lǐng)域一些大V用戶首頁的URL作為爬蟲的種子集合，具體如表2。

表2 大V用戶表

2)然后將URL放入到待爬取的初始隊列中。

3)根據(jù)待爬取列表中的URL訪問爬取網(wǎng)頁源代碼，解析網(wǎng)頁，利用正則表達(dá)式提取粉絲列表中的用戶ID和該用戶的粉絲數(shù)。

每個用戶微博首頁的粉絲列表和每條微博的評論中含有用戶鏈接，但相比之下微博評論中的用戶鏈接數(shù)量較少，且存在大量重復(fù)。為了高效獲取用戶列表，我們只抓取用戶粉絲列表中的新用戶連接。

4)用戶過濾。

微博用戶中存在許多“僵尸”用戶，這些用戶只發(fā)廣告或充當(dāng)“水軍”，他們所發(fā)微博價值很小，有時甚至產(chǎn)生副作用，因此我們對用戶粉絲數(shù)設(shè)定閾值F=10，忽略粉絲小于F的用戶來規(guī)避“僵尸”用戶。

5)利用用戶ID生成微博用戶首頁URL，保存到MySQL數(shù)據(jù)庫中并利用MySQL去重。

在MySQL數(shù)據(jù)庫中建表時，對用戶ID這一列使用UNIQUE約束，SQL語句如下：

CREATE TABLE userlist(

......

id INT(20),

url VARCHAR(100),

......

UNIQUE(id)

)

這樣，當(dāng)發(fā)現(xiàn)一個用戶ID，經(jīng)過過濾并生成該用戶微博首頁XHR的URL，將ID和URL存入MySQL數(shù)據(jù)庫時，如果是重復(fù)ID則無法存入數(shù)據(jù)庫，以此達(dá)到去重的目的。同時，將去重后的新用戶連接放入待爬行的隊列中。

6)判斷，如果用戶數(shù)大于等于1000萬或者沒有發(fā)現(xiàn)新用戶連接，則進(jìn)行7)；否則重復(fù)步驟2)、3)、4)、5)，繼續(xù)獲取該新用戶的粉絲列表中的用戶URL，擴充用戶列表。

7)設(shè)計通用網(wǎng)絡(luò)爬蟲，獲取微博數(shù)數(shù)據(jù)。

設(shè)計一個通用網(wǎng)絡(luò)爬蟲，遍歷前幾步獲得的用戶列表，根據(jù)每個用戶微博URL獲取網(wǎng)頁源代碼，利用正則表達(dá)式或網(wǎng)頁標(biāo)簽抓取用戶信息、所發(fā)微博、時間、地點、所用設(shè)備等數(shù)據(jù)，并保存到MySQL中。

通過這個免登錄微博爬蟲系統(tǒng)，我們可以避免設(shè)置復(fù)雜的模擬登錄操作，規(guī)避掉諸多反爬蟲策略，實現(xiàn)更加快速的免登錄長時間穩(wěn)定的數(shù)據(jù)采集，同時保證了數(shù)據(jù)的完整性。

2 設(shè)計分布式免登錄微博網(wǎng)絡(luò)爬蟲系統(tǒng)

第一節(jié)中，我們設(shè)計了采取廣度優(yōu)先策略的網(wǎng)絡(luò)爬蟲獲取用戶列表，然后再利用通用網(wǎng)絡(luò)爬蟲遍歷用戶列表獲取微博數(shù)據(jù)。但是隨著用戶列表的不斷增大，達(dá)到千萬級、億級，以及對于數(shù)據(jù)需求量的不斷擴大，單機遍歷用戶列表爬蟲的速度已經(jīng)不能滿足需求，所以我們將Hadoop分布式計算平臺與免登錄網(wǎng)絡(luò)爬蟲相結(jié)合，設(shè)計出可以滿足海量數(shù)據(jù)采集需求的免登錄分布式網(wǎng)絡(luò)爬蟲。

2.1 Hadoop分布式計算平臺

Hadoop[7]是Apache下的開源分布式計算平臺。Hadoop可以將大量的普通計算機搭建成集群，整合這些計算機的運算能力和存儲能力，解決了大數(shù)據(jù)并行計算、存儲、管理等關(guān)鍵問題。

HDFS(Hadoop Distributed File System)和MapReduce是Hadoop分布式系統(tǒng)的核心。HDFS[8]是分布式計算中數(shù)據(jù)存儲管理的基礎(chǔ)。MapReduce[9]是一種高性能的分布式計算框架，可將一個大的任務(wù)分配給數(shù)千臺普通計算機的集群，并且高可靠性和高容錯性并行處理海量數(shù)據(jù)集。HDFS在集群上實現(xiàn)分布式文件系統(tǒng)，MapReduce在集群上實現(xiàn)分布式計算和任務(wù)處理。他們相互依賴，共同完成了Hadoop分布式計算平臺的主要任務(wù)。

另外，Hadoop還有為它量身打造的非關(guān)系數(shù)據(jù)庫HBase[10]。利用HBase技術(shù)可在大量廉價普通計算機上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。本次我們設(shè)計的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)利用HBase數(shù)據(jù)庫存儲。

2.2 基于MapReduce的網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計

在進(jìn)行爬蟲設(shè)計前，需要先將用戶列表從之前的MySQL中轉(zhuǎn)移到Hbase中。Hadoop平臺提供了一個組件Sqoop，它的功能是在Hadoop和關(guān)系數(shù)據(jù)庫之間傳送數(shù)據(jù)，可以將數(shù)據(jù)在MySQL、Oracle數(shù)據(jù)庫和HBase數(shù)據(jù)庫之間進(jìn)行傳遞。我們先利用Sqoop將MySQL數(shù)據(jù)庫中的用戶列表遷移到HBase數(shù)據(jù)庫中，具體命令如下：

sqoop import

--connect jdbc:mysql://192.168.1.12: 3306/ll --username xxxx --password yyyy

--query "SELECT id FROM userlist"

--hbase-table userlist --hbase-create-table

--hbase-row-key id

--column-family user

在HBase接收到之前的用戶列表后，我們將第1節(jié)中設(shè)計的通用爬蟲MapReduce化，這樣就可以將免登錄抓取微博數(shù)據(jù)的任務(wù)分配給多臺普通計算機共同并行完成，大大加快了數(shù)據(jù)采集速度。

由于該過程中只需要Map過程，不需要Reduce過程。所以網(wǎng)絡(luò)爬蟲細(xì)節(jié)如下：

Map過程：

輸入：HBase中的用戶ID；

輸出：用戶所發(fā)微博文本；

1．map(ImmutableBytesWritable key, Result value){

2． id = value.get(); //提取Hbase中的用戶ID

3． create xhr.url from id; //根據(jù)用戶ID生成XHR的URL

4． crawl html without login from url;

5． get data from html;

6． save data to HBase;

7．}

該分布式爬蟲的輸入為HBase數(shù)據(jù)庫，而不是通常的HDFS，因此對主函數(shù)做特殊說明。具體如下：

1．main(){

2． create configuration; //根據(jù)集群生成Mapreduce任務(wù)配置

3． create job(configuration); //根據(jù)配置建立Mapreduce任務(wù)

4． set input HBase column and columnfamily;

5． set input HBase Table,Mapperclass and job;

6． set output HBase column,columnfamily,Table,Mapperclass and job;

7． //不需要像以HDFS為輸入輸出時設(shè)置Map過程輸出的鍵、值類型；Mapreduce任務(wù)輸出的鍵、值類型和輸出的目錄等。

8．}

這樣設(shè)計好的分布式爬蟲系統(tǒng)就可以在map過程時，把對千萬級、億級用戶采集的大任務(wù)分發(fā)到各個節(jié)點，各個節(jié)點共同完成任務(wù)，快速采集海量數(shù)據(jù)。

3 實驗與分析

3.1 實驗環(huán)境

實驗硬件：I7 CPU，16 G內(nèi)存，2 TB硬盤服務(wù)器。

實驗軟件：CentOS 6.5、MySQL5.7、Hadoop-2.7.3、HBase-1.2.4、Zookeeper-3.4.6、Sqoop-1.4.6

根據(jù)文獻(xiàn)[11]搭建Hadoop分布式計算集群，共包含1個Mater主節(jié)點，7個Slave從節(jié)點。

3.2 實驗結(jié)果與分析

在大規(guī)模爬取數(shù)據(jù)時，爬蟲的穩(wěn)定性是最基本的要求。首先對比本文免登錄爬蟲與模擬登錄爬蟲的穩(wěn)定性，利用兩種爬蟲分別對微博進(jìn)行10、15、20、25、30小時的抓取，比較程序是否可以穩(wěn)定運行。結(jié)果如表3。

表3 兩種爬蟲穩(wěn)定性比較

由此可見，本文設(shè)計的免登錄爬蟲與模擬登錄操作的爬蟲均可實現(xiàn)對于新浪微博的長時間穩(wěn)定抓取。

然后我們比較官方API、免登錄爬蟲與模擬登錄爬蟲獲取數(shù)據(jù)的完整性。驗證它們是否可以抓取用戶ID，所在身份城市，個人描述，性別，粉絲列表，關(guān)注列表，所發(fā)微博詳情(微博內(nèi)容、時間、地點、設(shè)備等)等。結(jié)果如表4。

接下來，比較兩種爬蟲在普通單機情況下的數(shù)據(jù)采集效率，讓兩種爬蟲在10、15、20、25、30小時內(nèi)穩(wěn)定抓取微博數(shù)，對比結(jié)果如圖3。

表4 兩種爬蟲與官方API數(shù)據(jù)完整性對比

圖3 免登錄爬蟲與模擬登錄爬蟲速度對比

由此可見，本文設(shè)計的免登錄爬蟲，由于沒有了復(fù)雜的模擬登錄操作，更加簡單而且少了一次與Web服務(wù)器的交互，因此數(shù)據(jù)抓取速度更快。

最后，比較單機免登錄網(wǎng)絡(luò)爬蟲與分布式網(wǎng)絡(luò)爬蟲的數(shù)據(jù)采集效率。通過5次連續(xù)24小時的抓取，對比抓取到的微博數(shù)，結(jié)果如圖4。

圖4 單機爬蟲和分布式網(wǎng)絡(luò)爬蟲速度對比

結(jié)果表明：雖然我們設(shè)計的單機網(wǎng)絡(luò)爬蟲可以突破API訪問次數(shù)的限制，實現(xiàn)免登錄長時間的穩(wěn)定抓取，但是單機的計算能力還是限制了其抓取速度，結(jié)合Hadoop大數(shù)據(jù)平臺后，設(shè)計出的分布式網(wǎng)絡(luò)爬蟲，利用集群的運算能力，可以大大加速微博抓取效率，實現(xiàn)速度的10倍增長，滿足了人們對海量數(shù)據(jù)抓取的需求。

4 結(jié)束語

本文設(shè)計的針對微博的網(wǎng)絡(luò)爬蟲，以XHR的URL為入

口抓取數(shù)據(jù)，可以實現(xiàn)免登錄數(shù)據(jù)采集。通過實驗表明，與模擬登錄的網(wǎng)絡(luò)爬蟲相比，在保證了數(shù)據(jù)完整性與穩(wěn)定性的同時，可以更快速地抓取數(shù)據(jù)。然后，我們將Hadoop平臺與免登錄爬蟲相結(jié)合，利用集群的強大運算能力，大大增加了數(shù)據(jù)采集速度。這些數(shù)據(jù)可以為政府部門進(jìn)行網(wǎng)絡(luò)輿情監(jiān)控提供支持，還可用于智能推薦系統(tǒng)等。