基于Python的新浪微博爬蟲(chóng)分析

杜曉旭 賈小云

摘 ?要： 在大數(shù)據(jù)時(shí)代下，新浪微博的出現(xiàn)為人們獲取和參與信息數(shù)據(jù)及其傳播提供了全新的途徑。而面對(duì)新浪微博不斷增加的信息數(shù)據(jù)，人們對(duì)于提高微博獲取的精確性和時(shí)效性也提出了更高的要求。在這一背景下，本文將重點(diǎn)圍繞基于Python的新浪微博爬蟲(chóng)進(jìn)行簡(jiǎn)要分析研究，在對(duì)Python與網(wǎng)絡(luò)爬蟲(chóng)的基本概念進(jìn)行明確的基礎(chǔ)上，嘗試設(shè)計(jì)一種Python的新浪微博爬蟲(chóng)程序，為相關(guān)研究人員提供相應(yīng)理論參考。

關(guān)鍵詞： Python;新浪微博;網(wǎng)絡(luò)爬蟲(chóng);程序設(shè)計(jì)

中圖分類(lèi)號(hào)： TP311.1 ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ?DOI：10.3969/j.issn.1003-6970.2019.04.039

本文著錄格式：杜曉旭，賈小云. 基于Python的新浪微博爬蟲(chóng)分析[J]. 軟件，2019，40（4）：182185

【Abstract】： During big data era， emergence of Sina Weibo provides new way for people to access and participate ?in information data and its dissemination. With increasing information and data of Sina Weibo， people put forward higher requirements for improving accuracy and timeliness of microblog acquisition. Under the backgroud， the paper analyzes and researches Python-based Sina Weibo crawler briefly， defines basic concepts of Python and Internet crawler， and attempts to design a Python Weibo crawler program， to provide related theoretical reference for researchers.

【Key words】： Python; Sina Weibo; Web crawler; Programming

0 ?引言

雖然目前以新浪微博為代表的眾多社會(huì)媒體均為研發(fā)人員提供了部分?jǐn)?shù)據(jù)訪問(wèn)編程接口，使其能夠準(zhǔn)確獲取相關(guān)信息數(shù)據(jù)。但實(shí)際在使用此類(lèi)數(shù)據(jù)訪問(wèn)編程接口時(shí)經(jīng)常容易受到諸多限制，如抓取頻率等且難以精準(zhǔn)搜索微博內(nèi)容等。而本文通過(guò)探究基于Python的新浪微博爬蟲(chóng)設(shè)計(jì)，可以有效為精準(zhǔn)獲取微博數(shù)據(jù)提供全新的方法路徑。對(duì)提高程序開(kāi)發(fā)人員的工作效率和數(shù)據(jù)分析成效均具有積極的幫助作用。

1 ?網(wǎng)絡(luò)爬蟲(chóng)與Python的基本概念

1.1 ?網(wǎng)絡(luò)爬蟲(chóng)

網(wǎng)絡(luò)爬蟲(chóng)指的就是一種根據(jù)既定規(guī)則對(duì)Web網(wǎng)頁(yè)中應(yīng)用程序或腳本進(jìn)行自動(dòng)提取的技術(shù)。在當(dāng)前的搜索引擎中對(duì)數(shù)據(jù)系統(tǒng)進(jìn)行抓取時(shí)，網(wǎng)絡(luò)爬蟲(chóng)作為其中至關(guān)重要的組成部分之一，負(fù)責(zé)幫助搜索引擎快速?gòu)幕ヂ?lián)網(wǎng)上完成所需Web頁(yè)面的下載操作，從而將互聯(lián)網(wǎng)中的Web網(wǎng)頁(yè)下載至本地用以有效備份。爬蟲(chóng)在從某一個(gè)或多個(gè)初始頁(yè)面URL中對(duì)頁(yè)面源文件進(jìn)行分析，準(zhǔn)確抓取新Web鏈接，并以此為基礎(chǔ)尋找新Web鏈接直至完成全部頁(yè)面的準(zhǔn)確抓取和分析[1-2]。

1.2 ?Python

Python從本質(zhì)上來(lái)說(shuō)屬于一種開(kāi)源編程語(yǔ)言，其具有功能強(qiáng)大、語(yǔ)法簡(jiǎn)便、適用性良好等優(yōu)勢(shì)特性。Python語(yǔ)言具有較高的效率且完全面向?qū)ο?，可以快速完成面向?qū)ο缶幊?，加之其語(yǔ)法簡(jiǎn)潔并支持動(dòng)態(tài)輸入，因此目前在許多操作系統(tǒng)平臺(tái)中均選擇使用Python語(yǔ)言作為腳本語(yǔ)言，用于在短時(shí)間內(nèi)開(kāi)發(fā)相應(yīng)應(yīng)用程序。Python語(yǔ)言提供了針對(duì)網(wǎng)絡(luò)協(xié)議標(biāo)準(zhǔn)庫(kù)，抽象封裝網(wǎng)絡(luò)協(xié)議中的每一個(gè)層次，使得程序員能夠節(jié)省大量的時(shí)間與精力進(jìn)行程序邏輯處理。另外Python語(yǔ)言在對(duì)多種模式的字節(jié)流處理方面也具有一定的優(yōu)勢(shì)性，開(kāi)發(fā)速度較快，因而也使其被廣泛運(yùn)用在各種編程、應(yīng)用程序開(kāi)發(fā)中。

2 ?Python下的新浪微博爬蟲(chóng)程序設(shè)計(jì)

2.1 ?設(shè)計(jì)構(gòu)想

在對(duì)新浪微博進(jìn)行爬取的過(guò)程中，可以選擇使用純爬蟲(chóng)或是運(yùn)用新浪提供的部分?jǐn)?shù)據(jù)訪問(wèn)編程接口即Open API接口。值得注意的是，雖然新浪微博提供的數(shù)據(jù)訪問(wèn)編程接口本身便是為開(kāi)發(fā)者程序開(kāi)發(fā)所設(shè)計(jì)，但其存在諸多限制。例如只有得到新浪授權(quán)的開(kāi)發(fā)者才能使用這一接口，一旦授權(quán)過(guò)期開(kāi)發(fā)者便無(wú)法繼續(xù)使用該接口，此外Open API接口在訪問(wèn)頻次等方面同樣存在一定的局限性。因此綜合考慮，在設(shè)計(jì)基于Python的新浪微博爬蟲(chóng)程序時(shí)，本文選擇使用純爬蟲(chóng)的方式，重點(diǎn)爬取移動(dòng)端的新浪微博內(nèi)容。

2.2 ?程序模塊

本文所設(shè)計(jì)的基于Python新浪微博爬蟲(chóng)程序采用模塊化的設(shè)計(jì)理念，該程序總共分為三大模塊。首先需要在完成新浪微博注冊(cè)的基礎(chǔ)上，根據(jù)注冊(cè)中使用的賬戶名與密碼登錄進(jìn)入移動(dòng)端的新浪微博，對(duì)其網(wǎng)站源碼進(jìn)行準(zhǔn)確分析，獲取這一新浪微博賬戶的Cookie[3-4]。此后需要通過(guò)借助Request URL獲取登錄頁(yè)面html代碼，并使用Python語(yǔ)言中自帶的lxml庫(kù)對(duì)該代碼進(jìn)行相應(yīng)分析，從而準(zhǔn)確爬取新浪微博用戶的user_ID。隨后根據(jù)關(guān)鍵字對(duì)與其條件相符的微博進(jìn)行自動(dòng)篩選，篩選出的微博則需要統(tǒng)一保存至本地。最后對(duì)爬取的數(shù)據(jù)展開(kāi)數(shù)據(jù)分析實(shí)驗(yàn)，驗(yàn)證該爬蟲(chóng)程序的有效性即可。

2.3 ?程序設(shè)計(jì)

2.3.1 ?獲取賬號(hào)Cookie

在該基于Python新浪微博爬蟲(chóng)程序中，第一步需要獲取新浪微博賬戶的Cookie并獲取對(duì)應(yīng)的登錄頁(yè)面代碼。在程序設(shè)計(jì)中Cookie專(zhuān)門(mén)指的是一小段文本信息，服務(wù)器在接收到新浪微博用戶客戶端發(fā)送的請(qǐng)求之后，將會(huì)對(duì)這一新浪微博用戶客戶端的實(shí)際狀態(tài)進(jìn)行準(zhǔn)確記錄，并按照既定規(guī)則對(duì)微博賬號(hào)進(jìn)行加密處理。隨后將加密后的微博賬號(hào)及時(shí)存儲(chǔ)在Cookie當(dāng)中。此時(shí)客戶端瀏覽器將會(huì)從res?ponse處獲得其頒發(fā)的一個(gè)Cookie，該Cookie在及時(shí)被客戶端瀏覽器存儲(chǔ)后，新浪網(wǎng)站在接收得到瀏覽器發(fā)送的請(qǐng)求時(shí)，瀏覽器將會(huì)連同Cookie與發(fā)送的請(qǐng)求網(wǎng)址一并提交至服務(wù)器。由服務(wù)器負(fù)責(zé)對(duì)Cookie進(jìn)行檢查，從而對(duì)客戶端的實(shí)際狀態(tài)進(jìn)行準(zhǔn)確辨別。具體來(lái)說(shuō)，首先需要使用chrome瀏覽器將新浪微博移動(dòng)端打開(kāi)，同時(shí)將開(kāi)發(fā)者工具調(diào)出。隨后打開(kāi)瀏覽器并選中其中的Preserve log選項(xiàng)，依次將賬號(hào)與密碼鍵入其中，即可順利登陸移動(dòng)版新浪微博客戶端。此時(shí)需要找到m.weibo.cnHeaders Cookie以及headers，統(tǒng)一資源定位符URL主要是通過(guò)一種一種相對(duì)比較簡(jiǎn)便的方式，對(duì)可從互聯(lián)網(wǎng)中直接獲取的資源位置以及資源訪問(wèn)方法進(jìn)行有效表示，簡(jiǎn)單來(lái)說(shuō)URL即為互聯(lián)網(wǎng)中的網(wǎng)頁(yè)地址。在互聯(lián)網(wǎng)上任意一個(gè)文件有且只有一個(gè)URL與之相對(duì)應(yīng)，URL主要通過(guò)按照既定順序排列各種數(shù)字與字母從而有效確定某一地址，根據(jù)URL中包含的具體信息，瀏覽器將會(huì)選擇相應(yīng)的處理方式。例如當(dāng)爬取的URL為‘http：//weibo.cn/user_id時(shí)，與之相對(duì)應(yīng)的爬取用戶即為user_id=“renminwang”[5-6]。

2.3.2 ?網(wǎng)頁(yè)分析

Python語(yǔ)言中帶有若干HTTP客戶端庫(kù)，其中不僅包含Python語(yǔ)言自帶的Urllib與Urllib2庫(kù)之外，還帶有requests這一第三方庫(kù)。requests庫(kù)具有功能強(qiáng)大、操作簡(jiǎn)便等優(yōu)勢(shì)特點(diǎn)，可為URL操作提供眾多所需函數(shù)。在使用requests庫(kù)的過(guò)程中，開(kāi)發(fā)者可以如同對(duì)本地文件進(jìn)行直接讀取一般對(duì)互聯(lián)網(wǎng)中的數(shù)據(jù)、ftp中的數(shù)據(jù)進(jìn)行直接讀取。通過(guò)運(yùn)用requests庫(kù)，開(kāi)發(fā)者能夠在短時(shí)間內(nèi)迅速抓取URL內(nèi)容，即通過(guò)向指定頁(yè)面發(fā)送一個(gè)GET請(qǐng)求。由于requests庫(kù)本身帶有解析Json格式的功能，最后將無(wú)需進(jìn)行格式轉(zhuǎn)換的Json格式的數(shù)據(jù)返回即可。值得注意的是，此時(shí)所返回的數(shù)據(jù)為頁(yè)面二進(jìn)制數(shù)據(jù)，在requests庫(kù)完成新浪微博頁(yè)面源代碼的有效獲取后，將直接利用Python語(yǔ)言中自帶的lxml庫(kù)，利用該庫(kù)中的etree.HTML對(duì)網(wǎng)頁(yè)源代碼進(jìn)行相應(yīng)處理，由此自動(dòng)生成一個(gè)可使用lxml庫(kù)中自帶的xpath方法完成解析處理的對(duì)象[7]。其中，xpath方法在對(duì)被選擇對(duì)象進(jìn)行處理時(shí)，采用的方法類(lèi)似目錄樹(shù)，在HTML文檔的路徑中直接對(duì)源代碼結(jié)構(gòu)進(jìn)行準(zhǔn)確描述，并使用“/”將上層級(jí)路徑和下層級(jí)路徑相互分隔。對(duì)某一HTML標(biāo)簽進(jìn)行定位后便可以對(duì)相類(lèi)似文件中的相對(duì)路徑進(jìn)行有效運(yùn)用。例如存儲(chǔ)在HTML標(biāo)簽元素組class當(dāng)中的微博文本wbContent中，class的屬性是“ctt”。但同樣存儲(chǔ)在該元素組中的微博發(fā)布時(shí)間WbDate中，class的屬性則是“ct”。而存儲(chǔ)在HTML標(biāo)簽元素組name當(dāng)中的微博總頁(yè)數(shù)pageNum中，class的屬性是“mp”，在其多維字典當(dāng)中value為鍵，其值便是微博總頁(yè)數(shù)即pageNum。對(duì)微博文本與微博發(fā)布時(shí)間進(jìn)行獲取的函數(shù)getWB（），依次會(huì)將含有微博發(fā)布時(shí)間的列表list以及含有微博文本的列表list進(jìn)行返回。由于在獲取用戶發(fā)表微博中，使用瀏覽器對(duì)用戶所發(fā)表的微博內(nèi)容進(jìn)行瀏覽時(shí)，頁(yè)面并不會(huì)一次性顯示出所有微博，而是需要用戶滾動(dòng)至頁(yè)面底部之后，頁(yè)面才會(huì)自動(dòng)加載出其他微博信息，如此滾動(dòng)加載操作至少兩次才能在一頁(yè)中顯示出所有微博內(nèi)容。故而此時(shí)獲取的網(wǎng)頁(yè)源代碼也缺乏一定的完整性，需要配合使用手動(dòng)滾動(dòng)的方式或是使用發(fā)送HTTP請(qǐng)求的GET方式，建立相應(yīng)的URL對(duì)滾動(dòng)加載過(guò)程進(jìn)行有效模擬，以便保障獲取的網(wǎng)頁(yè)源代碼具有良好的完整性[8]。

2.3.3 ?匹配關(guān)鍵詞

根據(jù)最新的數(shù)據(jù)顯示，截至2018年上半年，微博月活躍用戶數(shù)已經(jīng)達(dá)到了4.3億人次，且這一數(shù)值仍在不斷增長(zhǎng)?？梢?jiàn)越來(lái)越多的網(wǎng)民開(kāi)始選擇使用微博獲取信息并進(jìn)行信息的分享與交互。微博文本內(nèi)容也成為一大海量信息源，但任何一個(gè)用戶的微博中必定存在意義較小甚至無(wú)意義的內(nèi)容，但只簡(jiǎn)單使用純爬蟲(chóng)其無(wú)法對(duì)微博內(nèi)容有用與否進(jìn)行有效區(qū)分。因此在簡(jiǎn)單使用純爬蟲(chóng)的過(guò)程中，其往往會(huì)將所有微博全部存儲(chǔ)至本地磁盤(pán)中，從而導(dǎo)致大量無(wú)意義微博內(nèi)容占據(jù)過(guò)多存儲(chǔ)空間，并大大降低從微博數(shù)據(jù)中準(zhǔn)確篩選所需微博內(nèi)容的效率。因此本文在設(shè)計(jì)基于Python的新浪微博爬蟲(chóng)程序時(shí)，選擇在爬蟲(chóng)中增設(shè)帶有關(guān)鍵字匹配模塊，使得爬蟲(chóng)在讀取微博內(nèi)容時(shí)可以直接利用關(guān)鍵字，如果微博文本與關(guān)鍵字相匹配，滿足關(guān)鍵字條件則爬蟲(chóng)會(huì)將其歸至有用微博范疇中并直接將其下載、存儲(chǔ)到本地文件中[9]。在關(guān)鍵詞提取中，首先需要將微博預(yù)處理文檔打開(kāi)并對(duì)其中一行字符串進(jìn)行有效讀取，賦給變量text，此時(shí)字符串即文檔數(shù)量表示為text_ num。在text不為空的情況下，對(duì)其進(jìn)行拆分，此時(shí)將該文檔記錄成text_name，并為其創(chuàng)建相應(yīng)的列表，命名為text_list1。對(duì)拆分后的詞語(yǔ)進(jìn)行存儲(chǔ)后將該文檔總詞數(shù)記錄為text_name_num。隨后對(duì)其他字符串進(jìn)行讀取，此時(shí)對(duì)于拆分的詞語(yǔ)word需要對(duì)text_name文檔中是否存在word詞語(yǔ)進(jìn)行準(zhǔn)確判斷。如果存在則需要對(duì)word在其他文檔里出現(xiàn)與否進(jìn)行判斷，如果不存在則可以直接將該詞添加至字典word_all中，同時(shí)賦鍵值為一。否則需要將該關(guān)鍵字鍵值加一。但假如字典word_all中不存在與text_name變量相對(duì)應(yīng)的文檔名的元素，需要重新建立一個(gè)新文件名，作為text_name變量指向的文檔名，并賦鍵值為一空字典word_all2。在該空字典中重新建立一個(gè)列表，對(duì)當(dāng)前關(guān)鍵字及其數(shù)量、文檔詞數(shù)總量進(jìn)行準(zhǔn)確記錄。重復(fù)上述步驟直至在word_all中出現(xiàn)了含有各關(guān)鍵字的文檔總篇數(shù)，求出TF-IDF值即可確定關(guān)鍵字[10]。

2.4 ?數(shù)據(jù)分析

本文以利用基于Python的新浪微博爬蟲(chóng)程序?qū)﹃P(guān)于“十九大”的微博數(shù)據(jù)進(jìn)行抓取，通過(guò)對(duì)相關(guān)微博及微博發(fā)布時(shí)間進(jìn)行分析?？芍胍曅侣勗?017年10月1日到10月25日期間，在新浪微博央視新聞客戶端中總共發(fā)布了300余條微博，在搜索欄中鍵入“十九大”這一關(guān)鍵字并進(jìn)行匹配分析后，可知在新浪微博央視新聞客戶端中共有266條與該關(guān)鍵字相匹配的微博。而在整個(gè)2017年新浪微博用戶對(duì)十九大的關(guān)注度均相對(duì)較高，這也意味著當(dāng)年十九大是人們較為關(guān)注的一大熱點(diǎn)話題。隨著2017年10月24日十九大正式閉幕以后，人們對(duì)于十九大的關(guān)注熱度也在不斷降低。但在我國(guó)持續(xù)貫徹落實(shí)十九大精神，要求各行各業(yè)以及黨員干部抓緊學(xué)習(xí)十九大精神，嚴(yán)格按照十九大要求開(kāi)展各項(xiàng)工作的過(guò)程中，人們對(duì)十九大依舊保持一定關(guān)注度，但并未達(dá)到十九大召開(kāi)期間的關(guān)注度高峰。

3 ?結(jié)論

通過(guò)本文的分析研究，可知Python語(yǔ)言具有語(yǔ)法簡(jiǎn)便、功能強(qiáng)大等優(yōu)勢(shì)特征，運(yùn)用在新浪微博爬蟲(chóng)程序設(shè)計(jì)中具有較高的可行性。通過(guò)采用純爬蟲(chóng)的方式搭配使用Python語(yǔ)言，使得用戶只需利用新浪微博賬號(hào)，便可運(yùn)用爬蟲(chóng)對(duì)相關(guān)微博數(shù)據(jù)與信息內(nèi)容進(jìn)行準(zhǔn)確抓取。同時(shí)在設(shè)計(jì)過(guò)程中增加關(guān)鍵詞匹配模塊，可以令爬蟲(chóng)更加精準(zhǔn)搜索與關(guān)鍵詞相匹配的微博內(nèi)容并直接下載保存至本地文件中，便于程序開(kāi)發(fā)者及其他用戶對(duì)微博的深入挖掘。因此本文所設(shè)計(jì)的Python下的新浪微博爬蟲(chóng)程序具有較高的實(shí)用性和有效性。

參考文獻(xiàn)

[1] 王金峰， 彭禹， 王明， 等. 基于網(wǎng)絡(luò)爬蟲(chóng)的新浪微博數(shù)據(jù)抓取技術(shù)[J]. 中小企業(yè)管理與科技（上旬刊）， 2019（01）： 162-163.

[2] 王英杰. 基于Python的微博數(shù)據(jù)爬蟲(chóng)程序設(shè)計(jì)研究[J]. 信息與電腦（理論版）， 2018（23）： 93-94.

[3] 杜翔， 蔡燕， 蘭小機(jī). 基于Python的新浪微博位置數(shù)據(jù)獲取方法研究[J]. 江西理工大學(xué)學(xué)報(bào)， 2018， 39（05）： 90-96.

[4] 陳政伊， 袁云靜， 賀月錦， 等. 基于Python的微博爬蟲(chóng)系統(tǒng)研究[J]. 大眾科技， 2017， 19（08）： 8-11.

[5] 王芳， 肖皇培. 以爬蟲(chóng)為興趣牽引的Python教學(xué)方案探索與實(shí)踐[J]. 軟件， 2018， 39（12）： 28-31.

[6] 張小璞， 左小清. 在ArcGIS下基于Python的路網(wǎng)數(shù)據(jù)批處理方法[J]. 軟件， 2018， 39（07）： 130-133.

[7] 劉清. 網(wǎng)絡(luò)爬蟲(chóng)針對(duì)“反爬”網(wǎng)站的爬取策略分析[J]. 信息與電腦（理論版）， 2019（03）： 23-24.

[8] Justyna Rybak， Wioletta Rogula-Koz?owska， Izabela Jure-czko， Rados?aw Rutkowski. Monitoring of indoor polycyclic aromatic hydrocarbons using spider webs[J]. Chemosphere， 2019， 218.

[9] 蘇國(guó)新， 蘇聿. 基于Python的可配置網(wǎng)絡(luò)爬蟲(chóng)[J]. 寧德師范學(xué)院學(xué)報(bào)（自然科學(xué)版）， 2018， 30（04）： 364-368.

[10] 邵曉文. 多線程并發(fā)網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 現(xiàn)代計(jì)算機(jī)（專(zhuān)業(yè)版）， 2019（01）： 97-100.