一種基于Chrome擴展程序的網(wǎng)絡數(shù)據(jù)采集方法

沈 洪 洲

(南京郵電大學管理學院　江蘇 南京 210023)

?

一種基于Chrome擴展程序的網(wǎng)絡數(shù)據(jù)采集方法

沈 洪 洲

(南京郵電大學管理學院江蘇 南京 210023)

摘要采集大量的網(wǎng)絡數(shù)據(jù)可以為相關的科學研究提供重要的數(shù)據(jù)基礎。針對科研工作者無法方便靈活地采集針對性網(wǎng)絡數(shù)據(jù)的現(xiàn)狀，提出基于Chrome擴展程序的網(wǎng)絡數(shù)據(jù)采集方法，從網(wǎng)頁中析取數(shù)據(jù)，或通過Ajax技術從網(wǎng)頁服務器端直接讀取結構化的數(shù)據(jù)，并對采集到的數(shù)據(jù)進行集中處理和存儲。最終的執(zhí)行效果表明，該方法可以突破動態(tài)網(wǎng)頁技術的限制，無需處理復雜的用戶登錄邏輯，并可支持多用戶場景下的分布式網(wǎng)絡數(shù)據(jù)采集。

關鍵詞Chrome擴展程序網(wǎng)絡數(shù)據(jù)采集Ajax分布式

0引言

隨著互聯(lián)網(wǎng)技術與理念的不斷推陳出新，尤其是以Web 2.0為基礎的社會化媒體的出現(xiàn)和普及，使得廣大用戶成為互聯(lián)網(wǎng)的中心，他們通過論壇、社交網(wǎng)絡、微博、維基等應用，不斷地創(chuàng)造和傳播各式各樣的互聯(lián)網(wǎng)內容。這些以論壇帖文、個人狀態(tài)和日志、微博信息、維基條目等為典型主體的互聯(lián)網(wǎng)內容，連同圍繞這些內容產生的各種回復和評價一起形成了互聯(lián)網(wǎng)上隨處可見的海量的網(wǎng)絡數(shù)據(jù)。在“大數(shù)據(jù)”研究受到日益重視的背景下，海量網(wǎng)絡數(shù)據(jù)的重要性已經(jīng)顯而易見，其蘊藏的研究價值逐漸凸顯，為基于互聯(lián)網(wǎng)的輿情監(jiān)控、用戶行為分析和網(wǎng)絡社會學等方面的科學研究提供了極其重要的數(shù)據(jù)基礎[1]。然而，不同于靜態(tài)網(wǎng)頁中固定不變的數(shù)據(jù)，此類網(wǎng)絡數(shù)據(jù)絕大多數(shù)存在于動態(tài)網(wǎng)頁之中，均是根據(jù)不同的訪問場景由數(shù)據(jù)庫中的數(shù)據(jù)動態(tài)封裝而成，其訪問受到各個互聯(lián)網(wǎng)應用服務商的嚴格控制，加之Ajax等異步網(wǎng)絡編程技術的廣泛應用，使得如何大批量地采集具有研究價值的網(wǎng)絡數(shù)據(jù)成為許多科研工作者亟待解決的重要難題。本文從實際科研工作中的網(wǎng)絡數(shù)據(jù)采集需求出發(fā)，提出一種基于Chrome瀏覽器擴展程序的網(wǎng)絡數(shù)據(jù)采集方法，可突破普通網(wǎng)絡爬蟲和調用網(wǎng)站API數(shù)據(jù)采集方式的局限，幫助科研工作者以分布式的方式采集大量的具有針對性的網(wǎng)絡數(shù)據(jù)。

1網(wǎng)絡數(shù)據(jù)采集現(xiàn)狀分析

目前常見的網(wǎng)絡數(shù)據(jù)采集方法包括網(wǎng)絡爬蟲和調用網(wǎng)站API兩種，其中，網(wǎng)絡爬蟲是較早出現(xiàn)的一種網(wǎng)絡數(shù)據(jù)采集方法，它是一種能夠沿著網(wǎng)頁中的超級鏈接自動漫游，并依據(jù)廣度優(yōu)先或深度優(yōu)先的策略抓取頁面信息的程序。傳統(tǒng)的網(wǎng)絡爬蟲主要用于抓取新聞門戶類、論壇類及傳統(tǒng)博客類網(wǎng)站的數(shù)據(jù)，更擅長處理靜態(tài)網(wǎng)頁的數(shù)據(jù)[2]。為了能夠更好地抓取動態(tài)網(wǎng)頁中的數(shù)據(jù)，有不少研究開始嘗試改進傳統(tǒng)的網(wǎng)絡爬蟲，使之能夠處理受訪問保護的網(wǎng)頁和采用Ajax技術的網(wǎng)頁。孫青云等人[3]就提出了一種基于模擬登錄的微博數(shù)據(jù)采集方案，解決了傳統(tǒng)網(wǎng)絡爬蟲在采集微博數(shù)據(jù)時需要身份驗證的難題，加快了微博數(shù)據(jù)的采集速度。紀偉也設計了一種采用模擬登錄技術訪問受保護網(wǎng)頁的網(wǎng)絡數(shù)據(jù)采集系統(tǒng)，并詳細闡述了模擬登錄的過程和登陸成功后Cookie的使用問題[4]。Mesbah等人則開發(fā)了一種叫作Crawljax工具，該工具對傳統(tǒng)網(wǎng)絡爬蟲進行了改進，可以很好地分析基于Ajax技術的網(wǎng)站狀態(tài)以及引起狀態(tài)變化的各類頁面事件，從而獲取Ajax請求生成的靜態(tài)數(shù)據(jù)[5]。劉凡凡設計了一種面向Ajax技術的網(wǎng)絡爬蟲系統(tǒng)，采用Webkit引擎解析網(wǎng)頁中的JavaScript代碼，并據(jù)此生成Ajax數(shù)據(jù)的翻頁腳本，實現(xiàn)分頁數(shù)據(jù)的自動提取功能[6]。

盡管可以通過網(wǎng)絡爬蟲的一些改進技術實現(xiàn)各類網(wǎng)絡數(shù)據(jù)的采集，但網(wǎng)絡爬蟲獲取的往往是整個頁面數(shù)據(jù)，缺乏針對性，因此還需要采取一些額外措施對采集到的網(wǎng)頁數(shù)據(jù)進行解析和整理，以得到研究所需的目標數(shù)據(jù)。利用網(wǎng)站自身提供的API實現(xiàn)網(wǎng)絡數(shù)據(jù)采集則可以很好地解決數(shù)據(jù)針對性的問題。越來越多的社會化媒體網(wǎng)站推出了開放平臺，提供了豐富的API，在已獲授權的情況下，第三方程序可通過這些API直接獲取網(wǎng)絡數(shù)據(jù)。通過API獲取的網(wǎng)絡數(shù)據(jù)通常以JSON或XML的格式呈現(xiàn)，具有清晰的數(shù)據(jù)結構，非常便于通過程序直接進行數(shù)據(jù)抽取[7]。然而，對于網(wǎng)站API的調用也會受到種種限制。首先，網(wǎng)站提供的API種類可能有限制，有時并不能提供我們所需要的某類特定數(shù)據(jù)；其次，網(wǎng)站API的調用次數(shù)也會受到限制，例如人人網(wǎng)中普通授權應用的信息獲取類API調用配額為“單用戶每應用150次/小時”[8]，這種限制往往無法滿足大批量數(shù)據(jù)的采集需求。

綜合考慮現(xiàn)有網(wǎng)絡數(shù)據(jù)采集方法中存在的諸多不足，并且立足于實際的科研工作，本文分析并總結出科研工作者對于網(wǎng)絡數(shù)據(jù)采集方法的具體需求，概括如下：

(1) 能夠采集到受保護的網(wǎng)絡數(shù)據(jù)。Web 2.0背景下，許多網(wǎng)絡數(shù)據(jù)受到保護，只有登錄以后才可以訪問到，在某些特定的科研工作中，這些受保護的網(wǎng)絡數(shù)據(jù)都具有很高的研究價值，是科研工作需要重點分析的一類網(wǎng)絡數(shù)據(jù)。

(2) 能夠靈活地采集多樣化的網(wǎng)絡數(shù)據(jù)。網(wǎng)絡上的數(shù)據(jù)種類非常豐富，為不同目的的科研工作提供了不同的研究數(shù)據(jù)，因此，可靈活地確定并采集到不同類型的網(wǎng)絡數(shù)據(jù)顯得尤為重要。

(3) 能夠持續(xù)采集大量的網(wǎng)絡數(shù)據(jù)?？茖W合理的研究結論往往來自對大批量研究數(shù)據(jù)的綜合分析，只有能夠持續(xù)地采集到大量的網(wǎng)絡數(shù)據(jù)才能很好地對科研工作起到支撐作用。

(4) 能夠采集不同用戶的網(wǎng)絡數(shù)據(jù)。單個互聯(lián)網(wǎng)用戶的網(wǎng)絡數(shù)據(jù)往往比較有限，也不能很好地證明研究結論的普適性，因此，獲取眾多不同用戶的網(wǎng)絡數(shù)據(jù)才具有真實的研究價值。

2基于Chrome擴展程序的網(wǎng)絡數(shù)據(jù)采集思路

為了更好地闡明本文所提方法的具體實現(xiàn)思路，可設定如下網(wǎng)絡數(shù)據(jù)采集場景：某研究團隊需要采集某社會化媒體網(wǎng)站的用戶數(shù)據(jù)，如個人信息、好友關系、評論、留言等。為此，研究人員招募了來自各地的眾多研究志愿者并試圖采集他們的相關數(shù)據(jù)?；谏衔膶τ诰W(wǎng)絡數(shù)據(jù)采集方法實際需求的分析，本文基于谷歌公司Chrome瀏覽器的擴展程序，直接從瀏覽器端解析并整理需要采集的目標數(shù)據(jù)，然后將數(shù)據(jù)通過互聯(lián)網(wǎng)發(fā)送到數(shù)據(jù)庫集中存儲。具體實現(xiàn)思路如圖1所示。

圖1　具體實現(xiàn)思路圖

圖1中各個組成部分的具體功能描述如下：

(1) 網(wǎng)絡數(shù)據(jù)服務器。要采集的目標網(wǎng)絡數(shù)據(jù)由各類社會化媒體網(wǎng)站的服務器提供，如人人網(wǎng)服務器、新浪微博服務器等。服務器端的網(wǎng)絡數(shù)據(jù)會以兩種方式被傳遞給客戶端的瀏覽器：一種是服務器端將數(shù)據(jù)整合成網(wǎng)頁后直接發(fā)送到客戶端，例如數(shù)據(jù)量較小的用戶個人信息；另一種是客戶端的網(wǎng)頁通過Ajax技術請求并獲取到服務器上的數(shù)據(jù)，然后再將數(shù)據(jù)填入已經(jīng)載入的網(wǎng)頁中，例如大量評論數(shù)據(jù)的分頁顯示。

(2) 網(wǎng)絡數(shù)據(jù)采集程序。網(wǎng)絡數(shù)據(jù)采集程序以Chrome擴展程序的形式直接運行于客戶端的Chrome瀏覽器，可以直接從已載入的網(wǎng)頁中解析出目標數(shù)據(jù)，也可以以Ajax方式根據(jù)目標數(shù)據(jù)的訪問地址直接從網(wǎng)絡數(shù)據(jù)服務器上獲取到目標數(shù)據(jù)。當完成目標數(shù)據(jù)的采集后，采集程序再將數(shù)據(jù)提交給后臺的數(shù)據(jù)處理服務器，供整理和存儲。可見，網(wǎng)絡數(shù)據(jù)采集程序的基礎是必須分析出目標數(shù)據(jù)的傳遞方式，弄清楚數(shù)據(jù)在網(wǎng)頁中的具體位置或數(shù)據(jù)的具體請求地址。對于那些受到保護的網(wǎng)絡數(shù)據(jù)，可以在志愿者登錄到網(wǎng)站之后再運行數(shù)據(jù)采集程序，不需要志愿者提供用戶名密碼，也可避免模擬登錄網(wǎng)站的復雜邏輯。

(3) 數(shù)據(jù)處理服務器。數(shù)據(jù)處理服務器運行于后臺，提供一系列基于REST模式的調用接口，網(wǎng)絡數(shù)據(jù)采集程序可通過這些接口將采集到的目標數(shù)據(jù)發(fā)送到數(shù)據(jù)處理服務器。數(shù)據(jù)處理服務器可在后臺對數(shù)據(jù)進行加工、整理和存儲。數(shù)據(jù)處理服務器可置于互聯(lián)網(wǎng)之上，位于不同地理位置的志愿者只要能訪問互聯(lián)網(wǎng)即可完成網(wǎng)絡數(shù)據(jù)的采集。

(4) 數(shù)據(jù)庫。即普通的關系型數(shù)據(jù)庫，主要用于集中存儲加工處理后的研究數(shù)據(jù)。

3關鍵技術實現(xiàn)

為能更為詳細地闡釋基于Chrome擴展程序的網(wǎng)絡數(shù)據(jù)采集方法關鍵技術的實現(xiàn)細節(jié)，本文以采集人人網(wǎng)用戶的狀態(tài)數(shù)據(jù)為例，對網(wǎng)絡數(shù)據(jù)采集程序和數(shù)據(jù)處理服務程序這兩個核心組件的具體實現(xiàn)過程進行說明。

3.1網(wǎng)絡數(shù)據(jù)采集程序的實現(xiàn)

Chrome瀏覽器的擴展程序是網(wǎng)絡數(shù)據(jù)采集程序的實現(xiàn)基礎，它在本質上是一段基于HTML、JavaScript和CSS等網(wǎng)頁開發(fā)技術的小程序。Chrome瀏覽器的擴展程序可以被用來更改或者增強Chrome瀏覽器的功能，例如，通過內容腳本或者跨源請求實現(xiàn)與網(wǎng)頁或者網(wǎng)絡服務器之間的交互，也可以通過擴展程序調用書簽和標簽頁等Chrome瀏覽器自帶的功能。擴展程序可以有自己的用戶界面，通常以兩種形式來觸發(fā)這個界面——瀏覽器動作和網(wǎng)頁動作。當擴展程序需要作用于許多不同的網(wǎng)頁時，可以選擇瀏覽器動作；當擴展程序只需作用于某個特定的網(wǎng)頁，且只有在該網(wǎng)頁出現(xiàn)才需要起作用時，可以選擇網(wǎng)頁動作[9]。本文討論的網(wǎng)絡數(shù)據(jù)采集方法將采集來自不同網(wǎng)頁的數(shù)據(jù)，故選擇網(wǎng)頁動作。當用戶點擊擴展程序圖標后，程序在后臺執(zhí)行網(wǎng)絡數(shù)據(jù)的采集動作，并在彈出的界面內顯示數(shù)據(jù)采集的進程。

(1) 目標數(shù)據(jù)傳遞方式分析

在正式開發(fā)網(wǎng)絡數(shù)據(jù)采集程序之前，必須對將要采集的目標數(shù)據(jù)的傳遞方式進行詳細分析，為此，我們需要用到HTTP分析工具(如Chrome瀏覽器自帶的“開發(fā)者工具”)。利用HTTP分析工具對人人網(wǎng)的訪問過程進行分析，可以很容易發(fā)現(xiàn)在本例中需要首先獲得人人網(wǎng)用戶的編號，這是對人人網(wǎng)用戶的唯一標識，也是獲取該用戶狀態(tài)數(shù)據(jù)的基礎。HTTP分析結果顯示，可以通過直接訪問網(wǎng)址“http://guide.renren.com/guide”來獲得網(wǎng)頁文件，其中“XN.user, {′id′:′373465171′”處即含有用戶編號(即373465171)。因此，可以直接從網(wǎng)頁中析取用戶編號，即通過字符串處理的方法處理網(wǎng)頁內容，并取得用戶編號。進一步的HTTP分析可以發(fā)現(xiàn)，可以利用已獲得的用戶編號，通過Ajax方式訪問網(wǎng)址“http://status.renren.com/GetSomeomeDoingList.do?userId=X&curpage=Y”即能獲得用戶的狀態(tài)數(shù)據(jù)，其中X處用用戶編號替換，Y為狀態(tài)數(shù)據(jù)的頁碼(考慮狀態(tài)數(shù)據(jù)較多需要翻頁的情況)。以上網(wǎng)址返回的用戶狀態(tài)數(shù)據(jù)以JSON文件的形式存在，可通過JSON操作直接析取出需要的狀態(tài)數(shù)據(jù)，如編號、發(fā)布時間、評論總數(shù)和狀態(tài)內容等。

(2) 目標數(shù)據(jù)采集過程

在掌握目標數(shù)據(jù)的傳遞方式之后，可針對具體的傳遞方式編寫網(wǎng)絡數(shù)據(jù)采集程序實現(xiàn)目標數(shù)據(jù)的采集過程。

首先，作為一個Chrome瀏覽器的擴展程序，本例中網(wǎng)絡數(shù)據(jù)采集程序最核心的文件是manifest.json，它定義了本程序的所有關鍵屬性，包括最重要的文件和功能。在manifest.json中，聲明了程序采用瀏覽器動作，并指明彈出的網(wǎng)頁文件名為popup.html，更重要的是，還通過permissions參數(shù)給出了本程序可訪問的網(wǎng)址，除了所有人人網(wǎng)網(wǎng)頁的網(wǎng)址(http://*.renren.com/*， https://*.renren.com/*)外，還需包括數(shù)據(jù)處理服務器的網(wǎng)址，因為采集程序需向數(shù)據(jù)處理服務器提交結果數(shù)據(jù)。

在popup.html中加載popup.js，這是一個自行編寫的JavaScript腳本程序，是實現(xiàn)網(wǎng)絡數(shù)據(jù)采集過程的主體文件。由于popup.js中用到JQuery框架的Ajax調用方法，因此，popup.html中還需要加載jquery.min.js。本例中，popup.js的程序邏輯可以分為三個主要步驟：①獲得用戶編號；②通過用戶編號獲得用戶狀態(tài)數(shù)據(jù)；③將采集完成的狀態(tài)數(shù)據(jù)提交至數(shù)據(jù)處理服務器。此處，將重點討論以采集數(shù)據(jù)為主要目的的前兩個步驟。

獲取用戶編號的工作由getUserID方法實現(xiàn)。在該方法中，首先通過Ajax請求訪問網(wǎng)址“http://guide.renren.com/guide”，以獲取包含用戶編號的網(wǎng)頁。然后，將網(wǎng)頁視為普通文本并通過文本處理技術析取出用戶編號。最后，通過用戶編號調用獲取用戶狀態(tài)數(shù)據(jù)的方法。具體的程序流程如圖2所示。

圖2　getUserID方法的程序流程圖

用戶狀態(tài)的獲取通過getUserStatus方法實現(xiàn)，該方法旨在通過用戶編號獲取該用戶的狀態(tài)數(shù)據(jù)。當狀態(tài)數(shù)據(jù)較多時會出現(xiàn)分頁的情況，必須確定當前獲取的狀態(tài)數(shù)據(jù)處于哪一頁。因此，getUserStatus方法有用戶編號(userID)和頁碼(n)這兩個參數(shù)，在getUserID方法中調用getUserStatus方法時，參數(shù)n設定為0，即從第0頁開始獲取數(shù)據(jù)。getUserStatus方法的實現(xiàn)依然基于Ajax請求，具體的訪問地址由用戶編號和頁碼共同決定(請參考“目標數(shù)據(jù)傳遞方式分析”部分的分析結果)。如果請求沒有異常，則會獲得JSON格式的狀態(tài)數(shù)據(jù)，通過JSON操作可以很方便地獲取到目標數(shù)據(jù)，其核心代碼如下：

function getUserStatus(userID,n){

//獲取第n頁的狀態(tài)數(shù)據(jù)

……

//此處省略Ajax請求的發(fā)起代碼

success:function(msg){

//請求成功，獲取并解析返回的數(shù)據(jù)

//取得狀態(tài)列表，“doingArray”為人人網(wǎng)規(guī)定的標識

var statusList = msg.doingArray;

if(statusList.length>0){

//狀態(tài)列表不為空

for(var i=0;i

//依次處理狀態(tài)數(shù)據(jù)

console.log(″Status id: ″+ statusList[i].id.toString());

status = {

//需要的狀態(tài)信息

″sid″: statusList[i].id.toString(),

//狀態(tài)編號

″stime″: statusList[i].dtime,

//狀態(tài)發(fā)布時間

//狀態(tài)評論數(shù)

″scomment_count″: statusList[i].comment_count,

″scontent″: statusList[i].content

//狀態(tài)內容

};

userStatus.push(status);

//用數(shù)組存儲狀態(tài)數(shù)據(jù)

}

getUserStatus(userID,n+1);

//繼續(xù)采集下一頁狀態(tài)數(shù)據(jù)

}else{

//狀態(tài)列表為空，已無數(shù)據(jù)可采，準備提交數(shù)據(jù)

submitResult();

//通過該方法提交結果數(shù)據(jù)

}},

......

}

(3) 結果數(shù)據(jù)的提交過程

當完成用戶所有狀態(tài)數(shù)據(jù)的采集之后，需要將數(shù)據(jù)提交至數(shù)據(jù)處理服務器進行集中的處理和存儲，以便于科學研究的進一步使用。數(shù)據(jù)處理服務器提供的REST接口可以讓網(wǎng)絡數(shù)據(jù)采集程序很方便地通過遠程調用實現(xiàn)數(shù)據(jù)提交。在本例中，submitResult方法可將已采集到的狀態(tài)數(shù)據(jù)提交給數(shù)據(jù)處理服務器。首先，將用戶編號和用戶的所有狀態(tài)數(shù)據(jù)封裝成一個JSON數(shù)據(jù)對象，然后以Ajax方式調用數(shù)據(jù)處理服務器提供的狀態(tài)數(shù)據(jù)接收接口(例如http://example.com/study/status)，通過POST方法將封裝有狀態(tài)數(shù)據(jù)的JSON對象整體提交至數(shù)據(jù)處理服務器，最后根據(jù)數(shù)據(jù)提交結果通知用戶數(shù)據(jù)采集是否順利完成。submitResult方法完整的實現(xiàn)代碼如下：

function submitResult(){

results={

//封裝狀態(tài)數(shù)據(jù)的JSON對象

″userID″: userID,

″userStatus″: userStatus };

＄.ajax({

//發(fā)起Ajax請求

url:″http://example.com/study/status″,

//REST接口

data:JSON.stringify(results),

//將數(shù)據(jù)加入到請求中

type:″post″,

//設定提交方法

dataType:″html″,

contentType:″application/json;charset=UTF-8″,

success:function(msg){

if(msg==″OK″){

//提交數(shù)據(jù)成功

console.log(″Succeed to submit data.″);

＄(″#waiting″).text(″采集數(shù)據(jù)完成。″);

//通知用戶

}else{

//提交數(shù)據(jù)失敗

console.log(″Submit data failed:″+msg);

＄(″#waiting″).text(″采集數(shù)據(jù)失敗?！?;

}

},

error:function(xhr){ alert(″提交數(shù)據(jù)發(fā)生錯誤!″); }

});

}

3.2數(shù)據(jù)處理服務程序的實現(xiàn)

數(shù)據(jù)處理服務程序實際是一個可以部署在互聯(lián)網(wǎng)上的Web應用，它提供REST接口供網(wǎng)絡數(shù)據(jù)采集程序調用，從而獲得已被采集到的狀態(tài)數(shù)據(jù)，然后對數(shù)據(jù)進行處理并存儲至后臺數(shù)據(jù)庫。本文研究基于Spring框架開發(fā)了一個簡單的Web應用，通過“/status”接口接收狀態(tài)數(shù)據(jù)，其核心處理過程的順序如圖3所示。

圖3　數(shù)據(jù)處理服務程序的順序圖

圖3中RESTConroller、DataService和DAO是數(shù)據(jù)處理服務程序的主要程序模塊，它們的詳細功能闡述如下：

(1) RESTController，是直接處理網(wǎng)絡數(shù)據(jù)采集程序REST調用的模塊，它通過HTTP協(xié)議獲取采集程序提交的用戶狀態(tài)數(shù)據(jù)，并進一步將數(shù)據(jù)解析成JSON對象交給DataService處理。

(2) DataService，是處理并抽取已采集的具體網(wǎng)絡數(shù)據(jù)的核心模塊，它利用JSON處理工具獲取諸如用戶編號、狀態(tài)編號、狀態(tài)內容等具體的數(shù)據(jù)項，然后構建相應的Java數(shù)據(jù)對象，交給DAO處理。

(3) DAO，是負責將已采集網(wǎng)絡數(shù)據(jù)進行持久化的模塊，它直接操作后臺的關系型數(shù)據(jù)庫，將采集到的網(wǎng)絡數(shù)據(jù)存入數(shù)據(jù)庫。

4方法執(zhí)行效果

本文基于Chrome擴展程序的網(wǎng)絡數(shù)據(jù)采集方法已在實際研究工作中成功應用。研究招募了若干名志愿者，在向志愿者闡明研究意圖并得到志愿者同意的情況下，請志愿者在Chrome瀏覽器上安裝網(wǎng)絡數(shù)據(jù)采集程序，然后登錄人人網(wǎng)并點擊程序圖標，數(shù)據(jù)采集程序啟動并完成研究數(shù)據(jù)的采集。網(wǎng)絡數(shù)據(jù)采集程序的運行環(huán)境沒有特殊要求，志愿者只需安裝最新的Chrome瀏覽器即可。數(shù)據(jù)處理服務器的操作系統(tǒng)為Linux，應用服務器軟件為Apache Tomcat 5.5.36，采用1.6版的Java運行環(huán)境，后臺數(shù)據(jù)庫為MySQL 5.0.18。

當志愿者登錄人人網(wǎng)之后，點擊右上角的“S”圖標即可運行網(wǎng)絡數(shù)據(jù)采集程序，數(shù)據(jù)采集的進程在彈出的界面上展示給志愿者。具體如圖4所示。

圖4　網(wǎng)絡數(shù)據(jù)采集程序圖標和界面

通過Chrome瀏覽器的開發(fā)者工具可以看到網(wǎng)絡數(shù)據(jù)采集程序輸出的日志信息(如圖5所示)，從而可以更準確地掌握數(shù)據(jù)采集的進程。

圖5　網(wǎng)絡數(shù)據(jù)采集程序的后臺日志

當網(wǎng)絡數(shù)據(jù)采集程序執(zhí)行完畢后，通過數(shù)據(jù)庫管理系統(tǒng)的界面可以查詢到已經(jīng)被采集到的用戶狀態(tài)數(shù)據(jù)。

5結語

依托實際的科研工作，本文提出一種基于Chrome瀏覽器擴展程序的網(wǎng)絡數(shù)據(jù)采集方法，在系統(tǒng)分析網(wǎng)絡數(shù)據(jù)采集實際需求的基礎上，詳細介紹了本方法的整體技術思路和核心組件的具體實現(xiàn)過程?；贑hrome瀏覽器擴展程序的網(wǎng)絡數(shù)據(jù)采集方法彌補了網(wǎng)絡爬蟲和網(wǎng)站API調用等常見網(wǎng)絡數(shù)據(jù)采集方法的不足，可以簡單靈活的方式采集Web 2.0環(huán)境下受保護的各類網(wǎng)絡數(shù)據(jù)，還可很方便地支持多用戶場景下的分布式網(wǎng)絡數(shù)據(jù)采集，為解決互聯(lián)網(wǎng)背景下大數(shù)據(jù)研究的源數(shù)據(jù)獲取問題提供了一種新的解決方案。需要說明的是，本文所提的網(wǎng)絡數(shù)據(jù)采集方法還僅是一種新的嘗試，離完善的網(wǎng)絡數(shù)據(jù)采集工具還有一定的距離，在功能的完整性和可擴展性上還有許多工作要做。

參考文獻

[1] Snijders C, Matzat U, Reips U. “Big Data”: Big Gaps of Knowledge in the Field of Internet Science[J]. International Journal of Internet Science, 2012,7(1):1-5.

[2] 夏冰,高軍,王騰蛟,等.一種高效的動態(tài)腳本網(wǎng)站有效頁面獲取方法[J]. 軟件學報,2009,20(S1):176-183.

[3] 孫青云, 王俊峰,趙宗渠,等.一種基于模擬登錄的微博數(shù)據(jù)采集方案[J].計算機技術與發(fā)展,2014,24(3):6-10.

[4] 紀偉. 微博數(shù)據(jù)采集系統(tǒng)的設計與實現(xiàn)[D]. 石家莊: 河北科技大學,2013.

[5] Mesbah A, Deursen A V, Lenselink S. Crawling Ajax-Based Web Applications through Dynamic Analysis of User Interface State Changes[J]. ACM Transactions on the Web, 2012,6(1):1-30.

[6] 劉凡凡. 支持Ajax的定址網(wǎng)絡爬蟲系統(tǒng)的研究與實現(xiàn)[D]. 北京: 北京郵電大學, 2012.

[7] 朱云鵬,馮楓,陳江寧.多策略融合的中文微博數(shù)據(jù)采集方法[J]. 計算機工程與設計, 2013,34(11):3835-3839.

[8] 人人網(wǎng)開放平臺. 接口調用的配額權限[EB/OL]. 2014-10-21. http://wiki.dev.renren.com/wiki/API_Quota.

[9] Google. Overview of Chrome Extension[EB/OL]. 2014-10-05. https://developer.chrome.com/extensions/overview.

收稿日期：2015-04-01。國家自然科學基金項目(71403134)；教育部人文社會科學研究青年基金項目(14YJCZH122)；江蘇高校哲學社會科學研究基金項目(2014SJB009)。沈洪洲，講師，主研領域：社會化媒體。

中圖分類號TP302

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.07.003

AN INTERNET DATA COLLECTION METHOD BASED ON CHROME EXTENSION

Shen Hongzhou

(SchoolofManagement,NanjingUniversityofPostsandTelecommunications,Nanjing210023,Jiangsu,China)

AbstractCollecting large amounts of Internet data can provide important data base for relevant scientific research. For the current situation that researchers can’t easily and flexibly collect targeted Internet data, this paper proposes a Chrome extension-based Internet data collection method, which will extract data from a Webpage, or read the structured data directly from Webpage server with Ajax technology, and makes centralised processing and storage for the collected data. The final implementation results indicate that this new method can break through the restrictions of dynamic Webpage technology, avoids the complex logic of user login and supports distributed Internet data collection in multi-user scenarios as well.

KeywordsChrome extensionInternet data collectionAjaxDistributed