通用的行業(yè)網(wǎng)站資訊集成平臺的設(shè)計與實現(xiàn)

鄧子云

（長沙商貿(mào)旅游職業(yè)技術(shù)學院，湖南 長沙 410116）

0 引言

每個行業(yè)都有資訊相對較為集中的網(wǎng)站，這些網(wǎng)站有政府、企業(yè)、行業(yè)協(xié)會等類型。這里的行業(yè)泛指經(jīng)濟術(shù)語中的行業(yè)或某種組織類型，如物流行業(yè)、統(tǒng)戰(zhàn)系統(tǒng)組織等。研發(fā)一種通用的行業(yè)網(wǎng)站資訊集成，這樣就可以每天自動爬取到某個行業(yè)的所有資訊，然后提取出所有資訊的內(nèi)容再作數(shù)據(jù)處理、統(tǒng)計和展示。這樣的集成平臺存在3個特征。

1）數(shù)據(jù)占用存儲空間適中。由于要爬取的網(wǎng)站數(shù)量通常在10~1 000個之間，數(shù)量不大，導致需要的網(wǎng)頁存儲空間在1~10TB之間。這比全網(wǎng)爬蟲的爬取范圍小得多，比個別網(wǎng)站爬蟲的爬取范圍又大很多。因此，這樣的集成平臺可使用PC服務(wù)器即可滿足應(yīng)用的需求。

2）對資訊更新時間粒度適中。行業(yè)網(wǎng)站資訊只需控制在24小時內(nèi)獲取即可，并不需要實時獲取。如果有更細粒度的資訊獲取時間要求，在采取增量式爬取的情況下，也不會對集成平臺的服務(wù)器及被爬取的網(wǎng)站造成暴力訪問。

3）應(yīng)用有較強的通用性。這種通用性體現(xiàn)在平臺研發(fā)完成后，在不同的行業(yè)之間切換應(yīng)用，只需要更新要爬取的網(wǎng)站列表及數(shù)據(jù)展現(xiàn)界面的部分圖片（如首頁logo、banner等）即可。

研發(fā)出這樣的集成平臺，這就應(yīng)當先描述清楚通用的行業(yè)應(yīng)用場景，再作出總體架構(gòu)設(shè)計及各子系統(tǒng)的設(shè)計。筆者已經(jīng)組織研發(fā)出這樣的集成平臺。下面展開討論。

1 通用的行業(yè)應(yīng)用場景

在爬取到行業(yè)各網(wǎng)站的網(wǎng)頁后，這就需要對其應(yīng)用進行歸納，可包括但不限于以下應(yīng)用。

1）排名參考。為鼓勵行業(yè)各組織積極在各自網(wǎng)站上發(fā)布行業(yè)資訊，將對行業(yè)各組織的網(wǎng)站資訊數(shù)量進行總量、每日、月度、季度、年度的排名。

2）輿情監(jiān)控。對收集到的內(nèi)容進行查詢，如果發(fā)現(xiàn)有異常內(nèi)容則作出警示，提醒各網(wǎng)站工作人員關(guān)注并作后續(xù)處理。所謂異常內(nèi)容是指查找網(wǎng)頁內(nèi)容中的敏感詞，一旦發(fā)現(xiàn)有則表示該網(wǎng)頁需要進行內(nèi)容排查[1]。

3）熱點提取。根據(jù)收集到的內(nèi)容作文字聚合，按日、周、月、季度、年度為時間周期得到該周期的行業(yè)熱點詞匯。

2 行業(yè)網(wǎng)站資訊集成平臺需要研發(fā)的功能

根據(jù)行業(yè)應(yīng)用場景，接下來分析行業(yè)網(wǎng)站資訊集成平臺需要研發(fā)的軟件系統(tǒng)及其功能需求。

2.1 需要研發(fā)的軟件系統(tǒng)

從對通用的行業(yè)應(yīng)用場景的分析來看，首先需要研發(fā)出一種網(wǎng)站爬蟲系統(tǒng)，爬取所有行業(yè)網(wǎng)站的內(nèi)容；其次需要研發(fā)出數(shù)據(jù)處理系統(tǒng)，對爬取到的內(nèi)容進行加工；最后需要研發(fā)出內(nèi)容展示系統(tǒng)，按應(yīng)用場景對處理后的數(shù)據(jù)進行展示。需要研發(fā)的軟件系統(tǒng)如圖1所示。

圖1 功能總體需求

2.2 行業(yè)網(wǎng)站爬蟲系統(tǒng)的功能

行業(yè)網(wǎng)站爬蟲系統(tǒng)支持對行業(yè)網(wǎng)站的全站爬取。在第一次作全站爬取后，爬蟲系統(tǒng)應(yīng)自動每天作增量爬取。該系統(tǒng)的功能模塊如圖2所示。主要功能模塊如下。

圖2 行業(yè)網(wǎng)站爬蟲系統(tǒng)的功能架構(gòu)

1）維護行業(yè)網(wǎng)站名錄。爬蟲系統(tǒng)可以將維護名錄的功能放到行業(yè)網(wǎng)站數(shù)據(jù)展示系統(tǒng)的后臺，這樣可以交互式維護行業(yè)網(wǎng)站名錄。爬蟲系統(tǒng)根據(jù)該名錄來爬取網(wǎng)頁時。

2）對行業(yè)網(wǎng)站作全站爬取。全站爬取做且僅做1次。爬取時，記錄下每個網(wǎng)頁的網(wǎng)址、內(nèi)容長度、存儲目錄，并將網(wǎng)頁按存儲目錄依次存儲。全站爬取和增量爬取均只爬取文本內(nèi)容，暫不爬取圖片、視頻等非文本數(shù)據(jù)[2]。

3）對行業(yè)網(wǎng)站作增量爬取。研發(fā)定時器，每天在固定的某個時刻（如晚上23：00）或需要時增量式爬取網(wǎng)站內(nèi)容。所謂增量即指已經(jīng)爬取的網(wǎng)頁不再爬取，只爬取沒有被爬取過的網(wǎng)頁。

4）異常處理。系統(tǒng)能應(yīng)對爬取時的各種異常并穩(wěn)定運行。異常包括網(wǎng)絡(luò)連接異常、數(shù)據(jù)庫連接異常、網(wǎng)站拒絕爬取、程序運行異常等[3]。

5）爬蟲偽裝。為便于快速爬取并不被反爬蟲系統(tǒng)反制，系統(tǒng)應(yīng)能偽裝成隨機的各種客戶端瀏覽器訪問要被爬取的網(wǎng)站。研制的爬蟲系統(tǒng)應(yīng)只爬取行業(yè)公開的網(wǎng)站及其中公開的信息，且不作商業(yè)化應(yīng)用，以免研發(fā)的爬蟲系統(tǒng)爬取行有數(shù)據(jù)法律風險[4]。

2.3 行業(yè)網(wǎng)站數(shù)據(jù)處理系統(tǒng)的功能

爬取到行業(yè)網(wǎng)站的內(nèi)容后，行業(yè)網(wǎng)站數(shù)據(jù)處理系統(tǒng)將對內(nèi)容作數(shù)據(jù)處理。

1）對網(wǎng)頁進行分類。主要是作行業(yè)資訊類網(wǎng)頁和非行業(yè)資訊類網(wǎng)頁的二分法分類，以利于對行業(yè)資訊類網(wǎng)頁作進一步處理。

2）提取行業(yè)資訊類網(wǎng)頁的標題。從行業(yè)資訊類網(wǎng)頁中提取出資訊的標題（不是網(wǎng)頁的標題），以便于展示。

3）對行業(yè)資訊類網(wǎng)頁的文本內(nèi)容作敏感詞分析。對已歸類到行業(yè)資訊類網(wǎng)頁中的文本內(nèi)容作敏感詞分析，記錄下有敏感詞的網(wǎng)頁及其包含的敏感詞。如果有敏感詞則在數(shù)據(jù)展示系統(tǒng)中進行展示。

4）提取行業(yè)資訊類網(wǎng)頁的文本內(nèi)容中的熱點詞。對已歸類到行業(yè)資訊類網(wǎng)頁中的文本內(nèi)容作分詞處理，處理后統(tǒng)計每個詞語出現(xiàn)的次數(shù)。次數(shù)按日、周、月、季度、年度為時間周期進行統(tǒng)計。

5）定時執(zhí)行功能?？晒潭ㄔ诿刻斓哪硞€時刻執(zhí)行實現(xiàn)以上5個功能的程序。

2.4 行業(yè)網(wǎng)站數(shù)據(jù)展示系統(tǒng)的功能

行業(yè)網(wǎng)站數(shù)據(jù)展示系統(tǒng)的功能用于處理與用戶交互的功能和展示數(shù)據(jù)的功能。

1）展示爬取到的數(shù)據(jù)。系統(tǒng)可分地理區(qū)域范圍、時間段、網(wǎng)站經(jīng)選擇后顯示爬取到的行業(yè)資訊類網(wǎng)頁，可分頁顯示。系統(tǒng)不展示非行業(yè)資訊類網(wǎng)頁。

2）顯示數(shù)據(jù)量排名。系統(tǒng)分網(wǎng)頁數(shù)量、資訊類網(wǎng)頁數(shù)據(jù)進行排名。

3）顯示熱點云圖。系統(tǒng)可按日、周、月、季度、年度為時間周期顯示熱點詞，也可以表格形式顯示熱點詞匯及熱度（即出現(xiàn)的次數(shù)）。熱點詞匯應(yīng)去掉停用詞。

考慮到月度、季度、年度要處理的數(shù)據(jù)量太大，上述功能如涉及到較長時間的維度統(tǒng)計數(shù)據(jù)，可在行業(yè)網(wǎng)站數(shù)據(jù)處理系統(tǒng)中先生成統(tǒng)計結(jié)果，再在行業(yè)網(wǎng)站數(shù)據(jù)展示系統(tǒng)中顯示。

3 軟件系統(tǒng)的設(shè)計

首先要做出行業(yè)網(wǎng)站資訊集成平臺的總體架構(gòu)設(shè)計，再做出各個軟件系統(tǒng)的設(shè)計。

3.1 總體技術(shù)架構(gòu)

設(shè)計的總體技術(shù)架構(gòu)如圖3所示，說明如下。

圖3 總體技術(shù)架構(gòu)設(shè)計

1）分成3個系統(tǒng)實現(xiàn)。根據(jù)圖1，分成3個系統(tǒng)實現(xiàn)，分別是行業(yè)網(wǎng)站爬蟲系統(tǒng)、行業(yè)網(wǎng)站數(shù)據(jù)處理系統(tǒng)、行業(yè)網(wǎng)站數(shù)據(jù)展示系統(tǒng)。

2）以Scrapy為基礎(chǔ)研發(fā)爬蟲系統(tǒng)。考慮到Scrapy是目前Python語言體系中最為成熟的爬蟲系統(tǒng)框架之一，且已可支持多線程、開源，沒有必要再重復研發(fā)，因此筆者以Scrapy框架為核心，研發(fā)異常處理中間件、增量爬取中間件、偽裝中間件等軟件程序來實現(xiàn)所需的功能。

3）以批處理方式實現(xiàn)數(shù)據(jù)處理。編制Windows任務(wù)計劃，操作系統(tǒng)固定在每天晚上的22：00執(zhí)行數(shù)據(jù)處理程序。這些運行的程序包括：增量式爬取所有網(wǎng)站1次；對新爬取的網(wǎng)頁作二分法分類；對分類后識別出的資訊類網(wǎng)頁，提取出其標題；對分類后識別出的資訊類網(wǎng)頁作敏感詞分析；對分類后識別出的資訊類網(wǎng)頁作每日熱點詞分析。以上批處理中的程序均使用Python語言開發(fā)。

4）用Java展示數(shù)據(jù)。開發(fā)出一個Web系統(tǒng)，該系統(tǒng)用于維護行業(yè)網(wǎng)站列表，展示監(jiān)控到的輿情、資訊熱點等數(shù)據(jù)。

3.2 行業(yè)網(wǎng)站爬蟲系統(tǒng)的設(shè)計

采用Scrapy框架來研發(fā)行業(yè)網(wǎng)站爬蟲系統(tǒng)與不采用框架技術(shù)研發(fā)該系統(tǒng)有很大區(qū)別。行業(yè)網(wǎng)站爬蟲系統(tǒng)的設(shè)計如圖4所示。圖中綠色部分是需要開研發(fā)的模塊，其它部分是Scrapy已有的模塊（這些不需再行研發(fā)）。

圖4 行業(yè)網(wǎng)站爬蟲系統(tǒng)的設(shè)計

從設(shè)計來看，下載器、調(diào)度器、核心引擎、隊列這些Scrapy都已經(jīng)實現(xiàn)，但應(yīng)研發(fā)以下模塊。

1）網(wǎng)頁數(shù)據(jù)庫。筆者用SQL Server實現(xiàn)，用表存儲數(shù)據(jù)。存儲網(wǎng)頁數(shù)據(jù)用一個表webPage就可實現(xiàn)。這里只爬取的記錄放在數(shù)據(jù)庫表中，而把爬取到的網(wǎng)頁源文件放到文件系統(tǒng)中存儲。這樣做的好處是數(shù)據(jù)庫操作更為高效。

2）數(shù)據(jù)項。需要定義一個數(shù)據(jù)項類，這個類對應(yīng)于SQL Server中存儲數(shù)據(jù)的表。為簡單起見，這里用一個數(shù)據(jù)項類webPageItem對應(yīng)數(shù)據(jù)庫中的表webPages，數(shù)據(jù)項類的一個屬性對應(yīng)表中的一列，這樣一個webPageItem對象就對應(yīng)著表webPages中的一條記錄。

3）網(wǎng)站爬蟲。對于網(wǎng)站群的全站爬取，只需要研發(fā)一個爬蟲類CrawlPagesSpider。

4）項目管道。需要在項目管道中編制程序，將數(shù)據(jù)項用insert SQL語句把網(wǎng)頁數(shù)據(jù)存儲到SQL Server數(shù)據(jù)庫中。

5）3個中間件。需要研發(fā)異常處理中 間 件ExceptMiddleware[5]和 偽 裝 中 間件AgentMiddleware[6]。異常處理中間件ExceptMiddleware用于處理下載過程中產(chǎn)生的所有異常，包括超時異常、域名解析異常等，以增強爬蟲系統(tǒng)的健壯性、穩(wěn)定性和保持一定的爬取速度，不至于在下載引發(fā)異常時，部分線程中斷、無限等待和向Scrapy容器拋出未處理的異常。偽裝中間件AgentMiddleware用于防止行業(yè)網(wǎng)站拒絕爬取，可以采用偽裝瀏覽器和使用代理服務(wù)器2種方法，經(jīng)過考察發(fā)現(xiàn)行業(yè)網(wǎng)站絕大多數(shù)沒有反爬蟲系統(tǒng)，因此這里采用簡單的隨機偽裝各種瀏覽器的辦法。增量爬取中間件需要在下載網(wǎng)頁前判斷是否已經(jīng)爬取過，如已經(jīng)爬取過則不再下載。

6）Scrapy配置。需要修訂Scrapy的配置參數(shù)文件setting.py，用于將研發(fā)的中間件、數(shù)據(jù)項類配置進Scrapy容器，并設(shè)置下載超時時間、數(shù)據(jù)庫連接、日志水平等參數(shù)[7]。

爬蟲系統(tǒng)中關(guān)鍵的增量式爬取的中間件設(shè)計相對較為復雜。增量式爬取的中間件設(shè)計的原理是：首先在啟動爬蟲系統(tǒng)時，加載已下載過的網(wǎng)頁列表及其網(wǎng)址Hash到緩存，要計算首頁內(nèi)容的Hash及長度值；在下載前，先判斷是否是首頁，如果是首頁則先下載一次，再比較緩存中的內(nèi)容Hash和長度值，如果有一個不一致則表明有內(nèi)容更新，重新下載首頁，如果沒有更新則直接跳過下載；如果不是首頁，則根據(jù)網(wǎng)址Hash與緩存進行比較，如果相同則表示已下載過直接跳過，如果沒有則下載。這種增量式爬取的判斷原理是網(wǎng)站如果更新首先會更新首頁內(nèi)容，再根據(jù)首頁內(nèi)容去爬??；爬取非首頁時，同一網(wǎng)址只爬取一次。

3.3 行業(yè)網(wǎng)站數(shù)據(jù)處理系統(tǒng)的設(shè)計

行業(yè)網(wǎng)站數(shù)據(jù)處理系統(tǒng)要實現(xiàn)5個功能模塊，并以批處理方式用Windows任務(wù)計劃運行。由于Windows任務(wù)計劃的腳本實現(xiàn)較為簡單，不作贅述。下面描述其它關(guān)鍵功能的設(shè)計。

3.3.1 網(wǎng)頁分類功能的設(shè)計

課題組采用了KNN（K-Nearest Neighbor，K最近鄰）[8]算法來對網(wǎng)頁做二分法分類，提取出資訊類網(wǎng)頁。該算法得出的機器學習模型需要確定的唯一參數(shù)就是k值。這個k值表示的是k個與要預(yù)測網(wǎng)頁的特征數(shù)據(jù)點距離最接近的數(shù)據(jù)樣本點。一般k取奇數(shù)，以便于根據(jù)投票規(guī)則判斷屬于二分法分類的哪種類型。k個最接近的訓練數(shù)據(jù)屬于哪種類型更多，則要預(yù)測的網(wǎng)頁就屬于哪種類型，如圖5所示。

圖5 取不同的k值時的KNN算法預(yù)測結(jié)果決策

3.3.2 提取網(wǎng)頁標題功能的設(shè)計

功能的設(shè)計思路如圖6所示，提取方法將先獲得正文文本列表，再經(jīng)過5次篩選后得到預(yù)測的資訊類網(wǎng)頁的標題。

圖6 提取方法的思路

獲得備選標題列表步驟的實現(xiàn)較為簡單，可使用如下的XPath來得到資訊類網(wǎng)頁HTML中的備選標題列表：//body//text()。

在數(shù)據(jù)預(yù)處理階段，將去除備選標題列表中的空串、腳本、鏈接文本。資訊類網(wǎng)頁有一些標簽中沒有內(nèi)容或者不含中文文字內(nèi)容，可統(tǒng)一歸為空串，如 、_（空格）等。