一種面向高校招投標(biāo)公告主題爬蟲(chóng)的設(shè)計(jì)

袁琰偉+陸培軍

摘 要：由于通用搜索引擎返回的信息過(guò)多且主題相關(guān)性不強(qiáng)，使部分企業(yè)未能及時(shí)獲取高校招標(biāo)公告，錯(cuò)失中標(biāo)機(jī)會(huì)。針對(duì)這種情況，提出了高校招投標(biāo)公告主題爬蟲(chóng)的設(shè)計(jì)方法。爬蟲(chóng)首先通過(guò)主題確立、網(wǎng)頁(yè)聚類(lèi)，將高校招投標(biāo)公告聚集頁(yè)面存儲(chǔ)起來(lái)，然后爬蟲(chóng)每日從高校招投標(biāo)聚集頁(yè)面采集最新公告。實(shí)驗(yàn)結(jié)果表明，該爬蟲(chóng)能及時(shí)更新高校招投標(biāo)公告且準(zhǔn)確率較高，較好地為高校招投標(biāo)信息網(wǎng)站建設(shè)提供數(shù)據(jù)來(lái)源。

關(guān)鍵詞：主題爬蟲(chóng)；搜索引擎；招投標(biāo)；主題相關(guān)性；網(wǎng)頁(yè)聚類(lèi)

DOIDOI：10.11907/rjdk.172400

中圖分類(lèi)號(hào)：TP319

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2018）002-0117-03

0 引言

高校貨物、工程、服務(wù)的需求量日益增多，投資成本越來(lái)越高。項(xiàng)目一般通過(guò)高校網(wǎng)站公開(kāi)發(fā)布項(xiàng)目的招投標(biāo)信息[1]，而通用搜索引擎無(wú)法獲取專(zhuān)業(yè)的招投標(biāo)信息，逐一登錄各高校網(wǎng)站查詢(xún)招投標(biāo)公告又非常繁瑣，且招投標(biāo)信息網(wǎng)基本都是收費(fèi)的，繳費(fèi)用戶(hù)才能看到招標(biāo)公告詳細(xì)信息。招投標(biāo)公告具有時(shí)效性，倘若公司因?yàn)殄e(cuò)過(guò)了投標(biāo)期限而未能中標(biāo)，這對(duì)高校和企業(yè)都是一筆損失。

為了解決這一問(wèn)題，需要將全國(guó)高校的招投標(biāo)公告匯總并及時(shí)更新，給用戶(hù)提供一個(gè)實(shí)用的查詢(xún)接口。因此，本文對(duì)高校招投標(biāo)公告主題爬蟲(chóng)進(jìn)行了整體研究和設(shè)計(jì)。

1 主題爬蟲(chóng)結(jié)構(gòu)

招投標(biāo)公告發(fā)布有一定規(guī)范。大多高校都將招投標(biāo)公告發(fā)布在高校網(wǎng)站的通知公告頁(yè)面或高校招投標(biāo)辦公室網(wǎng)站，方便用戶(hù)查詢(xún)。

主題爬蟲(chóng)模擬用戶(hù)瀏覽網(wǎng)頁(yè)行為，從種子URL開(kāi)始，向服務(wù)器發(fā)出請(qǐng)求。服務(wù)器作出響應(yīng)，爬蟲(chóng)將響應(yīng)資源下載，并從響應(yīng)資源中獲取新的URL，一層層地遍歷整個(gè)互聯(lián)網(wǎng)[2]。

為了讓用戶(hù)及時(shí)查詢(xún)高校招投標(biāo)公告，主題應(yīng)當(dāng)保證每日至少遍歷一次各高校網(wǎng)站，以獲取新的招投標(biāo)公告。但每次都從首頁(yè)開(kāi)始遍歷，顯然十分耗時(shí)。本主題爬蟲(chóng)在第一次運(yùn)行后，能將各高校的招投標(biāo)公告聚集的頁(yè)面保存下來(lái)，之后爬蟲(chóng)從招投標(biāo)公告聚集的頁(yè)面直接獲取更新公告即可，大大節(jié)省了更新招投標(biāo)公告所需時(shí)間，提高了效率。

依據(jù)高校招投標(biāo)公告的分布特點(diǎn)及主題爬蟲(chóng)的行為特性，將高校招投標(biāo)公告主題爬蟲(chóng)劃分為以下幾個(gè)模塊：高校URL種子隊(duì)列、網(wǎng)頁(yè)采集模塊、URL預(yù)處理模塊、正文提取模塊、主題確立模塊、網(wǎng)頁(yè)聚類(lèi)模塊、招投標(biāo)公告聚集頁(yè)面URL隊(duì)列、招投標(biāo)公告采集模塊。

高校招投標(biāo)公告主題爬蟲(chóng)結(jié)構(gòu)如圖1所示。

招投標(biāo)公告主題爬蟲(chóng)處理流程：①檢查招投標(biāo)公告聚集頁(yè)面URL隊(duì)列是否為空，若為空?qǐng)?zhí)行步驟②，否則執(zhí)行步驟③；②從高校URL種子隊(duì)列逐一取出URL，通過(guò)網(wǎng)頁(yè)采集模塊和URL預(yù)處理模塊遍歷高校網(wǎng)站的前n層。通過(guò)文本提取主題，對(duì)采集的頁(yè)面進(jìn)行聚類(lèi)，將判定為招投標(biāo)公告聚集頁(yè)面的URL存入招投標(biāo)公告URL隊(duì)列；③逐一取出URL，通過(guò)URL預(yù)處理模塊，將判定為招投標(biāo)公告的URL存入U(xiǎn)RL隊(duì)列；④通過(guò)正文提取，將招投標(biāo)公告URL隊(duì)列中對(duì)應(yīng)網(wǎng)頁(yè)的招投標(biāo)公告詳細(xì)信息存入數(shù)據(jù)庫(kù)。

2 主題爬蟲(chóng)設(shè)計(jì)

2.1 主題確立模塊

主題確立是網(wǎng)頁(yè)聚類(lèi)的準(zhǔn)備工作，為網(wǎng)頁(yè)聚類(lèi)提供特征詞集。主題關(guān)鍵詞集采用特征提取方式獲取。首先通過(guò)人工選取若干高校招投標(biāo)公告聚集頁(yè)面（該頁(yè)面是招投標(biāo)公告以列表形式展示的頁(yè)面，而不是招投標(biāo)公告的詳細(xì)頁(yè)面）。對(duì)招投標(biāo)公告聚集頁(yè)面進(jìn)行文本提取，分詞和去無(wú)用詞（“的”，“也”，“是”等），然后結(jié)合本爬蟲(chóng)特點(diǎn)，對(duì)TF-IDF算法進(jìn)行一些改動(dòng)，獲取特征詞權(quán)值，將權(quán)值較高的若干特征詞作為高校招投標(biāo)公告聚集頁(yè)面的特征詞集。

最經(jīng)典的TF-IDF[3]是通過(guò)TF值（詞條頻率）與IDF值（逆文本頻率）的乘積獲得特征詞的權(quán)值。不難發(fā)現(xiàn)，這樣取得的特征詞集能很好地表示單個(gè)頁(yè)面的特征，即TF*IDF能計(jì)算出頁(yè)面的個(gè)性詞集。而本爬蟲(chóng)要從若干高校招投標(biāo)公告聚集頁(yè)面提取高校招投標(biāo)的共性詞，TF*IDF顯然不適用。但是不難想象，單個(gè)高校招投標(biāo)聚集頁(yè)面的特征詞集應(yīng)為高校名稱(chēng)和招投標(biāo)類(lèi)詞匯。高校名稱(chēng)能代表頁(yè)面?zhèn)€性，而招投標(biāo)類(lèi)詞匯代表頁(yè)面共性，如果使用TF*IDF，顯然會(huì)突出高校名稱(chēng)而忽略了招投標(biāo)類(lèi)詞。所以，本爬蟲(chóng)在計(jì)算高校招投標(biāo)公告聚集頁(yè)面的特證詞集時(shí)，將TF-IDF的計(jì)算公式改為T(mén)F/IDF，用以突出頁(yè)面共性詞（標(biāo)投標(biāo)類(lèi)詞匯），降低頁(yè)面共性詞（高校名稱(chēng)）的權(quán)重。

TF（Term Frequency），即詞條頻率（詞條出現(xiàn)的次數(shù)除以文本總詞數(shù)），詞條在文本中出現(xiàn)的次數(shù)越多，TF值越高。

Fi為詞條在文本中出現(xiàn)的次數(shù)，Z為文本總詞數(shù)。

但是“的”，“也”等無(wú)意義詞條也會(huì)頻繁出現(xiàn)，這些顯然不能作為文本的特征詞。IDF（Inverse Document Frequency），即逆文本頻率能很好地解決這一問(wèn)題，文檔中出現(xiàn)的詞條越多，IDF值越小，反之，則越大。

D為全部文本數(shù)量，Di為出現(xiàn)詞條Ti的文本個(gè)數(shù)。特征項(xiàng)Ti的權(quán)重計(jì)算公式如下：

本主題爬蟲(chóng)是將網(wǎng)頁(yè)文本提取和分詞去噪后的文本通過(guò)改動(dòng)后的TF-IDF算法計(jì)算，將權(quán)值達(dá)到閾值的詞條作為高校招投標(biāo)公告聚集頁(yè)面的特證詞集。

2.2 網(wǎng)頁(yè)采集模塊

2.2.1 主體爬蟲(chóng)工作原理

網(wǎng)頁(yè)采集模塊就是使用爬蟲(chóng)模擬用戶(hù)瀏覽網(wǎng)頁(yè)的行為，向服務(wù)器發(fā)出請(qǐng)求。服務(wù)器作出響應(yīng)，爬蟲(chóng)將響應(yīng)資源下載。爬蟲(chóng)以多線(xiàn)程的方式從待訪(fǎng)問(wèn)隊(duì)列中取出URL，訪(fǎng)問(wèn)對(duì)應(yīng)網(wǎng)頁(yè)，并將網(wǎng)頁(yè)中的鏈接存入待訪(fǎng)問(wèn)URL隊(duì)列，直至爬蟲(chóng)到達(dá)預(yù)定深度。存入待訪(fǎng)問(wèn)URL隊(duì)列之前需要進(jìn)行查重操作，防止爬蟲(chóng)重復(fù)爬取相同的URL，以提高效率。本文使用的URL去重算法為布隆過(guò)濾器[4]。布隆過(guò)濾器是一種犧牲正確率換取時(shí)間空間的算法，但對(duì)于成千上萬(wàn)的URL來(lái)說(shuō)，錯(cuò)過(guò)個(gè)別URL是可以容忍的，因此布隆過(guò)濾器在URL去重方面相當(dāng)適用。endprint

2.2.2 布隆過(guò)濾器

初始狀態(tài)下，集合S={x1，x2，…，xn}用一個(gè)包含m位的位數(shù)組表示，且每一位都是0。隨后布隆過(guò)濾器使用k個(gè)相互獨(dú)立的哈希函數(shù)，將集合中的元素映射到位數(shù)組中。對(duì)于任意集合元素x，第i個(gè)哈希函數(shù)映射的位置hi（x）都置為1。判斷元素y是否在集合S中，只需對(duì)y做k次哈希運(yùn)算即可。如果hi（y）的所有對(duì)應(yīng)位置都為1，則認(rèn)為y是集合中的元素，否則不是。

將布隆過(guò)濾器應(yīng)用到本主題爬蟲(chóng)中，只需將URL隊(duì)列看成一個(gè)集合，并將隊(duì)列中各URL做多次不同的哈希函數(shù)運(yùn)算，映射至集合位數(shù)組中，同樣對(duì)新抓取到的URL做多次哈希函數(shù)運(yùn)算，如果結(jié)果的對(duì)應(yīng)位置都為1則直接去除，否則加入待爬取隊(duì)列。

網(wǎng)頁(yè)采集過(guò)程中還會(huì)遇到許多無(wú)用鏈接，本主題爬蟲(chóng)加入了URL預(yù)處理模塊處理這些無(wú)用的URL。

2.2.3 URL預(yù)處理模塊

在高校招投標(biāo)公告主題爬蟲(chóng)采集過(guò)程中會(huì)獲得許多不完整的URL、校外URL、圖片和文檔URL以及重復(fù)的URL。本主題爬蟲(chóng)加入了URL補(bǔ)全模塊和URL過(guò)濾模塊，用以處理這些URL。

（1）URL補(bǔ)全。經(jīng)測(cè)試發(fā)現(xiàn)，在招投標(biāo)公告聚集頁(yè)面源碼中提取的URL多不完整。在不補(bǔ)全的情況下，這類(lèi)網(wǎng)址無(wú)法訪(fǎng)問(wèn)。因?yàn)檫@類(lèi)URL在源碼中使用了相對(duì)路徑，所以缺少的頭部往往是http：//.*edu.cn/部分（例如info/1023/1260.htm缺少的是武漢音樂(lè)學(xué)院招投標(biāo)與采購(gòu)管理辦公室的首頁(yè)地址http：//zcb.whcm.edu.cn/，即真正的網(wǎng)址應(yīng)為http：//zcb.whcm.edu.cn/info/1023/1260.htm）。而缺頭網(wǎng)址與所在頁(yè)面網(wǎng)址同為某一網(wǎng)址的子鏈接，所以通過(guò)當(dāng)前頁(yè)面網(wǎng)址獲取缺頭網(wǎng)址缺少的頭部，并與不完整網(wǎng)址作字符串連接，即可獲得可訪(fǎng)問(wèn)的招投標(biāo)信息網(wǎng)址。URL補(bǔ)全流程如圖2所示。

（2）URL過(guò)濾。URL過(guò)濾的作用是將校外URL、圖片和文檔URL以及重復(fù)的URL等無(wú)需爬取的URL直接去除，以減少爬蟲(chóng)運(yùn)行時(shí)間。URL過(guò)濾分為URL范圍限制、去除無(wú)用URL和URL去重3步。

URL范圍限制：如果不加以限制，爬蟲(chóng)必然會(huì)通過(guò)外鏈爬取站外頁(yè)面，對(duì)于只需要高校招投標(biāo)公告的用戶(hù)而言，這顯然浪費(fèi)了時(shí)間和計(jì)算機(jī)資源。經(jīng)過(guò)大量觀(guān)察不難發(fā)現(xiàn)，基本所有高校網(wǎng)站的站內(nèi)域名都符合這樣的規(guī)范，即高校主頁(yè)大都為：

http：//www.xxx.edu.cn/

其中xxx為高校名稱(chēng)（英文或拼英縮寫(xiě)）。

而站內(nèi)其它部門(mén)首頁(yè)網(wǎng)站要么是將www換成某部門(mén)的名稱(chēng)（例如南通大學(xué)的招投標(biāo)網(wǎng)站為http：//ztb.ntu.edu.cn/），要么在高校主頁(yè)網(wǎng)站后加部門(mén)名稱(chēng)（例如海南大學(xué)基建處的域名為http：//www.hainu.edu.cn/jijian/），所以URL可使用正則表達(dá)式校驗(yàn)來(lái)完成。本文使用的正則表達(dá)式是將高校主頁(yè)域名的www替換成.*，cn/替換成cn/.*即：http：//.*.xxx.edu.cn/.*。

無(wú)用URL指圖片、空連接、常見(jiàn)文檔（doc、docx、xls、pdf等）和壓縮文件等無(wú)用鏈接，這類(lèi)URL對(duì)于本主題爬蟲(chóng)是多余的，所以直接去除。

網(wǎng)頁(yè)采集過(guò)程中還需要提取網(wǎng)頁(yè)的純文本用于網(wǎng)頁(yè)聚類(lèi)，判斷網(wǎng)頁(yè)是否為招投標(biāo)公告聚集頁(yè)面。

2.3 網(wǎng)頁(yè)聚類(lèi)

本網(wǎng)頁(yè)聚類(lèi)[5-6]用以獲取招投標(biāo)公告聚集頁(yè)面，供招投標(biāo)公告采集模塊使用。網(wǎng)頁(yè)聚類(lèi)首先要提取網(wǎng)頁(yè)的文本部分，使用jsoup可以較簡(jiǎn)單地獲取網(wǎng)頁(yè)的文本部分。隨后要對(duì)文本部分進(jìn)行分詞和去除無(wú)用詞（“的”，“也”，“是”等）操作，再計(jì)算各分詞的TF值，作為該詞的權(quán)值，這里只計(jì)算TF值而不計(jì)算IDF值，是為了節(jié)省程序運(yùn)行時(shí)間，且TF值也可很好的表示單個(gè)頁(yè)面中的關(guān)鍵詞權(quán)值。若該頁(yè)面不是招投標(biāo)公告聚集頁(yè)面，則關(guān)鍵詞集中不會(huì)存在招投標(biāo)類(lèi)詞匯，在與招投標(biāo)公告聚集頁(yè)面作相似度計(jì)算時(shí)，結(jié)果趨于0或等于0。所以網(wǎng)頁(yè)采集過(guò)程中，網(wǎng)頁(yè)的分詞權(quán)重直接用TF值表示，即采集頁(yè)面的權(quán)重：

本主題爬蟲(chóng)使用空間向量模型[7-8]對(duì)爬取頁(yè)面和招投標(biāo)公告聚集頁(yè)面進(jìn)行相似度計(jì)算，然后根據(jù)預(yù)先設(shè)定的文本相似度閾值，將相似度較高的頁(yè)面URL存入招投標(biāo)公告聚集頁(yè)面URL隊(duì)列，供招投標(biāo)公告采集模塊使用。

將采集頁(yè)面文本D（w1，w2，…，wn）投射至一個(gè)n維坐標(biāo)系中，即D的空間向量模型。同樣，將招投標(biāo)公告聚集頁(yè)面主題定義為特征向量K（k1，k2，…，kn），其中ki為招投標(biāo)公告聚集頁(yè)面主題特征詞條的權(quán)重。然后計(jì)算向量D、K的余弦值，即可計(jì)算出文本的主題相似度。主題相似度計(jì)算公式如下：

其中，ki為招投標(biāo)公告聚集頁(yè)面主題特征詞條的權(quán)重，wi為采集頁(yè)面特征詞權(quán)重。Sim（K，D）取值范圍為[0，1]，當(dāng)Sim（K，D）取0時(shí)，文本主題不相關(guān)，當(dāng)Sim（K，D）取1時(shí)，文本主題相似度最高。將達(dá)到預(yù)定閾值的網(wǎng)頁(yè)URL存入招投標(biāo)信息聚集頁(yè)面URL隊(duì)列。

2.4 招投標(biāo)公告采集模塊

完成招投標(biāo)公告聚集頁(yè)面URL隊(duì)列的錄入后，即可通過(guò)招投標(biāo)公告聚集頁(yè)面URL隊(duì)列提供的URL訪(fǎng)問(wèn)對(duì)應(yīng)網(wǎng)頁(yè)。提取源碼中的超鏈接標(biāo)簽，用正則表達(dá)式去匹配招投標(biāo)信息常見(jiàn)的關(guān)鍵詞，如“采購(gòu)公告”、“招標(biāo)告告”、“中標(biāo)公示”等，在匹配的超鏈接標(biāo)簽中提取其中的網(wǎng)址和標(biāo)題，提取的網(wǎng)址可用主題爬蟲(chóng)繼續(xù)爬行，通過(guò)正文獲取招投標(biāo)公告，抓取的標(biāo)題則作為招投標(biāo)公告標(biāo)題，最后將正文和標(biāo)題錄入數(shù)據(jù)庫(kù)。

2.5 正文提取

目前互聯(lián)網(wǎng)上大部分網(wǎng)頁(yè)使用