網(wǎng)絡(luò)爬蟲技術(shù)在交通信息獲取中的應(yīng)用綜述*

秦雅琴 馬玲玲

(昆明理工大學(xué)交通工程學(xué)院 昆明 650500)

0 引 言

在交通系統(tǒng)運行過程中會產(chǎn)生一系列的交通信息，各種信息技術(shù)廣泛應(yīng)用于智能交通系統(tǒng)的同時，積累了海量的交通數(shù)據(jù)，這些數(shù)據(jù)分散地分布在互聯(lián)網(wǎng)網(wǎng)頁上.海量交通信息對信息采集及處理方法等都提出了新的更高的要求.傳統(tǒng)的信息采集處理方法大多是對有限的、有規(guī)則的信息數(shù)據(jù)進行收集，并不能對海量交通信息進行批量獲取、保存，以及管理，因此無法準確高效地解決海量交通信息獲取問題.在相關(guān)的研究中，有學(xué)者利用數(shù)據(jù)挖掘技術(shù)進行了大規(guī)模交通數(shù)據(jù)管理、整合和挖掘[1].近年來，國內(nèi)外一些學(xué)者嘗試使用網(wǎng)絡(luò)爬蟲技術(shù)來獲取互聯(lián)網(wǎng)上的海量交通信息，將網(wǎng)絡(luò)爬蟲技術(shù)應(yīng)用到了交通信息的獲取分析中.從目前的研究成果來看，網(wǎng)絡(luò)爬蟲技術(shù)對于交通中的各類信息獲取具有很好的應(yīng)用前景，將成為交通信息獲取研究的重要方法之一.

1 網(wǎng)絡(luò)爬蟲技術(shù)

網(wǎng)絡(luò)信息獲取技術(shù)，是指對網(wǎng)絡(luò)流中非結(jié)構(gòu)化的信息，設(shè)法將其讀取出來，然后將其保存至結(jié)構(gòu)化的本地數(shù)據(jù)庫[2].其中，網(wǎng)絡(luò)爬蟲是最典型的例子.網(wǎng)絡(luò)爬蟲，通常又稱之為Web信息采集器或網(wǎng)絡(luò)蜘蛛，是遍歷Web并以有條理的自動方式下載Web文檔的程序或軟件[3].1994年，全球首個網(wǎng)絡(luò)檢索工具誕生，即Web Crawler.現(xiàn)階段，百度、Yahoo、Google等是相對來說比較盛行的搜索引擎.

1.1 網(wǎng)絡(luò)爬蟲的過程

給定一個或多個種子URL，是網(wǎng)絡(luò)爬蟲的首要條件.其次，需要將與這些URL相關(guān)聯(lián)的網(wǎng)頁下載下來，提取其中涉及到的所有超鏈接；最后，遞歸地繼續(xù)去下載被這些超鏈接所標識的網(wǎng)頁[4].網(wǎng)絡(luò)爬蟲的過程見圖1.

使用遍歷的方式，訪問互聯(lián)網(wǎng)這個超級“圖”的各個節(jié)點，找尋并獲取有用信息，這是網(wǎng)絡(luò)爬蟲的目的.因此，網(wǎng)絡(luò)爬蟲的體系結(jié)構(gòu)一般由以下幾個模塊組成：初始化模塊、Web頁面獲取模塊、Web頁面解析模塊，以及URL過濾模塊.

1.2 網(wǎng)絡(luò)爬蟲分類及爬蟲搜索策略

按照系統(tǒng)結(jié)構(gòu)和實現(xiàn)技術(shù)，可以對網(wǎng)絡(luò)爬蟲進行分類.主要包括通用網(wǎng)絡(luò)爬蟲(全網(wǎng)爬蟲)、聚焦網(wǎng)絡(luò)爬蟲(主題網(wǎng)絡(luò)爬蟲)、增量式網(wǎng)絡(luò)爬蟲和深層網(wǎng)絡(luò)爬蟲這四種類型.在實際應(yīng)用中，通常將這幾類爬蟲進行結(jié)合使用以達到目的.

爬蟲的搜索策略是網(wǎng)絡(luò)爬蟲的核心問題，其優(yōu)劣決定了爬蟲系統(tǒng)的效率和性能.主要的網(wǎng)絡(luò)爬蟲搜索策略包括深度和廣度優(yōu)先、基于內(nèi)容的、基于鏈接的搜索策略.其中，由于能夠較為全面地遍歷web中的所有網(wǎng)頁結(jié)點，深度和廣度優(yōu)先搜索策略較適合全網(wǎng)爬蟲，也即通用型網(wǎng)絡(luò)爬蟲系統(tǒng).基于內(nèi)容的搜索策略，如SharkS Search算法，首先是對網(wǎng)頁中的文本內(nèi)容信息進行分析，然后依據(jù)用戶主題與其之間的相關(guān)度，對網(wǎng)絡(luò)爬蟲遍歷的方向和路徑進行確定.當期望可以對重要性較高的網(wǎng)絡(luò)頁面優(yōu)先抓取時，就可以采用基于鏈接的搜索策略.該搜索策略首先挖掘及解析網(wǎng)頁之間的鏈接關(guān)系，從而計算出網(wǎng)頁的重要性，按照網(wǎng)絡(luò)頁面重要性相關(guān)度由高到低依次爬取.

2 交通信息獲取的研究

2.1 利用傳感器網(wǎng)絡(luò)、射頻識別等技術(shù)獲取交通信息

在智能交通系統(tǒng)研究領(lǐng)域，利用傳感器網(wǎng)絡(luò)技術(shù)研究單點、斷面和區(qū)域的交通信息獲取方法是重點的研究方向[5].張毅剛[6]對交通信息獲取的需求進行了分析，設(shè)計了無線傳感網(wǎng)RTISN，用來獲取道路交通信息.李海艦[7]研究了一種多參量交通信息獲取的方法，實現(xiàn)了TIASN網(wǎng)絡(luò)中單個傳感器獲取盡可能豐富的多參量交通信息.而這些信息中，包含著交通流參數(shù)、交通流構(gòu)成要素等.

射頻識別技術(shù)，又稱之為無線射頻識別.對于特定目標，射頻識別技術(shù)可通過無線電訊號對其進行識別，并讀寫相關(guān)數(shù)據(jù).利用射頻識別技術(shù)原理，康慨[8]設(shè)計了一種交通信息獲取系統(tǒng)框架結(jié)構(gòu)，來完成交通車輛信息的獲取.趙泰洋等[9]提出了一種交通信息獲取系統(tǒng)，這個系統(tǒng)就是基于射頻識別技術(shù)，使獲取車輛的身份信息和位置信息得到實現(xiàn).劉海華等[10]建立了交通信息采集及融合處理技術(shù)框架，利用射頻識別技術(shù)讀卡裝置來采集實時交通信息.

2.2 基于定位數(shù)據(jù)、多源數(shù)據(jù)等的交通信息獲取

基于定位數(shù)據(jù)與技術(shù)的交通信息獲取是交通大數(shù)據(jù)研究的方向之一.王汝洸[11]研究了城市交通起訖點信息獲取方法，其中就包括基于浮動車定位數(shù)據(jù)對這些信息進行獲取.賴見輝[12]研究了基于手機定位數(shù)據(jù)的交通信息提取技術(shù).胡堅明等[13]基于無線定位技術(shù)，對相當精度交通信息的獲取方法進行了研究.

對于基于多源數(shù)據(jù)的交通信息獲取，戴志鑫[14]通過該方法對交通狀態(tài)特征信息的獲取進行了研究.基于交通控制系統(tǒng)、車輛GPS系統(tǒng)和道路收費系統(tǒng)等多源數(shù)據(jù)，李琦[15]提出了獲取交通信息數(shù)據(jù)并對其進行預(yù)處理的方法.

2.3 利用攝像裝置獲取交通信息

利用攝像裝置進行動態(tài)交通信息的獲取，是智能交通系統(tǒng)中的一個重要手段.王超[16]研究了適用于交通引導(dǎo)系統(tǒng)的交通數(shù)據(jù)采集技術(shù)，其中包括了利用攝像裝置采集信息的視頻車輛檢測技術(shù).基于視頻圖像處理，張瑞等[17]對微觀交通數(shù)據(jù)的獲取進行了研究，即通過視頻數(shù)據(jù)獲取車輛行駛軌跡、車速和車頭時距等.

2.4 其他交通信息獲取方法

徐東偉[18]對道路交通狀態(tài)的獲取方法進行了研究，提出了道路交通狀態(tài)多維多粒度獲取方法.具體來說，這種方法是基于交通信息模板、區(qū)域交通吸引子匹配、虛擬速度傳感器節(jié)點及壓縮感知來對道路交通狀態(tài)信息進行獲取.

從固定點、軌跡線和大空間交通數(shù)據(jù)三個方面，曲騰姣[19]系統(tǒng)地解釋了動態(tài)交通數(shù)據(jù)的獲取技術(shù).

通過對微觀仿真系統(tǒng)模型結(jié)構(gòu)及仿真運行特點進行研究，霍瑩[20]提出了基于時空折算對交通信息進行獲取的方法.

交通信息獲取是智能交通的重要組成部分，就目前而言，交通信息的獲取方法多樣，但大多數(shù)都是對有限個、結(jié)構(gòu)化的數(shù)據(jù)進行獲取.雖然有些技術(shù)已經(jīng)較為成熟，解決了結(jié)構(gòu)化的交通信息的獲取問題，但是面對海量交通信息，這些技術(shù)與方法仍均需要不斷地改進，其研究也需要依據(jù)需求進一步深入.

3 應(yīng)用網(wǎng)絡(luò)爬蟲技術(shù)進行交通信息獲取

3.1 交通事故分析數(shù)據(jù)獲取

通過對交通事故涉及到的事故車輛、事故天氣、道路狀況等其他有關(guān)的數(shù)據(jù)進行獲取和深度挖掘，從中找到交通事故致因，分析事故發(fā)生的規(guī)律.Bao等[21]開發(fā)了一個Web爬蟲，用于自動從Twitter簽到數(shù)據(jù)中收集場所類型信息，研究了如何利用Twitter簽到數(shù)據(jù)將人類活動信息融入城市地區(qū)撞車事故的空間分析中.

周菲菲[22]截取了貴陽市和上海市這兩地2015年的交通事故數(shù)據(jù)，并利用爬蟲系統(tǒng)獲取了網(wǎng)絡(luò)中的車輛品牌數(shù)據(jù)，與原數(shù)據(jù)進行融合后生成車輛類型新變量，通過統(tǒng)計分析和可視化分析得到了影響交通事故發(fā)生的相關(guān)因素.文獻[2]利用網(wǎng)絡(luò)爬蟲技術(shù)從中國天氣網(wǎng)站抽取了天氣信息，從新浪微博上獲取了包含“交通事故”的消息，從中探索出了天氣情況對交通事故發(fā)生的影響.南春麗等[23]采用Deep Web數(shù)據(jù)采集方法，從北京交通管理部門的網(wǎng)站，獲取了交通事故點文字信息，然后將其與相關(guān)道路線形空間數(shù)據(jù)整合，進行了這兩者等的相關(guān)性研究.

目前，國外在應(yīng)用網(wǎng)絡(luò)爬蟲技術(shù)獲取交通數(shù)據(jù)以用于交通事故分析方面的研究較少，而國內(nèi)在這方面的研究則取得了相對較多的成果.國內(nèi)不同的相關(guān)研究獲取的數(shù)據(jù)也不同，主要包括：外部互聯(lián)網(wǎng)的車輛品牌數(shù)據(jù)、微博上的“交通事故”消息、權(quán)威網(wǎng)站的交通事故點文字信息等.

3.2 公共交通信息獲取

公共交通信息包括與公共交通服務(wù)有關(guān)的信號、數(shù)據(jù)、顯示等，通過網(wǎng)絡(luò)爬蟲技術(shù)可對其進行批量獲取.Darshan[24]提出了一種解決自行車需求預(yù)測問題的方法，其中便給出了用于讀取數(shù)據(jù)的Python代碼.自行車共享系統(tǒng)產(chǎn)生的數(shù)據(jù)，即旅行的時間、出發(fā)地點、到達地點和經(jīng)過的時間被明確地記錄下來，該項目的目的是利用歷史使用模式和天氣數(shù)據(jù)預(yù)測華盛頓自行車項目的自行車租賃需求.他使用NUMPY庫來讀取培訓(xùn)和測試數(shù)據(jù)，還示例出讀取訓(xùn)練數(shù)據(jù)并創(chuàng)建輸入和目標矩陣來訓(xùn)練的模型代碼.

合作API接口和網(wǎng)絡(luò)爬蟲是現(xiàn)今公交系統(tǒng)的主要數(shù)據(jù)來源.目前，多數(shù)研究都是以網(wǎng)絡(luò)爬蟲為重點研究對象.而這是由于與各地公交合作的API接口數(shù)據(jù)較少.于浩川[25]基于網(wǎng)絡(luò)爬蟲技術(shù)進行了公交線路數(shù)據(jù)的抓取，給出了網(wǎng)絡(luò)爬蟲方法應(yīng)用下交通信息的獲取流程.

JSON格式，是一種輕量級的數(shù)據(jù)交換格式.共享單車應(yīng)用程序數(shù)據(jù)包使用的就是這種格式.王宇洋[26]通過網(wǎng)絡(luò)爬蟲技術(shù)，完成了實時獲取共享單車的位置信息，并且，針對這類海量信息，完成了信息處理分析及信息可視化.莊楚天等[27]通過網(wǎng)絡(luò)爬蟲技術(shù)獲取了公共自行車站點數(shù)據(jù)，包括站點實時可借與 可還車輛數(shù)、站點名稱及其經(jīng)緯度等信息，并以5 min為時間間隔爬取以保證數(shù)據(jù)的連續(xù)性.另外，莊楚天[28]還獲取了城市POI數(shù)據(jù)和站點間路網(wǎng)距離數(shù)據(jù)，然后對空間數(shù)據(jù)進行統(tǒng)計分析，做到了定量把握站點布設(shè)、使用情況等.蘇圖[29]使用Python編寫網(wǎng)絡(luò)爬蟲技術(shù)實現(xiàn)了終端上本地頁面內(nèi)容的自動更新，通過架設(shè)一個可移動的智能WiFi熱點，為沒有WiFi網(wǎng)絡(luò)覆蓋的公共交通上的用戶提供無線網(wǎng)絡(luò)服務(wù)方案.

由文獻資料知，在公共交通信息獲取方面，國內(nèi)外的研究主要集中在共享自行車(包括公共自行車)的相關(guān)研究上面，主要是應(yīng)用網(wǎng)絡(luò)爬蟲技術(shù)獲取其位置信息及站點信息.對于其他公共交通信息獲取，如利用網(wǎng)絡(luò)爬蟲技術(shù)獲取公交線路信息等也有一定的研究，但是對于地鐵、輕軌等的相關(guān)信息數(shù)據(jù)獲取的研究幾乎沒有.

3.3 交通地理信息獲取

交通地理信息的獲取往往需要借助于計算機技術(shù)，網(wǎng)絡(luò)爬蟲即是其中之一.Li等[30]提出利用分布模式的主動爬蟲作為地理空間信息獲取方法，結(jié)果表明，他們所提出的爬蟲在爬行效率和結(jié)果覆蓋率、活躍度方面均取得了良好的性能.該研究有助于在大規(guī)模和動態(tài)的萬維網(wǎng)上實現(xiàn)自動GWS發(fā)現(xiàn)，并促進業(yè)務(wù)互操作的分布式地理空間服務(wù)，使地理空間信息更廣泛地應(yīng)用于交通中.

高波[31]針將基于鏈接與基于內(nèi)容搜索策略的網(wǎng)絡(luò)爬蟲相結(jié)合，提出了SS-HITS算法，進行了地理信息數(shù)據(jù)的獲取.吳燕琴[32]提出的旅游比價決策系統(tǒng)通過框架Scrapy爬取來自不同旅游網(wǎng)站的出行信息，同時將網(wǎng)頁信息存儲于MongoDB中，并對相關(guān)路線進行分析，由此確定最佳決策.劉康等[33]應(yīng)用網(wǎng)絡(luò)爬蟲技術(shù)抓取了長沙市地鐵站點及多個POI地標的地理位置信息，為交通便捷性等的研究提供了數(shù)據(jù)支持.

對于利用網(wǎng)絡(luò)爬蟲技術(shù)獲取交通地理信息，主要研究成果集中在國內(nèi)，上文中的外文文獻為國內(nèi)研究人員在國外期刊上發(fā)表的文章.這類研究主要集中在獲取地理空間、位置信息等數(shù)據(jù)上.

3.4 實時交通信息采集

擁堵的交通數(shù)據(jù)涉及大規(guī)模和復(fù)雜的時空信息，使得挖掘交通數(shù)據(jù)變得困難，且交通數(shù)據(jù)的來源并不容易獲得.Tian等[34]從北京四環(huán)路區(qū)域的電子地圖中爬取了和實時交通信息，其道路狀態(tài)反映該區(qū)域的交通狀況，提供了一種從在線地圖數(shù)據(jù)中分析交通擁堵的可行方法.實時數(shù)據(jù)每隔5 min收集一次，在收集實時交通數(shù)據(jù)后，手動將數(shù)據(jù)作為矢量處理，然后以SHP層的格式存儲.

主題網(wǎng)絡(luò)爬蟲技術(shù)是獲取特定主題的有效手段，其搜索算法的性能直接決定著搜索結(jié)果的優(yōu)劣.張芳等[35]進提出了非貪婪遺傳主題網(wǎng)絡(luò)搜索算法，該算法搜索策略的查全率及準確率，能夠精準地獲取實時高速公路信息.閆文豪等[36]應(yīng)用Python語言和Tornado網(wǎng)絡(luò)框架，設(shè)計了一個穩(wěn)定、高效、及時的爬蟲程序.他們以廣州市為例，從四維交通指數(shù)網(wǎng)頁抓取到了1 723條道路的基本信息及其每5 min更新一次的實時交通數(shù)據(jù)，并將獲取結(jié)果保存到MySQL數(shù)據(jù)庫，其研究結(jié)果表明網(wǎng)絡(luò)爬蟲技術(shù)在實時交通數(shù)據(jù)采集方面具有可行性和有效性.利用網(wǎng)絡(luò)爬蟲技術(shù)，張獻力[37]實現(xiàn)了實時地從網(wǎng)絡(luò)上抓取交通信息，其中交通官網(wǎng)和交通論壇的交通信息爬蟲均釆用Java語言來實現(xiàn).陳功[38]進行了基于Voice XML的實時路況查詢系統(tǒng)的設(shè)計與實現(xiàn)，其中路況實時狀態(tài)的信息數(shù)據(jù)即通過自動抓取相關(guān)互聯(lián)網(wǎng)資源得到.孫丹東[39]基于地理信息系統(tǒng)設(shè)計了一個網(wǎng)絡(luò)爬蟲來獲取實時交通信息.李威[40]闡述了網(wǎng)絡(luò)爬蟲技術(shù)的工作原理和基本操作方法，設(shè)計了一個基于網(wǎng)絡(luò)爬蟲技術(shù)的交通流瓦片下載器，實現(xiàn)了交通流量圖的批量下載，從而為后續(xù)交通流量數(shù)據(jù)的提取研究奠定了基礎(chǔ).

總結(jié)來說，應(yīng)用網(wǎng)絡(luò)爬蟲技術(shù)進行實時交通信息采集的研究是相對較為廣泛的，但同樣這類研究成果主要集中在國內(nèi)，國外就較為空白.獲取實時交通信息的關(guān)鍵在于，在網(wǎng)絡(luò)爬蟲的過程中，需要每隔一定時間收集一次，因此爬取間隔的設(shè)定需要依據(jù)不同需要進行特定設(shè)置.

3.5 交通運輸技術(shù)研究所需信息的獲取

在交通運輸技術(shù)研究時，對于所需數(shù)據(jù)的獲取，網(wǎng)絡(luò)爬蟲的應(yīng)用也較為廣泛.王子凡[41]利用網(wǎng)絡(luò)爬蟲抓取了萬維網(wǎng)交通領(lǐng)域的網(wǎng)頁文本，實現(xiàn)了交通術(shù)語自動生成，為交通術(shù)語的挖掘以及預(yù)測交通行業(yè)的發(fā)展趨勢等提供了理論和技術(shù)支持.鄒永平[42]在基于CMS面向鐵路服務(wù)的網(wǎng)站開發(fā)研究中，釆用網(wǎng)絡(luò)爬蟲技術(shù)對天氣預(yù)報和車次、站點、站站的查詢數(shù)據(jù)等信息進行了抓取，并且每隔6小時重新抓取一次，實現(xiàn)了從鐵路服務(wù)網(wǎng)站查詢車次等信息的功能.顏高峰[43]以港口集疏運信息數(shù)據(jù)為例，研究了主題網(wǎng)絡(luò)爬蟲技術(shù)，實現(xiàn)了基于港口業(yè)務(wù)主題對外部數(shù)據(jù)的獲取.

目前，利用網(wǎng)絡(luò)爬蟲技術(shù)獲取交通運輸技術(shù)研究相關(guān)信息涉及到了交通領(lǐng)域文本信息的獲取、鐵路、港口等相關(guān)數(shù)據(jù)的獲取，對于實際應(yīng)用有著很好的前景.雖然部分學(xué)者研究了這部分內(nèi)容，但是由于研究文獻較少，不足以歸納出一般性結(jié)論.

3.6 交通領(lǐng)域評價反饋信息獲取

在交通領(lǐng)域評價反饋信息獲取的相關(guān)研究中，楊奕等[44]以中華人民共和國交通運輸部官方網(wǎng)站“出租車行業(yè)改革”專欄作為研究對象，采用網(wǎng)絡(luò)爬蟲軟件八爪魚采集器，對網(wǎng)約車合法化問題的不同評論進行了全面信息采集，降低獲取信息的成本的同時提高了效率.劉鑫提出引導(dǎo)乘客發(fā)布帶有#車次號#的微博內(nèi)容，然后利用網(wǎng)絡(luò)爬蟲采集微博數(shù)據(jù).該爬蟲采用的是廣度優(yōu)先搜索策略，即將關(guān)鍵字搜索結(jié)果逐頁抓取，獲取大量的評價內(nèi)容，從而分析其服務(wù)質(zhì)量.

對于交通領(lǐng)域評價反饋信息獲取，研究相對來說較少，但是應(yīng)用前景是較為明朗的，通過網(wǎng)絡(luò)爬蟲技術(shù)獲取到評價反饋信息以后，有助于相關(guān)效率、質(zhì)量等的提升.

通過上述研究資料知，在網(wǎng)絡(luò)爬蟲在交通信息獲取中的應(yīng)用中，目前，對于海量交通信息，網(wǎng)絡(luò)爬蟲技術(shù)是一種很好的手段.網(wǎng)絡(luò)爬蟲技術(shù)解決了海量交通信息難以批量獲取的問題，但是整個應(yīng)用現(xiàn)狀還不夠普遍和成熟，今后仍需要通過不斷的實踐和研究來充實這一方面的應(yīng)用.

4 結(jié) 束 語

交通信息數(shù)據(jù)獲取研究是交通中重要的研究課題之一.網(wǎng)絡(luò)爬蟲技術(shù)能夠準確高效地從繁雜的網(wǎng)絡(luò)信息中獲取所需要的交通信息，對海量交通信息難以批量采集的問題給出了有效的解決方案.通過上述文獻綜述可知，目前，網(wǎng)絡(luò)爬蟲技術(shù)在交通信息獲取中的應(yīng)用，主要集中在交通事故分析數(shù)據(jù)獲取、公共交通信息獲取、交通地理信息獲取、實時交通信息采集、交通運輸技術(shù)研究所需數(shù)據(jù)獲取、交通領(lǐng)域評價反饋信息獲取這六個方面.

然而，應(yīng)用網(wǎng)絡(luò)爬蟲技術(shù)進行交通信息獲取的研究也有不足之處.就目前的國內(nèi)外研究現(xiàn)狀來看，網(wǎng)絡(luò)爬蟲技術(shù)的爬蟲方法與各類交通信息獲取的對應(yīng)關(guān)系還需要進一步研究；如何結(jié)合數(shù)據(jù)特性確定合理的爬取間隔、重復(fù)的交通信息數(shù)據(jù)的識別和刪除等問題也有待解決.總體來看，將網(wǎng)絡(luò)爬蟲技術(shù)合理地應(yīng)用到交通信息獲取的研究中，在交通控制、智能交通系統(tǒng)等領(lǐng)域發(fā)揮其作用，為交通事故的產(chǎn)生和類型判斷、實時交通信息采集、交通地理信息獲取等都提供了新的研究思路，有著廣闊的應(yīng)用前景.