基于社交媒體大數(shù)據(jù)的交通感知分析系統(tǒng)

鄭治豪 吳文兵 陳鑫 胡榮鑫 柳鑫 王璞

進(jìn)入新世紀(jì),我國(guó)交通信息化建設(shè)快速推進(jìn),公交車或出租車上的GPS軌跡數(shù)據(jù)[1?2]、磁感線圈數(shù)據(jù)[3]、視頻監(jiān)控?cái)?shù)據(jù)[4?5]大量涌現(xiàn),基于這些數(shù)據(jù)的交通狀態(tài)感知與預(yù)測(cè)技術(shù)發(fā)展迅速.翁劍成等[1]基于浮動(dòng)車GPS數(shù)據(jù),獲取了路段區(qū)間運(yùn)行速度與行程時(shí)間信息,改善了傳統(tǒng)交通檢測(cè)方式高投入、精度低的缺點(diǎn).董均宇[2]通過融合多類型車輛GPS軌跡數(shù)據(jù)與道路交通信息,估計(jì)了城市路段的平均速度.陶漢卿等[3]基于分段序列相似度的分析方法對(duì)轉(zhuǎn)彎車輛和直行車輛的感應(yīng)數(shù)據(jù)進(jìn)行聯(lián)合分析,獲取了車輛的轉(zhuǎn)彎信息,提高了交通調(diào)查和交通信息采集的效率和準(zhǔn)確性.張佐等[4]指出先進(jìn)的視頻技術(shù)將成為視頻和無線傳感器“按需”布設(shè)和多參數(shù)交通信息采集的基礎(chǔ),利用視頻處理技術(shù)可以發(fā)現(xiàn)混合交通流的新特性.王川童[5]運(yùn)用視頻檢測(cè)技術(shù)獲取的交通數(shù)據(jù),結(jié)合卡爾曼濾波跟蹤與虛擬檢測(cè)線法提取交通特征參數(shù),提高了車輛識(shí)別的精度.Li等[6]利用實(shí)測(cè)交通流數(shù)據(jù),提出了一種基于模糊集理論的交通流預(yù)測(cè)方法,該方法還可以準(zhǔn)確預(yù)測(cè)交通流變化的范圍.

基于車輛GPS軌跡、磁感線圈、視頻監(jiān)控等數(shù)據(jù)的交通分析方法在智能交通系統(tǒng)的建設(shè)和發(fā)展中發(fā)揮了重要作用,然而這些數(shù)據(jù)自身結(jié)構(gòu)和特點(diǎn)也使它們?cè)谀承?yīng)用方面存在不足.Shang等[7]指出:某些時(shí)刻很多路段上并沒有出租車行駛,浮動(dòng)車數(shù)據(jù)一定程度上缺乏完整性;感應(yīng)線圈的埋置深度、性能和壽命、線圈與導(dǎo)線接頭的可靠性和防潮絕緣性能等均有待進(jìn)一步完善和改進(jìn);而視頻檢測(cè)設(shè)備在氣象惡劣的情況和低光照強(qiáng)度下,很難得到清晰可靠的圖像.陸鋒[8]指出基于移動(dòng)目標(biāo)速度感知方式的交通信息采集手段在運(yùn)營(yíng)成本和時(shí)空覆蓋范圍上仍然存在較大的局限性.Zhang等[9]發(fā)現(xiàn)節(jié)假日交通出行由于受到天氣、旅游商業(yè)等特殊活動(dòng)以及服務(wù)價(jià)格、交通事故等多種偶發(fā)、可變因素影響,難以通過歷史數(shù)據(jù)作出有效預(yù)測(cè),常常導(dǎo)致交通突發(fā)事件預(yù)報(bào)失當(dāng)、應(yīng)對(duì)失當(dāng).

進(jìn)入“互聯(lián)網(wǎng)+”時(shí)代,社交媒體已經(jīng)成為人們生活的重要組成部分和人類語言的重要發(fā)布平臺(tái).社交媒體中蘊(yùn)含了大量與交通相關(guān)的語言描述,在某些應(yīng)用方面甚至比在物理空間中采集的交通信息更有優(yōu)勢(shì).復(fù)雜系統(tǒng)管理與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室主任王飛躍教授認(rèn)為社會(huì)信號(hào)是復(fù)雜系統(tǒng)平行管理與控制的重要一環(huán)[10],并首次提出“社會(huì)交通”研究方向[11].

社交媒體是社會(huì)交通研究的重要數(shù)據(jù)來源,基于社交媒體大數(shù)據(jù)的交通研究與應(yīng)用方興未艾.Qiao等[12]指出微博消息可以作為線圈、視頻等交通檢測(cè)傳感器的有效補(bǔ)充,可以用于及時(shí)定位交通擁堵.Zeng等[13]指出社交媒體信息可以提供交通預(yù)警信號(hào)與路況信息預(yù)報(bào).Wanichayapong等[14]開發(fā)了一個(gè)基于Twitter數(shù)據(jù)的交通信息采集與歸類系統(tǒng).Endarnoto等[15]開發(fā)了一個(gè)Twitter交通信息采集系統(tǒng),并設(shè)計(jì)了一款安卓手機(jī)軟件用于顯示交通信息.Balagapo等[16]開發(fā)了一款安卓手機(jī)軟件,采用信息眾包的方式采集使用者記錄,分享公共交通出行數(shù)據(jù).D′Andrea等[17]開發(fā)了一個(gè)基于Twitter信息流的交通信息實(shí)時(shí)監(jiān)測(cè)系統(tǒng),該系統(tǒng)可以在新聞網(wǎng)站發(fā)布相同資訊之前監(jiān)測(cè)到相關(guān)的交通信息.張恒才等[18]提出了一種從微博消息中快速獲取和融合交通信息的技術(shù)方法,他們首先對(duì)獲取的微博進(jìn)行分詞和路網(wǎng)匹配,然后用模糊C聚類方法對(duì)微博進(jìn)行定量化結(jié)果分析,從而獲取各個(gè)路段置信度最高的交通狀態(tài)描述.張恒才等[19]還提出了一種基于D-S證據(jù)理論的微博交通信息獲取方法,構(gòu)建了微博文本中交通狀態(tài)信息的評(píng)價(jià)體系,作者定義了微博消息源的基本概率分布函數(shù),通過證據(jù)合成與證據(jù)決策,實(shí)現(xiàn)微博消息中實(shí)時(shí)交通信息的甄別與融合.崔健等[20]開發(fā)出一套基于微博的節(jié)假日突發(fā)交通事件感知與分析系統(tǒng),旨在分析節(jié)假日交通狀況,評(píng)估個(gè)體出行者的情感狀態(tài)等.熊佳茜[21]運(yùn)用條件隨機(jī)場(chǎng)模型對(duì)微博進(jìn)行時(shí)間與地點(diǎn)詞語的識(shí)別,用于感知交通事件.Hasan等[22]利用社交媒體數(shù)據(jù)分析出行者活動(dòng)模式.Gkiotsalitis等利用社交媒體數(shù)據(jù)分析用戶參加各類活動(dòng)的出行意愿[23],并針對(duì)休閑活動(dòng)的出行隨機(jī)特性進(jìn)行分析[24].Gu等[25]開發(fā)了一套基于社交媒體的交通事件探測(cè)系統(tǒng)，并在兩個(gè)城市得到應(yīng)用.Ku flik等[26]提出了一個(gè)從社交媒體信息中抽取交通相關(guān)信息的框架.Rashidi等[27]探討了社交媒體數(shù)據(jù)在挖掘人類出行行為方面的機(jī)遇與挑戰(zhàn).Cottrill等[28]討論了社交媒體信息在大型事件發(fā)生時(shí)的交通信息傳播策略.Xiong等[29]提出了一個(gè)基于信息–物理–社會(huì)系統(tǒng)的智能交通系統(tǒng)框架,文中詳細(xì)介紹了社會(huì)交通系統(tǒng)的運(yùn)行機(jī)制.

車輛GPS軌跡數(shù)據(jù)、磁感線圈數(shù)據(jù)、視頻監(jiān)控?cái)?shù)據(jù)等由物理空間的傳感器采集,具有量化、精確、客觀的特點(diǎn).蘊(yùn)涵交通信息的微博文本由社交媒體采集,雖然在描述上存在一定模糊性、主觀性,但包含了人類的分析、推理和智慧.物理空間與社會(huì)空間交通數(shù)據(jù)在交通分析、預(yù)測(cè)與應(yīng)用中具有各自的優(yōu)勢(shì).目前物理空間交通數(shù)據(jù)的采集、處理方法比較成熟完善,但社會(huì)空間交通數(shù)據(jù)方面的研究還較少,尚缺乏系統(tǒng)性好、應(yīng)用性強(qiáng)的社交媒體交通感知系統(tǒng).

本文的結(jié)構(gòu)組織如下:第1節(jié)總述本文所構(gòu)建系統(tǒng)的構(gòu)架與要解決的重難點(diǎn);第2節(jié)闡述數(shù)據(jù)來源與數(shù)據(jù)處理;第3節(jié)和第4節(jié)闡述兩個(gè)難點(diǎn)的解決方案;第5節(jié)展示數(shù)據(jù)可視化;第6節(jié)討論系統(tǒng)特色;第7節(jié)是結(jié)論及下一步工作.

1 系統(tǒng)構(gòu)架

基于社交媒體大數(shù)據(jù)的交通感知分析系統(tǒng)由以下幾個(gè)模塊組成:1)微博數(shù)據(jù)采集與預(yù)處理模塊;2)微博分類模塊;3)微博命名實(shí)體識(shí)別模塊;4)交通事件歸類與可視化模塊.系統(tǒng)構(gòu)架圖如圖1所示.

圖1 系統(tǒng)構(gòu)架圖Fig.1 Architecture of the system

建立基于社交媒體大數(shù)據(jù)的交通感知分析系統(tǒng)需解決的難點(diǎn)如下:

1)微博內(nèi)容語義消歧與交通話題篩選.中文具有一詞多義的特點(diǎn),帶有關(guān)鍵詞的微博可能與交通無關(guān),且與交通相關(guān)的微博也不一定帶有實(shí)際的交通信息,如何進(jìn)行語義消歧和交通話題篩選,減少對(duì)無效微博的后續(xù)處理,提高系統(tǒng)效率,是本論文解決的第一個(gè)難點(diǎn).

2)微博數(shù)據(jù)中交通信息的有效識(shí)別與提取.微博中包含的交通事件發(fā)生地點(diǎn)往往比普通的地點(diǎn)實(shí)體更復(fù)雜,如何準(zhǔn)確界定微博中的交通相關(guān)信息,并選擇相應(yīng)的算法提取這些信息是本論文解決的第二個(gè)難點(diǎn).

針對(duì)上述研究重點(diǎn)與難點(diǎn)問題,我們使用數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語言處理的方法對(duì)社交媒體數(shù)據(jù)進(jìn)行了大量的實(shí)驗(yàn)與測(cè)試,最終選擇出可靠有效、性能優(yōu)良的方法,建立了一個(gè)基于社交媒體大數(shù)據(jù)的交通感知分析系統(tǒng).該系統(tǒng)體現(xiàn)了“社會(huì)交通”的信息眾包機(jī)制[30?31],發(fā)揮了群體智慧的優(yōu)勢(shì),在突發(fā)事件的檢測(cè),交通事件的原因分析、規(guī)模判斷,輿情采集等方面是現(xiàn)有交通檢測(cè)方式的有力補(bǔ)充,并且為未來“社會(huì)交通”研究提供基礎(chǔ)數(shù)據(jù)與分析平臺(tái).

2 微博數(shù)據(jù)采集與預(yù)處理

首先運(yùn)行網(wǎng)絡(luò)爬蟲,通過設(shè)置好的關(guān)鍵詞(表1)隨機(jī)收集4萬條相關(guān)的原始微博數(shù)據(jù).

表1 關(guān)鍵詞表Table 1 Keywords list

原始微博數(shù)據(jù)的每一條信息包含:微博發(fā)布時(shí)間、官方標(biāo)記(是否源于認(rèn)證的官方微博)、微博正文、微博定位地點(diǎn).原始微博正文中可能含有一些特定符號(hào),包括表情符號(hào)、話題標(biāo)簽(##)、鏈接、轉(zhuǎn)義字符、用戶引用(@符號(hào))以及多余的空格等,這些內(nèi)容沒有實(shí)際含義與信息,剔除后不影響全文語義表達(dá).

文中使用Python的正則表達(dá)式模塊對(duì)這些符號(hào)匹配剔除.同時(shí),為了減小微博不準(zhǔn)確信息和不真實(shí)信息經(jīng)大量轉(zhuǎn)發(fā)后的擴(kuò)散影響,在抓取微博時(shí)僅對(duì)原創(chuàng)微博進(jìn)行抓取,不使用轉(zhuǎn)發(fā)微博.數(shù)據(jù)預(yù)處理后,得到了標(biāo)準(zhǔn)化的微博數(shù)據(jù),如表2所示.

3 微博分類

本文采用機(jī)器學(xué)習(xí)的方法進(jìn)行微博分類,解決微博內(nèi)容語義消歧與交通話題篩選問題.首先,制定了有效微博交通信息的評(píng)判標(biāo)準(zhǔn),并以此為依據(jù)劃分微博信息,構(gòu)建訓(xùn)練集;其次,利用不同的文本分類算法進(jìn)行測(cè)試;最后,綜合考慮各種因素選出最適合本系統(tǒng)的分類算法.

3.1 有效微博與無效微博

根據(jù)微博內(nèi)容是否與交通信息有關(guān)進(jìn)行評(píng)判,本文將抽取到的微博分為有效微博與無效微博,其定義如下:

定義1.有效微博

有效微博包含表1關(guān)鍵詞,所討論的話題屬于交通話題,且描述實(shí)際交通情況.例如:

“大鵬片區(qū)南西路沙坑農(nóng)莊路段發(fā)生小車追尾事故,民警正在現(xiàn)場(chǎng)處理事故,疏導(dǎo)交通.”

定義2.無效微博

無效微博包含表1關(guān)鍵詞,但其描述的話題與交通無關(guān),或者其雖然屬于交通話題,但并不描述實(shí)際交通情況.例如:

“黃山再美都被人擠人的人群給淹沒了還好下山不堵.”

“交通管理部門要求:1.小汽車的司機(jī)和前排乘客必須系好安全帶—這樣可以防止慣性的危害;2.嚴(yán)禁車輛超載—不僅僅減小車輛對(duì)路面的破壞,還有減小摩擦、慣性等;3.嚴(yán)禁車輛超速—防止急剎車時(shí),因反應(yīng)距離和制動(dòng)距離過長(zhǎng)而造成車禍”.

3.2 微博分類訓(xùn)練集

本文通過人工瀏覽標(biāo)準(zhǔn)化微博數(shù)據(jù)庫中的4萬條微博,從中人工分類出5000條有效微博與5000條無效微博,去除停止詞后,分別存入兩個(gè)文檔中,其分類標(biāo)簽分別為1和0.

在微博分類之前,需要將文本向量化,本文所構(gòu)建的文本分類器使用隱性語義分析(Latent semantic analysis,LSA)進(jìn)行向量化,流程如圖2所示.

表2 標(biāo)準(zhǔn)化微博數(shù)據(jù)Table 2 Standardized Weibo data

圖2 文本向量化流程圖Fig.2 Flowchart of document vectorization

本文使用LTP[32]提供的中文停止詞表去除微博正文中的停止詞,使用Gensim[33]工具包進(jìn)行微博正文的向量化.

3.3 微博分類算法

文本分類算法則主要基于樸素貝葉斯(Naive Bayes,NB)、k最近鄰(k-nearest neighbor,KNN)、支持向量機(jī)(Support vector machine,SVM)、決策樹(Decision tree,DT)等算法.Scikit-learn[34]是Python中的一個(gè)機(jī)器學(xué)習(xí)包,提供了多種分類器算法.其中,SVM形參kernel的值代表其分類時(shí)所采用的核函數(shù),本測(cè)試取linear、rbf、sigmoid、poly四種核函數(shù);KNN方法中,k表示分類決策時(shí)選取的最相似數(shù)據(jù)的個(gè)數(shù),測(cè)試選取1NN、3NN、5NN;NB方法中,可以選擇不同的模型訓(xùn)練,本文選取高斯模型(Gaussian NB)和多項(xiàng)式模型(Multinomial NB);DT方法中,形參criterion表示構(gòu)造決策樹時(shí)節(jié)點(diǎn)測(cè)試屬性選取的標(biāo)準(zhǔn),測(cè)試選取信息熵(Entropy)和基尼不純度(Gini).

研究中使用第3.2節(jié)中得到的微博分類訓(xùn)練集訓(xùn)練分類模型.在訓(xùn)練分類模型時(shí),采用十折交叉驗(yàn)證法,對(duì)十次訓(xùn)練得到的模型評(píng)估參數(shù)取平均值作為最終評(píng)估模型的參數(shù).

文中選擇MUC會(huì)議制定的評(píng)估體系.其評(píng)價(jià)模型性能的指標(biāo)有準(zhǔn)確率(Precision)、召回率(Recall)和F-score.其中,準(zhǔn)確率是預(yù)測(cè)結(jié)果為有效微博中預(yù)測(cè)正確的比例,召回率是預(yù)測(cè)結(jié)果為有效微博中預(yù)測(cè)正確的數(shù)量占全部人工標(biāo)注的有效微博數(shù)量的比例,F-score的計(jì)算公式如下:

其中,λ是召回率相對(duì)于準(zhǔn)確率的權(quán)重,當(dāng)λ取值小于1時(shí),結(jié)果偏向準(zhǔn)確率;大于1時(shí),結(jié)果偏向召回率.在本次分類中,準(zhǔn)確率和召回率同等重要,λ取值為1.

在利用訓(xùn)練集對(duì)所有算法進(jìn)行測(cè)試之后,測(cè)試結(jié)果如表3所示.

表3 不同分類算法的測(cè)試結(jié)果Table 3 Test results of different algorithms

由表3結(jié)果可以看出,SVM 算法總體表現(xiàn)優(yōu)異,采用的各種核函數(shù)中,線性核表現(xiàn)最優(yōu),表明文本向量化得到的數(shù)據(jù)是線性可分的;KNN算法整體的表現(xiàn)不佳,這與KNN算法的歸納偏置密切相關(guān):一個(gè)新數(shù)據(jù)的分類標(biāo)簽總是與其在歐氏空間中若干個(gè)臨近數(shù)據(jù)的多數(shù)標(biāo)簽相同.在算法應(yīng)用的過程中,數(shù)據(jù)間的距離是根據(jù)數(shù)據(jù)的所有屬性計(jì)算的,近鄰間的距離往往會(huì)被大量的不相關(guān)屬性所主導(dǎo),從而降低KNN算法的分類性能.對(duì)比不同k值的KNN算法可以看出,當(dāng)k增大時(shí),分類性能有所提升,說明在一定范圍內(nèi)k值增大能夠更好地排除錯(cuò)誤數(shù)據(jù)與噪聲的影響,提高分類性能;樸素貝葉斯分類器采用不同的模型時(shí),分類性能差異較大.高斯分布的樸素貝葉斯分類器的性能明顯低于多項(xiàng)式分布的樸素貝葉斯分類器.其原因在于,Gaussian NB假定訓(xùn)練集中的各樣本特征值服從高斯分布,而這一假定并不一定符合微博語料的實(shí)際情況.Multinomial NB以文檔中的單詞作為特征,對(duì)應(yīng)的特征值是單詞在文檔中出現(xiàn)的次數(shù),是典型的詞袋模型,適用于文本分類;決策樹算法在測(cè)試中表現(xiàn)較差.構(gòu)造決策樹時(shí)節(jié)點(diǎn)測(cè)試屬性選取標(biāo)準(zhǔn)的不同,并不會(huì)對(duì)最終的分類性能產(chǎn)生明顯的影響.

綜上,在本系統(tǒng)中選擇性能最優(yōu)的SVM 算法進(jìn)行微博分類,為解決有效、無效微博分類提供了一個(gè)可行的方案,解決了第1節(jié)所述難點(diǎn)1.

4 微博命名實(shí)體識(shí)別

本文同樣采用機(jī)器學(xué)習(xí)的方法進(jìn)行微博命名實(shí)體識(shí)別,解決微博內(nèi)容中交通信息的有效識(shí)別與提取問題.首先,我們對(duì)微博蘊(yùn)含交通信息的實(shí)體名詞進(jìn)行定義;其次,我們討論了不同實(shí)體名詞標(biāo)注方案的優(yōu)劣,建立了微博交通信息實(shí)體的界定方法;最后,我們討論并確定了最適合本系統(tǒng)的實(shí)體識(shí)別算法.

4.1 時(shí)間實(shí)體與地點(diǎn)實(shí)體

在對(duì)微博分類后,我們使用命名實(shí)體識(shí)別(Named entity recognition,NER)對(duì)有效標(biāo)準(zhǔn)微博數(shù)據(jù)進(jìn)行時(shí)間實(shí)體和地點(diǎn)實(shí)體的識(shí)別(如圖3所示).

圖3 時(shí)間實(shí)體與地點(diǎn)實(shí)體示例Fig.3 An example of time entity and location entity

最常見的兩種命名實(shí)體識(shí)別方法為基于語法規(guī)則的方法和基于機(jī)器學(xué)習(xí)的方法.前者在所制定的規(guī)則適應(yīng)于相對(duì)應(yīng)文本情景的情況下具有良好的表現(xiàn),但在面對(duì)陌生隨機(jī)文本時(shí)表現(xiàn)不佳[35].后者的優(yōu)點(diǎn)在于它可以利用標(biāo)記文本反復(fù)訓(xùn)練,適應(yīng)性強(qiáng),維護(hù)成本遠(yuǎn)小于基于語法規(guī)則的方法[36].基于機(jī)器學(xué)習(xí)的方法又分為有監(jiān)督、半監(jiān)督和無監(jiān)督方法.由于后者無需太多的語言學(xué)知識(shí),且有監(jiān)督的機(jī)器學(xué)習(xí)方法只需通過訓(xùn)練模板設(shè)定待考察的特征,并用算法對(duì)人工標(biāo)注真值的訓(xùn)練集進(jìn)行訓(xùn)練,便可得出相應(yīng)的模型文件用于實(shí)體識(shí)別,簡(jiǎn)單易用,對(duì)隨機(jī)文本適應(yīng)性強(qiáng).所以,文中選擇基于有監(jiān)督的機(jī)器學(xué)習(xí)算法完成微博命名實(shí)體識(shí)別的工作.

由于命名實(shí)體識(shí)別需要基于詞序列進(jìn)行建模,文中使用LTP[32]分詞工具將每一條微博文本切分為詞序列并標(biāo)注詞性后進(jìn)行序列標(biāo)注,如表4所示.

4.2 命名實(shí)體識(shí)別訓(xùn)練集

文中選取分類階段中篩選出的5000條未過濾停止詞的有效微博進(jìn)行分詞序列化處理及詞性標(biāo)注,并采用文獻(xiàn)[21]提出的方法進(jìn)行人工命名實(shí)體標(biāo)注,作為訓(xùn)練真值.標(biāo)注規(guī)則與示例如表5所示.

表4 微博的詞序列示例Table 4 An example of a sequence of Weibo word

在標(biāo)注命名實(shí)體的過程中,我們發(fā)現(xiàn),較長(zhǎng)的交通地點(diǎn)實(shí)體常常占據(jù)5～7個(gè)窗口,且由多個(gè)短地點(diǎn)實(shí)體組成,導(dǎo)致不同的人對(duì)同一個(gè)地點(diǎn)實(shí)體的標(biāo)注會(huì)有不同的結(jié)果(如圖4(a)和4(b)所示).

圖4 命名實(shí)體標(biāo)注示例Fig.4 Examples of NER labels

從圖4可以看出,“G30連霍高速寶天段觀音山隧道”描述的是一個(gè)具體交通事件發(fā)生的位置,在這個(gè)位置中包含了多個(gè)可以作為命名實(shí)體的地點(diǎn),例如“連霍高速”、“觀音山隧道”.

從詞義角度分析,描述一個(gè)交通事件發(fā)生地點(diǎn)通常是由高級(jí)地名向低級(jí)地名遞減.示例二將這種地理描述完整的標(biāo)記出來,作為一個(gè)地點(diǎn)實(shí)體.而示例一則將一個(gè)地理描述中的多個(gè)地名作為單獨(dú)的地點(diǎn)實(shí)體.

從應(yīng)用角度分析,如果利用示例一的標(biāo)注方法,多個(gè)地點(diǎn)實(shí)體之間的從屬性較難判斷,造成定位困難.而示例二則避免了這個(gè)問題,降低了定位難度.

表5 命名實(shí)體標(biāo)注方案Table 5 Method of NER labelling

綜上,文中采用示例二所示的標(biāo)注方法對(duì)微博命名實(shí)體訓(xùn)練集進(jìn)行標(biāo)注,該方法為:在連續(xù)的地理位置描述中,以兩個(gè)相同等級(jí)的地名為地點(diǎn)實(shí)體分隔點(diǎn),每個(gè)地點(diǎn)實(shí)體由最高等級(jí)地名開始至最低等級(jí)地名結(jié)束.例如“G30連霍高速寶天段觀音山隧道”這一描述中,“G30”是“連霍高速”的代號(hào),故二者屬于平行關(guān)系,我們將“G30”作為單獨(dú)的地點(diǎn)實(shí)體.“連霍高速”和“觀音山隧道”分別是該描述中最高級(jí)和最低級(jí)的地名,故我們將“連霍高速寶天段觀音山隧道”標(biāo)注為一個(gè)地點(diǎn)實(shí)體.“附近”一詞不具有定位意義,不作標(biāo)注.該方法能夠清晰地標(biāo)定微博文本中的交通地點(diǎn)實(shí)體,減少判定尺度不一致帶來的誤差,為解決微博交通信息提取提供了可行方案,解決了第1節(jié)所述難點(diǎn)2.

4.3 測(cè)試分析

文獻(xiàn)[37]指出,較常用的用于命名實(shí)體識(shí)別的序列標(biāo)注算法有:最大熵馬爾科夫模型(Maximumentropy markov model,MEMM)、隱性馬爾科夫模型(Hidden markov model,HMM)、條件隨機(jī)場(chǎng)模型(Conditional random field,CRF)以及支持向量機(jī)模型(Support vector machine,SVM).對(duì)于序列標(biāo)注問題,隱性馬爾科夫模型的識(shí)別速度快[38],但對(duì)觀察序列的多個(gè)非獨(dú)立特征建模存在困難[39].支持向量機(jī)模型則需要進(jìn)行兩步操作,先對(duì)各行獨(dú)立分配標(biāo)簽,再進(jìn)行調(diào)整,這種方式忽略了狀態(tài)轉(zhuǎn)移和觀察之間的緊密關(guān)系[39].最大熵馬爾科夫模型雖然克服了HMM模型輸出獨(dú)立性假設(shè)的缺點(diǎn),但只在局部統(tǒng)計(jì)歸一化概率,且會(huì)產(chǎn)生標(biāo)注偏置的問題.條件隨機(jī)場(chǎng)模型汲取了HMM 和SVM的優(yōu)點(diǎn),特征設(shè)計(jì)靈活,可以容納任意的上下文信息,被廣泛運(yùn)用于諸如命名實(shí)體識(shí)別等多種自然語言處理任務(wù)中[39].而CRF與MEMM相比,CRF模型計(jì)算的是全局最優(yōu)輸出節(jié)點(diǎn)的條件概率,也克服了標(biāo)注偏置的問題.雖然CRF復(fù)雜度高,訓(xùn)練代價(jià)大,但在使用時(shí)速度滿足本系統(tǒng)的使用要求.所以,我們擬運(yùn)用CRF++[40]工具包對(duì)CRF[41]算法的性能進(jìn)行測(cè)試.

在測(cè)試CRF算法時(shí),為了得到最準(zhǔn)確的模板,我們采用了6套適合我們數(shù)據(jù)結(jié)構(gòu)的模板進(jìn)行實(shí)驗(yàn),以期得到一個(gè)準(zhǔn)確率和召回率最高的模板.在此過程中,同樣采用第3.3節(jié)中使用的評(píng)價(jià)體系.模板的設(shè)定方式和性能如表6所示,表中用a代表分詞結(jié)果,b代表詞性.

表6 CRF不同模板的設(shè)置方案與測(cè)試結(jié)果Table 6 Settings of different CRF templates and test results

根據(jù)測(cè)試結(jié)果,方案三的F1值最高,在準(zhǔn)確率和召回率上都有良好的表現(xiàn),故本文采用方案三作為訓(xùn)練模板.

4.4 標(biāo)注信息的提取

系統(tǒng)運(yùn)用訓(xùn)練好的CRF模型對(duì)詞序列進(jìn)行標(biāo)注,逐行遍歷標(biāo)注結(jié)果并提取出相關(guān)的詞語并將其組合起來,如圖5所示.

系統(tǒng)通過標(biāo)簽尾部的Ns和Nm標(biāo)識(shí)判斷該詞是一個(gè)交通地點(diǎn)實(shí)體,還是一個(gè)交通時(shí)間實(shí)體的組成部分,再通過標(biāo)簽前部的B、I、E、S標(biāo)識(shí)判斷該詞屬于該實(shí)體的哪一部分.若是S標(biāo)簽,該詞即為一個(gè)完整的實(shí)體;若是B標(biāo)簽,則讀取至下一個(gè)E標(biāo)簽處,將這兩個(gè)標(biāo)簽之間對(duì)應(yīng)的詞組合起來作為一個(gè)實(shí)體.

在獲取了微博中的交通時(shí)間實(shí)體和交通地點(diǎn)實(shí)體后,我們不能直接將其作為交通事件的發(fā)生時(shí)間和地點(diǎn).因?yàn)槲覀冊(cè)诓杉⒉r(shí)獲得了微博的發(fā)布時(shí)間,所以我們通過系統(tǒng)將交通時(shí)間實(shí)體數(shù)字化后,選取兩個(gè)時(shí)間中較早的時(shí)間作為事件發(fā)生時(shí)間.同時(shí),在微博定位地點(diǎn)不缺省時(shí),文中優(yōu)先選擇微博定位地點(diǎn)作為事件發(fā)生地點(diǎn).最后,使用百度地址解析API[42]將其轉(zhuǎn)化為GPS坐標(biāo)供可視化模塊調(diào)用.

圖5 微博命名實(shí)體標(biāo)注結(jié)果Fig.5 Weibo NER labelling results

5 交通事件歸類與可視化

5.1 交通事件歸類

在這個(gè)部分我們用關(guān)鍵詞對(duì)采集的微博交通事件作簡(jiǎn)要?dú)w類,實(shí)現(xiàn)可視化模塊中信息分類瀏覽的功能.交通事件類別如表7所示.

我們?nèi)斯⒌?節(jié)中的有效微博歸為表7所示6類,統(tǒng)計(jì)每一類中出現(xiàn)頻率最高的詞,從高頻率詞表中選取具有代表性的且與交通相關(guān)的詞語作為該類別對(duì)應(yīng)的關(guān)鍵詞庫.在進(jìn)行微博事件歸類的過程中,我們用每一個(gè)關(guān)鍵詞庫中的詞語對(duì)微博進(jìn)行匹配,若微博中含有該詞語,則我們將該微博貼上相應(yīng)類別標(biāo)簽.例如涉及車輛相撞等事故的的微博中,可能出現(xiàn)”撞”、”追尾”、”剮蹭”等詞語,我們將這些詞語作為車輛相撞類別的關(guān)鍵詞庫.由于交通事件之間常具有一些因果關(guān)聯(lián),如事故可能導(dǎo)致路段擁堵,所以每一條微博可能同時(shí)具有多個(gè)類別標(biāo)簽.值得注意的是,由于本環(huán)節(jié)處理的微博已是有效微博,所以不需考慮一詞多義等問題.

表7 交通事件歸類Table 7 Classi fication of traffic events

5.2 數(shù)據(jù)可視化模塊

本系統(tǒng)的可視化模塊桌面端基于Web平臺(tái)構(gòu)建,采用PHP語言編寫.可視化模塊移動(dòng)端基于安卓平臺(tái)構(gòu)建,采用Java語言編寫.系統(tǒng)對(duì)獲取到的原始微博信息進(jìn)行處理后,獲得了交通事件發(fā)生的時(shí)間、地理坐標(biāo)以及事件類型等信息,可視化模塊讀取上述格式的數(shù)據(jù)后,根據(jù)不同的事件類型用不同顏色的圖標(biāo)在地圖上進(jìn)行可視化標(biāo)記,點(diǎn)擊該圖標(biāo),會(huì)彈出具體的事件信息.對(duì)于含有多個(gè)類別標(biāo)簽的數(shù)據(jù),我們以封路、施工、車輛相撞、路況擁堵、路況正常、其他的優(yōu)先級(jí)順序顯示標(biāo)記的顏色.(如圖6(a)和圖6(b)所示).

圖6 可視化模塊Fig.6 Visualization module

6 系統(tǒng)應(yīng)用評(píng)估

由于實(shí)時(shí)數(shù)據(jù)量巨大,系統(tǒng)在實(shí)際運(yùn)用中采取少量高頻采集、采集與處理同時(shí)進(jìn)行的方式采集和處理數(shù)據(jù),以保證系統(tǒng)的實(shí)時(shí)性與高效性.

在進(jìn)行性能與可靠性測(cè)試期間,系統(tǒng)于2016年4月2日下午全程跟蹤監(jiān)測(cè)到了滬蓉高速常州段兩輛大貨車相撞翻車,事故發(fā)生后幾分鐘內(nèi),車輛連續(xù)追尾,造成重大交通事故.

根據(jù)央視等官方權(quán)威媒體事后的報(bào)道,該事件發(fā)生于4月2日下午13時(shí)20分左右,最終導(dǎo)致約56輛汽車追尾,本系統(tǒng)于事故發(fā)生前就監(jiān)測(cè)到多條微博信息反應(yīng)該路段擁堵,而在事故發(fā)生14分鐘之后,本系統(tǒng)即監(jiān)測(cè)到該路段交通中斷,而事故發(fā)生35分鐘之后,系統(tǒng)即報(bào)告了該事故的嚴(yán)重程度.圖7顯示的是13:55分系統(tǒng)在該路段監(jiān)測(cè)到的數(shù)據(jù)量.

圖7 13:55系統(tǒng)在相關(guān)路段的監(jiān)測(cè)截圖Fig.7 A system screenshot at 13:55

官方新聞最早播報(bào)這起事故是中國(guó)廣播網(wǎng)于15:00發(fā)出了一條新聞,這比本系統(tǒng)首次監(jiān)測(cè)到該路段交通中斷延遲了1小時(shí)26分鐘.分析其原因在于,本系統(tǒng)利用信息眾包的思想,信息來源更加廣泛,而傳統(tǒng)的新聞媒體由于其工作性質(zhì),需要對(duì)信息反復(fù)溝通確認(rèn)后才會(huì)發(fā)布信息,這使得社交媒體在突發(fā)情況的信息傳播方面通常比傳統(tǒng)媒體更加快速,也更能反映普通民眾針對(duì)該事件的輿情導(dǎo)向.除此之外,相較于車輛GPS軌跡、感應(yīng)線圈、微波等常用的交通檢測(cè)手段,社交媒體數(shù)據(jù)中蘊(yùn)含著因果關(guān)聯(lián)與對(duì)事件的文字描述,能夠直接反應(yīng)出事件的原因、規(guī)模、影響程度等信息,與視頻監(jiān)控等方式相比又具有成本低廉的特點(diǎn),是一種行之有效的交通檢測(cè)輔助手段.

當(dāng)然,社交媒體數(shù)據(jù)也有不足之處.首先,社交媒體數(shù)據(jù)的置信度有待進(jìn)一步考量.雖然我們?cè)诓杉畔r(shí)已排除轉(zhuǎn)發(fā)信息的影響,但系統(tǒng)采集到的信息中仍含有部分不準(zhǔn)確的信息,這一定程度上是人們?cè)谥饔^上對(duì)同一事件的不同程度的判斷所導(dǎo)致的.如圖8所示數(shù)據(jù),系統(tǒng)在采集信息的過程中也采集到一些過分夸張的信息,這些信息并不是真實(shí)的,圖中微博顯示該路段有百車相撞,但實(shí)際上這只是微博用戶對(duì)于現(xiàn)場(chǎng)情況的夸大估計(jì).此外,在少數(shù)情況下,微博中也存在部分虛假信息.

圖8 偏差數(shù)據(jù)示例Fig.8 An example of bias

其次,社交媒體數(shù)據(jù)具有一定的地理模糊性.我們從社交媒體數(shù)據(jù)中獲得的地理位置信息來源于原文或發(fā)布者的地理定位,部分位置信息在進(jìn)行地理坐標(biāo)解析時(shí),難以在地圖上找到準(zhǔn)確的位置,仍需進(jìn)一步研究解決.

7 結(jié)論

本文開發(fā)了一個(gè)基于社交媒體大數(shù)據(jù)的交通感知分析系統(tǒng).該系統(tǒng)能夠自動(dòng)采集、分類、提取微博中的有效交通信息并在地圖上進(jìn)行可視化標(biāo)注.系統(tǒng)充分利用了社交媒體上人們對(duì)于交通事件的最新信息分享、原因分析和程度描述,相比與傳統(tǒng)交通檢測(cè)設(shè)備所采集的數(shù)據(jù),本系統(tǒng)所采用的數(shù)據(jù)包含了更多角度的信息,且空間分布不受限制,不需要布設(shè)、維護(hù)地面?zhèn)鞲性O(shè)備,具有明顯的經(jīng)濟(jì)優(yōu)勢(shì),可以為交通數(shù)據(jù)的采集提供有力支持.

我們將當(dāng)前最有效的軟件工具和自然語言處理技術(shù)引入到社會(huì)交通領(lǐng)域,并對(duì)比、分析了多種算法在微博交通信息處理方面的技術(shù)性能,將其中表現(xiàn)最優(yōu)異的算法整合到整個(gè)系統(tǒng)中.

隨著社交媒體交通信息數(shù)據(jù)庫的逐步完善,數(shù)據(jù)的實(shí)時(shí)性、準(zhǔn)確性逐步提升,數(shù)據(jù)量不斷擴(kuò)大,可以為從事社會(huì)交通研究的學(xué)者提供必要的數(shù)據(jù)資源和可視化平臺(tái).

本文工作也存在一些值得進(jìn)一步研究的問題.由于社交媒體數(shù)據(jù)中人們對(duì)于同一個(gè)交通事件的描述是不同的,其中也可能包含有一些不真實(shí)的信息,如何將這些類似的信息融合,是我們今后需要繼續(xù)研究的問題.此外,社交媒體交通數(shù)據(jù)與傳統(tǒng)交通數(shù)據(jù)的交叉驗(yàn)證與多元信息融合也可能成為剔除不真實(shí)社交媒體數(shù)據(jù)的重要手段,值得進(jìn)一步研究與探索.

References

1 Weng Jian-Cheng,Rong Jian,Yu Quan,Ren Fu-Tian.Optimization on estimation algorithms of travel speed based on the real-time floating car data.Journal of Beijing University of Technology,2007,33(5):459?464(翁劍成,榮建,于泉,任福田.基于浮動(dòng)車數(shù)據(jù)的行程速度估計(jì)算法及優(yōu)化.北京工業(yè)大學(xué)學(xué)報(bào),2007,33(5):459?464)

2 Dong Jun-Yu.Study on Link Speed Estimation in Urban Arteries Based on GPS Equipped Floating Vehicle[Master thesis],Chongqing University,China,2006.(董均宇.基于GPS浮動(dòng)車的城市路段平均速度估計(jì)技術(shù)研究[碩士學(xué)位論文],重慶大學(xué),中國(guó),2006.)

3 Tao Han-Qing,Li Wen-Yong.Acquisition of turning vehicles information based on induction loop detector.Journal of Guilin University of Electronic Technology,2008,28(5):387?391(陶漢卿,李文勇.基于感應(yīng)線圈車輛檢測(cè)器的車輛轉(zhuǎn)彎信息獲取.桂林電子科技大學(xué)學(xué)報(bào),2008,28(5):387?391)

4 Zhang Z,Yao D Y,Zhang Y,Hu J M.Mixed urban traffic data collection and processing with advanced information technologies.In:Proceedings of the 3rd China Annual Conference on ITS.Nanjing,China:Southeast University Press,2007.474?479

5 Wang Chuan-Tong.Study on Video-based Traffic Congestion Identi fication Technology of City Road[Master thesis],Chongqing University,China,2010.(王川童.基于視頻處理的城市道路交通擁堵判別技術(shù)研究[碩士學(xué)位論文],重慶大學(xué),中國(guó),2010.)

6 Li R M,Jiang C Y,Zhu F H,Chen X L.Traffic flow data forecasting based on interval type-2 fuzzy sets theory.IEEE/CAA Journal of Automatica Sinica,2016,3(2):141?148)

7 Shang J B,Zheng Y,Tong W Z,Chang E,Yu Y.Inferring gas consumption and pollution emission of vehicles throughout a city.In:Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York,USA:ACM,2014.1027?1036

8 Lu Feng,Zheng Nian-Bo,Duan Ying-Ying,Zhang Jian-Qin.Travel information services:state of the art and discussion on crucial technologies.Journal of Image and Graphics,2009,14(7):1219?1229(陸鋒,鄭年波,段瀅瀅,張健欽.出行信息服務(wù)關(guān)鍵技術(shù)研究進(jìn)展與問題探討.中國(guó)圖像圖形學(xué)報(bào),2009,14(7):1219?1229)

9 Zhang J P,Wang F Y,Wang K F,Lin W H,Xu X,Chen C.Data-driven intelligent transportation systems:a survey.IEEE Transactions on Intelligent Transportation Systems,2011,12(4):1624?1639

10 Wang F Y,Zhang J J,Zheng X H,Wang X,Yuan Y,Dai X X,Zhang J,Yang L Q.Where does AlphaGo go:from church-turing thesis to AlphaGo thesis and beyond.IEEE/CAA Journal of Automatica Sinica,2016,3(2):113?120

11 Wang F Y.Scanning the issue and beyond:crowdsourcing for field transportation studies and services.IEEE Transactions on Intelligent Transportation Systems,2015,16(1):1?8

12 Qiao F X,Zhu Q,Yu L.Social media applications to publish dynamic transportation information on campus.In:Proceedings of the 11th International Conference of Chinese Transportation Professionals.Nanjing,China:Southeast University Press,2011.4318?4329

13 Zeng K,Liu W L,Wang X,Chen S H.Traffic congestion and social media in China.IEEE Intelligent Systems,2013,28(1):72?77

14 Wanichayapong N,Pruthipunyaskul W,Pattara-Atikom W,Chaovalit P.Social-based traffic information extraction and classi fication.In:Proceedings of the 11th International Conference on ITS Telecommunications.St.Petersburg,Russia:IEEE,2011.107?112

15 Endarnoto S K,Pradipta S,Nugroho A S,Purnama J.Traffic condition information extraction&visualization from social media Twitter for Android mobile application.In:Proceedings of the 2011 International Conference on Electrical Engineering and Informatics.Bandung,Indonesia:IEEE,2011.1?4

16 Balagapo J,Sabidong J,Caro J.Data crowdsourcing and traffic sensitive routing for a mixed mode public transit system.In:Proceedings of the 5th International Conference on Information,Intelligence,Systems and Applications.Chania,Crete,Greece:IEEE,2014.1?6

17 D’Andrea E,Ducange P,Lazzerini B,Marcelloni F.Realtime detection of traffic from twitter stream analysis.IEEE Transactions on Intelligent Transportation Systems,2015,16(4):2269?2283

18 Zhang Heng-Cai,Lu Feng,Chen Jie.Extracting traffic information from massive micro-blog messages.Journal of Image and Graphics,2013,18(1):123?129(張恒才,陸鋒,陳潔.微博客蘊(yùn)含交通信息的提取.中國(guó)圖象圖形學(xué)報(bào),2013,18(1):123?129)

19 Zhang Heng-Cai,Lu Feng,Qiu Pei-Yuan.Extracting traffic information from micro-blog based on D-S evidence theory.Journal of Chinese Information Processing,2015,29(2):170?178(張恒才,陸鋒,仇培元.基于D-S證據(jù)理論的微博客蘊(yùn)含交通信息提取方法.中文信息學(xué)報(bào),2015,29(2):170?178)

20 Cui Jian,Feng Xuan,Zhang Zuo.Extraction and analysis system of traffic incident based on microblog.Journal of Transport Information and Safety,2013,31(6):132?135(崔健,馮璇,張佐.基于微博的交通事件提取與文本分析系統(tǒng).交通信息與安全,2013,31(6):132?135)

21 Xiong Jia-Xi.Civil Transportation Event Extraction from Chinese Microblogs Based on CRF[Master thesis],Shanghai Jiao Tong University,China,2014.(熊佳茜.基于CRF的中文微博交通信息事件抽取[碩士學(xué)位論文],上海交通大學(xué),中國(guó),2014.)

22 Hasan S,Ukkusuri S V.Urban activity pattern classi fication using topic models from online geo-location data.Transportation Research Part C:Emerging Technologies,2014,44:363?381

23 Gkiotsalitis K,Stathopoulos A.A utility-maximization model for retrieving users0willingness to travel for participating in activities from big-data.Transportation Research Part C:Emerging Technologies,2015,58:265?277

24 Gkiotsalitis K,Stathopoulos A.Joint leisure travel optimization with user-generated data via perceived utility maximization.Transportation Research Part C:Emerging Technologies,2016,68:532?548

25 Gu Y M,Qian Z,Chen F.From Twitter to detector:real-time traffic incident detection using social media data.Transportation Research Part C:Emerging Technologies,2016,67:321?342

26 Ku flik T,Minkov E,Nocera S,Grant-Muller S,Gal-Tzur A,Shoor I.Automating a framework to extract and analyse transport related social media content:the potential and the challenges.Transportation Research Part C:Emerging Technologies,2017,77:275?291

27 Rashidi T H,Abbasi A,Maghrebi M,Hasan S,Waller T S.Exploring the capacity of social media data for modelling travel behaviour:opportunities and challenges.Transportation Research Part C:Emerging Technologies,2017,75:197?211

28 Cottrill C,Gault P,Yeboah G,Nelson J D,Anable J,Budd T.Tweeting Transit:an examination of social media strategies for transport information management during a large event.Transportation Research Part C:Emerging Technologies,2017,77:421?432

29 Xiong G,Zhu F H,Liu X W,Dong X S,Huang W L,Chen S H,Zhao K.Cyber-physical-social system in intelligent transportation.IEEE/CAA Journal of Automatica Sinica,2015,2(3):320?333

30 Wang F Y.Scanning the issue and beyond:real-time social transportation with online social signals.IEEE Transactions on Intelligent Transportation Systems,2014,15(3):909?914

31 Wang X,Zheng X H,Zhang Q P,Wang T,Shen D Y.Crowdsourcing in ITS:the state of the work and the networking.IEEE Transactions on Intelligent Transportation Systems,2016,17(6):1596?1605

32 HIT-SCIR.LTP[Online],available:http://ltp.readthedocs.io/zh_CN/latest/,July 12,2016.

33huek R,Sojka P.Software framework for topic modelling with large corpora.In:Proceedings of LREC 2010 Workshop New Challenges for NLP Frameworks.Valletta,Malta:University of Malta,2010.45?50

34 Pedregosa F,Varoquaux G,Gramfort A,Michel V,Thirion B,Grisel O,Blondel M,Prettenhofer P,Weiss R,Dubourg V,Vanderplas J,Passos A,Cournapeau D,Brucher M,Perrot M,Duchesnay E.Scikit-learn:machine learning in Python.The Journal of Machine Learning Research,2011,12:2825?2830

35 Pan S J,Toh Z Q,Su J.Transfer joint embedding for crossdomain named entity recognition.ACM Transactions on Information Systems,2013,31(2):Article No.7

36 Zhou G D,Su J.Named entity recognition using an HMM-based chunk tagger.In: Proceedings of the 40th Annual Meeting on Association for Computational Linguistics.Philadelphia,Pennsylvania,USA:Association for Computational Linguistics,2002.473?480

37 Morwal S,Jahan N,Chopra D.Named entity recognition using hidden Markov model(HMM).International Journal on Natural Language Computing,2012,1(4):15?23

38 Wang Dan,Fan Xing-Hua.Named entity recognition for short text.Journal of Computer Applications,2009,29(1):143?145(王丹,樊興華.面向短文本的命名實(shí)體識(shí)別.計(jì)算機(jī)應(yīng)用,2009,29(1):143?145)

39 Peng F C,McCallum A.Information extraction from research papers using conditional random fields.Information Processing&Management,2006,42(4):963?79

40 Taku-ku.CRF++[Online],available:http://sourceforge.net/projects/crfpp/ files/,July 12,2016.

41 Lafferty J D,McCallum A,Pereira F C N.Conditional random fields:probabilistic models for segmenting and labeling sequence data.In:Proceedings of the Eighteenth International Conference on Machine Learning.San Francisco,CA,USA:Morgan Kaufmann Publishers Inc,2001.282?289

42 Baidu.Baidu map API[Online],available:http://lbsyun.baidu.com,October 12,2016.