出租車異常視頻圖像信號(hào)檢測(cè)

肖　梅，劉　鍇，顏建強(qiáng)，徐昆然，王　杏，郭　捷

(1.長(zhǎng)安大學(xué)　a.汽車學(xué)院; b.地測(cè)學(xué)院; c.公路學(xué)院, 西安　710064；2.西安交通信息投資營(yíng)運(yùn)有限公司,西安　710061；3.陜西國(guó)防工業(yè)職業(yè)技術(shù)學(xué)院,西安　710300)

?

出租車異常視頻圖像信號(hào)檢測(cè)

肖梅1a，劉鍇1a，顏建強(qiáng)2，徐昆然1b，王杏1c，郭捷3

(1.長(zhǎng)安大學(xué)a.汽車學(xué)院; b.地測(cè)學(xué)院; c.公路學(xué)院, 西安710064；2.西安交通信息投資營(yíng)運(yùn)有限公司,西安710061；3.陜西國(guó)防工業(yè)職業(yè)技術(shù)學(xué)院,西安710300)

摘要：為確保出租車攝像頭處于正常的拍攝狀態(tài)，提出了一種出租車異常視頻圖像信號(hào)檢測(cè)算法。先通過圖像幀的平均亮度值檢測(cè)拍攝環(huán)境光照；接著利用亮度密集度判定圖像幀亮度值是否過于集中；隨后，依據(jù)車頂偏移度和前擋風(fēng)玻璃偏移度判定圖像幀是否為偏轉(zhuǎn)圖像信號(hào)。當(dāng)圖像幀的拍攝環(huán)境光照正常、圖像幀亮度不密集、車頂和前擋風(fēng)玻璃不偏移時(shí)，判定為正常圖像信號(hào)，反之為異常圖像信號(hào)。對(duì)某市出租車視頻圖像數(shù)據(jù)進(jìn)行仿真驗(yàn)證，試驗(yàn)結(jié)果表明：出租車異常圖像信號(hào)所占比例較大，為71.1%，表明算法具有較強(qiáng)的工程應(yīng)用價(jià)值；異常信號(hào)檢測(cè)算法魯棒性好，檢測(cè)準(zhǔn)確率達(dá)94%；算法運(yùn)行速度快，在Matlab仿真環(huán)境下耗時(shí)0.34 s/幀。

關(guān)鍵詞：圖像信號(hào)檢測(cè)；圖像處理；出租車；監(jiān)管

1研究現(xiàn)狀

出租車是城市客運(yùn)系統(tǒng)中不可缺少的客運(yùn)方式，可根據(jù)乘客的個(gè)性需求提供靈活、方便的門對(duì)門運(yùn)輸服務(wù)。城市出租車作為常規(guī)交通的重要補(bǔ)充，在方便群眾出行、擴(kuò)大社會(huì)就業(yè)、樹立城市形象、促進(jìn)城市經(jīng)濟(jì)發(fā)展等方面具有重要作用。通過對(duì)城市出租車現(xiàn)狀的調(diào)研，發(fā)現(xiàn)出租車行業(yè)存在的問題主要有運(yùn)力難以確定[1]、服務(wù)質(zhì)量有待提高[2]、運(yùn)輸組織化水平低[3]和管理部門監(jiān)管力度較弱[4]等。針對(duì)出租車行業(yè)的問題，Yang Renfa等[5]從微觀經(jīng)濟(jì)學(xué)理論出發(fā)，建立了城市出租車行業(yè)監(jiān)管體系的總體框架，提出了在出租車市場(chǎng)需求和交通供給、服務(wù)、運(yùn)營(yíng)以及車輛狀態(tài)等方面進(jìn)行監(jiān)管的具體方法和手段。該監(jiān)管系統(tǒng)可為出租車市場(chǎng)的政府宏觀調(diào)控提供科學(xué)依據(jù)。

隨著傳感技術(shù)的快速發(fā)展，越來越多的學(xué)者嘗試將新技術(shù)應(yīng)用于出租車行業(yè)。目前，GPS技術(shù)已廣泛應(yīng)用于出租車行業(yè)。簡(jiǎn)思思等[6]提出了以GPS-計(jì)價(jià)器聯(lián)機(jī)系統(tǒng)為技術(shù)支持的優(yōu)化方法，GPS調(diào)度中心綜合考慮各功能區(qū)對(duì)出租車的實(shí)時(shí)需求分布、實(shí)時(shí)路況以及城市出租車的動(dòng)態(tài)分布，向出租車司機(jī)提供實(shí)時(shí)優(yōu)化調(diào)度建議。然而，駕駛員常常為了避免監(jiān)管而不使用計(jì)價(jià)器，導(dǎo)致獲取的用于優(yōu)化調(diào)度的需求量信息會(huì)產(chǎn)生錯(cuò)誤的結(jié)果。Shuo Ma等[7]提出利用GPS/GIS技術(shù)實(shí)現(xiàn)出租車合乘的方案以提高出租車運(yùn)力水平。該方案通過互聯(lián)網(wǎng)技術(shù)匹配到滿足共乘條件的乘客，并通知出租車司機(jī)在特定位置搭載預(yù)約乘客，可實(shí)現(xiàn)出租車資源的合理利用。Yang Tiemei等[8]搭建了基于GPS/GPRS的出租車輛監(jiān)控系統(tǒng)，該系統(tǒng)以C8051F040為核心處理芯片，利用GPS數(shù)據(jù)實(shí)現(xiàn)車輛定位，車輛和監(jiān)控中心的通信通過GPRS模塊完成，能實(shí)現(xiàn)出租車輛的定位和調(diào)度功能。Che Xiao Lin等[9]提出一種出租車輛空閑狀態(tài)監(jiān)控模型，結(jié)合有效的出租車GPS位置數(shù)據(jù)，可及時(shí)調(diào)度空閑的出租車以滿足乘客需求。通過GPS技術(shù)可實(shí)現(xiàn)出租車輛的定位和調(diào)度等管理，但無法對(duì)出租車的乘坐、打表等操作進(jìn)行監(jiān)管。近年來，視頻數(shù)據(jù)由于具有豐富的顏色和紋理等信息，基于視頻的處理技術(shù)在工業(yè)中的應(yīng)用越來越廣泛[10]，在安全生產(chǎn)中扮演著重要角色[11]。Liu zhi等[10]設(shè)計(jì)了一套用于出租車安全監(jiān)控的CMOS圖像采集器，系統(tǒng)包括CMOS圖像采集器(OV7120)、大容量閃存ROM和1個(gè)微處理器(AT90S8515)，圖像數(shù)據(jù)通過并行端口輸出。文獻(xiàn)[12]設(shè)計(jì)了一套圖像輸出的硬件系統(tǒng)。文獻(xiàn)[13]通過在出租車上安裝車載監(jiān)控系統(tǒng)實(shí)現(xiàn)更強(qiáng)的監(jiān)管。目前，出租車視頻監(jiān)控系統(tǒng)只是通過人工對(duì)圖像進(jìn)行檢測(cè)和識(shí)別等處理，還未實(shí)現(xiàn)圖像數(shù)據(jù)的自動(dòng)檢測(cè)和識(shí)別。

通過在出租車內(nèi)安裝視頻監(jiān)控，實(shí)時(shí)獲取出租車內(nèi)的視頻圖像數(shù)據(jù)具有以下重要意義：實(shí)時(shí)采集出租車乘坐狀態(tài)、地理位置等運(yùn)營(yíng)數(shù)據(jù)，優(yōu)化出租車的運(yùn)力和運(yùn)輸組織；可全程監(jiān)管駕駛員的服務(wù)，一旦發(fā)生乘坐糾紛，可作為佐證數(shù)據(jù)；提高管理部門對(duì)出租車計(jì)費(fèi)的監(jiān)管力度，進(jìn)而提高出租車的服務(wù)水平?？梢?，出租車內(nèi)的視頻監(jiān)控對(duì)于規(guī)范出租車的運(yùn)營(yíng)有著重要的作用。在實(shí)際運(yùn)營(yíng)中，出租車經(jīng)營(yíng)者或駕駛員為了規(guī)避監(jiān)管，常常關(guān)閉或擰轉(zhuǎn)攝像頭的拍攝角度，使得監(jiān)管攝像頭形同虛設(shè)?；诖?，筆者所在團(tuán)隊(duì)開發(fā)了一套出租車異常視頻圖像信號(hào)檢測(cè)算法，能自動(dòng)檢測(cè)出異常的圖像數(shù)據(jù)，確保攝像頭處于正常的拍攝狀態(tài)。

2出租車異常視頻圖像信號(hào)檢測(cè)系統(tǒng)

出租車的異常視頻圖像信號(hào)主要包括兩類。第一類是錯(cuò)誤圖像信號(hào)，指采集的圖像數(shù)據(jù)出現(xiàn)中斷、模糊、遮擋、反光等情況；第二類是偏轉(zhuǎn)圖像信號(hào)，當(dāng)出租車司機(jī)人為擰轉(zhuǎn)攝像頭的拍攝角度時(shí)，依靠采集的圖像無法對(duì)出租車實(shí)現(xiàn)監(jiān)管。

實(shí)際中，環(huán)境光照、噪聲、移動(dòng)載體和圖像壓縮等因素的影響增加了出租車異常視頻圖像信號(hào)檢測(cè)算法的處理難度。

1) 環(huán)境光照影響。室外光照的強(qiáng)/弱對(duì)圖片質(zhì)量有影響，當(dāng)室外光線過強(qiáng)時(shí)，容易造成拍攝的圖像反光；當(dāng)室外光線過暗時(shí)，區(qū)域塊對(duì)比度不明顯，很難挖掘有用的圖像信息。

2) 拍攝質(zhì)量較差。一方面，圖像采集設(shè)備安裝在移動(dòng)載體上，車輛在行駛過程中，緊急駕駛行為(如急加速、急剎車和轉(zhuǎn)彎)和不平整道路均會(huì)引起車體晃動(dòng)，使得采集的圖像出現(xiàn)運(yùn)動(dòng)模糊；另一方面，為便于存儲(chǔ)和傳輸，常將拍攝圖片進(jìn)行壓縮處理，這也會(huì)造成圖片質(zhì)量的下降。

出租車異常視頻圖像信號(hào)檢測(cè)算法的思路是：首先，通過圖像幀的平均亮度值檢測(cè)畫面的光照，若平均亮度值過高或過低，則認(rèn)為是錯(cuò)誤圖像信號(hào)；其次，分析像素亮度的密集度，若像素亮度過分密集，很難提取足夠的有用信息，則認(rèn)為是錯(cuò)誤圖像信號(hào)；再次，自動(dòng)提取車頂區(qū)域，基于車頂區(qū)域面積和位置信息，判定車頂區(qū)域是否偏移，若偏移則認(rèn)為是偏轉(zhuǎn)圖像信號(hào)；最后，利用前擋風(fēng)玻璃頂部的顏色和位置信息，判定前擋風(fēng)玻璃是否偏移，若偏移則認(rèn)為是偏轉(zhuǎn)圖像信號(hào)。異常視頻圖像信號(hào)檢測(cè)算法流程如圖1所示。算法步驟表述如下：

步驟1異常拍攝亮度檢測(cè)

令采集的第t幀灰度圖像為ft，其圖像大小為M×N。當(dāng)采集的圖像亮度過亮或過暗時(shí)，難以進(jìn)行圖像信息挖掘，則認(rèn)為該圖像幀為異常圖像信號(hào)。

(1)

(2)

圖1　異常視頻圖像信號(hào)檢測(cè)算法流程

步驟2像素亮度的密集度檢測(cè)

當(dāng)采集圖像像素的亮度分布較密集、灰度變化較平穩(wěn)時(shí)，認(rèn)為其為異常圖像信號(hào)。本文提出了一種快速的像素密集度檢測(cè)方法，具體為：

首先，將0～255灰度級(jí)的圖像按照30個(gè)分類劃分為9個(gè)灰度段，即0～29，30～59，60～89，…210～239，240～255，統(tǒng)計(jì)落入每個(gè)灰度段的像素?cái)?shù)和灰度均值。

其次，合并相近的灰度段。當(dāng)相鄰灰度段灰度均值的差異小于30時(shí)，將其合并為一個(gè)灰度段，并重新計(jì)算新的灰度段的像素?cái)?shù)和灰度均值，直到所有相近的灰度段合并完畢。

最后，統(tǒng)計(jì)像素亮度分布的灰度段數(shù)目。假定合并處理后得到q個(gè)灰度段，統(tǒng)計(jì)像素?cái)?shù)大于T3·MN的灰度段個(gè)數(shù)。若灰度段數(shù)目小于T4，則認(rèn)為像素亮度分布過于密集，判定為異常圖像，令fgt=0，算法結(jié)束；否則，令fgt=2。式中：T3為閾值，取值為0～1；T4為密集度閾值，取值通常為3。

步驟3車頂區(qū)域提取

正常拍攝的圖像，其車頂位于畫面中部偏上的位置，亮度較低。車頂提取過程包括3步：

1) 圖像分割。利用車頂?shù)牡土炼忍匦蕴崛≤図攨^(qū)域：

(3)

式中：mft為第t幀圖像的車頂初圖；p為圖像中的任一像素點(diǎn)；T5為車頂閾值，本文采取最大類間法自適應(yīng)地確定閾值。

2) 數(shù)學(xué)形態(tài)學(xué)處理

對(duì)車頂初圖mft進(jìn)行數(shù)學(xué)形態(tài)學(xué)開運(yùn)算及填補(bǔ)小孔洞操作，得到車頂次圖mbt。數(shù)學(xué)形態(tài)學(xué)開運(yùn)算是指先腐蝕后膨脹運(yùn)算，計(jì)算式為

(4)

式中：b為結(jié)構(gòu)元素，通常取5×5～15×15的正方形的結(jié)構(gòu)元素； ° 表示形態(tài)學(xué)閉運(yùn)算符；mft°b表示mft被結(jié)構(gòu)算子b閉運(yùn)算；Θ表示腐蝕運(yùn)算；⊕表示膨脹運(yùn)算。

3) 掃描去噪

先對(duì)車頂次圖mbt進(jìn)行行掃描去噪，接著進(jìn)行列掃描去噪，得到車頂圖mdt，具體表述為：首先，行掃描mbt的每一行，若連續(xù)長(zhǎng)度小于圖像列10%，則認(rèn)為是毛刺，直接將mdt的值置為0，否則令其值為mbt。

類似地，對(duì)mdt進(jìn)行列掃描去噪。掃描mbt的每一列，若連續(xù)長(zhǎng)度小于圖像行10%則認(rèn)為是非車頂，直接將mdt中的值置為0，否則令值為mbt。

步驟4車頂偏移檢測(cè)

通常，標(biāo)準(zhǔn)車頂區(qū)位于拍攝畫面的中部略偏右位置，即畫面第(0.3～0.7)·M行，第(0.25～0.9)·N列的區(qū)域，可得標(biāo)準(zhǔn)車頂區(qū)的大小為nc，其計(jì)算式為

(5)

車頂偏移檢測(cè)包括2步：

第1步，統(tǒng)計(jì)mdt中各區(qū)域塊的像素?cái)?shù)，提取面積大于0.5·nc且小于1.5·nc的區(qū)域塊。若沒有滿足要求的區(qū)域塊，則判定為異常圖像信號(hào)，令fgt=0，算法結(jié)束；否則，令fgt=2。轉(zhuǎn)入第2步；

第2步，將提取的mdt中的區(qū)域塊和標(biāo)準(zhǔn)車頂做對(duì)比分析，若落入標(biāo)準(zhǔn)車頂區(qū)的像素?cái)?shù)大于T6·nc，則認(rèn)為是異常圖像信號(hào)，令fgt=0，算法結(jié)束；否則，令fgt=1。式中，T6為閾值，取值為0～1。

步驟5前擋風(fēng)玻璃頂部偏移檢測(cè)

拍攝的前擋風(fēng)玻璃位于畫面頂部，即畫面第(1～0.3·M)行，第(0.25～0.9)·N列的區(qū)域。前擋風(fēng)玻璃頂部反射的主要是天空區(qū)域，其亮度較高，利用該屬性判定前擋風(fēng)玻璃是否偏移。具體操作為：統(tǒng)計(jì)前擋風(fēng)玻璃區(qū)域中落入8和9灰度段的像素?cái)?shù)目(灰度段數(shù)目統(tǒng)計(jì)見步驟2)，當(dāng)像素?cái)?shù)目大于擋風(fēng)玻璃的80%時(shí)，認(rèn)為前擋風(fēng)玻璃未偏移，令fgt=1；否則認(rèn)為前擋風(fēng)玻璃偏移，此時(shí)fgt=0。

3仿真驗(yàn)證

為驗(yàn)證算法的有效性，對(duì)某市出租汽車2月、3月、8月和10月的21 768幀圖像數(shù)據(jù)進(jìn)行仿真驗(yàn)證。采集的圖像為RGB圖像，大小為768×1 024 像素，即M=768，N=1 024。仿真平臺(tái)為Matlab 9.0，試驗(yàn)PC機(jī)配置為Intel CPU 2.4 GHz和2.0 GB RAM。算法涉及的參數(shù)選擇為：T1=40，T2=230，T3=0.1，T4=3，T6=0.75；b取9×9的正方形結(jié)構(gòu)元素。

為驗(yàn)證算法的魯棒性，利用正確率來表征算法的檢測(cè)精度，正確率wr計(jì)算式如下：

(6)

式中：nr為被正確檢出的正常圖像信號(hào)的幀數(shù)；nw為被正確檢出的異常圖像信號(hào)的幀數(shù)；nt為測(cè)試的總圖像幀數(shù)。

人眼先對(duì)采集到的出租車圖像數(shù)據(jù)進(jìn)行識(shí)別，異常的圖像信號(hào)占總測(cè)試圖片幀的比重較大，為71.1%。顯而易見，大部分采集設(shè)備無法獲取正常的圖像信號(hào)，因此對(duì)出租車異常視頻圖像信號(hào)進(jìn)行實(shí)時(shí)檢測(cè)具有重要的工程現(xiàn)實(shí)意義。

通過對(duì)異常圖像信號(hào)進(jìn)行檢測(cè)發(fā)現(xiàn)：算法的正確率可達(dá)94%，系統(tǒng)魯棒性能較好。在Matlab仿真環(huán)境下，對(duì)算法的運(yùn)行速度進(jìn)行測(cè)試，結(jié)果顯示平均每幀耗時(shí)0.34 s，可實(shí)現(xiàn)實(shí)時(shí)的異常圖像信號(hào)檢測(cè)。表1為人眼和本文方法識(shí)別結(jié)果分析。

表1　人眼和本文方法識(shí)別結(jié)果分析

注：異常率為異常圖像信號(hào)幀數(shù)和測(cè)試圖片的比值。

4結(jié)論

1) 通過對(duì)某市出租車圖像數(shù)據(jù)進(jìn)行檢測(cè)，發(fā)現(xiàn)圖像異常率較高，為71.1%，說明算法具有較強(qiáng)的工程應(yīng)用價(jià)值。

2) 算法魯棒性好。通過對(duì)大量異常圖像信號(hào)進(jìn)行檢測(cè)發(fā)現(xiàn)，提出的算法的正確率可達(dá)94%，檢測(cè)精度較高。

3) 在Matlab仿真環(huán)境下，對(duì)算法的運(yùn)行速度進(jìn)行測(cè)試，結(jié)果顯示平均每幀耗時(shí)0.34 s，表明算法運(yùn)行速度較快，可應(yīng)用于實(shí)時(shí)異常圖像信號(hào)檢測(cè)系統(tǒng)。

參考文獻(xiàn)：

[1]劉新,賈松.城市出租車運(yùn)力規(guī)模投放計(jì)算方法研究[J].公路與汽運(yùn)，2012(4)：57-59.

[2]姚志剛.客運(yùn)出租汽車服務(wù)質(zhì)量的重要度_績(jī)效分析[J].交通運(yùn)輸系統(tǒng)工程與信息,2011,11(5)：181-186.

[3]陳時(shí)國(guó).我國(guó)出租車行業(yè)存在的問題及其解決對(duì)策[J].湖南城市學(xué)院學(xué)報(bào),2005，26(2)：61-63.

[4]曹其杰.我國(guó)出租車管理模式分析及改進(jìn)[J].經(jīng)營(yíng)管理者,2009，2009(12)：51-58.

[5]RENFA YANG， YANCHENG GONG.Supervision system of taxi trade based on government regulation[C]//proceedings of International Conference on Transportation Engineering 2007.Chengdu,China：American Society of Civil Engineers，2007.

[6]簡(jiǎn)思思，張可可，李冰玉.基于 GPS 動(dòng)態(tài)調(diào)度的出租車均衡布局優(yōu)化研究[J].科協(xié)論壇，2011(6):67-67.

[7]SHUO MA,YU ZHENG,OURI WOLFSON.Real-Time City-Scale Taxi Ridesharing[J].IEEE Transactions On Knowledge And Data Engineering,2015,27(7):1782-1795.

[8]TIEMEI YANG,WEI XIAO,JIANLING GUO.Design of taxi vehicle monitoring system based on GPS/GPRS[C]//Lecture Notes in Computer Science,3rd International Conference on Artificial Intelligence and Computational Intelligence.Heidelberg,Germany:Springer,2011:82-88.

[9]CHE XIAO LIN,WENG JIAN CHENG,QUAN YU,et al.A GPS data based monitor model of unoccupied taxis at transportation hubs[J].Applied Mechanics and Materials,2014:767-772.

[10]AI HONG，WANGJIAN，YANG YI.Video Monitoring System of Embedded Remote Based on ARM and Fast Motion Estimation Algorithm[C]//IMCCC 2011.Beijing:IEEE Computer Society，2011.

[11]YINPING JIANG，JIE XU，XIAODONG WU，et al.The research of based on ARM9 core units embedded video monitor system[C]//Electric Information and Control Engineering (ICEICE) 2011.Wuhan,China:IEEE Computer Society，2011.

[12]ZHI LIU.A safety monitoring system for taxi based on CMOS imager[Z].proceedings of SPIE-The International Society for Optical Engineering,2005:562-568.

(責(zé)任編輯楊黎麗)

Abnormal Video Frame Detection Method for Image Signal from Taxi

XIAO Mei1a, LIU Kai1a, YAN Jian-qiang2, XU Kun-ran1b, WANG Xing1c, GUO Jie3

(1.a.School of Automobile; b.School of Geology Engineering and Geomatics;c.School of Automabile Roads, Chang’an University, Xi’an 710064, China;2.Xi’an Communication Information Company Limited, Xi’an 710061, Shaanxi, China;3.Shaanxi Institute of Technology, Xi’an 710300, China)

Abstract:In order to make the camera of taxi in the right angle, a new abnormal video frame detection algorithm for taxi image signal was presented. Firstly, the shooting light was checked by mean intensity of image. Secondly, intensity concentration was used to calculate if the intensity distribution is in high density. Thirdly, the detected roof and windshield of taxi were filtered based on location filter operator. For correct image signal, the roof and windshield of taxi must be in the top and center of image, respectively. The normal image signal should meet the requirements of the suitable shooting light, extensive intensity distribution, the impartial roof and windshield. Over 20000 image frames of taixes in a city have been tested to verify our algorithm in matlab simulation platform. The test result shows that the amount of incorrect image in total data is very high and is 71.1%, which shows that this algorithm has great engineering vaule. The algorithm is robust, which the detection precision is 94%. The average running time of one frame in Matlab is fast and cost 0.34s every frame.

Key words:image signal detection; image processing; taxi; supervision

文章編號(hào)：1674-8425(2016)04-0079-05

中圖分類號(hào)：TN919.8

文獻(xiàn)標(biāo)識(shí)碼：A

doi:10.3969/j.issn.1674-8425(z).2016.04.014

作者簡(jiǎn)介：肖梅(1977—)，女，江西安福人，教授，博士，主要從事圖像處理、信息融合和智能交通系統(tǒng)研究。

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目(61004087)；陜西省國(guó)際科技合作與交流計(jì)劃項(xiàng)目(2015KW-009)

收稿日期：2015-12-29

引用格式：肖梅，劉鍇，顏建強(qiáng)，等.出租車異常視頻圖像信號(hào)檢測(cè)[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué))，2016(4):79-83.

Citation format：XIAO Mei, LIU Kai,YAN Jian-qiang,et al.Abnormal Video Frame Detection Method for Image Signal from Taxi[J].Journal of Chongqing University of Technology(Natural Science)，2016(4):79-83.