基于形態(tài)分析的無(wú)人機(jī)視頻車輛自動(dòng)識(shí)別算法

彭 博，蔡曉禹，周 濤，李少博，張有節(jié)，段連飛

(1. 山地城市交通系統(tǒng)與安全重慶市重點(diǎn)實(shí)驗(yàn)室，重慶 400074； 2. 重慶交通大學(xué) 交通運(yùn)輸學(xué)院，重慶 400074；3. 城市交通管理集成與優(yōu)化技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230088； 4. 重慶市交通規(guī)劃研究院，重慶 401147；5. 安徽科力信息產(chǎn)業(yè)有限責(zé)任公司，安徽 合肥 230088)

0 引 言

城市智能交通系統(tǒng)建設(shè)的基礎(chǔ)和關(guān)鍵在于交通信息獲取。目前，傳統(tǒng)交通信息的檢測(cè)方式有感應(yīng)線圈、地磁設(shè)備、超聲波、視頻卡口和浮動(dòng)車等，這些檢測(cè)方式可有效提取占有率、流量、速度等交通信息，在城市交通系統(tǒng)中得到了廣泛應(yīng)用。但是，這些方式卻難以從廣域視角直觀地提供路網(wǎng)連續(xù)交通流信息。

2002年，美國(guó)運(yùn)輸署和國(guó)家航空航天局開展了專項(xiàng)研究，結(jié)果顯示無(wú)人機(jī)在交通監(jiān)控管理領(lǐng)域具有較好的可行性[1]。由于小型無(wú)人機(jī)具有檢測(cè)區(qū)域廣、經(jīng)濟(jì)成本低、不干擾地面交通、可檢測(cè)多種交通參數(shù)等優(yōu)勢(shì)，受到了美國(guó)[1]、德國(guó)、俄羅斯[2]、韓國(guó)及中國(guó)[3]等國(guó)家管理部門和研究院所的重視，并開展了一系列研究，包括無(wú)人機(jī)路徑規(guī)劃[3]、交叉口監(jiān)測(cè)[4]、交通參數(shù)提取[5]和交通事件檢測(cè)[2,6]等。研究結(jié)果表明：利用無(wú)人機(jī)采集交通視頻，在交通信息采集、城市交通監(jiān)測(cè)等方面具有很大潛力，但同時(shí)也面臨車輛識(shí)別難、計(jì)算量大等挑戰(zhàn)。

無(wú)人機(jī)交通監(jiān)控與信息采集關(guān)鍵在于無(wú)人機(jī)視頻車輛檢測(cè)，目前學(xué)界對(duì)航拍視頻/圖像的車輛識(shí)別已有一定研究積累，例如：K.KOZEMPEL等[7]利用多個(gè)形態(tài)邊緣濾波器來(lái)快速識(shí)別航拍圖像的車輛；CHENG Penggen等[8]通過背景消除和背景配準(zhǔn)技術(shù)來(lái)識(shí)別無(wú)人機(jī)視頻車輛；劉慧等[9]針對(duì)背景像素移動(dòng)提出了SURF特征穩(wěn)像和光流法向量相結(jié)合的方法來(lái)解決低空視頻車輛檢測(cè)；C.L.AZEVEDO等[10]采用中值背景差分法來(lái)識(shí)別無(wú)人機(jī)視頻車輛；張新[11]利用背景差分法來(lái)識(shí)別無(wú)人機(jī)視頻車輛，并在此基礎(chǔ)上提取交通信息、標(biāo)定城市道路車輛跟蹤模型；YU Xinran等[12]根據(jù)顯著性信息和Haar-like局部外形特征，建立了遙感圖像車輛檢測(cè)方法。這些方法均是基于背景差分和Haar-like、Harris角點(diǎn)、HoG、SURF、SIFT等圖像特征來(lái)進(jìn)行車輛識(shí)別。

總而言之，專門針對(duì)無(wú)人機(jī)視頻的車輛檢測(cè)研究還處于起步發(fā)展階段，相應(yīng)的定量評(píng)價(jià)分析研究也較少。此外，無(wú)人機(jī)視頻場(chǎng)景廣而復(fù)雜，現(xiàn)有的車輛檢測(cè)算法適用性也有所不足，檢測(cè)準(zhǔn)確率和全面性有待于提高。故筆者提出了一種新的基于形態(tài)分析的無(wú)人機(jī)視頻車輛自動(dòng)識(shí)別方法，并基于548幀圖像進(jìn)行了系統(tǒng)的測(cè)試與分析。

1 算法簡(jiǎn)介

筆者以邊緣檢測(cè)圖像為基礎(chǔ)，基于候選目標(biāo)圖像的骨架形態(tài)特征和區(qū)域形態(tài)特征進(jìn)行車輛識(shí)別。所采用的視頻數(shù)據(jù)由無(wú)人機(jī)懸停于道路正上方100～200 m處、攝像機(jī)鏡頭垂直向下拍攝，視頻分辨率為3 840 px × 2 160 px(寬×高)。算法基本流程如圖1。其步驟如下：

1)圖像預(yù)處理。人工勾勒出感興趣區(qū)域(ROI, region of interest)，并對(duì)圖像進(jìn)行灰度化處理可獲得ROI灰度圖像；

2)圖像骨架分析與處理。檢測(cè)ROI灰度圖像邊緣并據(jù)此生成圖像骨架，然后將骨架圖像分解為直線和曲線單元，最后根據(jù)鄰近性原則進(jìn)行重連接。該步驟生成重構(gòu)骨架圖像，可增強(qiáng)候選目標(biāo)圖像結(jié)構(gòu)的封閉性、連續(xù)性和完整性。

3)基于區(qū)域形態(tài)分析的車輛識(shí)別。填充重構(gòu)骨架圖像的封閉區(qū)域，利用膨脹和腐蝕操作、基于矩形度、面積、外接橢圓軸長(zhǎng)等閾值規(guī)則識(shí)別車輛。

圖1 算法流程Fig. 1 Algorithm flowchart

2 圖像預(yù)處理

2.1 感興趣區(qū)域勾畫處理

隨著無(wú)人機(jī)云臺(tái)和減震技術(shù)不斷發(fā)展，經(jīng)主/被動(dòng)減震處理，懸停拍攝的無(wú)人機(jī)視頻能較好地避免抖動(dòng)現(xiàn)象，因此懸停無(wú)人機(jī)視頻的廣域場(chǎng)景相對(duì)穩(wěn)定。由于車輛識(shí)別時(shí)僅需針對(duì)一定道路范圍進(jìn)行處理，因此有必要通過人工勾畫出ROI，后續(xù)檢測(cè)工作只需對(duì)該區(qū)域展開運(yùn)算，進(jìn)而降低減少運(yùn)算量、節(jié)省運(yùn)行時(shí)間，也可改善檢測(cè)效果，如圖2。

圖2 ROI勾畫Fig. 2 ROI sketching

2.2 圖像灰度化處理

根據(jù)既有視頻和圖像識(shí)別研究的常見做法，筆者將彩色圖像轉(zhuǎn)化為灰度圖像，后續(xù)步驟針對(duì)灰度圖像ROI展開邊緣檢測(cè)、骨架重構(gòu)和區(qū)域形態(tài)分析處理?；叶葓D像如圖3，其中的矩形線框范圍為ROI。

圖3 灰度圖像Fig. 3 Grayscale image

3 圖像骨架分析與處理

對(duì)于視頻圖像目標(biāo)檢測(cè)而言，邊緣信息提取可大幅度地減少數(shù)據(jù)量，剔除大部分無(wú)關(guān)或弱相關(guān)信息，保留圖像結(jié)構(gòu)屬性，因此許多研究均以邊緣特征進(jìn)行目標(biāo)識(shí)別。文中算法以Canny邊緣檢測(cè)圖像為基礎(chǔ)，提取、分解和重構(gòu)圖像骨架，為車輛識(shí)別奠定基礎(chǔ)。

3.1 骨架圖像生成

3.1.1 Canny邊緣檢測(cè)

Canny邊緣檢測(cè)算法是一種廣泛應(yīng)用的經(jīng)典邊緣檢測(cè)算法。該算法主要思想和步驟為：① 應(yīng)用高斯濾波消除圖像噪聲；② 通過Sobel算子卷積獲得圖像梯度強(qiáng)度與方向；③ 應(yīng)用非極大抑制技術(shù)(non-maximum suppression)保留每個(gè)像素點(diǎn)上梯度強(qiáng)度的極大值，而刪掉其他的值；④通過雙閾值技術(shù)界定弱邊界和強(qiáng)邊界，并進(jìn)行邊緣連接處理、形成邊緣圖像。

以圖3灰度圖像為例，對(duì)ROI進(jìn)行Canny邊緣檢測(cè)，獲得邊緣強(qiáng)度圖像；然后利用簡(jiǎn)單閾值分割法或OTSU分割法，得到二值邊緣圖像，如圖4。

圖4 邊緣強(qiáng)度和二值化邊緣Fig. 4 Edge amplitude and binary edges

3.1.2 生成亞像素級(jí)骨架圖像

為對(duì)ROI邊緣圖像的骨架圖進(jìn)行分解和重構(gòu)，需生成亞像素級(jí)骨架圖像。亞像素(sub-pixel)的概念如圖5，每個(gè)物理像素可以分為m×m個(gè)亞像素，用數(shù)學(xué)插值算法可計(jì)算每個(gè)亞像素值，通過亞像素圖像處理可更大限度利用圖像信息。

圖5 亞像素Fig. 5 Sub-pixel

ROI邊緣圖像中的線條寬度為1px。圖5中：每個(gè)像素的中心亞像素相連即可構(gòu)成亞像素骨架。以圖4中ROI邊緣圖像左上角第1個(gè)候選車輛區(qū)域?yàn)槔?，其亞像素骨架生成如圖6。

圖6 亞像素骨架生成Fig. 6 Generation of sub-pixel skeleton

3.2 圖像骨架分解

利用Ramer多邊形逼近算法[13]將亞像素骨架分解為直線段或弧線段，其主要步驟為：① 沿邊界分配若干點(diǎn)作為初始點(diǎn)，按順序連接初始點(diǎn)形成初始多邊形；② 在任意兩相鄰斷點(diǎn)之間，沿著骨架曲線段找到距離兩斷點(diǎn)連線的垂直距離最大的點(diǎn)，若該距離d>d1，那么把這一點(diǎn)作為新的斷點(diǎn)繼續(xù)分割；③ 不斷進(jìn)骨架分解，直到全部滿足閾值條件d≤d1；④ 設(shè)定閾值d2(d2

圖7 骨架分解Fig. 7 Skeleton decomposition

步驟①～③骨架分解算法偽代碼如下，第④步與之類似，此處不再贅述。

算法1：圖像骨架分解算法(“←”表示賦值)

①：int SkeletonNum←骨架圖像的曲線數(shù)量；

②：intd1←距離閾值；

③：For inti=1 to SkeletonNum；

④：Curve[i]←第i個(gè)骨架曲線；

⑤：InitPt[ ]←Curve[i]的初始斷點(diǎn)集；

⑥：Line[ ]←任意初始斷點(diǎn)形成的線段集；

⑦：maxDist←Curve[i]與? Line最大垂直距離；

⑧：pTemp←Curve[i]上產(chǎn)生maxDist的點(diǎn)；

⑨：If maxDist>d1；

⑩：從斷點(diǎn)pTemp分割Curve[i]；

3.3 圖像骨架重構(gòu)

根據(jù)骨架分解結(jié)果，對(duì)于任意相鄰骨架曲線，若其端點(diǎn)距離小于閾值d3，則連接這兩個(gè)端點(diǎn)，處理結(jié)果如圖8。由圖8可看出：通過骨架連接處理，能有效增強(qiáng)候選目標(biāo)圖像結(jié)構(gòu)的封閉性、連續(xù)性和完整性，有助于車輛識(shí)別。

圖8 骨架重構(gòu)過程Fig. 8 Skeleton reconstruction process

由于骨架連接結(jié)果仍為亞像素級(jí)圖像，為便于開展后續(xù)車輛識(shí)別工作并降低運(yùn)算成本，還需將其還原為像素級(jí)圖像(圖8)。根據(jù)圖4中的 ROI邊緣圖像，處理后得到的像素級(jí)骨架圖像如圖9。

圖9 骨架重構(gòu)圖像Fig. 9 Reconstructed skeleton image

4 基于形態(tài)分析的車輛識(shí)別

主要利用膨脹、腐蝕、填充、閉運(yùn)算這4種形態(tài)學(xué)算子對(duì)骨架重構(gòu)圖像進(jìn)行處理，同時(shí)結(jié)合連通域的面積、矩形度、等效橢圓長(zhǎng)短軸等多種形態(tài)特征提取車輛目標(biāo)。

4.1 形態(tài)學(xué)算子簡(jiǎn)介

膨脹利用t×t的結(jié)構(gòu)元素使目標(biāo)區(qū)域邊界向外部擴(kuò)張，可用來(lái)填補(bǔ)圖像區(qū)域的部分空隙。腐蝕與膨脹相反，是利用t×t結(jié)構(gòu)元素使目標(biāo)區(qū)域邊界向內(nèi)部收縮，從而消除尺寸較小且無(wú)意義的物體。先膨脹后腐蝕的過程稱為閉運(yùn)算，可用來(lái)填補(bǔ)物體內(nèi)細(xì)小空洞、連接鄰近物體、平滑邊界。填充則是將輪廓包圍的區(qū)域全部充實(shí)，以消除物體內(nèi)部的空洞和間隙，如圖10。左圖為中圖的腐蝕效果，反之，中圖為左圖的膨脹效果，而右圖為中圖的填充效果。閉運(yùn)算效果如圖11。

圖10 腐蝕、膨脹和填充Fig. 10 Erosion, dilation and filling

圖11 閉運(yùn)算Fig. 11 Closed operations

4.2 連通域形態(tài)特征

在圖像中，像素是最小單位，每個(gè)像素周圍有8個(gè)鄰接像素，常見的鄰接關(guān)系有2種：4鄰接與8鄰接。4鄰接有上下左右4個(gè)鄰接點(diǎn)；8鄰接有8個(gè)鄰接點(diǎn)，包括了上下左右及對(duì)角線位置的點(diǎn)，如圖12。

圖12 4鄰接和8鄰接Fig. 12 4-neighbourhood and 8-neighbourhood

根據(jù)4鄰接或8鄰接關(guān)系，彼此連通的像素點(diǎn)形成區(qū)域稱為連通域。在圖像處理中，常常對(duì)連通域展開計(jì)算分析，以達(dá)到圖像分割、噪聲去除和目標(biāo)識(shí)別等目的。筆者基于8鄰接關(guān)系建立連通域，并展開面積、矩形度和等效橢圓長(zhǎng)短軸等形態(tài)特征計(jì)算分析。

1)面積S：連通域所含像素總數(shù)；

2)矩形度R：連通域面積S與最小外接矩形面積W比值，反映區(qū)域?qū)ζ渫饨泳匦蔚某錆M度(圖13)；

圖13 矩形度Fig. 13 Rectangularity

3)等效橢圓[14]長(zhǎng)短軸：每個(gè)連通域可求得一個(gè)對(duì)應(yīng)的橢圓，其方程與連通域轉(zhuǎn)動(dòng)慣量形式一致。假定某橢圓區(qū)域是均質(zhì)的且與連通域的轉(zhuǎn)動(dòng)慣量相同，那么該橢圓參數(shù)就能反映前述連通域的特性，這個(gè)橢圓就稱為等效橢圓。據(jù)此可求得等效橢圓長(zhǎng)軸ra和短軸rb(圖14)。

圖14 等效橢圓Fig. 14 Equivalent ellipse

4.3 基于形態(tài)分析的車輛識(shí)別算法

車輛識(shí)別過程主要包括4個(gè)步驟：① 對(duì)骨架重構(gòu)圖像進(jìn)行膨脹[15]、填充操作，獲得連通域圖像，結(jié)果如圖15(a)；② 基于連通域矩形度、面積和等效橢圓短軸閾值，初步提取滿足條件的連通域，結(jié)果如圖15(b)。由圖15(b)可看出：此步驟剔除了一些面積較小的區(qū)域和狹長(zhǎng)的車道標(biāo)線；③ 基于面積和等效橢圓長(zhǎng)軸閾值，選擇較大的連通域，對(duì)其進(jìn)行閉運(yùn)算、膨脹和腐蝕操作，結(jié)果如圖15(c)。由圖15(c)可看出：該步驟有效分割了大型連通域，進(jìn)一步消除了狹長(zhǎng)的車道標(biāo)線和道路邊緣；④ 基于面積和等效橢圓短軸閾值篩選滿足要求的連通域，將其作為最終的車輛目標(biāo)，結(jié)果如圖16。

綜上所述，算法主要利用形態(tài)學(xué)運(yùn)算[16]對(duì)骨架結(jié)構(gòu)圖像進(jìn)行線-面轉(zhuǎn)換，進(jìn)而計(jì)算和分析連通域形態(tài)特征，最終識(shí)別車輛。步驟①～④的車輛識(shí)別算法偽代碼如下。

算法2：基于形態(tài)分析的車輛識(shí)別算法(“←”表示賦值)

①：Skeleton←骨架重構(gòu)圖像；

②：Image0←對(duì)Skeleton進(jìn)行膨脹、填充處理；

③：R[i]、A[i]←第i個(gè)連通域的矩形度、面積；

④：ra[i]、rb[i]←第i個(gè)連通域等效橢圓的長(zhǎng)軸長(zhǎng)度、短軸長(zhǎng)度；

⑤：For inti= 1 toM//M為Image0的連通域個(gè)數(shù)；

圖15 連通域圖像Fig. 15 Connected component image

圖16 車輛識(shí)別結(jié)果Fig. 16 Vehicle detection result

⑥：IfR[i]∈[r1,r2] orA[i]>s1orrb[i]∈[b1,b2]；

⑦：保留Image0第i個(gè)連通域//r1、r2、s1、b1、b2為閾值參數(shù)；

⑧：End For // 令為Image1；

⑨：For intj=1 toN//N為Image1連通域個(gè)數(shù)；

⑩：IfA[j]>s2orra[j]>a2//s2、a2為閾值參數(shù)；

5 算法性能評(píng)價(jià)與分析

5.1 評(píng)價(jià)方法

車輛識(shí)別結(jié)果存在著準(zhǔn)確檢測(cè)、漏檢等多種可能情況，可細(xì)分為如下4類：① 準(zhǔn)確檢測(cè)車輛，即單個(gè)輛車被準(zhǔn)確識(shí)別為一輛車；② 車輛重檢，即一輛車被檢測(cè)成兩個(gè)或多個(gè)車；③ 車輛漏檢；④ 其他物體被識(shí)別為車輛。為此，可對(duì)如下4個(gè)指標(biāo)性能進(jìn)行評(píng)估，如式(1)～(4)。

PT=NT/NS

(1)

PR=NR/NS

(2)

PM=NM/NS

(3)

PW=(NR+NE)/NS

(4)

式中：PT為正檢率；PR為重檢率；PM為漏檢率；PW為錯(cuò)檢率；NT為檢測(cè)區(qū)內(nèi)準(zhǔn)確檢測(cè)的車輛數(shù)；NR為檢測(cè)區(qū)內(nèi)被重復(fù)檢測(cè)的車輛數(shù)；NM為檢測(cè)區(qū)內(nèi)被漏檢的車輛數(shù)；NE為檢測(cè)區(qū)內(nèi)被檢測(cè)成車輛的非車輛物體個(gè)數(shù)；NS為實(shí)際車輛數(shù)，NS=NT+NM+NR。

由此可見：正檢率越高，重檢率、漏檢率和錯(cuò)檢率越低，算法越優(yōu)。

5.2 評(píng)價(jià)結(jié)果分析

在VS2013+Halcon11.0+OpenCV2.4.9環(huán)境下編制文中算法程序，識(shí)別無(wú)人機(jī)視頻車輛。對(duì)于每一幀檢測(cè)結(jié)果圖像，可分別由人工判讀出NT、NR、NM、NE和NS，進(jìn)而計(jì)算出一組正檢率、重檢率、漏檢率和錯(cuò)檢率。對(duì)548幀檢測(cè)結(jié)果圖像的評(píng)價(jià)指標(biāo)值進(jìn)行統(tǒng)計(jì)分析，結(jié)果如表1。

由表1可看出：算法正檢率均值95.02%；重檢率均值為2.20%，表明算法很少將一輛車識(shí)別為多輛車；漏檢率均值2.77%、錯(cuò)檢率均值為8.24%，即很少出現(xiàn)漏檢情況，也較少將其他物體誤認(rèn)為是車輛。4個(gè)評(píng)價(jià)指標(biāo)的均值和中值都顯示算法具有較優(yōu)的檢測(cè)效果。從標(biāo)準(zhǔn)差來(lái)看，正檢率、重檢率、漏檢率和錯(cuò)檢率標(biāo)準(zhǔn)差分別為2.09%，1.67%,1.67%和2.56%，說明評(píng)價(jià)指標(biāo)值大都集中于均值附近、離散程度較小，檢測(cè)算法穩(wěn)定性較高。

表1 算法指標(biāo) Table 1 Algorithm indexes %

圖17是算法評(píng)價(jià)指標(biāo)值分布。由圖17可看出：① 只有7個(gè)樣本(占樣本總量的1.28%)的正檢率低于90%，分布于85.42%～ 89.89%；其余541個(gè)樣本(占樣本總量的98.72%)正檢率均高于90%，表明對(duì)于絕大部分圖像，正檢率都能達(dá)到較高水平② 有2個(gè)樣本重檢率為8.99%和8.33%，其余546個(gè)樣本重檢率均在6.52%以下，97.26%的樣本重檢率分布于0～5%，表明算法對(duì)車輛目標(biāo)分割效果較好，可保證車輛完整性；③ 漏檢率分布范圍為0～10.11%，其中只有1個(gè)樣本漏檢率為10.11%，其余樣本重檢率均在8.14%以下，表明車輛漏檢幾率較低；④ 錯(cuò)檢率分布范圍為0～ 16.84%，其中有5個(gè)樣本錯(cuò)檢率為15.12%、15.22%、15.79%、16.09%和16.84%，其余樣本的錯(cuò)檢率均在15%以下，絕大部分集中于4%～12%，表明算法很少將其他物體誤判為車輛。

圖17 算法評(píng)價(jià)指標(biāo)值分布Fig. 17 Distribution of algorithm evaluation indexes

上述分析表明：該算法在正檢率、重檢率、漏檢率和錯(cuò)檢率方面表現(xiàn)良好，對(duì)交通擁擠狀態(tài)下的車輛識(shí)別也比較準(zhǔn)確全面(圖16)。相對(duì)而言，算法錯(cuò)檢率還不甚滿意，有待進(jìn)一步改善。從測(cè)試結(jié)果來(lái)看：錯(cuò)檢主要原因在于車道標(biāo)線或路面指路文字的形狀與車輛形狀較為相似，算法可能會(huì)將其誤識(shí)為車輛。如何有效區(qū)分車輛與路面非車輛物體，將是筆者下一步著重研究的課題。此外需說明的是，文中算法人工勾勒感興趣區(qū)域，適用于懸停拍攝的穩(wěn)定視頻。

6 結(jié) 論

筆者針對(duì)無(wú)人機(jī)視頻，提出了一種基于形態(tài)分析的車輛自動(dòng)識(shí)別方法。該方法基于邊緣檢測(cè)生成亞像素級(jí)圖像骨架，然后對(duì)骨架圖像進(jìn)行分解和重構(gòu)，最后通過連通域形態(tài)學(xué)運(yùn)算和形態(tài)分析識(shí)別車輛目標(biāo)。通過對(duì)548幀視頻圖像測(cè)試分析表明：算法具有較高的正檢率，而重檢率、錯(cuò)檢率和漏檢率均較低。

文中方法可準(zhǔn)確有效地實(shí)現(xiàn)車輛識(shí)別，為基于無(wú)人機(jī)視頻的廣域交通信息(例如：車輛密度、車輛軌跡、車輛速度和加速度等)實(shí)時(shí)采集奠定基礎(chǔ)，有望作為傳統(tǒng)交通信息采集技術(shù)(感應(yīng)線圈、定點(diǎn)攝像機(jī)、超聲波和浮動(dòng)車等)的補(bǔ)充，為推動(dòng)廣域中微觀交通流建模分析等相關(guān)研究，具有較大應(yīng)用價(jià)值和理論意義。由于交通場(chǎng)景復(fù)雜多樣，準(zhǔn)確無(wú)誤地識(shí)別低空視頻的車輛目標(biāo)仍充滿挑戰(zhàn)，需要進(jìn)行更全面測(cè)試和長(zhǎng)期深入研究。