孫美玲,李永樹(shù),陳強(qiáng),蔡國(guó)林
(西南交通大學(xué) 地球科學(xué)與環(huán)境工程學(xué)院,成都 610031)
隨著城市化進(jìn)程的日益加快以及智能交通系統(tǒng)的快速發(fā)展,汽車(chē)的自動(dòng)化提取成為了計(jì)算機(jī)視覺(jué)領(lǐng)域、攝影測(cè)量與遙感領(lǐng)域研究的熱點(diǎn)問(wèn)題[1]。根據(jù)其傳感器平臺(tái)的不同,可以將汽車(chē)提取的方法主要分為兩大類:一類是基于視頻圖像的方法[1-2],即通過(guò)安裝在橋頭或者交通路口的攝像頭獲取視頻圖像來(lái)提取汽車(chē),這種方法只能獲取城市主干道路的路況信息,當(dāng)大規(guī)模事件發(fā)生或者自然災(zāi)害來(lái)臨時(shí),無(wú)法及時(shí)把握所有交通路段的信息;另一類是基于航空或衛(wèi)星影像的方法[1,3-5],這類方法可以基于大范圍的高分辨率影像對(duì)道路進(jìn)行全面監(jiān)控,成為第一類方法的有益補(bǔ)充。但這種方法大都需要事先由人工提取出道路或者停車(chē)場(chǎng),然后進(jìn)行汽車(chē)檢測(cè),降低了汽車(chē)提取的自動(dòng)化程度。
隨著機(jī)載激光雷達(dá)(Light Detection And Ranging,LiDAR)技術(shù)的快速發(fā)展,近幾年國(guó)外出現(xiàn)了基于機(jī)載LiDAR技術(shù)提取汽車(chē)并用于交通分析的研究[6-7],文獻(xiàn)[6]首先采用統(tǒng)計(jì)方法進(jìn)行點(diǎn)云濾波,將汽車(chē)分類為地面點(diǎn),然后采用H-極大值變換和標(biāo)記控制分割的方法提取汽車(chē),由于在濾波及提取過(guò)程中未考慮汽車(chē)地物特征,將較多的建筑物邊緣和其他低矮地物誤判為汽車(chē),則導(dǎo)致較低的正確率。文獻(xiàn)[7]則首先利用自適應(yīng)Mean-Shift算法完成三維點(diǎn)云分割,然后采用支持向量機(jī)(SVM)的方法完成分類,這種方法在分類階段,需要對(duì)分類器訓(xùn)練,因此降低了汽車(chē)提取的自動(dòng)化程度,并且分類器訓(xùn)練的好壞也會(huì)影響到汽車(chē)提取的精度。機(jī)載LiDAR技術(shù)獲取的三維點(diǎn)云信息,其不僅含有每個(gè)激光腳點(diǎn)的位置和高程信息,且能同時(shí)提供激光腳點(diǎn)回波信號(hào)的強(qiáng)度信息[8]?;诖?,本文從分析汽車(chē)點(diǎn)云的高程和強(qiáng)度信息出發(fā),提出了一種基于機(jī)載LiDAR點(diǎn)云數(shù)據(jù)的汽車(chē)目標(biāo)提取方法。
觀察汽車(chē)的具體特征如下:①汽車(chē)是地物,并且其高度在一定范圍內(nèi);②汽車(chē)行駛或停留在無(wú)植被覆蓋的地面上,因此是獨(dú)立地物;③汽車(chē)的形狀因子,即面積、長(zhǎng)寬比、矩形度和圓形度等特征滿足一定規(guī)則。根據(jù)上述特征描述,結(jié)合LiDAR強(qiáng)度數(shù)據(jù),基于像素和面向?qū)ο蠓诸惖钠?chē)提取流程如圖1所示,具體流程如下:
(1)將LiDAR點(diǎn)云數(shù)據(jù)根據(jù)高程進(jìn)行濾波,將點(diǎn)云數(shù)據(jù)分為地面和地物兩類。由于在濾波階段需設(shè)定一定的高差閾值完成地面地物點(diǎn)的分類,因此會(huì)使得一些高差小于閾值的植被點(diǎn)分類為地面點(diǎn)。而在后續(xù)根據(jù)汽車(chē)特征進(jìn)行汽車(chē)提取時(shí),部分低矮、獨(dú)立的植被(如灌木叢)會(huì)由于滿足汽車(chē)特征而會(huì)造成誤判的情況,而在這些植被的周?chē)植贾跒V波階段誤判為地面點(diǎn)的植被點(diǎn),因此下一步將利用強(qiáng)度影像將地面點(diǎn)中的植被點(diǎn)進(jìn)一步分類到地物中,從而使得滿足汽車(chē)特征條件的植被點(diǎn)區(qū)域擴(kuò)大,使之與汽車(chē)特征顯著分開(kāi);
(2)利用Otsu方法將強(qiáng)度影像分為以植被為主的高強(qiáng)度和以地面道路為主的低強(qiáng)度兩類,然后利用地面點(diǎn)和低強(qiáng)度影像兩類數(shù)據(jù),提取出殘留在地面區(qū)域中的植被點(diǎn),進(jìn)一步得到完整地物區(qū)域;
(3)根據(jù)汽車(chē)是獨(dú)立地物的特點(diǎn),利用二值形態(tài)學(xué)開(kāi)重建,獲取初步汽車(chē)地物;
(4)利用汽車(chē)的形狀特征,得到最終的汽車(chē)地物目標(biāo)。
形態(tài)學(xué)開(kāi)重建方法是一種重要的基于測(cè)地膨脹的形態(tài)學(xué)重建方法[9],測(cè)地膨脹需要的標(biāo)記圖像g是由一定大小的結(jié)構(gòu)元素b對(duì)掩膜圖像f經(jīng)過(guò)腐蝕運(yùn)算得到,基于測(cè)地膨脹的形態(tài)學(xué)開(kāi)重建就是在掩膜圖像f的限制下,反復(fù)對(duì)標(biāo)記圖像g進(jìn)行測(cè)地膨脹運(yùn)算直至結(jié)果穩(wěn)定為止。因此,基于測(cè)地膨脹的形態(tài)學(xué)開(kāi)重建定義為:
機(jī)載LiDAR點(diǎn)云濾波的目的就是將點(diǎn)云數(shù)據(jù)分為地面點(diǎn)和地物點(diǎn)兩類。因此將格網(wǎng)化的DSM作為掩模圖像f,采用對(duì)稱的結(jié)構(gòu)元素b對(duì)掩模圖像f進(jìn)行腐蝕,將腐蝕掉地物后的圖像作為標(biāo)記圖像,然后進(jìn)行開(kāi)重建得到重建影像,最后將掩模影像減去開(kāi)重建影像即得到規(guī)則化數(shù)字表面模型(nDSM),對(duì)于nDSM中值為零的點(diǎn)通常為地面點(diǎn)??紤]到局部地形起伏點(diǎn)的誤判問(wèn)題,因此通過(guò)設(shè)置一個(gè)閾值et來(lái)進(jìn)行地面點(diǎn)和地物點(diǎn)的分類。
如圖2(a)所示,為德國(guó)Vaihingen市城區(qū)的部分LiDAR數(shù)據(jù)生成的山體陰影圖,采用Leica ALS50于2008年8月份獲取,航高約為500m,平均點(diǎn)云密度為4pt/m2,總點(diǎn)云數(shù)為89967個(gè),地面起伏較大;圖2(b)為同月不同時(shí)間獲取的DMC航空影像[10]??梢郧宄乜闯觯摰貐^(qū)主要包含各類尖頂房屋、樹(shù)木、草地、道路和汽車(chē)等地物;圖2(c)為采用開(kāi)重建的濾波方法得到濾波結(jié)果,黑色表示地面點(diǎn),白色表示地物點(diǎn)。其濾波采用的參數(shù)如下:格網(wǎng)間距為0.25m、半徑為40個(gè)格網(wǎng)的圓盤(pán)形結(jié)構(gòu)元素進(jìn)行腐蝕原始圖像獲取標(biāo)記圖像,判斷地面地物點(diǎn)的高差閾值et為0.3m。從圖2(c)中可以清楚的看出,位于公路兩側(cè)的汽車(chē)均被作為地物,與地面分離。對(duì)比圖2(b)可以清楚地看出,右上邊明顯的草地區(qū)域被分類為地面。
Otsu方法又稱最大類間方差法,是1979年由日本Otsu學(xué)者提出的算法[11]。它在判決分析最小二乘法原理的基礎(chǔ)上,推導(dǎo)得出的自動(dòng)選擇閾值的二值化方法。其基本思想是將圖像分割成兩組,當(dāng)被分割成的兩組方差最大時(shí),此灰度值作為二值化處理的閾值。
根據(jù)LiDAR點(diǎn)云數(shù)據(jù)中反射系數(shù)與回波信號(hào)的強(qiáng)度數(shù)據(jù)特征[8],不同反射面介質(zhì)對(duì)激光信號(hào)的反射特性不一樣,反射介質(zhì)的表面越亮,反射率就越高。通過(guò)文獻(xiàn)[8]對(duì)幾種典型地物的標(biāo)定結(jié)果可以看出,低回波強(qiáng)度對(duì)應(yīng)的地物主要為以道路為主的地物,而高回波強(qiáng)度對(duì)應(yīng)的則是以植被為主的地物,如圖3(a)所示為研究區(qū)強(qiáng)度影像,對(duì)應(yīng)圖2(b)可以看出,植被與道路的回波強(qiáng)度明顯不同。因此,本文利用Otsu方法進(jìn)行分類,將其分為以植被為主的高強(qiáng)度和以地面道路為主的低強(qiáng)度兩組,當(dāng)被分割的地面道路和植被兩組方差最大時(shí),此高程值作為二值化處理的閾值。具體算法如下:
用閾值k將灰度影像分為地面道路為主的Gg和以植被為主的Go兩組區(qū)域。Gg的概率為wg=w(k),均值為ug;Go的概率為wg=1-w(k),其均值為uo。則兩組的灰度均值為u=wgug+wouo,兩組的類間方差為:
以類間方差σ2(k)作為衡量不同閾值導(dǎo)出的類別分離性能的衡量準(zhǔn)則,極大化σ2(k)的過(guò)程就是自動(dòng)確定閾值的過(guò)程,最佳閾值g為:
利用式(3)得到的最佳閾值g可將強(qiáng)度影像分為以植被為主的高強(qiáng)度和以地面道路為主的低強(qiáng)度兩類目標(biāo),如圖3(b)為Otsu方法分類后的影像,黑色是以地面道路為主的低強(qiáng)度地物。與圖2(b)和圖2(c)進(jìn)行對(duì)比可以看出,在利用高程進(jìn)行濾波時(shí),草地區(qū)域被分類為地面,而在Otsu方法分類后,將之歸類為地物區(qū)域,因此達(dá)到了利用Otsu方法對(duì)強(qiáng)度影像進(jìn)行分類的目的。
將圖2(c)濾波后的結(jié)果與圖3(b)強(qiáng)度分類的結(jié)果取并集,即得到圖4所示分類結(jié)果。從圖4可以看出,建筑物和各類植被等地物的面積較大,而作為獨(dú)立地物的汽車(chē)等其面積和寬度在一定范圍內(nèi),因此利用這個(gè)特點(diǎn),考慮到一般大客車(chē)和貨車(chē)的寬度都不超過(guò)2.5m,為了利用圓形結(jié)構(gòu)元素進(jìn)行形態(tài)學(xué)重建剔除不滿足條件的地物,其圓形結(jié)構(gòu)元素的半徑w可根據(jù)2.5m和點(diǎn)云的格網(wǎng)間距d進(jìn)行計(jì)算,即w=0.5×(2.5/d)m。本文的格網(wǎng)間距為0.25m,所以首先利用w=5的大半徑窗口進(jìn)行二值形態(tài)學(xué)開(kāi)重建[9],將原始二值圖像減去重建結(jié)果,得到其寬度小于2.5m的地物影像??紤]到一般汽車(chē)的寬度不會(huì)小于1m,所以再采用w=2的小半徑窗口對(duì)上述地物影像進(jìn)行二值形態(tài)學(xué)開(kāi)重建,得到窗口半徑范圍w∈[2,5],即寬度位于1m和2.5m之間的初始汽車(chē)地物,結(jié)果如圖5所示。對(duì)比圖4和圖5可以看出,利用二值形態(tài)學(xué)開(kāi)重建,完全保留了圖像中位于一定范圍內(nèi)的地物形狀,其他地物則被有效去除。
根據(jù)不同地物所具有的各自形狀特征,本文在初步提取汽車(chē)地物目標(biāo)的基礎(chǔ)上,根據(jù)如下的汽車(chē)形狀特征對(duì)其進(jìn)行面向區(qū)域?qū)ο蟮姆诸悾?2],進(jìn)一步優(yōu)化汽車(chē)提取結(jié)果:
①面積:汽車(chē)的面積不會(huì)很小或很大,一般汽車(chē)的面積位于1.5m2和15m2之間,利用特征可過(guò)濾掉面積過(guò)小或過(guò)大的干擾目標(biāo)。
②高度:考慮到不同車(chē)型的高度,汽車(chē)的高度一般不會(huì)低于0.3m,也不會(huì)高于3m。
③圓形度:E=4πS/L2,其中L為連通區(qū)域的周長(zhǎng),S為面積,圓形度E可以反映被測(cè)量邊界的復(fù)雜程度。對(duì)于圓形物體E取值為1,對(duì)于正方形物體取值為π/4,而矩形物體取值小于π/4。汽車(chē)的圓形度一般大于1/2并小于π/4。
④矩形度:矩形擬合因子R是反映物體矩形度的一個(gè)參數(shù)R=S/SR,其中SR為最小外接矩形的面積,R反映了一個(gè)物體對(duì)其外接矩形的充滿程度。對(duì)于矩形物體R取得最大值1.0,圓形物體R取值為π/4。汽車(chē)的矩形度一般大于0.6并小于等于1。
⑤長(zhǎng)寬比R:長(zhǎng)寬比R=LR/WR,其中LR為區(qū)域?qū)ο蟮拈L(zhǎng);WR為區(qū)域?qū)ο蟮膶?。汽?chē)的長(zhǎng)寬比一般大于1并小于4。
圖6為基于上述特征完成汽車(chē)提取后的標(biāo)記結(jié)果。對(duì)比圖5和圖2(b)可以看出,根據(jù)其形狀特征,可以有效剔除白色橢圓標(biāo)注處的斑馬線以及低矮灌木叢。
本文采用在信息提取和目標(biāo)識(shí)別領(lǐng)域的正確度(correctness)指標(biāo)和完整度(completeness)指標(biāo)對(duì)汽車(chē)提取結(jié)果進(jìn)行定量評(píng)價(jià)[13],其定義如下:正確度=TP/(TP+FP),完整度=TP/(TP+FN),其中TP表示被正確提取的汽車(chē)數(shù)目,F(xiàn)P表示被誤提取為汽車(chē)的數(shù)目,F(xiàn)N表示未被提取出來(lái)的汽車(chē)數(shù)目。
由于無(wú)法獲取地面汽車(chē)的真實(shí)數(shù)據(jù),因此根據(jù)LiDAR數(shù)據(jù)生成的DSM數(shù)據(jù),采取目視解譯的方式獲取真實(shí)汽車(chē)的數(shù)量作為參考。實(shí)際上,位于停車(chē)場(chǎng)和道路兩側(cè)的汽車(chē)通過(guò)目視解譯的方式很容易獲取,但是由于LiDAR數(shù)據(jù)缺乏光譜信息,因此對(duì)于受房屋或者樹(shù)木遮擋的汽車(chē),以及高程和大小都符合汽車(chē)特征的地物難以有效判斷。汽車(chē)提取的精度評(píng)定結(jié)果如表1所示,其中Site1即為上文算法流程中所用區(qū)域,其汽車(chē)提取結(jié)果如圖6所示,Site2和Site3地區(qū)LiDAR數(shù)據(jù)的參數(shù)同Site1,主體為停車(chē)場(chǎng),其有LiDAR點(diǎn)云數(shù)據(jù)生成的DSM和汽車(chē)提取結(jié)果如圖7所示。
表1 汽車(chē)提取的精度評(píng)定
在上述3個(gè)實(shí)驗(yàn)區(qū)域中,誤判提取的主要原因是由于個(gè)別地物在特征上和汽車(chē)極為相似,而被遺漏的汽車(chē)則主要是因?yàn)檫@些汽車(chē)部分被房屋或者樹(shù)木遮擋,或者汽車(chē)之間相隔很近,將相鄰的汽車(chē)識(shí)別為一個(gè)整體,因此在獲取初步汽車(chē)地物階段被當(dāng)作一個(gè)整體去除而無(wú)法有效識(shí)別。此外,濾波誤差也會(huì)導(dǎo)致部分汽車(chē)不能被正確識(shí)別。
根據(jù)Mayer等人[13]提出的目標(biāo)檢測(cè)實(shí)用性方法須滿足正確度不小于85%和完整度不小于70%的要求,將本文提出的方法對(duì)選取的3個(gè)區(qū)域進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明該方法滿足實(shí)用性要求。文獻(xiàn)[6]在兩個(gè)實(shí)驗(yàn)區(qū)的正確度和完整度均值分別為77%和72%,雖然由于實(shí)驗(yàn)數(shù)據(jù)的不同,本文方法與文獻(xiàn)[6]的結(jié)果不具有可比性,但是本文方法的正確度遠(yuǎn)遠(yuǎn)高于其文獻(xiàn)[6]的方法,證明了本文方法在提取汽車(chē)時(shí)增加的汽車(chē)地物特征,顯著降低了汽車(chē)誤判的概率,具有較強(qiáng)的實(shí)用性。
汽車(chē)的自動(dòng)提取一直是智能交通系統(tǒng)的研究工作重點(diǎn)之一,LiDAR技術(shù)的出現(xiàn)為汽車(chē)信息的獲取和自動(dòng)化快速提取提供了新的途徑。本文在分析汽車(chē)基本特征的基礎(chǔ)上結(jié)合LiDAR點(diǎn)云的高程和強(qiáng)度信息,提出了一種從LiDAR點(diǎn)云數(shù)據(jù)中自動(dòng)提取汽車(chē)的方法,該方法無(wú)需人工事先提取道路或者停車(chē)場(chǎng)即可有效提取出大部分的汽車(chē)?,F(xiàn)在多數(shù)LiDAR系統(tǒng)都同機(jī)搭載有航空數(shù)碼相機(jī),如果能將LiDAR點(diǎn)云數(shù)據(jù)和航空數(shù)碼影像融合到一起提取汽車(chē),充分利用汽車(chē)的顏色和紋理信息,必將大大提高自動(dòng)識(shí)別汽車(chē)目標(biāo)的精度。
[1]HINZ S,BAMLER R,STILLA U.Theme issue “airborne and spaceborne traffic monitoring”[J].ISPRS Journal of Photogrammetry and Remote Sensing,2006,61(3/4):135-278.
[2]趙璐,于慧敏.基于先驗(yàn)形狀信息和水平集方法的車(chē)輛檢測(cè)[J].浙江大學(xué)學(xué)報(bào)(工學(xué)版),2010,44(1):124-130.
[3]JIN X,DAVIS C H.2007Vehicle detection from high resolution satellite imagery using morphological shared-weight neural networks[J].Image and Vision Computing,25(9):1422-1431.
[4]鄭宏,胡學(xué)敏.高分辨率衛(wèi)星影像車(chē)輛檢測(cè)的抗體網(wǎng)絡(luò)[J].遙感學(xué)報(bào),2009,13(5):920-927.
[5]EIKVIL L,AURDAL L,KOREN H.Classification-based vehicle detection in high-resolution satellite images[J].ISPRS Journal of Photogrammetry and Remote Sensing,2009,64(1):65-72.
[6]YAO W,HINZ S,STILLA U.Automatic vehicle extraction from airborne LiDAR data of urban areas aided by geodesic morphology[J].Pattern Recognition Letters,2010,31(10):1100-1108.
[7]YAO W,HINZ S,STILLA U.Extraction and motion estimation of vehicles in single-pass airborne LiDAR data towards urban traffic analysis[J].ISPRS Journal of Photogrammetry and Remote Sensing,2011,66(3):260-271.
[8]劉經(jīng)南,張小紅.利用激光強(qiáng)度信息分類激光掃描測(cè)高數(shù)據(jù)[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2005,30(3):189-193.
[9]SOILLEP.Morphological image analysis,principles and applications(second edition)[M].Berlin:Springer-Verlag,2003.
[10]CRAMER M.2010The DGPF test on digital aerial camera evaluation -overview and test design[J].Photogrammetrie Fernerkundung Geoinformation,2010(2):73-82.
[11]OTSUN.A threshold selection method from gray-level histograms[J].IEEE Transactions on Systems,Man,and Cybernetics,1979,59(9-1):62-66.
[12]雷小奇,王衛(wèi)星,賴均.一種基于形狀特征進(jìn)行高分辨率遙感影像道路提取方法[J].測(cè)繪學(xué)報(bào),2009,38(5):457-465.
[13]MAYER H,HINZ S,BACHER U,BALTSAVIAS E.A test of automatic road extraction approaches[J].International Archives of Photogrammetry and Remote Sensing,2006:209-214.