結(jié)合圖像分割和點(diǎn)云分割的障礙物檢測算法

莫建文，蘆愛余，張 彤

（1.桂林電子科技大學(xué) 信息與通信工程學(xué)院，廣西 桂林541004；2.桂林電子科技大學(xué) 機(jī)電工程學(xué)院，廣西 桂林541004）

0 引 言

基于圖像的障礙物檢測［1，2］主要涉及模式識別、圖像處理、人工智能等理論?；陔p目視覺的障礙物檢測，現(xiàn)已有很多研究，但都有一定的不足。其代表性的方法有基于雙目視覺圖像分割方法，這種方法首先對單圖像分割出障礙物，然后利用雙目視覺獲取障礙物的深度信息［3，4］。該方法受光照影響較大，存在漏檢的風(fēng)險。另外基于V－視差的障礙物檢測方法［5］，利用了深度信息進(jìn)行障礙物檢測［6，7］，能準(zhǔn)確檢測出垂直于路面的障礙物，但不適用于曲面道路或其它不規(guī)則的障礙物的情況?；跈z測車道線的障礙物檢測［8］，通過先檢測出道路標(biāo)線再檢測障礙物的方法，對無標(biāo)線道路中的障礙物檢測無能為力。

為解決上述問題，本文提出了一種結(jié)合均值漂移（Mean Shift）圖像分割和點(diǎn)云分割的障礙物檢測方法，首先獲取障礙物的三維點(diǎn)云，然后將點(diǎn)云視差圖與Mean Shift圖像分割結(jié)果進(jìn)行比較，最終確定障礙物。通過本文方法，在獲得稀疏三維點(diǎn)云的情況下，能準(zhǔn)確地檢測出不同深度、傾斜面和不規(guī)則的障礙物。

1 結(jié)合圖像分割和點(diǎn)云分割的障礙物檢測模型

在現(xiàn)實(shí)場景中，通常將高于路平面的物體視為障礙物。通過立體匹配和重投影變換計算物體的三維點(diǎn)云，能反映物體在真實(shí)空間中的大小和相對攝像機(jī)的深度。在如圖1所示雙目攝像機(jī)平行于路平面的情況下，路平面上每一點(diǎn)在Y 軸方向的值Yc都相同。在真實(shí)場景三維點(diǎn)云中分割出路平面點(diǎn)云，剩下的點(diǎn)云即為障礙物點(diǎn)云。由于受光照、遮擋、低紋理等影響，立體匹配計算生成的三維點(diǎn)云存在空洞區(qū)域，利用三維點(diǎn)云分割方法不能完整分割出障礙物。因此，結(jié)合Mean Shift圖像分割技術(shù)，將分割后的子圖與障礙物點(diǎn)云對應(yīng)的視差圖像區(qū)域比較判斷，能得到完整的障礙物并進(jìn)一步保證障礙物的正確性。具體流程如圖2所示。

圖1 攝像機(jī)與路平面平行的模型

圖2 障礙物檢測流程

本文以左圖像為基準(zhǔn)圖像，采用半全局立體匹配SG－BM 算法［9］進(jìn)行立體匹配計算視差圖，視差圖上每一元素經(jīng)過三維重投影方法計算得到三維點(diǎn)云的（Xc，Yc，Zc）值。使用基于Mean Shift圖像分割算法，對基準(zhǔn)圖像進(jìn)行彩色圖像分割。校正后的彩色圖像對、圖像分割結(jié)果、未處理的三維點(diǎn)云和視差圖如圖3到5所示。

圖3 彩色圖像對

圖4 基準(zhǔn)圖像分割結(jié)果

圖5 三維點(diǎn)云

2 障礙物檢測

2.1 障礙物點(diǎn)云分割

從障礙物點(diǎn)云中分割出障礙物，首先需要去除地平面及檢測范圍外的點(diǎn)云。具體按以下步驟進(jìn)行：

（1）分割檢測范圍內(nèi)的三維點(diǎn)云。本文設(shè)定檢測范圍的最小深度Zmin為0.5m，最大深度Zmax為2.5m。根據(jù)深度檢測范圍，將大于Zmax和小于Zmin的點(diǎn)云去除，剩下障礙物點(diǎn)云和路面點(diǎn)云。

（2）分割路面點(diǎn)云。根據(jù)本文中路平面檢測方法，可檢測出路平面點(diǎn)云Y 軸坐標(biāo)值為Yc，以h表示路平面最終高度值，Δh 為可檢測的最小障礙物高度，則h＋Δh 作為障礙物與路面點(diǎn)云的分割閾值。將三維點(diǎn)云中Yc值大于h＋Δh 的點(diǎn)云分割為障礙物點(diǎn)云。去除道路點(diǎn)云后，障礙物點(diǎn)云分割結(jié)果如圖6所示。

圖6 障礙物點(diǎn)云分割結(jié)果

（3）不同位置的障礙物點(diǎn)云分割。這一步驟是對不同深度的障礙物和同一深度不相連的障礙物進(jìn)行分割。將步驟 （2）中分割得到的障礙物三維點(diǎn)云投影Zc軸上，在Zc軸上不連續(xù)的位置進(jìn)行分割，得到不同深度的障礙物點(diǎn)云；對相同深度的障礙物點(diǎn)云，在Xc軸上進(jìn)行投影，在Xc軸上不連續(xù)的位置進(jìn)行分割。通過X，Z軸的投影分割，原始三維點(diǎn)云變成一對一的區(qū)域分割點(diǎn)云。每個點(diǎn)云區(qū)域?qū)?yīng)一個障礙物。障礙物的遠(yuǎn)近通過分割點(diǎn)云的Z 坐標(biāo)分量確定，高度通過Y 分量確定，寬度通過X 坐標(biāo)分量確定。

2.2 均值漂移分割算法

僅依靠三維點(diǎn)云分割得到的障礙物點(diǎn)云來判斷障礙物，在雙目匹配條件差的情況下易誤判為多個障礙物。將分割出的障礙物點(diǎn)云對應(yīng)的視差圖結(jié)合Mean Shift圖像分割得到子圖進(jìn)行比對的方法能更準(zhǔn)確判斷障礙物的正確性和區(qū)域。

基于Mean Shift的圖像分割算法［10－12］，是一種區(qū)域分割方法，這種分割方法適用于灰度圖像和彩色圖像，受圖像紋理影響較少，分割后的圖像邊界清晰，在較復(fù)雜的環(huán)境下仍能得到較好的分割結(jié)果，具有較強(qiáng)的魯棒性。

Mean Shift算法是一種在密度分布數(shù)據(jù)中尋找局部穩(wěn)定極值的方法。Mean Shift算法的步驟如下：

（1）選擇搜索窗口參數(shù)，包括窗口的初始位置、類型、形狀、大小等；

（2）計算窗口的重心，可帶權(quán)重計算；

（3）設(shè)置窗口的中心不在重心處；

（4）重復(fù)步驟 （2），直至窗口重心位置穩(wěn)定不變。

使用矩形的窗口計算重心，圖像像素分布的重心計算如式 （1）所示

Mean Shift算法在圖像分割上的應(yīng)用，可分為圖像平滑和分割兩部分。Mean Shift算法實(shí)現(xiàn)的圖像分割，是將收斂于同一極值的所有點(diǎn)歸為同一類，并將符合條件的類合并，從而實(shí)現(xiàn)分割。例如一幅彩色圖像，維數(shù)為（x，y，R，G，B）。選擇的窗口半徑為空間半徑和顏色半徑，運(yùn)用Mean Shift算法掃描空間，尋找數(shù)據(jù)密度最高的點(diǎn)，然后將數(shù)據(jù)連通起來，從而實(shí)現(xiàn)圖像分割。

2.3 稀疏點(diǎn)云下的障礙物的檢測

由于受光照、遮擋、低紋理等影響，立體匹配計算生成的三維點(diǎn)云存在空洞區(qū)域，利用2.1中的三維點(diǎn)云分割方法不能完整分割障礙物。結(jié)合Mean Shift圖像分割技術(shù)，將稀疏障礙物點(diǎn)云對應(yīng)的視差圖與該區(qū)域附近的通過Mean Shift分割出的圖像子圖判斷重疊的比例，才能得到完整的障礙物并保證障礙物的正確性。

如圖7所示，設(shè)七邊形為Mean Shift分割得到的子圖，五邊形為障礙物點(diǎn)云對應(yīng)的視差圖，子圖區(qū)域的長和寬構(gòu)成外接矩形A1B1C1D1，障礙物點(diǎn)云對應(yīng)視差圖構(gòu)成外接矩形A2B2C2D2，設(shè)判斷為障礙物的比例因子為α（0＜α≤1）。根據(jù)子圖和障礙物點(diǎn)云對應(yīng)視差圖的位置，判斷子圖是否為障礙物的步驟如下：

（1）比較兩個矩形的重合區(qū)域，若兩個矩形不相交，則判斷子圖不是障礙物，對下一子圖進(jìn)行判斷。

（2）若兩個矩形相交，如圖7所示，相交于E和F點(diǎn)，若邊D1E 與邊D1C1的比例小于α，則判斷子圖不是障礙物；若邊D1E與邊D1C1的比例大于或等于α，則對重疊的區(qū)域進(jìn)行下一步判斷。

（3）重疊區(qū)域判斷，圖7中A2FC1E 組成的區(qū)域?yàn)橹丿B區(qū)域。分別二值化重疊區(qū)域內(nèi)的子塊和障礙物視差圖，將二值化后的圖像相減，計算值為0的像素總數(shù)占重疊區(qū)域像素總數(shù)的比例，若比例大于α，標(biāo)記子圖為障礙物。

（4）重復(fù)上述步驟，對所有子圖和障礙物視差圖進(jìn)行比較，判斷子圖是否為障礙物。對所有的子圖進(jìn)行比較后，合并標(biāo)記為障礙物的子圖，最后在基準(zhǔn)圖像中標(biāo)記出障礙物。圖像分割往往會分割出許多面積很小的子圖，為減少計算量，不對較小面積的子圖判斷。

圖7 重疊判斷圖例

3 實(shí)驗(yàn)結(jié)果與分析

本文設(shè)定檢測范圍在離攝像機(jī)距離為0.5 m 至3 m，攝像機(jī)離地面高度約為0.5 m，本文中Mean Shift圖像分割方法設(shè)定的空間半徑為20，顏色半徑為40。如圖4 所示，分割后的圖像邊界清晰，獲得了較好圖像分割效果。

使用結(jié)合Mean Shift圖像分割方法分割出的子圖與障礙物三維點(diǎn)云對應(yīng)的視差圖進(jìn)行比對的檢測方法，如圖8所示，系統(tǒng)通過視差圖所獲得的三維點(diǎn)云分割如圖6所示，分割出的障礙物點(diǎn)云對應(yīng)的視差圖如圖8 （b）所示，障礙物檢測效果如圖8 （c）所示。對傾斜于路面的、不規(guī)則的和不同深度的障礙物進(jìn)行檢測，檢測效果如圖9所示。從表1可以看出，在檢測范圍內(nèi)，對垂直于路平面、傾斜面、不規(guī)則和不同深度的障礙物均能正確檢測出來，檢測誤差較小。識別軟件系統(tǒng)如圖10所示。

圖8 垂直于路平面的障礙物檢測

圖9 障礙物檢測結(jié)果

表1 不同條件下的障礙物檢測結(jié)果

圖10 障礙物檢測系統(tǒng)

4 結(jié)束語

本文提出使用結(jié)合Mean Shift圖像分割方法分割出的子圖與障礙物三維點(diǎn)云對應(yīng)的視差圖進(jìn)行比對的檢測方法。算法能在在雙目匹配條件差，容易誤判斷為多個障礙物的情況下，獲得較準(zhǔn)確的檢測結(jié)果，但在無人駕駛和自主移動機(jī)器人應(yīng)用中，往往需要檢測出路面，這是今后開展研究的一個重要方向。

［1］Vitor GB，Lima DA，Victorino AC，et al.A 2D／3D vision based approach applied to road detection in urban environments［C］／／Intelligent Vehicles Symposium.IEEE，2013：952－957.

［2］Benzerrouk A，Adouane L，Martinet P.Obstacle avoidance controller generating attainable set－points for the navigation of multi－robot system ［C］／／Intelligent Vehicles Symposium.IEEE，2013：487－492.

［3］ZHANG Huaixiang，ZHU Jingchen.Research strategy based on binocular vision obstacle avoidance algorithm ［J］.Hangzhou University of Electronic Science and Technology，2013，33 （4）：31－34 （in Chinese）.［張懷相，朱金成.基于雙目視覺的避障策略算法研究 ［J］.杭州電子科技大學(xué)學(xué)報，2013，33 （4）：31－34.］

［4］WANG Ping，HAN Xie，HAN Yan.Extracting depth information of the object based on binocular vision technology ［J］.Science Technology and Engineering，2014 （2）：56－61 （in Chinese）.［王平，韓燮，韓焱.基于雙目視覺技術(shù)的物體深度信息的提取 ［J］.科學(xué)技術(shù)與工程，2014 （2）：56－61.］

［5］MIAO Xiaodong，LI Shunming，SHEN Huan.Road vehicles detection by visual methods ［J］.Sensors and Microsystems，2010 （2）：5－8 （in Chinese）. ［繆小冬，李舜酩，沈峘.路面車輛的視覺檢測方法［J］.傳感器與微系統(tǒng)，2010 （2）：5－8.］

［6］Huh K，Park J，Hwang J，et al.A stereo vision－based obstacle detection system in vehicles［J］.Optics and Lasers in Engi－neering，2008，46 （2）：168－178.

［7］Oniga F，Nedevschi S，Meinecke MM，et al.Road surface and obstacle detection based on elevation maps from dense stereo［C］／／Intelligent Transportation Systems Conference，2007：859－865.

［8］HU Changchun，ZHAN Yongzhao，LIU Zhiqiang.Lane offset detection and early warning based on edge features ［J］.Computer Applications and Software，2009，26 （1）：118－119（in Chinese）.［呼長春，詹永照，劉志強(qiáng).基于邊緣特征的車道偏移檢測與預(yù)警 ［J］.計算機(jī)應(yīng)用與軟件，2009，26 （1）：118－119.］

［9］Yang Qingxiong.Stereo matching with color－weighted correlation，hierarchical belief propagation and occlusion handling［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31 （3）：492－504.

［10］Senthilkumaran N，Rajesh R.Edge detection techniques for image segmentation－a survey of soft computing approaches［J］.International Journal of Recent Trends in Engineering，2009，1 （2）：250－254.

［11］Ikemura S，F(xiàn)ujiyoshi H.Real－time human detection using relational depth similarity features［M］／／Computer Vision－ACCV.Berlin：Springer Berlin Heidelberg，2011：25－38.

［12］Tao W，Jin H，Zhang Y.Color image segmentation based on mean shift and normalized cuts ［J］.IEEE Transactions on Systems，Man and Cybernetics，Part B：Cybernetics，2007，37 （5）：1382－1389.