一種立體視覺(jué)的障礙物檢測(cè)的細(xì)化方法

林堅(jiān) 王力虎 潘福東 劉奎 郁凡

摘 ?要：在立體視覺(jué)的障礙物檢測(cè)過(guò)程中，由于室內(nèi)地面的紋理特征較弱，使得檢測(cè)的障礙物區(qū)域包含了較大的地面干擾，獲得障礙物目標(biāo)位置并不理想，該文使用了一種新的細(xì)化方法，改善了目標(biāo)檢測(cè)精度。該算法基于雙目視覺(jué)獲得深度信息，采用深度圖像分割法提取出目標(biāo)的粗略區(qū)域;然后結(jié)合其Canny邊緣坐標(biāo)信息對(duì)障礙物區(qū)域進(jìn)行細(xì)化，進(jìn)而得到準(zhǔn)確的障礙物位置信息。實(shí)驗(yàn)結(jié)果表明了該方法具有較強(qiáng)的自適應(yīng)性。

關(guān)鍵詞：障礙物檢測(cè);立體視覺(jué);圖像分割;Canny邊緣;細(xì)化

中圖分類號(hào)：TP23;TP391.41 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）12-0070-03

Abstract：In the obstacle detection process of stereo vision，due to the low texture of the indoor ground，the detected obstacle area contains a large ground interference，and obtaining the target position of the obstacle is not ideal. This paper uses a new refinement method，improved target detection accuracy. The algorithm obtains depth information based on binocular vision，and uses the depth image segmentation method to extract the rough area of the target;then combines the Canny edge coordinate information to refine the obstacle area to obtain accurate obstacle position information. Experimental results show that this method has strong adaptability.

Keywords：obstacle detection;stereo vision;image segmentation;Canny edge;refine

0 ?引 ?言

隨著智能機(jī)器人技術(shù)的興起，越來(lái)越多的移動(dòng)機(jī)器人被應(yīng)用于環(huán)境檢測(cè)、自主導(dǎo)航、安防等領(lǐng)域[1]。意味著機(jī)器人需要具有更強(qiáng)的感知能力能來(lái)應(yīng)對(duì)不同環(huán)境，因此如何提高機(jī)器人對(duì)障礙物檢測(cè)的精度成了一個(gè)重要研究方向。由于立體視覺(jué)具有信息豐富、準(zhǔn)確度高、效率高、使用方便等特點(diǎn)，被廣泛應(yīng)用于機(jī)器人的障礙物目標(biāo)實(shí)時(shí)檢測(cè)[2]。為了獲得更加精確的障礙物空間位置和尺寸信息，本文提出了一種改進(jìn)的立體視覺(jué)的障礙物檢測(cè)方法。

近幾年來(lái)，在基于視覺(jué)的障礙物檢測(cè)方法中，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法得到較為廣泛的應(yīng)用，張舜[3]等利用深度學(xué)習(xí)實(shí)現(xiàn)場(chǎng)景中目標(biāo)的檢測(cè)，該方法依賴先驗(yàn)的訓(xùn)練數(shù)據(jù)，不適用于要求實(shí)時(shí)性的場(chǎng)合。王軍華[4]等采用基于改進(jìn)RANSAC的雙目障礙物檢測(cè)算法，通過(guò)提取的地平面模型對(duì)障礙物進(jìn)行分割。吳宗勝[5]等利用立體視覺(jué)并結(jié)合超像素技術(shù)對(duì)道路上的障礙物進(jìn)行概率檢測(cè)，主要是通過(guò)建立地面模型并評(píng)估三維空間點(diǎn)到地面的距離，得到障礙物的概率信息，進(jìn)而實(shí)現(xiàn)障礙物和地面分離。這兩位學(xué)者通過(guò)建立地面模型對(duì)障礙物進(jìn)行分割，取得了較好的結(jié)果。但是對(duì)于一些特殊情況，如一些室內(nèi)弱紋理的地面，立體視覺(jué)獲取的深度信息存在較大誤差，其所建立的地面模型并不準(zhǔn)確，無(wú)法很好地得出障礙物檢測(cè)結(jié)果。針對(duì)這一問(wèn)題，本文通過(guò)結(jié)合立體視覺(jué)和邊緣信息的障礙物檢測(cè)方法，實(shí)現(xiàn)障礙物輪廓區(qū)域的精細(xì)化，克服誤匹配的影響。

1 ?相關(guān)工作

針對(duì)上述問(wèn)題，利用障礙物具有較強(qiáng)的紋理特征，而地面的紋理特征較弱這一特性，可通過(guò)結(jié)合圖像的邊緣坐標(biāo)點(diǎn)信息，從而得到更加準(zhǔn)確的障礙物信息。本文的主要工作為;首先采用雙目相機(jī)采集并校正左右兩幅圖像，然后通過(guò)立體匹配計(jì)算得到場(chǎng)景中物體的視差圖;最后根據(jù)深度信息進(jìn)行圖像分割，并在使用輪廓檢測(cè)法提取障礙物大致輪廓區(qū)域基礎(chǔ)上，結(jié)合Canny邊緣檢測(cè)算法計(jì)算其邊緣的坐標(biāo)信息，實(shí)現(xiàn)障礙物輪廓由粗到精的檢測(cè)。下文對(duì)障礙物檢測(cè)所涉及的基本原理進(jìn)行介紹。

1.1 ?雙目立體視覺(jué)測(cè)量原理

雙目視覺(jué)成像模型如圖1所示，根據(jù)空間點(diǎn)在左右相機(jī)的視差原理可測(cè)量出雙目相機(jī)到被測(cè)物體的距離信息[6]，以及更加精確的障礙物空間位置和尺寸信息，從而得到準(zhǔn)確的障礙物位置信息。

若世界坐標(biāo)空間中的任意點(diǎn)A（X，Y，Z）過(guò)光軸在左右相機(jī)成像平面的像點(diǎn)坐標(biāo)分別為（ul，vl）和（ur，vr），當(dāng)兩像點(diǎn)對(duì)應(yīng)的極線el和er處于一條直線上時(shí)，記d=ul-ur，根據(jù)三角形相似性，可求左相機(jī)成像平面像素點(diǎn)與空間點(diǎn)A的關(guān)系：

其中，f為焦距，b為基線，d表示空間點(diǎn)在左右相機(jī)平面上像點(diǎn)的視差。若給定左相機(jī)平面上的一點(diǎn)和與之對(duì)應(yīng)有且只有一個(gè)的對(duì)應(yīng)點(diǎn)，則容易得出該點(diǎn)在相機(jī)成像平面的坐標(biāo)，進(jìn)而可以確定該點(diǎn)在三維世界坐標(biāo)系上的坐標(biāo)。在雙目立體視覺(jué)視差測(cè)量過(guò)程中，需要得到左右相機(jī)中像素點(diǎn)的匹配關(guān)系，本文采用的立體匹配算法為半全局塊匹配算法（Semi-Global Block Matching，SGBM），該算法結(jié)合了局部立體匹配算法和全局立體匹配算法的優(yōu)點(diǎn)，具有視差效果好并且速度快的特點(diǎn)，在計(jì)算機(jī)視覺(jué)中得到廣泛應(yīng)用。為了提高匹配算法的效率，需要對(duì)采集的圖像進(jìn)行校正，該方法實(shí)現(xiàn)左右兩幅圖像中待匹配的像素點(diǎn)在極線方向上對(duì)齊，將兩幅圖像的立體匹配時(shí)從二維搜索降為一維搜索，有效地降低匹配算法搜索的復(fù)雜度。

1.2 ?邊緣檢測(cè)

在計(jì)算機(jī)視覺(jué)中，圖像邊緣特征包含了圖像的重要信息，廣泛應(yīng)用于目標(biāo)檢測(cè)、特征提取、圖像增強(qiáng)等計(jì)算機(jī)圖像處理，常用邊緣檢測(cè)方法有Sobel、Prewitt、LOG、Canny等方法。不同的邊緣檢測(cè)方法各具特點(diǎn)，在這些邊緣檢測(cè)方法中，Canny[7]邊緣檢測(cè)算法表現(xiàn)更為出色，是一種簡(jiǎn)單、準(zhǔn)確、高效的邊緣檢測(cè)方法，所以本文主要使用Canny邊緣檢測(cè)算法實(shí)現(xiàn)場(chǎng)景物體的邊緣檢測(cè)。其步驟主要分成四步。

（1）通過(guò)構(gòu)建一個(gè)高斯核對(duì)圖像進(jìn)行卷積操作，實(shí)現(xiàn)圖像模糊處理，降低圖像噪聲。

（2）圖像像素點(diǎn)的梯度強(qiáng)度和方向計(jì)算，梯度強(qiáng)度越大，邊緣越明顯。設(shè)水平梯度為Gx，垂直梯度為Gy，則每個(gè)像素點(diǎn)的梯度強(qiáng)度G和方向θ表達(dá)為：

（3）非極大值抑制。這一步主要是保留梯度強(qiáng)度局部最大值的邊緣像素點(diǎn)，剔除大部分非邊緣像素點(diǎn)，得到細(xì)化后的邊緣。

（4）滯后閾值法求解圖像邊緣。通過(guò)設(shè)定Canny邊緣檢測(cè)算法高閾值和低閾值兩個(gè)閾值，將大于高閾值的邊緣定義為強(qiáng)邊緣，屬于有效邊緣，將兩閾值之間的邊緣定義為弱邊緣，當(dāng)弱邊緣連接了強(qiáng)邊緣才屬于有效邊緣，小于低閾值則被排除。

1.3 ?障礙物檢測(cè)

在障礙物檢測(cè)過(guò)程中，我們通常認(rèn)為距離相機(jī)較近的物體為障礙物，所以可以通過(guò)自適應(yīng)閾值方法對(duì)視差圖進(jìn)行二值化處理，則通過(guò)選取視差圖的均值作為閾值，進(jìn)而得到二值圖像。

為了降低由于噪聲、遮擋等因素的影響，這里通過(guò)形態(tài)學(xué)方法對(duì)二值圖像進(jìn)行開(kāi)運(yùn)算處理，消除面積較小的連通區(qū)域。經(jīng)過(guò)形態(tài)學(xué)處理后的圖像進(jìn)行輪廓檢測(cè)法可獲得障礙物所在的區(qū)域。

由于輪廓檢測(cè)法獲得的障礙物區(qū)域包含大量干擾成分，所以需要對(duì)其進(jìn)行細(xì)化，以便得到更加準(zhǔn)確的障礙物輪廓矩形區(qū)域信息。于是，在此基礎(chǔ)上，通過(guò)求取障礙物區(qū)域邊緣像素坐標(biāo)點(diǎn)的外輪廓矩形，則可擬合出障礙物最小邊框。障礙物區(qū)域的細(xì)化過(guò)程如圖2所示，其中，星型物體表示障礙物，圓點(diǎn)表示障礙物的邊緣坐標(biāo)點(diǎn)。

2 ?實(shí)驗(yàn)與討論

實(shí)驗(yàn)中計(jì)算機(jī)平臺(tái)為i5-7500處理器，8 GB內(nèi)存，軟件平臺(tái)為Python3與OpenCV，雙目攝像機(jī)平臺(tái)采用全瑞視訊200萬(wàn)像素的USB高清雙目攝像頭模塊。通過(guò)相機(jī)標(biāo)定和圖像校正得到圖像分辨率為598×322 pixel。相機(jī)標(biāo)定的參數(shù)有基線為60 mm，焦距為640 mm，測(cè)量深度范圍為500～3 000 mm。

圖3是采用雙目視覺(jué)方式實(shí)現(xiàn)的障礙物檢測(cè)的細(xì)化結(jié)果，其中圖3（a）為拍攝的室內(nèi)真實(shí)場(chǎng)景中的左視圖，圖3（b）為立體匹配計(jì)算得到的視差圖，并經(jīng)過(guò)上色處理的偽彩色圖，圖3（c）為自適應(yīng)閾值處理后的二值圖像，圖3（d）為細(xì)化后進(jìn)行擬合的輪廓圖。可以看出，根據(jù)視差圖通過(guò)閾值法分割提取得到障礙物區(qū)域存在較大誤差，而經(jīng)過(guò)細(xì)化后的障礙物區(qū)域，只保留了障礙物輪廓特征，大大降低了地面對(duì)障礙物檢測(cè)的干擾。

以真實(shí)場(chǎng)景中的紙皮箱和木凳作為障礙物，對(duì)比原始和細(xì)化后的相對(duì)誤差，其結(jié)果如圖4所示，其縱坐標(biāo)分別表示深度、高度和寬度的測(cè)量相對(duì)誤差值?？梢钥闯鼋?jīng)過(guò)細(xì)化后相對(duì)誤差有較大幅度的下降，以寬度的最為明顯，最大降幅可達(dá)75%，并且深度和高度的測(cè)量在細(xì)化后相對(duì)誤差均在5%以下。

在時(shí)間復(fù)雜度方面，通過(guò)反復(fù)多次測(cè)量統(tǒng)計(jì)，算法平均總耗時(shí)為65 ms，基本上達(dá)到15幀每秒，滿足系統(tǒng)的實(shí)時(shí)性，實(shí)驗(yàn)結(jié)果表明了該方法具有較強(qiáng)的自適應(yīng)性。

3 ?結(jié) ?論

本文是基于校內(nèi)某項(xiàng)目的研究成果，結(jié)合立體視覺(jué)和邊緣信息的實(shí)現(xiàn)障礙物檢測(cè)，為機(jī)器人的避障提供較好的障礙物數(shù)據(jù)支撐。通過(guò)對(duì)室內(nèi)地面的障礙物深度圖的分割，提取出障礙物區(qū)域，然后利用Canny邊緣檢測(cè)算法計(jì)算得到該區(qū)域的邊緣坐標(biāo)信息，實(shí)現(xiàn)了障礙物識(shí)別的精細(xì)化，有效提高了障礙檢測(cè)的精度，降低弱紋理地面因素的影響。在實(shí)際應(yīng)用中，由于陰影和光照等因素干擾，大大增加了障礙物的檢測(cè)難度，系統(tǒng)仍需針對(duì)這些干擾因素進(jìn)行進(jìn)一步的改良。

參考文獻(xiàn)：

[1] 張耀威，卞春江，周海，等.基于圖像與點(diǎn)云的三維障礙物檢測(cè) [J].計(jì)算機(jī)工程與設(shè)計(jì)，2020，41（4）：1169-1173.

[2] LAN J H，JIANG Y L，F(xiàn)AN G L，et al. Real-Time Automatic Obstacle Detection method for Traffic Surveillance in Urban Traffic [J].Journal of Signal Processing Systems，2016，82（3）：357-371.

[3] 張舜，郝泳濤.基于深度學(xué)習(xí)的障礙物檢測(cè)研究 [J].電腦知識(shí)與技術(shù)，2019，15（34）：185-187+193.

[4] 王軍華，李丁，劉盛鵬.基于改進(jìn)RANSAC的消防機(jī)器人雙目障礙檢測(cè) [J].計(jì)算機(jī)工程與應(yīng)用，2017，53（2）：236-240.

[5] 吳宗勝，李紅，韓改寧.結(jié)合立體視覺(jué)與超像素技術(shù)的道路障礙物概率檢測(cè) [J].機(jī)械科學(xué)與技術(shù)，2019，38（2）：277-282.

[6] 張易，項(xiàng)志宇，陳舒雅，等.弱紋理環(huán)境下視覺(jué)里程計(jì)優(yōu)化算法研究 [J].光學(xué)學(xué)報(bào)，2018，38（6）：226-233.

[7] HAN Y，CHU Z N，ZHAO K. Target positioning method in binocular vision manipulator control based on improved canny operator [J].Multimedia Tools and Applications，2019（5）：1-16.

作者簡(jiǎn)介：林堅(jiān)（1992—），男，漢族，廣東吳川人，碩士，研究方向：系統(tǒng)集成;通訊作者：王力虎（1962—），男，漢族，山西文水人，教授，碩士生導(dǎo)師，博士，研究方向：工業(yè)自動(dòng)化、計(jì)算機(jī)程序設(shè)計(jì)。