基于視差圖的未知環(huán)境下農(nóng)田障礙物檢測(cè)方法

茍 琴，耿 楠，張志毅

(西北農(nóng)林科技大學(xué)信息工程學(xué)院，陜西楊凌712100)

0 引言

障礙物檢測(cè)是智能農(nóng)業(yè)機(jī)械導(dǎo)航的關(guān)鍵。由于立體視覺(jué)技術(shù)具有信息量豐富、被動(dòng)式測(cè)量、速度快等特點(diǎn)，因此在智能農(nóng)業(yè)機(jī)器人環(huán)境感知中得到了廣泛應(yīng)用［1-3］。張磊等人［1］在分析農(nóng)田障礙物圖像信息特點(diǎn)的基礎(chǔ)上，采用基于掃描線上區(qū)域分割與特征匹配相結(jié)合的障礙物檢測(cè)算法，得到目標(biāo)區(qū)域的空間信息，進(jìn)行障礙物檢測(cè)。在聯(lián)合收獲視覺(jué)導(dǎo)航系統(tǒng)中，丁幼春等人［4］提出基于單目彩色圖像分割與立體視覺(jué)特征匹配相結(jié)合的測(cè)障方式，利用H、S顏色分量對(duì)單目圖像實(shí)施固定閾值分割并二值化，獲得潛在障礙物的位置及區(qū)域。楊慶華等人［5］對(duì)于矮小作物規(guī)則分布的農(nóng)田場(chǎng)景，在標(biāo)準(zhǔn)Hough變換的基礎(chǔ)上，預(yù)先檢測(cè)共線點(diǎn)峰值的限定偏角閾值，從而迅速檢測(cè)關(guān)鍵信息，最后尋找樹干與地面的交點(diǎn)，形成機(jī)器人行走的左右邊界。這些方法都要求對(duì)前進(jìn)過(guò)程中的障礙物和背景有先驗(yàn)知識(shí)，但在農(nóng)業(yè)機(jī)器視覺(jué)導(dǎo)航應(yīng)用中，由于障礙物不規(guī)則和背景多變等復(fù)雜因素［6］，無(wú)法有效地將障礙物與背景分割開。

針對(duì)上述問(wèn)題，本文提出一種基于視差圖的未知環(huán)境下障礙物檢測(cè)方法，通過(guò)對(duì)視差圖進(jìn)行區(qū)域連通和閾值過(guò)濾檢測(cè)出障礙物，此方法不需要障礙物和背景的先驗(yàn)知識(shí)。

1 雙目立體視覺(jué)原理

標(biāo)準(zhǔn)雙目立體視覺(jué)系統(tǒng)是由兩臺(tái)光軸嚴(yán)格平行的攝像機(jī)組成，如圖1所示，并且這兩臺(tái)攝像機(jī)的像平面精確位于同一平面，基距T一定，焦距f相同。

圖1 立體視覺(jué)系統(tǒng)

假設(shè)物理世界中任一點(diǎn)P在左右圖像上的成像點(diǎn)為P1和P2，相應(yīng)的橫坐標(biāo)分別為x1和x2，d=x1－x2定義為視差，則P到攝像機(jī)中心連線的距離Z為

2 試驗(yàn)方法

2.1 視差圖處理

本實(shí)驗(yàn)采用固定焦距的羅技系列普通CMOS網(wǎng)絡(luò)攝像頭，以基距237mm平行放置，通過(guò)USB接口與計(jì)算機(jī)相連，同步獲取大小為640*480像素的場(chǎng)景圖片。

攝像機(jī)標(biāo)定是立體視覺(jué)的先決條件［7］，本文采用的是Heikkila和Silven提出的傳統(tǒng)標(biāo)定方法［8］，獲取攝像機(jī)的內(nèi)外參數(shù)。利用攝像機(jī)的內(nèi)外參數(shù)，對(duì)攝像機(jī)進(jìn)行畸變矯正和極線校準(zhǔn)后，從不同視點(diǎn)圖像中找到匹配的對(duì)應(yīng)點(diǎn)即可完成立體匹配［9］。

塊匹配立體算法是常用的立體匹配算法［10］，該算法計(jì)算每個(gè)小窗口的絕對(duì)累計(jì)誤差 (SAD)，找到一定搜索范圍內(nèi)匹配代價(jià)最小的SAD窗口，即找到了左邊圖像的最佳匹配的像素塊，從而找到左右兩幅立體矯正圖像之間的匹配點(diǎn)?？紤]到障礙物與背景相比較具有較強(qiáng)的紋理特性，本文采用了改進(jìn)的立體匹配算法［11］，此算法主要通過(guò)預(yù)處理、匹配搜索、匹配提純3個(gè)步驟查找兩幅圖像之間的強(qiáng)紋理點(diǎn)的匹配。根據(jù)不同的農(nóng)田場(chǎng)景，通過(guò)調(diào)整參數(shù)winSize、numDisp和 filterThresh可得到較滿意的視差圖。winSize指搜索窗口的大小，如果太小，生成的視差圖紋理太細(xì)，導(dǎo)致單個(gè)物體的不完整;如果太大，造成部分物體丟失。numDisp指搜索視差范圍，當(dāng)物體距離較遠(yuǎn)時(shí)，可以適當(dāng)縮小。filterThresh用于濾掉誤匹配，當(dāng)誤匹配點(diǎn)過(guò)多時(shí)，可以相應(yīng)調(diào)整filterThresh的值。

圖2是利用雙目視覺(jué)系統(tǒng)對(duì)西北農(nóng)林科技大學(xué)試驗(yàn)田一麥地進(jìn)行拍攝的立體圖像對(duì)，麥地中的石塊為待檢測(cè)的障礙物。根據(jù)上述方法獲取視差圖，如圖3所示。近處的石頭色度較亮，遠(yuǎn)處的建筑物色度較暗，而麥地大部分面積紋理比較低，不參與立體匹配，因此只有很少的視差信息。

2.2 三維點(diǎn)云生成

給定屏幕坐標(biāo)和攝像機(jī)內(nèi)外參數(shù)矩陣，二維點(diǎn)可以重投影到三維中［12］，重投影矩陣如式 (2)

這里，除c'x外的所有參數(shù)都來(lái)自于左圖像，c'x是右圖像中心在右圖像上的x坐標(biāo)。(cx，cy)和f分別為左相機(jī)中心坐標(biāo)和焦距，Tx為旋轉(zhuǎn)矩陣的x軸分量。給定一個(gè)二維齊次點(diǎn)和其關(guān)聯(lián)的視差d，我們可以將此點(diǎn)投影到三維中

2.3 障礙物檢測(cè)

根據(jù)式 (1)，目標(biāo)物離攝像機(jī)越近，視差越大，目標(biāo)物離攝像機(jī)越遠(yuǎn)，視差越小，由此可見(jiàn)，視差圖包含了環(huán)境中事物的深度信息，并且通過(guò)視差圖中的連通域可以判斷障礙物的尺寸范圍，從而提取障礙物的三維信息。具體算法描述如下:

(1)設(shè)定視差閾值。根據(jù)智能農(nóng)業(yè)機(jī)器人作業(yè)要求，只需判斷一定距離內(nèi)的障礙物，所以當(dāng)視差小于某個(gè)閾值時(shí)，即目標(biāo)物在判斷距離外，將其視差值置零。

(2)區(qū)域連通。考慮到四連通具有更強(qiáng)的連通性［13］，因此本文采用四連通區(qū)域搜索算法進(jìn)行區(qū)域連通，保留面積大于給定閾值的區(qū)域并標(biāo)記。

(3)結(jié)合2.2中獲得的三維點(diǎn)云坐標(biāo)，通過(guò)查找一定距離內(nèi)物體的高度信息，當(dāng)高度大于預(yù)先設(shè)定的值時(shí)，判斷為障礙物，并計(jì)算出障礙物的距離和尺寸?？紤]到麥苗的高度和農(nóng)業(yè)機(jī)器人的行走特性，設(shè)置高度閾值為150mm。

基于2.1獲取的視差圖，進(jìn)行以上操作后，遠(yuǎn)處的景物，近處的麥地以及道路就被過(guò)濾了。通過(guò)多次試驗(yàn)，視差閾值和連通區(qū)域面積閾值分別為30和1000時(shí)能得到較好的效果。檢測(cè)到的障礙物的視差圖和灰度左圖像如4所示。

圖4 障礙物檢測(cè)結(jié)果

3 試驗(yàn)結(jié)果及分析

由于匹配窗口大小的選擇對(duì)雙目匹配的開銷有很大的影響［14］，因此本文設(shè)置了兩組不同匹配窗口大小的試驗(yàn)對(duì)測(cè)障的實(shí)時(shí)性進(jìn)行研究，每組實(shí)驗(yàn)分別從不同距離對(duì)圖2中的障礙物進(jìn)行了十次測(cè)量，待測(cè)障礙物的實(shí)際測(cè)量寬度和高度分別為370mm和520mm。本實(shí)驗(yàn)于2011.03.07下午對(duì)西北農(nóng)林科技大學(xué)試驗(yàn)田進(jìn)行取景，天氣陰。表1列出了障礙物距離測(cè)量和計(jì)算結(jié)果，表2列出了障礙物尺寸測(cè)量和計(jì)算結(jié)果，其中winSize為匹配窗口的大小。

由障礙物距離測(cè)量和計(jì)算結(jié)果可知，當(dāng)障礙物在攝像機(jī)5m視野內(nèi)時(shí)，winSize為31和21的相對(duì)偏差的絕對(duì)值分別在1.58%～4.53%，1.40%～4.37%范圍內(nèi)，而且大部分情況下是負(fù)偏差，只有在1.5m和4.4m時(shí)是正偏差。由障礙物尺寸測(cè)量和計(jì)算結(jié)果可知，winSize為31和21的相對(duì)偏差的絕對(duì)值分別在0.44% ～3.17%，0.29% ～3.81%范圍內(nèi)，同時(shí)正負(fù)偏差的情況比較均勻。

測(cè)障結(jié)果表明，兩種不同匹配窗口大小的情況下，計(jì)算得到的障礙物距離和尺寸的相對(duì)偏差變化不大，且都能滿足農(nóng)業(yè)智能機(jī)器人障礙物檢測(cè)對(duì)尺寸精度的要求，但匹配的開銷卻有很大的差異。當(dāng)匹配窗口的大小為31，圖像大小為640*480像素時(shí)，匹配耗時(shí)1132ms，不能滿足測(cè)障的實(shí)時(shí)性;當(dāng)匹配窗口的大小為21，圖像大小為640*480像素時(shí)，匹配耗時(shí)240ms，再加上后面的時(shí)間開銷，包括三維點(diǎn)云計(jì)算所用的31ms和目標(biāo)障礙物識(shí)別所用的33ms，總共304ms，能夠滿足農(nóng)業(yè)機(jī)器人實(shí)時(shí)測(cè)障的要求［15］。

表1 障礙物距離測(cè)量和計(jì)算結(jié)果

表2 障礙物尺寸測(cè)量和計(jì)算結(jié)果

圖5 多障礙物檢測(cè)結(jié)果

為了進(jìn)一步說(shuō)明該試驗(yàn)的實(shí)用性，本文對(duì)麥田多障礙物進(jìn)行了檢測(cè)試驗(yàn)，試驗(yàn)結(jié)果如圖5所示。試驗(yàn)結(jié)果表明，作為障礙物的兩個(gè)人均被成功檢測(cè)出。

4 結(jié)束語(yǔ)

本文提出了一種基于視差圖的未知環(huán)境下障礙物檢測(cè)方法，該方法不依賴于障礙物和背景的先驗(yàn)知識(shí)。在獲取左右場(chǎng)景視差圖的基礎(chǔ)上，經(jīng)過(guò)視差閾值和區(qū)域連通的過(guò)濾，可以較準(zhǔn)確地檢測(cè)到潛在障礙物;然后由面積閾值和高度閾值進(jìn)行進(jìn)一步過(guò)濾，檢測(cè)出障礙物并定位。實(shí)驗(yàn)表明，在5m視野內(nèi)，障礙物距離和尺寸測(cè)量的相對(duì)偏差絕對(duì)值分別控制在4.37%和3.81%以內(nèi)，共總耗時(shí)不超過(guò)310ms，能夠滿足農(nóng)業(yè)智能機(jī)器人在大多數(shù)情況下的作業(yè)要求。

［1］ZHANG Lei，WANGShumao，CHEN Qibin，et al.Detection of obstacles in farmland based on binocular vision［J］.Journal of China Agricultural University，2007，12(4):70-74(in Chinese).［張磊，王書茂，陳兵旗，等.基于雙目視覺(jué)的農(nóng)田障礙物檢測(cè)［J］.中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2007，12(4):70-74.］

［2］ZHOU Jun，CHEN Jiayu.Moving obstacle detection based on machion vision for agricultural moblie robot［J］.Transactions of the Chinese Society for Agricultural Machinery，2011，42(8):154-158(in Chinese).［周俊，程嘉煜.基于機(jī)器視覺(jué)的農(nóng)業(yè)機(jī)器人運(yùn)動(dòng)障礙目標(biāo)檢測(cè) ［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42(8):154-158.］

［3］WANG Hui，ZOU Wei，ZHENGRui.Vision based real time obstacle detection for moblie robots ［J］.Computer Engineering and Application，2006，41(25):46-48(in Chinese).［王輝，鄒偉，鄭睿.基于視覺(jué)的移動(dòng)機(jī)器人實(shí)時(shí)障礙檢測(cè)研究 ［J］.計(jì)算機(jī)工程與應(yīng)用，2006，41(25):46-48.］

［4］DING Youchun，WANG Shumao，CHEN Hong.Obstacle detection in the working area of agricultural vehicle based on machine vision［J］.Transactions of the Chinese Society for Agricultural Machinery，2009，40(z1)(in Chinese).［丁幼春，王書茂，陳紅.農(nóng)用車輛作業(yè)環(huán)境障礙物檢測(cè)方法 ［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40(z1)］

［5］YANG Qinghua，WU Jiayi，BAO Guanjun，et al.Algorithms of path guidance line based on computer vision and their applications in agriculture and forestry environment［J］.Transactions of the Chinese Society for Agricultural Machinery，2009，40(3):147-151(in Chinese).［楊慶華，吳佳藝，鮑官軍，等.農(nóng)林環(huán)境機(jī)器視覺(jué)導(dǎo)航路徑生成算法及應(yīng)用［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40(3):147-151.］

［6］ZHAO Xin.The main application of intelligent robot in the field of agriculture automation ［J］.Chinese Agricultural Science Bulletin，2010，26(10):360-364(in Chinese).［趙欣.智能機(jī)器人在農(nóng)業(yè)自動(dòng)化領(lǐng)域的主要應(yīng)用 ［J］.中國(guó)農(nóng)學(xué)通報(bào)，2010，26(10):360-364.］

［7］LOU Xiaoping，GUO Meiping.Methods of calibration improvement in the binocular vision system ［J］.Journal of Beijing Information Science and Technology University，2010，25(1):16-20(in Chinese).［婁小平，郭美萍.雙目視覺(jué)測(cè)量系統(tǒng)標(biāo)定精度提高方法研究［J］.北京信息科技大學(xué)學(xué)報(bào) (自然科學(xué)版)，2010，25(1):16-20.］

［8］Heikkila J，Silven O.A four-step camera calibration procedure with implicit image correction［C］//IEEE，1997.

［9］LUO Dan，LIAO Zhixian.Binocular distance measuring based on OpenCV ［J］.Popular Science News，2011(4):52-53(in Chinese).［羅丹，廖志賢.基于 OpenCV的雙目立體視覺(jué)測(cè)距［J］.大眾科技，2011(4):52-53.］

［10］BAI Ming，ZHUANG Yan，WANG Wei.Progress in binocular stereo matching algorithms［J］.Control and Decision，2008，23(7):721-729(in Chinese).［白明，莊嚴(yán)，王偉.雙目立體匹配算法的研究與進(jìn)展 ［J］.控制與決策，2008，23(7):721-729.］

［11］Bradsk G，Kaehler A.Learning OpenCV:Computer vision with the OpenCV library［M］.Sebastopol:O'Reilly Media，2008.

［12］LI Jian，CHEN Changming，LIAO Qiujun.A new stereo vision 3D measurement method based on OpenCV ［J］.Computer Measurement＆ Control，2009，17(12)(in Chinese).［李健，陳長(zhǎng)明，廖秋筠.一種新的基于 OpenCV的立體視覺(jué)三維測(cè)量方法 ［J］.計(jì)算機(jī)測(cè)量與控制，2009，17(12).］

［13］CAO Leping.Machine recognition of citrus variety based on the fractal dimensions of perimeter-area［J］.Transactions of the CSAE，2010，26(2):351-355(in Chinese).［曹樂(lè)平.基于周長(zhǎng)面積分形維數(shù)的柑橘品種機(jī)器識(shí)別［J］.農(nóng)業(yè)工程學(xué)報(bào)，2010，26(2):351-355.］

［14］SHU Xiao，YANG Chenhui，LIU Hui.Stereo matching method based on coupled neural network ［J］.Modern Computer，2009(12):4-7(in Chinese).［舒驍，楊晨暉，劉輝.基于耦合神經(jīng)網(wǎng)絡(luò)的立體匹配法 ［J］.現(xiàn)代計(jì)算機(jī) (下半月版)，2009(12):4-7.］

［15］Bochtis D，Soerensen C，N rremark M，et al.Agricultural field monitoring using a small robot［C］//CIGR Proceedings，Rosario，2009.