著陸避障中雙目立體匹配方法與仿真*

劉　洋,王　立,華寶成,李　濤

0　引　言

為了提高深空探測(cè)器在危險(xiǎn)區(qū)域的安全著陸能力，未來(lái)的著陸器勢(shì)必要求具有一定的障礙規(guī)避能力.要達(dá)到障礙規(guī)避的效果，首先要對(duì)著陸區(qū)的障礙進(jìn)行檢測(cè).相機(jī)相對(duì)于激光雷達(dá)有重量輕、成本低、成熟度高的優(yōu)勢(shì)，利用雙目相機(jī)拍攝的圖片采用匹配算法進(jìn)行匹配，之后用三角測(cè)量原理得到稠密的數(shù)字高程圖.根據(jù)高程圖識(shí)別障礙找到最優(yōu)著陸區(qū)可有效地降低著陸風(fēng)險(xiǎn)[1-2].

著陸過(guò)程中利用相機(jī)獲得高程的方式主要有3種[3]：雙目視覺(jué)法(stereo vision,SV)、基于運(yùn)動(dòng)的結(jié)構(gòu)重建(structure from motion,SFM)和基于陰影的形貌重建(shape from shading,SFS).SV算法中2個(gè)相機(jī)以已知的基線長(zhǎng)度安裝在著陸器上，獲得左右圖后直接進(jìn)行匹配；SFM算法與SV類似，但兩幅輸入圖像不是在同一時(shí)間被兩個(gè)不同的相機(jī)拍下，而是由一個(gè)相機(jī)在兩個(gè)不同的時(shí)間拍下；SFS算法輸入單幅圖像，利用物體成像表面亮度的變化，參照表面反射特性或形狀的附加約束，解析出物理表面矢量信息，轉(zhuǎn)化得到表面深度信息[4].后續(xù)的研究表明SV算法更易于使用[3-5].美國(guó)噴氣推進(jìn)實(shí)驗(yàn)室對(duì)立體圖像應(yīng)用立體視覺(jué)算法，用SAD5(基于一個(gè)像素取5個(gè)重疊匹配窗口)作為代價(jià)函數(shù)來(lái)匹配計(jì)算得到高程圖，從而進(jìn)行斜坡估計(jì)和巖石探測(cè)[6]；WOICKE等[5]也利用立體視覺(jué)的方式通過(guò)雙目匹配得到高程圖，進(jìn)行著陸過(guò)程中的斜坡估計(jì)和粗糙度分析.雙目立體匹配作為使用被動(dòng)敏感器(即相機(jī))進(jìn)行著陸避障的重要步驟，對(duì)建立精準(zhǔn)的稠密高程圖有著重要作用.基于單目圖像的避障已經(jīng)在“嫦娥三號(hào)”任務(wù)中成功實(shí)施，我國(guó)火星探測(cè)任務(wù)也將考慮使用立體視覺(jué)等方式來(lái)獲得著陸區(qū)域信息進(jìn)行避障，針對(duì)地外天體著陸場(chǎng)景的特殊性，北京控制工程研究所正在積極研究適應(yīng)于地外星體著陸任務(wù)要求的匹配方法.

雙目匹配的方法可簡(jiǎn)要分為局部立體匹配和全局立體匹配.基于局部的立體匹配算法采用局部?jī)?yōu)化的理論方法進(jìn)行視差估計(jì)，是在最大視差的范圍內(nèi)找出匹配代價(jià)最小的像素點(diǎn)作為目標(biāo)匹配像素，利用局部信息求出匹配代價(jià)最小的像素點(diǎn)從而計(jì)算出視差.常見(jiàn)的算法有基于窗口灰度和非參數(shù)變換的立體匹配算法.基于全局的立體匹配算法使用全局約束來(lái)解決匹配問(wèn)題，通常被描述為能量最小化問(wèn)題，在其建立的能量函數(shù)中，除了數(shù)據(jù)項(xiàng)之外，還有平滑項(xiàng).數(shù)據(jù)項(xiàng)主要是測(cè)量像素之間的相似性問(wèn)題，而平滑項(xiàng)是平滑像素之間的視差關(guān)系，保證相鄰像素之間視差的平滑性.全局立體匹配算法有：置信度傳播算法、基于動(dòng)態(tài)規(guī)劃的全局立體匹配算法、基于圖割的全局立體匹配算法等.在航天任務(wù)中由于硬件平臺(tái)和處理時(shí)間的約束，匹配算法必須在保證實(shí)時(shí)性的基礎(chǔ)上達(dá)到一定的精度.全局算法資源占用多且計(jì)算量大.從實(shí)時(shí)性的角度，本文選取幾種局部立體匹配方法進(jìn)行仿真和分析.

1　基于區(qū)域灰度的立體匹配方法

(1) 在極線對(duì)正的情況下，基于區(qū)域的代價(jià)計(jì)算是利用窗口內(nèi)像素的灰度信息來(lái)進(jìn)行代價(jià)計(jì)算，常見(jiàn)的代價(jià)計(jì)算方法有絕對(duì)誤差之和(SAD)和差的平方和(SSD)：

SAD:

(1)

SSD:

(2)

式中c(x,y,d)表示右圖中(x,y)點(diǎn)在視差d下的匹配代價(jià)，W為像素點(diǎn)所在的窗口，I為像素灰度值.SAD比SSD計(jì)算復(fù)雜度低，使用較為廣泛.為了解決遮擋、深度不連續(xù)、重復(fù)紋理等問(wèn)題，除了固定窗口之外，還提出了可移動(dòng)窗口法，多窗口法，變化窗口法等.在得到左右圖對(duì)應(yīng)像素所在窗口的所有代價(jià)值后，采用WTA(winner-take-all)的方法，在視差范圍內(nèi)選取匹配代價(jià)最優(yōu)的點(diǎn)(如SAD為最小)作為對(duì)應(yīng)的匹配點(diǎn)，得到對(duì)應(yīng)的視差值.

(2) 但SAD僅應(yīng)用像素灰度的方式容易受到左右相機(jī)拍到的圖像光照條件不一致的影響，而這種情況在實(shí)際場(chǎng)景中經(jīng)常發(fā)生.為了解決這個(gè)問(wèn)題，對(duì)每個(gè)代價(jià)計(jì)算窗口減去窗口灰度均值

(3)

式中WR和WL分別表示右窗口和左窗口區(qū)域，AWR和AWL分別表示右窗口和左窗口中像素灰度的均值，I表示像素灰度.通過(guò)減去窗口像素灰度均值的方式可以讓計(jì)算中的左右兩個(gè)窗口處于同一灰度水平，一定程度上改善了算法的匹配效果.

(3) 對(duì)圖像進(jìn)行LOG濾波后，再用SAD的方式計(jì)算窗口的代價(jià)值.LOG算子源于D. Marr計(jì)算視覺(jué)理論中提出的邊緣提取思想[7]，即首先對(duì)原始圖像進(jìn)行最佳平滑處理，最大程度地抑制噪聲，再對(duì)平滑后的圖像求取邊緣.對(duì)圖像進(jìn)行LOG濾波意在突出紋理信息，改善匹配效果.

2　非參數(shù)變換立體匹配方法

目前局部匹配的方法有很多，基本都集中于圖像預(yù)處理、像素間相似性的評(píng)價(jià)以及最優(yōu)匹配的選擇.另外也提出一些后處理的方法來(lái)優(yōu)化或改進(jìn)結(jié)果.大部分的局部方法都著眼于通過(guò)不同的相似性評(píng)價(jià)方法來(lái)提高相對(duì)精度.在這些方法中，Census立體方法可以給出相對(duì)精確的結(jié)果，并且具有較好的魯棒性能.同時(shí)，由于該算法大量應(yīng)用按位計(jì)算的方法，所以也非常適用于在FPGA上實(shí)現(xiàn)[8-10].

2.1　Census變換

Census立體方法首先對(duì)左右圖像進(jìn)行Census變換.為了定義Census變換，首先定義一個(gè)函數(shù)ξ,它代表了中心像素P和它周?chē)南袼豍′之間的關(guān)系，I代表給定像素的灰度值

(4)

通過(guò)比較像素P和它周?chē)叫未翱趦?nèi)灰度值的大小來(lái)計(jì)算得到，這些比較的結(jié)果組成一個(gè)簡(jiǎn)單的Census比特向量.對(duì)輸入圖像進(jìn)行變換之后，對(duì)相關(guān)窗口計(jì)算Hamming距離之和.Hamming距離是兩個(gè)向量間不同的比特個(gè)數(shù)，即對(duì)兩個(gè)向量求異或，這種量化準(zhǔn)則簡(jiǎn)單地評(píng)價(jià)了兩個(gè)Census變換像素間的差異性.因此，所有Census方法的像素間差異表示為：

∑P′∈W(P)Hamming(C1(P′),C2(P′+d))

(5)

這里C1和C2表示兩個(gè)Census變換的輸入圖像；d是水平向量，表示視差.Census變換和Hamming距離的求解如圖1所示.

圖1　Census變換和Hamming距離的求解Fig.1　Explanation of census transform andhamming distance

由于Census變換僅僅依賴于窗口內(nèi)像素的相對(duì)強(qiáng)度，這種變換利用了強(qiáng)度的相對(duì)排序，一定程度上避免了輻射變形(radiometric distortion)，由兩個(gè)相機(jī)輕微的位置差異、漸暈(vegnetting)、輻射強(qiáng)度差異、圖像噪聲等，同時(shí)對(duì)立體圖像對(duì)中的深度不連續(xù)處有較強(qiáng)的容忍能力.

一般來(lái)說(shuō)選擇的區(qū)域窗口越大，Census變換得到的向量越長(zhǎng)，包含的信息量越大，需要更多的存儲(chǔ)空間，例如窗口邊長(zhǎng)為T(mén)=5時(shí)，每個(gè)像素?fù)Q算為一個(gè)24比特的向量，而邊長(zhǎng)為T(mén)=7時(shí)，每個(gè)像素的信息則需要48比特來(lái)存儲(chǔ).窗口大到一定程度會(huì)出現(xiàn)只增加計(jì)算量和資源占用量卻沒(méi)有大幅度改善匹配精度的情況，同時(shí)發(fā)現(xiàn)同等窗口大小時(shí)并不一定需要窗口內(nèi)每個(gè)像素的比較結(jié)果.為了節(jié)省資源，提出了稀疏Census變換(sparse Census transform).

2.2　稀疏Census變換

思路與全Census變換相似.在該方法下只選擇窗口內(nèi)的一些點(diǎn)和中心像素進(jìn)行比較.用來(lái)比較的點(diǎn)太少會(huì)影響匹配的效果，但根據(jù)文獻(xiàn)[8]，對(duì)于圖2所示的變換方式，在代價(jià)聚合窗口為13*13時(shí)，圖2的(a)(b)(c)能得到與全變換相當(dāng)、甚至高于全變換的匹配精度.

圖2　稀疏Census模板Fig.2　Sparse census transform examples

3　仿真測(cè)試

3.1　數(shù)據(jù)庫(kù)圖像測(cè)試

針對(duì)SAD經(jīng)過(guò)LOG濾波的SAD、灰度規(guī)范化的SAD、全Census變換以及8-point Sparse Census變換這五種匹配算法，利用Middlebury提供的數(shù)據(jù)庫(kù)中的圖像(圖3)測(cè)試和對(duì)左右圖光照強(qiáng)度不一致的情況(圖4)也進(jìn)行了仿真，對(duì)應(yīng)數(shù)據(jù)庫(kù)中圖像摩托車(chē)E.

將匹配得到的視差圖和視差真實(shí)值進(jìn)行比較，針對(duì)單個(gè)像素點(diǎn)，若當(dāng)前點(diǎn)計(jì)算得到的視差與視差真實(shí)值中該點(diǎn)的視差的差值大于等于1，則該點(diǎn)記為誤匹配點(diǎn)，統(tǒng)計(jì)誤匹配點(diǎn)占總像素?cái)?shù)的比例，從而得到各種算法對(duì)應(yīng)的誤匹配率.匹配錯(cuò)誤率及計(jì)算用時(shí)如表1和表2及圖5所示.運(yùn)行平臺(tái)為Inter(R) core(TM) i5-3470 CPU @3.20GHz, 3.47 GB的內(nèi)存物理地址擴(kuò)展.

表1　數(shù)據(jù)庫(kù)圖像匹配錯(cuò)誤率Tab.1　Error rate of five algorithms in Middlebury College pictures test

表2　數(shù)據(jù)庫(kù)圖像匹配用時(shí)Tab.2　Time of five algorithms in Middlebury College pictures test/s

由上述匹配結(jié)果看出，SAD相比其他算法性能較差，在左右相機(jī)光照條件不一致的情況下幾乎不能得到匹配正確的點(diǎn)；加了LOG濾波以及灰度規(guī)范化后的SAD算法的準(zhǔn)確性得到提高，特別是改善了光照不一致時(shí)的匹配效果，如圖摩托車(chē)E，匹配精度也能達(dá)到正常水平.Census算法的匹配準(zhǔn)確性比SAD高出很多，由于算法本身的特性，其抗圖像輻射不一致效果極佳；稀疏化后的Census變換也沒(méi)有降低匹配精度，甚至在一些弱紋理場(chǎng)景(如：Recycle)下精度還會(huì)有小幅度的提升.從計(jì)算時(shí)間來(lái)看，LOG濾波后的SAD算法極大地縮減了計(jì)算時(shí)間，用時(shí)最少，實(shí)時(shí)性極佳.灰度規(guī)范化的SAD、sparse Census，這兩種方法計(jì)算用時(shí)大致相當(dāng)，全Census變換比前述方法用時(shí)多出一倍以上.

圖3　數(shù)據(jù)庫(kù)圖像Fig.3　Middlebury college pictures

圖4　摩托車(chē)EFig.4　Motorcycle E

圖5　五種算法錯(cuò)誤率及計(jì)算用時(shí)比較Fig.5　Error rate and time of five algorithms

3.2　沙盤(pán)圖像測(cè)試

地外星體著陸避障任務(wù)中由于場(chǎng)景單一，圖像紋理較弱，針對(duì)這種特殊應(yīng)用場(chǎng)景，利用模擬沙盤(pán)圖像對(duì)上述4種方法進(jìn)行仿真，效果圖如圖6～11所示.

圖6　沙盤(pán)拍圖(原圖)Fig.6　Sand table picture

圖7　SAD匹配結(jié)果Fig.7　Disparity mapwith SAD

圖8　LOG SAD匹配結(jié)果Fig.8　Disparity map with LOG SAD

圖9　灰度規(guī)范化的SAD匹配結(jié)果Fig.9　Disparity map of Improved SAD (illumination normalization)

圖10　全Census變換匹配結(jié)果Fig.10　Disparity map of Census transform

圖11　8-points sparse Census變換匹配結(jié)果Fig.11　Disparity map of 8-points sparse Census transform

由于沙盤(pán)圖像沒(méi)有確切的視差真實(shí)值，所以上述匹配結(jié)果經(jīng)過(guò)左右一致性比較來(lái)評(píng)價(jià)算法的性能，即左右圖同名點(diǎn)的視差值不一致則該點(diǎn)視差值置零(即圖中的黑色部分).簡(jiǎn)單認(rèn)為視差不一致的點(diǎn)即為匹配錯(cuò)誤點(diǎn).統(tǒng)計(jì)上述放在在沙盤(pán)測(cè)試中的計(jì)算用時(shí)和誤匹配率，如表3所示。

表3　沙盤(pán)測(cè)試中算法計(jì)算用時(shí)及誤匹配率Tab.3　Error rates and time of five algorithms in sand table pictures test

4　結(jié)　論

本文針對(duì)航天應(yīng)用場(chǎng)景橫向比較了SAD和Census變換這兩種匹配算法. SAD算法實(shí)時(shí)性很好，但匹配精度較低，且在左右圖輻射情況不一致時(shí)匹配結(jié)果幾乎全軍覆沒(méi)，故而提出窗口灰度規(guī)范化的改進(jìn)SAD算法以及LOG濾波后的SAD，這兩種方法一定程度上提高了算法的精度，而且加入LOG濾波后可相應(yīng)縮短計(jì)算時(shí)間.但無(wú)論面對(duì)數(shù)據(jù)庫(kù)中的場(chǎng)景還是地形模擬沙盤(pán)，基于SAD值的匹配算法精度還是顯著低于Census變換加Hamming距離的匹配方式.Sparse Census變換和全Census變換精度相當(dāng)，在適當(dāng)?shù)馗淖冏儞Q窗口后采用Sparse Census變換甚至?xí)懈玫钠ヅ湫Ч瑫r(shí)相比全Census變換，稀疏Census變換也很好地縮短了計(jì)算用時(shí).綜合算法精度和實(shí)時(shí)性要求，稀疏Census變換算法在行星著陸避障中有較好的適用性.