一種草莓圖像立體匹配方法

姚立健等

摘要：提出了一種基于尺度不變特征變換和隨機(jī)抽樣一致算法的立體匹配方法。首先采用SIFT算法提取左右草莓圖像的特征向量，再運(yùn)用RANSAC和極線約束法對(duì)兩幅圖像進(jìn)行特征點(diǎn)匹配，以降低特征點(diǎn)對(duì)之間的錯(cuò)配率，提高圖像匹配精度。最后利用雙目立體視覺(jué)原理對(duì)圖像各目標(biāo)進(jìn)行匹配試驗(yàn)。結(jié)果表明，該算法較傳統(tǒng)方法平均匹配精度提高50%，算法時(shí)間縮短66%，可滿足草莓收獲機(jī)器人視覺(jué)系統(tǒng)在自然采摘作業(yè)環(huán)境下的工作要求。

關(guān)鍵詞：雙目立體視覺(jué)；草莓圖像；特征匹配；RANSAC-SIFT算法

中圖分類號(hào)：S668.4；TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：0439-8114（2015）17-4297-03

DOI：10.14088/j.cnki.issn0439-8114.2015.17.050

雙目立體視覺(jué)技術(shù)被廣泛應(yīng)用于智慧農(nóng)業(yè)生產(chǎn)中，如自動(dòng)化收獲作業(yè)中的農(nóng)產(chǎn)品目標(biāo)識(shí)別[1，2]、定位[3，4]、農(nóng)產(chǎn)品的三維重建[5，6]、農(nóng)產(chǎn)品測(cè)量[7，8]等。該技術(shù)是通過(guò)兩臺(tái)攝像機(jī)從不同視角獲取同一目標(biāo)圖像，并通過(guò)視差及幾何測(cè)量方法獲得目標(biāo)深度信息[9]。左右圖像的特征匹配為雙目立體視覺(jué)系統(tǒng)中的關(guān)鍵技術(shù)之一，文獻(xiàn)[10-13]介紹了極線掃描法、動(dòng)態(tài)規(guī)劃法、圖形切割法、置信傳遞法等多種立體匹配方法。無(wú)論哪種方法，都需要挖掘待匹配圖像中合適的特征以建立正確的匹配關(guān)系。

尺度不變特征變換算法（Scale invariant feature transform，SIFT）具有提取局部特征的功能，其特征點(diǎn)定位準(zhǔn)確，具有很好的尺度、旋轉(zhuǎn)、視角和光照不變性，優(yōu)于其他局部特征提取算子。目前SIFT算法已成功應(yīng)用于立體視覺(jué)匹配等領(lǐng)域。如趙欽君等[14]用該算子為每個(gè)特征點(diǎn)定義主方向，將特征描述子的坐標(biāo)旋轉(zhuǎn)到與特征點(diǎn)的主方向一致，計(jì)算出每個(gè)特征點(diǎn)的特征向量描述子。許鋼等[15]以左、右兩幅圖像中特征向量較多的圖像作為基準(zhǔn)匹配圖像，另一幅圖像作為待匹配圖像，再由二者的特征向量之間的余弦相似度所建立的匹配規(guī)則進(jìn)行立體匹配。李盛輝等[16]使用多線程技術(shù)采集多目視覺(jué)圖像，并用改進(jìn)SIFT算法進(jìn)行特征點(diǎn)提取與匹配，檢測(cè)運(yùn)動(dòng)障礙目標(biāo)。張凱等[17]用改進(jìn)型SIFT算法進(jìn)行圖像特征匹配，實(shí)現(xiàn)了溫室環(huán)境下紅掌圖像的拼接。SIFT算法在提取匹配點(diǎn)的過(guò)程中，存在匹配時(shí)間長(zhǎng)、誤匹配率高的缺點(diǎn)。本試驗(yàn)以溫室環(huán)境中的草莓圖像為研究對(duì)象，對(duì)上述匹配算法進(jìn)行改進(jìn)和優(yōu)化，可有效縮短匹配時(shí)間，提高匹配精度。

1 試驗(yàn)儀器與工作原理

本研究采用平行式雙目視覺(jué)系統(tǒng)，圖像采集平臺(tái)采用一對(duì)松下WV-CP480/CH攝像頭、精工SSV0358鏡頭、大恒DH-CG300圖像采集卡，PC機(jī)配置為P4 2.4 GHz、內(nèi)存2 G。采集的圖像尺寸為768×576像素。圖像分析軟件為MATLAB 7.0。圖像采集于杭州建德紅群草莓專業(yè)合作社立體種植的草莓大棚。左右攝像機(jī)采集的圖像如圖1所示。

立體視覺(jué)系統(tǒng)工作原理如圖2所示，由完全相同的兩個(gè)攝像機(jī)從不同位置拍攝同一景物，兩幅圖像位于同一平面上，兩個(gè)攝像機(jī)坐標(biāo)系的坐標(biāo)軸相互平行，且其x軸重合；兩攝像機(jī)在x軸方向上的間距為基線的距離2a，焦距為f。假設(shè)坐標(biāo)系原點(diǎn)和左攝像機(jī)光心重合，場(chǎng)景點(diǎn)P（X，Y，Z）在左右圖像平面中的投影點(diǎn)分別為PL、PR。（ul，vl）、（ur，vr）表示點(diǎn)P在左右圖像上的像素坐標(biāo)；（uol，vol）、（uor，vor）表示左右攝像機(jī)光心。由△OLPL和△OMP相似、△ORRPR和△ORNP相似可得目標(biāo)P的深度信息Z如下。

Z=■ （1）

式（1）中，xl=ul-uol；xr=ur-uor。

則|xr-xl|表示投影點(diǎn)P在左右圖像中的水平視差。若yl=vl-vol，yr=vr-vor，則|yr-yl|表示投影點(diǎn)垂直視差。因此，各種場(chǎng)景點(diǎn)的深度恢復(fù)可以通過(guò)計(jì)算水平視差來(lái)實(shí)現(xiàn)。

2 匹配算法

2.1 SIFT提取圖像特征向量

SIFT算法可在尺度空間中尋找圖像的局部性特征，其計(jì)算過(guò)程可以分為4步：①檢測(cè)尺度空間極值點(diǎn)；②精確定位特征點(diǎn)；③特征點(diǎn)方向分配；④特征點(diǎn)描述子的生成。具體算法可參考文獻(xiàn)[18]。最終為每個(gè)特征點(diǎn)形成一個(gè)四維的SIFT特征向量，該向量分別涵蓋特征點(diǎn)的位置、向量的方向和長(zhǎng)度信息。此SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特征向量的長(zhǎng)度歸一化，則可以進(jìn)一步去除光照變化的影響。圖1經(jīng)過(guò)SIFT算法提取的特征向量如圖3所示。圖中箭頭方向的長(zhǎng)度分別表示特征向量的方向和大小。

2.2 RANSAC算法剔除錯(cuò)誤的匹配點(diǎn)

當(dāng)左右兩幅圖像的SIFT特征點(diǎn)特征向量生成后，采用特征向量的歐氏距離尋找兩幅圖像之間的匹配點(diǎn)。根據(jù)極線幾何約束理論[19]，左右兩幅圖像特征點(diǎn)位置應(yīng)只存在橫向的偏差，其縱向坐標(biāo)不可能出現(xiàn)較大偏差，因此這里對(duì)左圖某個(gè)特征點(diǎn)，僅在其對(duì)應(yīng)的右圖中與其縱坐標(biāo)相差±10像素的范圍內(nèi)搜尋，這樣縮小搜索范圍，匹配時(shí)間將極大縮短。可采用隨機(jī)抽樣一致（random sampzing consensus，RANSAC）算法進(jìn)一步降低特征點(diǎn)對(duì)之間的錯(cuò)配率，RANSAC基本思想描述如下。

Step1：根據(jù)兩幅圖像的投影變換關(guān)系，即在圖3a與圖3b所有特征點(diǎn)的投影變換矩陣，如式（2）所示。

x′y′1=h11 h12 h13h21 h22 h23h31 h32 1xy1=H×A （2）

式（2）中，（x，y）（x，y）分別表示左右圖像的待匹配點(diǎn)坐標(biāo)。

Step2：設(shè)初始最佳內(nèi)點(diǎn)數(shù)Ni為0，重復(fù)N次隨機(jī)采樣。本試驗(yàn)的矩陣H估計(jì)需要的匹配點(diǎn)為4對(duì)，根據(jù)4對(duì)匹配點(diǎn)計(jì)算出變換矩陣；計(jì)算每個(gè)匹配點(diǎn)經(jīng)過(guò)矩陣變換后到對(duì)應(yīng)匹配點(diǎn)的歐式距離D。

D=d（A′i，HAi）2 （3）

Step3：設(shè)定一距離閾值T，把滿足D

Step4：經(jīng)過(guò)若干次隨機(jī)抽樣計(jì)算后（此時(shí)內(nèi)點(diǎn)數(shù)量基本保持不變），選擇內(nèi)點(diǎn)最多、誤差函數(shù)最小的變換矩陣參數(shù)為圖像間的投影變換矩陣，此時(shí)的內(nèi)點(diǎn)即為左右圖像的匹配點(diǎn)。

3 試驗(yàn)與分析

采用上述RANSAC-SIFT方法對(duì)采集好的圖像（圖1a、1b）進(jìn)行匹配。在左圖中共提取2 168個(gè)特征點(diǎn)，在右圖中共提取2 232個(gè)特征點(diǎn)，通過(guò)傳統(tǒng)的歐氏距離方法可得匹配點(diǎn)298個(gè)，經(jīng)過(guò)RANSAC和極線約束法進(jìn)行優(yōu)化處理后，獲得正確匹配點(diǎn)149個(gè)。圖4中“*”、“o”分別表示左右兩圖匹配點(diǎn)的位置，匹配結(jié)果如圖5及表1所示。

由圖5可以看出，大棚立體種植的草莓圖像大致由草莓目標(biāo)、草莓花、草莓藤葉、栽培盆和大棚背景等5部分組成，傳統(tǒng)的匹配方法?；谀繕?biāo)單一形心進(jìn)行匹配，這里對(duì)5部分分別進(jìn)行多像素匹配，結(jié)果如表2所示。

由圖4、圖5和表1、表2可得：

1）本試驗(yàn)是對(duì)圖像中各類目標(biāo)整體進(jìn)行匹配，較傳統(tǒng)匹配方法匹配精度提高50%，很好地提高了立體匹配效果；

2）本試驗(yàn)算法的匹配時(shí)間為2.54 s，較傳統(tǒng)方法縮短4.95 s，匹配時(shí)間縮短66%，匹配實(shí)時(shí)性顯著提高；

3）草莓圖像中距離攝像機(jī)較近的草莓目標(biāo)、草莓花誤匹配的像素相對(duì)較少，較遠(yuǎn)的藤葉、栽培盆和大棚背景誤匹配像素較多，這可能是由于攝像機(jī)對(duì)于較遠(yuǎn)背景的細(xì)節(jié)提取不夠所致。

4 小結(jié)

本試驗(yàn)提出了一種基于RANSAC-SIFT算法的立體視覺(jué)匹配方法，該方法可有效提高匹配正確率和匹配的實(shí)時(shí)性。與單純基于目標(biāo)形心匹配的方法相比較，由于該方法是基于圖像各類目標(biāo)內(nèi)所有像素進(jìn)行立體匹配，所以匹配結(jié)果具有更好的一致性和魯棒性。在后續(xù)研究中，應(yīng)結(jié)合圖像分割的方法，并充分利用圖像的色彩、紋理等信息，對(duì)不同目標(biāo)分別進(jìn)行匹配，以進(jìn)一步提高精度和實(shí)時(shí)性。

參考文獻(xiàn)：

[1] 孫 俊， 蘆 兵，毛罕平.基于雙目識(shí)別技術(shù)的復(fù)雜背景中果實(shí)識(shí)別試驗(yàn)[J].江蘇大學(xué)學(xué)報(bào)（工學(xué)版），2011，32（4）：423-427.

[2] YAMAMOTO S，KOBAYASHI K，KOHNO Y.Evaluation of a strawberry-harvesting robot in a field test[J]. Biosystems Engineering，2010，15（2）：160-171.

[3] 項(xiàng) 榮，應(yīng)義斌，蔣煥煜，等.基于雙目立體視覺(jué)的番茄定位[J].農(nóng)業(yè)工程學(xué)報(bào)，2012，28（5）：161-167.

[4] 彭 輝，吳鵬飛，翟瑞芳.基于視差圖像的重疊果實(shí)圖像分割算法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43（6）：167-173.

[5] 殷小舟，淮永建，黃冬輝.基于雙目立體視覺(jué)的花卉三維重建[J].揚(yáng)州大學(xué)學(xué)報(bào)（農(nóng)業(yè)與生命科學(xué)版），2012，33（3）：91-94.

[6] 趙春江，楊 亮，郭新宇，等.基于立體視覺(jué)的玉米植株三維骨架重建[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41（4）：157-162.

[7] 王傳宇，趙 明，閻建河.基于雙目立體視覺(jué)的苗期玉米株形測(cè)量[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43（6）：167-173.

[8] 袁 挺，李 偉，譚豫之，等.溫室環(huán)境下黃瓜采摘機(jī)器人信息獲取[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009，40（10）：151-155.

[9] BARNARD S T. Stochastic stereo matching over scale[J]. International Journal of Computer Vision，2009，3（1）：17-32.

[10] ROY S， COX I J. A maximum-flow formulation of the N-camera stereo correspondence problem[A]. Sixth International Conference on Computer Vision[C]. Bombay，India，2011：492-499.

[11] KOLMOGOROV V， ZABIH R. Computing Visual Correspondence with occlusions using graph cuts[A]. Eighth International Conference on Computer Vision[C].Vancouver， Canada， 2012： 508-515.

[12] YANG Q X. Stereo matching with color-weighted correlation， hierarchical belief propagation and occlusion handling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2009， 31（3）：492-504.

[13] CAI J. Integration of optical flow and dynamic programming for stereo matching[J]. Image Processing， IET， 2012， 6（3）：205-212.

[14] 趙欽君，趙東標(biāo)，韋 虎.Harris-SIFT算法及其在雙目立體視覺(jué)中的應(yīng)用[J].電子科技大學(xué)學(xué)報(bào)，2010，39（4）：546-550.

[15] 許 鋼，林園勝，江娟娟，等.改進(jìn)型SIFT立體匹配算法研究[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（6）：134-138.

[16] 李盛輝，周 俊，姬長(zhǎng)英，等.基于全景視覺(jué)的智能農(nóng)業(yè)車輛運(yùn)動(dòng)障礙目標(biāo)檢測(cè)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（12）：239-244.

[17] 張 凱，耿長(zhǎng)興，張二鵬，等.溫室環(huán)境下紅掌圖像拼接算法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（4）：223-227.

[18] LOWE D G.Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004， 60（2）：91-110.

[19] MARR D.Vision. A Computational Investigation into the Human Representation and Processing of Visual Information[M]. San Francisco： Freeman W H， 1982.