非特征點(diǎn)雙目測(cè)距技術(shù)研究*

許承慧，劉桂華，梁 峰

(西南科技大學(xué) 信息工程學(xué)院，四川 綿陽(yáng)621000)

雙目立體視覺測(cè)距[1]技術(shù)作為機(jī)器視覺領(lǐng)域的一個(gè)研究熱點(diǎn)，目前已廣泛應(yīng)用于機(jī)器人、三維測(cè)量、虛擬現(xiàn)實(shí)等領(lǐng)域。特別在機(jī)器人應(yīng)用領(lǐng)域，實(shí)現(xiàn)機(jī)器人路徑規(guī)劃和避障[2]的一個(gè)關(guān)鍵技術(shù)就是準(zhǔn)確測(cè)量機(jī)器人到障礙物的距離。目前常用的測(cè)距方法主要有：紅外測(cè)距、激光測(cè)距、微波雷達(dá)測(cè)距等主動(dòng)測(cè)距[3]方案和雙目立體視覺測(cè)距、單目測(cè)距等被動(dòng)測(cè)距[4]方案。其中，主動(dòng)測(cè)距方案一般需要額外的能量發(fā)射裝置和合適的傳播介質(zhì)，所以不適用于惡劣條件下工作的機(jī)器人；而被動(dòng)測(cè)距方案中的雙目立體視覺測(cè)距在一定程度上實(shí)現(xiàn)了人眼的視覺感知功能，具有探測(cè)范圍寬、目標(biāo)信息完整、不需配備額外裝置等優(yōu)點(diǎn)，在機(jī)器人定位導(dǎo)航、避障等研究領(lǐng)域得到了越來(lái)越廣泛的應(yīng)用。

雙目測(cè)距技術(shù)的關(guān)鍵在于特征點(diǎn)匹配[5]，因?yàn)槠ヅ渚戎苯佑绊憸y(cè)距的精度。為了減少匹配的不確定性，提高匹配效率，國(guó)內(nèi)外眾多專家學(xué)者應(yīng)用了約束假設(shè)，而約束一般可分為兩類：(1)基于圖像幾何的約束[6]，例如位置、朝向等；(2)基于場(chǎng)景的約束[7]，例如場(chǎng)景中物體的性狀和相互關(guān)系。依據(jù)這些基本約束并結(jié)合實(shí)際情況選擇合適的解決方案，使得目前的特征點(diǎn)匹配技術(shù)日臻完善。但針對(duì)非特征點(diǎn)的立體匹配，尤其是紋理缺乏、特征缺失的圖像區(qū)域，如何匹配其中的非特征點(diǎn)是一個(gè)研究難點(diǎn)。目前國(guó)內(nèi)外常用的解決方案是對(duì)視差圖[8]進(jìn)行修補(bǔ)或者對(duì)整幅圖像在區(qū)域增長(zhǎng)的基礎(chǔ)上進(jìn)行稠密匹配[9]等。這樣可以解決一部分實(shí)際問題，但不適用于移動(dòng)機(jī)器人實(shí)時(shí)測(cè)距這一應(yīng)用背景，因?yàn)樾扪a(bǔ)視差圖需對(duì)環(huán)境有一定先驗(yàn)知識(shí)，而移動(dòng)機(jī)器人在緊急救援工作中對(duì)惡劣環(huán)境是沒有先驗(yàn)知識(shí)的。另一方面，由于稠密匹配需要計(jì)算所有像點(diǎn)的像素灰度值并與待匹配點(diǎn)及其鄰域像素的灰度值進(jìn)行對(duì)比，計(jì)算量龐大，耗時(shí)過(guò)長(zhǎng)的同時(shí)亦增加了系統(tǒng)誤差。

基于移動(dòng)機(jī)器人實(shí)時(shí)導(dǎo)航、測(cè)距這一應(yīng)用背景，本文研究了一種針對(duì)非特征點(diǎn)的雙目測(cè)距方案，以獲取需測(cè)距的非特征點(diǎn)的距離信息為目的，利用非特征點(diǎn)與已精準(zhǔn)匹配的特征點(diǎn)的位置關(guān)系，結(jié)合匹配中的順序一致性約束，構(gòu)造了 “最小矩形”，以縮小匹配點(diǎn)的搜索范圍，再利用NCC稠密匹配算法做立體匹配，最后結(jié)合雙目相機(jī)的標(biāo)定參數(shù)，利用雙目測(cè)距原理實(shí)現(xiàn)對(duì)非特征點(diǎn)的實(shí)時(shí)測(cè)距。實(shí)驗(yàn)結(jié)果表明，這種方法在降低運(yùn)算量的同時(shí)提高了測(cè)量的準(zhǔn)確度，而且充分利用了人機(jī)交互界面的友好性和反饋功能，適用于具體的工程實(shí)踐。

1 基本原理

1.1 特征點(diǎn)匹配

本方案基于雙目視覺理論，對(duì)雙目相機(jī)采集的兩幅圖片進(jìn)行處理。首先將圖像灰度化，再通過(guò)SIFT算子(即尺度不變特征變換算子)對(duì)圖像進(jìn)行特征點(diǎn)檢測(cè)，該算法可以使特征點(diǎn)具有較突出的匹配能力。設(shè)待匹配的兩幅圖像為L(zhǎng)和R，經(jīng)SIFT算法提取特征點(diǎn)后，左圖像L 中特征點(diǎn)集合為 Lp={f（p）1，f（p）2，…，f（p）m}，右圖像R 中特征點(diǎn)集合為 Rq={f（q）1，f（q）2，…，f（q）n}。

針對(duì)左右兩幅圖像生成的特征點(diǎn)集合，選用計(jì)算量相對(duì)較小的歸一化互相關(guān)算法（NCC算法）進(jìn)行立體匹配。該算法依據(jù)特征點(diǎn)鄰域像素值的相似性來(lái)進(jìn)行匹配，其定義公式如下：

其中，W1、W2是特征點(diǎn) p1、q2的匹配窗口，u1、u2是窗口內(nèi)像素灰度的均值，NCC算子的取值范圍是[-1，1]，取值越大代表匹配效果越好。本文經(jīng)實(shí)驗(yàn)驗(yàn)證，將NCC算子的閾值定為0.8時(shí)匹配效果最好，即當(dāng)特征點(diǎn)與右圖像中搜索區(qū)域內(nèi)的某點(diǎn)之間的歸一化互相關(guān)系數(shù)≥0.8時(shí)，認(rèn)為該點(diǎn)與特征點(diǎn)精確匹配。

1.2 非特征點(diǎn)匹配

在實(shí)際工程中，機(jī)器人操作者希望快速獲取圖像中某一點(diǎn)的實(shí)際距離，當(dāng)該點(diǎn)為非特征點(diǎn)時(shí)，首要問題是找到該點(diǎn)的匹配點(diǎn)。

以圖1為例，左圖像中用1*、2*、…標(biāo)示已精確匹配的特征點(diǎn)，其在右圖像中對(duì)應(yīng)的匹配點(diǎn)用*1′、*2′…標(biāo)示。A、B、C分別代表3種情況的非特征點(diǎn)：點(diǎn)A代表第一種情況，即該點(diǎn)附近5像素的鄰域內(nèi)有一個(gè)以上的特征點(diǎn)；點(diǎn)B代表第二種情況，即該點(diǎn)附近5像素鄰域內(nèi)沒有特征點(diǎn)，但是30像素鄰域內(nèi)有兩個(gè)或兩個(gè)以上的特征點(diǎn)；點(diǎn)C代表了第三種情況，即該點(diǎn)的30像素鄰域內(nèi)均無(wú)特征點(diǎn)。右圖像上，人工估計(jì)了非特征點(diǎn)的匹配點(diǎn)所在的區(qū)域，用a、b、c標(biāo)示；而通過(guò)非特征點(diǎn)匹配算法得到的匹配點(diǎn)則用A′、B′、C′標(biāo)示。下文具體介紹3種情況下的匹配方案。

圖1 非特征點(diǎn)匹配算法示意圖

情況1：先將點(diǎn)A的匹配點(diǎn)A′的搜索區(qū)域劃定在右圖像上以點(diǎn) 1*的精確匹配點(diǎn) *1′為中心的 21×21的矩形區(qū)域內(nèi)，再用 NCC算法在該區(qū)域內(nèi)計(jì)算匹配點(diǎn)A′。最后再與右圖像上人工確定的搜索區(qū)域的中心點(diǎn)a進(jìn)行比較，相距在12個(gè)像素之內(nèi)認(rèn)為算法正確，否則視該點(diǎn)為第三種情況。

情況2：將B點(diǎn)附近的精確匹配點(diǎn)按照距離大小排列,確定距離最近的兩個(gè)匹配點(diǎn) 2*和3*，依據(jù)順序不變性原理,用這兩個(gè)匹配點(diǎn)構(gòu)成“最小矩形”，且B點(diǎn)在矩形內(nèi)部。“最小矩形”的確定步驟如下：

（1）計(jì)算匹配的特征點(diǎn)到非特征點(diǎn)B的距離，從距離最小的特征匹配點(diǎn)開始，依次與B點(diǎn)坐標(biāo)進(jìn)行比較，直到找到一個(gè)與B點(diǎn)坐標(biāo)不同的點(diǎn)，即為構(gòu)建“最小矩形”的一個(gè)頂點(diǎn)（圖 1中 2*）。

（2）以B為原點(diǎn)建立二維坐標(biāo)系，判斷步驟(1)找到的頂點(diǎn)的象限，記為i；根據(jù)矩形性質(zhì)和順序一致性約束，確定構(gòu)成“最小矩形”的另一頂點(diǎn)的象限位置，設(shè)為j，由式（2）可確定 j，設(shè)該點(diǎn)坐標(biāo)為（x2，y2），則該點(diǎn)與坐標(biāo)原點(diǎn) B（x，y）的關(guān)系可由式（3）～式（6）確定。 即可確定構(gòu)成“最小矩形”的第二個(gè)頂點(diǎn)（圖1中的3*）。

（3）以找到的兩個(gè)特征點(diǎn)為頂點(diǎn)構(gòu)建“最小矩形”，在矩形范圍內(nèi)用NCC算法確定非特征點(diǎn)的匹配點(diǎn)（圖1中的B′點(diǎn)），再與右圖像上人工確定的搜索區(qū)域中心點(diǎn)（圖1中b點(diǎn)）做比較，若距離在12像素以內(nèi)認(rèn)為算法正確，否則視該點(diǎn)為第三種情況。

情況3：對(duì)點(diǎn)C直接利用機(jī)器人操作中人機(jī)交互的便利性，人工在右圖像上確定搜索區(qū)域，該區(qū)域是以點(diǎn)c為中心的21×21鄰域。該非特征點(diǎn)位于低紋理區(qū)域，因此不適合用前兩種情況來(lái)搜索匹配點(diǎn)，所以采用信任人工的方案，在人工確定的搜索區(qū)域做立體匹配，其另一優(yōu)點(diǎn)是可以直接避免對(duì)雙目盲點(diǎn)區(qū)域的匹配搜索工作。此外還可以對(duì)前兩種方案進(jìn)行校正和糾錯(cuò)。

1.3 非特征點(diǎn)重建及測(cè)距

對(duì)非特征點(diǎn)進(jìn)行立體匹配之后，結(jié)合雙目相機(jī)的標(biāo)定算法，獲取攝像機(jī)焦距fL、fR以及雙目相機(jī)的兩個(gè)攝像頭之間的旋轉(zhuǎn)、平移矩陣R和T，然后利用雙目測(cè)距公式（7）得到該非特征點(diǎn)在以左攝像機(jī)光心為原點(diǎn)的世界坐標(biāo)系中的三維坐標(biāo)（x，y，z）：

實(shí)現(xiàn)對(duì)非特征點(diǎn)的三維重建后，根據(jù)空間距離計(jì)算公式計(jì)算非特征點(diǎn)到左攝像機(jī)光心的距離信息L，實(shí)現(xiàn)對(duì)任意非特征點(diǎn)的距離測(cè)量。

2 測(cè)試及結(jié)果分析

實(shí)驗(yàn)采用Bumblebee2相機(jī)和維視的標(biāo)定板，通過(guò)標(biāo)定工具箱對(duì)相機(jī)內(nèi)外參數(shù)進(jìn)行標(biāo)定，相機(jī)參數(shù)如表1、表2所示。

表1 左右攝像頭內(nèi)參值

表2 兩攝像頭的空間距離

采集左右圖像，用SIFT算子進(jìn)行特征點(diǎn)提取，左右圖像檢測(cè)到的特征點(diǎn)數(shù)目分別為799和 908個(gè)。然后對(duì)特征點(diǎn)進(jìn)行立體匹配，利用極線約束和斜率法去除誤差較大的匹配點(diǎn)，得到如圖2所示的精確匹配的特征點(diǎn)對(duì)，匹配點(diǎn)對(duì)的數(shù)目為57，NCC值均在0.8以上，可視為精確的特征匹配點(diǎn)對(duì)。

圖2 去除誤匹配后的精確匹配特征點(diǎn)對(duì)

圖3顯示了非特征點(diǎn)測(cè)距過(guò)程，左圖像上任意點(diǎn)選了一些非特征點(diǎn)（*1～*17），右圖像上人工選取了立體匹配搜索區(qū)域的中心點(diǎn)（+1～+17），本文對(duì)任意選取的 17個(gè)非特征點(diǎn)進(jìn)行距離測(cè)量，并與實(shí)測(cè)值進(jìn)行比較，統(tǒng)計(jì)對(duì)照結(jié)果如表3所示。

圖3 任意非特征點(diǎn)與人工確定的匹配搜索范圍

表3 非特征點(diǎn)雙目測(cè)距統(tǒng)計(jì)結(jié)果

分析可知，該方案對(duì)任意點(diǎn)的測(cè)距結(jié)果與實(shí)測(cè)距離基本吻合，整體誤差在5%以內(nèi)。經(jīng)過(guò)多次實(shí)驗(yàn)可知，對(duì)實(shí)測(cè)距離為5 m以內(nèi)的非特征點(diǎn)，計(jì)算值與實(shí)際值的誤差在2%以內(nèi)，6 m以外的點(diǎn)測(cè)距結(jié)果誤差較大，特別是8 m以外的點(diǎn)誤差甚至超過(guò)4%，這是因?yàn)橛?jì)算模型將攝像機(jī)作為線性模型考慮，所以誤差是由距離增大時(shí)其非線性表現(xiàn)明顯造成的。但從整體來(lái)看，該方案的測(cè)距結(jié)果在允許的誤差范圍內(nèi)。

本文在vs2008版本的C++實(shí)現(xiàn)平臺(tái)下對(duì)多組分辨率為640×480的圖片進(jìn)行了測(cè)距實(shí)驗(yàn)，并與常用的視差圖測(cè)距方案對(duì)比，結(jié)果顯示本方案平均耗時(shí)12 ms，而視差圖方案平均耗時(shí)160 ms，可見該方案提高了實(shí)時(shí)性。

由以上結(jié)論可知，該測(cè)距方案簡(jiǎn)便可行，能滿足機(jī)器人導(dǎo)航中對(duì)任意非特征點(diǎn)進(jìn)行實(shí)時(shí)測(cè)距的要求。

本文研究的非特征點(diǎn)雙目測(cè)距方案以移動(dòng)機(jī)器人導(dǎo)航、避障為應(yīng)用背景，充分考慮了待測(cè)距的非特征點(diǎn)與周圍已匹配特征點(diǎn)的位置關(guān)系，構(gòu)建了“最小矩形”以縮小匹配點(diǎn)的搜索范圍，并充分利用人機(jī)交互界面的友好性，加以人工干預(yù)以矯正匹配的精確度，順利完成了對(duì)非特征點(diǎn)的測(cè)距工作。該方案的優(yōu)點(diǎn)是不用生成稠密視差圖，減少計(jì)算量的同時(shí)提高了算法的準(zhǔn)確性和實(shí)時(shí)性；且能夠任意選取圖像上的點(diǎn)進(jìn)行距離測(cè)量，操作方便，直觀性更強(qiáng)；可以人工對(duì)匹配點(diǎn)進(jìn)行校準(zhǔn)控制，反饋功能更強(qiáng)。但系統(tǒng)的穩(wěn)定性還有待提高。

[1]祝琨，楊唐文，阮秋琦，等.基于雙目視覺的運(yùn)動(dòng)物體實(shí)時(shí)跟蹤與測(cè)距[J].機(jī)器人，2009，31(4)：327-334.

[2]梁冰，洪炳镕，曙光.自主機(jī)器人視覺與行為模型及避障研究[J].電子學(xué)報(bào)，2003，31(21)：266-269.

[3]徐德，譚民.機(jī)器人視覺測(cè)量與控制[M].北京：國(guó)防工業(yè)出版社，2008.

[4]Xiong Chao，Tian Xiaofang，Lu Qiyong.Real-time binocular matching and depth measurement based on competing schema[J].Computer Engineering and Applications，2006，42(1)：83-85.

[5]郭龍?jiān)?計(jì)算機(jī)視覺立體匹配相關(guān)理論與算法研究[D].南京：南京理工大學(xué)，2009.

[6]王立中，麻碩士，薛河儒，等.一種改進(jìn)的SIFT特征點(diǎn)匹配算法[J].內(nèi)蒙古大學(xué)學(xué)報(bào)，2009，40（5）：615-619.

[7]劉盛夏.基于相位信息的立體圖像匹配研究[D].上海：上海交通大學(xué)，2010.

[8]劉天亮，羅立民.一種基于分割的可變權(quán)值和視差估計(jì)的立體匹配算法[J].光學(xué)學(xué)報(bào)，2009，29(4)：1002-1009.

[9]SEHARSTERN D，SZELISKI R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].IEEE Transactions on Stereo and Multi-Baseline Vision（in conjunction with IEEE CVPR 2001），2001(12)：131-140.