雙目立體視覺系統(tǒng)的研究與應(yīng)用

趙楠

（山西工程職業(yè)學(xué)院 山西省太原市 030009）

立體視覺作為機(jī)器視覺的重要組成部分，在三維測量、機(jī)器人視覺以及導(dǎo)航系統(tǒng)等眾多領(lǐng)域應(yīng)用廣泛。立體視覺測量主要包括單目測量、雙目測量以及三目測量。其中，雙目立體視覺由于結(jié)構(gòu)簡單靈活，且測量精度高，是目前最常用的方法[1]。雙目立體視覺主要通過兩個(gè)攝像機(jī)價(jià)值間的相互位置關(guān)系，根據(jù)空間點(diǎn)在左右兩幅圖像中的像素差來計(jì)算三維空間坐標(biāo)。其中，左右圖像中對應(yīng)點(diǎn)的匹配問題時(shí)該方法的重點(diǎn)與難點(diǎn)所在。

1 雙目立體視覺系統(tǒng)的測量原理

雙目立體視覺系統(tǒng)的測量原理是根據(jù)光學(xué)三角法原理進(jìn)行三維信息的獲取。如圖1 所示，O1和O2分別為左右攝像機(jī)的光心；O1Z1和O2Z2為兩個(gè)攝像機(jī)的光軸，且相交于某點(diǎn)；Ow-XwYwZw為空間被測點(diǎn)P 所在的世界坐標(biāo)系；O1-X1Y1Z1和O2-X2Y2Z2分別為左右攝像機(jī)坐標(biāo)系；o1-u1v1和o2-u2v2分別為圖像的像素坐標(biāo)系。雙目立體視覺測量的基本原理為：世界坐標(biāo)系中一點(diǎn)P(X,Y,Z)在左右攝像機(jī)的成像面上的像點(diǎn)分別為p1(u1,v1)和p2(u2,v2)。這兩個(gè)像點(diǎn)是世界坐標(biāo)系中同一個(gè)對象點(diǎn)P 的像，分別作這兩個(gè)像點(diǎn)與各自攝像機(jī)的光心O1和O2的連線，即投影線p1O1和p2O2，它們的交點(diǎn)即為世界坐標(biāo)系中的對象點(diǎn)P(X,Y,Z)。

2 雙目立體視覺系統(tǒng)的組成

雙目立體視覺系統(tǒng)主要由圖像采集系統(tǒng)以及軟件控制系統(tǒng)兩大塊組成。為了更好地實(shí)現(xiàn)對被測物體的尺寸測量，左右兩個(gè)CCD攝像機(jī)光軸之間應(yīng)存在一定的夾角。經(jīng)實(shí)驗(yàn)測試當(dāng)夾角范圍為25°-30°時(shí)，兩幅圖像交疊區(qū)域最大，取得的測量效果最佳。此外，還可以根據(jù)測量幅面的要求，適當(dāng)調(diào)整兩個(gè)CCD 攝像機(jī)之間的相對距離。下面將對系統(tǒng)的組成結(jié)構(gòu)進(jìn)行詳細(xì)的介紹。

2.1 圖像采集系統(tǒng)

圖像采集系統(tǒng)主要實(shí)現(xiàn)對被測零部件實(shí)時(shí)圖像的采集過程。本文使用的是兩個(gè)大恒公司生產(chǎn)的水星系列MER-030-60UC 型工業(yè)相機(jī)。

2.2 軟件控制系統(tǒng)

軟件控制系統(tǒng)主要是控制圖像采集，并實(shí)現(xiàn)得到采集圖像后的一系列工作。主要包括圖像處理、立體校正、相位匹配、點(diǎn)云計(jì)算、三維重建等等，是整個(gè)測量系統(tǒng)的核心。

3 雙目立體視覺系統(tǒng)的實(shí)現(xiàn)

3.1 攝像機(jī)參數(shù)標(biāo)定

標(biāo)定是實(shí)現(xiàn)二維圖像坐標(biāo)與三維立體空間坐標(biāo)轉(zhuǎn)換的過程，是雙目立體視覺系統(tǒng)的關(guān)鍵環(huán)節(jié)之一。標(biāo)定過程直接關(guān)系著后續(xù)三維信息的準(zhǔn)確與否，是整個(gè)系統(tǒng)得以正常工作的基石。攝像機(jī)參數(shù)的標(biāo)定方法從20 世紀(jì)80年代以來，一直是科學(xué)研究的熱點(diǎn)問題。目前，攝像機(jī)參數(shù)標(biāo)定技術(shù)現(xiàn)在已經(jīng)相當(dāng)成熟，其中，Tsai 兩步法[2]、張正友標(biāo)定法[3]以及BP 神經(jīng)網(wǎng)絡(luò)標(biāo)定法是目前使用范圍最廣的三種方法標(biāo)定方法圖像采集系統(tǒng)。

通過對標(biāo)定算法的研究以及前期的標(biāo)定實(shí)驗(yàn)發(fā)現(xiàn)，Jean-Yves Bouguet 標(biāo)定法[4]不需要制作昂貴的標(biāo)定板，也不需要額外的高精度平移裝置，且具有較好的魯棒性，因此實(shí)用性很強(qiáng)。在保證標(biāo)定板角點(diǎn)提取精度的前提下，完全可以滿足高精度測量系統(tǒng)的要求。

圖1：雙目立體視覺系統(tǒng)測量原理圖

圖2：極線校正原理圖

圖3：標(biāo)準(zhǔn)平行雙目視覺系統(tǒng)

3.2 特征點(diǎn)提取

特征點(diǎn)提取是雙目立體視覺的重要步驟之一。在左右兩攝像機(jī)獲取圖像時(shí)，由于不可避免的存在噪聲、干擾等因素，容易導(dǎo)致兩幅圖像在光強(qiáng)、色彩、亮度等方面存在不同，進(jìn)而影響后期的立體匹配的精度[5]。因此，在進(jìn)行特征點(diǎn)提取時(shí)，要先進(jìn)行圖像預(yù)處理，以此來降低噪聲以及亮度等差異。常用的預(yù)處理方法有均值濾波、中值濾波和LOG 濾波等。

特征點(diǎn)的提取近年來飽受研究者們的廣泛關(guān)注，它主要包括圖像邊緣點(diǎn)提取算法和基于圖像灰度的特征點(diǎn)檢測。經(jīng)典的算法比較多，主要包括Harris、SUSAN、MIC、SIFT、Canny 等。

3.3 立體匹配

3.3.1 極線校正

在對采集到的圖像中的像點(diǎn)進(jìn)行特征點(diǎn)匹配之前，為了盡可能地縮小匹配點(diǎn)搜索范圍，我們必須要先對圖像進(jìn)行極線校正[6]。所謂極線校正，就是通過一系列的變換將一般的雙目視覺系統(tǒng)變成標(biāo)準(zhǔn)的平行結(jié)構(gòu)光雙目視覺系統(tǒng)。

圖2 中，Pl和Pr分別為空間點(diǎn)Pw在左右成像面上對應(yīng)的像點(diǎn)，極平面是由兩個(gè)攝像機(jī)的光心Ol、Or與空間點(diǎn)Pw這三個(gè)點(diǎn)構(gòu)成的平面，極平面與兩個(gè)成像面相交形成的線分別稱為左右極線，即圖中的線Plel和線Prer。左右兩個(gè)攝像機(jī)的光心Ol和Or之間的連線叫做基線，基線與左右成像面的相交形成的點(diǎn)稱為極點(diǎn)，即點(diǎn)el和點(diǎn)er?？臻g任意一點(diǎn)在左右成像面上的像點(diǎn)一定在其對應(yīng)的極線上。設(shè)空間點(diǎn)Pw在左右成像面上對應(yīng)的像點(diǎn)的齊次坐標(biāo)為Pl(u1,v1,1)T和Pr(u2,v2,1)T，則極線方程為：

其中，F(xiàn) 為基礎(chǔ)矩陣，它的值可以通過系統(tǒng)標(biāo)定計(jì)算得到，且只與兩個(gè)攝像機(jī)的內(nèi)外參數(shù)有關(guān)。只要知道了基礎(chǔ)矩陣F，我們就可以將它分解成兩個(gè)轉(zhuǎn)換矩陣，從而實(shí)現(xiàn)極線校正。如圖3，極線校正后，所有的外極線均相互平行，對應(yīng)的像點(diǎn)行坐標(biāo)相同，因此只需要在行坐標(biāo)相同的像點(diǎn)中進(jìn)行搜索，降低了搜索難度。

3.3.2 匹配方法

圖像立體匹配的實(shí)質(zhì)就是在待匹配點(diǎn)對應(yīng)的成像面上搜索同一被測物體對應(yīng)的像點(diǎn)，進(jìn)而求得該被測物體的三維空間坐標(biāo)最終將被測物體的三維形貌重建出來。目前，應(yīng)用最多的匹配算法有特征匹配算法和區(qū)域匹配算法[7]。

基于幾何不變性的特征匹配算法，可以將搜索范圍限制在某個(gè)特征區(qū)域，匹配速度快，匹配效率高，但是由于噪聲以及遮擋等原因提取到的特征點(diǎn)較少，最終只能得到稀疏的匹配點(diǎn)數(shù)。

基于光學(xué)測量學(xué)不變性的區(qū)域匹配算法，通常選擇點(diǎn)或者鄰域模板作為匹配基元，并根據(jù)灰度相似性函數(shù)進(jìn)行搜索，從而得到被測物體上所有的匹配點(diǎn)對，但是該方法由于匹配點(diǎn)數(shù)龐大，搜索過程費(fèi)時(shí)，實(shí)時(shí)性較差。

3.3.3 匹配約束

通常，成像面中的某一匹配基準(zhǔn)點(diǎn)在其對應(yīng)的成像面上存在多個(gè)候選匹配點(diǎn)，而實(shí)際上最終實(shí)現(xiàn)正確匹配的像點(diǎn)只有一個(gè)，故將導(dǎo)致錯(cuò)誤匹配的現(xiàn)象出現(xiàn)。為了解決誤匹配問題，最大程度地縮小搜索范圍，減少候選匹配點(diǎn)，搜索過程需要滿足以下約束條件：

（1）極線約束：如圖3 所示，空間任意一點(diǎn)在對應(yīng)成像面上的匹配像點(diǎn)一定在其對應(yīng)的極線上。在匹配前需先完成極線校正，將復(fù)雜的二維搜索降為一維直線搜索，即只需要在與待匹配點(diǎn)具有相同縱坐標(biāo)的線上進(jìn)行搜尋。

（2）唯一性約束：某一成像面上的像點(diǎn)在其對應(yīng)成像面上只可能找到唯一的一個(gè)對應(yīng)點(diǎn)。

（3）相似性約束：空間任意一點(diǎn)在兩幅圖像上的像點(diǎn)處，某些量度（灰度）與幾何特性（邊緣、角點(diǎn)、方向等）相似。

（4）順序一致性約束：對深度差較小的被測物體，對應(yīng)點(diǎn)在極線上的排列次序保持一致。

3.4 三維空間點(diǎn)的重建

光學(xué)三維測量的本質(zhì)是由一個(gè)點(diǎn)的圖像坐標(biāo)求解該點(diǎn)的三維世界坐標(biāo)，在理想的相機(jī)模型的投影矩陣已知時(shí)，若由圖像坐標(biāo)求解世界坐標(biāo)，由于圖像中的一個(gè)點(diǎn)只能求得該空間三維點(diǎn)所在的一條直線。因此，分別利用左右攝像機(jī)成像面的像點(diǎn)可以建立兩條直線的方程，這兩條直線的交點(diǎn)則為我們待求解的空間點(diǎn)三維坐標(biāo)。

4 結(jié)語

綜上所述，利用兩個(gè)攝像機(jī)獲取被測物體的在不同視角下的圖像，通過攝像機(jī)標(biāo)定、特征點(diǎn)提取、立體匹配等過程，最后得到被測物在空間的三維幾何信息。這種技術(shù)目前已經(jīng)廣泛應(yīng)用于產(chǎn)品分揀、工業(yè)探傷、無人機(jī)飛行、無人駕駛、制導(dǎo)目標(biāo)跟蹤與鎖定、車流檢測、安保監(jiān)測等社會各個(gè)領(lǐng)域。未來，隨著技術(shù)的不斷進(jìn)步，人們將把更多的注意力集中到雙目視覺的研究上來。