雙目立體視覺的研究現(xiàn)狀及進(jìn)展

黃鵬程, 江劍宇, 楊 波

(1.上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院, 上海 200093;2.上海理工大學(xué) 上海市現(xiàn)代光學(xué)系統(tǒng)重點(diǎn)實(shí)驗(yàn)室, 上海 200093;3.上海理工大學(xué) 教育部光學(xué)儀器與系統(tǒng)工程研究中心, 上海 200093)

引 言

隨著人工智能和計(jì)算機(jī)技術(shù)的快速發(fā)展,用機(jī)器視覺代替人眼來做測量和判斷的技術(shù)日漸成為人們的研究重點(diǎn)。它能提高生產(chǎn)的靈活性和自動(dòng)化程度,特別適用于一些不適合人工作業(yè)的危險(xiǎn)工作環(huán)境或者人工視覺難以滿足要求的場合。而作為機(jī)器視覺的一個(gè)重要分支,雙目立體視覺具有效率高、精度合適、系統(tǒng)結(jié)構(gòu)簡單、成本低等優(yōu)點(diǎn),在虛擬現(xiàn)實(shí)、機(jī)器人導(dǎo)航及非接觸式測量等許多方向均極具應(yīng)用價(jià)值。20世紀(jì)80年代美國麻省理工學(xué)院的Marr[1]提出了一種基于雙眼匹配的視覺計(jì)算理論,使兩張有視差的平面圖經(jīng)過處理能夠產(chǎn)生有深度的立體圖形,從而實(shí)現(xiàn)三維重建。與透鏡板三維成像、投影式顯示、全息照相術(shù)等其他三維重建方法相比,雙目立體視覺直接模擬人類雙眼來處理待測物體,更為可靠簡便,應(yīng)用前景也更為廣闊。

1 雙目立體視覺原理

圖1 雙目立體視覺原理Fig.1 Principle of binocular stereo vision

圖2 雙目立體視覺測量流程Fig.2 The measurement process of binocular stereo vision

圖1是雙目立體視覺原理圖[2]。相機(jī)通過目標(biāo)物體表面的反射光將空間三維物體轉(zhuǎn)化為平面二維圖像,而雙目立體視覺是相機(jī)成像的逆過程,即以兩臺相機(jī)模擬人眼,通過計(jì)算兩幅圖像對應(yīng)點(diǎn)間的位置差異并基于視差原理得到物體的三維幾何信息,實(shí)現(xiàn)三維重建及還原。世界坐標(biāo)系為OW-XWYWZW,左右相機(jī)的相機(jī)坐標(biāo)系分別為Ol-XlYlZl和Or-XrYrZr,圖像坐標(biāo)系分別為Ol-XlYl和Or-XrYr,像素坐標(biāo)系分別為Ol-UlVl和Or-UrVr[3-4]。設(shè)空間目標(biāo)點(diǎn)P在兩相機(jī)成像面上的像點(diǎn)坐標(biāo)分別為(ul,vl)和(ur,vr),它們均滿足如下方程:

(1)

其中

(2)

式中:C為比例系數(shù);α和β分別為像素坐標(biāo)系U和V的比例因子;γ為兩坐標(biāo)軸的偏離度;(u0,v0)是相機(jī)像素坐標(biāo)系下圖像坐標(biāo)系原點(diǎn)的坐標(biāo);M矩陣是相機(jī)內(nèi)部參數(shù)矩陣,確定相機(jī)從三維空間到二維圖像的對應(yīng)關(guān)系;H矩陣是相機(jī)外部參數(shù)矩陣,其中R代表旋轉(zhuǎn)矩陣,t代表平移矩陣,所以H矩陣包含了世界坐標(biāo)系與相機(jī)坐標(biāo)系的旋轉(zhuǎn)關(guān)系以及兩坐標(biāo)系原點(diǎn)的相對位置關(guān)系。這樣,通過實(shí)時(shí)測量目標(biāo)點(diǎn)P在兩相機(jī)成像面上的像點(diǎn)坐標(biāo),根據(jù)式(1)即可得到P點(diǎn)的實(shí)時(shí)空間三維坐標(biāo)[5]。

2 雙目立體視覺測量的實(shí)現(xiàn)

雙目立體視覺測量的實(shí)現(xiàn)可以分為以下四個(gè)步驟:相機(jī)標(biāo)定、特征提取、立體匹配和三維重建。測量流程如圖2所示。

2.1 相機(jī)標(biāo)定

Marr視覺理論認(rèn)為二維圖像進(jìn)行三維場景還原的過程與相機(jī)的內(nèi)外參數(shù)有關(guān),它們分別描述了相機(jī)光心位置到二維成像平面和真實(shí)三維空間的轉(zhuǎn)換關(guān)系。求解參數(shù)矩陣的過程被稱為相機(jī)標(biāo)定,因此,相機(jī)標(biāo)定的準(zhǔn)確性對三維重建精度有很大影響。目前常見的相機(jī)標(biāo)定的方法有:

(1) 攝影測量學(xué)的傳統(tǒng)標(biāo)定方法。采用該方法假設(shè)的相機(jī)成像模型,其標(biāo)定過程至少需要17個(gè)參數(shù),雖然考慮了成像過程中的各種因素,精確度高,但計(jì)算十分復(fù)雜。

(2) 直接線性變換法。1971年Abdel-Aziz等[6]提出該方法,它忽略了相機(jī)成像過程中一些影響因素如相機(jī)的鏡頭畸變,使計(jì)算過程大大簡化,但也導(dǎo)致所得結(jié)果精度不高。

(3) Tsai兩步法[7]。其求解相機(jī)參數(shù)的過程可以分為兩步,首先在徑向一致約束條件下,求解出相機(jī)一部分的參數(shù),再通過非線性優(yōu)化算法迭代得到相機(jī)其他參數(shù)的值。該方法的標(biāo)定精度較高,標(biāo)定過程速度較快、準(zhǔn)確性高,在工業(yè)化的視覺系統(tǒng)中應(yīng)用比較廣泛。但是需要高價(jià)的標(biāo)定設(shè)備,所以不適合在一般場合使用。

(4) 基于Kruppa方程的自標(biāo)定方法。此方法認(rèn)為相機(jī)采集到的兩幅圖像之間存在著一定的數(shù)學(xué)關(guān)系,并且受類似Kruppa方程的二次約束,通過求解Kruppa方程來得到相機(jī)的內(nèi)部參數(shù)。該方法較為靈活,適用場合較廣,但魯棒性較差,精度不高。

(5) 張正友標(biāo)定法[8-9]。該方法使用棋盤格標(biāo)定板,先通過線性成像模型得到相機(jī)參數(shù)的初值,再使用非線性最優(yōu)化的方法來得到相機(jī)參數(shù)的最優(yōu)解。此標(biāo)定方法具有非常高的魯棒性和較高的精度,操作簡單,而且不需要高精度標(biāo)定設(shè)備,因此被廣泛使用。

2.2 特征提取

特征點(diǎn)能夠反映圖像的特性,特征點(diǎn)提取在三維場景重建、運(yùn)動(dòng)物體測量和圖像識別等方面發(fā)揮著重要的作用。雙目立體視覺所使用的特征點(diǎn)是人工放置的具有特定形狀的標(biāo)志點(diǎn),而圓形標(biāo)志點(diǎn)因?yàn)樵跀z影變換下能夠保持橢圓形狀不變,方便提取和識別而被廣泛使用。由于傳感器采集到的圖像信息中都存在噪聲,所以在特征點(diǎn)提取前要對圖像進(jìn)行預(yù)處理,通常采取中值濾波、高斯濾波、雙邊濾波等方法來降低噪聲?，F(xiàn)有的特征點(diǎn)提取算法主要有基于模板匹配、基于灰度變化和基于圖像邊緣檢測的提取算法。由于三維重建需要還原待測物體的深度信息,因此一般采用基于灰度變化的提取算法,基于某一點(diǎn)的灰度值與周圍不同的思想進(jìn)行比較和提取。

2.3 立體匹配

雙目立體視覺中最為關(guān)鍵的技術(shù)是圖像的匹配。左右相機(jī)由于所處空間位置的不同,拍攝得到的圖像在成像平面上會(huì)存在水平和深度視差,從而導(dǎo)致兩幅圖像存在差異[10]。通過左右圖像中相同點(diǎn)的準(zhǔn)確匹配,這種差異可以被消除。

相機(jī)獲取的左右圖像中對應(yīng)點(diǎn)的匹配受到下列幾種約束:

(1) 順序一致性約束。三維空間中的點(diǎn)經(jīng)過攝像變換后在左右圖像中的位置順序保持不變。

(2) 連續(xù)性約束。三維物體一般是連續(xù)的,所以圖像中其視差變化一般也是連續(xù)平滑的。

(3) 極線約束。對于圖像上一個(gè)特征點(diǎn),它在另一幅圖像上的位置一定在對應(yīng)的極線上。

(4) 唯一性約束。三維空間中的任意一點(diǎn)在左右圖像上只會(huì)存在唯一的對應(yīng)點(diǎn),所以在圖像匹配時(shí)也只有唯一點(diǎn)可以相匹配。

基于以上約束,現(xiàn)有的立體匹配方法可分為區(qū)域匹配、特征匹配和相位匹配三大類。(1) 區(qū)域匹配一般是設(shè)定一個(gè)特定的局部窗口,通過提取窗口中的特征向量進(jìn)行匹配,經(jīng)典的有Lazaros Nalpantidi算法、固定窗算法、自適應(yīng)窗算法、自適應(yīng)權(quán)重算法等,其實(shí)質(zhì)是利用局部窗口之間灰度信息的相關(guān)程度來實(shí)現(xiàn)圖像匹配。該方法在變化平緩且細(xì)節(jié)較為豐富的圖像區(qū)域可以達(dá)到較高的精度,在視差不連續(xù)處則會(huì)受到限制,同時(shí),窗口增大雖然有利于提高匹配精度,但同時(shí)也會(huì)帶來更大的計(jì)算量,降低匹配效率,也容易出現(xiàn)誤匹配。(2) 特征匹配是對圖像的灰度信息進(jìn)行抽象,把待測物的特征屬性如邊緣、輪廓、角點(diǎn)等作為匹配實(shí)體,通過計(jì)算匹配實(shí)體之間的相似度以實(shí)現(xiàn)立體匹配。目前,常用的特征匹配算法有SURF算法和SIFT算法:前者識別能力強(qiáng),對圖像噪聲、光照變化和尺度旋轉(zhuǎn)有一定的抗性,但計(jì)算量較大,時(shí)間長,匹配準(zhǔn)確度不高;后者所提取的特征點(diǎn)具有方向、尺度、位置三方面的信息,但匹配準(zhǔn)確度較低。特征匹配魯棒性強(qiáng)、抗干擾性強(qiáng)、計(jì)算量小、速度快,但圖像特征的稀疏性導(dǎo)致匹配后得到的是不完整的視差場,而且特征提取的準(zhǔn)確性對匹配結(jié)果的精確度影響很大。針對這些問題,可以將特征匹配的魯棒性和區(qū)域匹配的致密性充分結(jié)合,利用對高頻噪聲不敏感的模型來提取和定位特征。(3) 相位匹配將相位信息作為匹配基元,不易受噪聲影響,誤匹配概率低,在三維形貌測量上有其獨(dú)特的優(yōu)勢?，F(xiàn)有的相位匹配算法有基于極線校正的亞像素相位匹配方法[11]、Fourier-Mellin匹配算法[12]等,相關(guān)算法的精度和效率都在不斷提高,但相位纏繞、相位偏差、相位奇點(diǎn)等問題都會(huì)影響匹配精度。

2.4 三維重建

三維重建可以看作物體通過相機(jī)成像的逆過程,和人們用雙眼觀察三維空間中的物體是相似的。三維重建的原理是基于之前的圖像獲取、相機(jī)標(biāo)定、特征提取和立體匹配等工作,獲得相機(jī)的內(nèi)外參數(shù)以及圖像特征點(diǎn)的對應(yīng)關(guān)系,最終利用視差原理和三角測量原理得到三維坐標(biāo),恢復(fù)被測物體的深度信息,實(shí)現(xiàn)三維重建。

3 雙目立體視覺國內(nèi)外發(fā)展動(dòng)態(tài)

國際上對于雙目立體視覺開展了諸多研究并取得了一系列成果,國內(nèi)相關(guān)研究雖起步較晚,但隨著計(jì)算機(jī)技術(shù)的快速發(fā)展,研究水平不斷提升,雙目立體視覺在工業(yè)、農(nóng)業(yè)與軍事領(lǐng)域也都顯示出了廣闊的發(fā)展前景與巨大的應(yīng)用價(jià)值。

3.1 國外研究動(dòng)態(tài)

Jung等[13]基于雙目立體視覺技術(shù)研制了移動(dòng)機(jī)器人,該機(jī)器人能夠感知外界物體的運(yùn)動(dòng)情況,然后根據(jù)接受到的環(huán)境信息進(jìn)行動(dòng)態(tài)場景的處理。

美國波古頓動(dòng)力公司設(shè)計(jì)開發(fā)了基于立體視覺導(dǎo)航技術(shù)的仿生四足機(jī)器人Big Dog,該機(jī)器人能辨識周圍環(huán)境,通過獲取各種障礙物的距離信息進(jìn)行移動(dòng)和避障。

華盛頓大學(xué)與微軟公司合作研制了寬基線立體視覺系統(tǒng)[14],使“探測者”號能夠在火星上進(jìn)行精確的定位與導(dǎo)航。系統(tǒng)使用同一個(gè)相機(jī)在“探測者”號的不同位置上拍攝圖像對,然后采用非線性優(yōu)化算法、最大似然概率法及高效的立體搜索得到亞像素精度級別的視差,再據(jù)此計(jì)算圖像對中各點(diǎn)的三維坐標(biāo),實(shí)現(xiàn)實(shí)時(shí)的火星表面地形的三維重建。

日本大阪大學(xué)自適應(yīng)機(jī)械系統(tǒng)研究院設(shè)計(jì)并研制了自適應(yīng)雙目視覺伺服系統(tǒng),以每幅圖像中相對靜止的三個(gè)標(biāo)志點(diǎn)為參考,實(shí)時(shí)計(jì)算目標(biāo)圖像的雅可比矩陣,對目標(biāo)下一步運(yùn)動(dòng)方向進(jìn)行預(yù)測[15],實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)的自適應(yīng)跟蹤。與傳統(tǒng)的視覺跟蹤伺服系相比,該系統(tǒng)不需要事先知道相機(jī)的相關(guān)參數(shù)和目標(biāo)的運(yùn)動(dòng)方式,僅要求拍攝的兩幅圖像中都有靜止的參考標(biāo)志物,操作簡單,大大提高了系統(tǒng)工作效率。

Comlekciler等[16]提出了一種基于雙目立體視覺的三維頜骨復(fù)位技術(shù),使用了一款基于逐像素立體匹配算法的軟件實(shí)時(shí)跟蹤患者頜骨的位置,從而引導(dǎo)正頜手術(shù)的進(jìn)行。測量誤差平均值為0.25 mm±0.18 mm,遠(yuǎn)遠(yuǎn)低于正頜手術(shù)規(guī)定的1 mm誤差,能滿足臨床手術(shù)的使用要求。該技術(shù)優(yōu)點(diǎn)是采用可見光光源,避免了以往激光光源在手術(shù)過程中對人體帶來的傷害。

新西蘭奧克蘭大學(xué)的Saleem等[17]對雙目立體視覺的檢測精度進(jìn)行了研究。他們認(rèn)為可以通過基于視覺的控制機(jī)制來解決交通任務(wù),提出了沒有任何障礙的道路區(qū)域的概念,并對此進(jìn)行了自由空間分析。該研究新穎之處在于針對不同的路況和照明條件,對雙目算法和單目算法的優(yōu)劣進(jìn)行了比較,結(jié)果表明,在城市道路中模擬時(shí),基于雙目視覺的檢測算法的精確度更高,但當(dāng)環(huán)境變量增多(例如下雨),基于雙目視覺的算法精度會(huì)大幅度下降。此外,他們還提出了一種使用多項(xiàng)式曲線擬合來降低視覺檢測誤差的創(chuàng)新方法。

Rogister等[18]提出了一種新的基于異步視覺時(shí)間的立體匹配算法。與傳統(tǒng)的基于幀的相機(jī)不同,最新的人工硅制視網(wǎng)膜能以類似于生物視網(wǎng)膜輸出細(xì)胞的方式,輸出連續(xù)的異步時(shí)間事件流以解決移動(dòng)物體的立體匹配問題。該算法能夠過濾掉錯(cuò)誤的匹配,盡管傳感器的空間分辨率低,但依然能夠準(zhǔn)確地重建移動(dòng)物體的深度信息。

澳大利亞奧克蘭大學(xué)的Gee等[19]開發(fā)了一個(gè)能夠?qū)崟r(shí)生成深度圖的輕量級無人機(jī)專用雙目立體系統(tǒng)。這個(gè)系統(tǒng)由專用相機(jī)同步盒、基于快速查找的整改系統(tǒng)、基于塊匹配和動(dòng)態(tài)編程的通信儀和簡單的誤差-深度轉(zhuǎn)換單元等四個(gè)模塊組成,能夠在一堆同步的運(yùn)動(dòng)相機(jī)實(shí)時(shí)拍攝的圖像流中通過雙目立體視覺計(jì)算生成一系列帶有深度信息的圖像。最終的輸出結(jié)果可以通過網(wǎng)絡(luò)傳送到服務(wù)器上處理,并在安卓系統(tǒng)上實(shí)現(xiàn)完整的傳輸流程。該系統(tǒng)的創(chuàng)新之處在于不但能保證圖像傳輸?shù)馁|(zhì)量和實(shí)時(shí)性,運(yùn)行系統(tǒng)的小型化,而且能在戶外復(fù)雜的環(huán)境中使用。

3.2 國內(nèi)研究動(dòng)態(tài)

哈爾濱工業(yè)大學(xué)的高慶吉等開發(fā)出異構(gòu)雙目視覺系統(tǒng)[20],使機(jī)器人能夠捕捉多個(gè)有效目標(biāo),實(shí)現(xiàn)了足球機(jī)器人的全自主導(dǎo)航。

中科院自動(dòng)化研究所開發(fā)了一款自主移動(dòng)機(jī)器人,通過對周圍環(huán)境進(jìn)行圖像采集并立體匹配,能夠得到相關(guān)位置和距離信息,進(jìn)而對自身的移動(dòng)進(jìn)行導(dǎo)航。

南京航空航天大學(xué)的張鳳靜等利用雙目立體視覺測量汽車安全車距[21],根據(jù)車輛分別在左右相機(jī)拍攝的圖像中的坐標(biāo)計(jì)算得到車輛到相機(jī)的距離。

浙江大學(xué)左愛秋等[22]利用雙目立體視覺,只需從采集到的兩幅圖像中得到必要的特征點(diǎn)的三維坐標(biāo),就能實(shí)現(xiàn)對多自由度機(jī)械裝置精確地進(jìn)行動(dòng)態(tài)位姿檢測,該方法處理速度快,特別適合對動(dòng)態(tài)情況的檢測。

天津大學(xué)精密測試技術(shù)與儀器國家重點(diǎn)實(shí)驗(yàn)室研制了“夏利轎車車身尺寸視覺檢測站”[23],可以用于汽車工業(yè)中在線測試車身總長。該系統(tǒng)用多個(gè)視覺傳感器分別測量車身上一個(gè)關(guān)鍵點(diǎn)在傳感器坐標(biāo)系中的三維坐標(biāo),再將所有測量結(jié)果統(tǒng)一到工件坐標(biāo)系中,得到最終的測量結(jié)果。

清華大學(xué)智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室采用典型的平行雙目立體視覺系統(tǒng)開發(fā)了擬人機(jī)器人TBIPR-1[24],身高1.60 m,體重100～210 kg,能根據(jù)視覺、觸覺和聽覺自主實(shí)現(xiàn)步行、慢跑、跨越障礙、拾取物體以及其他與人類相似的較高級運(yùn)動(dòng)。

4 雙目立體視覺的發(fā)展展望

雙目視覺作為一種新型非接觸性測量技術(shù),具有操作簡便、處理高效、在線實(shí)時(shí)、三維測量等優(yōu)勢,在工業(yè)檢測、生物醫(yī)學(xué)、虛擬現(xiàn)實(shí)等領(lǐng)域均有著巨大的應(yīng)用價(jià)值。但是雙目立體視覺仍然存在很多特殊和復(fù)雜的問題,如尚未解決的立體匹配問題就是目前雙目立體視覺發(fā)展的瓶頸。從目前的研究動(dòng)態(tài)來看,其發(fā)展趨勢可以總結(jié)如下:

(1) 選擇合理的匹配特征,建立更有效的圖像表達(dá)形式和雙目立體模型,為立體匹配提供更多信息,解決準(zhǔn)確匹配與全面恢復(fù)視差的矛盾。

(2) 研究適用于全面立體視覺的計(jì)算理論和匹配策略,構(gòu)造與人類視覺相似的通用立體視覺系統(tǒng)。

(3) 精簡并優(yōu)化雙目立體視覺算法,提高運(yùn)行速度,增強(qiáng)系統(tǒng)的操作效率和實(shí)用性。

(4) 針對不同的應(yīng)用場景,建立適配程度高、有目的的雙目立體視覺系統(tǒng)。

雙目立體視覺隨著光學(xué)、電子學(xué)以及計(jì)算機(jī)技術(shù)的發(fā)展與結(jié)合不斷進(jìn)步,在視覺導(dǎo)航、人機(jī)交互、虛擬現(xiàn)實(shí)、工業(yè)生產(chǎn)自動(dòng)化等方面發(fā)揮著越來越大的作用。隨著相關(guān)技術(shù)及理論的不斷發(fā)展,人們會(huì)將更多的精力和財(cái)力投入到雙目立體視覺的研究中來,解決目前所存在的問題并取得更多更有價(jià)值的成果。