李永
摘 要 視覺是人類獲取周圍環(huán)境信息的重要手段,當用雙眼去觀察不同物體的時候,會有遠近之分。雙目立體視覺系統(tǒng)就是仿照人的雙眼去感知距離,具體實現(xiàn)過程如下:雙目視覺系統(tǒng)的攝像機標定、雙目攝像機同時獲取圖像、圖像預處理、特征點提取、特征點匹配和空間坐標計算。本文從雙目視覺系統(tǒng)的原理出發(fā),推導了雙目視覺系統(tǒng)的數(shù)學表達式,分析了幾種不同的特征點提取方法,提出了F-HARRIS方法,提高了計算效率,利用雙向交叉匹配辦法匹配特征點,在利用幾何約束,剔除誤匹配點,原理簡單易懂,效果比較理想。試驗中采用畸變效應(yīng)小的攝像機(即不考慮畸變),且攝像機已做過標定;圖像預處理就是一些簡單的平滑濾波;圖像分辨率為2048*1536。
【關(guān)鍵詞】特征點提取 特征點匹配 F-HARRIS
1 雙目立體視覺的數(shù)學表達
為了描述問題的方便我們定義三個坐標系,真實世界事物的大小、位置一般用世界坐標系(xw,yw,zw)表示;攝像機的光學成像系統(tǒng)用攝像機系統(tǒng)(xc,yc,zc)表示,事物的圖像在圖1所示的xoy平面內(nèi),即圖像坐標系平面,但圖像中心一般不和zc軸重合。
通過圖1可以看到,攝像機坐標系就是聯(lián)系圖像坐標系和世界坐標系的橋梁,世界坐標系首先變換到攝像機坐標系,然后通過取整、平移后,變換到圖像坐標系的行和列。變換公式如下:
公式中R和T組成旋轉(zhuǎn)、平移矩陣,將世界坐標系中事物的坐標轉(zhuǎn)換到攝像機坐標系,由f組成的轉(zhuǎn)換矩陣,將攝像機坐標系中事物的坐標投影到圖像坐標系的x-y平面上,最后把得到的位于圖像坐標系x-y平面上的坐標數(shù)值除以表示像素大小的dx、dy,就得到圖像坐標系的行u和列v,但由于圖像坐標系的中心和攝像機坐標系的zc軸一般不重合,因此需要進行平移u0行和v0列。其中,zc表示事物到鏡頭的距離,f表示焦距,fx=f/dx,fy=f/dy,表示有效焦距。
在單目攝像機系統(tǒng)中,世界坐標系到圖像坐標系的轉(zhuǎn)換關(guān)系用公式(1)表示,為了簡化問題,我們假設(shè)世界坐標系的原點和雙目視覺系統(tǒng)中左目攝像系統(tǒng)的攝像坐標系重合,且各自成像系統(tǒng)的有效焦距相同。
2 雙目立體視覺攝像機系統(tǒng)參數(shù)
為了能夠?qū)Γ?)式進行求解,需要確定所有參數(shù)數(shù)值,其中ul、vl和ur是匹配后的特征點像素坐標,標定后的其它系統(tǒng)參數(shù)如下: u0r為-17、u0l為43、v0l為-58、r1為0.9996、r2為-0.0010、r3為-0.0290、r7為0.0289、r8為-0.0086、r9為0.9995、fl為1872、fr為1908、tx為-216.21和tz為-0.0818的值。
3 特征點的尋找
目前應(yīng)用比較廣泛的圖像匹配是特征點匹配法,首先利用特征點算法計算特征點的位置,常用的特征點有SIFT特征點、HARRIS特征點和FAST特征點;然后利用描述子對特征點進行某種表示,常用的描述子有BRIEF描述子和SIFT描述子,最后進行特征點的匹配。
3.1 特征點尋找
雙目視覺圖像沒有旋轉(zhuǎn)、尺度變化,不能發(fā)揮SIFT算子在不變特征提取方面無可比擬的長處,反而暴露出其很差的實時性。本文針對HARRIS實時性不足和FAST太依賴閾值以及圖像本身紋理信息分布可能造成特征點提取不均勻的缺陷,提出了一種改進的角點檢測算法F-HARRIS,該算法借鑒了HARRIS角點和FAST角點的思想,先通過FAST思想(取小閾值)過濾掉大量不是候選角點的像素,之后計算出候選點的HARRIS響應(yīng)值R,然后篩選出真正的強角點,實驗表明其具有幾乎和HARRIS角點檢測算法一樣的效果,檢測效率卻大大提高,尤其是對于角點數(shù)目小的大圖像而言,這種優(yōu)勢更加明顯,本文將這個算法稱為F-HARRIS。
F-HARRIS算法具體流程如下:
Step1:選取圖像中的任一像素點p。
Step2:通過4.3.2節(jié)中FAST特征點檢測算法判斷 p是否FAST特征點,如果是,轉(zhuǎn)Step3,否則跳轉(zhuǎn)到Step1。
Step3:分別計算該像素點及其鄰域構(gòu)成的子圖像在X,Y方向上的梯度Ix和Iy。
Step4:結(jié)合高斯模板ω,計算出該像素點的Hessian矩陣M。
Step5:根據(jù)Hessian矩陣計算該像素的Harris響應(yīng)值R,如果R大于閾值t,則為角點,否則不是。如果圖像像素沒有遍歷結(jié)束,轉(zhuǎn)Step1,否則轉(zhuǎn)Step6。
Step6:對R進行非極大值抑制,局部最大值點為角點。
通過對比試驗,HARRIS方法用時146ms,檢測到角點數(shù)量884,而改進算法F-HARRIS方法用時50ms,檢測到角點數(shù)量903。
3.2 雙目立體視覺的特征點匹配
通過上面的描述,利用F-HARRIS方法我們已經(jīng)能非常高效的提取特征點,由公式(4)可知,要計算事物的三維空間坐標,還需要將兩幅圖中表征事物相同位置的特征點匹配。
本文使用雙向交叉匹配方法去匹配雙目圖像的特征點,利用窮舉法進行匹配驗證。將BRIEF描述子、SIFT描述子和Harris特征點、FAST特征點兩兩配對,組成四種方式,進行試驗驗證。實驗環(huán)境是Intel(R) Pentium(R) CPU G860 3.00GHz,4.00GB 內(nèi)存。
通過計算,在進行匹配時HARRIS、FAST特征點和BRIEF描述子的兩個組合方案用時分別為408ms和301ms,正確率為72.9%和69.9%,而HARRIS、FAST特征點和SIFT描述子的兩個組合方案用時分別為811ms和14975ms,正確率為65.8%和79.9%。因此,BRIEF描述子比SIFT描述子更節(jié)省時間,同時保證正確率。最終選擇BRIEF描述子作為特征描述子。
經(jīng)過上面的步驟,我們得到數(shù)量比較大的匹配的特征點,但總體來說,誤配的數(shù)量也比較大,考慮到雙攝像機擺放在同以平面的同一高度上,兩幅圖像中景物的高度不會有太大差別,把該條件作為特征點匹配的約束條件,將F-HARRIS+BRIEF和HARRIS+BRIEF兩個方案進行對比試驗,匹配時間分別為340ms和145描述,匹配點的數(shù)量也不是很大,分別為132和104,試驗結(jié)果比較理想。
4 事物三維坐標的獲取
通過攝像機的標定和特征點的匹配,公式(4)中所需要的所有參數(shù)已經(jīng)具備。從公式(4)中可以看到xw和yw的計算都需要得到zw后才能夠計算,zw重要性比較高,因此我們只對zw進行了精度分析。需要注意的問題是圖像坐標系的原點一般在左上角,而文中都是將圖像的幾何中心作為原點,計算時需要一個平移轉(zhuǎn)換,才能得到公式(4)所需ul、vl和ur。
本實驗中,我們把模型飛機(全長為23cm,寬度為14cm)的質(zhì)心放置距離雙目攝像機透鏡中心面(即z軸距離)600mm,1200mm,1800mm,2400mm,3000mm,3600mm,4200mm,4500mm處,獲取16組匹配點對(ul、vl,ur)如下:(1415 , 918,638),(968 , 765,159),(1449 , 862,999),(1118 , 810,662),(1103 , 807,757),(1325 , 842,982),(1386 , 900,1102),(1334 , 924,1050),(1127 , 866,874),(1212 , 917,959),(1254 , 885,1025),(1255 , 878,1027),(1197 , 894,983),(1121 , 895,907),(1099 , 894,891),(1036 , 887,826),計算得到的zw坐標為616.35,598.11,1207.50,1208.20,1784.80,1775.20,2370.10,2380.60,2976.80,2942.80,3527.76,3557.70,4088.20,4149.00,4437.10,4408.10(單位:mm),從上述數(shù)據(jù)可以看到當物體距離攝像機系統(tǒng)越近,測距精度越高,反之,測距精度降低。實驗結(jié)果還表明:物體距攝像機4.5米以內(nèi)時,測距誤差在3%以內(nèi)。
參考文獻
[1]高宏偉.計算機雙目立體視覺[M].北京:電子工業(yè)出版社,2012:4-10.
[2]隋婧,金偉其.雙目立體視覺技術(shù)的實現(xiàn)及其發(fā)展[J].電子技術(shù)運用,2004,30(10):4-6.
[3]劉紅寧.基于雙目立體視覺擬人機器人定位關(guān)鍵技術(shù)的研究[C].天津:河北工業(yè)大學圖書館(碩士學位論文),2006.
[4]宋麗梅.雙目立體機器視覺檢測系統(tǒng)及其應(yīng)用[J].西南科技大學學報(自然科學版),2006,21(01):30-34.
[5]馬頌德,張正友.計算機視覺—計算理論與算法基礎(chǔ)[M].北京:科學出版社,2003:52-56.
作者單位
河北太行機械工業(yè)有限公司 河北省石家莊市 050035