基于雙目視覺的三維測量技術(shù)研究

,

(1.中國科學院光電技術(shù)研究所,成都 610209； 2.中國科學院大學,北京 100049)

0 引言

近年來，基于機器視覺的三維測量技術(shù)不斷發(fā)展，尤其是基于雙目視覺的三維測量技術(shù)由于其非接觸測量、自動化程度高等優(yōu)點在機器人，無人機，工業(yè)檢測等領(lǐng)域有著廣泛的應(yīng)用前景。全燕鳴等將基于雙目視覺的三維測量技術(shù)應(yīng)用于工件的在機測量中，實現(xiàn)了工業(yè)環(huán)境中雙目視覺三維測量技術(shù)的應(yīng)用[1]。朱先鋒等在基于.net與halcon的軟件平臺上通過計算目標的外包矩陣從而實現(xiàn)目標的三維測量[2]。田小超等結(jié)合神經(jīng)網(wǎng)絡(luò)算法提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的雙平面標定法[3]，利用神經(jīng)網(wǎng)絡(luò)的非線性映射能力對攝像機模型進行優(yōu)化，從而提高三維測量精度。

基于雙目視覺的三維測量技術(shù)就是利用雙目相機拍攝的圖像，將目標在圖像上的二維像素坐標轉(zhuǎn)化為三維世界坐標。當恢復了目標上的必要關(guān)鍵點之后，物體的整個外形和位置就可以被唯一確定。本文在對基于雙目視覺的三維測量技術(shù)進行深入研究之后，針對三維測量中傳統(tǒng)角點提取算法需要手動調(diào)整參數(shù)、角點集群、精度較低等弱點提出了一種基于隨機森林的亞像素級角點提取算法，該算法不但克服了傳統(tǒng)算法的缺點，同時具有很高的精度。

1 雙目視覺系統(tǒng)

雙目立體視覺是基于視差原理的視覺成像模型[4]，利用視差重建目標的三維信息。如圖1為基本的雙目立體視覺原理圖，左右攝像機同時對目標點P(x,y,z)成像，并分別在各自的成像平面上留下Pl(xl,yl)，Pr(xr,yr)點，同時OlCl，OrCr相互平行，PlPr滿足極線約束, 視差D=xl-xr，P點在攝像機坐標系下的坐標為(xc,yc,zc)。根據(jù)相似三角形原理，P點在攝像機坐標系下的坐標可以表示為：

(1)

即我們只要能知道目標點在左右成像平面上的成像平面坐標，就可以求出目標點的三維坐標，從而獲得目標點的三維信息。

圖1 雙目視覺原理圖

1.1 雙目視覺成像模型

設(shè)相機模型中的四個平面坐標系分別為：像素坐標系(u,v)、成像平面坐標系(x,y)、相機坐標系(xc,yc)、世界坐標系(xw,yw,zw)[5]。雙目視覺成像模型為式(2)，建立了世界坐標系到像素坐標之間的轉(zhuǎn)換關(guān)系。

(2)

1.2 雙目視覺相機標定

根據(jù)式(2)可以看出，雙目立體視覺需要先確定相機的內(nèi)外參數(shù)，建立空間點到像素點的映射關(guān)系，這個過程就是攝像機標定。張正友標定算法[7]以其標定精度高、操作簡單、魯棒性好等特點成為相機標定領(lǐng)域最經(jīng)典、最常用的標定算法之一，其核心部分主要為：

1)在不考慮攝像機畸變的條件下，求取攝像機的內(nèi)外參數(shù)；

2)利用最小二乘法計算畸變系數(shù)；

3)利用第1,2步的結(jié)果再次優(yōu)化內(nèi)外參數(shù)，使誤差最小。

2 雙目視覺立體匹配

立體匹配是雙目立體視覺三維測量最核心，也是最困難的部分。立體匹配算法主要分為基于區(qū)域的立體匹配算法、基于特征的立體匹配算法[11]。其中基于特征點的立體匹配算法以其匹配效率高、精度高、抗噪聲能力強等特點成為最有效的匹配算法之一?；谔卣鼽c匹配的立體匹配主要包括圖像預處理、特征點提取、特征點匹配。其中預處理通常包括目標提取、極線校正兩個部分。

待測目標提取:

待測目標的提取對于雙目視覺的三維測量不是一個必需的步驟，尤其是在待測目標工作環(huán)境較為簡單的條件下。但如果目標所處環(huán)境較為復雜，則先對目標進行預提取，能極大的提高立體匹配算法的精度、優(yōu)化立體匹配算法的時間復雜度和空間復雜度。目標提取最常用的算法包括形態(tài)學背景去除算法、幀差背景去除算法、圖像分割算法等[9]。

2.2 圖像校正

在上文中雙目視覺基本原理公式(1)時，曾提到點Pl,Pr處于平行于基線的同一水平面上，有yl=yr，這是理想的平行光軸雙目立體視覺模型。而現(xiàn)實中搭建雙目立體視覺模型時，或多或少都存在偏差。圖像校正就是通過對左右圖像進行幾何變換使得兩幅圖像對應(yīng)匹配點處于同一條直線上，這稱之為極線約束[8]，如圖2所示為極線校正前后的示意圖。

圖2 極線校正

極線約束使得雙目立體視覺在進行立體匹配時，大幅度減少匹配點搜索空間，從而能夠有效提高匹配的準確度，減少匹配算法的時間復雜度和空間復雜度。

2.3 特征點提取

圖像特征點能夠反映圖像本質(zhì)特征，能夠標識圖像中目標物體。最常用的特征點提取算法包括基于輪廓線的邊緣檢測和基于灰度值變化的角點檢測[1]。特征點提取是整個雙目視覺三維測量中對測量精度影響非常高的一個環(huán)節(jié)。傳統(tǒng)的如Harris角點提取算法主要有以下缺點：

1)只能進行像素級角點提?。?/p>

2)難以克服角點集群問題；

3)智能化程度不夠，常常需要進行比較繁瑣的閾值等參數(shù)的調(diào)節(jié)；

4)引入了很多不夠合理的先驗，如高斯分布、線性化等過程。

對此，本文將特征點提取轉(zhuǎn)化為機器學習的二分類問題，即預測圖像中的像素點是角點的概率，提出了一種基于隨機森林的亞像素角點提取算法。

2.3.1 隨機森林

隨機森林[10]是機器學習中最知名，最有效的算法之一，它基于決策樹和bagging的思想構(gòu)建出強大的分類回歸森林。隨機森林具有結(jié)構(gòu)簡單，計算復雜度小，容易并行化且具有極強的泛化性能等優(yōu)點。如圖3為隨機森林原理圖，其基模型為CART樹，通過對樣本集的樣本和特征的有放回采樣來構(gòu)建多顆CART樹，最后將每棵樹的預測結(jié)果平均，得到像素點為角點的概率。

圖3 隨機森林

結(jié)合隨機森林的預測結(jié)果，進行亞像素角點提?。?/p>

(3)

其中:P(x+s,y+t)為(x+s,y+t)處為角點的概率，Cx+s,y+t為(x+s,y+t)處的坐標，corner為最終預測的亞像素角點坐標，P(x,y)為(x,y)所在3*3鄰域內(nèi)概率最大的像素點，N為整數(shù)且。

2.3.2 特征向量提取

結(jié)合特征點自身的性質(zhì)—與其鄰近像素點灰度值高度相關(guān)，同時出于數(shù)據(jù)集大小、算法效率的考慮選用了Haar中的部分核來生成特征向量，如表1所示。

表1 生成特征向量的核

2.3.3 基于隨機森林的角點提取算法

基于隨機森林角點提取算法模型訓練過程如下。

1)雙目相機采集含有目標的圖像K幅；

2)對圖像進行角點標注，需要確保角點標注的準確性；

3)在每幅圖像中除角點以外的位置進行采樣，包括背景、物體邊緣處等等，盡可能保證采樣點含有不同的模式，不含有信息重復較多的點；最好保證正負樣本的比例均衡；

4)計算角點和采樣的非角點的特征向量，窗口大小為N*N；

5)角點記為1，非角點記為0，生成訓練數(shù)據(jù)；

6)使用隨機森林算法對模型進行充分訓練；

7)將訓練好的模型保存下來；

8)當雙目相機采集到圖像后，如果圖像分辨率太高，且目標所占圖像比例較小，需要對圖像進行預處理，以降低整個角點提取的復雜度；

10)對預處理后的點進行二分類預測，精確地找出所有角點。

2.4 特征點匹配

特征點匹配就是通過一定的匹配算法，將圖像上已經(jīng)檢測到的特征點同另一幅圖像上的特征點進行匹配，在理想情況下這兩點將對應(yīng)現(xiàn)實中的同一點。因此，特征點匹配本質(zhì)上是一種相似度度量。

根據(jù)不同的相似度度量標準，有不同的特征點匹配算法。通常使用MAD，SAD算法，SSD算法，NCC算法四種相似度度量準則進行特征點匹配。這四種算法前三種本質(zhì)上是一個原理，就是在計算兩個窗口中對應(yīng)像素點的灰度值差，從而衡量兩個窗口的相似度。這三種算法對光照較為敏感，而基于雙目視覺的立體匹配由于左右相機視角問題會導致左右相機采集的圖像亮暗程度不一，因此這三種算法不適用于雙目視覺的立體匹配中。而NCC算法則對灰度值進行了歸一化處理，降低了光照對立體配的影響，對雙目視覺來說較為適用。

3 實驗

3.1 實驗設(shè)備

本次實驗所使用的實驗設(shè)備如圖4所示，主要包括FUJIFILM工業(yè)攝相機，高精度標定板，高精度量塊以及便攜式工控機。相關(guān)參數(shù)見表2。

圖4 實驗設(shè)備

實驗設(shè)備參數(shù)參數(shù)值攝像機分辨率(pix)2448?2048焦距(mm)25光圈F1.4～F22最小物距(m)0.1重量(g)315標定板尺寸(mm)100?100圓點陣列7?7圓點直徑(mm)6.25圓點中心距(mm)12.5精度(mm)0.001量塊長(mm)60寬(mm)35高(mm)9

3.2 相機標定

根據(jù)2.2節(jié)所介紹的雙目立體視覺標定流程，對相機進行標定，其中拍攝的標定板照片組數(shù)K=15。如圖5為拍攝的15組標定板圖像。同時標定過程中，需要注意兩點：一是保持標定板背景的單一，最好是黑色或者白色；其次要防止光照對相機標定的影響。最終我們求得相機的內(nèi)外參數(shù)見表3，標定平均誤差為0.034 2個像素。

圖5 15組標定板圖像

參數(shù)類型標定參數(shù)標定結(jié)果左相機標定結(jié)果右相機標定結(jié)果內(nèi)參數(shù)焦距(mm)0.02400.0240畸變系數(shù)(1/m2)-180.5661-139.5703單個像元寬(μm)3.453.45單個像元高(μm)3.453.45主點x坐標(pix)1202.75641192.6069主點y坐標(pix)999.73251002.0926圖像寬(pix)24482448圖像高(pix)20482048外參數(shù)旋轉(zhuǎn)矩陣R(°)[0.1836, 0.0014, 0.0026]平移矩陣T(m)[0.1133, 357.7735, 0.2940]

3.3 三維測量實驗

我們在角點提取算法中選用的隨機森林算法是基于Python的著名機器學習庫scikit-learn的RandomForestClassifier接口，這是一個由前谷歌工程師David Cournapeau發(fā)起的開源機器學習項目，包含了當今機器學習領(lǐng)域內(nèi)絕大多數(shù)分類、回歸、 聚類、降維等算法。同時scikit-learn提供交叉驗證，這對于構(gòu)建一個穩(wěn)定的機器學習模型有極大的好處。三維測量主要試驗步驟如下：

1)雙目相機采集含有量塊的圖像90幅(左右圖像各45幅)，每幅圖像6個角點；

2)對圖像進行角點標注，在每幅圖像中除角點以外的位置進行采樣，包括背景、物體邊緣非角點處，角點總共為540，非角點540；

3)以被選擇的點為窗口中心，在5*5的窗口內(nèi)計算點的特征向量；

4)角點記為1，非角點記為0，生成訓練數(shù)據(jù)；

5)使用隨機森林算法對模型進行充分訓練，同時進行 5折交叉驗證；

6)將訓練好的模型保存下來，以便重復使用；

7)對待預測的圖像進行預處理，剔除掉絕大多數(shù)平滑的點，減少計算量；

8)對預處理后的點進行二分類預測，每個位置選取概率值最高的點作為角點。

9)在第8步預測的點周圍3*3的窗口內(nèi)，利用式3計算亞像素角點坐標(N=3)。

其中隨機森林模型訓練的主要參數(shù)設(shè)置如表4，僅供參考，在訓練模型時根據(jù)實際情況進行調(diào)節(jié)。

表4 隨機森林關(guān)鍵參數(shù)設(shè)置

3.4 誤差分析

當像素點的三維世界坐標被還原之后，一個孤立的點，我們難以度量其準確性。因此，我們計算出量塊多個角點的世界坐標，通過兩點坐標計算長度來衡量三維世界坐標重建的準確性。我們使用不同的5組圖像，使用3.2中訓練好的模型進行檢測，將5次的測量結(jié)果平均，如表5所示。

表5 測量結(jié)果

通過表5可以看出，使用隨機森林來提取特征點，進而三維測量，是具有較高精確度的，隨機森林的亞像素級能進一步減小測量誤差。

4 結(jié)語

本文深入研究了利用雙目立體視覺進行三維測量的技術(shù)與方法，同時針對其中的難點問題，引入了基于隨機森林的機器學習算法來進行特征點提取?；跈C器學習強大的自學習能力，該算法具有以下優(yōu)點：

1)傳統(tǒng)算法如harris等特征點提取算法，每次測量都需要手動設(shè)置參數(shù)和閾值；而基于隨機森林等機器學習的算法一旦模型訓練好之后，后續(xù)測量將是比較自動化的過程。

2)傳統(tǒng)的特征點提取算法幾乎都存在角點集群問題，需要反復進行閾值調(diào)整，而本文的方法可以依據(jù)隨機森林預測每個點是角點的概率，選取概率最大的點作為角點，不會存在角點集群問題。

3)傳統(tǒng)的特征點檢測算法只能進行像素級角點提取，欲進行亞像素級角點提取，則會根據(jù)梯度等信息來對角點及鄰近角點進行插值或者最小二乘擬合，本文則直接充分利用機器學習的預測的概率來進行加權(quán)求取，更加簡單和直觀，具備良好的可解釋性。

通過一系列的研究和改進，精確的將像素坐標轉(zhuǎn)化為三維世界坐標，從而利用點的三維世界坐標來實現(xiàn)三維測量。