主動式雙目視覺三維成像技術(shù)研究

牟科瀚，王澤勇

（西南交通大學物理科學與技術(shù)學院光電工程研究所，四川成都，610031）

0 引言

光學三維測量分為被動三維測量技術(shù)和主動三維測量技術(shù)兩大類。被動測量技術(shù)在照明方式上不需要借助結(jié)構(gòu)光的照明，可以從一個或多個現(xiàn)成的攝錄系統(tǒng)中直接使用已經(jīng)捕獲到的二維數(shù)字圖像中還原出物體的形貌。主動測量技術(shù)需要結(jié)構(gòu)光的照射，從攜帶有待測物體表面三維形貌信息的數(shù)字圖像中，通過一些別的算法得到待測物體的三位形貌。

雙目視覺是基于人眼成像理論的被動三維成像技術(shù)。它是基于視差原理，利用成像設(shè)備從不同位置獲取被測物體的兩幅圖像，通過圖像對應點之間的關(guān)系，來計算三維信息的[1]。其具有效率高、精度合適、系統(tǒng)結(jié)構(gòu)簡單、成本低等優(yōu)點，非常適合于制造現(xiàn)場的在線、非接觸產(chǎn)品檢測和質(zhì)量控制系統(tǒng)。由于圖像獲取是在瞬間完成的，因此是一種有效的快速三維測量方法。

鐵路在我國經(jīng)濟社會發(fā)展中的地位和作用至關(guān)重要。為了使列車走行部在運行時保持良好的狀態(tài)，需要在列車行駛前對走行部進行細致的檢查工作，以滿足列車安全行駛條件[2]。在日常的一級檢修過程中，通常是使用目視、人工的方式來進行檢查，這樣的方式費時費力，列車需要在動車段或機務段停留很長時間完成檢測，同時車底部件繁多，環(huán)境黑暗，對檢修員的安全也造成了威脅[3]。因此，為了節(jié)省檢測時間、保證檢測安全，需要設(shè)計一個圖像檢測方案，使檢測員可以直接在電腦端上觀察車底部件的三維圖像。

一個完整的雙目立體視覺系統(tǒng)主要有一下六個部分組成：（1）攝像機標定；（2）圖像獲??；（3）特征提??；（4）立體匹配；（5）深度計算；（6）內(nèi)插與重構(gòu)[4]。針對這六個步驟，國內(nèi)外學者進行了大量的研究，以提升雙目視覺測量效果。

本文基于SIFT雙目匹配，進行了雙目三維成像技術(shù)研究。針對雙目視覺的匹配難問題，通過引入結(jié)構(gòu)光投影的方式作了改進，大幅度提高了匹配精度，對三維成像效果有較大提升。將該雙目三維成像的方式用于的列車底的部件檢測，進行了三維成像驗證。

1 雙目視覺模型

雙目視覺三維成像的數(shù)學模型如下圖所示。為了數(shù)學推導的簡便，這先做兩個假設(shè)：①透鏡成像無畸變；②兩攝像機成像是行對準的?；谶@兩個假設(shè)，得到空間點P( X, Y, Z)的深度與該店在左右視圖中的坐標點和的數(shù)學關(guān)系。

圖1 雙目視覺系統(tǒng)數(shù)學模型

下面基于以上兩個假設(shè)，進行數(shù)學推導。

假設(shè) P( X, Y, Z)為空間中的待測點，其在左右相機中的成像點分別為兩攝像機的主點分別為注意，主點是主光線與像平面的交點，該交點在鏡頭的光軸上。由于機械安裝無法保證鏡頭光軸與CCD成像中心法線完全重合，所以像主點并不與圖像中心完全重合，即Cl和Cr并不是左右視圖的中心點。

三組比較，年齡、性別、受教育年限、糖尿病病程、BMI、空腹血糖、C肽、血脂差異均無統(tǒng)計學意義（P＞0.05）。與Non-DPN組相比，Painful DPN組有更低的HbA1C（P＜0.05）。三組患者MoCA評分差異均無統(tǒng)計學意義（P＞0.05）。與Non-DPN組相比，Painful DPN及Painless DPN組SDS、SAS、SRSS得分均顯著增高（P＜0.05，表1）。

在圖中共有三個坐標系： xlolyl， xroryr和XOY。為 左 攝 像 機 的 坐 標 系， 其 中為ol坐標原點。 xroryr為右攝像機的坐標系，其中，以or為坐標原點。XOY為世界坐標系，其中P( X , Y, Z)以O(shè)坐標原點。

根據(jù)三角形相似原理，我們可以得知： ?P PlPr～ ?P OO′。

那么將物理世界中的點投影到攝像機上，可以用下式表示：a=QA

需要注意的是，實際情況是兩攝像頭的水平中心距應寫為Tx,此處為假設(shè)條件下的簡化推導，世界坐標系的X軸就取在OO′上，所以Tx=T。

xl, xr分別是P點在左右攝像機的成像視圖上的水平像素位置，其差 xl?xr即為通常所說的視差，由于待測物體的多樣性與復雜性，求取視差往往成為整個三維成像中的關(guān)鍵點。

結(jié)合相機畸變，根據(jù)針孔相機模型，物體目標世界坐標點與計算機圖像上對應像素點之間的關(guān)系如下：

其中：K為相機內(nèi)參矩陣；

R =[r1r2r3]為相機的旋轉(zhuǎn)矩陣；

T為相機的平移向量。

上式中內(nèi)參矩陣包含了相機的焦距、畸變等信息，而雙目相機的旋轉(zhuǎn)、平移等信息則包含在外參矩陣中。將內(nèi)參矩陣與外參矩陣整合，可得到下式：

其中M為投影矩陣（又稱為單應性矩陣）。

該式子展開可以得到3個線性關(guān)系式，消除尺度因子s后留下兩個關(guān)系式，而未知量有3個，所以至少需要兩臺相機才可以完成深度的測量。

2 SIFT特征匹配算法

SIFT的全稱是Scale Invariant Feature Transform，尺度不變特征變換，由加拿大教授David G.Lowe提出的。SIFT特征對旋轉(zhuǎn)、尺度縮放、亮度變化等保持不變性，是一種非常穩(wěn)定的局部特征。該算法首先建立圖像的尺度空間描述，通過高斯微分函數(shù)來識別潛在的對尺度和選擇不變的極值點，根據(jù)其局部的梯度方向，建立特征描述向量，是一種具有放縮、旋轉(zhuǎn)和仿射不變性的特征檢測描述方法。

將圖像I與不同高斯核的二維高斯函數(shù)G做卷積得到不同尺度下的尺度空間L，兩兩相減得到高斯差圖像D( x, y, )，其中的每個像素與它的上層、下層以及鄰域共26 個像素點做灰度值的比較，將最大或者最小值作為候選特征點。為了增強匹配的穩(wěn)定性還需要在候選特征點中去除低對比度的極值點和不穩(wěn)定的邊緣響應點，從而精確定位極值點獲得局部特征點。

以每個局部特征點為中心，在其鄰域取 16×16的窗口，劃分為 4×4 的像素塊，在每個像素塊上計算 8 個方向的梯度直方圖分屬 8 個區(qū)間，每個區(qū)間的值為各個梯度幅度的高斯加權(quán)后的累加值。因此每個 4×4 的像素塊都可以用一個長度為 8 維的描述向量來表示，這樣每個局部特征點就會產(chǎn)生一個長度為 128 的 SIFT 特征向量。將特征向量長度進行歸一化處理，進一步去除光照的影響。

特征向量的匹配就是通過計算待匹配的兩幅圖像中局部特征點的歐氏距離對SIFT特征向量進行相似性度量，即查找第一幅圖像的每個局部特征點在另一幅圖像中的最近鄰。設(shè)定比例閾值R, 0

3 實驗驗證

■3.1 雙目三維成像實驗

在進行三維成像前，需要先對雙目相機進行標定，即計算出相機的單應性矩陣。本文采用張正友標定法。標定用棋盤格如圖2所示。

計算得到相機參數(shù)：

圖2 相機標定棋盤格

完成了相機參數(shù)標定后，通過雙目相機采集到的兩幅圖像，如圖3所示。

圖3 待測部件圖像對

圖中為列車車底部件，整體環(huán)境偏暗，大量平面區(qū)域，可提取的特征點較少。直接對圖像進行雙目匹配，結(jié)果如圖4所示。

圖4 雙目匹配結(jié)果

從匹配結(jié)果可以看到，在平面區(qū)域有大量未匹配的空隙，未能達到三維成像的標準。為了提高匹配效果，增加特征點，此處引用了結(jié)構(gòu)光投影。投影圖像為隨機散斑，如圖5所示。

圖5 散斑投影部件圖像對

對投影后的圖像進行雙目匹配，得到的結(jié)果如圖6所示。

圖6 雙目匹配結(jié)果

比較之前未投影圖像的匹配結(jié)果，可以發(fā)現(xiàn)投影了隨機散斑的圖像幾乎匹配完全，結(jié)合相機標定參數(shù)即可進行三維重構(gòu)，結(jié)果如圖7所示。

圖7 三維形貌復原

可以看到，該方法取得了很好的恢復效果。

■3.2 與傅里葉輪廓術(shù)對比實驗

傅里葉輪廓術(shù)，是一種主動式三維測量技術(shù)。利用快速傅里葉變換計算光柵條紋圖像的頻譜，經(jīng)過濾波處理后，從頻譜中提取出被測物體表面的相位值，進而計算出物體的三維外形數(shù)據(jù)。

雙目三維成像其關(guān)鍵因素在于匹配點的精確度與亢余度，在特征點較多，類似于邊緣處其復原結(jié)果較好，而特征點較少的平面處（連續(xù)光滑面，如車輪踏面），恢復的三維圖像會比較稀疏其有一定的雜點產(chǎn)生，這是由于匹配的不準確造成的。而傅里葉輪廓術(shù)，由于光柵的周期特性，在處理相位截斷區(qū)域（實際物體中的不連續(xù)部分，如截面、斷面處）是不準確的，該方法在針對連續(xù)面，如車輪踏面，有較好的恢復效果，當區(qū)域內(nèi)部件較為復雜時，就不能得出準確的三維圖像了?？傮w而言，雙目視覺有著更加優(yōu)越的成像性能。

4 總結(jié)

本文從雙目視覺的數(shù)學模型出發(fā)，推導了相機坐標系與世界坐標系之間的關(guān)系。利用SIFT匹配算法進行了雙目三維成像。針對匹配過程中，特征量少、匹配結(jié)果差難以進行三維成像的問題，引入了主動式投影。通過投影隨機散斑的方式，增加了匹配特征，從而使匹配質(zhì)量大幅度提升。最后針對列車走行部的部件進行了三維成像實驗，取得了較好的成像結(jié)果。并于主動式三維成像技術(shù)中的傅里葉輪廓術(shù)作了對比實驗，實驗結(jié)果表面采用了結(jié)構(gòu)光投影的雙目三維成像有著更好的效果。

* [1]陳濟棠.雙目視覺三維測量技術(shù)研究[D].廣東工業(yè)大學，2011

* [2]王明慧.高速鐵路質(zhì)量安全事故案例[M].西南交通大學出版社，2014

* [3]吳應永.基于SIFT的火車車底螺栓圖像識別技術(shù)研究[D].西南交通大學，2016

* [4]羅佳娥.雙目立體視覺深度感知與三維重建若干問題研究[D].中南大學，2012