多目立體視覺三維重建系統(tǒng)的設(shè)計(jì)

章秀華，白浩玉，李 毅

（武漢工程大學(xué)圖像處理與智能控制研究室 湖北 武漢 430205）

0 引 言

隨著現(xiàn)代工業(yè)生產(chǎn)制造加工工藝的不斷進(jìn)步，產(chǎn)品加工過程的智能化和自動(dòng)化程度進(jìn)一步提高.自動(dòng)化生產(chǎn)線上的產(chǎn)品加工時(shí)，待加工完成進(jìn)入下一個(gè)工序，都需要對(duì)產(chǎn)品進(jìn)行基于視覺圖像的檢測(cè).目前在一些工業(yè)生產(chǎn)領(lǐng)域，基于圖像二維視覺檢測(cè)技術(shù)已初步應(yīng)用在生產(chǎn)線上產(chǎn)品的視覺檢測(cè)和自動(dòng)監(jiān)控過程中，但二維視覺檢測(cè)只能對(duì)產(chǎn)品的相對(duì)位置、形態(tài)、產(chǎn)品標(biāo)記等二維投影特征進(jìn)行判別和檢測(cè)，是有限的局部的單視點(diǎn)投影視覺檢測(cè)，無法對(duì)產(chǎn)品的三維特征和表面參數(shù)進(jìn)行高精度的測(cè)量和三維形態(tài)識(shí)別，因此二維視覺檢測(cè)技術(shù)還遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)代工業(yè)生產(chǎn)發(fā)展過程中數(shù)字制造與智能制造和檢測(cè)的需要［1］.研究基于三維重建的非接觸測(cè)量技術(shù)是產(chǎn)品數(shù)值化制造及自動(dòng)化加工過程的迫切需要.基于計(jì)算機(jī)視覺的三維重建技術(shù)［2］，是指由兩幅或多幅二維圖像來恢復(fù)出空間物體的幾何信息.于是基于雙目立體視覺的三維重建系統(tǒng)的研究得以發(fā)展，但是雙目?jī)H是用兩個(gè)相機(jī)從不同角度進(jìn)行采圖，在成像過程中，一些有用的三維信息由于投影而丟失了，使重建結(jié)果不夠完整.

針對(duì)上述問題，筆者設(shè)計(jì)了一套基于多目的立體視覺三維重建系統(tǒng)，以八個(gè)相機(jī)為例從不同的角度采圖，采用Harris角點(diǎn)及高斯差分檢測(cè)算法實(shí)現(xiàn)特征點(diǎn)提取和立體匹配，結(jié)合泊松表面重建方法對(duì)物體進(jìn)行三維重建.研究結(jié)果表明，本文方法有著較好的穩(wěn)定性和準(zhǔn)確性.

1 三維表面重建原理

1.1 圖像獲取

三維重建的基礎(chǔ)是平面圖像的獲取，通過獲取圖像來得到圖像的基本數(shù)據(jù)，如深度、物體相對(duì)位置等.獲取圖像的途徑有很多，主要根據(jù)實(shí)驗(yàn)的場(chǎng)合和目的、光照條件、相機(jī)性能等因素來進(jìn)行選擇.

1.2 圖像預(yù)處理

計(jì)算機(jī)視覺方法很少考慮基于成像物理過程的預(yù)處理，一般假定成像條件是理想的［3］.然而采集的原始圖像中通常含有多余的圖像信號(hào)，所以對(duì)圖像進(jìn)行預(yù)處理是必要的.通過預(yù)處理，使得圖像數(shù)據(jù)的信噪比得以提高、背景得到抑制，后續(xù)處理的壓力也將減小.根據(jù)處理圖像像素的方法，圖像預(yù)處理可以分為以下幾種形式：點(diǎn)運(yùn)算、鄰域運(yùn)算、并行運(yùn)算、串行運(yùn)算和迭代運(yùn)算等.圖像預(yù)處理的主要過程是：灰度化及平滑化.

1.3 相機(jī)標(biāo)定

通過相機(jī)的圖像坐標(biāo)系與空間物體的三維坐標(biāo)系之間的關(guān)系，得到相機(jī)的參數(shù)的過程就是相機(jī)標(biāo)定.根據(jù)標(biāo)定過程是否需要控制場(chǎng)將相機(jī)標(biāo)定分為傳統(tǒng)標(biāo)定方法和自標(biāo)定方法［4］.傳統(tǒng)標(biāo)定方法成本低，穩(wěn)定性好，精度較高，但在某些情況下難以實(shí)現(xiàn)，如高危地區(qū)監(jiān)測(cè)等，而自標(biāo)定方法雖然解決了這個(gè)問題，但是存在著計(jì)算量大、穩(wěn)定性差的缺點(diǎn).

1.4 特征提取與立體匹配

通過選擇合適的圖像特征并進(jìn)行匹配，來確定場(chǎng)景中同一物點(diǎn)在不同圖像中的對(duì)應(yīng)關(guān)系，從而實(shí)現(xiàn)多視點(diǎn)視差確定信息.特征點(diǎn)主要是指圖像中特征較為明顯的點(diǎn)，如角點(diǎn)、圓點(diǎn)等.通過運(yùn)用不同算法從圖像中提取感興趣的或有利于某種目的的點(diǎn).常用的特征點(diǎn)提取算法有三類，即基于輪廓的算法、基于亮度的算法和基于參數(shù)模型的算法［5］.

在提取特征點(diǎn)之后，進(jìn)行特征匹配，將不同圖像中的同一個(gè)空間點(diǎn)對(duì)應(yīng)起來，建立多幅圖像之間特征的對(duì)應(yīng)關(guān)系.通常情況下，一幅圖像中的某個(gè)特征點(diǎn)在另一幅圖像中可能會(huì)有許多的匹配對(duì)象，另外場(chǎng)景中還存在諸如光照條件、景物形狀、干擾噪聲和畸變等不利因素，也會(huì)引起歧義匹配［6］.因此，準(zhǔn)確地對(duì)圖像進(jìn)行無歧義匹配是十分重要的.

1.5 三維重建

物體在空間上是以三維形式存在的，而多視點(diǎn)圖像采集系統(tǒng)獲取的圖像都是二維的，這就需要運(yùn)用三維重建技術(shù)從多視點(diǎn)二維圖像中恢復(fù)出空間物體的幾何信息.根據(jù)空間一點(diǎn)在多幅圖像中的對(duì)應(yīng)坐標(biāo)，結(jié)合相機(jī)參數(shù)矩陣，就可以對(duì)空間點(diǎn)進(jìn)行重建.當(dāng)確定物體表面的所有點(diǎn)三維坐標(biāo)時(shí)，該物體的三維形狀和位置也就唯一確定了.因此，三維重建的基礎(chǔ)是空間點(diǎn)的重建.

2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2.1 圖像采集模塊

基于實(shí)驗(yàn)的需要，采用加拿大Point Grey公司提供的FL2－20S4C－C工業(yè)相機(jī)，Sony公司電荷耦合元件（Charge－coupled Device，以下簡(jiǎn)稱CCD）和IEEE1394b接口標(biāo)準(zhǔn)，將八個(gè)相機(jī)按直線排列，從八個(gè)不同角度采集圖像.采用IEEE1394b接口標(biāo)準(zhǔn)，使得數(shù)據(jù)速率高速，避免了其他標(biāo)準(zhǔn)數(shù)據(jù)傳輸速率低.圖像采集系統(tǒng)由Flea系列1／1.8英寸 Sony CCD IEEE1394b相機(jī)、FWB－PCIE－02圖像采集卡和計(jì)算機(jī)組成，將CCD傳來的模擬圖像信號(hào)，通過圖像采集卡轉(zhuǎn)換為數(shù)字圖像信號(hào)并傳送給計(jì)算機(jī)處理.

2.2 圖像的預(yù)處理

要把目標(biāo)物體從圖像場(chǎng)景中提取出來，需要將復(fù)雜背景除掉.首先采用多級(jí)濾波對(duì)背景進(jìn)行逐級(jí)抑制，把不相關(guān)的背景圖像內(nèi)容剔除掉，同時(shí)將一些背景區(qū)域進(jìn)行合并.然后，再根據(jù)圖像特征建立合適的加權(quán)值計(jì)算模型以及找到合適的最優(yōu)化算法來得到能量函數(shù)的最小值.最后在完成最小化后，即得到了圖像的最優(yōu)化分割.

2.3 相機(jī)標(biāo)定模塊

實(shí)驗(yàn)采用張正友標(biāo)定方法，用模板標(biāo)定板取代了三維標(biāo)定物.張正友標(biāo)定算法［7］的基本原理可用式（1）表示.

式（1）中：假定在世界坐標(biāo)系中，模板平面在Z＝0上，K為相機(jī)的內(nèi)部參數(shù)，＝［X Y1］T為模板上點(diǎn)的齊次坐標(biāo)，＝［u v 1］T為模板上點(diǎn)投影到圖像平面上對(duì)應(yīng)點(diǎn)的齊次坐標(biāo)，［r1，r2，r3］和t分別是相機(jī)坐標(biāo)系對(duì)應(yīng)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量．具體實(shí)現(xiàn)步驟如下［8］：

①打印一張10×10棋盤方格圖（模板）貼在一個(gè)平板上；

②從八個(gè)不同角度對(duì)模板平面進(jìn)行拍攝；

③檢測(cè)出八幅圖像中的特征點(diǎn)；

④計(jì)算出相機(jī)的內(nèi)外參數(shù).

2.4 特征提取與立體匹配

采用兩種特征檢測(cè)濾波類型，即Harris角點(diǎn)檢測(cè)及高斯差分檢測(cè)對(duì)各視點(diǎn)的圖像進(jìn)行特征提取.Harris算子［9］是一種基于信號(hào)的點(diǎn)特征提取算子，通過計(jì)算所在位置的梯度來檢測(cè)角點(diǎn).當(dāng)像素所在位置沿任意方向的曲率都比較大時(shí)，則判定該像素點(diǎn)為角點(diǎn).

Harris算子只涉及圖像的一階導(dǎo)數(shù)，其具體步驟如下［10］：

①計(jì)算各像元的興趣值IV：

其中g(shù)x為x方向的梯度，gy為y方向的梯度，G（）為高斯模版，Det M 和tr M 分別表示矩陣M的行列式和跡，k為默認(rèn)常數(shù)；

②選取局部極值點(diǎn)：根據(jù)計(jì)算完的興趣值，提取原始圖像中所有局部興趣值最大的點(diǎn)；

③根據(jù)需要提取一定數(shù)目的特征點(diǎn).

再利用高斯差分［11］確定最終特征點(diǎn)，具體算法如下：

①利用高斯卷積構(gòu)建金字塔結(jié)構(gòu)的尺度空間；

②對(duì)金字塔中間各層圖像求Harris角點(diǎn)；

③對(duì)所提取的Harris角點(diǎn)與其上下層圖像對(duì)應(yīng)的像素點(diǎn)計(jì)算高斯差分，高斯差分取得極值并大于閾值的Harris角點(diǎn)被選為特征點(diǎn)［12］.

兩兩取圖像對(duì)的特征點(diǎn)（f，f′），運(yùn)用三角形法則重建出空間點(diǎn)的三維坐標(biāo).經(jīng)過該空間點(diǎn)作指向相機(jī)光心的射線，從而得出物體表面的小長(zhǎng)方形塊及其經(jīng)過該表面中心點(diǎn)的單位法向量.

2.5 三維重建

在特征點(diǎn)的匹配和相機(jī)標(biāo)定的基礎(chǔ)上進(jìn)行三維重建，利用泊松表面重建方法［13］，可以較準(zhǔn)確地獲取和優(yōu)化角點(diǎn)，并找到角點(diǎn)特征的匹配點(diǎn)，從而能夠獲得被重建物體的精確表面.

泊松表面重建的步驟如下：（a）將模型表面采樣的有向樣點(diǎn)轉(zhuǎn)換為模型指示函數(shù)梯度的樣點(diǎn)；（b）使用隱函數(shù)框架的方法進(jìn)行表面重建，計(jì)算指示函數(shù)；（c）通過指示函數(shù)提取對(duì)應(yīng)的等值面，從而獲得重建表面；（d）采用八叉樹法，將細(xì)節(jié)點(diǎn)所在面的等值線段投影到粗節(jié)點(diǎn)所在面上，從而避免產(chǎn)生裂紋.

3 實(shí)驗(yàn)結(jié)果與分析

本文所采用的方法在計(jì)算機(jī)（3.09GHz，3.16GB）通過編程實(shí)現(xiàn)，對(duì)毛絨汽車抱枕從八個(gè)不同角度進(jìn)行拍攝.圖1是本實(shí)驗(yàn)平臺(tái)，包括可在計(jì)算機(jī)控制下獲取圖像的CCD相機(jī)、水平平臺(tái)、移動(dòng)機(jī)器人、標(biāo)定板；圖2和圖3是經(jīng)過預(yù)處理所得到的圖片；圖4是特征點(diǎn)提取與匹配示意圖；圖5是三維表面重建結(jié)果，其中汽車車身（紅色），汽車車窗（白色），車身上數(shù)字（95），汽車輪轂（咖啡色）都很好的重建出來.

圖1 用于重建的實(shí)驗(yàn)平臺(tái)Fig.1 Experimental platform for reconstruction

圖2 圖像背景抑制Fig.2 Suppression of image back ground

圖3 目標(biāo)物體分割Fig.3 Target object segmentation

圖4 特征點(diǎn)提取與匹配示意圖Fig.4 Feature points extraction and matching schematic diagram

圖5 基于多視點(diǎn)圖像的重建結(jié)果（三維圖像數(shù)據(jù)）Fig.5 Result of multi－view images reconstruction （3Dimage data）

由圖5可知，在上述系統(tǒng)的基礎(chǔ)上進(jìn)行實(shí)驗(yàn)，結(jié)果顯示該系統(tǒng)能對(duì)目標(biāo)物體進(jìn)行較好的三維重建.但由于采用基于特征點(diǎn)的重建方法，因此對(duì)特征點(diǎn)的依賴較明顯，如果某個(gè)區(qū)域表面獲取信息較少，反光比較明顯或者與背景顏色比較接近，則提出的特征點(diǎn)很少或者提不出有效的特征點(diǎn).

4 結(jié) 語

本文討論了基于多目立體視覺的三維重建方法，將Harris角點(diǎn)及高斯差分檢測(cè)算法運(yùn)用到特征點(diǎn)提取和立體匹配中，結(jié)合泊松表面重建方法設(shè)計(jì)了一套穩(wěn)定可靠的系統(tǒng)，以八個(gè)鏡頭為例，通過多視點(diǎn)圖像恢復(fù)出物體的三維表面，為后續(xù)改進(jìn)和完善系統(tǒng)做好準(zhǔn)備.本系統(tǒng)可以用于對(duì)工業(yè)領(lǐng)域生產(chǎn)線上產(chǎn)品的三維表面重建，能夠?qū)Ξa(chǎn)品表面特征質(zhì)量參數(shù)進(jìn)行自動(dòng)化檢測(cè)，從而提高產(chǎn)品的生產(chǎn)效率.

［1］洪漢玉.現(xiàn)代圖像圖形處理與分析［M］.武漢：中國地質(zhì)大學(xué)出版社，2011.

［2］王新字.基于計(jì)算機(jī)立體視覺的三維重建［D］.長(zhǎng)沙：中南大學(xué)，2004.

［3］張?zhí)煨?成像自動(dòng)目標(biāo)識(shí)別［M］.武漢：湖北科學(xué)技術(shù)出版社，2005.

［4］邱茂林，馬頌德，李毅.計(jì)算機(jī)視覺中攝像機(jī)定標(biāo)綜述［J］.自動(dòng)化學(xué)報(bào)，2000，26（1）：43－55.

［5］蘇小紅，李東，唐好選，等.計(jì)算機(jī)圖形學(xué)實(shí)用教程［M］.北京：人民郵電出版社，2010.

［6］于勇，張暉，林茂松.基于雙目立體視覺三位重建系統(tǒng)的研究與設(shè)計(jì)［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2009，19（6）：127－130.

［7］Zhang Z Y.A Flexible New Technique for Camera Calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330－1334.

［8］Zhang Z Y.Flexible Camera Calibration By Viewing a Plane From Unknown Orientations ［C］／／ Proceedings of the 7th IEEE International Conference on Computer Vision，20－27September，1999，Kerkyra，Greece.［S.l.］：IEEE Computer Society，1999，1：666－673.

［9］Harris C，Stephens M.A Combined Comer and Edge Detector［C］／／Proceedings of the 4th Alvey Vision Conference，University of Manchester，31August－2 September，1988Manchester：［s.n.］，1988：147－151.

［10］張永軍.基于序列圖像的視覺檢測(cè)理論與方法［M］.武漢：武漢大學(xué)出版社，2008.

［11］Lowe D G.Distinctive image features from scale invariant key－points［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［12］高健，黃心漢，彭剛，等.基于Harris角點(diǎn)和高斯差分的特征點(diǎn)提取算法［J］.模式識(shí)別與人工智能，2008，21（2）：171－176.

［13］Kazhdan M，Bolitho M，Hoppe H.Poisson Surface Reconstruction［C］／／ Dieter Fellner，Spencer S.Proceedings of the Fourth Eurographics Symposium on Geometry Processing，June 26－28，2006，Cagliari，Sardinia，Italy.Ariela－Ville，Switzerland：the Eurographics Association，2006，61－70.