基于Canny算子和Harris角點(diǎn)提取的三維重建方法★

高一寧，韓燮

（中北大學(xué) 電子與計(jì)算機(jī)科學(xué)技術(shù)學(xué)院 山西 太原 030051）

0 引言

基于雙目立體視覺的三維重建是根據(jù)人在大腦中將左右眼圖像融合成立體圖像的原理,使用標(biāo)定后的雙攝像頭進(jìn)行同步拍攝獲得同一物體在相同條件下不同位置的兩幅圖像,然后根據(jù)所獲取的二維圖像的視差和像素點(diǎn)信息進(jìn)行計(jì)算，獲取像素點(diǎn)的第三維深度信息。從而利用像素點(diǎn)的三維坐標(biāo)信息對(duì)所拍攝物體進(jìn)行建模。

相比其他類的體視方法，如透鏡板三維成像、投影式三維顯示、全息照相術(shù)等，雙目本是直接模擬人類雙眼處理景物的方式，可靠簡(jiǎn)便，在許多領(lǐng)域均極具應(yīng)用價(jià)值，如微操作系統(tǒng)的位姿檢測(cè)與控制、機(jī)器人導(dǎo)航與航測(cè)、三維測(cè)量學(xué)及虛擬現(xiàn)實(shí)等。

本文采用的三維重建方法即是利用雙目相機(jī)成像并計(jì)算獲得圖像的三維點(diǎn)云信息，并將所拍攝物體進(jìn)行三維重建。

1 雙目立體視覺原理

雙目立體視覺的三維測(cè)量是基于視差原理（如圖1所示），它是由兩個(gè)完全相同的攝像機(jī)構(gòu)成，兩個(gè)圖像平面位于同一個(gè)平面上，兩個(gè)攝像頭的坐標(biāo)軸互相平行且x軸重合，模仿人眼獲取物體位置信息的原理，通過兩個(gè)攝像機(jī)同時(shí)獲取物體的左右視圖，類似與人的左右眼獲取物體圖像一樣，經(jīng)過計(jì)算獲取物體的深度信息，由此得到物體的三維坐標(biāo)確定物體的精確位置。

其中，基線距離是兩個(gè)相機(jī)的投影中心之間的距離；相機(jī)的焦距為f。

設(shè)兩相機(jī)在同一時(shí)刻拍攝到物體的同一特征點(diǎn)P(xc,yc,zc)，并分別獲取了點(diǎn)P的圖像，設(shè)圖像坐標(biāo)分別為 Pleft=（Xleft,Yleft），Pright=(Xright, Yright)。

現(xiàn)兩攝像機(jī)的圖像在同一個(gè)平面上，則特征點(diǎn)P的圖像坐標(biāo)Y坐標(biāo)相同，即則由三角幾何關(guān)系得到：

則視差為：disparity= Xleft-Xright。由此可計(jì)算出特征點(diǎn)P在相機(jī)坐標(biāo)系下的三維坐標(biāo)為：

圖1 視差原理圖

因此，左相機(jī)像面上的任意一點(diǎn)只要能在右相機(jī)像面上找到對(duì)應(yīng)的匹配點(diǎn)，就可以確定出該點(diǎn)的三維坐標(biāo)。這種方法是完全的點(diǎn)對(duì)點(diǎn)運(yùn)算，像面上所有點(diǎn)只要存在相應(yīng)的匹配點(diǎn)，就可以參與上述運(yùn)算，從而獲取其對(duì)應(yīng)的三維坐標(biāo)。

2 實(shí)驗(yàn)過程

2.1 設(shè)備介紹

本次試驗(yàn)使用的設(shè)備為雙目相機(jī)，相機(jī)左右攝像頭在同一平面上，且相機(jī)參數(shù)相同位置固定，經(jīng)拍攝獲得同一物體的左右視圖，經(jīng)計(jì)算獲取三維坐標(biāo)信息。

2.2 研究方法

首先利用相機(jī)獲得原始的ppm格式的圖像，應(yīng)用低通濾波、圖像校正和邊緣檢測(cè)的預(yù)處理模塊，得到平滑低噪的圖像；然后將處理過的圖像進(jìn)行立體匹配、計(jì)算三維坐標(biāo)信息。最后的處理結(jié)果即是一幅深度圖像。

2.3 原始圖像獲取

基于雙目相機(jī)的雙目立體視覺系統(tǒng)必須安裝在一個(gè)穩(wěn)定的平臺(tái)上，由于使用的是雙目相機(jī)，因此相機(jī)內(nèi)參完全一致且相機(jī)間距不會(huì)發(fā)生變化。同時(shí)應(yīng)該使被測(cè)物體盡可能的靠近相機(jī)。如果基線長(zhǎng)度和物體距相機(jī)距離之間的比值過大，圖像對(duì)之間的交迭區(qū)域?qū)⒎浅Ｐ?，這樣將不能夠獲取足夠的物體表面信息。圖2所示為所采用設(shè)備的平面圖。表1所表示的為設(shè)備的內(nèi)部參數(shù)。

本文采用張友正標(biāo)定法得到標(biāo)定信息。

圖2 雙目相機(jī)

表1 相機(jī)內(nèi)部參數(shù)

HFOV指相機(jī)的鏡頭在水平方向上能夠達(dá)到的可拍攝的最大角度。

圖3 左相機(jī)獲取的圖像

圖4 右相機(jī)獲取的圖像

2.4 邊緣提取

邊緣是圖像的最基本的特征之一，包含了豐富的信息。二維圖像的特征抽取是三維計(jì)算機(jī)視覺的第一步，抽取二維圖像上的邊緣、角點(diǎn)、紋理等基本特征是整個(gè)系統(tǒng)框架中的第一步。

圖像邊緣檢測(cè)必須滿足兩個(gè)條件：一能有效地抑制噪聲；二必須盡量精確確定邊緣的位置。由于Canny算子提取的邊緣最為完整，而且邊緣的連續(xù)性很好，定位比較精確，因此本文采用的是Canny算子進(jìn)行邊緣檢測(cè)。

Canny邊緣檢測(cè)方法如下：

第一步：圖像使用帶有指定標(biāo)準(zhǔn)偏差σ的高斯濾波器來平滑，從而可以減少噪聲；

第三步：第二步中確定的邊緣點(diǎn)會(huì)導(dǎo)致梯度幅度圖像中出現(xiàn)脊。算法追蹤所有脊的頂部，并將所有不在脊的頂部的像素設(shè)為零，以便在輸出中給出一條細(xì)線，這就是非最大值抑制處理。脊像素使用兩個(gè)閾值T1和T2做閾值處理，其中T1＜T2。值大于T2的脊像素稱為強(qiáng)邊緣像素，T1和 T2之間的脊像素稱為弱邊緣像素；

第四步：連接邊緣。

Canny 邊緣檢測(cè)的語法為：[g,t]=edge(f,’canny’,T,sigma)

2.5 立體匹配

立體匹配由3個(gè)基本的步驟組成：

第一步：從圖像對(duì)中的一幅圖像如左圖上選擇與實(shí)際物理結(jié)構(gòu)相應(yīng)的圖像特征；

第二步：在另一幅圖像如右圖中確定出同一物理結(jié)構(gòu)的對(duì)應(yīng)圖像特征；

第三步：確定這兩個(gè)特征之間的相對(duì)位置，得到視差。通過立體匹配得到視差圖像之后，最終獲得深度圖像，并恢復(fù)場(chǎng)景的三維信息。

特征點(diǎn)的選取本文采用Harris算子提取物體的角點(diǎn)信息并結(jié)合邊緣檢測(cè)獲取的邊緣點(diǎn)作為特征點(diǎn)。

Harris檢測(cè)的算法思想是：在圖像中設(shè)計(jì)一個(gè)局部檢測(cè)窗口，當(dāng)該窗口沿各個(gè)方向作微小移動(dòng)時(shí)，考察窗口的平均能量變化，當(dāng)該能量變化值超過設(shè)定的閾值時(shí)，就將窗口的中心像素點(diǎn)提取為角點(diǎn)。其數(shù)學(xué)表達(dá)式為：

將圖像窗口平移[u,v]產(chǎn)生灰度變化E(u,v)。其中w(x,y)為窗口函數(shù)，I(x,y)為圖像灰度，I(x+u,y+v)為平移后的圖像灰度。

Harris算法步驟為：

第一步：計(jì)算圖像的方向?qū)?shù)即圖像像素在水平和垂直方向上的梯度，以及兩者的乘積，得到M中4個(gè)元素的值：第二步：對(duì)圖像進(jìn)行高斯濾波，得到新的M。離散二維零均值高斯函數(shù)為

第三步：計(jì)算原圖像上對(duì)應(yīng)的每個(gè)像素點(diǎn)的興趣值，即R值。

第四步：選取局部極值點(diǎn)。Harris方法認(rèn)為，特征點(diǎn)是局部范圍內(nèi)的極大興趣值對(duì)應(yīng)的像素點(diǎn)。

第五步：設(shè)定閾值，選取一定量的角點(diǎn)。

匹配結(jié)果如圖5所示。

圖5 邊緣提取和角點(diǎn)匹配結(jié)果

2.6 三維坐標(biāo)計(jì)算

本文采用的設(shè)備為平行光軸模型，攝像機(jī)的焦距f和兩個(gè)相機(jī)光心間的距離B已知。以左相機(jī)的坐標(biāo)系為世界坐標(biāo)系，空間點(diǎn)P的世界坐標(biāo)為(X,Y,Z)，在左右相機(jī)坐標(biāo)系下坐標(biāo)分別為(xl,yl,zl)和(xr,yr,zr)，在左右圖上像平面坐標(biāo)為(a1,b1),(a2,b2)，視差D=a1-a2。

世界坐標(biāo)系與攝像機(jī)坐標(biāo)系的關(guān)系：

由此，根據(jù)雙目視覺原理可知，計(jì)算三維空間點(diǎn)的坐標(biāo)方法為：

2.7 三維網(wǎng)格重建

將所有的匹配點(diǎn)的三維坐標(biāo)計(jì)算出來后，為得到真實(shí)感的三維模型，即對(duì)空間點(diǎn)進(jìn)行三角剖分重建出物體模型。本文采用的為Delaunay三角剖分算法的Bowyer-Watson算法實(shí)現(xiàn)重建。

該算法的基本步驟是：

第一步：構(gòu)造一個(gè)超級(jí)三角形，包含所有散點(diǎn)，放入三角形鏈表。

第二步：將點(diǎn)集中的散點(diǎn)依次插入，在三角形鏈表中找出其外接圓包含插入點(diǎn)的三角形（稱為該店的影響三角形），刪除影響三角形的公共邊，將插入點(diǎn)同影響三角形的全部頂點(diǎn)連接起來，從而完成一個(gè)點(diǎn)在Delaunay三角形鏈表中的插入。

第三步：根據(jù)優(yōu)化準(zhǔn)則對(duì)局部新形成的三角形進(jìn)行優(yōu)化，將形成的三角形放入Delaunay三角形鏈表。

第四步：循環(huán)執(zhí)行上述第二步，知道所有的散點(diǎn)插入完畢。

3 實(shí)驗(yàn)結(jié)果

立體匹配的對(duì)應(yīng)點(diǎn)對(duì)如表2所示。其中，B=12cm，f=6mm。根據(jù)式(4)進(jìn)行計(jì)算，獲取坐標(biāo)信息進(jìn)行重建。

表2 左右圖像中匹配的特征點(diǎn)的坐標(biāo)

使用Delaunay三角剖分算法進(jìn)行三維重建。建模結(jié)果如圖6所示。

4 結(jié)論

本文介紹了一種基于雙目立體視覺的三維重建的方法，通過雙目相機(jī)獲取視差圖像，進(jìn)行圖像處理和特征點(diǎn)的選取，完成特征點(diǎn)的立體匹配，計(jì)算得到模型特征點(diǎn)的三維坐標(biāo)，并在MATLAB中進(jìn)行了仿真實(shí)現(xiàn)，得到物體的三維模型。但是，由于立體匹配上存在誤差，所以重建結(jié)果受到特征點(diǎn)提取和匹配的準(zhǔn)確度的影響，物體的重建效果不夠精細(xì)，還需不斷進(jìn)行算法改進(jìn)，得到具有真實(shí)感的三維物體模型。

[1]隋 ,金偉其.雙目立體視覺技術(shù)的實(shí)現(xiàn)及其進(jìn)展[J].計(jì)算機(jī)應(yīng)用，2004(10):4-6,12.

[2]劉金頌,原思聰,張慶陽，等.雙目立體視覺中的攝像機(jī)標(biāo)定技術(shù)研究[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(6):237-239.

[3]李牧, 繼紅,李戈，等.自適應(yīng)Cannya算子邊緣檢測(cè)技術(shù)[J].哈爾濱工程大學(xué)學(xué)報(bào),2007,28(9):1002-1007.

[4]伍軍.散亂點(diǎn)云表面重建技術(shù)的研究與開發(fā)[D].上海:上海交通大學(xué),2008.

[5]韓云生,劉國(guó)棟,劉光宇.基于Canny算子邊緣特征匹配的雙目深度測(cè)量[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2009（11）:52-55.

[6]李剛,李竹林,趙宗濤.基于邊緣特征點(diǎn)的分級(jí)立體匹配算法研究[J].陜西師范大學(xué)學(xué)報(bào),2009,37(5):20-23.

[7]楊恒,王慶.一種高效的圖像局部特征匹配算法[J].西北工業(yè)大學(xué)學(xué)報(bào),2010,28(2):291-297.

[8]Hai Du,Mu-guo Li.The study for particle image velocimetry system based on binocular vision[J].Measurement,2009(42):619-627.

[9]Rui Li,Stan Sclaroff.Multi-scale 3D scene flow from binocular stereo sequences[J].Computer Vision and Image Understanding,2008(110):75-90.