格雷碼與窗口灰度結合的立體匹配*

顏國霖

(黎明職業(yè)大學 機電工程與自動化學院，福建 泉州 362000)

立體匹配是雙目立體視覺測量和立體重構中最主要的步驟之一.匹配就是在不同的立體成像平面上找出對應的點關系，進而得出視差值.目前，在立體匹配研究方面已經有了大量研究的成果.文獻[1]對目前常用的各種立體匹配算法進行了比較全面的概述和比較.立體匹配算法通?？梢苑譃榛谌中畔2]的立體匹配方法和基于局部信息[3]的立體匹配方法.近年來又有了基于半全局信息[4]的立體匹配方法.其中，第一類算法速度相對快，但當圖像中有重復紋理特征或凹凸面、遮擋等現象，常常會出現誤匹配.而后兩類算法需要計算每個點的視差，匹配過程算法難度大，對于需要實時性能的場合來講過于耗時.因此，本文研究了一種基于格雷碼與窗口灰度相結合的立體匹配方法，并將其應用于木雕工藝品的快速掃描和三維重構，縮短設計周期，從而實現降低設備成本的目的.

1 基于圖像校正的立體匹配

圖1是經過圖像校正的雙目立體視覺的系統(tǒng)模型，P點代表被測物表面的一點.P點坐標為P(X,Y,Z)(以左攝像機光心為坐標原點).左側圖像、右側圖像分別為兩個攝像頭的成像平面.

圖1 雙目視覺系統(tǒng)模型

左右光心為兩個攝像頭的光心，兩光心的距離為基線長度T.光心與點P的連線在成像平面形成點pl(xl,yl)、pr(xr,yr).左右圖像經過圖像校正后pl、pr處于同一水平線上.于是根據三角形相似定理可得：

(1)

(2)

(3)

上式中，d為圖像像素的物理長度，(cx,cy)為光心在圖像上的像素點，f為攝像頭的焦距(以上各個參數由攝像機標定求出).

由式(1)，(2)，(3)可得

由以上結果可知欲求被測物體表面上的點的間三維坐標，只需求出被測點在左右兩攝像頭采集的圖像上對應的點的圖像坐標，即計算機視覺所用術語--圖像匹配.為了能將左右兩圖的對應點相互匹配起來，本文結合格雷編碼與窗口灰度相關的算法，對左右兩圖的待測點進行立體匹配.

2 窗口的灰度匹配算法

灰度匹配算法是在以左側圖像中以待匹配點為模板，創(chuàng)建一個M×N的子窗口圖像，然后在右側圖像中沿極線在視差搜索范圍內搜索一個相素灰度值相似(或相同)的子窗口，從而實現兩幅圖像的匹配.由于本實驗已事先對左右攝像機采集的圖像進行了立體校正，極線已水平配準，因此只需在右圖中與左圖的待匹配點的同一行上搜索即可.灰度匹配本質上是利用圖像的灰度值計算兩窗口的相似性.匹配窗口尺寸大小可調，大的窗口可減少錯誤匹配的數量，并能夠將含較少特征的區(qū)域進行重構.計算模板與圖像灰度之間差值的絕對值總和(SAD)及所有差值的平方和(SSD)是常被用來計算灰度相關性的方法[5].在雙目視覺系統(tǒng)中，兩攝像機的視角是不可能完全相同的，光照條件又經常變化，導致對算法的精度影響很大.因此本文實驗采用歸一化互相關性算法(NCC).該算法表示為：

(4)

式中S(x.y)為(x,y)對應的兩個窗口的相似度，T(x,y)為左圖像(x,y)的灰度值，I(x,y)為右圖像(x,y)的灰度值.

因為-1≤S(x,y)≤1，當S(x,y)=1時，兩窗口的圖像極性相同，當S(x,y)=-1時，兩窗口圖像的極性相反，線性光照條件不會影響匹配結果，這就是歸一化互相關系數的好處.由于S(x,y)=1是在理想狀態(tài)的匹配值，很難實現，因此我們取使S(x,y)為最大值時的點為匹配點.另外由于我們的搜索范圍是在右圖中的一整行上，這樣不僅降低了搜索速率，而且還能出現相關度相近的點，出現錯誤匹配的情況.因此我們先利用格雷碼光柵將待測區(qū)域劃分為若干個區(qū)域，然后再在對應的子區(qū)域中搜索待匹配點的灰度相關值最大的點.此法不僅可以提高搜索速率，還可以降低匹配的錯誤率.

3 格雷編碼解碼

格雷碼是時間編碼中的一種.時間編碼方法具有易于實現、空間分辨率高、三維測量精度高等優(yōu)點.但是用傳統(tǒng)的格雷編碼技術求取完整的三維曲面需投影大量圖案，效率偏低.為解決這個情況，我們將格雷編碼與窗口灰度相關算法相結合，先用格雷編碼技術將整幅圖分為2n個區(qū)域(投射n幅光柵條紋圖可將原圖分成2n個區(qū)域)，然后再計算左右兩圖子區(qū)域內的像素點的相關值，將左右兩圖的點匹配成對.

3.1 格雷碼編碼

圖2 格雷碼光柵圖

圖2為投射的n幅格雷編碼圖像之一，如圖所示格雷光柵圖由黑白相間的條紋周期組成.每幅圖中所包含的周期數為2n-1,其中n為圖像的第幾幅.即第一幅的周期為20=1，第n幅為2n-1個周期.編碼時黑白條紋分別與二進制碼的0、1相對應.于是物體上的點經由所有格雷碼圖像照射后被編上相應的格雷碼.

圖3 時間序列條紋圖

圖3上的實線為物體上的某條線在六幅采集的圖中的光照情況，在圖3是黑色所以被賦予0，在圖2是白色所以被賦予1，以此類推這條線上的點的格雷碼值為010100.用此法將格雷碼光照射后拍出的整幅圖像編碼，可以將圖像分成2n個區(qū)域，每個子區(qū)域內的格雷碼值是一樣的.如上圖投射6幅格雷碼光柵圖，可將采集的圖像分成64個區(qū)域.但是未經過解碼的64個子區(qū)域的格雷碼值相鄰區(qū)域之間的值不連續(xù)，必須將格雷碼值解碼轉換成0～63的連續(xù)的二進制值，以便下文絕對相位的求取.

3.2 格雷解碼[6]

圖4 格雷碼解碼圖

根據二進制碼與格雷碼的規(guī)律，從格雷碼G到二進制碼B的轉換步驟如圖4：格雷碼的最高位不變賦值給二進制碼最高位即Bn=Gn,然后再將Bn位與Gn-1位進行異或運算后的值賦值給Bn-1位,以此類推得：

Bn=Gn;
Bn-1=Bn⊕Gn-1;
Bn-2=Bn-1⊕Gn-2;
……
B0=B1⊕G0;

(5)

例如圖3中的格雷碼G=010100,二進制轉換后的值為B=011000=24.圖3中將采集的圖像所有像素點的格雷碼都二進制解碼后，圖像被分為64個區(qū)域，區(qū)域的值由0～63連續(xù)變化，然后就可以在這些子區(qū)域內進行灰度相關值的計算，求出相關值最大的點即為相互匹配的點.

4 立體匹配

首先在左攝像機平面圖像上有像素點(xl,yl)，要尋找其在右攝像機平面上對應的匹配點(xr,yr).運用上述原理和方法，以(xl,yl)為基準，選擇一個3×3窗口，計算在這個區(qū)域中歸一化互相關系數的局部最大值并當成其灰度值.然后在右圖像相同Y坐標的一條水平線上，搜索格雷碼值與點(xl,yl)一樣的點，最后將所有搜索的結果的點都與基準點的灰度特性相比較，并記錄下相似值S(x,y).

當S(x,y)=1時，對應的(xr,yr)是(xl,yl)的最佳匹配點，當S(x,y)=0時，這時匹配最差.所有計算結束，相似度值最大的那個點為(ur,vr)的最佳匹配點.

5 實驗步驟與結果

5.1 實驗器材

維視MV-1300UM工業(yè)攝像頭兩個，分辨率為640×480，像元大小為5.2μ×5.2μ,明基MP515投影儀一臺、PC機一臺.

5.2 實驗步驟

利用格雷編碼與相移相結合技術測量三維空間點的坐標實驗流程如圖5所示.

圖5 實驗步驟流程

(1)首先是結構光的投射，依時間序列控制投影儀向被測物體的表面依次投射6幅格雷編碼圖案.格雷碼圖案的投射為了將被測區(qū)域劃分成若干子區(qū)域，圖案數量的多少并無硬性規(guī)定.但是投射圖案過少，子區(qū)域區(qū)間大，將對進一步的連續(xù)劃分精度造成影響.投射圖案多，能將子區(qū)域分成小區(qū)間便于連續(xù)劃分，但是由于光學衍射定理，投射的光柵中白條紋會向黑條紋衍射.如果劃分的區(qū)域過小，黑條紋在被白條紋衍射后條紋寬度將非常窄，不利于圖像采集與分析.對后續(xù)結果分析將造成影響，所以投射圖案的數量也不宜過多，本文采用的投影儀分辨率為1280*720，經過反復實驗，在投射6幅格雷碼圖案可將圖像劃分64個寬度為20個像素的區(qū)域，實驗結果效果較佳.

(2)圖像采集,圖像的采集與步驟(1)的投射時序相對應，用攝像頭依次對6個投射場景采集6幅對應的圖案，然后再在自然光條件下采集一幅圖案用于進行窗口灰度相關匹配.在C++程序語言中，可以用如下的數據結構來表示創(chuàng)建的圖像的數據結構.

Typedef struct_IplImage

{

Int nChannels;//圖像的通道數

Int depth; //圖像的深度 可以是8,16,32,64位

Int width; //圖像的寬度

Int height; //圖像的高度

Char*imageData; //存儲圖像的數據，包括顏色值、灰度值等

Int widthStep; //圖像每一行所用的字節(jié)數，是8的倍數，不足的補0

Int origin; //用于設置坐標原點位于左上角還是左小角

Int dataOrder; //指明數據是將像素點不同通道的值的排列方式

}

(3)圖像預處理.由于光照環(huán)境等因素的影響，采集的圖像上有許多噪聲，這些噪聲將使實驗結果有許多離散的點.因此首先對采集圖像平滑濾波處理[7].平滑處理有中值濾波、高斯模糊濾波、雙邊濾波模糊算法等幾種方法.其中高斯濾波能在保留信號的條件下減少噪聲，本實驗中對邊緣沒有較高的要求，因此本實驗選擇使用高斯濾波平滑處理來去除噪聲.因為在格雷碼編碼解碼的過程中要求圖案只含有黑(灰度值0)白(灰度值255)條紋，但實際采集的圖像上像素的點灰度在1～255之間變化.因此必須設定一個閾值[8]作為一個分水嶺.使大于這個閾值的所有像素點的灰度值全部為255，小于閾值的點的灰度為0.閾值的選擇需根據環(huán)境及光照選擇，閾值設定大了本來應為白條紋的區(qū)域被設為黑條紋；閾值設定小了本來應為黑條紋的區(qū)域被設為白條紋.因此本文在多次重復的基礎上選擇灰度值90作為圖像二值化的閾值.

(4)三維重構及顯示，經過預處理的圖像的灰度值只有255與0.于是就可以對圖案進行格雷解碼劃分子區(qū)域，再利用窗口灰度相關算法進行立體匹配，最后用三角定理解出空間點的三維坐標.模型的顯示可以采用圖形程序接口OPENGL.本文先將采集的離散點云集用OPENGL顯示出來，然后再將這些點云數據進行三角片化處理顯示出整體面模型.這樣既可以精簡數據，又可以通過對比對實驗過程及結果有直觀的認識.

5.3 實驗結果與分析

本文對某兩木雕工藝品進行掃描，掃描過程的光柵圖像如圖6所示，掃描結果如圖7、8所示.分別利用本文方法和Bouguet算法對兩個木雕對象進行掃描，其運行結果如表1所示.由表1可以看出,本文算法所用的時間可減少近一半，且實驗測量精度點距相對誤差可達0.040%，點云誤差為0.0735mm，足以說明該實驗的高效性、可靠性和高精度性.

表1 本文算法和Bouguet算法的運行時間比較 ms

圖6 實驗過程的光柵圖像

圖7 原始圖像

圖8 掃描結果

6 結束語

本文對木雕進行結構光投射、圖像采集、圖像預處理后，再結合格雷編碼與窗口灰度相關的算法，對左右兩圖的待測點進行匹配，實現快速立體匹配、三維重構的目的，可為后續(xù)工作做好準備.但由于視覺系統(tǒng)引入結構光，對測量環(huán)境有一定要求，一般而言，不適合在室外環(huán)境.因此，對雙目視覺系統(tǒng)的應用存在一定限制.

參考文獻：

[1]Scharstein D, Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms [J]．International Journal of Computer Vision，2002, 47(1/2/3)：7-42.

[2]Klaus A, Sormann M, Karner K.Segment-based stereo matching using belief propagation and a self adapting dissimilarity measure [C].Proceedings of the 18th International Conference on Pattern Recognition, Hong Kong, 2006：15-18.

[3]Gu Z, Su X Y, Liu Y K ,et a1.Local stereo matching with adaptive support weight， rank transform and disparity calibration[J]．Pattern Recognition Letters, 2008, 29(9):1230-1235.

[4]Hirschmuller H .Stereo processing by semiglobal matching and mutual information [J]．IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 328-341.

[5]張廣軍.視覺測量[M].北京：科學出版社，2008:239-259.

[6]丁強,董萬鈞.一種格雷碼與二進制碼轉換的新方法[J].水利水文自動化，2001(1):21-22.

[7]李俊生．一種圖像平滑處理方法的空域算法與頻域分析[J]．常州工學院學報，2004,17(2):30-33.

[8]董立菊，于戈.一種有效的圖像二值化方法 [J].東北大學學報，2004,25(12):1149-1152.