基于計算機視覺的高精度圖像拼接

陳海松，李益民，韓秀清

(深圳職業(yè)技術(shù)學(xué)院 工業(yè)中心，廣東 深圳 518055)

機器視覺技術(shù)是精密測試技術(shù)領(lǐng)域內(nèi)最具有發(fā)展?jié)摿Φ男录夹g(shù)是，它綜合運用了電子學(xué)、光學(xué)探測、圖像處理和計算機技術(shù)，將機器視覺引入到工業(yè)檢測中，實現(xiàn)對物體的三維尺寸或位置的快速測量，具有非接觸性、速度快、柔性好等突出優(yōu)點，在現(xiàn)代制造業(yè)中有著重要的應(yīng)用前景。隨著對測量精度要求的不斷提高，依靠機械運動精度的定位方法已經(jīng)不能滿足要求，而高精度圖像拼接技術(shù)不再依靠機械運動的精度，而是利用相鄰圖像重合部分的特征來確定其相對位置。這種方法擺脫了機械精度的限制，使視覺測量精度得到了很大的提高[1]。同時，隨著圖像量測中對精度和幅面要求的提高，在同一幅圖像中往往不能同時滿足兩方面的要求，而可以采用被測量物體與圖像傳感器相對運動的方式，以采集到的多幅圖像為依據(jù)進行量測、縫合和圖像拼接，將所有合并的圖像映射到同一圖像坐標(biāo)系內(nèi)，顯示在同一圖像空間內(nèi)。

1 計算機視覺檢測系統(tǒng)的組成

計算機視覺檢測系統(tǒng)按功能主要包含以下幾個部分：(1)圖像信息獲取模塊；(2)圖像信息處理模塊；(3)系統(tǒng)控制模塊；(4)X-Y運動載物平臺模塊。

計算機視覺系統(tǒng)結(jié)構(gòu)框圖如圖1所示。系統(tǒng)的工作過程：系統(tǒng)控制模塊給X-Y平臺控制部分的單片機一個命令，要求X-Y平臺移動到相應(yīng)的位置，到達位置后，反饋一個信號給系統(tǒng)控制部分，系統(tǒng)控制部分收到信息后與圖像采集模塊和處理模塊通信，完成整個系統(tǒng)的操作。系統(tǒng)控制模塊與單片機通過RS232協(xié)議進行通信，而系統(tǒng)控制模塊與圖像采集模塊進行通信并且接收圖像信息，其計算機需要配備專用的圖像采集卡和I/O模塊。在本系統(tǒng)中，圖像采集卡采用的是Cognex MVS-8600，圖像采集卡與相機通過專用15芯電纜相連，I/O模塊采用的是基于PCI總線的并行輸入輸出端口。

圖1 系統(tǒng)結(jié)構(gòu)框圖

2 檢測系統(tǒng)的工作原理

計算機視覺檢測系統(tǒng)工作流程主要分為圖像信息獲取、圖像信息處理和機電系統(tǒng)執(zhí)行檢測結(jié)果三個部分。另外，根據(jù)系統(tǒng)需要還可以實時地通過人機界面進行參數(shù)設(shè)置和調(diào)整。檢測系統(tǒng)工作原理圖如圖2所示。系統(tǒng)正常運行時，當(dāng)被檢測的樣品在檢測平臺上裝夾完成后，操作者手動向系統(tǒng)輸入開始檢測的指令，系統(tǒng)將首先根據(jù)對需要采集的圖像參數(shù)的設(shè)置情況進行預(yù)計算，確定圖像采集過程中平臺需要定位的位置參數(shù)，然后自動移動到第一個圖像采集位置，并向圖像采集模塊發(fā)出就位信號，圖像采集系統(tǒng)接收到此信號并對當(dāng)前視野內(nèi)的圖像進行采集，采集完成后向控制器發(fā)出完成圖像采集信號，平臺再次運動到下一個采集位置。重復(fù)上面的工作，直至所有的圖像采集完成后，系統(tǒng)進入圖像處理模塊進行處理，根據(jù)得出的檢測結(jié)果進行顯示或者報警等操作。在整個操作過程中，圖像采集模塊和圖像處理模塊還需要連續(xù)地進行實時圖像監(jiān)視。這一操作只有在圖像采集的瞬時時刻才會暫時掛起，每完成一次圖像采集操作后，都會回到圖像的實時監(jiān)視界面。

圖2 檢測系統(tǒng)工作原理圖

2.1 圖像信息獲取和處理模塊設(shè)計

圖像信息獲取模塊的硬件主要包括視覺傳感器(CCD攝相機)、光學(xué)鏡頭、光源系統(tǒng)三個部分，根據(jù)被測工件特點和檢測系統(tǒng)要求，合理選擇與搭配這三個部分是高性能視覺檢測系統(tǒng)的前提[2]。此模塊的功能就是按系統(tǒng)控制模塊的指令獲得檢測系統(tǒng)所需的圖像信息，并以標(biāo)準(zhǔn)的圖像信息格式傳送給圖像信息處理模塊。

圖像信息處理模塊的功能是通過對系統(tǒng)獲取的圖像信息進行處理得出控制系統(tǒng)所需要的結(jié)果信息。此模塊的核心是圖像信息處理的算法，在本文系統(tǒng)中，采用的是Cognex公司提供的圖像處理算法開發(fā)包CVL。

2.2 圖像可拼接性的數(shù)學(xué)驗證

圖像的拼接結(jié)果可以看成是全景圖像的部分或者全部，而全景圖像是一種形式的全光函數(shù)，所以圖像的可拼接性論證是基于全光函數(shù)的數(shù)學(xué)理論進行的。

全光函數(shù)是一個7維函數(shù)，其定義為：在任意時刻t，通過任意視點(x，y，z)的任意角度(θ，φ)的任意波長 λ的光線的強度 P7=P(x，y，z，θ，φ，λ，t)，所以只要在某一視點采集所有入射光線，記錄全光函數(shù)，就能通過某種方法構(gòu)造出此場景。在圖像拼接的實際應(yīng)用中，可以通過對圖像采集過程的約束來降低全光函數(shù)的維數(shù)。如果在圖像采集過程中，視點的位置為同一個，則可以減少由于視點位置變化所引入的三個變量 (x，y，z)；再對于同一個場景具有時間不變性或在采集的時刻之間，場景的變化可以忽略，則時間變量也可以去掉；同樣，波長也是同一場景中的固定物理量，所以也可以去掉。據(jù)此，全光函數(shù)則可簡化為一個二維函數(shù)P2=P(θ，φ)。由此可以看出，只要記錄同一視點的各個不同的角度的光線信息，據(jù)此構(gòu)造出全景圖像。也就是說，可以通過在同一位置拍攝的不同角度的圖像來得到一個完整的全景圖像，這就是進行圖像拼接的理論依據(jù)。

2.3 圖像拼接的基本過程

圖像拼接過程步驟[3-4]如下：

(1)獲得在同一位置拍攝的具有重疊區(qū)域的兩幅或者更多的圖像。

(2)對圖像進行坐標(biāo)轉(zhuǎn)換，解決相鄰圖像在深度方向上由于圖像采集時采用不同焦距所帶來的差異。如果圖像在采集的過程中所采用的是同一焦距，則可以不進行這一步操作[5]。

(3)重疊區(qū)域局部匹配，找出相鄰圖像之間的精確位置關(guān)系。

(4)圖像縫合，根據(jù)第(3)步所得到的相鄰圖像的精確位置關(guān)系，將圖像進行合并。

(5)圖像輸出，將所有合并的圖像映射到同一圖像坐標(biāo)系，顯示在同一圖像空間內(nèi)。

在圖像采集的過程中，為了簡化圖像坐標(biāo)變換過程，應(yīng)盡量采用同一焦距進行采集。所以，在同一視點所得的圖像在深度方向上不需進行校正，如圖3所示。

另外，如圖4所示，在焦距不變的情況下，視點沿一條直線平移，則每次所得圖像平面在同一個平面內(nèi)，可以得到深度方向不具有差異性的圖像信息。所以圖4所示的情況也不需要進行坐標(biāo)變換。圖5所示為同一視點按不同焦距進行的拍攝方式，每次的成像平面在不同深度位置上，則需要通過坐標(biāo)變換進行深度方向上的校正。

圖3 同一視點，同一焦距

圖4 視點平移，同一焦距

圖5 同一視點，不同焦距

圖像的局部特征匹配是通過比對相鄰兩幅具有重疊區(qū)域的圖像，找到最佳匹配位置，實際上可以歸結(jié)為如下模式的識別問題：設(shè)相鄰的兩幅圖像中分別包含A、B兩個相同的區(qū)域，求區(qū)域A相對于區(qū)域B的準(zhǔn)確位置。常用的算法有：基于塊的匹配、基于比值的匹配以及基于網(wǎng)格的快速匹配。

在這三種算法中，基于塊的匹配算法的精度最高，但計算量較大，它是取一幅圖像上重疊區(qū)域內(nèi)的一部分作為模板，在另一幅圖像上進行匹配，模板的尺寸越大，匹配的精度越高，計算量也越大，通常在不計時間成本的情況下采用該匹配算法?；诒戎档钠ヅ渌惴ㄊ且环N精度比較低的算法，它是取一個圖像上重疊區(qū)域內(nèi)相隔一定寬度的兩列圖像的灰度比值作為模板，在另一圖像上進行匹配，其計算量相對于基于塊的匹配有所減少，但仍然很大，并且有大量除法運算，其精度也較低?；诰W(wǎng)格的快速匹配方法是基于塊的匹配算法的簡化算法，包括粗略匹配和精確匹配兩個匹配過程。粗略匹配過程是取較大的步長，通過計算匹配對應(yīng)點的灰度差的平方和找到大致的匹配位置，然后再使用較小的步長進行匹配，直至補償為零。這種算法在精度方面有所損失，但速度較基于塊的匹配方法有所提高。

得到相鄰圖像的精確匹配位置后，就可將相應(yīng)的圖像重疊部分合并，進行圖像的縫合。但如果簡單地將圖像進行合并，會由于兩幅圖像之間的亮度差異在圖像上顯現(xiàn)出明顯的拼接邊緣，所以要對圖形拼接部分進行灰度的平衡處理，使兩幅圖像得到平滑地過渡。常用的灰度平衡處理有固定權(quán)重的重疊圖像合并和權(quán)重線性漸變的重疊圖像合并兩種方法。

固定權(quán)重的重疊圖像合并為：

權(quán)重線形漸變的重疊圖像合并為：

其中，INEW、I1、I2分別為合并后的圖像與合并前的左、右兩幅圖像；ω為固定權(quán)重合并方法中圖像I1的固定權(quán)重；N為圖形重疊區(qū)域的寬度，用該區(qū)域內(nèi)像素的列數(shù)表示；n表示當(dāng)前的合并位置，規(guī)定重疊區(qū)域從左到右依次為1～N。

圖像經(jīng)過縫合后，通常圖像左右兩側(cè)能達到較好的過渡效果，但是如果原始圖像之間亮度相差較大，則拼接圖像的亮度會明顯地分布不均衡。在這種情況下，最好先對原始圖像進行亮度調(diào)節(jié)，觀察兩幅圖像的灰度分布曲線，盡量使其最大值和最小值位于相近的灰度級附近，這樣拼接后的圖像會得到較好的整體均衡效果。

2.4 圖像拼接仿真設(shè)計

圖6是從在同一位置拍攝的兩幅圖像中分別取出的具有重合區(qū)域(重合區(qū)域約為80%)的兩部分，由于是兩次拍攝所得，所以圖像上應(yīng)該存在非零的偏移量，適合于驗證上述拼接方法。由于兩幅照片拍攝時間相距很短，所以圖像的亮度幾乎一致。為了驗證在敏感區(qū)域模板配準(zhǔn)過程中，差異矩陣的灰度均值差方根對圖像亮度變化的適應(yīng)能力，人為地將圖6(b)中每個像素提高5個灰度級進行計算。

拼接仿真實驗采用Matlab 7.0圖像處理平臺，分別對圖像拼接的兩次配準(zhǔn)過程和圖像的灰度重建過程編寫Matlab函數(shù)實現(xiàn)，拼接過程的流程圖如圖7所示。像素級圖像配準(zhǔn)過程中，選擇圖6(a)中20×20的矩形區(qū)域作為敏感區(qū)域模板，以圖6(b)中差異矩陣灰度均值差方根取最小值的位置作為最佳配準(zhǔn)位置，Jmin=0.670 3(差異矩陣灰度均值差方根的最小值為0.670 3)。在像素內(nèi)的配準(zhǔn)過程中，取所得到的極大值位置偏移量序列的平均值，行、列偏移位置分別為0.3和0.45個像素尺度單位。分別對相應(yīng)區(qū)域進行相應(yīng)的灰度加權(quán)運算后得到拼接后的圖像如圖8所示。其中的虛線(左區(qū)域)、實線(右區(qū)域)線條標(biāo)示了原始圖像所包含的區(qū)域。

圖6 待拼接圖像(左右)拼接

圖7 拼接流程圖

圖8 拼接后的圖像

高精度二維運動平臺可以從不同位置對物體進行取像，由圖像處理單元對圖像實現(xiàn)高精度拼接后進行檢測和測量，其拼接過程由軟件自動完成二次精密校準(zhǔn)和雙重加權(quán)圖像重建，圖像的測量不再依靠平臺運動的機械精度。按圖6所示的流程進行圖像拼接就可以得到高精度的拼接圖像，可以滿足大幅面圖像測量的要求，對于視覺測量過程中擺脫平臺的運動誤差，提高測量精度具有重要意義。

[1]段峰，王耀南.機器視覺技術(shù)及其應(yīng)用綜述[J].自動化博覽，2002(3).

[2]王俊杰，劉家茂，胡運發(fā)，等.圖像拼接技術(shù)[J].計算機科學(xué)，2003(1)：71-74.

[3]趙唯，李端義.基于小波變換與形態(tài)學(xué)的一種邊界重疊圖像的拼接算法[J].微機發(fā)展，2001(6)：3-6.

[4]BUTALEB A S.Automatic thresholding ofgray-level pictures using two-dimensional entropy[J].Computer Vision Graphics Image Processing， 1989，47：22-32.

[5]Dalsa Inc.CCD image capture technology databook[M].CCD Image Sensors， Waterloo， Ontario， 1998.