大型工件測量系統(tǒng)中的快速圖像拼接方法*

全燕鳴 黎淑梅

(華南理工大學(xué)機械與汽車工程學(xué)院，廣東廣州510640)

在大型工件測量系統(tǒng)中，為準(zhǔn)確地測量工件的結(jié)構(gòu)尺寸，常需獲得工件的高分辨率完整圖像.然而由于攝像機的視場、拍攝距離等因素的限制，在采集圖像時往往不能通過一次拍攝獲得.當(dāng)被測工件長度超出攝像機視場時，需通過多次拍攝得到多幅圖像，應(yīng)用圖像拼接技術(shù)生成高分辨率完整圖像，而拼接質(zhì)量和效率是大型工件測量系統(tǒng)中圖像拼接的關(guān)鍵.

圖像拼接技術(shù)是指將相互間存在重疊區(qū)域的序列圖像拼接成一幅大的無縫高分辨率完整圖像的圖像處理技術(shù).目前，國內(nèi)專家對圖像拼接算法及其應(yīng)用進行了廣泛的研究.例如，林陸君等［1］根據(jù)顯微細(xì)胞圖像特點提出了一種改進的基于模板匹配的圖像拼接算法;鄭海珍等［2］提出了一種基于角點分層匹配的織物圖像拼接算法;林綺等［3］研究了一種應(yīng)用于輪胎斷面測量系統(tǒng)的基于小波金字塔的快速圖像拼接算法;宋潔等［4］根據(jù)路面圖像特點提出了一種基于金字塔和模糊聚類的圖像拼接算法;梁忠偉等［5］提出了一種基于分層八鄰域方向預(yù)測算子的IC芯片圖像拼接技術(shù).但目前很少見到有針對特征稀少的金屬工件圖像拼接算法的研究.孫婷婷等［6］研究了基于特征區(qū)域的圖像配準(zhǔn)算法，實現(xiàn)了對汽車車架縱梁的快速拼接，但該算法精度不高.鄭戈毅等［7］針對特征點稀少的炮管內(nèi)鏜圖像提出了一種基于Harris角點特征匹配的圖像拼接算法，但該算法計算量大.文中結(jié)合現(xiàn)有圖像拼接算法的優(yōu)缺點及工件的圖像特點，提出了一種改進的模板匹配與特征匹配相結(jié)合的高精度快速圖像拼接算法.

1 大型工件測量系統(tǒng)中的圖像拼接

文中研究的是基于機器視覺的金屬工件在線測量系統(tǒng)中的序列圖像快速拼接方法，對其圖像拼接算法的研究需要考慮以下問題.

(1)由序列圖像拼接成的完整圖像應(yīng)用于工件結(jié)構(gòu)尺寸的精密測量且序列圖像間存在拼接累積誤差，對每兩幅圖像間的拼接精度要求很高.

(2)由于是在線測量，要求圖像拼接算法計算量小、速度快;對于一個特定大小的工件及有限視場大小的攝像系統(tǒng)，為了減少拼接次數(shù)及節(jié)省采集圖像時間，要求采集的序列圖像數(shù)量盡量少，則序列圖像間相互重疊區(qū)域較小.但如果圖像重疊區(qū)域過小，則可能有效點數(shù)量較少而難以準(zhǔn)確估算變換參數(shù)，特征匹配會變得困難且不穩(wěn)定.

(3)拼接對象是顏色、邊緣、輪廓等特征稀少的金屬表面，這給圖像拼接帶來極大的困難;且其表面是重復(fù)性較大的金屬加工紋理特征，在拼接過程中會出現(xiàn)多個局部特征相對應(yīng)的情況，極易產(chǎn)生局部特征的偽匹配而造成誤拼接.

目前，圖像拼接算法主要分為基于區(qū)域和基于特征兩大類.基于區(qū)域的算法是取一幅圖像中處于重疊區(qū)域內(nèi)的像素灰度值作為模板，根據(jù)評價函數(shù)在另一幅圖像中尋找與之最相似的區(qū)域.該算法運算量大，易受光照、旋轉(zhuǎn)等因素的影響，且對圖像中存在大量相似區(qū)域、重疊部分較小的情況，模板塊選取的隨機性會使拼接出現(xiàn)很大的誤差.基于特征的算法是提取兩幅圖像重疊區(qū)域的特征，對特征進行匹配，然后計算從一幅圖像到另一幅圖像的變換.常用的特征主要有點、邊緣、面等，其中特征點的方法計算量小，拼接速度快，對照明變化不敏感，匹配精度高，但對兩幅相似的圖像極易產(chǎn)生偽匹配的對應(yīng)特征點而造成誤匹配.可見，上述兩種傳統(tǒng)算法在保證圖像拼接精度和效率方面尚存不足，無法達到大型工件測量系統(tǒng)中的圖像拼接應(yīng)用要求.

文中根據(jù)大型工件測量系統(tǒng)中的圖像拼接特點，在基于區(qū)域和特征的圖像拼接算法基礎(chǔ)上，提出一種改進的模板匹配與特征匹配相結(jié)合的高精度快速自動拼接新算法，其算法流程見圖1.先對相鄰兩幅圖像提取特征點，在第一幅圖像中根據(jù)特征點的分布確定模板塊，在第二幅圖像中限定搜索范圍，基于區(qū)域的方法在第二幅圖像中進行模板匹配找到匹配塊，即初始匹配，再基于特征點的方法計算匹配塊內(nèi)對應(yīng)的特征點，即精確匹配，完成圖像拼接.

圖1 模板匹配與特征提取相結(jié)合的圖像拼接算法Fig.1 Mosaic method based on feature extraction and template matching

2 工件圖像拼接算法研究

2.1 多尺度Harris算子提取特征點

為了保證特征點的準(zhǔn)確提取和匹配，每幅圖像都用一樣的特征點提取算法.典型的點特征有拐角點、線交叉點、不連續(xù)點、輪廓上的曲率最大點、封閉曲線的質(zhì)心點等［8］，由于工件圖像缺乏邊緣、輪廓等信息，這里采用角點作為特征點.常見的角點檢測算子有 Moravec算子、Susan算子和 Harris算子.Moravec算子計算簡單，運算速度快，但對噪聲敏感;Susan算子雖然對噪聲不敏感，但其計算比較復(fù)雜;而Harris算子計算簡單，提取的點特征均勻合理，可定量地提取特征角點，對旋轉(zhuǎn)、尺度、照明變化和圖像噪聲具有較強的不變性，且可達到亞像素級精度.

Harris算子是Harris和Stephens提出的一種點特征提取算子［9］，其原理為:如果某一點向任一方向小小的偏移都會引起灰度的很大變化，則該點即為角點.Harris算子R為

由于測量系統(tǒng)中采集的工件圖像不僅存在光照、位置的變化，還存在尺度變化.經(jīng)典的Harris算子只能在單一尺度上檢測角點，角點提取的效果完全依賴于閾值T的設(shè)定，易造成角點漏檢、誤檢，且檢測出的角點位置誤差較大.因此，文中采用高斯多尺度Harris算子提取角點［10-11］，其算法步驟如下.

(1)使用尺度Harris角點算子建立原始圖像的尺度空間，選擇大于某一閾值的局部極值作為候選角點.

將圖像上某點x在u和v方向上的偏導(dǎo)與標(biāo)準(zhǔn)差為sσn(其中:s為一常量，s＞1)的高斯核的微分進行卷積:

式中:Gu、Gv分別為圖像上點x在u和v方向上標(biāo)準(zhǔn)差為sσn的高斯核微分.

則Harris角點中的C(x)的函數(shù)將變?yōu)?

式中:σI為計算特征點時選擇的尺度參數(shù)，σI=σD;σD為微分尺度，σD=sσn;G(σI)為高斯函數(shù).

通過判斷R=det(C)－ktr2(C)＞T檢測出σn尺度水平下的特征角點.

(2)驗證這些點是否在尺度維度上獲得LoG算子局部極大值，如果是，則確定為特征點.

LoG算子為

式中:f(x，y)為待檢測函數(shù).

由于工件圖像表面具有大量重復(fù)性相似的加工紋理特征，易存在角點分布不均勻、角點聚簇的現(xiàn)象.文中采用鄰近點剔除策略:用3像素×3像素的模板覆蓋該尺度所有的角點，如存在多于一個角點，則取R值最大的點為角點，得到該尺度下的最終角點.

2.2 進行模板匹配找到匹配區(qū)域

模板匹配的基本原理如圖2所示，設(shè)兩幅圖像A和B具有水平方向的重疊區(qū)域(陰影部分)，其中圖像A中有一模板圖像塊M，在圖像B中設(shè)定一定大小的搜索區(qū)域S，設(shè)模板M在搜索區(qū)域S上平移，將模板M和被搜索圖像中同樣大小的一塊區(qū)域Si，j進行對比，根據(jù)兩個區(qū)域特征的相似程度來確定最佳的匹配位置［12］.

圖2 模板匹配模型Fig.2 Model of template matching

根據(jù)模板匹配的基本原理，文中采用的模板匹配算法步驟如下.

(1)在第一幅圖像中的重疊區(qū)域根據(jù)特征點的分布確定模板塊的大小.特征點較密的模板塊設(shè)置小些，特征點較疏的模板塊設(shè)置大些.模板塊的大小將直接影響模板匹配的效果，模板選擇過小會使匹配精度降低，過大則會影響計算的速度.一般將模板塊的大小設(shè)置為奇數(shù)且滿足重疊區(qū)域各模板塊大小內(nèi)的特征點個數(shù)為3～10個.記下模板內(nèi)特征點個數(shù)N，模板內(nèi)各個特征點的R值大小及其對應(yīng)在模板中的位置(x，y).

(2)在第二幅圖像中限定搜索范圍.在采集工件圖像時，相機固定，通過數(shù)控機床工作臺的x、y軸移動進行圖像序列的采集，則可根據(jù)工作臺x、y方向的移動量確定圖像間大致的相對位移，從而可以在第二幅圖像中限定搜索范圍，這樣有效地減少了算法的計算量，提高了運算速度.

(3)在第二幅圖像中設(shè)定的搜索區(qū)域上進行模板匹配，找到匹配塊.在搜索區(qū)域內(nèi)統(tǒng)計與設(shè)定模板大小相同的各搜索模板內(nèi)的特征點個數(shù)Ni，當(dāng)Ni與第一幅圖像中所確定模板內(nèi)的特征點個數(shù)N相差很大時，可將該模板區(qū)域直接刪除，不進行下一步的特征點位置計算，即:當(dāng)≥T時(T為設(shè)定的個數(shù))，則此搜索模板不與設(shè)定模板進行下一步運算;當(dāng)≤T時，則此搜索模板與設(shè)定模板進行下一步運算，尋找最優(yōu)匹配塊.計算搜索模板內(nèi)各個特征點的R值大小及其對應(yīng)在搜索模板中的位置(i，j).當(dāng)搜索模板內(nèi)特征點位置(i，j)、特征點個數(shù)Ni和設(shè)定模板內(nèi)特征點位置(x，y)、特征點個數(shù)N均相似時，則該模板區(qū)域為匹配塊.

由于工件表面存在大量重復(fù)性相似的加工紋理特征，在拼接過程中極易出現(xiàn)多個局部特征相對應(yīng)的情況而產(chǎn)生局部特征點的偽匹配，從而造成誤拼接;模板粗匹配有效地解決了這個問題.

2.3 進行特征點精確匹配

經(jīng)模板匹配確定了兩幅圖像間拼接的粗略位置，接下來還需在第二幅圖像匹配塊區(qū)域中基于特征點的方法找到第一幅圖像中模板內(nèi)各角點所一一對應(yīng)的唯一特征點從而確定拼接的精確位置，實現(xiàn)高精度的圖像拼接.

角點初匹配常用的方法有灰度差平方和法(SSD)、絕對差和法(SAD)和歸一化互相關(guān)法(NCC)，其中SSD和SAD方法運算速度非常快，但光照變化對算法影響比較大［13］.這里采用不受光照影響的NCC方法，該方法根據(jù)角點領(lǐng)域像素灰度值的相似性來進行匹配.

對于模板圖像中的某個特征點，提取一個以該特征點為中心的大小為(2N+1)×(2M+1)(其中，N和M為自然數(shù))的相關(guān)窗口，然后在第二幅圖像的匹配塊區(qū)域中按特征點順序搜索進行匹配.這樣，將對應(yīng)點的搜索區(qū)域從整個圖像減小到一個和給定模板一樣大小的區(qū)域，大大降低了計算工作量.設(shè)W1和W2是分別以第一幅圖像的角點p1和第二幅圖像的角點q1為中心的兩個大小相同的窗口，u1、u2為相關(guān)窗口內(nèi)像素灰度的均值，(x1，y1)的取值范圍為窗口大小，則計算NCC的公式為NCC=

如果只選擇最大相關(guān)系數(shù)所對應(yīng)的點為匹配點，這樣得到的匹配點有一部分是誤匹配點，為了去除誤匹配點，可以設(shè)定一個相關(guān)閾值，若最大相關(guān)系數(shù)值小于此閾值，則認(rèn)為是誤匹配點，進行剔除，再用雙向匹配方法進一步剔除錯誤的匹配點，完成特征點的初始匹配.初始匹配后仍存在很多誤匹配點，再采用隨機采樣一致性算法(RANSAC算法)進行魯棒匹配，剔除誤匹配點，完成特征點的精確匹配.當(dāng)待拼接的兩幅圖像最佳配準(zhǔn)點位置確定后，就可以實現(xiàn)兩幅圖像的無縫拼接.

3 試驗結(jié)果與分析

圖3 工件圖像的高精度快速拼接Fig.3 High-accuracy fast mosaic of two workpiece images

選用工件序列圖像中的相鄰兩幅圖像進行圖像拼接算法驗證試驗.圖3(a)是工件的相鄰兩幅圖像，首先采用濾波模板大小為7×7，標(biāo)準(zhǔn)差為0.8，閾值為300的Harris算子提取角點，圖3(b)中亮點為提取的特征點;再對提取的特征點進行模板初始匹配，圖3(c)中方框所示為設(shè)定的模板和找到的匹配塊，設(shè)定的模板大小為33像素×33像素;然后基于特征點的方法在匹配塊內(nèi)進行特征點精確匹配，使用RANSAC算法剔除誤匹配點，圖3(d)中連接線為經(jīng)魯棒匹配得到的兩幅相鄰圖像之間正確匹配點的對極線;圖3(e)為拼接結(jié)果，可看出拼接效果非常理想.整個拼接過程耗時7.8 s，而傳統(tǒng)的算法拼接耗時約為15.6s(計算機配置為:Intel雙核CPU，E64202.31GHz，內(nèi)存為 1GB).

以上驗證的是相鄰兩幅圖像之間的拼接過程與相關(guān)的算法.對于大型工件測量系統(tǒng)而言，需要把序列中很多幅相鄰的圖像拼接在一起.采用HV2000FC攝像機和Computar M2514-MP工業(yè)鏡頭組成的攝像系統(tǒng)，在車間環(huán)境條件下采集長、寬尺寸均為500mm的大型金屬工件圖像.由于拍攝距離的限制，采集圖像時攝像機視場長、寬分別為200 mm和150mm.為了避免重疊區(qū)域過小而導(dǎo)致特征匹配變得困難且不穩(wěn)定，設(shè)定相鄰圖像間的重疊區(qū)域在30%以上.經(jīng)計算需拍攝5行4列共20幅序列圖像，如圖4(a)所示.按照文中算法對兩兩相鄰的圖像進行拼接，最后的拼接結(jié)果如圖4(b)所示.對拼接后完整工件圖像的邊長進行尺寸測量，將測量結(jié)果與用三坐標(biāo)測量機測量的結(jié)果相比較，500 mm的邊長達到20μm的精度等級.

圖4 工件序列圖像的拼接Fig.4 High-accuracy fast mosaic of sequence workpiece images

從實驗結(jié)果可以看出，即使工件圖像特征稀少且存在大量的重復(fù)性紋理，工件圖像間存在亮度差異、旋轉(zhuǎn)等干擾，文中算法仍具有很高的拼接精度和效率.

4 結(jié)語

針對大型工件測量系統(tǒng)中的圖像拼接特點，結(jié)合現(xiàn)有的圖像拼接算法的優(yōu)缺點，提出了一種改進的模板匹配與特征匹配相結(jié)合的高精度快速圖像拼接算法，有效地克服了金屬工件表面特征稀少且存在大量重復(fù)性紋理特征給圖像拼接帶來的巨大困難.試驗結(jié)果表明，文中所提算法能實現(xiàn)金屬工件序列圖像的快速、精確拼接，滿足大型工件測量系統(tǒng)中的圖像拼接應(yīng)用要求.

［1］林陸君，孫玲玲，李訓(xùn)根，等.一種改進的基于模板匹配的顯微細(xì)胞圖像拼接算法［J］.計算機應(yīng)用與軟件，2010，27(1):108-110.Lin Lu-jun，Sun Ling-ling，Li Xun-gen，et al.An improved cell microscopic images stitching algorithm based on template matching［J］.Computer Application and Sofeware，2010，27(1):108-110.

［2］鄭海珍，陸蓓.基于角點分層匹配的織物圖像拼接［J］.杭州電子科技大學(xué)學(xué)報，2010，30(1):34-37.Zheng Hai-zhen，Lu Bei.Fabric image mosaic based on delamination matching of corner-points［J］.Journal of Hangzhou Dianzi University，2010，30(1):34-37.

［3］林綺，馬鐵軍.輪胎斷面測量系統(tǒng)的快速圖像拼接方法［J］.橡膠工業(yè)，2010，57(7):438-441.Lin Qi，Ma Tie-jun.Rapid image splicing method for the tire section-scanning system［J］.Rubber Industry，2010，57(7):438-441.

［4］宋潔，孫榮艷，張永杰.基于金字塔和模糊聚類的路面圖像拼接方法［J］.河北工業(yè)大學(xué)學(xué)報，2008，37(5):13-19.Song Jie，Sun Rong-yan，Zhang Yong-jie，et al.Method of pavement image splicing based on the pyramid and fuzzy clustering［J］.Journal of Hebei University of Technology，2008，37(5):13-19.

［5］梁忠偉，葉邦彥，彭銳濤，等.基于分層八鄰域方向預(yù)測算子的IC芯片圖像拼接技術(shù)［J］.華南理工大學(xué)學(xué)報:自然科學(xué)版，2007，35(12):56-60.Liang Zhong-wei，Ye Bang-yan，Peng Rui-tao，et al.Image-splicing technology for IC chip inspection based on direction-prediction operator of grading 8 neighborhoods［J］.Journal of South China University of Technology:Natural Science Edition，2007，35(12):56-60.

［6］孫婷婷，修立偉，鄭春研.在線檢測系統(tǒng)中的圖像快速拼接技術(shù)［J］.機械工程與自動化，2009，6(3):105-106.Sun Ting-ting，Xiu Li-wei，Zheng Chun-yan.Fast mosaic of sequence images in online detection system ［J］.Mechanical Engneering ＆ Automation，2009，6(3):105-106.

［7］鄭戈毅，王國輝，高嘉英，等.炮管內(nèi)鏜圖像拼接檢測算法研究［J］.裝甲兵工程學(xué)院學(xué)報，2007，21(4):28-31.Zheng Ge-yi，Wang Guo-hui，Gao Jia-ying，et al.Research on image jointing algorithm for the inner surface of the artillery bore［J］.Journal of Academy of Armored Force Engineering，2007，21(4):28-31.

［8］張廣軍.視覺測量［M］.北京:科學(xué)出版社，2008:149.

［9］Harris C，Stephens M.A combined corner and edge detector［C］∥Proc 4th Alvey Vision Conference Sheffield.UK:University of Sheffield Printing Unit，1988:147-154.

［10］陳白帆，蔡自興.基于尺度空間理論的Harris角點檢測［J］.中南大學(xué)學(xué)報，2005，36(5):751-754.Chen Bai-fan，Cai Zi-xing.Harris corner detection based on theory of scale-space［J］.Journal of Center South University，2005，36(5):751-754.

［11］葉鵬，王琰.一種改進的Harris多尺度角點檢測［J］.計算機技術(shù)與發(fā)展，2010，20(4):58-60.Ye Peng，Wang Yan.An improved harris multi-scale corner detection［J］.Computer Technology and Development，2010，20(4):58-60.

［12］焦晶萍，廖文和，沈建新.一種基于模板匹配法的眼底圖像拼接方法［J］.計算機技術(shù)與發(fā)展，2010，20(4):148-151.Jiao Jing-ping，Liao Wen-he，Shen Jian-xin.A fundus image mosaic method based on template matching ［J］.Computer Technology and Development，2010，20(4):148-151.

［13］斯蒂格，尤里奇，威德曼.機器視覺算法與應(yīng)用［M］.楊少榮，吳迪靖，段德山，譯.北京.清華大學(xué)出版社，2008:295-310.