空間變換雙靶面成像系統(tǒng)圖像配準(zhǔn)

畢齊林，王啟騰，全燕鳴

（1.廣東省自動(dòng)化研究所，廣東 廣州 510070；2.華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東 廣州 510640）

空間變換雙靶面成像系統(tǒng)圖像配準(zhǔn)

畢齊林1，王啟騰2，全燕鳴2

（1.廣東省自動(dòng)化研究所，廣東 廣州 510070；2.華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東 廣州 510640）

針對熔池及熔池前區(qū)相連焊縫的雙靶面成像系統(tǒng)，采用特征基點(diǎn)標(biāo)識(shí)及基于空間變換的方法，建立雙靶面成像系統(tǒng)的圖像配準(zhǔn)模型。在圖像配準(zhǔn)模型中應(yīng)用最小二乘法確定配準(zhǔn)模型中的參數(shù)，并通過實(shí)驗(yàn)證明該方法能夠快速、準(zhǔn)確地實(shí)現(xiàn)圖像配準(zhǔn)并應(yīng)用到實(shí)際的雙靶面成像系統(tǒng)中去，為實(shí)現(xiàn)焊接過程中熔池相對焊縫中心偏離量的監(jiān)測創(chuàng)造條件。

特征基點(diǎn)；雙靶面成像；圖像配準(zhǔn)；最小二乘；空間變換

0　引　言

大型構(gòu)件角焊縫（fillet welding of corrugation of large structure，F(xiàn)WCLS）采用波紋側(cè)板與底板垂直的方式進(jìn)行裝配，增強(qiáng)了箱型等結(jié)構(gòu)的整體剛度，改善了力學(xué)性能。隨著鐵路運(yùn)輸、航海、航空業(yè)等的快速發(fā)展，F(xiàn)WCLS得到了大量應(yīng)用。然而FWCLS的波紋側(cè)板較薄、焊前剛性較差、制造過程也存在一定誤差，使得待焊裝配縫三維軌跡及縫寬無規(guī)律變化，難以實(shí)現(xiàn)高精密、智能化地焊接。針對這一問題，Quan等[1]提出了雙靶面成像系統(tǒng)的監(jiān)測跟蹤方式，對焊接過程中焊槍軌跡及焊接工藝參數(shù)進(jìn)行自適應(yīng)調(diào)整。在雙靶面成像系統(tǒng)中，需要將兩幅圖像融合，才能實(shí)現(xiàn)焊槍軌跡的偏離及待焊裝配縫隙寬度變化的監(jiān)測。然而，兩靶面的實(shí)際安裝位置與設(shè)計(jì)安裝位置存在偏差，故融合前需要對圖像進(jìn)行配準(zhǔn)，且配準(zhǔn)的精度直接決定了FWCLS的識(shí)別準(zhǔn)確度。

基于特征的圖像配準(zhǔn)是目前使用、研究最多的圖像配準(zhǔn)方法，它將對整個(gè)圖像的分析轉(zhuǎn)化為對圖像中某些特征的分析，大大提高了計(jì)算速度。Ward G[2]提出了一種平移變換的圖像配準(zhǔn)模型，應(yīng)用到同一場景不同曝光條件下的圖像配準(zhǔn)問題中，實(shí)現(xiàn)系列圖像中高動(dòng)態(tài)范圍的圖像融合，但該模型只能進(jìn)行平移誤差的圖像配準(zhǔn)，沒有考慮圖像間旋轉(zhuǎn)誤差的影響，存在一定的局限性。在此基礎(chǔ)上，為了實(shí)現(xiàn)航天器的實(shí)時(shí)多目標(biāo)跟蹤和捕獲，柳祥等[3]提出了基于有效點(diǎn)的質(zhì)心提取與消旋配準(zhǔn)相結(jié)合的方法，利用消旋配準(zhǔn)去除圖像間相對旋轉(zhuǎn)的干擾，解決了角度偏移帶來的影響。與此同時(shí)，譚勇等[4]引進(jìn)了縮放參數(shù)，實(shí)現(xiàn)了遙感目標(biāo)圖像的旋轉(zhuǎn)和縮放參數(shù)的高準(zhǔn)確配準(zhǔn)。隨著特征提取、特征匹配等技術(shù)的不斷發(fā)展，產(chǎn)生了很多基于特征的圖像配準(zhǔn)方法[5-6]，從最初具有簡單平移關(guān)系的圖像配準(zhǔn)到后來具有復(fù)雜變換（縮放、旋轉(zhuǎn)、灰度變換等）的圖像配準(zhǔn)。

在雙靶面成像系統(tǒng)的圖像配準(zhǔn)中，因目標(biāo)的特征在兩幅圖像中存在鏡像關(guān)系，且對應(yīng)的位置、圖像大小不同，導(dǎo)致傳統(tǒng)的圖像配準(zhǔn)技術(shù)無法適用。目前，學(xué)者對于基于特征的圖像配準(zhǔn)方法有深入的研究，其中最常見的模型是仿射變換模型[7]，該模型可以實(shí)現(xiàn)待配準(zhǔn)圖像間存在的縮放、旋轉(zhuǎn)、剪切、平移的線性幾何關(guān)系的圖像配準(zhǔn)，然而對于包含鏡像、平移、縮放的空間變換關(guān)系的圖像配準(zhǔn)無能為力。因此，針對這種情況，基于特征基點(diǎn)標(biāo)識(shí)及空間變換，建立了雙靶面成像系統(tǒng)的圖像配準(zhǔn)模型，確定配準(zhǔn)模型中的參數(shù)，在此基礎(chǔ)上結(jié)合實(shí)驗(yàn)對配準(zhǔn)模型進(jìn)行誤差分析，為熔池相對待焊縫中心線的偏離量的在線監(jiān)測提供了基礎(chǔ)條件。

1　雙靶面成像系統(tǒng)

在FWCLS的自動(dòng)焊接過程中，為了提高圖像信息的利用率、改善計(jì)算準(zhǔn)確度和可靠性，利于具有較大光強(qiáng)動(dòng)態(tài)范圍的感興趣區(qū)的圖像監(jiān)測，在同一時(shí)刻，雙靶面系統(tǒng)中的兩個(gè)相機(jī)在不同曝光條件下采集焊接過程中的圖像信號(hào)，將兩通道所采集到的感興趣的圖像特征（熔池和前區(qū)焊縫）進(jìn)行處理，可以最大限度提取各通道中的有效信息，合成高質(zhì)量的圖像，得到感興趣的參數(shù)。該雙靶面成像系統(tǒng)如圖1所示。

圖1　雙靶面成像裝置系統(tǒng)

該雙靶面成像系統(tǒng)包含相機(jī)安裝盒、兩個(gè)相機(jī)、半反半透鏡、濾光片、減光片、濾鏡等，如圖1（b）所示。首先，調(diào)整成像裝置的位置，使得物體反射的光線進(jìn)入圖像獲取窗口，通過此處增加的濾波片，過濾掉部分波段的弧光干擾；然后，經(jīng)過濾波后的光線到達(dá)半反半透鏡，一半光線直接透過，被相機(jī)1接收，另一半光線被半反半透鏡反射后，被相機(jī)2接收。在接收角焊縫焊接圖像的過程中，為了體現(xiàn)每個(gè)相機(jī)關(guān)注的側(cè)重點(diǎn)，并盡量使得其位于視場中心，在相機(jī)安裝座上設(shè)定了可調(diào)裝置，使得相機(jī)可以沿著成像裝置的橫軸、縱軸進(jìn)行一定的調(diào)整。

2　雙靶面成像系統(tǒng)配準(zhǔn)數(shù)模分析

在現(xiàn)場環(huán)境中，由于兩個(gè)相機(jī)、鏡頭、實(shí)際和設(shè)計(jì)的安裝位置、姿態(tài)存在差異，采集到的兩幅圖像也會(huì)存在偏差，不能采用簡單的平移法進(jìn)行圖像配準(zhǔn)。因此，針對該雙靶面成像系統(tǒng)的特點(diǎn)，在前人研究的基礎(chǔ)上，提出了一種采用基于特征基點(diǎn)標(biāo)識(shí)及空間變換的方法建立兩幅圖像間的配準(zhǔn)模型，將其變換到同一坐標(biāo)系下，然后進(jìn)行圖像融合，監(jiān)測跟蹤熔池中心與焊縫中心線圖像的偏離量，實(shí)現(xiàn)焊槍軌跡偏離焊縫的在線監(jiān)測。

2.1圖像配準(zhǔn)模型分析

若定義S：Rn→Rn，且S（X）=T（X）+A，T是非奇異線性變換，A∈Rn，則變換S稱為空間變換。對于圖像配準(zhǔn)問題，n一般取2或3，但對本文討論的數(shù)學(xué)模型，n可以取任意整數(shù)。由于噪音的存在，上述公式一般不可能精確成立。特征點(diǎn)集配準(zhǔn)的目標(biāo)是基于估計(jì)變換S，使得兩特征點(diǎn)集在某種意義上的誤差極小化，本文結(jié)合實(shí)際焊縫監(jiān)測跟蹤的實(shí)際需求，主要討論基于二維空間的圖像配準(zhǔn)，取n=2?？臻g變換具有平行線轉(zhuǎn)換成平行線、有限點(diǎn)映射到有限點(diǎn)的一般特性，平移、鏡像、縮放等是二維空間變換的特例。

1）平移：設(shè)坐標(biāo)點(diǎn)（x，y）經(jīng)平移Δx，Δy后的坐標(biāo)為（x′，y′），則空間變換形式為

其中t=[Δx，Δy]T為平移矩陣。

2）鏡像：設(shè)點(diǎn)（x，y）關(guān)于直線ax+by+c=0的鏡像點(diǎn)為（x′，y′），則空間變換形式[8]為

其中：

為鏡像矩陣。

3）縮放：設(shè)坐標(biāo)點(diǎn)（x，y）經(jīng)比例因子k改變大小后的坐標(biāo)為（x′，y′），則空間變換形式為

其中k為縮放系數(shù)。

綜合上述的空間變換形式可知，若一個(gè)點(diǎn)坐標(biāo)經(jīng)過平移、鏡像、縮放后的坐標(biāo)可以用空間變換表示為

也可以簡化為

式中：p′（x′，y′）、p（x，y）——坐標(biāo)矢量；

k——縮放變換因子；

R——鏡像矩陣；

t——平移矩陣。

2.2最小二乘參數(shù)估計(jì)求解

由Mallat等[9]的研究可知，如果兩特征點(diǎn)集與兩幅圖像之間對應(yīng)關(guān)系是空間變換關(guān)系，且記pi′（xi′，yi′）為pi′，pi（xi，yi）為pi則：

需要解決的問題是求取圖像配準(zhǔn)后標(biāo)準(zhǔn)差的極小值[10-11]：

式（7）的空間變換參數(shù)為kR，t。若令：

E是元素全為1的m維列矢量，則：

即最小誤差函數(shù)可以簡化為以下形式：

式中TR[P]表示方陣P的跡，即是主對角線元素P之和。Y（kR，t）是關(guān)于kR和t的函數(shù)，因此極小化Y（kR，t）的（kR）*，t*應(yīng)滿足下式：

由矩陣序的性質(zhì)可知，對于任意m維列矢量S有

結(jié)合式（11），將式（9）代入到式（10）可得：

將其代入式（9）得：

由矩陣序的性質(zhì)可知，對于任意m×m維矩陣Q=PJPT有：

結(jié)合式（15），將式（13）、式（14）代入到式（10）可得：

即

3　實(shí)驗(yàn)過程與結(jié)果分析

為了通過式（13）、式（17）確定雙靶面成像系統(tǒng)中圖像配準(zhǔn)的空間變換參數(shù)，結(jié)合真實(shí)的實(shí)驗(yàn)環(huán)境，通過實(shí)驗(yàn)對雙靶面成像系統(tǒng)圖像進(jìn)行配準(zhǔn)。

在實(shí)驗(yàn)中采用同一型號(hào)的兩個(gè)相機(jī)和鏡頭，按圖1（b）所示安裝，依據(jù)該雙靶面成像裝置在實(shí)驗(yàn)過程中的成像角度及與被監(jiān)測目標(biāo)體的位置關(guān)系，確定配準(zhǔn)過程中成像裝置的拍攝位置。

3.1實(shí)驗(yàn)過程

1）制作一個(gè)20×20的棋盤格標(biāo)靶，在棋盤格中央做標(biāo)記p1、p2、p4、p3，把該區(qū)域包含的格子的角點(diǎn)作為圖像配準(zhǔn)的基準(zhǔn)點(diǎn)（即64個(gè)基準(zhǔn)點(diǎn)），如圖2所示。

2）安裝好該雙靶面成像系統(tǒng)，設(shè)置雙相機(jī)的參數(shù)，其中圖像大小為1600×1200，采集的圖像為8位灰度圖，獲取做好標(biāo)記的標(biāo)靶圖像，相機(jī)1和相機(jī)2分別獲取的圖像如圖2（b）、圖2（c）所示。

3）圖2（b）是待配準(zhǔn)的圖像，圖2（c）是基準(zhǔn)圖像，分別求出兩幅圖像中的64個(gè)基準(zhǔn)點(diǎn)的圖像坐標(biāo)，利用所述空間變換參數(shù)的最小二乘估計(jì)求解實(shí)現(xiàn)圖像配準(zhǔn)。該求解過程在Matlab 2010中實(shí)現(xiàn)。

圖2　圖像配準(zhǔn)

3.2實(shí)驗(yàn)結(jié)果

通過Matlab編程，首先求得基準(zhǔn)點(diǎn)的圖像坐標(biāo)，然后利用空間變換參數(shù)的最小二乘估計(jì)求解，得到空間變換各參數(shù)。

鏡像、縮放變換矩陣：

平移矩陣：

配準(zhǔn)后的結(jié)果如圖3所示。

3.3結(jié)果分析

分析對比圖3（a）中p1、p2、p4、p3中的方格的配準(zhǔn)后角點(diǎn)坐標(biāo)與圖2（c）基準(zhǔn)圖像中p1、p2、p4、p3方格的基準(zhǔn)角點(diǎn)坐標(biāo)之間的位置關(guān)系，如圖3（b）所示。

從圖中可以看出，配準(zhǔn)后的角點(diǎn)坐標(biāo)與基準(zhǔn)角點(diǎn)坐標(biāo)大體一致，在x、y方向上的誤差保持在±2pixel內(nèi)。其誤差主要來源于：雙靶面成像系統(tǒng)中兩個(gè)相機(jī)的中心軸在安裝的時(shí)候不是嚴(yán)格的垂直，獲取的圖像有一定的畸變；在求取待配準(zhǔn)角點(diǎn)和基準(zhǔn)角點(diǎn)坐標(biāo)的過程中存在一定的誤差；空間變換參數(shù)的最小二乘估計(jì)求解是保證配準(zhǔn)后的全部角點(diǎn)坐標(biāo)最優(yōu)，因此也會(huì)存在局部配準(zhǔn)后的角點(diǎn)坐標(biāo)誤差偏大的情況?？偟膩碚f，該模型的建立以及參數(shù)估計(jì)求解過程是比較準(zhǔn)確的，并且具有良好的穩(wěn)定性。

4　結(jié)束語

本文在各種圖像配準(zhǔn)技術(shù)的基礎(chǔ)上，針對雙靶面成像系統(tǒng)的實(shí)際應(yīng)用，建立了一種基于空間變換的雙靶面成像系統(tǒng)的圖像配準(zhǔn)模型，在待配準(zhǔn)和基準(zhǔn)圖像中找到足夠多的特征點(diǎn)，利用最小二乘參數(shù)估計(jì)求得該空間變換的各參數(shù)矩陣，并通過實(shí)驗(yàn)證明了該模型的正確性以及參數(shù)估計(jì)求解過程的準(zhǔn)確性。

圖3　配準(zhǔn)后的圖像及誤差分布

1）針對該雙靶面成像系統(tǒng)特點(diǎn)，提出了一種采用基于特征基點(diǎn)標(biāo)識(shí)及空間變換的方法建立兩幅圖像間的配準(zhǔn)模型。在此模型基礎(chǔ)上，利用最小二乘原理，求解該數(shù)學(xué)模型中的各參數(shù)矩陣。

2）通過實(shí)驗(yàn)確定了該數(shù)學(xué)模型中的參數(shù)，并對配準(zhǔn)結(jié)果誤差進(jìn)行分析，在x、y方向上的誤差保持在±2pixel內(nèi)，證明了該參數(shù)估計(jì)求解過程的準(zhǔn)確性。

3）通過數(shù)學(xué)模型的建立及實(shí)驗(yàn)，實(shí)現(xiàn)了具有平移、鏡像、縮放參數(shù)的雙靶面系統(tǒng)的圖像配準(zhǔn)，為后期進(jìn)行圖像融合，監(jiān)測跟蹤熔池中心與焊縫中心線圖像的偏離量，實(shí)現(xiàn)焊槍軌跡偏離焊縫的在線監(jiān)測提供了基礎(chǔ)。

[1]Quan Y M，Bi Q L.Image collection and processing system for welding pool and proximate seam using multiple image detectors[J].Computer Modeling and New Technologies，2014，18（11）：105-112.

[2]Ward G.Fast robust image registration for compositing high dynamic range photographs from handheld exposures[J].Joumal of Graphics Tools，2003，8（2）：17-30.

[3]柳祥，胡炳樑，邵秀娟.微型航天器多目標(biāo)捕獲算法研究[J].宇航學(xué)報(bào)，2009，30（4）：1415-1420.

[4]譚勇，徐佩霞，徐守時(shí).基于線形特征譜線的遙感目標(biāo)圖像旋轉(zhuǎn)和縮放配準(zhǔn)[J].中國科學(xué)技術(shù)大學(xué)學(xué)報(bào)，2010，40（8）：783-789.

[5]Harris C G，Stephens M J.A combined corner and edge detector[C]∥Proceedings of the Fourth Alvey Vision Conference Manchester，1988：147-151.

[6]熊興華，錢曾波，王任享.遺傳算法與最小二乘法相結(jié)合的遙感圖像子像素匹配[J].測繪學(xué)報(bào)，2001，30（1）：54-59.

[7]曾文鋒，李樹山.基于仿射變換模型的圖像配準(zhǔn)中的平移、旋轉(zhuǎn)和縮放[J].紅外與激光工程，2001，30（1）：18-21.

[8]許社教.二維圖形的鏡像變換及其變換矩陣[J].西安電子科技大學(xué)學(xué)報(bào)，1994，21（1）：85-89.

[9]Mallat SG.Multifrequencychanneldecomposition of images and wavelet models[J].IEEE Trans Speech Signal rocessing，1989，37（12）：2091-2110.

[10]章權(quán)兵，羅斌，韋穗，等.基于仿射變換模型的圖像特征點(diǎn)集配準(zhǔn)方法研究[J].中國圖象圖形學(xué)報(bào)，2003（10）：20-24.

[11]孔建，姚宜斌，許雙安.整體最小二乘求取坐標(biāo)轉(zhuǎn)換參數(shù)[J].大地測量與地球動(dòng)力學(xué)，2010，30（3）：74-78.

Image registration of double target surface imaging system based on spatial alternation

BI Qilin1，WANG Qiteng2，QUAN Yanming2
（1.Guangdong Institute of Automation，Guangzhou 510070，China；2.School of Mechanical and Automotive Engineering，South China University of Technology，Guangzhou 510640，China）

An image registration model has been developed for double target surface imaging system of molten pools and weld joints based on feature point identification and space transformation.Least squares were used to determine model parameters.Experiments show that the method can realize image registration in a swift and accurate manner and can be applied in actual double target surface imaging systems，thus providing conditions to monitor the deviation vector of molten pools relate to weld centers in welding processes.

basic characteristic points；double target surface imaging；image registration；least squares；spatial alternation

A

1674-5124（2015）12-0095-05

10.11857/j.issn.1674-5124.2015.12.024

2015-02-20；

2015-04-27

廣東省省院產(chǎn)學(xué)研項(xiàng)目（2013B091000006）

畢齊林（1983-），男，湖北黃岡市人，博士，主要從事機(jī)器視覺技術(shù)及應(yīng)用研究。