寬場景仿真中的圖像配準(zhǔn)算法*

張金玲

（中國人民大學(xué) 信息學(xué)院，北京100872）

圖像拼接是將多幅相關(guān)圖像經(jīng)過配準(zhǔn)后轉(zhuǎn)換到相同坐標(biāo)系并拼接為一幅完整圖像的技術(shù)，是一種經(jīng)濟有效的利用普通相機獲得寬視場角圖像的技術(shù)[1]，被廣泛應(yīng)用于航空航天、醫(yī)學(xué)圖像分析、地理遙感探測及增強現(xiàn)實技術(shù)等領(lǐng)域。獲取拼接圖像間轉(zhuǎn)換模型的圖像配準(zhǔn)技術(shù)是正確完成圖像拼接的關(guān)鍵。目前，主要的圖像配準(zhǔn)技術(shù)可以分為基于灰度[2]、基于特征[3-4]和基于變換域[5]三類。

這些方法都需要經(jīng)過反復(fù)的復(fù)雜運算來獲得每組圖像間的配準(zhǔn)模型，同時又由于是針對普通通用圖像間的拼接，配準(zhǔn)精度和效率通常較低。與上述圖像配準(zhǔn)技術(shù)不同，本文提出的配準(zhǔn)算法根據(jù)空間艙內(nèi)攝像機相對位置固定的特點，利用相機標(biāo)定信息和相位相關(guān)相結(jié)合的方法進行景深范圍較小情況下圖像間的配準(zhǔn)，具有快速準(zhǔn)確的特點。

1 圖像配準(zhǔn)算法設(shè)計

相位相關(guān)和標(biāo)定信息相結(jié)合的圖像配準(zhǔn)算法適用于相機相對位置固定的寬場景拼接應(yīng)用。通過相機標(biāo)定可以定位不同位置上的拍攝相機間的角度和空間位置偏移。而正是由于這些偏移的存在導(dǎo)致不同相機拍攝的圖像之間存在角度、縮放和位置上的差異。利用兩臺攝像機的相對位置參數(shù)來求解兩幅圖像之間的旋轉(zhuǎn)模型和縮放模型參數(shù)，而經(jīng)過旋轉(zhuǎn)和縮放變換后的圖像與基準(zhǔn)圖像間的平移模型則由相位相關(guān)技術(shù)求解。假設(shè)場景攝像機的內(nèi)部參數(shù)完全相同，具體算法如下。

1.1 利用相機標(biāo)定信息求解旋轉(zhuǎn)縮放模型

通過將待拼接相機進行旋轉(zhuǎn)和在軸(相機光軸)上移動可以使得待拼接相機的像平面與基準(zhǔn)相機的像平面位于同一平面上，具體原理如圖1所示。由圖1可以看出，通過對待拼接圖像進行旋轉(zhuǎn)和縮放變換可以將待拼接圖像轉(zhuǎn)換到與基準(zhǔn)圖像相同的像平面中，但兩圖像坐標(biāo)系的原點位置不同。

對于待拼接圖像中的一個像素點(x,y)T，其所對應(yīng)的空間點一定位于由相機光心和此成像點所確定的直線上，該直線在待拼接相機的最初坐標(biāo)系中的表達式為：

其中f為相機的焦距。

待拼接相機進行旋轉(zhuǎn)后，此直線在新坐標(biāo)系中的表達式為：

其中，R3×3為標(biāo)定出的外部旋轉(zhuǎn)矩陣，上標(biāo)數(shù)字 n表示第n次運算。

直線所對應(yīng)的像平面上的投影像素點(x(1),y(1))T可由投影變換式(3)進行計算：

其中，A3×3為相機的內(nèi)部投影矩陣。

在逆向圖像變換中，經(jīng)過旋轉(zhuǎn)變換后的待拼接圖像上的任一像素點(x(1),y(1))T，其所對應(yīng)的空間點一定位于該像素點與相機光心所確定的直線上，待拼接相機坐標(biāo)系進行旋轉(zhuǎn)后該直線的表達式為：

該直線在初始待拼接相機坐標(biāo)系下的表達式為：

其在初始待拼接相機像平面上的投影點，即與旋轉(zhuǎn)變換后的像素點(x(1),y(1))T所對應(yīng)的初始待拼接圖像的像素點(x,y)T可由式(6)獲得。

待拼接相機經(jīng)過旋轉(zhuǎn)后與基準(zhǔn)相機方向和角度相同，為了使待拼接相機的像平面與基準(zhǔn)相機像平面相同，還需要將待拼接相機沿軸移動到與基準(zhǔn)相機統(tǒng)一水平線上，移動距離為 Δz（待拼接相機與基準(zhǔn)相機在 z軸方向上的偏移）。沿z軸移動相機等同于將原圖像上的像素點按一定比例進行縮放。

對于縮放變換前待拼接圖像上的任意一點(x(1),y(1))T，假設(shè)其經(jīng)過相機z軸移動后坐標(biāo)變換為(x(2),y(2))T。其所對應(yīng)空間點在經(jīng)過旋轉(zhuǎn)變換后的待拼接相機坐標(biāo)系中的坐標(biāo)為(X(1),Y(1),Z(1))T，假設(shè)此空間點在經(jīng)過z軸移動后的待拼接相機坐標(biāo)系中的坐標(biāo)為(X(2),Y(2),Z(2))T。則z軸移動前后像素點(x(1),y(1))T與(x(2),y(2))T的對應(yīng)關(guān)系為：

待拼接相機經(jīng)過z軸移動后，同一空間點在待拼接相機坐標(biāo)系下的z軸坐標(biāo)與其在基準(zhǔn)相機坐標(biāo)系下的坐標(biāo)相同。由式(7)可見，每個像素點的精確縮放比例與其對應(yīng)空間點在基準(zhǔn)相機坐標(biāo)系下的z軸坐標(biāo)有關(guān)。在有限深度場景中，取中間深度值Zm近似計算所有像素點的縮放比例。則像素點的正向和逆向縮放變換式為：

對任意像點，縮放比例系數(shù)s與精確值之間的誤差為：

其中，Zo為對應(yīng)空間點在基準(zhǔn)相機坐標(biāo)系下的z軸坐標(biāo)。

假設(shè)有限景深場景中所有有效對象的最前邊界距離相機中心距離為Zf，最后邊界距離相機中距離為Zr。容易證明，對于任意確定的取值Zm，前邊界或后邊界所對應(yīng)像素點的縮放誤差最大，分別為：

其中D=Zr-Zf。根據(jù)空間艙實驗仿真的實際要求，設(shè)定Zf的取值范圍為1.5 m～3 m,有效景深D的取值范圍為 0～6 m，則縮放誤差的最大值分布情況如圖2所示。

圖2 縮放最大誤差分布

將上述變換推導(dǎo)公式合并得到正向和逆向旋轉(zhuǎn)縮放變換模型分別為式(13)和式(14)。

1.2 利用相位相關(guān)技術(shù)求解圖像平移參數(shù)

利用相位相關(guān)技術(shù)[6]計算變換后的待拼接圖像與基準(zhǔn)圖像間的相位相關(guān)性，通過做功率譜函數(shù)的逆變換來確定待拼接圖像到基準(zhǔn)圖像間的平移參數(shù)(x0,y0)，經(jīng)過平移變換后將待拼接圖像所對應(yīng)的坐標(biāo)系與基準(zhǔn)圖像的平面坐標(biāo)系完全統(tǒng)一，如圖3所示。

圖3 圖像平移變換

2 仿真實驗

基于上述圖像配準(zhǔn)算法進行了兩組圖像拼接實驗，兩組實驗的關(guān)鍵環(huán)境參數(shù)如表1所示。

表1 實驗參數(shù)

實驗1的圖像拼接結(jié)果如圖4所示，兩幅待拼接圖像在旋轉(zhuǎn)縮放變換前后的相位相關(guān)圖如圖5所示。

圖4 實驗1拼接結(jié)果

圖5 實驗1中旋轉(zhuǎn)縮放變換前后圖像的相位相關(guān)圖

實驗2的圖像拼接結(jié)果如圖6所示，兩幅待拼接圖像在旋轉(zhuǎn)縮放變換前后的相位相關(guān)圖如圖7所示。

圖6 實驗2拼接結(jié)果

圖7 實驗2中旋轉(zhuǎn)縮放變換前后圖像的相位相關(guān)圖

兩組實驗中待拼接圖像的分辨率均為640×480，操作耗時如表2所示。

本文提出了一種適用于景深范圍較小條件下場景圖像拼接的圖像配準(zhǔn)算法,該算法通過相機間的相對外部位置參數(shù)推導(dǎo)拍攝圖像間的旋轉(zhuǎn)和縮放模型，利用相位相關(guān)法獲取變換后圖像間的平移參數(shù)。對近似縮放模型產(chǎn)生的縮放誤差分布情況進行了分析。實驗結(jié)果證明，利用本配準(zhǔn)算法進行有效景深較小場景的圖像拼接具有配準(zhǔn)快速、精確等優(yōu)點。算法的不足之處在于，當(dāng)前平面與相機距離較小、與有效景深范圍較大時近似縮放模型的誤差較大。

表2 實驗耗時

[1]王娟,師軍,吳憲祥.圖像拼接技術(shù)綜述[J].計算機應(yīng)用研 究,2008,25(7)：1940-1943.

[2]MOUNT D M,NETANYAHU N S.Efficient algorithm for robust feature matching[J].Pattern Recognition,1999(32)：17-38.

[3]張朝偉,周焰,王耀康,等.基于 SIFT特征跟蹤匹配的視頻拼接方法[J].計算機工程與應(yīng)用,2008,44(10)：169-172,191.

[4]李冬梅,王延杰.一種基于特征點匹配的圖像拼接技術(shù)[J].微計算機信息,2008,24(5-3)：296-298.

[5]方俊偉,翟超,金熠.相位相關(guān)法實現(xiàn)圖像拼接的仿真與優(yōu)化[J].計算機應(yīng)用與軟件,2008,25(1)：207-208.

[6]KUGLIN C D,HINES D C.The phase correlation image alignment method[C].Proceeding of IEEE Conference on Cybernetics and Society,New York,1975：163-165.