基于全局最優(yōu)變換矩陣的圖像拼接方法

孫商文，劉 宇，徐昭洪，王昱峰

(空軍航空大學 數(shù)字地球?qū)嶒炇遥?長春 130000)

受限于相機視角小、畫幅小的現(xiàn)狀，想要獲取高分辨率大場景的全景圖像具有一定難度，需要將獲取的多張具有重疊區(qū)域的高分辨率圖像拼接成一幅全景圖像。目前，圖像拼接技術(shù)已經(jīng)成為計算機圖形學的研究焦點，被廣泛應用于空間探測、遙感圖像處理等領域。圖像拼接一般主要分為3個過程：特征點的檢測與匹配、基于特征的圖像變形、拼接縫的尋找與融合。

對成像場景接近于平面或者相機拍攝繞固定中心旋轉(zhuǎn)的圖像進行拼接時難度較低，主流的圖像處理軟件都可以獲得比較理想的拼接效果，如何處理視差圖像的拼接問題成為學者研究的熱點。Zhang等[1]提出將單應矩陣變換與內(nèi)容保護方法進行結(jié)合的方法，有效解決了視差圖像的拼接問題；Lin等[2]提出一種基于縫引導的局部對齊的方法解決視差問題，首先利用特征點組生成若干局部單應變換矩陣，變形圖像進行初步的配準，然后使用結(jié)構(gòu)保護和特征加權(quán)對局部配準區(qū)域進行不斷優(yōu)化，通過評價不同的拼接縫效果，選擇配準效果和拼接縫質(zhì)量最好的一組結(jié)果進行拼接。Li等[3]提出一種魯棒彈性形變的方法進行視差圖像的拼接，首先使用局部自適應對齊方法消除匹配點的投影誤差，再利用貝葉斯模型進行優(yōu)化特征匹配，最后結(jié)合全局最優(yōu)相似變換完成非重疊區(qū)域變形的過渡。樊逸清等[4]提出使用線約束的最小二乘法的視差圖像拼接技術(shù)，利用逐點變換保證了變形前后特征點位置不變，并加入了線約束項，保持了結(jié)構(gòu)的穩(wěn)定性。齊向民等[5]提出基于細分網(wǎng)格進行局部區(qū)域配準并結(jié)合全局相似變換的視差圖像拼接算法。

針對目前在解決視差問題中出現(xiàn)的重疊區(qū)域紋路復雜度高難以配準、非重疊區(qū)域的透視失真以及特征點配準誤差較大產(chǎn)生結(jié)構(gòu)變形嚴重等問題，本文提出一種基于最優(yōu)單應矩陣的拼接方法，既考慮了單應變換保留整體結(jié)構(gòu)，又引入最優(yōu)拼接縫保證重疊區(qū)域重要目標保護。

1 最優(yōu)全局單應矩陣的篩選

單應性矩陣是圖像拼接過程中一種變換模型，這種變換模型是通過像素點與像素點之間的配對，經(jīng)過某種變換關(guān)系來進行變換，然后再用求得的變換關(guān)系逆向獲取矩陣。單應性矩陣可以將2個圖像的框架進行粗略對齊，保證變換后的圖像在結(jié)構(gòu)上保持穩(wěn)定，不易出現(xiàn)圖像扭曲，而粗對齊后出現(xiàn)圖像變形、透視失真等問題，可以通過結(jié)合最優(yōu)拼接縫尋找與圖像融合進行處理。

假設源圖像與目標圖像在重疊區(qū)域的匹配點為p=[x,y,1]T和q=[u,v,1]T，則單應性變換矩陣代表從p映射到q，其關(guān)系式如下：

q～Hp

(1)

(2)

如果從兩幅圖像中獲得4個相應的像素點，即可以獲得四對匹配點，則可以生成8個線性方程，通過解算該線性方程，可以獲取一個單應性矩陣H。在圖像配準中，目標區(qū)域的投影平面的獲取受到特征點的影響，這導致只有少數(shù)區(qū)域在圖像配準后可以對齊，本文提出的最優(yōu)單應性矩陣獲取由最小化配準誤差和分析特征點分布來進行篩選。

為了獲得一組魯棒特征點集，在輸入圖像I1和I2中使用SIFT算法來進行提取特征點，特征描述符用來確認在重疊區(qū)域的匹配對pi=(x,y)和qi=(u,v)的信息，最優(yōu)單應性矩陣基于這些匹配點進行選擇,具體步驟如下所述：

步驟1隨機選取4組匹配點來進行計算單應性矩陣，判斷剩下的匹配點是否滿足該單應性矩陣。如果匹配點滿足該矩陣，為每個點設置一個計數(shù)值來標記滿足次數(shù)。計算配準誤差Ri的總和，并使用內(nèi)點集來更新單應性矩陣。

步驟2如果計數(shù)值大于所有特征點的平均計數(shù)值的k倍，則將這些特征點設置為無效，根據(jù)經(jīng)驗將k設置為3；有效特征點的總數(shù)記做Ni；同時更新內(nèi)點集。否則，轉(zhuǎn)到步驟1；同時，如果所有匹配點的平均計數(shù)值都大于n，根據(jù)經(jīng)驗n設置為2.15，則停止迭代過程。否則，轉(zhuǎn)到步驟3。

步驟3判斷Ni是否小于ε×N，如果滿足，添加單應性矩陣到候選單應性矩陣集中，否則放棄該單應性矩陣；(設置ε為0.15，N代表所有匹配點的數(shù)目)

步驟4在獲得多個候選單應性矩陣后，計算每個候選矩陣中特征點之間的歐式距離，標記為Si，結(jié)合步驟1計算的特征點之間的配準誤差Ri，則最佳單應性矩陣結(jié)合 max(Si/Ni) 和min(Ri/Ni)來進行選擇。

2 對齊優(yōu)化模型

2.1 全局最優(yōu)相似變換

為了解決在非重疊區(qū)域產(chǎn)生的透視失真問題，引入全局相似變換來平滑過渡透視變換到非重疊區(qū)域。全局相似變換可以近似攝像機在目標圖像和參考圖像之間的運動，可用于補償相機運動。但是，使用所有匹配點來尋找全局相似變換矩陣會導致所獲取的矩陣不是最佳結(jié)果，尤其是當重疊區(qū)域包含不同的圖像平面時。

在獲得特征點匹配后，首先使用帶有閾值εg的RANSAC算法移除異常值，保留最佳匹配點。然后，使用閾值εl來查找具有最大內(nèi)點的單應性平面，其中εl<εg，并且刪除內(nèi)點，重復直到內(nèi)點的數(shù)量小于n。

(3)

每組匹配的內(nèi)點用于計算單個相似轉(zhuǎn)換Si，然后獲得相應轉(zhuǎn)換的旋轉(zhuǎn)角ti，其中最小的旋轉(zhuǎn)角所對應的轉(zhuǎn)換矩陣為最佳相似轉(zhuǎn)換矩陣S。

計算完全局相似變換后，用它調(diào)整目標圖像的扭曲以減輕全景圖中的透視變形。采用平滑外推的方法，

Ht=μHH+μsHs

(4)

Hr=HtH-1

(5)

式中：H為全局最優(yōu)矩陣變換函數(shù)；Hs為全局最優(yōu)相似變換函數(shù)；μh和μs為加權(quán)系數(shù)，并約束μh+μs=1，其中μh和μs線性變化于0～1。系數(shù)的計算方式根據(jù)AANAP[6]中提供的方法。

(6)

2.2 最優(yōu)拼接縫

最優(yōu)拼接縫方法假設在拼接圖像的重疊區(qū)域存在一條最小差異的路徑，選用合適的算法，從上而下遍歷路徑兩側(cè)的像素值，取得一條差異最小的路徑，其中選擇合適的能量函數(shù)尤為重要，對拼接縫選擇的質(zhì)量有著決定作用，并影響最終拼接效果。Duplaquet[7]提出的最佳縫合線算法需要同時滿足顏色差異最小化和結(jié)構(gòu)差異最小化，即

(7)

(8)

(9)

其中：λ為權(quán)值系數(shù);Ecolor(x,y)為圖像的顏色差異強度值；a(x,y) 為灰度值；V為像素點周圍的矩形區(qū)域；Nv為區(qū)域內(nèi)的像素點個數(shù)；Egeometry(x,y)為圖像結(jié)構(gòu)差異強度值;Sx和Sy為3×3的Sobel算子模板；I1(x,y)和I2(x,y)為待拼接圖像灰度值。

Sobel算子只能對水平和垂直方向進行計算沒有考慮周圍方向的信息，文獻[8]改進了Sobel算子進行8個方向的計算，同時在向下遍歷像素時，應考慮水平方向像素值的影響，所以在重疊區(qū)域遍歷像素時，除左右邊界像素點只對3個方向進行檢測，其他像素點從5個方向進行檢測，將計算得到的準則值最小的點作為備選拼接點，按照由上至下進行，直到最后一行結(jié)束。改進后的計算公式如下：

(10)

其中：i為第幾條拼接線；ω為拼接線總數(shù)；n為該拼接線的像素點個數(shù)；L為拼接線長度；Ec為灰度值之差；Eg為結(jié)構(gòu)值之差，

Ec(xk,yk)=|I1(xk,yk)-I2(xk,yk)|

(11)

(12)

gj(x,y)=(I1(x,y)-I2(x,y))×Sj，j∈[1,8]

(13)

其中：I(x,y)為坐標(x,y)的灰度值；g(x,y)為(x,y)的梯度值；Sj為8個方向的Sobel算子。

Emin=min(E1,E2,…,Ei)

(14)

能量值最小的Emin所代表的拼接線為最優(yōu)拼接線。

3 基于最優(yōu)矩陣的拼接算法

利用全局最優(yōu)單應性矩陣和全局最優(yōu)相似矩陣實現(xiàn)輸入圖像的框架對齊，保持源圖像的結(jié)構(gòu)，再利用最優(yōu)拼接縫搜索算法尋找能量最小拼接縫，解決光照不均、重要目標保護等問題，最后采用加權(quán)方式進行圖像融合。據(jù)此，提出了一種新的視差圖像的拼接算法，步驟如下：

1) 檢測輸入圖像I1和I2的SIFT特征點，利用特征點的分布情況和最小化配準誤差篩選出最佳全局單應性矩陣；

2) 使用帶有閾值εg的RANSAC移除異常值。然后，使用閾值εl查找具有最大數(shù)量內(nèi)點的單應性矩陣，每組匹配的內(nèi)點用于計算單個相似轉(zhuǎn)換，其中最小的旋轉(zhuǎn)角ti所對應的變換矩陣為最佳相似變換矩陣S;

5) 使用漸入漸出加權(quán)融合方法對圖像進行融合處理，獲得拼接圖像。

4 實驗與討論

本文以Matlab R2018a作為實驗平臺，使用APAP算法[9]數(shù)據(jù)集中的3組圖像，名稱和大小分別為：Rail Tracks：600×800×3，Temple：487×730×3，Buiding：662×1 000×3。將本文提出的算法與APAP算法、SPHP算法[10]進行實驗并對實驗結(jié)果進行分析(圖1)。

圖1 3組原始圖像

4.1 時間復雜度分析

表1列出了3種算法在示例圖像的消耗時間，首先APAP算法只對一張待拼接圖像進行變形，只進行細分網(wǎng)格計算局部單應性矩陣，不對非重區(qū)域進行調(diào)整，所以相比之下用時最少。SPHP算法不僅需要對待拼接圖像進行網(wǎng)格形變，計算局部單應性，還需處理非重疊區(qū)域的透視失真問題，所以用時比APAP算法長。本文算法的最佳單應矩陣的計算量不大，只需解決非重疊區(qū)域的透視失真問題，同時尋找最佳拼接縫，用時比APAP時間長，但少于SPHP。

表1 3種算法消耗時間 s

4.2 質(zhì)量效果分析

以Rail tracks的拼接結(jié)果為例，圖2(a)、圖2(b)、圖2(c)分別是APAP算法、SPHP算法和本文算法的拼接結(jié)果，3種算法對圖像完成較為準確的拼接，但在一些細節(jié)方面存在差異，如圖中紅色方框進行標注的3處位置：第一處塔吊在APAP出現(xiàn)明顯的錯位，而SPHP和本文的算法完成較好的對齊；第二處紋理較復雜的鐵路是待拼接圖像拼接難度最大的地方，需要算法對重疊區(qū)域的紋理進行分析，APAP和SPHP都存在誤對齊的現(xiàn)象，而本文的算法基本完成所有軌道的對齊；第三處的樹木在APAP算法中因為沒有使用最佳相似矩陣進行非重疊區(qū)域的單應性過渡，樹木出現(xiàn)嚴重的歪斜變形情況，而SPHP算法和本文算法在非重疊區(qū)域的場景進行了很好的保留，沒有出現(xiàn)嚴重的透視變形問題。

圖2 圖像組Rail tracks 3種方法的拼接結(jié)果

圖像組Temple與圖像組Building利用文中提到的3種方法分別進行拼接實驗，拼接結(jié)果在圖3與圖4進行展示，圖中利用紅色方框進行標注存在明顯錯位或者重影的地方，本文在標記處的拼接效果均優(yōu)于其他兩種算法，證明本文算法的有效性。

圖3 圖像組Temple 3種方法的拼接結(jié)果

圖4 圖像組Building 3種方法的拼接結(jié)果

為了對3種方法的拼接結(jié)果進行客觀質(zhì)量評價，本文引進了NIQE算法[11]對結(jié)果圖進行評價，NIQE算法是一種無參考通用的失真圖像質(zhì)量評價算法，可針對圖像在融合過程中出現(xiàn)的圖像失真情況進行有效評價，NIQE得分越小，代表圖像質(zhì)量越好。表2顯示了3種算法在圖像組中的得分。

表2 3種算法NIQE得分

5 結(jié)論

基于最優(yōu)單應性矩陣的視差圖像的拼接算法，結(jié)合全局最優(yōu)單應性矩陣與全局最優(yōu)相似矩陣對圖像進行變形，可以保證圖像結(jié)構(gòu)的穩(wěn)定以及解決非重疊區(qū)域的透視失真問題，最優(yōu)拼接縫尋找算法可以保護重疊區(qū)域目標的形狀，確保重要目標的保留，同時減少重疊區(qū)域的鬼影、誤對齊。與APAP、SPHP拼接算法進行對比實驗，本算法拼接效果優(yōu)于二者，但在紋理不明顯、視差較大的場景圖像下，也出現(xiàn)誤配準、錯位等現(xiàn)象，需要后續(xù)不斷優(yōu)化、改進。