紅外圖像序列拼接算法改進研究

廖小軍

摘 要：圖像拼接技術(shù)是提高紅外熱像儀的圖像覆蓋范圍并獲得高分辨率全景圖像的有效手段。為解決動態(tài)拼接過程中的錯位和灰度跳變問題，研究并改進了基于最優(yōu)拼接線的拼接算法。使用無人機搭載試飛圖像序列進行了仿真分析，驗證了改進算法的有效性。

關(guān)鍵詞：圖像拼接；紅外；最優(yōu)拼接線；圖像序列

中圖分類號：TP391 文獻標識碼：A 文章編號：1671-2064（2018）09-0026-03

1 引言

隨著高分辨率紅外成像技術(shù)的發(fā)展，圖像遙感遙測技術(shù)已逐步拓展到了紅外波段，在地理測繪、資源勘察、防災(zāi)減災(zāi)、區(qū)域救援等領(lǐng)域發(fā)揮了重要的作用。單個紅外熱像儀的圖像覆蓋范圍有限，還不能滿足廣域地理信息遙感的應(yīng)用需要。圖像拼接技術(shù)是解決這一問題的低成本和有效的途徑。

圖像拼接技術(shù)使用有重疊區(qū)域的多幀圖像或連續(xù)圖像序列進行配準和融合以生成大區(qū)域、高分辨率的全景圖像。在使用無人機、運輸機或衛(wèi)星搭載紅外熱像儀進行遙測作業(yè)時，搭載平臺按照規(guī)劃航跡進行連續(xù)飛行，對拍攝的圖像序列進行機上在線或事后處理，就可以生成感興趣區(qū)域的詳細的全景圖像，作業(yè)效費比較高，可快速反映作業(yè)區(qū)域的實際情況。但受限于不同拍攝時間地物紅外輻射的波動、熱像儀姿態(tài)的擾動和拍攝視角的變化等因素，拼接圖像往往存在錯位和灰度跳變等缺陷，造成地理特征的失真和圖像灰度的不均勻性。

為解決上述問題，提高圖像拼接過程對復(fù)雜作業(yè)環(huán)境的穩(wěn)健性，本文研究了基于最優(yōu)拼接線的圖像拼接算法，并對主要步驟提出了改進措施。

2 算法及改進

圖像拼接過程主要包括圖像配準、灰度調(diào)整、拼接線檢測和圖像混合四個步驟。

2.1 圖像配準

雖然搭載紅外熱像儀的飛行平臺安裝了慣性測量單元（IMU），可提供較高精度和實時性的姿態(tài)和GPS位置數(shù)據(jù)，但其精度仍不滿足圖像拼接的要求。為找出連續(xù)兩幀圖像的同名像素對，即同一地物點在兩幀圖像中的對應(yīng)像素，以IMU姿態(tài)數(shù)據(jù)作為起始，使用圖像配準算法進行配準，以達到像素級精度。

配準原理如圖1，主要流程如圖2。主要包括初始重疊區(qū)域計算、特征點檢測和描述、特征點配對、幾何變換矩陣估值和剔除外點（outlier）、后一幀向前一幀圖像變換對準以確定精確的重疊區(qū)域。

由于紅外圖像的細節(jié)信息不如可見光圖像豐富，常規(guī)的SIFT特征檢測法在較平坦區(qū)域往往得不到充分數(shù)量的特征點。Harris算子在相對均勻的區(qū)域也能獲得較多的特征點。為提高特征點配對的穩(wěn)健性，并為變換矩陣估值提供足夠和可靠的配對，使用Harris和SIFT兩類特征進行檢測、描述和配對。

為適應(yīng)飛行平臺復(fù)雜的航路狀況，在幾何變換矩陣估值時，并行計算相似度（similarity）、仿射（affine）和透視（projective）三種模型下的變換矩陣，并使用內(nèi)點（inlier）數(shù)量最多的變換矩陣。

2.2 灰度調(diào)整

灰度調(diào)整是使多幀圖像拼接后的圖像亮度均勻自然的重要環(huán)節(jié)，其方法主要有兩類：全局調(diào)整法和局部調(diào)整法。全局調(diào)整法包括最小方差匹配法（least squares matching，LSM）、圖像熵法（image entropy）、矩匹配法（moment matching，MM）和直方圖匹配法（histogram matching）等。由于使用重疊區(qū)域進行整體調(diào)整而未考慮局部特征，拼接后的圖像整體上出現(xiàn)了明暗不均勻。在局部調(diào)整法中，局部矩匹配法（local moment matching， LMM），使用兩幀圖像重疊區(qū)域?qū)?yīng)的局部鄰域計算一階和二階矩，進而計算兩個局部鄰域的灰度變換關(guān)系，進行灰度映射。在重疊區(qū)域內(nèi)沿行或列方向移動鄰域，計算變換關(guān)系并應(yīng)用到待校正圖像的全列或全行，以實現(xiàn)全部圖像的灰度調(diào)整。局部矩匹配法的原理如圖3所示。其中示出了沿行方向調(diào)整的過程；沿列方向調(diào)整方法類似。在重疊區(qū)域內(nèi)定義鄰域A和B，占滿重疊區(qū)域全寬，行方向A和B完全重合；定義鄰域C，占滿當前圖像全寬，行方向上位于鄰域B的中心，高度僅一行。分別計算鄰域A和B各自的均值mA、mB和標準差σA、σB，從而計算當前圖像在鄰域-C的調(diào)整增益GC和偏置PC，即灰度調(diào)整值：

FC=GCFC+PC GC= PC=mA-mBGC

每行計算一次，三個鄰域整體平移一行，直至完成重疊區(qū)域的所有行。

2.3 拼接線檢測

拼接線檢測是實現(xiàn)圖像拼接的關(guān)鍵，其目的是在圖像重疊區(qū)域找出最優(yōu)的拼接線，使得在該線上待拼接的兩幀圖像的相似度最高。拼接線應(yīng)當沿場景的均勻區(qū)域或地物的邊緣，而不能跨過地物特征而造成拼接后圖像的錯位。

最優(yōu)拼接線的要求是：兩圖像的像素灰度差值最小，沿拼接線的幾何差異最小。如圖4，拼接線-A起止于重疊區(qū)域的角點，通過的區(qū)域比較平坦，沒有兩幀圖像灰度差異較大或幾何特征較多的區(qū)域；拼接線-B起止于重疊區(qū)域上下兩個邊界，穿過了建筑物，會使得拼接后起止位置和建筑物錯位。顯然，A優(yōu)于B。

本文使用改進的自動分塊動態(tài)規(guī)劃（APDP）算法。最優(yōu)拼接線包含三個部分：由兩個角點開始的搜索路徑和兩個角點分處兩側(cè)的中間搜索路徑。為每一條拼接線建立一個代價函數(shù)（cost function），路程最長且平均代價函數(shù)最低的拼接線為最優(yōu)拼接線。代價函數(shù)定義為：

在上式中，Ndmk為待選像素所在鄰域的灰度差，Ngmk為當前像素與待選像素間的灰度梯度最小值，Nemk為待選像素所在鄰域的幾何結(jié)構(gòu)差。在搜索過程中，一旦搜索路徑跨過幾何結(jié)構(gòu)和灰度差異的邊緣線，Ndmk+Ngmk+Nemk將突然變大，從而約束搜索，使得幾何結(jié)構(gòu)和灰度差異均達到了最小。

在五方向搜索過程中，當搜索至地物形成的角落時，將強制終止或直接跨過地物，在一些情況下會造成拼接后圖像的灰度跳變和錯位。本文改進為八方向搜索，如圖5。搜索的策略也進行調(diào)整，如圖6。首先自重疊區(qū)域兩個邊角開始相向搜索，至搜索路徑自相交或到達對方已搜索路徑時終止。若未到達對方已檢測路徑，自一條已檢測路徑向另一條搜索，到達重疊區(qū)域邊緣時沿邊緣搜索，直至到達另一條已檢測路徑。若產(chǎn)生自相交，換一個起始點重復(fù)搜索。

2.4 圖像混合

圖像混合使用兩幀圖像重疊區(qū)域生成拼接后圖像的對應(yīng)區(qū)域，使得跨過拼接線的圖像平滑過渡。其算法包括直接校正法（hard correction）、加權(quán)層疊法（weighted stacking on overlapped areas）和小波變換法（wavelet transform）、余弦距離加權(quán)混合法（cosine distance weighted blending）。這些辦法均使用距離作為混合權(quán)重的依據(jù)，存在拼接區(qū)域灰度不均勻的問題。

為消除殘余的圖像灰度不均勻，我們使用局部均值方差計算灰度變換，再按余弦距離加權(quán)混合，從而大大降低圖像灰度的不均勻性。變換關(guān)系為：

=AijFij+Bij Aij= Bij=mmn-mijAij

其中，mij、σij和mmn、σmn分別為當前和前幀圖像像素鄰域的均值和標準差，和分別為當前圖像灰度值和變換值。變換過程如圖7。

3 試飛圖像仿真與討論

為驗證改進算法的有效性，使用試飛紅外圖像序列進行了仿真。拼接后的全景圖像如圖8-10。由圖可見，采用改進后算法進行連續(xù)拼接時，地物變化連續(xù)，人眼觀察不到幾何錯位和灰度跳變，拼接的位置精度較高，證明本文對算法的改進是有效的。

在圖8中，由于紅外熱像儀殘余的視場邊緣照度不均勻，使得拼接后圖像的非重疊區(qū)域仍然存在灰度不均勻性。在圖9中，拼接后圖像的灰度不均勻更明顯，特別是殘余的最優(yōu)拼接線鬼影較大。這在更大范圍的圖10中更為明顯。

經(jīng)排查算法程序和熱像儀，認為殘余的灰度非均勻主要是熱像儀處理程序造成的。熱像儀將各幀圖像的灰度全范圍獨立地和線性地映射到0-255灰度級，由于原始圖像中存在閃爍性壞點，造成映射增益和偏置的波動較大，使得閃爍點的幀間灰度波動直接轉(zhuǎn)換為全幀的灰度波動。但這并不影響對本文算法的驗證。

4 結(jié)語

本文對基于最優(yōu)拼接線的紅外圖像序列拼接算法進行了研究，主要的改進包括：（1）使用多類型特征進行檢測和描述；這使均勻區(qū)域的特征點檢測精度更高，數(shù)量更多。（2）在幾何變換矩陣估值時，并行計算相似度、仿射和透視三種模型下的變換矩陣，并使用內(nèi)點數(shù)量最多的變換矩陣；這使圖像配準過程抑制飛行平臺姿態(tài)擾動的穩(wěn)健性更高。（3）在搜索最優(yōu)拼接線時，使用八方向搜索，同時由起始于重疊區(qū)域邊角的兩條最優(yōu)路徑相互向?qū)Ψ竭M行搜索，形成三段合一的最優(yōu)拼接線；這提高了搜索時獲得更優(yōu)路線的靈活度，進一步避免了錯位的發(fā)生。（4）在進行圖像混合時，先基于重疊區(qū)域?qū)?yīng)像素鄰域的局部均值和方差進行灰度變換，再進行余弦距離加權(quán)混合；這進一步降低了混合過程中最優(yōu)拼接線附近的灰度不均勻。使用外場試飛紅外圖像序列的仿真分析表明，改進后的算法很好地解決了幾何錯位和灰度跳變問題，拼接位置精度較高，地物連續(xù)性較好。

由于紅外熱像儀輸出的原始圖像序列存在幅度較大的幀間整體灰度波動，造成拼接后的全景圖像仍有殘余的灰度不均勻，影響了全景圖像的質(zhì)量。這將在后續(xù)的研究中進行改進，并開展更充分的仿真和外場試飛試驗。

參考文獻

[1]徐亞明，刑誠，陳曉東.一種基于拼接線的無人機序列影像拼接方法[J].武漢大學學報·信息科學版，2011，36（11）：1265-1269.

[2]宋耀鑫，張丹丹，唐伶俐，等.基于ASIFT算法的低重疊度無人機影像拼接方法[J].遙感技術(shù)與應(yīng)用2015，30（4）：725-730.

[3]Xinghua Li， Nian Hui， Huanfeng Shen， Yunjie Fu， Liangpei Zhang. A robust mosaicking procedure for high spatial resolution remote sensing images[J].ISPRS Journal of Photogrammetry and Remote Sensing，2015，109：108-125.

[4]Harris， C.， and M. Stephens. A Combined Corner and Edge Detector [A]. Proceedings of the 4th Alvey Vision Conference [C].1988：147-151.

[5]Lowe， David G. Object recognition from local scale-invariant features [A]. Proceedings of the International Conference on Computer Vision [C].1999，2：1150-1157.