基于多分辨率融合的無人機圖像拼接勻色研究

王曉麗，戴華陽，余 濤，謝東海，吳 俁

(1.中國礦業(yè)大學(xué)(北京)地球科學(xué)與測繪工程學(xué)院，北京100083;2.中國科學(xué)院遙感應(yīng)用研究所遙感定標與真實性檢驗研究室，北京100101)

一、引 言

無人機遙感作為一種新的遙感技術(shù)，具有時效性強、機動靈活等優(yōu)點，在災(zāi)害監(jiān)測和資源調(diào)查等領(lǐng)域發(fā)揮著越來越重要的作用。受飛機飛行高度和數(shù)碼相機焦距的限制，無人機圖像具有像幅小、數(shù)量多、航帶多等特點，為了得到拍攝地區(qū)的全景圖，圖像拼接成為必不可少的一步。

圖像拼接是指將相鄰的具有一定重疊區(qū)域的兩幅或多幅圖像拼接成一幅大圖像的技術(shù)過程。無人機圖像的拼接過程包括圖像預(yù)處理、圖像配準、圖像融合三大步驟［1］。其中，圖像預(yù)處理主要是指對圖像進行幾何糾正，將它們劃到統(tǒng)一坐標系下;圖像配準的目的是建立兩幅圖像之間的空間坐標關(guān)系。而在圖像拼接的過程中，往往存在以下兩大問題需要解決：

1)曝光差異產(chǎn)生的拼接線［2］。在圖像的實際采集過程中，受相機鏡頭的曝光時間及地面環(huán)境的變化等因素的影響，極易造成拍攝圖像在亮度和色彩上存在差異，將這樣的兩幅圖像簡單的配準疊放到一起，必然會在邊界處留下明顯的拼接線，拼接后的圖像也呈現(xiàn)出明顯的色彩不一，如圖1所示。

2)鬼影［3］。重疊區(qū)圖像出現(xiàn)重影物體的現(xiàn)象通常稱之為鬼影，鬼影現(xiàn)象的產(chǎn)生有兩個原因：一是合成鬼影，當圖像中存有運動物體時，這些物體因為位移而無法統(tǒng)一合成;二是配準誤差，飛機在空中進行拍攝時運動不在一個平面上，拍得的圖像之間既存在平移又存在一定的旋轉(zhuǎn)，很難達到精確配準，重疊區(qū)圖像易產(chǎn)生錯位。圖2為采用均值融合得到的拼接圖像，重疊區(qū)域由于出現(xiàn)重影而變得模糊。

圖1 配準疊放圖(未經(jīng)融合)

圖2 均值融合圖

圖像融合是解決曝光差異和消除拼接線的關(guān)鍵技術(shù)。特征融合方法有平均值融合和加權(quán)平均值融合，這兩種方法雖然簡單，但是拼接線的消除效果并不理想。文獻［4］利用小波變換將圖像轉(zhuǎn)換到頻率域，并在各個頻域分段上完成拼接，以達到消除拼接線的目的;該算法理論上雖然嚴密，但是在處理彩色圖像以及重疊區(qū)域較小的圖像時存有一定的局限性。Perez等人在2003年提出了泊松圖像融合算法［5］，該方法借助一個指導(dǎo)場，通過求解泊松方程得到待融合的未知區(qū)域的梯度場來實現(xiàn)穩(wěn)定的融合，在消除拼接線問題上取得了一定效果。Burt和Adelson提出的多分辨率融合算法［6］是處理曝光差異問題的經(jīng)典算法，該算法可以實現(xiàn)拼接圖像在重疊區(qū)的平滑過渡，使其達到整體的勻色效果。

解決鬼影問題的主要方法是基于圖切割的方法。按照切割方式不同，分為3類：頂點覆蓋法［3］、流行拼接法［7］、最佳縫合線法［8］。前兩種方法在解決合成鬼影問題上可以取得明顯效果，但是計算復(fù)雜，其中流行拼接法還對運動物體的大小和運動幅度有限制;最佳縫合線法是將重疊區(qū)一分為二，兩邊各取一幅圖像的內(nèi)容，這樣便有效地避免了合成鬼影和配準鬼影。為了同時解決鬼影和曝光差異問題，文獻［9］將圖切割和泊松融合技術(shù)結(jié)合應(yīng)用到普通數(shù)碼照片的拼接，取得了較好效果。文獻［1］采用最佳縫合線法解決了無人機圖像拼接中的鬼影問題，但卻沒有解決曝光差異產(chǎn)生的勻色問題。

綜合現(xiàn)有文獻，本文在前人工作的基礎(chǔ)上，將最佳縫合線和多分辨率融合技術(shù)聯(lián)合應(yīng)用到無人機圖像的拼接，以待同時解決拼接產(chǎn)生的鬼影和曝光差異問題，使拼接后圖像達到理想的勻色效果。圖像拼接的前期處理和配準技術(shù)，本文不再作過多介紹，具體方法可參見文獻［1］，下面就基于最佳縫合線的多分辨率融合技術(shù)作重點闡述。

二、最佳縫合線

1.最佳縫合線搜索準則

最佳縫合線將重疊區(qū)分割成兩部分，兩邊各取一幅圖像的內(nèi)容，合理的縫合線分割可以有效地解決鬼影問題。最佳縫合線上點的配準精度在重疊區(qū)內(nèi)是最高的，因此，組成這樣一條最佳縫合線上的像素點應(yīng)該滿足：

1)顏色上，兩幅原圖像的顏色差值最小。

2)結(jié)構(gòu)上，兩幅原圖像的幾何結(jié)構(gòu)最相似。

然而，在實際的圖像拼接中，同時滿足上面兩個條件的縫合線是很難找到的，因此需要找到一條能較好滿足這兩個條件的縫合線。文獻［10］通過對圖像的分析和試驗，推出了能夠有效表達這兩個條件的最佳縫合線的建立準則

式中，Ecolor表示兩幅原圖像重疊區(qū)內(nèi)像素點的顏色差;Egeometry表示重疊區(qū)內(nèi)像素點的幾何結(jié)構(gòu)差，通過Sobel算子進行梯度計算實現(xiàn)。Sobel算子模板要考慮到以像素點為中心的4個對角線方向的邊緣像素點的相關(guān)性，由此確定計算x和y方向的梯度的新的算子模板

計算兩幅原圖像A、B在重疊區(qū)域的幾何結(jié)構(gòu)差

式中，Diff()是通過計算原圖像A和B在x、y方向梯度之差的積得到的。

2.搜索最佳縫合線

最佳縫合線的搜索方法有復(fù)雜度很高的Dijkstra算法［8］、最優(yōu)路徑搜索法。文獻［11］利用動態(tài)規(guī)劃思想尋找最佳縫合線，該方法相對簡單有效。因此，本文利用動態(tài)規(guī)劃思想在重疊區(qū)搜索最佳縫合線。

按照最佳縫合線搜索準則，對兩幅原圖像的重疊部分運用動態(tài)規(guī)劃思想搜索最佳縫合線，具體步驟如下：

1)初始化。從重疊區(qū)域第一行出發(fā)，建立該行上每一個像素點為起點的縫合線，其強度值初始化為各個點的準則值，縫合線的當前點為其所在的列。

2)擴展。將每一條縫合線的當前點分別與該點緊鄰的下一行的3個點的準則值相加，比較和值大小，取最小的值所在的列作為該縫合線的擴展方向，同時更新縫合線的強度值為最小值，縫合線的當前點變?yōu)樽钚姸戎档南乱恍械狞c所對應(yīng)的列。依此類推向下擴展直至最后一行。

3)選取最佳縫合線。從所有的縫合線中選取強度值最小的作為最佳縫合線。

三、多分辨率融合

多分辨率融合算法是一種基于塔式結(jié)構(gòu)的顏色融合算法，該算法最早由Burt和Adelson于1983年提出，并首先被應(yīng)用到兩幅圖像拼接的平滑處理中，取得了顯著效果。其原理是：若兩幅圖像的帶寬為一個倍頻程，那么這兩幅圖像在拼接時的縫合線兩邊就能實現(xiàn)平滑過渡，而不會出現(xiàn)鬼影和曝光差異。將待拼接的原圖像先分別分解成一系列帶寬近似為一個倍頻程的圖像(稱為拉普拉斯圖像);然后將對應(yīng)的每一層的拉普拉斯圖像進行融合拼接;最后將所有層的融合圖像相加重構(gòu)成一層，便可得到經(jīng)過多分辨率融合的拼接圖像。

1.構(gòu)造拉普拉斯金字塔圖像

拉普拉斯金字塔圖像的構(gòu)造過程包括以下幾步。

(1)圖像的高斯塔分解

對原圖像采用高斯濾波器進行低通濾波和降采樣，得到一系列分辨率和尺寸都逐級變小的高斯金字塔圖像。將原始圖像作為高斯金字塔的第0層(底層)，高斯塔其余層的生成，按照公式

式中，0＜l≤N，Gl(i，j)為第l層高斯金字塔圖像;N為分解層數(shù);i、j為圖像的行列數(shù);w是一個5×5具有低通特性的窗口函數(shù)，也叫權(quán)函數(shù)或生成核，具體大小為

(2)由高斯塔生成拉普拉斯塔

從高斯塔的第1層開始，將Gl(i，j)進行插值放大，得到與Gl－1(i，j)在尺寸上一樣大小的插值圖像G'l(i，j)，所采用的插值函數(shù)為

雖然G'l與Gl－1尺寸一樣大小，但是二者并不相等，的像素值是由Gl的像素值經(jīng)過加權(quán)平均得到的，Gl又是由Gl－1低通濾波得到的，所以G'l包含的細節(jié)信息要少于Gl－1，二者之間是有差別的。將Gl－1與G'l作差便得到了拉普拉斯金字塔的第Ll－1層圖像，即

(3)由拉普拉斯圖像重建原圖像

從拉普拉斯金字塔最頂層開始自上至下，將拉普拉斯圖像內(nèi)插放大到與下一層圖像一樣大小，然后累計相加便可重構(gòu)原圖像。

2.基于縫合線的多分辨率融合

在求得最佳縫合線之后，進行多分辨率融合拼接，步驟如下：

1)以拼接后圖像的大小為尺寸，生成一幅模板圖像M，將縫合線左側(cè)填充0，右側(cè)填充255，形成一幅黑白模板圖像。

2)將經(jīng)過配準和幾何模型變換后的圖像A、B擴展到拼接后圖像的大小，擴展部分填充0。

3)生成模板R的高斯圖像GR，以及經(jīng)擴展的A、B的拉普拉斯圖像LA、LB，層數(shù)相同。

4)在每一層上分別進行融合，求得融合后的拉普拉斯圖像Lfusion，像素值計算公式為

式中，l代表第幾層;(i，j)代表像素點坐標。

5)對于融合后的拉普拉斯圖像Lfusion，從最高層開始插值擴展，并與其下一層圖像相加，重復(fù)此過程直至與最后一層圖像相加完為止，就得到了最終需要的基于最佳縫合線的多分辨率融合圖像。

四、試 驗

本文采用大小為702像素×468像素的航拍無人機源圖像進行拼接試驗，基于C或C++語言，調(diào)用OpenCV和GDAL函數(shù)庫進行算法編程實現(xiàn)。

(1)兩幅無人機圖像拼接試驗

圖1～圖4所示為原圖像各種拼接結(jié)果，分別是配準疊放圖、均值融合圖、最佳縫合線切割圖、基于最佳縫合線的多分辨率融合圖。

圖3 最佳縫合線切割圖

圖4 基于縫合線的多分辨率融合圖

圖1顯示的是源圖像在經(jīng)過幾何糾正及圖像匹配后，根據(jù)幾何變換模型配準疊放到一起的效果。由于沒有進行融合處理?？梢钥吹矫黠@的拼接邊界，在邊界線附近還存在著由配準誤差產(chǎn)生的物體錯位，拼接圖也因曝光差異呈現(xiàn)出兩種顏色的色彩不均勻現(xiàn)象，影響拼接圖像的目視效果。

圖2在圖1配準的基礎(chǔ)上加入了簡單的均值融合處理。可以看到均值融合圖像的曝光差異較以前得到了一定改善，但是均值融合卻使重疊區(qū)域的圖像變模糊了，出現(xiàn)了疊影，圖中白框標示的道路等特征地物重影現(xiàn)象尤為明顯。雖然均值融合可以在一定程度上改善曝光差異，但卻暴露了潛在的鬼影問題。

圖3顯示的是利用動態(tài)規(guī)劃思想搜索到的一條最佳縫合線分割重疊區(qū)的拼接圖。從分割圖可以看到，縫合線基本上位于重疊區(qū)的中心線附近，而且較好地避開了易出現(xiàn)配準誤差的特征地物。由于縫合線兩邊各取一幅圖像的內(nèi)容，鬼影問題得到了有效解決，但是縫合線兩側(cè)圖像的色彩差異仍舊存在，縫合線清晰可見。

圖4為本文提出將縫合線、多分辨率融合技術(shù)聯(lián)合應(yīng)用到無人機圖像拼接的效果圖?？p合線解決了鬼影問題，多分辨率融合消除了縫合線兩側(cè)圖像的曝光差異，圖像拼接遇到的兩大難題都得到了理想解決。拼接圖像在顏色和內(nèi)容上和諧統(tǒng)一，達到了最佳的目視效果，已看不出是經(jīng)過圖像拼接的結(jié)果。

(2)多幅無人機圖像拼接試驗

圖5給了基于最佳縫合線的多分辨率融合技術(shù)用于多張無人機圖像拼接的前后對比圖。融合前的拼接圖呈現(xiàn)補丁狀的拼湊效果，邊界配準誤差和各圖幅顏色差異明顯;融合后的拼接圖像各種配準誤差、顏色差異得到理想消除，整個圖像渾然一體，拼接勻色效果顯著。

圖5 基于最佳縫合線的多分辨率融合技術(shù)用于多幅無人機圖像拼接

五、結(jié)束語

無人機圖像在拼接時的鬼影和曝光差異問題在現(xiàn)有文獻中還沒有得到同時的有效解決，本文在前人現(xiàn)有工作的基礎(chǔ)上，將最佳縫合線和多分辨率融合技術(shù)聯(lián)合應(yīng)用，對兩幅和多幅無人機圖像進行了拼接試驗。結(jié)果證實，該方法同時有效地解決了鬼影和曝光差異兩大難題，拼接圖像勻色顯著，達到了理想的視覺效果，提高了無人機拼接圖像的實用性。此外，試驗結(jié)果對其他遙感圖像的拼接勻色(如HJ星等衛(wèi)星影像)也起到了一定的參考價值。

［1］韓文超.基于POS系統(tǒng)的無人機遙感圖像拼接技術(shù)研究與實現(xiàn)［D］.南京：南京大學(xué)，2011.

［2］SHUM H Y，SZELISKI R.Construction and Refinement of Panoramic Mosaics with Global and Local Alignment［C］∥Proceedings of 6th International Conference on Computer Vision.Bombay， India：［s.n.］， 1998：953-958.

［3］UYTTENDAELE M.Eliminating Ghosting and Exposure Artifacts in Image Mosaics［C］∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Hawaii：［s.n.］，2001：509-516.

［4］王建忠.圖像鑲嵌及其邊界處理［J］.模式識別與人工智能，1993，6(3)：189-195.

［5］PEREZ P，GANGNET M，Blake A.Poisson Image Editing［J］.ACM Transactions on Graphics，2003，22(3) ：313-318.

［6］BURT P J，ADELSON E H.A Multiresolution Spline with Application to Image Mosaics［J］.ACM Transactions on Graphics，1983，2(4)：217-236.

［7］PELEG S.Mosaicing on Adaptive Manifolds［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(10)：1144-1154.

［8］DAVI J.Mosaics of Scenes with Moving Objects［C］∥Proceedings of 1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Santa Barbara，USA：［s.n.］，1998：354-360.

［9］方賢勇，張明敏，潘志庚.基于圖切割的圖像拼接技術(shù)研究［J］.中國圖象圖形學(xué)報，2007，12(12)：2050-2056.

［10］方賢勇，潘志庚，徐丹.改進的圖像拼接算法［J］.計算機輔助設(shè)計與圖形學(xué)學(xué)報，2003，15(11)：1362-1366.

［11］DUPLAQUET M L.Building Large Image Mosaics with Invisible Seam-lines［C］∥ Proceedings of SPIE Aerosense.Orlando，F(xiàn)lorida：［s.n.］，1998：369-377.