針對無人機(jī)圖像特殊性的圖像融合技術(shù)

陳俊豪，石洪滔，汪琪，王茜

（電子科技大學(xué)，四川成都，611731）

如今，無人機(jī)航拍的應(yīng)用范圍日益廣泛。無人機(jī)飛行高度低、體積小重量輕，抗風(fēng)能力差，由于天氣等不確定因素，航拍圖像往往需要圖像處理，圖像拼接是關(guān)鍵技術(shù)之一。不同于普通的圖像拼接，無人機(jī)圖像拍攝范圍廣、含括信息復(fù)雜，圖像本身具有幾何畸變和輻射畸變，進(jìn)一步導(dǎo)致圖像間常有角度差異和色彩差異。圖像拼接的常規(guī)步驟包括：圖像預(yù)處理、特征點提取、變換矩陣求解、圖像融合、拼接質(zhì)量評價。

圖像預(yù)處理的主要目的是圖像增強(qiáng)，提高圖像對比度、清晰度，突出有用信息[1]，從而提升后續(xù)圖像配準(zhǔn)準(zhǔn)確度。直方圖均衡化和規(guī)定化是圖像預(yù)處理的主要技術(shù)，實際應(yīng)用中，可以采用單一方法處理或多種方法聯(lián)合處理達(dá)到預(yù)期效果[2]。在特征點提取方面，現(xiàn)有很多經(jīng)典算法：1988年的Harris角點檢測算法，Harris角點具有平移不變，旋轉(zhuǎn)不變等優(yōu)點[3]。2004年，Lowe提出的尺度不變特征轉(zhuǎn)換算法（Scale-Invariant Feature Transform或SIFT），具有穩(wěn)定性好、精度高、魯棒性強(qiáng)等特點[4]。針對SIFT算法計算量大、耗時較長的不足，2006年Bay等提出加速穩(wěn)健特征（Speeded Up Robust Features或SURF），通過Hessian矩陣和降維的特征描述子提高了圖像配準(zhǔn)的效率[5]。就變換矩陣而言，最基本的是仿射變換和透視變換，前者為二維坐標(biāo)內(nèi)的平面變換，后者為從二維映射到三維后回到二維的的空間變換。它們不僅能夠用于重合度較低的圖像之間的配準(zhǔn)，還能夠用于運(yùn)動場景圖像以及含有遮蓋物體圖像之間的配準(zhǔn)[6]。在無人機(jī)圖像處理中，由于幾何畸變的存在，常規(guī)的仿射變換有時不能滿足拼接要求，故透視變換發(fā)揮著重要作用。根據(jù)信息處理的復(fù)雜程度由低到高將圖像融合分為三類，基于像素層面的融合，基于特征層面的融合和基于決策層面的融合[7]。常用的像素融合分為以加權(quán)平均法為代表的基于空間域的融合和以金字塔融合法為代表的基于變換域的融合。最后，圖像拼接質(zhì)量評價含主觀評價和客觀評價?？陀^評價借助特定數(shù)學(xué)模型量化拼接效果，分為三大類：第一類基于融合圖像統(tǒng)計特征，包括信息熵、空間頻率等；第二類基于融合圖像與理想?yún)⒖紙D像，包括均方根誤差、峰值信噪比等；第三類基于源圖像與融合圖像，包括與互信息有關(guān)、與結(jié)構(gòu)相似性有關(guān)的評價指標(biāo)等[8]。

本文梳理了圖像拼接關(guān)鍵技術(shù)，用無人機(jī)實攝圖像完成了完整的圖像拼接，取得了穩(wěn)定的拼接效果。本研究基于MATLAB 2019b軟件：運(yùn)用含直方圖規(guī)定化、直方圖均衡化在內(nèi)的直方圖修正法進(jìn)行圖像預(yù)處理；使用SURF算法進(jìn)行特征點提??；通過仿射和透視兩種變換矩陣進(jìn)行圖像配準(zhǔn)；主要以改良后的加權(quán)平均算法實現(xiàn)圖像融合；使用均方根誤差（MSE）、峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）衡量圖像拼接質(zhì)量；并以控制變量法測試了圖像預(yù)處理和變換矩陣的選擇對于實驗效果的影響，體現(xiàn)所用算法的優(yōu)越性和必要性。

1 圖像矯正與透視變換技術(shù)

■1.1 圖像預(yù)處理

無人機(jī)在低空飛行時，連續(xù)拍攝的圖像時間間隔短，拍攝的圖像之間色差和角度差異不會過大。直方圖修正法是遙感圖像預(yù)處理的常用手段，其分為直方圖規(guī)定化和直方圖均衡化。直方圖規(guī)定化用于進(jìn)行輻射校正，消除圖像間色差。地表物體接受太陽照射后反射的光譜輻射信號為傳感器所接受時，因干擾發(fā)生畸變和失真，表現(xiàn)為圖像模糊，空間分辨率下降等。針對此類輻射畸變的誤差校正稱之為輻射校正[9]。不同于常見的基于灰度圖的直方圖規(guī)定化，實驗中采用了RGB多通道的直方圖規(guī)定化。將處理完畢的圖像轉(zhuǎn)換為灰度圖，直方圖均衡化用于增強(qiáng)圖像對比度，提升后續(xù)特征點提取的準(zhǔn)確度，從而提升圖像融合的匹配度。

1.1.1 多通道直方圖規(guī)定化

實現(xiàn)兩幅圖像拼接時，指定接近真實情況的圖片為匹配圖像，另一待拼接圖像為原圖像。直方圖規(guī)定化以匹配圖像的灰度直方圖為模板修正原圖像的灰度直方圖，得到匹配之后圖像。實驗中發(fā)現(xiàn)，RGB多通道直方圖規(guī)定化在色彩復(fù)雜、原圖像和匹配圖像間有色差的情況下效果較好，達(dá)到了輻射校正的目的。

1.1.2 直方圖均衡化

灰度分布過于集中將導(dǎo)致圖像不清晰，直方圖均衡化對在圖像中像素個數(shù)多的灰度值在灰度值范圍上進(jìn)行加寬，對像素個數(shù)少的灰度值在灰度值范圍上進(jìn)行縮減，使原始圖像的直方圖分布均勻，達(dá)到增強(qiáng)圖像對比度，減少圖內(nèi)亮度差異的目的。參考[10]中算法，設(shè)原始圖像灰度級為r，分布概率密度為P_r (r)；直方圖均衡化后圖像灰度級為s，分布概率密度為P_s (s)（0≤r≤1，0≤s≤1）。有變換函數(shù)T(r)滿足在區(qū)間[0,1]內(nèi)單調(diào)遞增且0≤T(r)≤1，則：

求導(dǎo)可得：

用頻數(shù)代替概率值，最終變換結(jié)果為：

其中k為圖像的灰度階，n為像素數(shù)量，nj為第j灰度階的像素個數(shù)，Pr(rj)為第j灰度階的概率密度。

■1.2 特征點提取

SURF算法[11]（Speeded Up Robust Features，加速穩(wěn)健特征算法）利用黑塞矩陣（Hessian Matrix）檢測局部特征，而對特征的描述則是利用了降維特征描述子。

對一個圖像f（x，y），在經(jīng)過高斯濾波后，其Hessian矩陣如下：

黑塞矩陣是一個多元函數(shù)的二階偏導(dǎo)構(gòu)成的方陣，可以描述局部曲率，當(dāng)黑塞矩陣的判別式取得局部極大值時，可以判定當(dāng)前點是此區(qū)域內(nèi)最亮或最暗的點，這一類點即為備選特征點。

■1.3 變換矩陣構(gòu)建

拼接的關(guān)鍵在于建立兩幅圖像之間的相對位置關(guān)系，采用3＊3的變換矩陣設(shè)置9個未知數(shù)，利用所提取到的有效特征點對可以利用最小二乘法實現(xiàn)對未知數(shù)的求解，自此成功建立兩幅圖像的位置關(guān)系。常見的變換矩陣有兩種：(1)非透視變換矩陣，(2)透視變換矩陣。本文將展示透視變換在圖像融合中的先進(jìn)性。

[u,v,w]為圖像的原坐標(biāo)，[x',y',w']為圖像變換后的坐標(biāo)，由于變換后會出現(xiàn)浮點數(shù)坐標(biāo)，可以采用插值法得到更加準(zhǔn)確的透視變換圖像。本文實驗中的非透視變換矩陣中，a33項為1。

得到變換矩陣后，利用雙線性內(nèi)插法可以得到變換后的圖像。雙線性內(nèi)插法下，每一個像素由其附近的四個點共同決定。設(shè)點P的坐標(biāo)為P(x, y)，其周圍參考點的坐標(biāo)為Q11(i， j)，Q12(i， j+1)，Q21（i+1，j），Q22 (i+1，j+1)。f(x，y)表示其對應(yīng)的顏色特征（r，g，b）。

根據(jù)圖像像素點的位置可得在x方向的權(quán)重參數(shù)α和y方向上的權(quán)重參數(shù)β：

首先將雙線性四點權(quán)重簡化為單線性，即找到p點所在y方向上的特征：

利用其在y方向的權(quán)重參數(shù)，可以求得P點的顏色信息：

此時，可以的得到經(jīng)過變換矩陣處理后的待融合圖像。

2 圖像融合技術(shù)

圖像拼接技術(shù)指的是將具有重疊部分的兩張以上的圖像拼成一幅大型的新的圖像的技術(shù)。圖像拼接技術(shù)包括兩個重要的部分，圖像配準(zhǔn)和圖像融合，圖像融合是在圖像配準(zhǔn)的基礎(chǔ)上完成的。本文采用三種不同的圖像融合方法（直接覆蓋融合、直接平均融合、加權(quán)平均融合）對透視矩陣和非透視矩陣效果進(jìn)行分析。

■2.1 建立幕布

2.1.1 確定幕布的大小

幕布的大小由兩張圖的大小和拼接相對位置決定的。

根據(jù)透視矩陣：

圖像的位置變換：

可以計算圖像四個頂點的位置[12]：

根據(jù)四個頂點和A圖的位置進(jìn)行比較，找到x軸和y軸上最大值和最小值，將x軸的最大值和最小值的差作為幕布的寬，將y軸的最大值和最小值的差作為幕布的高，如果出現(xiàn)小數(shù)則向上取整，最終確定了幕布的大小。

2.1.2 將兩張圖放到幕布上

建立的幕布設(shè)置為黑色，因為黑色在MATLAB中的像素值為0，這樣有利于直接將兩張圖的像素值賦給幕布。A圖的像素值可以直接賦給幕布的矩陣，同理，B圖已經(jīng)經(jīng)過了矩陣的變換，所以可以直接將B圖的像素值也賦給幕布的矩陣。這樣就建立了兩張待拼接圖像，在接下來的拼接方法中將用到這兩張圖像，如圖1所示。

圖1 圖片放到幕布上示意圖

■2.2 融合技術(shù)

將兩張待拼接圖像用不同的方法進(jìn)行拼接，核心是兩張待拼接圖像重合部分的像素值的計算。

2.2.1 直接覆蓋融合法

直接覆蓋融合法指的是將具有相同部分的兩張圖像進(jìn)行拼接，將相同的部分進(jìn)行覆蓋處理，這是最簡單的圖像融合方法。在實際的操作中，這項操作是在將兩張待拼接圖放到同一張幕布的過程中完成的，將一張圖像放定后，由待拼接圖像直接覆蓋在第一張圖的重合部分。實現(xiàn)的方法是將第二張圖與第一張圖重合部分的像素值直接取代第一張圖的重合部分。

2.2.2 加權(quán)平均融合法

加權(quán)融合的方法利用加權(quán)系數(shù)的漸變從而實現(xiàn)平滑融合的融合方法，其關(guān)鍵在于選擇圖像f1和f2對應(yīng)像素值相加時的權(quán)值1w和2w。

像素值的表示為：

w1和w2分別為圖像f1和f2對應(yīng)像素值相加時的權(quán)值，且w1+w2=1(w1,w2≤1)。采用漸入漸出法對權(quán)值進(jìn)行動態(tài)的選取，則1w和2w可以表示為[15]：

式中xmin為重疊區(qū)域的左邊界，xmax為重疊區(qū)域的右邊界。

根據(jù)算出的像素值，直接賦給黑色的幕布，將兩張圖剩余部分的像素值也賦給幕布。

2.2.3 直接平均融合法

直接平均融合是加權(quán)平均融合的特殊情況，在直接平均融合算法下，1w和2w等于0.5。

3 實驗結(jié)果與分析

■3.1 實驗環(huán)境

圖像采集采用DJI mini2無人機(jī)，實驗操作系統(tǒng)為Windows 10家庭中文版，編譯環(huán)境MATLAB 2019b，處理器Intel(R) Core(TM) i5-8250U CPU @ 1.60GHz 1.80 GHz。

我們在晴天、陰天、霧霾天等多種天氣狀況下進(jìn)行了數(shù)據(jù)采集，保證了本文拼接技術(shù)的普適性與有效性。

本文涉及的實驗流程如圖2所示。

圖2 實驗流程圖

■3.2 輻射矯正及特征點提取實驗

3.2.1 多通道直方圖規(guī)定化

因右側(cè)圖像更貼近肉眼所見，為優(yōu)化拼接效果，將左側(cè)圖像作為需要調(diào)整亮度的原圖像，右側(cè)圖像作為參照的匹配圖像。進(jìn)行多通道直方圖規(guī)定化的操作后，兩幅圖片的色差明顯減小。

圖3 RGB多通道直方圖規(guī)定化前后對比

3.2.2 直方圖均衡化

將所有待拼接圖像轉(zhuǎn)化為灰度圖，進(jìn)行直方圖均衡化，實現(xiàn)圖像對比度的增強(qiáng)。

3.2.3 特征點提取

本實驗使用SURF算法進(jìn)行特征點提取，圖中藍(lán)色空心圓為兩幅圖匹配上的特征點。在相同條件下，經(jīng)過直方圖均衡化的圖像進(jìn)行特征點提取時，特征點數(shù)量更多，分布更均勻。

圖4 直方圖均衡化前后對比

■3.3 圖像融合實驗

為了說明圖像融合的效果，除了直觀的人眼觀察外，客觀評價參數(shù)可以作為非常好的指標(biāo)來對拼接效果進(jìn)行量化對比。

(1)主觀評價

人眼觀察圖像拼接融合效果，評估拼接圖像是否對準(zhǔn)，過渡是否平滑自然，融合部分有無明顯拼接痕跡，整圖有無顯著色差及亮度差。

(2)客觀評價

本文選用均方根誤差、峰值信噪比、結(jié)構(gòu)相似度多種評價參數(shù)對圖像拼接結(jié)果進(jìn)行客觀評價。

均方根誤差（Mean Squared Error，MSE）檢測融合后圖像和融合前圖像之間的偏差，數(shù)值越小越好，其定義[16]為：

峰值信噪比（PeakSignaltoNoiseRatio，PSNR）檢測融合后圖像和融合前圖像的逼真度，數(shù)值越大越好，高于40dB說明融合質(zhì)量極好，公式[16]為:

結(jié)構(gòu)相似度（Structural Similarity Index Measurement，SSIM）衡量融合前后兩幅圖的結(jié)構(gòu)相似度，數(shù)值越大越好，最大值為1，其公式[16]為：

uX，uY分別表示圖像X和Y的均值，σX，σY分別表示圖像X和Y的標(biāo)準(zhǔn)差，σXY代表圖像X和Y協(xié)方差，C1，C2為常數(shù)。

多種融合方法下的透視變換與傳統(tǒng)仿射變換的對比如圖5和表1所示。

圖5 多種算法融合結(jié)果對比

表1 基于加權(quán)平均融合法的透視變換與傳統(tǒng)圖像拼接融合方法的對比

■3.4 評價與分析

主觀上，由多次實驗的融合結(jié)果可以看出，加權(quán)平均融合法的融合效果明顯優(yōu)于直接平均融合法和覆蓋法，重疊部分過渡自然平滑，無明顯拼接線，兩張圖片在重疊區(qū)域的圖片信息均得到了保留和有效的融合。另一方面，仿射變換易在拼接處出現(xiàn)錯位，尤其是邊緣處較為明顯；而透射變換在針對有拍攝角度差的拼接圖片時表現(xiàn)極佳，拼接結(jié)果排除了相機(jī)角度的影響，更接近真實場景。

客觀上，從表可以看出，相較于傳統(tǒng)算法，本文改進(jìn)方法取得了較高的客觀評價分?jǐn)?shù)，在拼接融合的圖片質(zhì)量上有較大提升。相同融合方法下對同組圖片進(jìn)行拼接融合，透視變換的前后偏差顯著小于放射變換，峰值信噪比和結(jié)構(gòu)相似度得到了明顯提升。

總體而言，加權(quán)平均融合法優(yōu)于直接平均，又優(yōu)于覆蓋法，透視變換拼接效果高于仿射變換，因此，基于透視變換矩陣，使用加權(quán)平均融合法對圖像進(jìn)行拼接融合，可以更好地保留圖片信息，獲得更真實自然的拼接效果。

4 結(jié)論

無人機(jī)在民用領(lǐng)域和專業(yè)領(lǐng)域的應(yīng)用愈發(fā)廣泛，而無人機(jī)影像在其眾多應(yīng)用成為了難以替代的高性價比應(yīng)用。由于無人機(jī)影像有噪點多，機(jī)身抖動和室外光照強(qiáng)度不同的影響，無人機(jī)圖像融合技術(shù)的必要性和其相對于普通圖像融合的差別正影響著其應(yīng)用的廣泛程度。本文詳細(xì)描述了無人機(jī)圖像融合技術(shù)的重點步驟，從無人機(jī)圖像的特點出發(fā)，在預(yù)處理階段突出體現(xiàn)了輻射矯正對于圖像顏色和最終融合的效果的積極影響。在圖像融合階段通過對比仿射變換和透視變換，根據(jù)主觀評判法和客觀評價參數(shù)得到結(jié)論，加權(quán)平均融合法在無人機(jī)圖像融合上優(yōu)于直接平均，更優(yōu)于直接覆蓋法。針對無人機(jī)圖像的畸變，透視變換效果明顯優(yōu)于仿射變換。通過加權(quán)融合方法實現(xiàn)的透視變換圖像融合可以保留更多的圖像信息，得到更加自然的融合圖像，為航空圖像等領(lǐng)域的后續(xù)研究得到更加準(zhǔn)確的初始信息。