基于多頻段融合的全景圖像拼接技術(shù)*

任 重，唐 垚，謝永斌，洪鵬程

（西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121）

引言

圖像融合算法的目的就是抹去圖片接縫線處的拼接痕跡，使拼接后的圖像更加自然，提升拼接效果和質(zhì)量[2]。應(yīng)用于圖像拼接的融合算法有兩種常用的方法：線性融合算法和加權(quán)平均融合算法。本文提出了一種多頻段圖像融合，取得了較好的效果。

1 傳統(tǒng)融合算法

1.1 線性融合

線性融合是最常見的一種融合方法。為了能夠讓圖像重疊區(qū)域過度的更加自然，重疊區(qū)域一般為兩幅圖像在該部分的簡單加和。通常情況下，權(quán)重應(yīng)該為像素位置至重復(fù)部分邊緣的位置，該算法簡單易于實現(xiàn)，可以應(yīng)用在一些對拼接實時性要求高的實驗環(huán)境中。但是這種方法有許多的弊端，諸如，重疊區(qū)域無法對齊時候，融合的圖像很容易出現(xiàn)模糊和鬼影，重疊區(qū)域邊界接縫線明顯，肉眼可見拼接有破碎感。相較于線性融合，均值融合會讓重疊區(qū)域的出現(xiàn)明顯的邊界線，融合的效果不如線性融合。

1.2 加權(quán)平均融合算法

加權(quán)平均融合算法的計算原理和原則就是對于原來圖像的像素直截了當(dāng)?shù)牟捎昧讼嗤臄?shù)值，然后在進(jìn)行接下來的加權(quán)平均得到一個融合的圖像像素數(shù)值。加權(quán)平均融合算法的原理主要就是依照圖像中的像素重合點作為核心，最后結(jié)果的像素數(shù)值就是加權(quán)平均以后的算數(shù)值。這樣的計算方法減少了計算的偏差。

這樣的加權(quán)平均融合算法比較便捷、簡單。但是當(dāng)出現(xiàn)數(shù)值不對或者圖像重合錯誤的情況時計算結(jié)果就會受到影響。加權(quán)平均算法削弱了圖像重合部分的細(xì)節(jié)特征，使得圖像重疊區(qū)域有較強(qiáng)的人為涂抹痕跡。因此在大部分場景下應(yīng)用加權(quán)平均算法其處理圖像接縫線結(jié)果差強(qiáng)人意。

2 本文融合算法

圖1 高斯與拉普拉斯金字塔

2.1 構(gòu)造金字塔

構(gòu)造高斯金字塔是對圖像全方位、多方面進(jìn)行表述的一種方式，如圖1 所示，最下層為原圖，上面的三個圖片依次是高斯金字塔中第二、三、四層圖像。每一層圖像的獲得都是對比它小一層的圖像進(jìn)行篩選和過濾形成的，然后刪除掉篩選和過濾之后的全部偶數(shù)和奇數(shù)的數(shù)值行列，這個金字塔的分層越是精細(xì)，層數(shù)越高，圖像也越模糊[1]。

拉普拉斯金字塔是以高斯金字塔為前提條件進(jìn)行建造的，伴隨著高斯金字塔層數(shù)的提高，圖像的精細(xì)信息會逐漸模糊，為了對圖像細(xì)致的信息進(jìn)行存儲和記憶，拉普拉斯金字塔就隨之產(chǎn)生了。把高斯金字塔的每一層數(shù)據(jù)信息進(jìn)行記錄和整理[2]，然后再進(jìn)行篩選和過濾的環(huán)節(jié)，就可以獲得在此基礎(chǔ)之上擴(kuò)展圖像信息了。因為對上面的圖像進(jìn)行了篩選和選擇，圖像的分辨能力也就擴(kuò)大了好幾倍，把高斯金字塔的圖像數(shù)值以及擴(kuò)展以后圖像當(dāng)中的數(shù)值相減就可以獲得了拉普拉斯金字塔圖像了。以圖1 建造的高斯金字塔為例，中間的這部分畫面就是經(jīng)過左側(cè)圖像的擴(kuò)展來獲得的，右面的圖像也就是通過相減而得到的。

式中，L 和G 分別表示拉普拉斯和高斯金字塔，其中兩種金字塔的頂層圖像是相同的，j 即是層數(shù)，最下面一j層即為0，是原本的圖像，expand 表示擴(kuò)展運算方法。

2.2 融合步驟

多頻段融合方法的具體執(zhí)行步驟：第一步，構(gòu)造高斯金字塔對源圖像進(jìn)行多層次表達(dá)，第二步，由高斯金字塔得到拉式金字塔；第三步，然后針對待拼接的分層子圖集，把它們的金字塔的相同層進(jìn)行合并；第四步，對分層融合的圖像做逆拉普拉斯變換最終生成融合圖像，逆拉式變換計算公式如式（2）所示：

式中，R 為得到的合并金字塔，S 為最終的融合圖像，其中，S 的頂層為R 的頂層，S 是從頂層向底層計算得到的，最終得到的融合金字塔的底層圖像就是最后的拼接圖像。

3 評價指標(biāo)

為了客觀地評價不同圖像融合方法的性能，本文的評價體系中采用了如下多種圖像融合評價指標(biāo)。

3.1 均值

平均值的計算如下式：

其中 F（i，j）為（i，j）點融合圖像的像素。平均值反映了最終拼接圖像的亮度，它是一個基本的評判尺度。均值越大，最終拼接的圖像越亮。

3.2 標(biāo)準(zhǔn)差

圖像的標(biāo)準(zhǔn)差由下式定義：

其中 F（i，j）是圖像的像素值的位置（i，j），μ 即是均值。標(biāo)準(zhǔn)差可以描述的統(tǒng)計分布和融合后的圖像差異特征，其值越大融合圖像的對比度越高。

3.3 空間頻率

空間頻率（SF）可以描述融合的和空間變化圖像。其值越大，紋理和邊緣的信息越豐富，圖片也就變得更清晰。其計算如下式所示：

其中 M 是圖像的行，N 是圖像的列，F(xiàn)（i，j）是圖像 F在像素（i，j）處的灰度級。SF 描述融合的清晰度和空間變化圖像。SF 越大，紋理和邊緣的信息越豐富。需要指出的是，圖像融合中產(chǎn)生的偽影會使SF 值增加一倍，這種情況下不能正確的反映融合圖像的質(zhì)量。

圖2 實驗素材

圖3 陰雨天以及室外暗光拼接

3.4 差分信息熵

其中Pi為圖像中第i 個灰度級的可能性，L 為圖像的灰度。由信息論原理可知，熵值可以反映融合圖像中的大量信息，一般來說，熵越大，融合體的信息就越豐富。但是，如果在融合后的圖像中存在較多的偽影和噪聲時，熵的值將嚴(yán)重增加，最終將無法正確表示圖像的質(zhì)量。

3.5 拼接時間

時間是圖像拼接算法實時性的反應(yīng)，也是不可或缺的衡量拼接算法的指標(biāo)。

4 實驗結(jié)果與分析

4.1 實驗環(huán)境與素材

本文實驗平臺的操作系統(tǒng)為Windows10，軟件環(huán)境為visual studio2015 以及openCV2.4.9，電腦處理器為Intel（R）Core（TM）i7-8565U 1.99GHz，內(nèi)存8G。本實驗有兩組共 14 張實驗素材，如圖 2 所示。其中圖（a）（b）（c）（d）（e）（f）（g）為陰雨天拍攝，分辨率均為 922*692；圖（h）（i）（j）（k）（l）（m）（n）分辨率為 463*348。

4.2 主觀評價

如圖 3 所示，圖（a）（b）（c）為陰雨天全景拼接圖像，通過主觀評判，可見線性融合法中在圖像與圖像接縫處存在多處明顯的接縫線。加權(quán)平均算法雖未出現(xiàn)接縫線，但圖像重疊區(qū)域涂抹感嚴(yán)重。本文算法在圖像重疊區(qū)域的過度是最自然的。圖（d）（e）（f）為室外暗光拼接，其中線性融合法在圖片接縫線處處理的極為粗糙，有明顯的破碎感。加權(quán)平均算法在圖片上方出現(xiàn)諸多鬼影現(xiàn)象。唯有本文算法在這兩方面的細(xì)節(jié)處理最為自然。

4.3 客觀評價

從以陰雨天拼接和室外暗光拼接可以得出結(jié)論，本文的圖像融合算法在均值、標(biāo)準(zhǔn)差以及差分信息熵等方面明顯高于線性融合法和加權(quán)平均融合法；在空間頻率方面本文算法也略微高出其他兩種算法；在拼接時間上，雖然本文算法不是最快的，但是三種方法相差不大，其實時性可以達(dá)到工程上的應(yīng)用。

5 結(jié)論

針對圖像拼接過程中線性融合和加權(quán)平均算法融合算法在光照魯棒性和圖片清晰度不足以及接縫線涂抹感明顯等問題提出了一種基于多尺度表達(dá)的多頻段融合的圖像拼接技術(shù)。第一步，構(gòu)造高斯金字塔對源圖像進(jìn)行多層次表達(dá)，第二步，由高斯金字塔推出拉式金字塔；第三步，對重疊區(qū)域進(jìn)行不同層次融合；第四步對分層融合的圖像做逆拉普拉斯變換最終生成融合圖像。這種方法既能夠保留低分辨率的圖像輪廓信息，又能夠有效保存高分辨率的圖像細(xì)節(jié)信息，通過金字塔層層疊加也讓拼接的痕跡變得不在明顯，在逐層融合時候，也能夠和多種融合算法進(jìn)行優(yōu)勢互補(bǔ)，在融合效果上可以有效地減少鬼影，一定程度上避免了由于顏色、亮度色差而導(dǎo)致的明顯的人工痕跡。實驗結(jié)果表明，相較于線性融合以及加權(quán)平均算法融合等方法，本文方法在均值、標(biāo)準(zhǔn)差、空間頻率和差分信息熵等方面均有所提升，而且在拼接時間上與前兩者相差無幾。綜上本文的融合方法優(yōu)勢最為明顯，在全景圖像以及視頻拼接過程中有一定的實用價值。