基于超分辨率的多聚焦圖像融合算法研究

曹 軍，陳 鶴，張佳薇

東北林業(yè)大學(xué) 機(jī)電工程學(xué)院，哈爾濱150040

1 引言

近年來(lái)，機(jī)器視覺(jué)技術(shù)在軍事勘測(cè)、海底沉船搜索、道路車(chē)輛監(jiān)測(cè)等方面得到了廣泛的應(yīng)用。然而，由于不同物體對(duì)光線的吸收與散射作用不同，導(dǎo)致收集到的圖像信息出現(xiàn)不同程度的細(xì)節(jié)模糊、信噪比低等不良情況。因此，通過(guò)多聚焦圖像融合技術(shù)來(lái)增強(qiáng)圖像，成為提高圖像質(zhì)量的重要途經(jīng)[1]。

多聚焦圖像融合[2]是通過(guò)同一傳感器對(duì)場(chǎng)景中不同位置分別進(jìn)行聚焦拍照采樣，得到該場(chǎng)景的多聚焦圖像序列，然后根據(jù)某一特定的算法或方法提取各圖像中清晰的區(qū)域，對(duì)這些清晰區(qū)域進(jìn)行有序融合，從而得到該場(chǎng)景的高清晰圖像。

隨著對(duì)圖像融合的深入研究，眾多學(xué)者專(zhuān)家提出了許多的相關(guān)方法。如Gangapure等人[3]提出了一種基于稀疏表示的多焦點(diǎn)圖像融合方法，采用K-SVD和批量Omp算法對(duì)圖像進(jìn)行融合，克服了自適應(yīng)構(gòu)建的問(wèn)題。該方法對(duì)不同模態(tài)的圖像融合取得了一定的效果，但其在模式變換中具有一定的相互關(guān)聯(lián)，使變換后的圖像包含了冗余信息，影響了圖像邊緣清晰度。Wang等[4]利用最大類(lèi)間方差和邊緣檢測(cè)，將源圖像分成背景和目標(biāo)區(qū)域。利用平穩(wěn)WT對(duì)圖像的背景進(jìn)行多尺度分解。最后，通過(guò)加權(quán)融合得到了融合圖像。該方案可清晰表示目標(biāo)與場(chǎng)景內(nèi)容，但WT僅能計(jì)算水平、垂直、對(duì)角線等3個(gè)方向的子帶，對(duì)某些局部細(xì)節(jié)的描述能力較弱，在噪聲與模糊情況下融合效果不佳。

針對(duì)上述問(wèn)題，本文提出了一種基于超分辨率的多聚焦圖像融合算法。該算法具有2個(gè)方面的優(yōu)勢(shì)：通過(guò)超分辨率方法增強(qiáng)了圖像的對(duì)比度，使圖像的有效信息更加的突出，讓圖像的細(xì)節(jié)更加明顯；采用SWT與PCA兩種算法結(jié)合使用，使融合后的圖像能夠保全更多的原始信息，并有效顯示復(fù)雜的像素結(jié)構(gòu)，提高視覺(jué)質(zhì)量。

2 融合算法

2.1 圖像超分辨率增強(qiáng)圖像

目前，大多數(shù)圖像融合技術(shù)著重強(qiáng)調(diào)的是新融合算法的應(yīng)用，忽略了進(jìn)行圖像融合前對(duì)源圖像質(zhì)量的要求，這會(huì)導(dǎo)致最終融合圖像清晰度降低、邊緣模糊等情況。為了避免這種情況，本文提出利用超分辨率法在進(jìn)行圖像融合之前對(duì)所有源圖像進(jìn)行處理[5]。

超分辨率法是將低分辨率圖像轉(zhuǎn)換為高分辨率圖像的一種方法。通過(guò)超分辨率法可以實(shí)現(xiàn)對(duì)目標(biāo)物體的專(zhuān)注分析，從而可以獲取感興趣區(qū)域更高空間分辨率的圖像，而不必直接采用數(shù)據(jù)量巨大的高空間分辨率圖像的配置。

超分辨法處理圖像的方法有兩種[6]，分別是多幀超分辨率法和單幀超分辨率法。多幀超分辨率法是充分利用了不同幀的圖像之間的互補(bǔ)信息，將各部分互補(bǔ)信息重構(gòu)加工進(jìn)而提高圖像分辨率。單幀超分辨率法是利用單幀探測(cè)器采集到的低分辨率圖像的信息，通過(guò)重建算法提高圖像分辨率。多幀超分辨率法在重建圖像時(shí)要考慮源圖像間幀數(shù)之間的關(guān)系，不同幀數(shù)大小的圖像重建時(shí)所需的時(shí)間、空間和內(nèi)存各有差異，這大大約束了圖像重構(gòu)的效率。單幀超分辨率法的優(yōu)勢(shì)在于其在圖像空間和頻帶之間的約束性大大減少，通過(guò)單幀探測(cè)器采取圖像信息，避免了源圖像之間幀數(shù)的差異，節(jié)省了圖像重構(gòu)的時(shí)間，提高了效率，因此，本文采用單幀超分辨率法重構(gòu)圖像。

2.1.1 雙三次插值的單幀超分辨率法

基于插值的超分辨率法主要有雙三次插值法、雙線性插值法和最近鄰插值法[7]。雙三次插值法是最常用且有效的方法，因其能產(chǎn)生比其他插值法更平滑的邊緣，并且基于雙三次插值的單幀超分辨率法能夠利用相鄰像素點(diǎn)之間的關(guān)系，獲得高清晰度的像素以制作高分辨率圖像，雙三次插值法適用于多聚焦圖像融合。

利用雙三次插值的超分辨率方法重建后圖像各個(gè)像素點(diǎn)間的關(guān)系，可以得到像素間的密集點(diǎn)，進(jìn)而得到高分辨率圖像。16個(gè)相鄰像素選擇和使用這些像素鄰域矩陣由是由公式（1）給出。r表示行的像素位置，c表示列的像素位置，Pij(i,j=1,2,3,4)表示圖像的像素值。

圖像的高分辨率塊如公式（2）所示，公式中，ai，bj為計(jì)算的超分辨率因子，ai，bj的系數(shù)可以用公式（3）和公式（4）給出的Lagrange方程來(lái)計(jì)算。由于選擇了16個(gè)相鄰像素，i和j繼續(xù)選擇3個(gè)。行用i表示，列用j表示。

設(shè)恒定值s為超分辨率系數(shù)，超分辨率系數(shù)越高，越能增加融合的系數(shù)和質(zhì)量。本文中超分辨率系數(shù)選擇為2，即源圖像的分辨率加倍，ceil()表示返回大于或等于括號(hào)內(nèi)最小整數(shù)，k表示平移的位置，由于像素大小的限制，x、y分別代表行、列的位置信息，k=（1，2，3，4）。

在找到ai,bj矩陣后，實(shí)現(xiàn)如公式（5）所示的最終方程，得到圖像的高分辨率塊。

2.1.2 平穩(wěn)小波變換分解圖像

應(yīng)用于圖像融合的小波變換算法有許多，大多基于圖像的頻率域進(jìn)行圖像融合，這些融合方法雖然能滿足融合圖像對(duì)圖像多尺度分解的要求，但嚴(yán)重忽略了圖像分解過(guò)程中圖像的分解層數(shù)以及對(duì)應(yīng)子帶的特性[8]。本文提出一種新的平穩(wěn)小波變換法進(jìn)行圖像融合以解決上述問(wèn)題。

SWT是一種位移不變的小波變換算法，其在進(jìn)行圖像融合步驟上與其他小波變換有著明顯的不同。SWT不使用低通濾波器和高通濾波器進(jìn)行向下采樣，而只進(jìn)行向上采樣操作，通過(guò)在每個(gè)分解級(jí)別上添加零來(lái)更改過(guò)濾器的內(nèi)容，因此，原始信號(hào)不會(huì)被SWT抽取。雖然SWT存在冗余的代價(jià)，但信號(hào)保持了原始的大小，并成功地提供了位移不變量。同時(shí)，冗余分解還具有節(jié)省信號(hào)細(xì)節(jié)等優(yōu)點(diǎn)。由于只有上采樣，使計(jì)算時(shí)間大大減少。利用SWT對(duì)源圖像進(jìn)行分解，源圖像被分解成四個(gè)子帶。這些子帶的像素大小與源圖像相同，源圖像被分解后的子帶是LL、LH、HL和HH四種子帶。LL是包含源圖像近似信息的低頻子帶。LH、HL、HH是包含源圖像細(xì)節(jié)信息的高頻子帶。SWT的流程圖如圖1所示。在圖中，向上箭頭表示向上采樣步驟。SWT在每個(gè)級(jí)別使用低通和高通過(guò)濾器。這些濾波器用于產(chǎn)生平滑邊緣、銳化圖像、去除噪聲和邊緣檢測(cè)。低通濾波器減少了高頻分量，保留了低頻分量。高通濾波器與低通濾波器相配合，完成轉(zhuǎn)換。

圖1 SWT分解流程圖

此外，本文還應(yīng)用了離散小波濾波器用以減少誤差和相位失真，公式（6）～（8）給出了該小波濾波器的定義：

其中，a和b為實(shí)數(shù)和正數(shù)，表示伸縮因子和平移因子。

其中，φ(x)為小波母函數(shù)，公式（6）中的φa,b(x)是母小波經(jīng)過(guò)平移和伸縮后的結(jié)果。

對(duì)于特定尺度j，使位移量b以Δb=ajb作為采樣間隔，此時(shí)變?yōu)椋?/p>

在SWT中，為了提取近似詳細(xì)的系數(shù)，對(duì)源圖像采用了低通和高通濾波器進(jìn)行濾波。對(duì)于大小為m×n源圖像，該級(jí)別的SWT顯示為：

其中，a=1,2,…,m、b=1,2,…,n分別對(duì)應(yīng)圖像的長(zhǎng)度和寬度，l、h分別對(duì)應(yīng)低通和高通濾波器。LJ+1和LJ分別表示低頻分解后在j+1和j兩個(gè)級(jí)別上的低頻系數(shù)。LHJ+1為水平細(xì)節(jié)系數(shù)，HLJ+1垂直細(xì)節(jié)系數(shù)，HHJ+1為信號(hào)對(duì)角細(xì)節(jié)系數(shù)。

2.1.3 逆平穩(wěn)小波變換

對(duì)SWT的系數(shù)直接在變換域進(jìn)行處理融合得到的系數(shù)，再進(jìn)行逆變換獲得融合圖像。平穩(wěn)小波逆變換具體過(guò)程如下：

其中，h(x)和h(y)表示低通濾波器，g(x)和g(y)表示高通濾波器，m和n分別表示融合圖像的水平和垂直的位置，表示融合后圖像包含的全部細(xì)節(jié)信息，分別表示被分解圖像在2j尺度下的低頻細(xì)節(jié)分量，分別表示被分解圖像在2j尺度下水平、垂直和對(duì)角方向的高頻細(xì)節(jié)分量。

2.2 融合規(guī)則

融合規(guī)則是多聚焦圖像融合的重要組成部分，融合規(guī)則是指對(duì)源圖像的特征向量進(jìn)行有效的數(shù)學(xué)處理。由于選取極大值融合規(guī)則會(huì)導(dǎo)致融合后的圖像產(chǎn)生塊狀模糊，并失去圖像的空間信息[9]；選取平均值融合規(guī)則會(huì)使融合后的圖像對(duì)比度下降，丟失圖像細(xì)節(jié)，所以本文采用PCA作為融合規(guī)則。

PCA是一種常用的數(shù)據(jù)分析方法，它將原始數(shù)據(jù)通過(guò)線性變換轉(zhuǎn)換為一組各維度無(wú)關(guān)的線性向量，用于提取數(shù)據(jù)的主要特征分量，在保證在數(shù)據(jù)最大方差不變的約束下，把原始數(shù)據(jù)投影到低維線性子空間，使原始數(shù)據(jù)在保留各維度分布特性的基礎(chǔ)上信息損失量減少。因此，PCA保留了圖像更多的細(xì)節(jié)，減少了圖像模糊和空間失真，從而使融合后的圖像具有更詳細(xì)、更清晰的邊緣和更好的視覺(jué)。

PCA步驟如下[10]：

步驟1獲取圖像并將圖像轉(zhuǎn)換為2D灰度。

步驟2沿列減去源圖像的平均值。

步驟3查找源圖像的協(xié)方差矩陣。

步驟4計(jì)算協(xié)方差矩陣的特征向量和特征值。

步驟5排序特征向量并選擇第一個(gè)主分量。

2.3 本文算法

本文提出的圖像融合算法為多種算法混合的圖像融合算法，該融合算法主要包括：圖像超分辨率處理；SWT對(duì)圖像進(jìn)行分解，重構(gòu)；PCA對(duì)圖像分析處理。這三種算法在前文已有了明確的介紹，如下是本文提出的圖像融合算法步驟：

（1）對(duì)多聚焦源圖像，依據(jù)像素將圖像分成大小為4×4的圖像塊，則每個(gè)圖像塊在源圖像中的位置可以用pi,j表示。其中i，j分別代表圖像塊所在的行與列。

（2）將全部的圖像塊pi,j代入公式（3）和（4）中，進(jìn)行像素放大，再將獲得放大后的圖像塊按公式（5）進(jìn)行對(duì)應(yīng)排列，就獲得了高分辨率圖像。

（3）對(duì)獲得的高分辨率圖像進(jìn)行SWT分解，按照公式（9）～（12）圖像被分解成分解成4種子帶l1～l4。

（4）對(duì)獲得的4種子帶進(jìn)行PCA分析篩選，將獲得的子帶數(shù)據(jù)搭建成一個(gè)n維的獨(dú)立向量，i=1,2,…,n。再將數(shù)據(jù)進(jìn)行降維，降維公式如式（14）所示：

再計(jì)算S的特征值及特征向量，計(jì)算公式如下：

計(jì)算出特征值λ1，λ2，…，λn，特征向量p1，p2，…，pn。然后將特征值按從大到小的順序排列，利用最大特征值以及降維最小序數(shù)對(duì)全部子帶數(shù)據(jù)進(jìn)行匹配篩選。

（5）將篩選好了的子帶分別對(duì)應(yīng)代入公式（5）中，取像素平均值獲得最終融合圖像。

本文提出的融合算法的思路框圖如圖2所示。

圖2 融合流程圖

2.4 圖像質(zhì)量評(píng)價(jià)

圖像質(zhì)量的評(píng)價(jià)可分為兩類(lèi)，全參考圖像質(zhì)量評(píng)價(jià)和無(wú)參考圖像質(zhì)量評(píng)價(jià)[11]。

全參考圖像質(zhì)量評(píng)價(jià)又稱(chēng)主觀質(zhì)量評(píng)價(jià)，評(píng)判標(biāo)準(zhǔn)需要一個(gè)參考圖像來(lái)衡量質(zhì)量，采用的參考圖像應(yīng)是未進(jìn)行融合前的源圖像。如果參考圖像是可用的，全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)：均方根誤差（RMSE），峰值信噪比（PSNR）。

無(wú)參考圖像質(zhì)量評(píng)價(jià)被稱(chēng)為客觀質(zhì)量評(píng)價(jià)，這些指標(biāo)不需要參考圖像。如果沒(méi)有參考圖像，則使用源圖像之間融合后的圖像關(guān)系或使用融合圖像與源圖像之間的相似性計(jì)算圖像性能指標(biāo)。無(wú)參考圖像質(zhì)量評(píng)價(jià)指標(biāo)：平均梯度（AG），用于邊緣檢測(cè)的Petrovics指標(biāo)(QAB/F)，互信息（MI）。

2.4.1 均方根誤差

RMSE反映的是已知圖像和融合圖像之間的誤差大小[12]。該方法計(jì)算了原始圖像與融合圖像的差值，如果結(jié)果接近于零，則表明該方法是成功的。RMSE的計(jì)算如公式（17）所示：

其中，M是圖像的高度，N是圖像的寬度。i，j是像素的位置，Ir是參考圖像像素強(qiáng)度，If是融合圖像的像素強(qiáng)度。

2.4.2 峰值信噪比

PSNR反映的是將參考圖像與融合圖像之間的灰度值劃分為對(duì)應(yīng)的像素?cái)?shù)[13]。當(dāng)這個(gè)值較高時(shí)表示該方法具有較高的性能。PSNR的計(jì)算如公式（18）所示：

其中，L是灰度值，M是圖像的高度，N是圖像的寬度。其中i，j為像素的位置，Ir為參考圖像的像素強(qiáng)度，If為融合圖像的像素強(qiáng)度。

2.4.3 平均梯度

AG提取圖像中對(duì)比度和紋理變化特性的細(xì)節(jié)，同時(shí)它還定義了圖像的清晰度。其計(jì)算如公式（19）所示：其中，ΔIx，ΔIy分別表示為在x和y方向的一階差分的像素。M和N分別是圖像的長(zhǎng)度和寬度屬性。AG值越大，表明該融合方法的性能越好。

2.4.4 petrovics指標(biāo)

QAB/F通過(guò)測(cè)量源圖像到融合圖像的邊緣信息來(lái)評(píng)估融合性能。QAB/F的計(jì)算公式如下所示：

其中，QAF(i,j)=QAFa(i,j)QAFb(i,j)并且滿足0?QAF(i,j)?1。F中信息的缺失表現(xiàn)為QAF(i,j)和QBF(i,j)。QAF(i,j)和QBF(i,j)的權(quán)重分別表示為wA(i,j)wB(i,j)。QAF顯示了源圖像A與融合圖像F在邊緣信息上的關(guān)系。QAB/F值越大，說(shuō)明融合后的圖像保存的邊緣和結(jié)構(gòu)越多，如方差等。

2.4.5 相互信息

MI顯示了從源圖像傳輸?shù)饺诤蠄D像的重要數(shù)據(jù)。MI是由以下公式計(jì)算出來(lái)的。

其中，A和B為源圖像，為融合圖像。PAF和PBF為融合圖像之間源圖像的聯(lián)合直方圖，聯(lián)合直方圖顯示了灰度值的頻率信息。對(duì)于A、B、F圖像，這些圖像的直方圖分別為PAF、PBF、PF。A、B、F是這些圖像的像素大小。最后的結(jié)果為：

MI值越大，融合圖像從源圖像中獲得的信息越多。

3 實(shí)驗(yàn)結(jié)果

本文仿真實(shí)驗(yàn)平臺(tái)采用銳龍r5-1500、4核8線程CPU，顯卡型號(hào)為銘影GTX750Ti 2 GHz，內(nèi)存16 GB，操作系統(tǒng)為Win10，編程軟件為Matlab2016a。實(shí)驗(yàn)采用來(lái)自dataset[14]數(shù)據(jù)集上的2組多聚焦圖像和1組人工提取的多聚焦圖像來(lái)對(duì)本文提出的方法進(jìn)行驗(yàn)證，分別是圖3多聚焦植物圖像（512×512）、圖4多聚焦時(shí)鐘圖像（360×360）和圖5多聚焦圖書(shū)圖像（480×480）。

圖3 多聚焦植物圖像

圖4 多聚焦時(shí)鐘圖像

圖5 多聚焦圖書(shū)圖像

在給出可視化融合圖像成果后，又采取了多種圖像評(píng)價(jià)指標(biāo)對(duì)融合圖像進(jìn)行了評(píng)定。并與文獻(xiàn)[2，11-13，15-17]成果做出對(duì)比。其中，文獻(xiàn)[2，11-13]中主要采用單一小波變換的方法進(jìn)行圖像融合，結(jié)合不同優(yōu)化算法達(dá)到多聚焦圖像的融合；文獻(xiàn)[15-17]中主要以PCA原則為核心，著重對(duì)目標(biāo)物體輪廓的清晰度做了比較深刻的研究。

3.1 融合圖像成果

為驗(yàn)證該本文本文算法在圖像融合方面優(yōu)于一般小波變換算法，選擇了平穩(wěn)小波變換（SWT）[2]、離散小波變換（DWT）[11]、提升小波變換（LWT）[12]這三種算法進(jìn)行了圖像融合，如下為實(shí)驗(yàn)對(duì)比成果。

3.2 圖像性能指標(biāo)

根據(jù)各種圖像評(píng)價(jià)指標(biāo)分析了實(shí)驗(yàn)結(jié)果。其各項(xiàng)性能指標(biāo)AG、QAB/F、MI、RMSE、PSNR具體數(shù)值如表1所示。

表1 各項(xiàng)指標(biāo)數(shù)值

3.3 比較結(jié)果

在得出本實(shí)驗(yàn)各項(xiàng)性能指標(biāo)的基礎(chǔ)上，又對(duì)文獻(xiàn)[2，11-13，15-17]中實(shí)驗(yàn)結(jié)果做出了對(duì)比，選取了圖書(shū)與時(shí)鐘圖像作為實(shí)驗(yàn)對(duì)象，采用AG、QAB/F、MI、RMSE、PSNR這五種圖像性能指標(biāo)測(cè)量。對(duì)比結(jié)果如圖6和圖7所示。

由2.4節(jié)可知，AG越大，圖片的紋理信息越清晰；MI值越大，融合圖像從源圖像中獲得的信息越多，融合圖像越真實(shí)；QAB/F值越大，說(shuō)明融合后的圖像F保存的邊緣和結(jié)構(gòu)越多，圖像越清晰。從圖6和圖7可知，本實(shí)驗(yàn)獲得的結(jié)果在這三方面評(píng)測(cè)結(jié)果最優(yōu)。

4 結(jié)束語(yǔ)

為了提高圖像融合的質(zhì)量，獲得高清晰度的圖像，本文提出了一種基于超分辨率的多聚焦圖像融合算法。通過(guò)超分辨率法對(duì)所有源圖像進(jìn)行增強(qiáng)，突出源圖像細(xì)節(jié)信息。然后通過(guò)SWT對(duì)處理后的源圖像進(jìn)行分解，分解成包含源圖像所有信息的4種子帶。通過(guò)PCA融合規(guī)則對(duì)4種子帶選分析選擇最優(yōu)子帶，利用ISWT重組融合得到最終融合圖像。

由實(shí)驗(yàn)結(jié)果可知，本文提出的融合算法相比較于傳統(tǒng)小波變換融合圖像的方法有了極大的改善。本文提出的方法具有邊緣清晰、清晰度高、失真小等優(yōu)點(diǎn)，從主觀視覺(jué)及客觀評(píng)價(jià)方面均取得了滿意成果。

圖7 時(shí)鐘圖像性能指標(biāo)的對(duì)比結(jié)果