基于超像素分割的RGB與高光譜圖像融合

洪科

（南華大學(xué)電氣工程學(xué)院 湖南省衡陽市 421001）

1 引言

高光譜成像技術(shù)是一種新興的成像技術(shù)，可以同時獲取同一場景下不同波長的圖像。然而，由于現(xiàn)有的高光譜成像設(shè)備無法實現(xiàn)圖像在光譜分辨率和空間分辨率上同時高分辨成像，導(dǎo)致獲取的高光譜圖像空間分辨率比較低。將高空間分辨率的真彩色RGB與相同場景下的低空間分辨率高光譜圖像進行融合從而提高高光譜圖像的空間分辨率，是目前獲取高分辨高光譜成像的有效技術(shù)[1]。

現(xiàn)有的高光譜圖像融合算法包括基于全色圖像和高光譜圖像融合方法[2-7]以及真彩色RGB圖像與高光譜圖像融合算法[8-10]兩大類。全色圖像與高光譜圖像的融合利用高分辨率全色圖像準確的空間信息來修正高光譜圖像的空間分辨率[11][12]，以提高高光譜圖像的細節(jié)。相比于全色圖像，真彩色RGB圖像不僅空間分辨率高，而且有豐富的彩色信息，因此RGB與高光譜圖像的融合獲得了更多的研究。

Akhtar等人[13]提出了空間-光譜稀疏表示方法，將RGB圖像劃分成大小相同的圖像塊，以圖像塊為單元進行稀疏表示，有效利用了像素之間的局部相關(guān)性，提高了融合圖像的質(zhì)量。但是圖像塊中總會包含許多不同的物體信息，會導(dǎo)致將圖像塊為單元進行稀疏分解存在誤差，因此本文提出了一種基于超像素分割[14]的RGB圖像與高光譜圖像的融合方法。利用超像素分割技術(shù)將圖像分割成大小和形狀能自適應(yīng)變化的圖像區(qū)域，然后以超像素塊為基本單元對RGB圖像進行稀疏分解，得到稀疏矩陣中的系數(shù)包含RGB圖像的空間信息。最后，將稀疏編碼矩陣與高光譜圖像譜字典相結(jié)合重建得到高空間分辨率的高光譜圖像。

本文采用CAVE公共數(shù)據(jù)集中的標準測試圖像來進行效果驗證，并與雙三次插值法和空間光譜稀疏表示方法[13]進行比較分析。實驗結(jié)果表明，在主觀視覺上，本文的圖像細節(jié)信息恢復(fù)良好。在客觀指標上具有更大的峰值信噪比。

2 基于圖像融合的高光譜圖像超分辨率框架

基于圖像融合的高光譜圖像超分辨率的目的是從獲取的低分辨率高光譜圖像和相應(yīng)的高分辨率RGB圖像中，恢復(fù)得到高分辨率的高光譜圖像其L表示高光譜圖像的光譜維數(shù)和h是低分辨率高光譜圖像的空間維寬度和高度，其中和M分別為高分辨率RGB圖像的空間維寬度和高度。將Y和Z表示為目標高光譜圖像X的線性表示，即：

其中Wi是以像素i為中心的窗口，hj為下采樣時每個像素的對應(yīng)的權(quán)重，因此X中的每個像素可以表示成窗口Wi中像素的線性組合。

在稀疏表示理論中，高光譜圖像在地物的光譜特征集合為譜字典其中字典D中的基向量稱為字典原子，利用K個這樣的基向量可以組成字典D。由于混合端元的存在，高光譜圖像每個像素可表示成少數(shù)潛在地物譜特征的線性組合，即：

3 基于超像素分割的高光譜圖像超分辨率稀疏重建模型

3.1 基于在線字典學(xué)習(xí)法的光譜字典

表1：不同方法的PSNR評價指標比較

圖1：500nm lemons融合結(jié)果

如前所述，為獲得高空間分辨率的高光譜圖像，首先我們需要求解公式（5）中的光譜字典D，我們將公式（5）轉(zhuǎn)化為如下的最小化目標函數(shù)：

在處理比較多的數(shù)據(jù)時，一般的字典學(xué)習(xí)方法運行時間會比較長，而在線字典學(xué)習(xí)[15]一次只處理少數(shù)的數(shù)據(jù)，采用隨機近似的方法，這樣算法復(fù)雜度變得簡單許多。在這里我們從訓(xùn)練樣本集隨機切割t個樣本，定義為關(guān)于字典D和稀疏系數(shù)的優(yōu)化問題目標函數(shù)式為：

3.2 超像素分割RGB圖像

由于RGB圖像含有3個波段，所以RGB圖像的超像素分割與自然圖像分割不同，如果直接對每個波段圖像進行超像素分割，計算復(fù)雜度將會變高，由于RGB圖像不同的成像波長，所以需要對每一個圖像分別分割，首先，利用稀疏主成分分析法對RGB圖像進行降維，這樣超像素分割指導(dǎo)圖就被得到了，之后，我們對每一個波段圖像索引分割圖像通過按照指導(dǎo)圖的位置，即得到分割后的超像素塊，并且超像素塊有相似的尺寸。

3.3 稀疏編碼求解

通過上述基于在線字典學(xué)習(xí)方法，求得光譜字典D后，我們對RGB圖像進行了超像素分割，接下來為了得到目標圖像X，將圖像分成小的不相交的空間圖像塊來計算稀疏編碼矩陣，采用同步正交匹配算法[16]求得A，用表示高分辨率圖像超像素分割后的每個圖像塊，并通過對每個圖像塊進行稀疏分解，得到相應(yīng)的稀疏編碼矩陣AP，即

4 實驗結(jié)果與分析

實驗采用公共數(shù)據(jù)集CAVE中的高光譜圖像。在本文中對高分辨率高光譜參考圖像進行下采樣處理，行和列的下采樣因子均為8。在字典學(xué)習(xí)階段，初始化字典原子數(shù)為300，在同步正交匹配追蹤算法中，殘差參數(shù)為10e-8，在每次迭代的時候，選取20個字典原子。對于像素分割的高光譜圖像重建算法中，在稀疏分解過程中超像素塊所用原子數(shù)量為20，重建結(jié)果比較好，超像素個數(shù)大于1000時，重建效果趨于穩(wěn)定。

圖1為lemons圖像在不同高光譜圖像恢復(fù)算法的500nm波段的重建圖像。圖1（a）為低空間分辨率高光譜圖像，圖1（b）是經(jīng)過雙三次插值后得到的高光譜圖像，整體比較模糊，圖1（c）為空間光譜稀疏表示方法，圖1（d）為本文方法重建得到的高光譜圖像，通過與前面兩種方法相比較，其在lemons表面能夠更好地恢復(fù)更多的圖像細節(jié)信息，圖1（e）為參考圖像。

從客觀指標PSNR上，我們也可以對恢復(fù)圖像進行質(zhì)量評估，PSNR的值越大，表明高光譜重建圖像的質(zhì)量越高。PSNR的計算公式如下所示：

在這里，Xi和分別代表參考圖像和重建圖像在第i個波段的樣子。PSNR代表著真實參考圖像與重建圖像之間的相似度，其值越高，重建圖像質(zhì)量越好。評價結(jié)果如表1所示。

5 結(jié)論

由于我們所獲取的高光譜圖像空間分辨率和光譜分辨率不能兼得，為了提高高光譜圖像的空間分辨率，本文提出了一種基于超像素分割的RGB與高光譜圖像融合方法。實驗結(jié)果表明，與傳統(tǒng)的雙三次插值，空間光譜稀疏表示方法做比較，本方法在主觀視覺方面，圖像的空間細節(jié)信息恢復(fù)的更加好，邊緣更加清楚，客觀指標PSNR上，我們的值也具有優(yōu)勢，所以對于高光譜圖像，本方法能夠在一定程度上不錯地提高其空間分辨率。