基于深度學習的模糊圖像超分辨率重建方法

彭雯

（江西理工大學軟件工程學院 江西省南昌市 330013）

通常情況下，利用硬件設備提升模糊圖像分辨率，例如在成像過程中，增加傳感器數(shù)量或者減少傳感器尺寸，均可以獲得高分辨率圖像[1]。但是，在單位像素尺寸內，具有一定的光學限制，傳感器的擴散與散粒是無法避免的，導致得到的圖像模糊較重，信噪比較低，依然無法達到圖像信息服務的要求。在圖像處理角度來看，增加一個圖像像素從低分辨率恢復到高分辨率的過程；在信息處理角度來看，提升圖像分辨率就是對數(shù)字采樣信號進行再采樣的操作。由于模糊圖像信息的不確定性，上述兩個角度都是一個比較困難的挑戰(zhàn)[2]。

模糊圖像超分辨率重建方法可以很好的解決上述問題，但是現(xiàn)有模糊圖像超分辨率重建方法存在著峰值信噪比（PSNR）與相似性度量值（SSIM）較高的缺陷，為此提出基于深度學習的模糊圖像超分辨率重建方法研究。

1 模糊圖像超分辨率重建方法研究

1.1 深度學習結構選取

深度學習結構具有多種，目前使用較為廣泛的包含受限玻爾茲曼機、深度置信網絡、自編碼器與卷積神經網絡[3]。通過現(xiàn)有文獻研究發(fā)現(xiàn)，受限玻爾茲曼機更適用于模糊圖像信息處理，為此選取受限玻爾茲曼機作為此研究的深度學習結構。

受限玻爾茲曼機（RBM）是一種隨機神經網絡結構，節(jié)點之間采用對稱方式連接，并且層間全連接，層內無連接。受限玻爾茲曼機結構如圖1 所示。

如圖1 所示，可見層的功能為輸入數(shù)據(jù)；隱含層的功能為特征提??；權重矩陣指的是可見層與隱含層之間的連接權重矩陣。受限玻爾茲曼機節(jié)點單元是任意指數(shù)族單元，其狀態(tài)取值為0 或1，其中，0 表示的是未激活，1 表示的是激活。

假設可見層單元數(shù)量為n，隱含層單元數(shù)量為m，受限玻爾茲曼機狀態(tài)記為(v,h)，其具備的能量表示為：

對于實值參數(shù)θ 的求解，利用最大化似然函數(shù)學習訓練得到，表達式為：

式（2）中，T 表示的是學習訓練樣本的數(shù)量。

上述過程完成了深度學習結構的選取，選取結果為受限玻爾茲曼機模型，為下述模糊圖像稀疏表示模型構建提供理論基礎。

圖1：受限玻爾茲曼機結構圖

1.2 模糊圖像稀疏表示模型構建

在模糊圖像表示領域中，呈現(xiàn)著一定的稀疏性，而模糊圖像超分辨率重建的關鍵就是找到圖像的自相似性關系，即構建模糊圖像稀疏表示模型。

在模糊圖像中提取一個圖像塊，記為y，從對應超分辨率圖像相同位置提取一個圖像塊，記為x。通過受限玻爾茲曼機模型對樣本模糊圖像進行訓練，得到低分辨率字典Dl與超分辨字典Dh。則x 在超分辨字典Dh中原子的稀疏線性組合表示為：

式（3）中，α 表示的是稀疏表示向量，取值小于超分辨字典原子數(shù)量k。

則y 在超分辨字典Dh中原子的稀疏線性組合表示為：

依據(jù)得到的低分辨率字典與超分辨字典，對于模糊圖像的任意一個圖像塊y，均可以通過公式（4）得到模糊圖像塊的稀疏表示向量α，通過公式（3）得到相應的超分辨率圖像塊x。

由此可見，在模糊圖像超分辨率重建過程中，模糊圖像稀疏表示是其中的重中之重。上述過程通過聯(lián)合字典學習，保障了模糊圖像子塊與相應超分辨率圖像子塊稀疏描述的一致性，為模糊圖像超分辨率重建的實現(xiàn)做準備。

1.3 模糊圖像超分辨率重建

以上述構建的模糊圖像稀疏表示模型為基礎，制定模糊圖像超分辨率重建程序，具體步驟如下所示：

步驟一：超分辨率圖像子塊的重構。

對于模糊圖像的某個子塊y，依據(jù)模糊圖像稀疏表示模型獲取模糊圖像子塊y 的稀疏表示向量α，利用迭代收縮算法求解下述模型：

式（5）中，||α||1表示的是α 的1-范數(shù)。

表1：峰值信噪比數(shù)據(jù)表

表2：相似性度量值數(shù)據(jù)表

基于聯(lián)合字典學習理論可知，α 也是模糊圖像對應超分辨率圖像子塊的稀疏描述。為此，在得到稀疏表示向量α 后，依據(jù)公式（3）對超分辨率圖像子塊x 進行重構；

步驟二：超分辨率初始圖像的生成。

上述步驟實現(xiàn)了超分辨率圖像子塊的重構，但是圖像子塊位置并不全部正確，為此需要將重構子塊依據(jù)正確位置關系進行拼接，得到超分辨率初始圖像；

步驟三：全局誤差補償。

對于模糊圖像的超分辨率重建來說，過程中涉及圖像子塊重疊區(qū)域的平滑運算，可能會致使模糊圖像細節(jié)信息無法恢復，故引入殘差圖像的迭代誤差反向投影策略實現(xiàn)超分辨率圖像的高頻補償；

步驟四：輸出超分辨率圖像。

模糊圖像超分辨率重建程序中，最關鍵的步驟就是誤差補償，其實現(xiàn)流程如下：

輸入：原始模糊圖像Y，初始超分辨率圖像X，設置最大迭代次數(shù)為Q；

對超分辨率圖像進行下采樣Xdown；

求解模糊圖像與Xdown的差值圖像C；

對差值圖像C 進行上采樣D；

利用模板P 對D 進行卷積，得到Xh；

End

step 3：輸出超分辨率重建圖像X=Xh。通過上述過程實現(xiàn)了基于深度學習的模糊圖像超分辨率的重建，為圖像信息的獲取提供便利。

2 對比實驗分析

2.1 實驗準備

為了保障實驗的順利進行，首要的任務是設置仿真對比實驗參數(shù)，主要包含訓練樣本集使用輪數(shù)、步長與誤差補償?shù)螖?shù)，具體實驗參數(shù)確定過程如下所示。

依據(jù)網絡搜索得到訓練樣本集，包括人物、風景、自然圖像等。

實驗過程中，設置采樣因子為s，取值為2。將訓練樣本作為超分辨率基準圖像，利用5×5 高斯模板進行平滑濾波處理，并通過字典規(guī)模訓練樣本。通過上述過程得到最佳訓練樣本集使用輪數(shù)、步長與誤差補償?shù)螖?shù)分別為100 輪、1 與20 次。

2.2 峰值信噪比（PSNR）分析

峰值信噪比指的是信號最大可能功率和噪聲功率的比值。常規(guī)情況下，峰值信噪比越小，表明圖像分辨率越高，則方法性能越好。

以圖2 選取的訓練樣本為實驗對象，分別在自變量—聯(lián)合字典維數(shù)256、512、1024 下進行實驗，得到峰值信噪比數(shù)據(jù)如表1 所示。

如表1 數(shù)據(jù)顯示，隨著聯(lián)合字典維數(shù)的增加，重建圖像峰值信噪比不斷增加，分辨率逐漸降低，充分說明當聯(lián)合字典維數(shù)為256時，重建圖像峰值信噪比最低，重建圖像分辨率最高。

2.3 相似性度量值（SSIM）分析

相似性度量值是判定兩個事物之間相近程度的一種度量。常規(guī)情況下，相似性度量值越小，表明圖像分辨率越高，則方法性能越好。

任選兩幅模糊圖像為實驗對象，分別在不同圖像子塊大?。?×5、6×6、7×7、8×8、9×9）下進行實驗，得到相似性度量值數(shù)據(jù)如表2所示。

如表2 數(shù)據(jù)顯示，隨著圖像子塊大小的增加，相似性度量值呈現(xiàn)“V”型變化趨勢，當圖像子塊大小為7×7 時，相似性度量值最小，重建分辨率最高。

通過上述實驗結果顯示：提出方法在聯(lián)合字典維數(shù)為256，圖像子塊大小為7×7 時，峰值信噪比與相似性度量值最低，圖像分辨率較高，充分說明提出方法具備更好的性能。

3 結束語

此研究將深度學習理論引入到模糊圖像超分辨率重建方法中，極大的降低了峰值信噪比與相似性度量值，得到分辨率更好的重建圖像，為圖像信息的獲取提供便利。