自適應(yīng)稀疏約束圖像超分辨力重建方法

干宗良，粱秀聚

（南京郵電大學 通信與信息工程學院，江蘇 南京 210003）

在圖像采集處理中，為了提高圖像的分辨力，最直接的辦法是提高硬件設(shè)備的采集能力或圖像增強技術(shù)[1-2]。但這種方式不僅成本高，還受到物理極限的限制。超分辨力重建是一種基于信號處理理論的軟件技術(shù)，能在不改變硬件設(shè)備的情況下有效地提高圖像分辨力，增加細節(jié)和信息[3-4]。它已成為圖像處理領(lǐng)域的一個研究熱點?，F(xiàn)有的超分辨力重建技術(shù)可分為兩類：基于約束集的算法和學習算法。基于約束集的算法就是對圖像獲取過程中的降質(zhì)過程建立先驗模型，通過求解模型的逆問題來重建高分辨力圖像（例如反向迭代投影算法[5]，雙邊濾波反向投影算法[6]）。然而，要達到較好的效果，這類方法不僅需要解決一個圖像亞像素的對齊問題，同時還受到放大倍數(shù)的制約。因此，這種傳統(tǒng)的基于約束集的算法繼續(xù)發(fā)展的潛力有限。學習算法被認為是很有潛力的超分辨力重建算法，得到了很多學者的關(guān)注[7-10]。它是通過學習高低分辨力圖像塊之間的關(guān)系，指導圖像的高頻信息重建。

基于圖像稀疏冗余模型的算法，通過學習訓練集中低分辨力圖像與相應(yīng)的高分辨力圖像之間的關(guān)系，利用這種關(guān)系來指導其他圖像的超分辨力重建，在放大倍數(shù)較大時仍有較好的重建效果。Jianchao Yang等在2008年提出了基于稀疏描述的圖像超分辨力重建技術(shù)[9]，此算法基于壓縮感知理論，信號的稀疏描述可由其下采樣后的信號精確恢復。在解決圖像超分辨力重建問題中可描述為：高分辨力圖像塊的稀疏表示系數(shù)可由相應(yīng)的低分辨力圖像塊精確恢復。在建立一個合適的過完備圖像塊庫后，計算出輸入的低分辨力圖像塊的稀疏線性表示系數(shù)，然后利用這些系數(shù)結(jié)合高分辨力圖像庫，重建相應(yīng)的高分辨力圖像塊。基于稀疏描述方法的缺點是計算復雜度較大。Jianchao Yang等在2010年又對此方法做出了改進，加入了字典訓練過程，并且為確保高、低分辨力圖像塊表示系數(shù)的一致性，對采集到的高、低分辨力圖像塊進行聯(lián)合訓練[10]。相比之前直接利用原圖像塊集，此方法獲得的字典更緊致，在很大程度上降低了重建的計算復雜度。

在實際應(yīng)用中，評價一個圖像超分辨力重建算法的好壞，除比較其重建圖像的主客觀質(zhì)量外，還要考慮其重建的時間消耗?；谙∈杓s束的算法在重建時需要對每個小圖像塊進行稀疏線性表示系數(shù)的計算，其計算復雜度較高。并針對其計算復雜度高的問題，本文提出了一種基于K均值聚類的自適應(yīng)快速重建方法。所提算法從兩個方面降低其計算復雜度：1）分類訓練字典，對圖像塊歸類重建，降低每個圖像塊所用字典的大?。?）對圖像塊的特征進行分析，自適應(yīng)地選擇重建方法。實驗結(jié)果表明，本文提出的快速重建方法在重建質(zhì)量與原算法相當?shù)那疤嵯拢梢暂^大程度地降低重建時間。

1 基于稀疏約束的超分辨力重建算法[8]

稀疏約束是假定高分辨力圖像塊能由一個合適的過完備字典中的原子稀疏線性表示，且其表示系數(shù)能由相對應(yīng)的低分辨力圖像塊獲得

式中：x為高分辨力圖像X中的某圖像塊，為一維向量；Dh為由訓練集中高分辨力圖像塊訓練得到的字典；a為稀疏表示系數(shù)，為一維向量，可由輸入的低分辨力圖像Y中相應(yīng)的圖像塊y，結(jié)合低分辨力圖像塊字典Dl獲得，其中要求字典Dh與Dl通過聯(lián)合訓練獲得。式（1）是一個NP難問題，可以通過松弛算法，將L0范數(shù)問題轉(zhuǎn)換為L1范數(shù)問題。

對于輸入的低分辨力圖像塊y，其稀疏表示系數(shù)a可由式（2）獲得

式中：F是一個特征值提取操作符，用于提取標識本圖像塊的特征。式（2）還可由拉格朗日乘子轉(zhuǎn)換為一個等價的公式

式中：參數(shù)λ用來平衡解的稀疏度與低分辨力圖像塊Y的重建誤差。為實現(xiàn)相鄰圖像塊之間的兼容，需要在對圖像分塊處理時進行一定的重疊，則上述最優(yōu)化問題可轉(zhuǎn)化為

式中：矩陣P提取當前重建塊中與已重建部分的重疊像素；w是重疊區(qū)域的已重建的像素。

式（4）同樣可由拉格朗日乘子轉(zhuǎn)換為一個等價的公式

通過上式求出最優(yōu)解a*后，結(jié)合相應(yīng)的高分辨力字典Dh，即可重建出高分辨力圖像塊

2 基于K均值聚類的自適應(yīng)稀疏描述的快速超分辨力重建方法

2.1 問題描述

首先建一個高、低分辨力圖像塊樣本庫，訓練成大小分別為250，500，1 000，2 000，4 000的字典，然后對同一幅圖像進行重建，記錄其重建消耗的時間。圖1是對兩幅大小不同的圖像重建消耗的時間進行統(tǒng)計的結(jié)果。

從圖1中可以看出，重建消耗的時間與字典的大小近似成線性關(guān)系，因此，有效地降低字典的大小能降低重建消耗的時間。而對樣本圖像塊分類可以有效地降低字典的大小。

在不影響重建效果的前提下，可以用計算復雜度低的算法取代高復雜度的算法。對圖像進行分塊，分別比較雙立方插值與基于稀疏約束模型的重建算法的重建效果，如圖2所示。其中，白色的點標識代表基于稀疏約束的算法優(yōu)于雙立方插值算法，黑色的點標識代表兩個重建效果相差不大，以PSNR值為衡量標準。

圖1 不同大小的字典重建圖像消耗的時間

圖2 雙立方插算法與基于稀疏約束模型的重建算法的比較

從圖2中可以看出，在圖像的平滑區(qū)域，兩種算法的重建效果相差不大，可以用復雜度低的雙立方插值算法取代基于稀疏約束模型的重建算法。因此，在重建過程中，可以根據(jù)圖像塊的特征自適應(yīng)地選擇重建方法，降低算法的計算復雜度。

2.2 算法描述

綜上所述，本文的算法框圖如圖3所示。針對一個待重建的圖像塊：1）首先判斷圖像塊的方差，如果小于預定門限，則直接進行雙立方內(nèi)插，如果大于門限，則進行基于稀疏字典約束的SR重建；2）對于需要進行基于稀疏字典約束的SR重建的圖像塊，根據(jù)分類結(jié)果，選擇合適的字典庫，進行相應(yīng)稀疏約束的重建，如式（5）。

2.2.1 基于K均值聚類的字典庫訓練

在字典訓練階段，先利用K-Means聚類算法[9]對樣本圖像塊進行分類。然后，對每個聚類的圖像塊單獨進行字典訓練，生成K個子字典。其與原訓練字典方法的區(qū)別如圖4所示，圖4b中要求K個聚類子字典大小之和等于未分類字典D的大小。

在圖像的重建過程中，首先對圖像進行分塊，然后對每個待重建的圖像塊進行歸類，選擇其所屬聚類的字典進行重建。其中，對圖像塊的歸類方法是：計算此圖像塊的特征向量與K個聚類的中心點的歐氏距離，比較K個距離的大小，將其歸為距離最小的聚類，如式（7）及式（8）所示

圖4 字典訓練流程圖

式中：y表示圖像塊的特征向量；ci表示第i聚類的中心點。

本文將樣本圖像塊分為8類，圖5是分類前后高分辨力圖像塊的字典。其中，原字典展示的是前80個原子，而分類字典展示的是每一類的前10個原子。

選擇5個圖像塊用上述兩個字典進行重建時的稀疏表示原子進行了跟蹤，如圖6所示。其中，圖6a是低分辨力圖像塊特征放大3倍的結(jié)果，圖6b及圖6c分別是原字典及分類后的字典中用來稀疏線性表示相應(yīng)低分辨力圖像塊的原子，圖中只顯示了稀疏表示系數(shù)較大的前5個原子。

從圖6可以看出，對一個低分辨力圖像塊，在分類后的子字典中找到的稀疏線性表示原子與在原字典中找到的原子的紋理相近，從而可以確保使用分類的子字典進行圖像重建的效果。

2.2.2 自適應(yīng)內(nèi)容的超分辨力重建

對圖像分塊后，先計算每塊圖像的方差，然后根據(jù)方差大小自適應(yīng)地選擇重建方法。如果小于設(shè)定的門限值，則利用雙立方插值進行重建。

在具體實現(xiàn)過程中，由于不同的算法重建的圖像是有一定區(qū)別的，對圖像塊使用不同的重建算法具有一定的拼接效應(yīng)。因此，需要加入局部重建約束，平滑兩種算法的結(jié)合處。

局部重建約束是通過加強基于稀疏約束算法重建的圖像塊與雙立方算法重建結(jié)果的相似性，降低重建圖像的拼接效應(yīng)，其約束條件為

式中：xSR與xBic分別表示基于稀疏約束重建圖像塊的特征向量與雙立方算法重建的圖像塊特征向量；γ為常量。

3 實驗結(jié)果

在仿真實驗中，基于K均值聚類的算法與原算法使用相同的圖像訓練集。圖7是實驗所使用的圖像訓練集，圖8是實驗所使用的測試圖像。與原未分類的算法進行兩方面的比較：1）重建消耗的時間；2）重建圖像的主客觀質(zhì)量。對于原算法，從圖像訓練集中選取20 000個高、低分辨力圖像塊對，然后將其訓練成大小為2 000的字典，其中低分辨力圖像塊大小為3×3，高分辨力圖像塊大小為9×9。對于K均值聚類的算法，在從圖像訓練集中選取樣本圖像塊對后，首先要利用K-Means聚類算法對其分類，本文共分為8類；然后，分別對此8類樣本圖像塊進行字典訓練，其中每類子字典的大小與其所對應(yīng)的樣本庫的大小成正比，所有子字典大小之和為2 000。重建均采用全局約束方式。

對圖8a～圖8f這6幅圖像進行了測試。首先，將原始高分辨圖像進行高斯濾波模糊、3倍下采樣；然后，將降質(zhì)后的圖像用此兩種算法進行重建。其中，降質(zhì)過程所用的高斯核函數(shù)的窗口為5，方差為1。并且在實驗中只對彩色圖像的亮度通道進行重建，而對色差信號只進行簡單的雙立方插值處理。在重建過程中，兩種算法的重建參數(shù)設(shè)置完全相同。相鄰塊之間的重疊為2，放大倍數(shù)為3，全局約束采用迭代反投影算法。

1）重建時間的比較

本文提出的算法的計算復雜度與圖像的紋理特征相關(guān)，重建效率的提高程度因圖而異，下面列出了6幅大小不同的圖像的測試結(jié)果作為參考，見表1。其中，SR算法代表原始算法，兩種算法在相同的測試環(huán)境下運行。從表1中可以看出本文提出的算法在很大程度上縮短了重建時間，平均縮短7倍左右。

表1 兩種算法重建時間的比較

2）重建效果的比較

實驗分別從主觀及客觀兩個方面進行重建質(zhì)量的比較，表2中列出了3幅圖像的重建客觀質(zhì)量，以PSNR及FSIM[10]為衡量標準，并且加入了雙立方插值算法的結(jié)果作為參考，其中SR_glb算法及本文算法均加入了全局重建約束，兩種算法采用相同的全局后處理方法。從表中可以看出，本文提出的快速重建算法在客觀重建質(zhì)量上與原算法相當。

表2 不同算法的客觀重建質(zhì)量

為給出較清晰的主觀視覺的比較，實驗截取了3幅測試圖像的重建結(jié)果，如圖9～圖11所示。從圖中可以看出，與雙立方插值算法相比，基于稀疏約束模型重建的圖像紋理細節(jié)較清晰，且本文提出的快速重建方法保留了原算法的優(yōu)勢，在主觀視覺上與原算法相當。

從以上兩個方面的比較可以得出，本文提出的基于K均值聚類的自適應(yīng)快速重建方法可在保證重建主、客觀質(zhì)量與原算法相當?shù)那疤嵯?，降低基于稀疏約束模型算法的計算復雜度，從而可以縮短圖像超分辨力重建消耗的時間。

4 結(jié)論

本文首先簡要介紹了基于稀疏約束的算法，并針對其計算復雜度高的問題，提出了一種基于K均值聚類的自適應(yīng)快速重建方法。所提算法從兩個方面降低其計算復雜度：1）分類訓練字典，對圖像塊歸類重建，降低每個圖像塊所用字典的大??；2）對圖像塊的特征進行分析，自適應(yīng)地選擇重建方法。實驗結(jié)果表明，本文提出的快速重建方法在重建質(zhì)量與原算法相當?shù)那疤嵯?，可以較大程度地降低重建時間。

[1]任炎輝，李僅偉，畢衛(wèi)紅.一種優(yōu)化參數(shù)的圖像增強算法[J].電視技術(shù)，2012，36（3）：7-10.

[2]俞志峰，張樂，江浩，等.一種提升電視圖像質(zhì)量的自適應(yīng)去隔行算法[J].電視技術(shù)，2010，34（S1）：73-75.

[3]PARK S C，PARK M K，KANG M G.Super-resolution image reconstruction:a technical review[J].IEEE Signal Processing Magazine，2003，5（21）：21-36.

[4]FARSIU S，ROBINSON M D，ELAD M.Fast and robust multiframe super resolution[J].IEEE Trans.Image Processing，2004，13（10）：1327-1344.

[3]IRANI M，PELEG S.Motion analysis for image enhancement:resolution,occlusion and transparency[J].Journal of Visual Communication and Image Representation，1993，4（4）：324-355.

[4]DAI Shengyang，HAN Mei，WU Ying，et al.Bilateral back-projection for single image super resolution[C]//Proc.IEEE Conference on Multimedia and Expo,2007.[S.l.]：IEEE Press，2007：1039-1042.

[5]FREEMAN W T，JONES T R，PASZTOR E C.Example-based super-resolution[J].IEEE Computer Graphics and Applications，2002，22（2）：56-65.

[6]CHANG Hong，YEUNG D Y，XIONG Yimin.Super-resolution through neighbor embedding[C]//Proc.IEEE conference on CVPR.[S.l.]：IEEE Press，2004：275-282.

[7]YANG Jianchao，WRIGHT J，HUANG T，et al.Image super-resolution as sparse representation of raw image patches[C]//Proc.IEEE conference on CVPR.[S.l.]：IEEE Press，2008：1-8.

[8]YANG Jianchao，WRIGHT J，HUANG T，et al.Image super-resolution via sparse representation[J].IEEE Trans.Image Processing，2010，19（11）：2861-2873.

[9]DAVID J C M.Information theory,inference and learning algorithms[M].[S.l.]：Cambridge University Press，2003：284-292.

[10]ZHANG Lin，ZHANG Lei，MOU X，et al.FSIM:A feature similarity index for image quality assessment[J].IEEE Trans.Image Processing，2011，20（8）：2378-2386.