二階廣義全變分耦合非局部變換域模型的圖像放大*

海 濤 ，鮑宜帆 ，潘浩浩

(1.南陽師范學院 機電工程學院，河南 南陽 473061；2.河南省毫米波無線通信射頻前端及天線工程研究中心，河南 南陽 473061；3.河南省車輛零部件智能制造工程研究中心，河南 南陽 473061；4.南京理工大學 光電學院，江蘇 南京 210094；5.南陽農(nóng)業(yè)職業(yè)學院，河南 南陽 473061)

0 引言

圖像放大實現(xiàn)了單幅圖像分辨率增強，在圖像處理中有廣泛應用。利用全變分TV 模型(Total Variation，TV)對圖像進行放大[1]，在圖像邊緣處理上有較好的處理效果，在平滑圖像存在階梯效應的不足。Bredies 提出了廣義全變分(Total Generalized Variation，TGV)，是對全變分模型擴展的新模型[2]，解決了圖像在平滑區(qū)域的階梯效應，可以逼近高階多項式，并且具備下半連續(xù)性，凸性和旋轉(zhuǎn)不變性。TGV 在圖像放大中得到應用，并取得了較好的效果[3]。

TGV 雖然較好地避免了階梯效應，但是在弱邊緣和細節(jié)部分處理效果提升并不大[4]。文獻[5]采用TGV 和剪切波相結(jié)合的方法改善弱邊緣和細節(jié)的增強；文獻[6]提出了加權(quán)TGV 模型用于圖像放大，增強其對弱邊緣和細節(jié)的處理效果，通過非局部廣義全變分實現(xiàn)對光流圖形進行處理，很好地解決了弱邊緣和細節(jié)處理效果。本文通過實現(xiàn)TGV 與非局部變換模型相結(jié)合的方法實現(xiàn)對圖像弱邊緣和細節(jié)的分辨率增強。

1 非局部變換域模型

文獻[7]提出了三維塊匹配(Block-Matching and 3D filtering，BM3D)算法，BM3D 是一種非局部思想在變換域?qū)崿F(xiàn)的一種處理方法，其基本思想基于圖像中存在相似的圖像塊，通過尋找相似的圖像塊，集合成一個三維的數(shù)據(jù)組，由于圖像塊的之間的相似性，三維的數(shù)據(jù)在變換域是一個稀疏的分解，利用這種稀疏性進行處理。

其中，Φ=Φ3DPJ，Ψ=WΨ3D。

2 基于TGV 耦合非局部變換域模型的圖像放大

TGV 模型改進了全變分模型的階梯效應，保留了圖像一階線性結(jié)構(gòu)，但并未完全解決偏微分方程恢復紋理及弱邊緣存在的不足，非局部變換域利用圖像的全局信息，能夠較好地恢復自然圖像中紋理和弱邊緣，本文提出一種廣義二階全變分自適應耦合非局部變換域模型的圖像放大算法。

2.1 低分辨率圖像獲取模型

文獻[9]給出圖像的離散的退化模型如式(2)所示：

其中，h(i，j)是圖像獲取硬件的點擴散函數(shù)，為低通濾波器；*為卷積運算；↓M 為下采樣矩陣；u(i，j)為理想的高分辨率圖像，而v(i′，j′)為當前的低分辨率圖像。各項以字典排序方法轉(zhuǎn)換為矩陣表示法：u(i，j)用u 表示，v(i′，j′)用v 表示，H 表示包涵下采樣操作的h(i，j)，可得到模型的矩陣表示：v=Hu。

由式(2)可得到基于圖像獲取模型的約束能量函數(shù)：

2.2 TGV 耦合非局部變換域的圖像放大模型

TGV 模型在圖像邊緣有較好的實現(xiàn)并且能夠去除平滑圖像的階梯效應，非局部變換域模型能夠較好重建細節(jié)和弱邊緣，綜合其優(yōu)點，得到本文放大模型。偏微分方程的變分模型優(yōu)點之一是能夠很容易實現(xiàn)和其他模型的耦合，具體實現(xiàn)方法是TGV 作為懲罰項直接加入非局部變換域變分模型式(2)，同時增加圖像獲取的約束能量函數(shù)，可以得到本文提出算法的實現(xiàn)模型如式(4)：

取k=2 得到二階TGV 模型，得到式(5)：

最小化J(u，ω)得到放大圖像u 為模型式(5)的最優(yōu)解：(u*，ω*)=minJ(u，ω)。

2.3 TGV 耦合非局部變換域的圖像放大模型實現(xiàn)

式（5）中，兩個約束項u=Ψω 和ω=Φu 是一對可逆的正交變換對，對兩個變量去耦合并除去其常量項可得：

可以看出式(6)為受約束的二階TGV 模型，實現(xiàn)對圖像的銳化操作，而式(7)為p 階非局部變換域模型，本文取p=1 為圖像的去噪操作。

本文放大模型實現(xiàn)通過逐次逼近方法求解式(6)和式(7)最優(yōu)化解即可求得放大模型(5)的鞍點，進而得到高分辨率圖像。

2.3.1 受約束的二階TGV 模型實現(xiàn)

式(6)中第二項為退化模型式(3)的約束項，考慮采用文獻[10]提出的拉普拉斯框架下采用雙正交濾波器實現(xiàn)可逆重建，如圖1 所示。

圖1 拉普拉斯重建

公式實現(xiàn)如式(8)所示：

其中，d(i，j)為銳化后圖像與初始圖像相比圖像增加的細節(jié)和邊緣部分。對正則化處理后的圖像求出d(i，j)，代入式(8)，求出的新圖像完全滿足約束模型式(3)。

式(6)的求解可以轉(zhuǎn)化為在式(8)拉普拉斯雙正交重建框架下求解式(9)的最優(yōu)解。

采用文獻[11]一階原始-對偶算法實現(xiàn)式(9)的最優(yōu)化求解如下：

2.3.2 一階非局部變換域模型實現(xiàn)

一階非局部變換域模型即式(7)p=1 的實現(xiàn)采用文獻[13]的變換域硬閾值法求解，即：

迭代實現(xiàn)為：

2.3.3 本文模型的實現(xiàn)

本文采用逐次逼近方法求解式(6)和式(7)最優(yōu)化解即可求得放大模型(5)的鞍點，得到高分辨率圖像。

具體實現(xiàn)過程如下：

輸入：v(低分辨率圖像)；h(設(shè)備退化函數(shù))。

初始化：確定h →g，Φ，Ψ，u0=(v(i′，j′)↑M)*g(i，j)=Gv，ω0=Φu0，t=0，θ←0，θˉ←0，uˉ←u0，p←0，q←0，δ＞0，τ＞0。重復以下操作：

(1)銳化：

①迭代實現(xiàn)式(10)；

②拉普拉斯雙正交重建：

(2)去噪聲：

直到uk+1-uk＜ε，結(jié)束迭代；否則，繼續(xù)從步驟(1)開始。

3 仿真實驗結(jié)果及比較

實驗設(shè)計如下：給定高分辨率圖像(標準圖像)如圖2所示，利用給出的低通濾波器h 低通濾波后下采樣，得到退化圖像如式(3)所示，進行按給定倍數(shù)進行分辨率增強。與給定的高分辨率圖像進行比較，比較主觀視覺效果，相應的峰值信噪比(Peak Signal to Noise Ratio，PSNR)和平均結(jié)構(gòu)相似性測度(Mean Structural Similarity Measure，MSSIM)用戶驗證算法放大效果[14]。

圖2 仿真圖像

實驗參數(shù)設(shè)置如下，4 倍放大時(縱向2 倍放大，橫向2 倍放大)，根據(jù)文獻[2]正則化參數(shù)λ 約為正則化參數(shù)τ1的1/6，本文正則化參數(shù)選擇為λ=0.001 7，τ1=0.008 7，γ=0.000 55，ξ=1；TGV 正則化求解參數(shù)選擇為δ=τ=1/3，α1=1，α0=4。h(i，j)濾波器由一維濾波器h(i)=(0.5，1，0.5)張量積擴展得到，對應的g(i，j)由一維濾波器g(i)=(-1/8，2/8，6/8，2/8，-1/8)通過張量積擴展得到。16 倍放大由兩個4 倍放大串聯(lián)實現(xiàn)。

為驗證算法的有效性，選擇以下算法進行比較：文獻[3]的基于小波變換的TGV 圖像放大算法、文獻[15]的基于BM3D 進行放大的算法(簡稱為BM3D 算法)、文獻[16]的TV 耦合非局部均值濾波器(簡稱TV-NLF)算法、文獻[17]的改進的復擴散耦合非局部均值濾波器(簡稱ICF-NLF)算法，后兩種算法都運用局部的偏微分方程耦合非均值濾波器實現(xiàn)放大，所有比較算法均采用文獻中最佳參數(shù)。

圖3 為Lena 圖像白色方框4 倍放大實現(xiàn)，在原始圖像圖3(a)中的黑框位，TV-NLF 算法(即圖3(d))存在一定的階梯效應，其他圖像效果要好一些；TGV 圖像雖然在圖像中帽檐的強邊緣有較好的鋸齒波，但是存在一定彎曲。圖3(c)BM3D 算法邊緣存在模糊現(xiàn)象，本文算法在邊緣有較好效果,主要原因是TGV 耦合了非局部變換域模型較好地去除了邊緣的震蕩引起的扭曲，在眼睫毛處也有較好的細節(jié)小邊緣處理效果。

圖3 4 倍放大部分Lena 圖像

圖4～圖6 為仿真圖像16 倍放大圖像。由圖5 的帽檐紋理和頭發(fā)可以看出，本文算法較好地保留了小邊緣和紋理細節(jié)，相對于TGV 算法，帽子上部的紋理和小邊緣效果更好，達到其他采用非局部方法處理的效果；BM3D 算法中的強邊緣效果較差，存在較大鋸齒波，其他采用二階微分方程的算法不存在這一問題。由圖5 的Pepper 的柄可以看出，本文算法鋸齒波效應較小，其他算法存在不同程度的鋸齒波。圖6 同樣顯示了本文算法弱小邊緣的紋理效果最好，可由圖7 的部分放大圖像得到進一步驗證。

圖4 16 倍放大Lena 圖像

圖5 16 倍放大Pepper 圖像

圖6 16 倍放大Flower 圖像

由圖7 圖像可以看出，本文算法在頁面的紋理細節(jié)方面達到了TV-NLF 算法放大、CF-NLF 算法放大和BM3D 算法良好水平，同時優(yōu)于TGV 算法，本文算法在花蕊柄的邊緣效果更好。放大實驗結(jié)果PSNR 和MSSIM如表1 所示，本文算法在PSNR 和MSSIM 都有最好的仿真結(jié)果。

表1 仿真圖像PSNR 和MSSIM

圖7 16 倍放大部分Flower 圖像

4 結(jié)論

本文提出了一種基于TGV 耦合非局部變換域模型的圖像放大算法，該算法能夠較好地利用TGV 模型和非局部變換域模型的優(yōu)點，得到了較好的放大效果。仿真實驗證明，本文算法改進了TGV 算法小邊緣和細節(jié)處理能力不足的缺點，同時避免了非局部變換域在強邊緣部分的放大處理鋸齒波明顯的不足，具有較好的視覺效果。與其他放大算法進行比較，PSNR 和MSSIM 也取得了較好數(shù)值，進一步證明本文提出算法具有較好的性能。進一步優(yōu)化算法中的各個參數(shù)，以便實現(xiàn)全局信息和局部信息的最佳耦合是該算法下一步努力的方向。