結(jié)合兩種回歸模型的圖像插值算法研究

崔小青，吳曉紅，何小海，季成濤，任 超

CUI Xiaoqing,WU Xiaohong,HE Xiaohai,JI Chengtao,REN Chao

四川大學(xué) 電子信息學(xué)院，成都610065

College of Electronics Information Engineering,Sichuan University,Chengdu 610065,China

1 引言

圖像插值是利用已知低分辨率圖像通過特定算法估計(jì)高分辨率圖像的過程，是數(shù)字圖像處理技術(shù)的一個(gè)重要組成部分。目前，圖像插值技術(shù)已廣泛應(yīng)用于遙感、天文、醫(yī)學(xué)等領(lǐng)域。圖像插值技術(shù)經(jīng)過長(zhǎng)期的發(fā)展，目前主要分為線性插值算法與基于邊緣導(dǎo)向的插值算法兩大類。常用的線性插值算法主要有最近鄰插值，雙線性插值，雙三次插值[1]和樣條插值[2]，該類算法具有計(jì)算快速，復(fù)雜度低等特點(diǎn)，但是由于這些插值算法在對(duì)未知像素進(jìn)行預(yù)測(cè)的時(shí)候，采用的是統(tǒng)一的插值核函數(shù)，因此通常會(huì)造成插值結(jié)果存在邊緣模糊等問題。針對(duì)上述不足，學(xué)者們提出了基于邊緣自適應(yīng)的插值算法。邊緣自適應(yīng)插值主要分為兩個(gè)方向：基于顯性的圖像邊緣插值方法和基于隱性的圖像邊緣插值算法[3-15]?；陲@性的圖像邊緣插值算法首先利用檢測(cè)算子對(duì)圖像邊緣進(jìn)行提取，然后利用檢測(cè)到的邊緣信息對(duì)插值點(diǎn)進(jìn)行引導(dǎo)。常見的檢測(cè)算子有Canny，Zerocross，LoG，Sobel，Prewitt，Robter 及其改進(jìn)算子。此類算法的插值結(jié)果受限于邊緣提取算法的精確程度，但是由于圖像邊緣的隱匿性，邊緣的預(yù)測(cè)往往存在一定的誤差，因此造成該類算法存在一定的局限性，如插值圖像的邊緣銳化不理想?；陔[性的圖像邊緣插值算法可以根據(jù)圖像的局部特征自適應(yīng)地調(diào)整插值核函數(shù)。文獻(xiàn)[3-4]首先計(jì)算圖像的曲率，然后利用圖像的曲率進(jìn)行插值。文獻(xiàn)[5]采用線性最小均方誤差預(yù)測(cè)插值系數(shù)。文獻(xiàn)[6]分別將圖像建模為馬爾可夫隨機(jī)場(chǎng)。文獻(xiàn)[7]基于自然圖像雙向自相似性，提出基于雙向非局部模型插值算法。文獻(xiàn)[8]將非局部自回歸模型加入到稀疏表示模型中，提出一種基于稀疏的圖像插值方法。文獻(xiàn)[9-12]首先通過低分辨率預(yù)測(cè)系數(shù)，利用圖像高低分辨率的幾何對(duì)偶性，自適應(yīng)地求得高分辨率像素值，算法雖然在一定程度上保護(hù)了圖像局部結(jié)構(gòu)，但由于普通最小二乘的局限性，算法的魯棒性不是很好。文獻(xiàn)[13-14]采用基于雙邊濾波的加權(quán)最小二乘算法對(duì)圖像進(jìn)行插值，取得了穩(wěn)定的插值效果，加權(quán)最小二乘可以很好地保障算法的魯棒性，但由于系數(shù)估計(jì)時(shí)局部窗口使用的不合理性，使得插值得到的圖像的細(xì)節(jié)有一定的損失。

針對(duì)上述問題，本文首先分析自然圖像的兩種回歸模型，繼而根據(jù)兩種回歸模型來預(yù)測(cè)圖像的局部結(jié)構(gòu)，并在此基礎(chǔ)上提出新的結(jié)合兩種回歸模型的圖像插值算法。本文將基于幾何對(duì)偶性的普通最小二乘和基于非局部均方的加權(quán)最小二乘相結(jié)合，能夠很好地根據(jù)圖像局部相似性特征對(duì)圖像局部結(jié)構(gòu)的分段統(tǒng)計(jì)穩(wěn)態(tài)區(qū)域進(jìn)行較好的預(yù)測(cè)，從而提高模型估計(jì)的準(zhǔn)確性，改善了現(xiàn)有算法對(duì)模型參數(shù)的估計(jì)存在較大誤差的問題。實(shí)驗(yàn)結(jié)果表明，該算法在提高了算法的魯棒性的同時(shí)，又準(zhǔn)確地估計(jì)了圖像的局部結(jié)構(gòu)。

2 圖像自回歸模型

自然圖像中，相鄰像素點(diǎn)間往往存在著較大的相關(guān)性，對(duì)這種相關(guān)性的建模在圖像去噪、編碼及插值等圖像處理領(lǐng)域中具有較為重要的意義。自回歸模型是對(duì)上述相關(guān)性進(jìn)行建模的較為通用的模型之一[15]。

對(duì)于二維圖像信號(hào)Y(i，j)，可以模擬為分段自回歸模型，即：

其中，空間鄰域結(jié)構(gòu)T中的元素個(gè)數(shù)決定了自回歸模型的階，α(m，n)為線性回歸模型的參數(shù)，ε(i，j)是白噪聲誤差項(xiàng)，服從高斯分布。

對(duì)圖像統(tǒng)計(jì)分析發(fā)現(xiàn)，自回歸模型參數(shù)具有分段統(tǒng)計(jì)穩(wěn)態(tài)性質(zhì)，在插值窗口內(nèi)可以認(rèn)為是固定的，即對(duì)于利用線性回歸模型進(jìn)行預(yù)測(cè)的未知像素存在較小的誤差，這就使得線性回歸模型得以成功應(yīng)用。通過上述分析，圖像插值的目標(biāo)轉(zhuǎn)變?yōu)閷?duì)模型參數(shù)α的估計(jì)?；痉椒ㄊ牵诰植看翱趦?nèi)符合分段統(tǒng)計(jì)穩(wěn)態(tài)性質(zhì)的假設(shè)，通過鄰域像素采樣對(duì)模型參數(shù)α進(jìn)行估計(jì)：

2.1 基于幾何對(duì)偶性的普通最小二乘

文獻(xiàn)[9]認(rèn)為圖像高低分辨率協(xié)方差之間存在幾何對(duì)偶關(guān)系：有限范圍內(nèi)，估計(jì)高分辨率協(xié)方差可通過其相應(yīng)的低分辨率協(xié)方差求解得到。如圖1，局部窗口內(nèi)，通過低分辨率求得的系數(shù)α1，α2，α3，α4可以應(yīng)用于求解高分辨率像素。

圖1 圖像的幾何對(duì)偶性

回歸分析中常用最小二乘法進(jìn)行無偏估計(jì)。對(duì)于適定問題，有：

其中Y=[y1，y2，…，yq2]T，即系數(shù)預(yù)測(cè)的窗口為Q×Q，X是Y周圍的四個(gè)相鄰像素，尺寸大小是Q2×4。

采用最小二乘法，定義損失函數(shù)為殘差的平方，最小化損失函數(shù)：

求導(dǎo)得：

2.2 基于非局部均方的加權(quán)最小二乘

加權(quán)最小二乘是對(duì)原數(shù)據(jù)模型進(jìn)行加權(quán)，使之成為一個(gè)新的不存在異方差性的模型，即存在異方差時(shí)加權(quán)最小二乘是對(duì)系數(shù)模型的最佳預(yù)測(cè)。

二維加權(quán)最小二乘的模型：

W是通過非局部均方得到的對(duì)角線矩陣，是冗余Y-Xα1的加權(quán)系數(shù)。

上述問題是一個(gè)不適定問題，為了解決這一問題，需要將不適定問題轉(zhuǎn)化為適定問題：采用吉洪諾夫正則化[16]（Tikhonov regularization）進(jìn)行系數(shù)修正。

這一式子也被稱為核嶺回歸，其中λ是嶺回歸參數(shù)。用嶺回歸對(duì)加權(quán)最小二乘進(jìn)行補(bǔ)充，損失了無偏性，但卻換取較高的數(shù)值穩(wěn)定性，從而得到較高的計(jì)算精度。加權(quán)最小二乘系數(shù)估計(jì)：

3 結(jié)合兩種回歸模型的圖像插值算法

圖像插值的一個(gè)基本目標(biāo)是，自適應(yīng)地選取合適的已知像素點(diǎn)信息，對(duì)未知像素點(diǎn)進(jìn)行較好的預(yù)測(cè)。上述回歸模型為這種自適應(yīng)的預(yù)測(cè)提供了一種很好的依據(jù)。本章基于該模型提出一種改進(jìn)的自適應(yīng)圖像插值算法，該算法利用圖像高低分辨率的局部協(xié)方差近似相等和自然圖像的非局部自相似性進(jìn)行權(quán)重預(yù)測(cè)，從而完成一個(gè)窗口的插值過程。

3.1 圖像插值描述

令I(lǐng)h表示根據(jù)插值算法對(duì)低分辨率圖像Il（尺寸大小為M×N）插值得到的高分辨率插值圖像，不失一般性，假設(shè)低分辨率圖像Il是由高分辨率圖像Ih在水平和垂直兩個(gè)方向上以因子為2 的隔點(diǎn)下采樣方式得到的。高分辨率圖像Ih的尺寸大小為2M×2N，即Ih=I(i，j)(i=1，2，…，2M，j=1，2，…，2N)，Il可 表 示 為Il=I(2i-1，2j-1)(i=1，2，…，M，j=1，2，…，N)。令xi表示低分辨率像素點(diǎn)，即xi∈Il；令yh表示待插值高分辨率像素點(diǎn)，即yi∈Ih。如圖2，黑色圓點(diǎn)是低分辨率像素，白色圓點(diǎn)和灰色圓點(diǎn)是待插值的高分辨率像素，在插值第一步，算法首先用低分辨率像素插值白色圓點(diǎn)(i+j=偶數(shù))，第二步將窗口旋轉(zhuǎn)45°且將像素間的距離調(diào)整為原來的倍，然后再用插值出來的高分辨率像素和低分辨率像素插值灰色圓點(diǎn)(i+j=奇數(shù))。如圖2 所示。

3.2 插值算法及參數(shù)設(shè)計(jì)

算法將普通最小二乘和加權(quán)最小二乘兩種回歸模型相結(jié)合，實(shí)現(xiàn)對(duì)圖像信號(hào)較好的建模?；谶吘壍钠胀ㄗ钚《朔?，首先計(jì)算低分辨率的協(xié)方差，利用圖像高低分辨率協(xié)方差的幾何對(duì)偶性，將低分辨率協(xié)方差應(yīng)用到求解高分辨率的圖像插值中，可以很好地保護(hù)邊緣，但該算法有一定的局限性：圖像幾何對(duì)偶性的錯(cuò)匹配現(xiàn)象造成插值的不準(zhǔn)確性。加權(quán)最小二乘，因其對(duì)數(shù)據(jù)適應(yīng)的穩(wěn)定性，可以很好地對(duì)幾何對(duì)偶性的錯(cuò)匹配現(xiàn)象進(jìn)行修正，因此，本文將普通最小二乘和加權(quán)最小二乘兩種回歸模型相結(jié)合進(jìn)行系數(shù)求解。

對(duì)加權(quán)最小二乘和普通最小二乘兩種回歸模型進(jìn)行整合，得到：

求導(dǎo)得：

I是單位矩陣，尺寸大小與XTWX一致。λ和η為正則化系數(shù)。

專家學(xué)者對(duì)插值函數(shù)的參數(shù)設(shè)計(jì)[17-18]進(jìn)行研究，采用L曲線法[18]確定嶺回歸參數(shù)λ：

其中：

其中，ρ′、δ′、ρ″、δ″分別代表ρ、δ的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)。求式（11）最大值，得到L曲線的最大曲率Kmax，Kmax所對(duì)應(yīng)點(diǎn)的λ值即為所求嶺參數(shù)。

L曲線法估計(jì)嶺回歸參數(shù)具有理論嚴(yán)密，定位準(zhǔn)確，精度高，且適用性好等特點(diǎn)。

圖2 低分辨率圖像生成及兩步插值示意圖

可以看出，式（12）中η能夠自適應(yīng)地進(jìn)行調(diào)整，從而獲得較好的插值效果。

為了減少計(jì)算量與縮短計(jì)算時(shí)間，本文只在邊緣區(qū)域使用本文插值算法，而在非邊緣區(qū)域使用簡(jiǎn)單的線性插值。邊緣的確定用插值點(diǎn)周圍像素的方差進(jìn)行確定，若方差大于既定閾值，則為邊緣區(qū)域，否則為非邊緣區(qū)域。

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文算法的有效性，本文從KODAK 圖像庫(kù)中選取了8 幅圖像作為測(cè)試圖，如圖3，最終完成客觀評(píng)價(jià)結(jié)果和主觀視覺效果的評(píng)價(jià)。

為了比較不同的插值算法插值圖像的峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM[19]），首先對(duì)原始高分辨率圖像進(jìn)行下采樣得到相應(yīng)的低分辨率圖像，然后分別用經(jīng)典線性插值算法如雙三次[1]（屬于MATLAB 系統(tǒng)程序）、經(jīng)典的基于隱性的邊緣插值算法、傳統(tǒng)的采用單一回歸模型進(jìn)行插值的NEDI[9]、DFDF[5]、SAI[10]、文獻(xiàn)[12]（以下簡(jiǎn)稱JCT）、BSAI[11]和本文算法分別對(duì)低分辨率圖像插值放大。NEDI，DFDF，SAI 是大家所熟知的在自適應(yīng)插值算法中邊緣保持效果較好的算法，而JCT 和BSAI 是近幾年在客觀評(píng)價(jià)結(jié)果和主觀視覺效果均取得較好結(jié)果的插值算法，得到與原始圖像同等分辨率大小的插值圖像，最終完成PSNR 和SSIM[17]的計(jì)算。且為了證明算法的穩(wěn)定性，本文分別選用邊緣紋理較多如圖3（a），3（c），3（h），3（e）和較少如圖3（b），3（d），3（f），3（g）兩種圖形進(jìn)行實(shí)驗(yàn)。

圖3 樣本測(cè)試圖

4.1 客觀評(píng)價(jià)結(jié)果

表1 和表2 給出了幾種插值算法在不同圖像上的PSNR 和SSIM，為了公平比較各個(gè)算法的插值性能，本次實(shí)驗(yàn)均在同一操作系統(tǒng)上的MATLAB 下完成（BSAI和SAI 是作者給出的可執(zhí)行文件），其中PSNR 和SSIM運(yùn)用同一MATLAB 函數(shù)。在計(jì)算時(shí)去掉了圖像9 個(gè)像素（雙三次因其插值圖像特殊性，其后面和下面截取8個(gè)像素）寬度的邊界部分，僅保留了內(nèi)部區(qū)域。從表可以明顯地看出，不管在紋理較多還是在紋理較少的圖像中，和采用單一回歸模型的插值算法相比，本文算法在不同圖像上的PSNR 和SSIM 均有顯著提高，結(jié)果與下文的主觀視覺效果的對(duì)比結(jié)果相一致。

4.2 主觀視覺效果

圖4 和圖5 顯示了不同插值算法在peppers 和girl 的局部區(qū)域的插值效果對(duì)比。從整體效果來看，由于原始圖像在下采樣的過程中丟失大部分像素信息，導(dǎo)致低分辨率圖像的對(duì)比度有明顯降低，因此各插值算法的結(jié)果與原始圖像相比，在圖像對(duì)比度上都有一定程度的降低。與其他算法相比，本文算法對(duì)于邊緣處圖像插值瑕疵和邊緣特征的保持效果更好。

表1 不同插值算法的PSNR 比較 dB

表2 不同插值算法的SSIM 比較 dB

圖4 peppers不同插值方法的比較

圖5 girl不同插值方法的比較

由于基于線性的插值算法在對(duì)整幅圖如4（c），5（c）像進(jìn)行插值放大時(shí)，只是簡(jiǎn)單地采用統(tǒng)一的插值核函數(shù)，由此得到的插值圖像在邊緣處有明顯的鋸齒現(xiàn)象，而基于隱性的邊緣插值算法如圖4（d）～4（h）、5（d）～5（h），雖然可以根據(jù)圖像邊緣和紋理進(jìn)行自適應(yīng)插值，但是因?yàn)槭遣捎脝我坏幕貧w模型進(jìn)行插值，插值魯棒性較差，仍然存在嚴(yán)重的邊緣模糊和不平滑現(xiàn)象，而本文算法4（i），5（i）較好地改善了其他算法在圖像邊緣部分的模糊和鋸齒效應(yīng)，提高了圖像的魯棒性，對(duì)統(tǒng)計(jì)量的估計(jì)更加準(zhǔn)確，圖像邊緣特征保持得更好。

5 結(jié)束語(yǔ)

本文首先將自然圖像信號(hào)進(jìn)行分析建模，然后提出一種基于自回歸模型的圖像插值算法。算法將普通最小二乘和加權(quán)最小二乘相結(jié)合，并在加權(quán)最小二乘時(shí)用嶺回歸進(jìn)行系數(shù)修正，既保護(hù)了圖像的幾何結(jié)構(gòu)又保證了算法的魯棒性，實(shí)驗(yàn)證明本文算法在主觀視覺效果和客觀圖像質(zhì)量評(píng)價(jià)結(jié)果上均優(yōu)于其他幾種算法，且對(duì)自然圖像中的邊緣特征保持得較好。

[1] Keys R C.Cubic convolution interpolation for digital image processing[J].IEEE Transactions on Acoustics，Speech and Signal Processing，1981，ASSP-29（6）：1153-1160.

[2] 蘇江寬.基于B 樣條的圖像插值算法研究[D].廣州：廣東工業(yè)大學(xué)，2014.

[3] Giachetti A，Asuni N.Real-time artifact-free image upscaling[J].IEEE Transactions on Image Processing，2011，20（10）：2760-2768.

[4] Kim H，Cha Y，Kim S.Curvature interpolation method for image zooming[J].IEEE Transactions on Image Processing，2011，20（7）：1895-1903.

[5] Zhang Lei，Wu Xiaolin.An edge-guided image interpolation algorithm via directional filtering and data fusion[J].IEEE Transactions on Image Processing，2006，15（8）：2226-2238.

[6] Li M，Nguyen TQ.Markov random field model-based edgedirected image interpolation[J].IEEE Transactions on Image Processing，2008，17（7）：1121-1128.

[7] Zhang Xuande，F(xiàn)eng Xiangchu，Wang Weiwei，et al.Twodirection nonlocal model for image interpolation[J].Technological Sciences，2013，56（4）：930-939.

[8] Dong Weisheng，Zhang Lei，Lukac R，et al.Sparse representation based image interpolation with nonlocal autoregressive modeling[J].IEEE Transactions on Image Processing，2013，22（4）：1382-1394.

[9] Li Xin，Orchard M T.New edge-directed interpolation[J].IEEE Transactions on Image Processing，2001，10（10）：1521-1527.

[10] Zhang Xiangjun，Wu Xiaolin.Image inerpolation by adaptive 2-D autoregressive modeling and soft-decision estimation[J].IEEE Transactions on Image Processing，2008，17（6）：887-896.

[11] Hung K W，Siu W C.Fast image interpolation using the bilateral filter[J].Image Processing，The Institution of Engineering and Technology，2012，6（7）：877-890.

[12] 季成濤，何小海，符耀華，等.一種基于正則化的邊緣定向插值算法[J].電子信息學(xué)報(bào)，2014，36（2）：293-297.

[13] Hung Kwok-Wai，Siu Wan-Chi.Robust soft-decision interpolation using weighted least squares[J].IEEE Transactions on Image Processing，2012，21（3）：1061-1069.

[14] Liu Xianming，Zhao Debin，Xiong Ruiqin，et al.Image interpolation via regularized local linear regression[J].IEEE Transactions on Image Processing，2011，20（12）：3455-3469.

[15] 任杰，劉家瑛，白蔚，等.基于隱式分段自回歸模型的圖像插值算法[J].軟件學(xué)報(bào)，2012，23（5）：1248-1259.

[16] Tikhonov A N.Regularization of incorrectly posed problems[J].Soviet Mathematical Doklady，1963，4：1624-1627.

[17] 孫梅蘭，朱功勤，謝進(jìn).構(gòu)造有理插值函數(shù)的一種參數(shù)法[J].計(jì)算機(jī)工程與應(yīng)用，2014，50（19）：47-52.

[18] 郭黎.單視頻超分辨率重建算法研究[D].成都：四川大學(xué)，2013.

[19] Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：From error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13（4）：600-612.