基于角點保護的偏微分方程圖像插值方法

肖志濤 馮鐵君 張 芳 耿 磊 吳 駿 李月龍 王丹鈺 陳 穎

?

基于角點保護的偏微分方程圖像插值方法

肖志濤①馮鐵君①張 芳*①耿 磊①吳 駿①李月龍②王丹鈺①陳 穎①

①(天津工業(yè)大學電子與信息工程學院 天津 300387)②(天津工業(yè)大學計算機科學與軟件學院 天津 300387)

圖像插值是數(shù)字圖像處理領域中的一個基本問題，利用插值技術可以實現(xiàn)圖像的縮放和圖像恢復。傳統(tǒng)的插值方法易使邊緣產生鋸齒效應或使插值結果模糊不清。該文提出一種基于角點保護的偏微分方程插值方法。該方法針對圖像中不同的特征進行特定插值，在保持邊緣結構清晰的同時，還能保護尖銳的角形結構，有效改善插值后圖像的整體視覺效果和峰值信噪比。此外，對方程的主要參數(shù)進行分析，提出了相應的參數(shù)確定方法，從而提高該方法的適用性。

圖像插值；圖像放大；偏微分方程；角點；邊緣

1 引言

圖像插值是數(shù)字圖像處理中的基本問題之一，常用于圖像放大，是由一個低物理分辨率(Low Physical Resolution, LPR)的模糊圖像插值重建對應高物理分辨率(High Physical Resolution, HPR) 的清晰圖像，在醫(yī)學圖像分析、航空航天、廣告宣傳等許多領域有重要作用[1]。傳統(tǒng)的插值方法，包括最近鄰插值、雙線性插值等操作簡單，速度快，但會使圖像的處理結果產生鋸齒狀邊緣。高分辨率插值方法包括雙三次插值、三次B樣條插值以及Newton Thiele插值[2]等，雖然可以平滑邊緣鋸齒，但都需要使用一些已知的光滑函數(shù)或函數(shù)結構，這些固定函數(shù)的局限性勢必會影響圖像質量，而且放大倍數(shù)越大，圖像質量受此影響越多。

為了克服這些不足之處，引入了基于偏微分方程[3](Partial Differential Equation, PDE)的圖像插值方法。文獻[4]提出了經典的各向異性擴散PM模型，其擴散函數(shù)是隨圖像局部性質變化而變化，它能夠起到保護圖像邊緣的作用。文獻[5]提出以熱傳導方程為模型進行插值，該方法運算量小、處理時間短、圖像具有較好的平滑性，但迭代次數(shù)較多時，圖像的邊緣信息就會大量丟失，從而造成邊緣模糊的現(xiàn)象。文獻[6]提出基于邊緣增強的方向擴散PDE，利用邊緣停止函數(shù)抑制邊緣法線方向的擴散，達到保護邊緣的目的。文獻[7]把方向擴散PDE與角點約束算法相結合，抑制方向擴散PDE在角形區(qū)域及邊緣處的擴散，進而提高圖像視覺效果。文獻[8]為解決四階PDE產生的過度平滑問題，提出基于邊緣檢測的四階PDE，減少了方程在圖像邊緣的擴散。應用PDE處理圖像涉及到一個非常重要的問題，即方程參數(shù)的選擇問題。方程的參數(shù)包括兩種，一是方程的內部參數(shù)，如擴散系數(shù)和保真系數(shù)等。另一種是對方程進行離散求解時用到的參數(shù)，參數(shù)的選取是否恰當與PDE模型的插值效果直接相關，甚至影響方程的穩(wěn)定性。

本文引進角點保護算子與邊緣沖激濾波器結合，根據(jù)圖像的不同特征在相應位置采用不同的插值策略，從而更好地保護圖像邊緣和角點。本文主要有兩個目的。第一，為了實現(xiàn)對角點結構的自適應保護，在方程中引入角點保護算子作為擴散系數(shù)；第二，分析并得出離散求解偏微分方程的最優(yōu)參數(shù)，包括保真項系數(shù)、擴散項系數(shù)、時間步長和迭代次數(shù)。

2 基于角點檢測算子約束的PDE圖像插值算法

2.1圖像插值的退化建模

退化建模是圖像插值中的首要問題，即建立高分辨率圖像(HPR)和低分辨率圖像(LPR)之間的關系。假設HPR與LPR圖像的采樣因子之比為，可建立式(1)退化模型。

2.2 圖像的角點求取

角點是圖像的重要特征，在圖像匹配、目標跟蹤、圖像建模等領域具有重要的應用。為了保證圖像處理結果的視覺效果和圖像質量，保持圖像細節(jié)，必須在插值放大過程中保護角點。

在本文中，利用散布矩陣(scatter matrix)求取角點，其公式定義為

考慮局部鄰域可以識別角形結構，角點計算公式為

由于散布矩陣是根據(jù)圖像的局部鄰域結構特征識別和確定角形結構，因此基于散布矩陣求取的角點比基于差分算子求取的角點更穩(wěn)定，抗噪性更好[9]。

2.3基于角點檢測算子約束的PDE圖像插值算法

PDE圖像處理方法[10]把圖像處理變換看做PDE的算子，利用PDE將初始圖像變形，通過求解偏微分方程完成圖像插值放大。

基于PDE的圖像插值算法主要以邊緣增強的方向擴散偏微分方程為代表[6]：

上述邊緣增強的偏微分方程圖像插值算法雖然可以充分保護圖像邊緣，但方程中沒有針對角形結構進行相應保護，導致插值結果圖像中角形結構鈍化，使原本尖銳的特征角點變?yōu)槠交膱A形結構。文獻[7]提出了一種角點檢測算子約束的偏微分方程圖像插值算法，其基本思想是在每個角點對應的角形區(qū)域建立半徑為的圓形(記為屏障指示函數(shù)：

3 基于角點保護算子的PDE圖像插值算法

由2.3節(jié)可知，角點檢測算子約束的PDE圖像插值算法雖然能夠保護角點，但是屏障指示函數(shù)內部擴散被完全禁止，導致過分保護角點，使角點處與邊緣銜接不自然，影響圖像質量。為了在保護角點結構同時不影響圖像的視覺效果，本文根據(jù)邊緣停止函數(shù)[4]，推導出角點保護算子,表示圖像的角點。這樣，基于角點保護算子的PDE圖像插值算法可以表述為

4 PDE參數(shù)分析

4.1 偏微分方程的離散差分形式

由于圖像是以像素為單位存儲在計算機中的，所以在用PDE對圖像進行處理時，首先要對其進行離散化[12]。假設離散差分步長為，在方程的演化過程中，時刻的演化圖像可以表示為。點處，時刻的時間差分可以用一個前向差分來計算，即

采用的空間差分為

求解插值圖像過程中，需要用到兩類參數(shù)。一類是方程的內部參數(shù)，包括邊緣沖激函數(shù)系數(shù)，保真項系數(shù)、邊緣停止函數(shù)和角點保護算子中的，一般取經驗值0.025[6]；另一類是方程的離散求解參數(shù)，包括擴散系數(shù)和最優(yōu)停止時間(即迭代次數(shù))。這些參數(shù)的取值對插值結果有重要影響，下面通過實驗分析得出,,的最優(yōu)值，并實現(xiàn)的自適應選取。

圖1 變化曲線

4.3保真項系數(shù)

4.4 離散差分步長

圖2 每個迭代200次對應PSNR曲線

圖3(a1)~圖3(a4)給出了4幅測試圖像，圖3(b1) ~圖3(b4)為4幅測試圖像在循環(huán)過程中得到的最大PSNR的變化曲線，從實驗結果可以看出，當= 0.25時PSNR達到最大值，或小于0.25時PSNR最大值的變化趨于平緩。因此本文取0.25。

圖3 插值圖像在不同差分步長取值下的最大PSNR變化曲線及不同迭代次數(shù)下的清晰度曲線

4.5迭代次數(shù)

對像素復制圖像進行插值時，清晰度先增后減，清晰度隨迭代次數(shù)的變化曲線如圖3(c1)~圖3(c4)所示。初始像素復制圖像邊緣很模糊，清晰度低；隨著插值的進行邊緣細節(jié)逐漸加強，清晰度上升至最大值；若迭代次數(shù)繼續(xù)增大，清晰度反而會下降，這是因為迭代次數(shù)過多時，會導致方程對像素間的灰度融合作用大于灰度插補作用。因此，應選擇清晰度最高點對應的迭代次數(shù)。本文利用清晰度比值(Resolution Ratio) RR選擇迭代次數(shù)，設R和R分別對應迭代結果和初始圖像(即LPR圖像的像素復制圖像)的清晰度，定義。設定迭代時間間隔為4.4節(jié)中得到的經驗數(shù)值，。為了得到該最高點，同時避免迭代過程中有可能出現(xiàn)的小幅度波動的干擾，當滿足式(19)時，對應的迭代次數(shù)即為最優(yōu)迭代次數(shù)。同樣對圖3(a1)~ 圖3(a4)中的4幅圖像進行測試，最優(yōu)迭代次數(shù)分別為1=64,2=143,3=116,4=66。

5 實驗與結果分析

利用本文方法對圖像進行插值放大。為了說明本文方法的優(yōu)勢，與幾種典型的PDE插值方法進行對比。采用插值圖像的PSNR和圖像熵值，同時結合主觀視覺效果(包括邊緣清晰度及鋸齒效應、角形尖銳度、邊緣附近和平坦區(qū)域中的振鈴效應)對插值算法進行客觀和主觀綜合評價[14,15]。

實驗1 運用本文提出的基于角點保護算子的PDE，以圖3(a1)為例結合給出的參數(shù)確定方法對LPR圖像的像素復制圖像進行插值處理，并與四階PDE[16]、方向擴散PDE、角點檢測算子約束的PDE進行比較。原始HPR圖像如圖4(a)所示，大小為256×256像素，根據(jù)退化模型式(2)將圖4(a)進行4倍率下采樣，得到64×64的LPR圖像，如圖4(b)所示。對LPR圖像進行像素復制，得到256×256大小的灰度圖像，如圖4(c)所示，作為插值初始圖像，分別利用上述4種方法對圖4(c)進行插值處理。在本實驗中，取，用4.3節(jié)算法計算。圖4(d)~圖4(g)分別展示了上述4種方法插值結果的局部放大圖像(選取圖4(c)中白色框內的部分)，可以明顯看出圖4(d)效果明顯模糊；圖4(e)效果雖然邊緣清晰但是角點鈍化，細節(jié)丟失；圖4(f)效果明顯優(yōu)于前兩種方法，但是由于其方法在插值過程中角點處的擴散被完全禁止，導致角點突兀，圖像整體效果不自然；圖4(g)效果圖特征更為清晰，邊緣角點過渡自然，提高了整體視覺效果。為了證明本文自適應算法的普適性，對圖3(a1)~圖3(a4)組中的所有圖像用4種插值方法進行插值，并對結果進行定量評價，如表1所示。可以看出，本文方法得到的插值結果PSNR值最大，而四階PDE的插值結果PSNR值最小，這是因為四階PDE不能有效保護邊緣信息，造成了圖像模糊；此外本文方法插值圖像的信息熵僅次于四階PDE，后者在邊緣模糊的情況下仍能獲得最高的信息熵，說明它在本應平坦的區(qū)域內部引入了噪聲。綜合兩個評價指標，本文插值結果在信噪比最大的基礎上圖像信息量高，說明本文方法在保持圖像細節(jié)，包括邊緣和角型結構時更具優(yōu)勢。

圖4 4種方法插值結果比較

表1各方法PSNR及H數(shù)值比較

實驗2 運用本文提出的基于角點保護算子的PDE對LPR圖像直接進行插值放大。在該組實驗中LPR圖像如圖5(a)所示，分別用上述4種方法進行直接插值放大。直接插值放大時，極易產生邊緣鋸齒效應，因此在處理時應加強切線方向濾波強度以平滑鋸齒，所以本實驗中取，其他參數(shù)為，用4.3節(jié)給出的算法計算。4種方法的處理結果如圖5所示。用清晰度對插值結果進行客觀評價，4種方法的清晰度分別為32.37, 35.56, 33.73, 36.66。本文方法得到的結果清晰度最高，說明該方法可以有效保護圖像中的邊緣和角點結構。

圖5 4種方法直接插值放大效果圖

實驗3 去除圖像邊緣的鋸齒。在此項實驗中，原始圖像的鋸齒非常明顯，由于待處理圖像與期望的處理結果出入較大，為了有效去除鋸齒，需要減少保真項的比重，并加強切線方向的平滑強度。因此本實驗中取保真項系數(shù)。本文給出了兩組實驗結果，如圖6所示。最優(yōu)迭代次數(shù)分別為和，其他參數(shù)同取。對于兩組結果，方向PDE插值方法所得到的結果圖清晰度分別為28.99和29.25，而利用本文方法插值的結果圖清晰度為32.89和39.54，表明本文方法得到的插值結果更加清晰。從圖6中也可明顯看出，兩種方法都能有效去除邊緣鋸齒，但相比于方向擴散PDE插值方法而言，本文方法在保持圖像角點結構的尖銳性方面效果更佳。

圖6去除鋸齒效果圖

實驗4 對含噪圖像進行插值處理。由于PDE插值方案中融入了灰度值擴散的思想，因此在插值的同時具有一定的濾波去噪功能[17]。圖7(a)對圖4(c)加入了方差為15的高斯噪聲，分別用方向擴散PDE、角點檢測約束PDE和本文算法進行插值，結果如圖7所示。由于噪聲圖像局部梯度較高，為了有效濾除噪聲，需要加強濾波強度，因此本實驗中取，其他參數(shù)取，用4.3節(jié)算法計算。圖7(b)圖7(d)分別是3種方法插值結果的局部放大圖像(選取圖7(a)中白色框內的部分)，可明顯看出圖7(b)邊緣嚴重模糊；圖7(c)雖然清晰但是角點處過于突兀；圖7(d)整體效果清晰，且邊緣角點過渡自然。經計算3種方法插值結果的PSNR值分別是75.14, 77.10, 77.78，本文方法優(yōu)于前兩種方法。

圖7 對含噪圖像的插值效果圖

6 結論

本文針對圖像邊緣和角點在插值放大后出現(xiàn)模糊造成細節(jié)丟失等問題，提出了基于角點保護算子的PDE圖像插值方法，有效控制不同特征像素點的擴散速度，在圖像的平滑區(qū)域得到充分插值的同時，有效保護圖像邊緣和角點等重要信息。此方法不僅可以消除邊緣鋸齒效應，也可以抑制角形區(qū)域的擴散，并用實驗證明了此方法的可行性和優(yōu)勢。在此基礎上，本文還分析了各參數(shù)的取值范圍，解決了嘗試性選取參數(shù)的盲目性。將本文方法應用于圖像插值放大中，定性和定量分析均表明了本文方法的有效性。

參考文獻

[1] Jha A, Kumar A, Schaefer G,.. An efficient edge preserving image interpolation algorithm[C]. 3rd International Conference on Informatics, Electronics & Vision (ICIEV), Dhaka, Bangladesh, 2014, DOI:10.1109/ ICIEV.2014.6850820.

[2] Yang Z, Lu F, and Guan L. Image enlargement and reduction with arbitrary accuracy through scaling relation of B-spline[J]., 2001, 13(9): 824-827.

[3] Sarti A, Mikula K, Sgallari F,. Evolutionary partial differential equations for biomedical image processing[J]., 2002, 35: 77-91.

[4] Perona P and Malik J. Scale-space and edge detection using anisotropic diffusion[J]., 1990, 12(7): 629-639.

[5] 朱寧, 吳靜, 王忠謙. 圖像放大的偏微分方程方法[J]. 計算機輔助設計與圖形學學報, 2005, 39(3): 124-132.

Zhu Ning, Wu Jing, and Wang Zhong-qian. Image zooming based on partial differential equations[J].-, 2005, 39(3): 124-132.

[6] Aly H and Dubois E. Image up-sampling using total-variation regularization with a new observation model[J]., 2005, 14(10): 1647-1659.

[7] 邵文澤. 基于圖像建模理論的多幅圖像正則化超分辨率重建算法研究[D]. [博士論文], 南京理工大學, 2008.

Shao Wen-ze. Image modeling based regularized multi-frame super-resolution reconstruction[D]. [Ph.D. dissertation], Nanjing University of Science and Technology, 2008.

[8] 張帆. 基于偏微分方程與邊緣檢測的圖像去噪算法[J]. 計算機工程與設計, 2014, 35(2): 562-566.

Zhang Fan. Partial differential equation and edge detection based image denoising algorithm[J]., 2014, 35(2): 562-566.

[9] Shao W and Wei Z. Edge-and-corner preserving regularization for image interpolation and reconstruction[J]., 2008, 26(12): 1591-1606.

[10] 季成濤, 何小海, 符耀慶, 等. 一種基于正則化的邊緣定向插值算法[J]. 電子與信息學報, 2014, 36(2): 293-297.

Ji Cheng-tao, He Xiao-hai, Fu Yao-qing,An edge directed interpolation algorithm based on regularization[J].&, 2014, 36(2): 293-297.

[11] Bini A and Bhat M. Selective image smoothing and feature enhancement using modified shock filters[C]. 8th Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology (ECTI) Association of Thailand-Conference, Khon Kaen, 2011: 991-994.

[12] Zhang F, Liu W, Tang C,.. Variational denoising method for electronic speckle pattern interferometry[J]., 2008, 6(1): 38-40.

[13] 郭茂銀. 基于四階偏微分方程的并行圖像去噪研究[D]. [碩士論文], 重慶郵電大學, 2011.

Guo Mao-yin. The parallel image denoising research based on fourth-order PDE[D]. [Master dissertation], Chongqing University of Posts and Telecommunications, 2011.

[14] 李朝鋒, 唐國鳳, 吳小俊, 等. 學習相位一致特征的無參考圖像質量評價[J]. 電子與信息學報, 2013, 35(2): 484-488.

Li Chao-feng, Tang Guo-feng, Wu Xiao-jun,. No-reference image quality assessment with learning phase congruency feature[J].&,2013, 35(2): 484-488.

[15] 姜求平, 邵楓, 蔣剛毅, 等. 基于視覺重要區(qū)域的立體圖像視覺舒適度客觀評價方法[J]. 電子與信息學報, 2014, 36(4): 875-881.

Jiang Qiu-ping, Shao Feng, Jiang Gang-yi,An objective stereoscopic image visual comfort assessment metric based on visual important regions[J].&,2014, 36(4): 875-881.

[16] Gao R, Song J, and Tai X. Image zooming algorithm based on partial differential equations technique[J]., 2009, 6(2): 284-292.

[17] Ye Z, Li X, and Li Y. Visual and artistic images denoising methods based on partial differential equation[J]., 2013, 8(3): 284-290.

Image Interpolation with Corner Preserving Based on Partial Differential Equation

Xiao Zhi-tao①Feng Tie-jun①Zhang Fang①Geng Lei①Wu Jun①Li Yue-long②Wang Dan-yu①Chen Ying①

①(,,300387,)②(,,300387,)

Image interpolation is a basic issue in digital image processing, which can be used to realize image magnification and restoration,.. Traditional interpolation methods are easy to make the edge structures produce staircase artifacts or make the interpolated results blurred. An image interpolation method with corner preserving based on Partial Differential Equation (PDE) is proposed, which provides different interpolation applications for different characteristics of the image. The proposed interpolation scheme is not only able to maintain the edge structure clear, but also able to keep the corner sharp. Then, the overall visual and the Peak Signal to Noise Ratio (PSNR) of the interpolation image can be improved effectively. In addition, this paper puts forward methods for selecting the parameters through analyzing the equation, thus it improves the adaptability of the proposed method.

Image interpolation; Image magnification; Partial Differential Equation (PDE); Corner; Edge

TN911.73

A

1009-5896(2015)08-1892-08

10.11999/JEIT141420

張芳 hhzhangfang@126.com

2014-11-05收到，2015-03-05改回，2015-06-08網(wǎng)絡優(yōu)先出版

肖志濤： 男，1971年生，教授，博士生導師，研究方向為圖像處理與模式識別、智能信號處理.

馮鐵君： 女，1988年生，碩士生，研究方向為偏微分方程圖像處理.

張 芳： 女，1981年生，副教授，碩士生導師，研究方向為光學圖像處理與檢測技術.

耿 磊： 男，1982年生，副教授，碩士生導師，研究方向為測量檢測技術與機器視覺.

吳 駿： 男，1978年生，副教授，碩士生導師，研究方向為智能信號處理.

李月龍： 男，1982年生，講師，研究方向為圖像處理與模式識別.

王丹鈺： 女，1989年生，碩士生，研究方向為電子散斑干涉測量技術.

陳 穎： 女，1991年生，碩士生，研究方向為圖像處理.