基于邊緣方向擴(kuò)散系數(shù)正則化的文本圖像超分辨率算法

張紅梅

摘 要： 針對(duì)文檔圖像超分辨率重建問(wèn)題，根據(jù)傳統(tǒng)雙邊全變差（BTV）超分辨率算法，提出一種自適應(yīng)約束的BTV正則化文檔圖像超分辨率算法。該算法通過(guò)引入一個(gè)圖像的局部鄰域殘差均值，以區(qū)分當(dāng)前像素點(diǎn)屬于平滑區(qū)域還是邊緣區(qū)域，然后利用垂直邊緣方向和邊緣方向擴(kuò)散性的不同，產(chǎn)生自適應(yīng)權(quán)重矩陣。最后通過(guò)代價(jià)函數(shù)求出迭代公式，最終實(shí)現(xiàn)文本圖像的超分辨率重建。與相關(guān)的文檔圖像超分辨率方法相比較，提出的方法在視覺(jué)圖像質(zhì)量和字符識(shí)別精度方面均得到了顯著的改善。

關(guān)鍵詞： 文本圖像； 超分辨率重建； 正則化； 雙邊全變差模型； 邊緣保持

中圖分類號(hào)： TN911.73?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）19?0105?04

A text image super?resolution algorithm based on edge direction

diffusion coefficient regularization

ZHANG Hongmei

（School of Mathematics， Baoshan University， Baoshan 678000， China）

Abstract： Aiming at the problem existing in super?resolution reconstruction of document image， a self?adaptively constrained and traditional bilateral total variation （BTV） regularized document image super?resolution algorithm is proposed based on the BTV super?resolution algorithm. In the algorithm， the residual mean of the local neighborhood of an image is introduced to determine whether the current pixel belongs to the smooth region or to the edge region. The different diffusivity of the vertical edge direction and edge direction is utilized to generate the self?adaptive weight matrix. The iteration formula is obtained by using the cost function， and the super?resolution reconstruction of the text image is realized. Compared with related super?resolution methods of document image， the proposed method has improved in visual image quality and character recognition accuracy greatly.

Keywords： text image； super?resolution reconstruction； regularization； bilateral total variation model； edge preservation

0 引 言

圖像超分辨率（Super Resolution，SR）重建是指利用算法和仿真技術(shù)將一幅或多幅輸入的低分辨率（Low Resolution，LR）圖像進(jìn)行處理，然后輸出一幅清晰的高分辨率圖像（High Resolution，HR）[1]。大多數(shù)低分辨率的文檔圖像存在文字模糊現(xiàn)象，即除了黑色和白色像素之外，圖像中還會(huì)有大量的灰色像素，容易產(chǎn)生大量錯(cuò)誤或缺失的字符。這些低質(zhì)量的文檔圖像在打印或顯示時(shí)不僅字跡模糊，而且也導(dǎo)致光學(xué)字符識(shí)別（OCR）系統(tǒng)產(chǎn)生嚴(yán)重的問(wèn)題[2?3]。

現(xiàn)如今，已經(jīng)提出了很多圖像的超分辨率方法[3]。一種成功的文檔圖像超分辨率算法應(yīng)該應(yīng)用這些特征作為先驗(yàn)知識(shí)，從輸入的低分辨率圖像中生成高分辨率的圖像[4]。超分辨率方法使用正則項(xiàng)來(lái)實(shí)現(xiàn)高分辨率圖像的先驗(yàn)知識(shí)[5?7]。例如，平滑的背景和前景區(qū)域是文檔圖像的先驗(yàn)知識(shí)。在貝葉斯圖像超分辨率方法中，應(yīng)用正則項(xiàng)與數(shù)據(jù)保真項(xiàng)共同生成高分辨率的圖像。

文獻(xiàn)[8]提出的雙邊全變差（Bilateral Total Variation，BTV）正則化先驗(yàn)算法和文獻(xiàn)[9]提出的全變差（Total Variation，TV）先驗(yàn)算法將各個(gè)方向的圖像一律平滑處理，同時(shí)保留一定的邊緣信息，但是由于此類算法均采用相同的平滑系數(shù)來(lái)處理相同位置上的鄰近像素點(diǎn)，所以算法保持邊緣的能力較弱。因此，在保持邊緣方面也有許多學(xué)者進(jìn)行了研究[10?12]，并取得了很好的效果。

考慮到文檔圖像的特點(diǎn)，提出一種自適應(yīng)約束的BTV正則化文檔圖像超分辨率算法。與相關(guān)的文檔圖像超分辨率方法相比較，本文提出的方法在視覺(jué)圖像質(zhì)量和字符識(shí)別精度方面均得到了顯著的改善。

1 算法原理介紹

基于BTV先驗(yàn)?zāi)Ｐ偷某直媛手亟ǖ拇鷥r(jià)函數(shù)[8]如下所示：

[X=argmink=1NDBFkX-Yk+λl=-ppm=0pαl+mX-SlxSmyX] （1）

[Yk=DBFkX+Nk] （2）

式中：第一項(xiàng)表示輸入的低分辨率圖像與降質(zhì)后的低分辨率圖像的相似程度；第二項(xiàng)是正則項(xiàng)，即平滑約束項(xiàng)。[λ]為正則化系數(shù)；[Slx]和[Smy]分別表示圖像在水平和垂直方向平移的像素個(gè)數(shù)；[p]是像素鄰域的階數(shù)，即選取窗口的半徑； [α]為權(quán)重且是標(biāo)量，[0<α<1；][D]是下采樣矩陣；[B]是系統(tǒng)的模糊矩陣；[Fk]是運(yùn)動(dòng)矩陣，可通過(guò)運(yùn)動(dòng)估計(jì)求得；[Nk]是噪聲矩陣。由于正則化參數(shù)為固定值，會(huì)直接限制重建過(guò)程中的全局最優(yōu)解，因此本文針對(duì)該局限進(jìn)行改進(jìn)。

2 提出的算法

由式（1） 可知，BTV的正則化函數(shù)可表示為：

[J（X）=l=-pp m=0pαl+mX-SlxSmyX] （3）

式中：[l，][m]分別表示圖像沿[x，y]方向平移的像素個(gè)數(shù)。設(shè)[X（i，j）=X（i，j）-SlxSmyX（i，j）]表示兩個(gè)像素點(diǎn)之間灰度的絕對(duì)差值，0≤[X（i，j）]≤255。

為了對(duì)所有像素點(diǎn)進(jìn)行鄰域約束，本文設(shè)計(jì)了一個(gè)滑動(dòng)窗口，以便求出所有像素點(diǎn)之間的局部鄰域差均值：

[LNRM（i，j）=1N2i=i-（N-1）2i+（N-1）/2 j=j-（N-1）/2j+（N-1）/2X（i，j）] （4）

式中：[N]表示滑動(dòng)窗口長(zhǎng)度；[（i，j）]和[（i，j）]均為像素位置的橫、縱坐標(biāo)；[（i，j）]屬于以[（i，j）]為中心、大小為[N×N]的鄰域。

本文提出的自適應(yīng)約束權(quán)重矩陣設(shè)計(jì)中，將權(quán)重系數(shù)設(shè)為：

[αi，j=e-1τX(jué)（i，j）， LNRM（i，j）>T1， LNRM（i，j）

式中：[T]表示閾值，能夠區(qū)分主要的邊緣區(qū)域；[τ]指修飾因子；[LNRM（i，j）]表示像素[X（i，j）]在該鄰域內(nèi)的局部殘差均值；[αi，j]表示像素點(diǎn)[SlxSmyX（i，j）]對(duì)當(dāng)前像素點(diǎn)[X（i，j）]的加權(quán)系數(shù)，0≤[αi，j]≤1。令加權(quán)系數(shù)矩陣[α]為：

[α=α|l|+|m|1，1，α|l|+|m|1，2，…，α|l|+|m|m，n] （6）

則式（3）可表示為：

[J（X）=l=-pp m=0pαX-SlxSmyX] （7）

2.1 基于自適應(yīng)的正則化參數(shù)

正則化參數(shù)直接影響著超分辨率重建的性能，適合的正則化參數(shù)不僅能夠確保代價(jià)函數(shù)得到一個(gè)全局最優(yōu)解，還能較好地保留文本圖像中字符邊緣信息。因此，根據(jù)文獻(xiàn)[3]的推導(dǎo)，本文設(shè)計(jì)的自適應(yīng)選取正則化參數(shù)方法為：

[λ=k=1NDBFkX-Ykγ-l=-pp m=0pα（X-SlxSmyX）] （8）

式中[γ]為控制參數(shù)，且需要符合如下條件：

[γ>2l=-pp m=0pαX-SlxSmyX] （9）

2.2 代價(jià)函數(shù)的求解

根據(jù)以上分析，代價(jià)函數(shù)可表示為：

[X=argmink=1NDBFkX-Yk+λl=-pp m=0pαX-SlxSmyX] （10）

對(duì)其求導(dǎo)，并采用梯度下降法對(duì)其迭代求解，迭代公式為：

[Xn+1=Xn-β?f] （11）

[?f=k=1NFTkBTDTsign（DBFkX-Yk）+ λl=-pp m=0pαTI-S-myS-lxsignX-SlxSmyX] （12）

式中[β]表示迭代步長(zhǎng)。

迭代終止條件為：

[Xn+1-XnXn≤10-6] （13）

3 算法步驟

本文提出算法的流程如圖1所示。

4 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證提出的改進(jìn)BTV正則化超分辨率算法的性能， 將本文算法與另外兩種BTV重建算法[12?13]作對(duì)比，以便驗(yàn)證提出算法對(duì)噪聲的抑制能力。實(shí)驗(yàn)平臺(tái)為Windows 7操作系統(tǒng)，CPU為Pentium Dual?Core E5200處理器，2 GB內(nèi)存，仿真環(huán)境為Matlab 7.8。為了對(duì)重建結(jié)果進(jìn)行定量評(píng)價(jià)，采用峰值信噪比（PSNR）衡量算法的去噪性能。PSNR的公式表示為[9]：

[PSNR=10lgL2N1N2i=1N1j=1N2X（i，j）-X（i，j）2] （14）

式中：[N1]和[N2]分別為L(zhǎng)R圖像像素的行數(shù)和列數(shù)；[L]表示圖像量化的灰度級(jí)別；[X（i，j）]和[X（i，j）]分別表示輸入圖像中的像素點(diǎn)和輸出重建圖像的像素點(diǎn)。

實(shí)驗(yàn)文本圖像為兩幅文字圖像，對(duì)原圖像添加高斯噪聲的方差分別為20，文本圖像1參數(shù)為12 pt、Arial字體、150 dpi，文本圖像2參數(shù)為10 pt、Times New Roman字體、75 dpi，對(duì)這兩幅文本圖像分別使用三種超分辨率方法重建，結(jié)果如圖2，圖3所示。

通過(guò)圖2和圖3結(jié)果可以看出，本文提出的超分辨率方法在文字的邊緣增強(qiáng)和背景的去除噪聲方面表現(xiàn)出的性能均優(yōu)于另外兩種方法。通過(guò)式（14）計(jì)算實(shí)驗(yàn)用的2幅文本圖像的PSNR值，結(jié)果如表1所示?？陀^指標(biāo)同樣證明了提出的超分辨率算法具有更好的去噪效果。

在迭代過(guò)程中，本文算法的時(shí)間復(fù)雜度相對(duì)較高，在運(yùn)算時(shí)間上，經(jīng)典BTV算法的時(shí)間為20 s，文獻(xiàn)[12]的方法需要7.2 s，本文提出算法對(duì)256×256圖像處理時(shí)間為29 s。為了驗(yàn)證光學(xué)識(shí)別性能，利用漢王軟件OCR 6.0進(jìn)行文字識(shí)別。采樣上述實(shí)驗(yàn)用的兩幅256×256的文本圖像，并添加加性高斯噪聲（噪聲方差分別為20）作為原圖像，結(jié)果如表2所示。

實(shí)驗(yàn)結(jié)果表明，相比現(xiàn)有的BTV算法，本文提出的超分辨率重建算法在保持文本文字的邊緣增強(qiáng)和背景噪聲的去除方面均表現(xiàn)出較好的性能。5 結(jié) 論

在本文中，通過(guò)引入一個(gè)新的平滑正則項(xiàng)，提出一種自適應(yīng)約束的BTV正則化文檔圖像超分辨率算法。采用自適應(yīng)的正則化參數(shù)設(shè)計(jì)，以獲得全局最優(yōu)解，增強(qiáng)魯棒性。將提出的算法與其他文檔圖像的超分辨率方法進(jìn)行比較，結(jié)果發(fā)現(xiàn)提出的方法得到的去噪能力更好，字符識(shí)別的準(zhǔn)確度更高。

參考文獻(xiàn)

[1] 任福全，邱天爽，韓軍，等.基于二階廣義全變差的多幀圖像超分辨率重建[J].電子學(xué)報(bào)，2015，43（7）：1275?1280.

[2] 何建新，任紅萍，曾強(qiáng)宇，等.基于改進(jìn)全變差的天氣雷達(dá)回波超分辨率重建[J].計(jì)算機(jī)仿真，2014，31（7）：415?418.

[3] 李春芳，楊鑫，張旭明，等.基于MAP的超聲圖像分解去噪算法研究[J].電子學(xué)報(bào)，2014（7）：1291?1298.

[4] 楊帥鋒，趙瑞珍.基于低秩矩陣和字典學(xué)習(xí)的圖像超分辨率重建[J].計(jì)算機(jī)研究與發(fā)展，2016，53（4）：884?891.

[5] ABEDI A， KABIR E. Stroke width?based directional total variation regularisation for document image super resolution [J]. IET image processing， 2016， 10（2）： 158?166.

[6] AYUBI S D， BAJWA U I， ANWAR M W. Super?resolution based enhancement of cardiac MR images [J]. Current medical imaging reviews， 2015， 11（2）： 105?113.

[7] SHI F， CHENG J， WANG L， et al. LRTV： MR image super?resolution with low?rank and total variation regularizations [J]. IEEE transactions on medical imaging， 2015， 34（12）： 2459?2466.

[8] FARSIU S， ROBINSON M D， ELAD M， et al. Fast and robust multiframe super resolution [J]. IEEE transactions on image processing， 2004， 13（10）： 1327?1344.

[9] RUDIN L I， OSHER S， FATEMI E. Nonlinear total variation based noise removal algorithms [J]. Journal of physica D， 1992， 60（1）： 259?268.

[10] JIANG J， MA X， CAI Z， et al. Sparse support regression for image super?resolution [J]. IEEE photonics journal， 2015， 7（5）： 1?11.

[11] JUNG C， KE P， SUN Z， et al. A fast deconvolution?based approach for single?image super?resolution with GPU acceleration [J]. Journal of real?time image processing， 2015（6）： 1?12.

[12] XIE J， FERIS R S， YU S S， et al. Joint super resolution and denoising from a single depth image [J]. IEEE transactions on multimedia， 2015， 17（9）： 1525?1537.

[13] SURYANARAYANA G， DHULI R. Simultaneous edge preserving and noise mitigating image super?resolution algorithm [J]. AEU?international journal of electronics and communications， 2016， 70（4）： 409?415.