基于馬爾科夫網(wǎng)絡(luò)的文本圖像超分辨率重建

李瑞明，張 燁

(太原工業(yè)學(xué)院，山西 太原 030008)

基于馬爾科夫網(wǎng)絡(luò)的文本圖像超分辨率重建

李瑞明，張 燁

(太原工業(yè)學(xué)院，山西 太原 030008)

隨著多媒體技術(shù)的日益發(fā)展，人們對圖像質(zhì)量有著越來越高的要求，受硬件的限制，所獲取圖像的分辨率常常無法滿足需要，超分辨率技術(shù)能夠克服硬件設(shè)備的固有限制，提高圖像的分辨率，因此應(yīng)用廣泛。本文基于馬爾科夫網(wǎng)絡(luò)對文本圖像進行超分辨率重建，首先對馬爾科夫網(wǎng)絡(luò)進行闡述，然后構(gòu)建了基于馬爾科夫網(wǎng)絡(luò)的網(wǎng)絡(luò)文本圖像的超分辨率結(jié)構(gòu)，最后對算法進行仿真。結(jié)果表明，本文所提算法具有很好的效果。

文本圖像；馬爾科夫網(wǎng)絡(luò)；超分辨率

圖像分辨率的大小是衡量圖像質(zhì)量最主要的指標(biāo)之一，由于受到捕獲設(shè)備分辨率的影響，成像設(shè)備不能獲取實際場景的全部信息。高分辨率的成像設(shè)備的價格在應(yīng)用中難以接受，而超分辨率重建技術(shù)無需硬件參與，實現(xiàn)成本低逐步成為研究的熱門課題。在現(xiàn)實中，存在許多文本圖像的場合，因此高分辨率文本圖像存在著廣闊的應(yīng)用領(lǐng)域，例如文本自動識別，文本圖像恢復(fù)，視頻壓縮和傳輸?shù)取?/p>

許多研究者都針對文本圖像進行了討論,最早見于Capel[1]等人采用基于空域方法，通過對多幅文本圖像進行處理來產(chǎn)生高分辨率文本圖像。Baker[2]等人采用基于學(xué)習(xí)的方法對文本圖像進行了研究。Pickup[3]等人通過使用圖像的紋理知識作為先驗條件，通過紋理塊之間的匹配來重建出高分辨率文本圖像。Donaldson[4]等人使用了文本圖像雙模態(tài)先驗?zāi)Ｐ?，并通過對階躍的邊緣進行局部平滑。Park[5]等人使用邊緣圖，通過使用文本圖像的樣本來學(xué)習(xí)文本圖像的局部信息，從而重建出高分辨率文本圖像。

1 馬爾科夫網(wǎng)絡(luò)模型

基于學(xué)習(xí)的超分辨率算法是從貝葉斯公式中找到最大后驗概率或者最小均方差。貝葉斯公式包含對先驗概率的估計項，在不確定性問題中得到廣泛的運用。假設(shè)在最大后驗概率下求解高分辨率圖像，因此貝葉斯公式為：

(1)

其中：P(x)是先驗知識，表示從訓(xùn)練樣本中得到的圖像特征，P(y|x)表示從超分辨率的估計圖像中得到低分辨率圖像的概率，P(x|y)表示為獲得高分辨率圖像的后驗概率，P(x，y)為聯(lián)合概率。

馬爾科夫網(wǎng)絡(luò)模型是一種關(guān)于圖像的結(jié)點之間的空間依賴性統(tǒng)計描述。因為圖像具有局部性，即圖像中各個像素點的值僅與相鄰像素點的值相關(guān)，因此可以使用馬爾科夫網(wǎng)絡(luò)為超分辨率重建問題建模。同時馬爾科夫網(wǎng)絡(luò)的條件獨立性使得可以采用條件概率來表示，這樣就提供了一個貝葉斯框架，允許對圖像進行最大后驗概率估計。

馬爾科夫網(wǎng)絡(luò)模型的構(gòu)建通常是將訓(xùn)練集中的低分辨率圖像和高分辨率圖像分成若干個圖像塊，將馬其中的每一個結(jié)點對應(yīng)一個圖像塊，并將這些圖像塊用線連接，其中低分辨率圖像與其對應(yīng)的高分辨率圖像連接起來，而高分辨率圖像則與它相鄰的高分辨率圖像連接起來，如圖1所示，圖中圓圈代表結(jié)點，連線代表圖像之間的統(tǒng)計關(guān)系。上層結(jié)點代表低分辨率圖像塊，也稱為觀察結(jié)點，下層結(jié)點代表與低分辨率相對應(yīng)高分辨率圖像塊，也成為隱含結(jié)點。觀察結(jié)點和隱含結(jié)點的之間的關(guān)系通過函數(shù)φ(xi,yi)來表示，通常稱這個函數(shù)為觀察函數(shù)。隱含結(jié)點之間的關(guān)系通過函數(shù)Ψ(xi,xj)來表示，通常稱這個函數(shù)為相容函數(shù)，相容函數(shù)越大，代表兩個高分辨率圖像塊之間的相鄰的概率越大。

圖1 馬爾科夫模型

這樣就構(gòu)造了馬爾科夫網(wǎng)絡(luò)，馬爾科夫網(wǎng)絡(luò)的定義為：

(2)

其中V為馬爾科夫網(wǎng)絡(luò)中的結(jié)點，neighboring(V)為馬爾科夫網(wǎng)絡(luò)中某一節(jié)點的領(lǐng)域。

則馬爾科夫網(wǎng)絡(luò)的聯(lián)合概率可以表示為：

P(x1,x2,…，xN,y1,y2，…，yN)=

(3)

(4)

其中：σ為候選樣本的標(biāo)準差，d(xi,yi)為平方距離下的誤差。

Ψ(xi,xj)表示兩個高分辨率圖像塊之間的兼容關(guān)系，可以通過計算 樣本中高分辨率圖像塊之間重疊區(qū)域的指數(shù)函數(shù)得到：

(5)

其中：σ為噪聲參數(shù)。

2 基于馬爾科夫網(wǎng)絡(luò)模型的網(wǎng)絡(luò)文本圖像的超分辨率算法框架

通過對上面知識的認識，基于馬爾科夫網(wǎng)絡(luò)模型的網(wǎng)絡(luò)文本圖像的超分辨率算法框架如圖2所示。

圖2 網(wǎng)絡(luò)文本圖像的超分辨率算法框架

算法的框架具體解釋如下：

1) 構(gòu)造訓(xùn)練集：將高分辨率圖像進行降質(zhì)，產(chǎn)生低分辨率圖像，將高分辨率圖像和低分辨率圖像按塊進行分塊產(chǎn)生一一對應(yīng)的圖像訓(xùn)練集。

2) 預(yù)處理：把輸入的低分辨率圖像進行分塊之前的所有操作歸類于預(yù)處理，其中包括灰度變換，亮度調(diào)節(jié)。

3) 樣本獲?。菏褂靡粋€滑動窗口在低分辨率網(wǎng)絡(luò)文本圖像進行遍歷?；瑒哟翱谂c圖像重疊處提取出來作為一個樣本。

4) 搜索匹配：在樣本庫中使用歐式距離獲得與樣本塊最近鄰的K個匹配塊作為輸入的低分辨率圖像塊的候選結(jié)點集合。

5)MRF合成：將得到的K最近鄰匹配塊的低分辨率圖像塊和高分辨率圖像塊構(gòu)造馬爾科夫網(wǎng)絡(luò)，并通過信念傳播算法得到最優(yōu)匹配塊，最后根據(jù)這些最優(yōu)匹配塊重建出高分辨率圖像。

3 仿真結(jié)果及分析

根據(jù)網(wǎng)絡(luò)文本圖像的超分辨率算法框架的介紹，首先需要構(gòu)造訓(xùn)練樣本集。然后利用馬爾科夫網(wǎng)絡(luò)模型重建出高分辨率網(wǎng)絡(luò)文本圖像。

3.1 訓(xùn)練樣本構(gòu)造

訓(xùn)練集中的圖像通常需要有較高的分辨率，以便可以學(xué)習(xí)到更多的細節(jié)信息，同時要求訓(xùn)練集中的圖像必須與輸入的圖像包含相似的內(nèi)容。由于文本圖像的特殊性和文本內(nèi)容的固定性，因此我們只需要使用文字最基本的部件來構(gòu)造訓(xùn)練集，這樣可以大大減少訓(xùn)練集的數(shù)量及算法的復(fù)雜度，為算法以后的搜索匹配節(jié)省大量的時間。對每一張高分辨率文本圖像進行添加噪聲和下采樣得到與高分辨率文本圖像相對應(yīng)的低分辨率圖像。然后利用滑動窗口遍歷高分辨率文本圖像和低分辨率文本圖像，這樣就得到了一一對應(yīng)的訓(xùn)練集。如圖3所示為本文使用的部分訓(xùn)練樣本圖像，圖4所示為部分高分辨率圖像塊和所對應(yīng)的低分辨率圖像塊。

圖3 部分訓(xùn)練樣本圖像

圖4 部分高分辨率圖像塊和所對應(yīng)的低分辨率圖像塊

3.2 仿真結(jié)果

首先給出一張低分辨率的網(wǎng)絡(luò)文本圖像，我們需要對該圖像進行三線性插值，得到更大尺寸的圖像作為實際輸入的低分辨率圖像。圖5所示，圖(a)為輸入的低分辨率網(wǎng)絡(luò)文本圖像，圖(b)為輸入的低分辨率網(wǎng)絡(luò)文本圖像的原圖，圖(c)為圖(a)低分辨率網(wǎng)絡(luò)文本圖像經(jīng)過三線性插值以后的圖像，圖(d)為使用超分辨率重建算法得到的高分辨率圖像。從圖中所示的性噪比(PSNR)來看，超分辨重建算法得到的高分辨率圖像的信噪比更好，所以可以提供更多的圖像細節(jié)。

4 結(jié)論

在馬爾科夫網(wǎng)絡(luò)模型和貝葉斯信念傳播算法的基礎(chǔ)上，提出了基于學(xué)習(xí)的網(wǎng)絡(luò)文本圖像的超分辨率算法框架。并通過仿真實驗表明，本章中我們提出的基于馬爾科夫網(wǎng)絡(luò)模型的網(wǎng)絡(luò)文本的超分辨率算法可行，并且能夠取得不錯的效果。

圖5 網(wǎng)絡(luò)文本圖像的超分辨率算法重建

[1]CapelD,ZissermanA.Super-ResolutionEnhancementofTextImageSequences[C].InternationalConferenceonPatternRecognition, 2000.Proceedings.IEEE,2000(1):600-605.

[2]BakerS,KanadeT.LimitsonSuper-ResolutionandHowtoBreakThem[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2002,24(9):1167-1183.

[3]ChangH,YeungDY,XiongY.Super-resolutionthroughneighborembedding[C].ComputerVisionandPatternRecognition, 2004.CVPR2004.Proceedingsofthe2004IEEEComputerSocietyConferenceon.IEEEXplore,2004(1):1275-1282.

[4]PickupLC,RobertsSJ,ZissermanA.Asampledtexturepriorforimagesuper-resolution[C].InternationalConferenceonNeuralInformationProcessingSystems.MITPress,2003:1587-1594.

[5]DonaldsonK,MyersGK.Bayesiansuper-resolutionoftextinvideowithatext-specificbimodalprior[C].ComputerVisionandPatternRecognition,2005.CVPR2005.IEEEComputerSocietyConferenceon.IEEE,2005(1):1188-1195.

Super-Resolution Reconstruction of Textual Image Based on the Markov Network

Li Ruiming， Zhang Ye

(TaiyuanInstituteofTechnology,TaiyuanShanxi030008,China)

With the development of multimedia technique, the need for image quality is increasing. Limited by hardware, the resolution of the captured image is often unable to meet the needs. Super-resolution technology can overcome the limitations of the imaging system. It can improve the resolution of the image without changing the existing equipment. This paper reconstructs the textual image based on the Markov Network. Firstly, it introduces the Markov Network; and then constructs the super resolution structure of textual image based on Markov network. Finally, the algorithm is simulated and results indicate the proposed algorithm has good effects on reconstruction of super-resolution.

textual image; Markov network; super-resolution

2017-05-17

李瑞明(1989- )，男 ，河南林州人 ，助教，碩士研究生，研究方向：圖像超分辨率 。

1674- 4578(2017)04- 0024- 04

TP391.41

A