基于對比度增強和背景估計的文檔圖像二值化

完顏勇

(北方工業(yè)大學(xué) 城市道路交通智能控制技術(shù)北京市重點實驗室，北京 100144)

文檔圖像中含有大量的文本信息，在對文檔圖像進行分析和處理時，文檔圖像的二值化處理是重要的環(huán)節(jié)。文檔圖像的二值化處理通常執(zhí)行在文檔分析處理的預(yù)處理階段，它的目標(biāo)是將灰度或者彩色文檔圖像中的前景文本從文檔背景中分離出來，以二值形式的圖像進行顯示，同時盡可能的保留原文檔圖像中的文本信息。文檔圖像二值化處理性能的好壞直接后續(xù)的文本檢測、文本識別、信息檢索等文本處理應(yīng)用的性能。

針對圖像的二值化問題，國內(nèi)外已經(jīng)進行了大量的研究工作。除了原理較為簡單的Ostu[1]、Niblack[2]、Bernsen[3]、Sauvola[4]等二值化算法之外，更加復(fù)雜的方法已經(jīng)被應(yīng)用到圖像的二值化處理過程中。Tsai和Lee[5]提出了一種基于亮度和飽和特征來實現(xiàn)對彩色圖像的二值化處理。Le等[6]提出使用香農(nóng)熵和復(fù)雜的后續(xù)處理來改善對退化文檔圖像的二值化處理。Tabbone和Wendling[7]采用了迭代概率C-means聚類算法對彩色圖像進行二值化處理。Hebert等[8]提出以條件隨機場為基礎(chǔ)框架來結(jié)合6種不同的算法的來對圖像進行二值化處理。Su等[9]提出一種結(jié)合文檔圖像的局部對比度和梯度來實現(xiàn)對不同退化狀況的文檔圖像的二值化處理。這些算法既保證的二值化算法研究的連續(xù)性，又在發(fā)展過程中得到了不斷創(chuàng)新。

1　二值化算法的設(shè)計及實現(xiàn)

針對文檔圖像存在的文本對比較弱、背景筆跡滲透、筆墨污點等不同的退化狀況對文檔圖像二值化處理的影響，本文提出了一種基于對比度增強和背景估計的文檔圖像二值化算法，用于對退化的文檔圖像進行二值化增強處理。該算法首先通過對比度增強算法用于增強弱對比度文本與背景的對比度，其次通過背景估計及移除來抑制文檔背景對文檔圖像二值化的干擾，最后根據(jù)邊緣像素鄰域灰度值的分布情況進行文本斷筆修復(fù),算法流程圖如圖1所示。

圖1　二值化算法流程圖

1.1　區(qū)域劃分

在文檔圖像的二值化處理過程中，圖像的方差、均值和梯度等特征均得到了普遍重視，但圖像的亮度信息并沒有引起足夠的關(guān)注。直觀上可以觀察到，當(dāng)文檔圖像整體或者部分處于陰影或強光條件下，文本與背景的對比明顯較弱，因此光照條件是影響退化文檔文本區(qū)域?qū)Ρ榷炔煌闹匾蛩刂?。通過對100張光照不均勻的退化文檔的區(qū)域亮度信息進行統(tǒng)計分析和測試，發(fā)現(xiàn)通過文檔的不同區(qū)域的亮度信息差異可以有效區(qū)分出亮區(qū)域、暗區(qū)域和均勻光照區(qū)域。文中將灰度圖像的256個灰度值劃為的3個范圍，如果像素點的灰度值在區(qū)間[0,63]范圍內(nèi)，則將該像素點定義為低灰度值像素點;如果像素點的灰度值處于區(qū)間[192,255]內(nèi)，則將該像素點定義為高灰度值像素點。

通過研究多幅圖像的灰度直方圖之間差異，發(fā)現(xiàn)不均光條件下對文檔圖像區(qū)域特征影響如下：

(1)陰影和亮光對像素灰度值處于[64,255]范圍的像素影響較大；

(2)陰影會造成文檔區(qū)域內(nèi)的高灰度值像素點的比例減少，而低灰度值像素點的比例基本能夠保持不變；

(3)亮光會使文檔區(qū)域內(nèi)高灰度值像素點的比例增加，同時會使區(qū)域內(nèi)的低灰度值像素點的比例下降。

亮區(qū)域、暗區(qū)域和均勻光照區(qū)域劃分方法如下所示：

(1)將文檔圖像均分為N×N個子區(qū)域，遍歷每個子區(qū)域，分別統(tǒng)計子區(qū)域中高、低灰度值像素點所占的比例；

(2)如果高灰度值像素點所占的比例≥0.9，則判定該子區(qū)域為亮區(qū)域；如果低灰度值像素點所占的比較>0.05且高灰度值像素點的比例<0.2,則判定該子區(qū)域為暗區(qū)域；如果前兩種條件均不滿足，則該子區(qū)域為均勻光照區(qū)域。

1.2　對比度增強

使全局二值化算法或局部二值化算法對文檔圖像進行處理時，處理的目的均是找到理想的閾值來有效地將文本前景從背景中分離出來。但對于退化的文檔圖像來說，傳統(tǒng)的方法并不能夠取得理想的效果。因此，本文根據(jù)不同的區(qū)域劃分，使用不同的對比度增強算法對文檔圖像進行增強處理，增強后的文檔圖像為后續(xù)更進一步處理提供了便利。

對于亮區(qū)域或暗區(qū)域，由于亮光或陰影的存在，造成文本與背景的灰度對比降低，文中使用了強的對比度增強方式對其進行增強處理

(1)

對于均勻區(qū)域，文本與背景的灰度對比較為明顯，為了便于后續(xù)的處理，使用弱對比度增強算法對其進行增強處理

(2)

在式(1)和式(2)中，f(x,y)為原文檔圖像上坐標(biāo)(x,y)處對應(yīng)的灰度值；fmax(x,y)、fmin(x,y)分別為原文檔圖像上的灰度最大值和最小值；δ是為了防止分母為零而引入的一個比較小的正數(shù)，圖2(b)顯示了對比度增強的效果。

圖2　對比度增強效果圖

1.3　背景估計及移除

形態(tài)學(xué)閉運算可以去除與結(jié)構(gòu)元素相比尺寸較小的暗細節(jié)，使得圖像變亮，同時能夠保持圖像的整體灰度值和較大的暗區(qū)基本不變?；谶@一特性，對文檔圖像進行形態(tài)學(xué)閉運算處理，獲取文檔圖像的近似背景估計圖像。由圖3所示，結(jié)構(gòu)元素尺寸的選擇對文檔圖像背景估計有著決定性的影響，經(jīng)過大量的實驗測試驗證：結(jié)構(gòu)元素尺寸取值為(2Sw+1)×(2Sw+1),背景估計的效果最佳，文本筆畫寬度的Sw計算如下：

圖3　不同結(jié)構(gòu)元素尺寸下的背景估計圖像

(1)文檔圖像邊緣的檢測。本文采用Canny邊緣檢測算法[10]對文檔圖像進行邊緣檢測，提取文檔圖像的邊緣信息；

基于上述算法得到的背景估計圖像減去原文檔圖像得到背景移除后的圖像，如圖4所示。

圖4　背景移除后的圖像

1.4　全局閾值分割

在背景移除后的文檔圖像經(jīng)過雙邊濾波[11]后得到的圖像中，文本前景像素的灰度值范圍較為集中。因此，使用Ostu算法對經(jīng)雙邊濾波后的背景移除文檔圖像進行二值化處理，處理的結(jié)果如圖5所示，所得的二值化圖像中的文本筆畫較原文本粗，需進一步處理。

圖5　全局二值化效果

1.5　使用Sauvola算法細化文本邊緣

Sauvola算法在圖像的二值化處理中得到了廣泛的應(yīng)用，它的主要優(yōu)點在于它對有噪聲和模糊存在的圖像具有良好的處理效果和運行效率。Sauvola算法引入了兩個參數(shù)w和k。w和k值的選擇對文檔的二值化效果有著至關(guān)重要的影響。w過小會造成文本筆畫斷裂或出現(xiàn)在空洞，過大會加粗文本的筆畫，它的尺寸的選擇依賴于文檔圖像的內(nèi)容。k值的選擇影響著低對比度文檔圖像的二值化，較低的k值可以獲得更多低對比度文本。

在獲取文檔圖像的全局閾值二值化圖像后，通過結(jié)合Sauvola二值化圖像對文本筆畫進行細化處理。在Sauvola二值化圖像的文本像素集中，查詢與全局二值化圖像共有的文本像素集，作為筆畫細化后的二值化處理結(jié)果保存起來，如圖6(b)所示。通過大量的實驗測試，當(dāng)k=0.01，w=11×11時能夠獲得最好的文本筆畫細化效果，較低的k能夠獲得更多的低對比度文本，同時也會引入更多的噪聲和偽影，而全局二值化圖像是基于背景移除后的圖像得到的，能夠較好地抑制各種不同的退化狀態(tài)存在對文檔圖像二值化處理的影響。

圖6　筆畫細化前后對比

1.6　文本斷筆修復(fù)

在上述算法得到的二值化圖像中可能會有噪音和筆畫斷筆現(xiàn)象的存在，二值化的效果需要進一步改進。為減少噪聲的干擾，使用中值濾波器[12]對文檔圖像的二值化圖像進行濾波處理。另外，文本斷筆的存在嚴重影響了二值化性能，文本斷筆需要進一步修復(fù)：

(1)使用Canny邊緣檢測算法獲取二值化圖像的邊緣像素集，為了更精確地確定邊緣像素集，排出孤立的邊緣像素；

(2)對于邊緣像素集中的任一邊緣像素(i,j),查詢其對應(yīng)的鄰域像素: (i+1,j)、(i,j-1)、(i,j+1)和(i-1,j)，將(i,j-1)、(i,j+1)和(i+1,j)、(i-1,j)兩兩配對；

(3)若同一對的兩個像素在二值化圖像中均為同一類像素(背景或前景)，則指定在原文檔圖像對應(yīng)位置上灰度值低的像素為前景像素，另一像素為背景像素，對二值化圖像進行文本斷筆修復(fù)。同時，將置為前景的像素納入邊緣像素集中；

(4)重復(fù)操作步驟(2)和步驟(3)，直到遍歷所有的邊緣像素，圖7(b)顯示了文檔圖像的二值化最終效果。

圖7　文檔圖像的二值化效果

2　實驗結(jié)果與分析

為了驗證算法的有效性，本文實驗使用了由DIBCO競賽提供的4個數(shù)據(jù)庫(2009，2010，2011，2012)對文中所提的算法進行了測試和評估，DIBCO數(shù)據(jù)庫由不同類型的退化文檔和其對應(yīng)的真值圖像組成，圖8顯示了DIBCO數(shù)據(jù)庫中的部分示例。

圖8　DIBCO數(shù)據(jù)庫的部分示例

為了證明本文提出二值化算法的有效性，本文在實驗中對比分析了本文算法、Ostu算法、Sauvola算法和Su算法的性能，并使用F-Measure(FM)、Peak Signal to Noise Ratio(PSNR)、Negative Rate Metric(NRM)和Misclassification Penalty Metric(MPM)對二值化算法的性能進行定量分析,具體的對比結(jié)果如表1所示。

表1　不同二值化算法性能對比

從表1中可以得到，本文算法取得的各項性能指標(biāo)為：F-Measure為90.47，PSNR為19.15，NRM為5.38，MPM為0.33。與Ostu和Sauvala算法相比，本文算法在F-Measure、PSNR、NRM和MPM指標(biāo)上均有了的提升；與Su算法相比，本文算法僅在PSNR指標(biāo)上略微低于Su算法，而其它方面的性能指標(biāo)均優(yōu)于Su算法；這就意味著本文算法能夠更好地對退化的文檔圖像進行二值化處理。圖9、圖10和圖11顯示了4種算法的二值化效果的部分示例。

圖9　不同的二值化算法對圖6(a)的處理效果

從圖9可以觀察到，對于文本對比度較弱的區(qū)域，Ostu、Sauvola和Su均能夠不帶噪聲的提取出文本，但文本出現(xiàn)的明顯的斷筆現(xiàn)象；圖9(d)顯示了本文算法對文檔對比度變化具有更強的容忍性，在強對比度區(qū)域和弱對比度區(qū)域，均能較好的提取出文本，同時壓制噪聲的存在。

圖10　不同的二值化算法對圖6(b)的處理效果

在圖10中，對于背部文本滲透的文檔二值化處理，Ostu和Sauvola較為明顯了引入了大量的噪聲，Su和本文算法均能合理地確定前景像素和背景像素，抑制了噪聲的干擾。

圖11　不同的二值化算法對圖6(c)的處理效果

圖11顯示了有筆墨污點存在的文檔的二值化處理效果，Ostu將筆畫污點當(dāng)作了前景文本進行了處理，Sauvola在對筆墨污點區(qū)域二值化處理時引入了大量的噪音；Su在抑制噪音的同時，筆墨污點區(qū)域的文本出現(xiàn)了斷筆；本文算法對筆墨污點區(qū)域具有良好去除效果，同時能夠較為完整地檢測出文本。通過對不同退化狀況文檔圖像二值效果分析，驗證了本文算法能夠較好地處理具有不同退化狀況的文檔圖像。

3　結(jié)束語

本文針對文檔存在的文本對比較弱、背景筆跡滲透、筆墨污點等各種退化狀況對文檔圖像二值化的干擾，提出了一種基于對比度增強和背景估計的文檔圖像二值化算法。該算法首先通過對比度增強算法用于增強弱對比度文本與背景的對比度，其次通過背景估計及移除來抑制文檔背景對文檔二值化的干擾，最后根據(jù)邊緣像素鄰域灰度值的分布情況進行斷筆修復(fù)，實驗結(jié)果證明了本文所提二值化算法的有效性。

[1]Ostu N. A threshold selection method from Gray-Level his-

tograms[J]. IEEE Transactions on Systems Man & Cybernetics,2007,9(1):62-66.

[2]Niblack W. An introduction to digital image processing[M]. Denmark: Strandberg Publishing Company,1986.

[3]Bernsen J. Dynamic thresholding of gra-y-level images[C]. Paris:International Conference on Pattern Recognition,1986.

[4]Sauvola J, Pietikinen M. Adaptive doc-ument image binarization[J]. Pattern Recognition,2000,33(2):225-236.

[5]Tsai C M, Lee H J. Binarization of color document images via luminance and saturat-ion color features [J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2002,11(4):434-51.

[6]Le T H N, Bui T D, Suen C Y. Ternary entropy-based binarization of degraded document images using morphological erators[C].Beijing: International Conference on Document Analysis and Recognition, 2011.

[7]Tabbone S, Wendling L. Binarization of color images from an adaptation of possi-bilistic C-Means algorithm[C]. Cambridge:International Conference on Pattern Recognition,2004.

[8]Hebert D, Nicolas S, Paquet T. Discrete CRF based combination framework for document image binarization[C].Washington DC: International Conference on Document Analysis and Recognition,2013.

[9]Su B, Lu S, Tan C L. Robust document image binarization technique for degraded document images[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2013,22(4):1408-1417.

[10] Canny J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,1986,8(6):679-698.

[11] 靳明,宋建中. 一種自適應(yīng)的圖像雙邊濾波方法[J]. 光電工程, 2004, 31(7):65-68.

[12] 雷超陽,劉軍華,張敏.一種基于自適應(yīng)的新型中值濾波算法[J].計算機工程與應(yīng)用,2008,44(2):60-62.