基于筆畫寬度檢測和改進(jìn)塊修復(fù)的自動英文文本移除算法

陳志彬，楊辛未，林相波

（1.遼寧科技大學(xué) 電子與信息工程學(xué)院，遼寧 鞍山　114051；2.大連理工大學(xué) 電子信息與電氣工程學(xué)部，遼寧 大連　116024）

圖像中的文字可分為兩種，一種是場景文字，另一種是人工嵌入的文字。當(dāng)這些文字影響了某些特定應(yīng)用時，則需要去除，即文本移除技術(shù)。文本移除主要由兩部分組成：第一部分是文本檢測、定位并移除，第二部分是對移除位置的修復(fù)。現(xiàn)有文獻(xiàn)中，很多是將這兩部分分開研究［1-2］。在針對文本檢測的研究中，很少關(guān)注文本提取后對后續(xù)修復(fù)算法的影響；在圖像修復(fù)的研究中，大部分算法是依靠手工標(biāo)記來完成文本的去除工作［3-5］。準(zhǔn)確標(biāo)記耗時耗力，而粗略標(biāo)記時的標(biāo)記區(qū)域往往比真實(shí)的文本區(qū)域大，由于移除大的文本區(qū)域丟失已有的信息，增加了圖像修復(fù)的難度。少量文獻(xiàn)進(jìn)行了文本移除問題的專門研究，如文獻(xiàn)［6］提出一種基于支持向量機(jī)的文本區(qū)域勾畫，并采用基于偏微分方程的修復(fù)算法［1］完成文本移除后的缺損區(qū)域填充，但是該算法需要一個較大的訓(xùn)練樣本，實(shí)現(xiàn)比較復(fù)雜。

圖1　文本移除算法流程Fig.1　Flowchart of proposed text removal method

針對文本移除問題，本文提出了一種新的方法。在文本定位階段，利用筆畫本身的固有特征和單詞內(nèi)部特征將文本與非文本區(qū)域區(qū)分開來，保證文本區(qū)域的準(zhǔn)確勾畫。在文本區(qū)域修復(fù)階段，以基于樣本塊［7］的圖像修復(fù)框架為基礎(chǔ)，采用邊界塊優(yōu)先權(quán)改進(jìn)計算方法確定修復(fù)順序，采用兩步匹配塊搜索策略降低誤匹配概率，最后根據(jù)低秩矩陣填充理論填補(bǔ)待修復(fù)塊的缺損區(qū)域［8］。算法流程如圖1所示。

1　文本定位

1.1　連通區(qū)域提取

本文提出一種參考鄰域的快速連通區(qū)域編號方法，即當(dāng)前像素點(diǎn)的編號根據(jù)其四鄰域的上邊和左邊的像素點(diǎn)編號值確定。具體編號方法實(shí)現(xiàn)如下

其中，L為連通區(qū)域編號圖像，初始值設(shè)為0，(i,j)為像素點(diǎn)的坐標(biāo)，l為連通區(qū)域當(dāng)前最大的編號值，初始值設(shè)為0。圖像中邊緣點(diǎn)需預(yù)先提取，并編號為0，式（1）只處理非邊緣點(diǎn)，本文采用canny算子完成邊緣檢測。另外，當(dāng)出現(xiàn)最后一種情況：i＞1,j＞1,L(i-1,j)＞ 0,L(i,j-1)＞0,L(i-1,j)≠L(i,j-1)時，會出現(xiàn)非邊緣位置相鄰像素編號不同的情況，按照式（2）糾正這些錯誤的編號

遍歷完所有像素點(diǎn)并計算編號之后，得到編號圖像L。

1.2　筆畫寬度計算

文獻(xiàn)［9］提出的筆畫寬度計算方法以像素點(diǎn)為基本單位，需要計算出這幅圖像所有像素點(diǎn)的筆畫寬度值，計算量較大且處理某些特殊筆畫時效果較差［10］。本文采用一種基于形態(tài)學(xué)骨架提取的筆畫寬度計算方法。形態(tài)骨架是物體的細(xì)化結(jié)構(gòu)，包含了物體的形狀和方向信息，是一種有效的形狀描述方法。形態(tài)骨架處于物體的中軸附近，這有利于計算筆畫寬度值。

如圖2所示，粗黑線包含的區(qū)域?yàn)檫B通區(qū)域，對其進(jìn)行形態(tài)學(xué)處理，獲取連通區(qū)域的骨架（圖2中細(xì)黑線）。與常用方法不同，這里只計算骨架上各像素點(diǎn)對應(yīng)的筆畫寬度，計算量相對較小。

計算獲得形態(tài)骨架上任一像素點(diǎn)p到所有邊緣點(diǎn)的距離d，并按照由小到大的順序排列，得到{dq1,dq2,dq3,…}。若射線pq1與射線pq2的夾角θ∈(π/2,π}，則該骨架點(diǎn)p的筆畫寬度值dp=dq1+否則繼續(xù)按順序搜索角度符合條件的邊緣點(diǎn)，并求得點(diǎn)p的筆畫寬度。

圖2　筆畫寬度計算示意圖Fig.2　Diagram of connected-area stroke-width calculation

計算獲得了連通區(qū)域骨架上所有像素點(diǎn)的筆畫寬度{dp1,dp2,…,dpN}后，依據(jù)定義式（3）、式（4）和式（5）分別計算該連通區(qū)域的筆畫寬度平均值、筆畫寬度中值和方差

1.3　無監(jiān)督連通區(qū)域分類

為了將文本區(qū)域從眾多連通區(qū)域中挑選出來，需要根據(jù)筆畫和單詞的特征將其他非筆畫連通區(qū)域排除掉。

1.3.1根據(jù)筆畫的固有特征排除非筆畫連通區(qū)域?qū)σ?guī)則文本，首先其筆畫骨架上所有像素點(diǎn)的筆畫寬度方差應(yīng)較小，即它的VSWT＜tv，這里tv是筆畫寬度方差的上限值；其次，筆畫連通區(qū)域的高寬之比Rhw在一定的范圍之內(nèi)，即tl＜Rhw＜th，這里tl和th分別是筆畫連通區(qū)域高寬之比的下限值和上限值；最后，所有英文字母中的一個筆畫最多包含2個連通區(qū)域，如字母“B”，否則應(yīng)排除。下述實(shí)驗(yàn)中，設(shè)置tv=/12，tl=0.5，th=8。圖3a和3b給出了依據(jù)英文筆畫固有特征排除非英文筆畫連通區(qū)域的示例。

1.3.2根據(jù)單詞內(nèi)部特征提取筆畫連通區(qū)域首先，規(guī)則文本中每個筆畫的寬度和顏色相似，即它們的μSWT，MSWT及CR,CG,CB相似，據(jù)此構(gòu)造 F=的特征向量。其次，應(yīng)排除單詞中的內(nèi)部連通區(qū)域，如字母“O”和“o”內(nèi)的圓形區(qū)域。

根據(jù)上述兩個特征，連通區(qū)域分類具體步驟如下：

（1）從連通區(qū)域列表中第一個未分類的連通區(qū)域ri開始，將新的連通區(qū)域串sj初始化為ri，令Fsj=Fri。

（2）在連通區(qū)域串sj鄰域內(nèi)搜索其它未分類的連通區(qū)域，設(shè)搜索到的連通區(qū)域?yàn)閞n，比較它們的特征向量F。若

則判斷rn是否是內(nèi)部連通區(qū)域：若rn只有一個相鄰連通區(qū)域且已經(jīng)分類，則rn判定是內(nèi)部連通區(qū)域，否則rn不是內(nèi)部連通區(qū)域。實(shí)驗(yàn)中設(shè)置tμl=0.7，tμh=1/0.7，tml=0.7，tmh=1/0.7，tch=202。

（3）比較sj與rn的所有特征，若符合設(shè)定閾值要求，將rn劃入連通區(qū)域串sj，更新Fsj；若不符合設(shè)定閾值要求，放棄rn，返回（2），繼續(xù)比較sj鄰域內(nèi)其它連通區(qū)域的特征。若鄰域內(nèi)已經(jīng)沒有其它連通區(qū)域，則j=j+1，返回（1）。

（4）所有連通區(qū)域的特征向量F都比較完畢，分類結(jié)束，得到集合{s1,s2,s3,…,sk}，即英文筆畫位置，如圖3c所示。

（5）對獲得的英文文本區(qū)域做形態(tài)學(xué)后處理，用膨脹方法去除邊界區(qū)域雜亂像素的干擾，得到文本區(qū)域掩模圖像。

需要說明的是，如果新的連通區(qū)域與上一個已分類的連通區(qū)域在水平和垂直兩個方向上同時有重疊，則這兩個連通區(qū)域不能歸為同一類；若這種重疊只發(fā)生在某一方向（水平或垂直）上，且滿足單詞內(nèi)部特征約束，可以劃歸為一類。

圖3　非英文筆畫連通區(qū)域去除及連通區(qū)域分類Fig.3　Removing non-English stroke connected-area and classifying connected-areas

2　文本移除

為填補(bǔ)圖像中去除文本后的空白區(qū)域，本文研究了基于樣本塊的圖像修復(fù)算法［7］，并針對其不足之處，在邊界塊優(yōu)先權(quán)值的計算，搜索匹配塊以及空白區(qū)域填補(bǔ)三個方面都提出了改進(jìn)方案。

2.1　計算邊界塊優(yōu)先權(quán)

去除文本后，圖像空白區(qū)域的信息填補(bǔ)按照由邊界向內(nèi)部分塊推進(jìn)的方式進(jìn)行。在邊界處，不同塊區(qū)域信息填補(bǔ)的先后順序?qū)π迯?fù)后的圖像質(zhì)量有較大影響，因此必須確定邊界塊的優(yōu)先權(quán)。應(yīng)該優(yōu)先修復(fù)具有較強(qiáng)結(jié)構(gòu)信息的邊界塊，這些結(jié)構(gòu)信息必須能夠延伸到待修復(fù)區(qū)域。

結(jié)構(gòu)張量［11］能夠反映出一幅圖像的局部幾何信息，定義為

其中，?Ii是第i個顏色通道的梯度，彩色圖像有三個顏色通道，m=3；Kρ是高斯核函數(shù)，其標(biāo)準(zhǔn)差為ρ。Jρ是半正定矩陣，有兩個非負(fù)的特征值，較大的設(shè)為λ1，較小的設(shè)為λ2，對應(yīng)兩個特征向量v1和v2，其中v1指向梯度方向，v2指向等照度線方向。兩個特征值的大小關(guān)系反映了圖像局部邊緣的特征：當(dāng)λ1≈λ2，且λ1,λ2都很小時，對應(yīng)的是平坦區(qū)域；當(dāng)λ1≈λ2，且λ1,λ2都很大時，對應(yīng)的是角點(diǎn)區(qū)域；當(dāng)λ1很大，而λ2很小時，對應(yīng)的是邊緣區(qū)域。

將文本移除后得到的圖像記為I，其中原文本位置為Ω，非文本位置為，Ω的邊界為?Ω，以像素點(diǎn)p為中心的小塊為Ψp。當(dāng)p為?Ω上任意一點(diǎn)時Ψp被稱作邊界塊，本文采用w×w的矩形邊界塊。為確定合理的修復(fù)順序，定義一個新的結(jié)構(gòu)項(xiàng)［8］

其中，η是一個正常數(shù)，α∈[0,1]，通常取η=100，α=0.5；np是點(diǎn)p處的單位法向量；為了將非文本區(qū)域中邊緣結(jié)構(gòu)和其他結(jié)構(gòu)區(qū)分開，引入特征值之差|λ1-λ2|，高的結(jié)構(gòu)項(xiàng)值表明該邊界快中含有邊緣結(jié)構(gòu)。另外，當(dāng)邊緣結(jié)構(gòu)與區(qū)域邊界之間的夾角很小時，搜索得到的相似塊很容易丟失這些結(jié)構(gòu)。只有當(dāng)這二者的夾角保持很大或二者垂直時，邊緣結(jié)構(gòu)兩側(cè)區(qū)域大小保持相對平衡，才能得到更為合理的相似塊。這一要求在邊界塊優(yōu)先權(quán)的計算中通過(α+(1-α)|cos(v2,np)|)項(xiàng)進(jìn)行約束。

此外，搜索得到的相似塊的可靠度和邊界塊的修復(fù)難度由邊界塊中已知像素點(diǎn)數(shù)量的決定。為此，本文采用式（8）定義的置信項(xiàng)［10］進(jìn)行描述

將結(jié)構(gòu)項(xiàng)與置信項(xiàng)相乘，即得到邊界塊優(yōu)先權(quán)值計算式［8］

2.2　搜索匹配塊

第一步：全局搜索。在整幅圖像中搜索N個與待修復(fù)塊相似的匹配塊，相似性度量

Ψq為中同尺寸小塊。

第二步：局部搜索。在待修復(fù)塊的鄰域中以式（10）為度量找到一個最佳匹配塊，根據(jù)鄰域一致性原理，可認(rèn)為待修復(fù)塊的未知區(qū)域與該最佳匹配塊對應(yīng)區(qū)域高度相似。而在全局搜索中得到的N個匹配塊，有可能存在整體區(qū)域匹配度不好的誤匹配塊，通過重新計算這N個匹配塊與最佳匹配塊的相似度，篩選出最為相似的前n(n＜N)個匹配塊，判定閾值設(shè)為t。

2.3　修　復(fù)

文獻(xiàn)［7］選擇最相似的匹配塊對待修復(fù)塊缺損區(qū)域進(jìn)行直接填充，這樣做容易在出現(xiàn)誤匹配時累積錯誤，修復(fù)效果不佳。本文根據(jù)低秩矩陣填充理論，利用得到的n個匹配塊，填補(bǔ)待修復(fù)塊的缺損區(qū)域，能夠減少錯誤累積。

將矩形待修復(fù)塊和n個匹配塊按照相同的規(guī)則展成行向量Mi(i=1,2,…,n+1)，構(gòu)造新矩陣M。由于待修復(fù)塊與n個匹配塊結(jié)構(gòu)相似，即矩陣M每行中的元素相似，可以利用低秩矩陣填充技術(shù)估計待修復(fù)塊所在行丟失的元素信息，達(dá)到缺損區(qū)域修復(fù)的目的。

令修復(fù)后矩陣為X，則該低秩問題可以表示成

理論研究表明，秩的最小化問題可轉(zhuǎn)化成核范數(shù)最小化問題［12］，即

與式（12）對應(yīng)的增廣拉格朗日方程為

以Gauss-Seidel的方式進(jìn)行變量更新

其中，Dτ(?)是奇異值閾值操作［14］。

2.4　更新置信值

當(dāng)待填充塊修復(fù)完畢，對新的已知像素點(diǎn)進(jìn)行置信度的更新，更新規(guī)則如下

3　實(shí)驗(yàn)與分析

本文從文本定位、文字邊緣勾畫的準(zhǔn)確性，以及文本移除后缺損區(qū)域的修補(bǔ)質(zhì)量兩個方面對所提算法的性能進(jìn)行了驗(yàn)證，并與基于最大穩(wěn)定極值區(qū)域（MSER）的文本檢測算法［15］，傳統(tǒng)基于樣本塊的修復(fù)算法［7］和基于低秩矩陣填充的修復(fù)算法［2］得到的結(jié)果進(jìn)行了比較。相關(guān)參數(shù)設(shè)置：邊界塊大小取值為w=7，第一步搜索候選塊數(shù)量N=48，第二步搜索匹配塊數(shù)量n=24，搜索鄰域?yàn)?w×3w的矩形區(qū)域，篩選閾值t=(20/255)2w2m。

圖4為不同算法文本檢測實(shí)驗(yàn)結(jié)果的比較，可以看到，基于最大穩(wěn)定極值區(qū)域的算法處理不同圖像時，不僅會遺漏某些文字，而且會將非文字區(qū)域判定為文字區(qū)域，這將會帶來后續(xù)文字移除不徹底，或由于缺損區(qū)增多，導(dǎo)致修復(fù)質(zhì)量不佳等問題。

圖5所示為文本檢測不準(zhǔn)確影響修復(fù)質(zhì)量的典型實(shí)例，其中圖5b是采用MSER文本檢測和本文改進(jìn)塊修復(fù)算法相結(jié)合得到的結(jié)果，字母I沒有被檢測為文本，仍遺留在修復(fù)后的圖像中，而左上角和右上角區(qū)域被誤檢為文本區(qū)域予以移除，修復(fù)后的圖像與原圖像相應(yīng)位置的內(nèi)容有明顯不同。圖5c是采用本文提出的算法得到的結(jié)果，沒有明顯文本區(qū)域遺漏和誤檢現(xiàn)象，修復(fù)后圖像保留了結(jié)構(gòu)的連貫性和自然性，有比較好的視覺效果。顯然，無論是在文本檢測的完整性還是文本定位的準(zhǔn)確性上，本文提出的檢測算法都要優(yōu)于基于最大穩(wěn)定極值區(qū)域的算法。

圖4　不同算法文本檢測結(jié)果比較Fig.4　Comparison of text detection results by different algorithms

圖5　文本檢測準(zhǔn)確性對修復(fù)質(zhì)量的影響Fig.5　Effect of text detection accuracy on inpainting quality

圖6對比了傳統(tǒng)基于樣本塊的修復(fù)算法、基于低秩矩陣填充技術(shù)的修復(fù)算法和本文提出的修復(fù)算法對文字移除后缺損區(qū)的修補(bǔ)效果。從整體效果上來看，基于樣本塊的修復(fù)結(jié)果容易出現(xiàn)一些錯誤的信息填充，而單純基于低秩矩陣填充算法的修復(fù)結(jié)果殘留痕跡過于明顯，而本文算法的結(jié)果視覺上更為自然、合理；從細(xì)節(jié)上來看，基于樣本塊的修復(fù)結(jié)果在某些邊緣處不夠連貫，如人像圖（第三幅圖像）中的云彩處，而本文算法在邊緣連貫性上保持較好。因此，本文提出的修復(fù)算法能夠?qū)⒐烙嫵龅男畔⒑侠淼靥畛涞轿谋疽瞥齾^(qū)域，修復(fù)結(jié)果保留了結(jié)構(gòu)的連貫性和自然性，視覺上沒有明顯的修補(bǔ)痕跡。

圖6　文本移除結(jié)果比較Fig.6　Comparison of text removal results by using different methods

4　結(jié)論

本文提出了一種新的自動文本移除算法，該算法共分兩部分，第一部分為自動文本檢測與移除，第二部分為對移除區(qū)域的修復(fù)。在自動文本檢測中，本文提出了基于連通區(qū)域的無監(jiān)督分類方法，根據(jù)文本筆畫區(qū)域的固有特征以及筆畫之間的關(guān)系特征快速有效地提取文本連通區(qū)域。在移除區(qū)域修復(fù)中，充分利用待修復(fù)塊的結(jié)構(gòu)特點(diǎn)，通過計算邊界塊優(yōu)先權(quán)值確定修復(fù)順序；采用改進(jìn)的匹配塊二步搜索策略，選擇多個相似塊與待填充塊進(jìn)行匹配；在缺損區(qū)域修復(fù)時引入低秩矩陣填充理論，使修復(fù)結(jié)果更加自然合理。用多個仿真實(shí)驗(yàn)檢驗(yàn)了新算法的有效性。但是，本文算法修復(fù)步驟的計算復(fù)雜度較高，耗時長，未來將在提高計算速度方面做進(jìn)一步研究。

參考文獻(xiàn)：

［1］BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting［C］//Conference on Computer Graphics and Interactive Techniques.New Orleans，LA，USA：2000：417-424.

［2］YE Q，DOERMANN D.Text detection and recognition in imagery：a survey［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，37（7）：1480-1500.

［3］TSAI T H，F(xiàn)ANG C L.Text-video completion using structure repair and texture propagation［J］.IEEE Trans.Multimedia，2011，13（1）：29-39.

［4］FAVORSKAYA M，ZOTIN A，DAMOV M.Intelligent inpainting system for texture reconstruction in videos with text removal［C］//International Congress on Ultra Modern Telecommunications and Control Systems and Workshops.Moscow，Russia：IEEE，2010：867-874.

［5］YAN W Q，KANKANHALLI M S.Erasing video logos based on image inpainting［C］//IEEE International Conference on Multimedia and Expo，2002.Lausanne，Switzerland：IEEE，2002：521-524

［6］CHANG W L，JUNG K，HANG J K.Automatic text detection and removal in video sequences［J］.Pattern Recognition Letters，2003，24（15）：2607-2623.

［7］CRIMINISI A，PEREZ P，TOYAMA K.Object removal by exemplar-based inpainting［C］//IEEE international Conference on Computer Vision and Pattern Recognition.Madison，WI，USA：IEEE Computer Society，2003：721-728.

［8］LIN X，YANG X.Effective exemplar-based image inpainting using low-rank matrix completion［C］//International Conference on Awareness Science and Technology.Qinhuangdao，China：IEEE，2015：37-42.

［9］MOSLEH A，BOUGUILA N，HAMZA A B.Automatic inpainting scheme for video text detection and removal［J］.IEEE Trans.On Image Processing，2013，22（11）：4460-4472.

［10］EPSHTEIN B，OFEK E，WEXLER Y.Detecting text in natural scenes with stroke width transform［C］//IEEE Conference on Computer Vision and Pattern Recognition.San Francisco，CA，USA：IEEE，2011：2963-2970.

［11］ZENZO S D.A Note on the gradient of a multi-image［J］.Computer vision，graphics，and image processing，1986，33（1）：116-125.

［12］CANDèS E J，RECHT B.Exact matrix completion via convex optimization［J］.Communications of the ACM，2009，9（6）：717-772.

［13］ZHANG D，HU Y，YE J，et al.Matrix completion by truncated nuclear norm regularization［C］//Proceedings of International Conference on Computer Vision and Pattern Recognition.Providence，RI，USA：IEEE，2012：2192-2199.

［14］CAI J F，CANDèS E J，SHEN Z.A singular value thresholding algorithm for matrix completion［J］.Siam Journal on Optimization，2008，20（4）：1956-1982.

［15］CHEN H，TSAI S S，SCHROTH G，et al.Robust text detection in natural images with edge-enhanced Maximally Stable Extremal Regions［C］//IEEE International Conference on Image Processing.Brussels，Belgium：IEEE，2011：2609-2612.