基于圖像分解的復(fù)雜圖片中文字干擾消除?

董劍龍，王浩全

(1.太原工業(yè)學(xué)院 教務(wù)處，山西太原 030008；2.中北大學(xué)儀器科學(xué)與動(dòng)態(tài)測(cè)試教育部重點(diǎn)實(shí)驗(yàn)室&電子測(cè)試技術(shù)重點(diǎn)實(shí)驗(yàn)室，山西太原030051)

如何有效消除影視劇制作過(guò)程中復(fù)雜圖片內(nèi)的字幕，提高視頻影像的視覺(jué)效果是影視傳播領(lǐng)域關(guān)注的話題之一．基于TV模型[1,2]或與其他算法結(jié)合[3,4]使用能有效消除非紋理圖片中的文字．采用Criminisi算法[5]消除復(fù)雜圖片中的文字會(huì)呈現(xiàn)結(jié)構(gòu)斷裂現(xiàn)象．而改進(jìn)的Criminisi算法[6,7]主要是針對(duì)紋理圖片中塊狀目標(biāo)的干擾消除．本文通過(guò)圖像分解將復(fù)雜圖片中的結(jié)構(gòu)圖片與紋理圖片分離，結(jié)合TV模型和Criminisi算法的優(yōu)勢(shì)，快速有效地消除復(fù)雜圖片中的文字干擾．

1 紋理圖片中文字干擾消除原理

圖1為Criminisi算法用于消除紋理圖片中文字干擾的示意圖．圖中I表示受文字干擾的圖片，φ表示未受文字干擾區(qū)域，?表示含有待消文字的區(qū)域，??表示φ與?的邊界，p為相對(duì)優(yōu)先權(quán)最高的像素，Ψp為以像素p為中心的矩形區(qū)域，?為p點(diǎn)等照度線，其大小與該點(diǎn)的梯度相等，方向與之垂直，np為與邊界正交的單位向量．具體實(shí)現(xiàn)過(guò)程如下．

圖1 Criminisi算法用于消除紋理圖片中文字干擾的示意圖Fig 1 Schematic diagram of Criminisi algorithm for eliminating text interference in texture images

1.1 尋找含干擾文字區(qū)域的邊緣，確定待處理區(qū)域

在VC++環(huán)境中利用FillRegion變量對(duì)待處理區(qū)域進(jìn)行標(biāo)記，將受文字干擾的像素點(diǎn) fillRegion置1，其他像素點(diǎn)置0，獲得標(biāo)記矩陣，如圖2(a)所示．利用Laplacian算子（見(jiàn)圖2(b)）找出受文字干擾區(qū)域的邊界（見(jiàn)圖2(c)）．邊界位置確定后，掃描受文字干擾區(qū)域邊界上所有像素點(diǎn)，以邊界像素點(diǎn)為中心取9×9大小的像素區(qū)域作為待處理塊．

圖2 受干擾文字區(qū)域的邊界檢測(cè)示意圖Fig 2 Schematic diagram of boundary detection of interference text regions

1.2 計(jì)算邊界上待處理塊的優(yōu)先權(quán)，選出優(yōu)先處理的目標(biāo)塊

圖片文字消除過(guò)程中為保證干擾文字消除后盡可能接近圖片原始狀態(tài)，一般會(huì)考慮優(yōu)先消除具有較多已知信息和較強(qiáng)結(jié)構(gòu)的目標(biāo)塊．為此，引入置信度C(p)：

其中，C(p)為衡量待處理塊中包含的已知信息，|Ψp|表示矩形區(qū)域Ψp的面積，即待處理像素塊中所包含像素的個(gè)數(shù)．

此外，引入數(shù)據(jù)項(xiàng)D(p)來(lái)描述待處理區(qū)域的結(jié)構(gòu)信息[8]：

式中，Ix和Iy分別為待處理區(qū)域中像素點(diǎn)p在x和y方向上的偏導(dǎo)數(shù)．

為保證優(yōu)先消除包含較多已知信息且結(jié)構(gòu)更強(qiáng)的待處理塊，引入優(yōu)先權(quán)：

1.3 搜索最佳匹配塊

通過(guò)式(4)計(jì)算邊界上所有待處理像素塊的優(yōu)先權(quán)，從中選出優(yōu)先權(quán)最高的像素塊作為目標(biāo)塊Ψ先對(duì)其進(jìn)行處理，然后在待處理圖片的樣本塊Ψq中尋找目標(biāo)塊的最佳匹配塊Ψ，匹配準(zhǔn)則：

即待處理圖片中完好區(qū)域與目標(biāo)塊已知像素灰度差平方最?。?/p>

式中，I(p)為目標(biāo)塊內(nèi)的像素值，Iq(p)為樣本塊中的像素值．

1.4 置信度的更新

由式(5)和式(6)找出最佳匹配塊后，對(duì)目標(biāo)塊中對(duì)應(yīng)的含干擾文字像素進(jìn)行填充消除，這樣塊中像素點(diǎn)的歸屬發(fā)生變動(dòng)，便需要對(duì)這些像素點(diǎn)的置信度進(jìn)行如下更新：

重復(fù)1.1～1.4四個(gè)步驟直到待處理區(qū)域的干擾文字全部消除．

2 圖像分解的實(shí)現(xiàn)

采用TV模型對(duì)非紋理圖片中文字的消除有較好效果[1?4]，而利用Criminisi紋理合成算法更適用于處理紋理圖像中的干擾文字[5?7]．這樣針對(duì)一幅既包含結(jié)構(gòu)成分又包含紋理成分的圖片，可將這兩種成分分離，分別做相應(yīng)處理后再合成即可．

2.1 圖片中結(jié)構(gòu)成分的提取

改變TV模型的作用范圍，將其作用于整幅待處理圖片，并控制迭代次數(shù)在5～10次，即可提取待處理圖片中的結(jié)構(gòu)成分．

2.2 圖片中紋理成分的提取

將待處理圖片與所提取的結(jié)構(gòu)成分相減，即可提取待處理圖片中的紋理成分．

3 仿真結(jié)果及分析

根據(jù)以上理論，仿真結(jié)果如下．圖3(a)為256×256的lena原始圖片，圖3(b)為添加有多而小的干擾文字圖片．圖4是采用文獻(xiàn)[1]中的TV模型對(duì)圖3(b)進(jìn)行干擾文字消除的結(jié)果．圖5是利用本文中Criminisi算法對(duì)圖3(b)中干擾文字消除的結(jié)果．由圖4和圖5可看出，采用Criminisi算法對(duì)文字的干擾消除留有殘余（見(jiàn)紅色圈內(nèi)），效果不如使用TV模型好．

圖3 lena圖像及添加干擾文字后圖像Fig 3 Lena image before and after adding interference text

圖4 采用TV模型處理結(jié)果Fig 4 Results using the TV model

圖5 本文算法處理結(jié)果Fig 5 Results using by the algorithm presented in this paper

此外，我們對(duì)受相同文字干擾的紋理圖片采用TV模型和本文算法分別進(jìn)行了處理，結(jié)果如圖6所示．從圖6(b)中可觀察到干擾文字的痕跡，圖6(c)中文字干擾幾乎不可見(jiàn)．可見(jiàn)，本文中Criminisi算法更善于處理紋理圖片中的文字干擾．

圖6 對(duì)紋理圖片中的干擾文字消除結(jié)果Fig 6 Results of interference text elimination in texture images

針對(duì)TV模型與Criminisi算法的優(yōu)勢(shì)，對(duì)復(fù)雜圖片（見(jiàn)圖7(a)）進(jìn)行圖像分解來(lái)改善效果．本文采用TV模型迭代8次獲得圖7(a)的結(jié)構(gòu)成分，如圖7(b)所示，再用原圖減去結(jié)構(gòu)成分，得到圖7(a)的紋理成分，如圖7(c)所示．對(duì)圖7(b)和圖7(c)分別采用TV模型和本文中Criminisi算法消除干擾文字后結(jié)果如圖8(a)和8(b)所示．從圖8(a)和8(b)可以觀察到文字干擾消除效果顯著，但圖8(a)中紋理部分有明顯受損痕跡，圖8(b)中結(jié)構(gòu)部分具有明顯受損痕跡．可見(jiàn)，單獨(dú)使用一種算法對(duì)既包含豐富紋理信息，又包含豐富結(jié)構(gòu)信息的文字干擾圖片進(jìn)行消除并不能夠得到理想結(jié)果，但兩種方法結(jié)合使用，效果顯著，如圖8(c)所示．

圖7 復(fù)雜圖片中結(jié)構(gòu)成分和紋理成分的提取Fig 7 Extraction of structural components and texture components in complex images

圖8 復(fù)雜圖片中的干擾文字消除結(jié)果Fig 8 Results of interference text elimination in complex images

4 小結(jié)

Criminisi算法依據(jù)特定匹配原則在全局范圍內(nèi)尋找最佳匹配塊對(duì)目標(biāo)區(qū)域進(jìn)行復(fù)制填充消除干擾文字，有效地解決了基于TV模型算法不適用于紋理圖片這一缺點(diǎn)，而TV模型算法對(duì)于非紋理圖片中文字干擾的消除效果相比Criminisi算法卻能達(dá)到效果更佳．文中對(duì)復(fù)雜圖片進(jìn)行分解后充分利用基于TV模型算法和Criminisi紋理合成算法各自的優(yōu)點(diǎn)，對(duì)復(fù)雜圖片中的結(jié)構(gòu)分量和紋理分量進(jìn)行分別處理，結(jié)果表明相較于單一算法而言，本文中提出的算法具有更強(qiáng)的適用性，這也為今后的研究工作提供了新思路．