一種基于CGAN的可見(jiàn)水印去除方案

王家亮，劉曉強(qiáng)，李柏巖，馮珍妮

(東華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 201620)

0 引 言

出于版權(quán)或真?zhèn)涡钥紤]，自然場(chǎng)景中用于光學(xué)字符識(shí)別(optical character recognition，OCR)的文檔或卡證票據(jù)，通常會(huì)覆蓋固定樣式的水印(如印章)，這些被放置在非固定區(qū)域的水印或許呈現(xiàn)出不同的完整性、縮放程度、旋轉(zhuǎn)角度和反光特性等，這些因素給閱讀效率、機(jī)器識(shí)別造成困難，因此精細(xì)化的水印去除非常重要。

去水印首先要進(jìn)行水印檢測(cè)，即將包含水印的局部區(qū)域從證件中提取出來(lái)，形成水印感興趣區(qū)域(region of interest，ROI)。CV中傳統(tǒng)的用于特征提取的代表性工具是霍夫變換(Hough transform)，但它僅適用于定位目標(biāo)背景簡(jiǎn)單、輪廓邊緣清晰完整且形變不大的情況，在復(fù)雜背景融合、參數(shù)設(shè)置不合理或透視形變過(guò)大等不可控因素的情況下，該方法的魯棒性迅速降低。實(shí)際應(yīng)用環(huán)境中，不僅圖像的背景復(fù)雜，前景也會(huì)受到不同光照條件的影響，在眾多干擾直線中提取出定位目標(biāo)的邊緣輪廓非常困難，會(huì)使檢測(cè)結(jié)果較依賴預(yù)處理及復(fù)雜的參數(shù)調(diào)整。另外，直線或圓的檢測(cè)也會(huì)大量占據(jù)處理機(jī)的內(nèi)存空間，影響檢測(cè)速度。

水印去除問(wèn)題屬于計(jì)算機(jī)視覺(jué)中的圖像修復(fù)和轉(zhuǎn)換領(lǐng)域。傳統(tǒng)的圖像修復(fù)方法大致有單圖像和多圖像兩類方案，單圖像最大的缺點(diǎn)是要求人工介入，要么對(duì)水印分離要么填充它。多圖像則需要近似大小、強(qiáng)度的水印被放在大量圖片的同一相對(duì)位置上，不僅在訓(xùn)練階段對(duì)數(shù)據(jù)集要求十分嚴(yán)格，實(shí)際預(yù)測(cè)時(shí)輸入的含水印圖像在視覺(jué)上有旋轉(zhuǎn)、平移、縮放的改變都會(huì)降低該方案的普適性。而張茗茗等人提出的基于多重匹配的可見(jiàn)水印去除算法，也僅能處理因阿拉伯?dāng)?shù)字水印遭到毀損的圖像。

基于深度學(xué)習(xí)的條件生成對(duì)抗網(wǎng)絡(luò)(conditional generative adversarial networks，CGANs)通過(guò)對(duì)輸入圖像進(jìn)行場(chǎng)景條件約束生成相應(yīng)圖像，由于它在圖像轉(zhuǎn)換領(lǐng)域的開(kāi)創(chuàng)性研究，使圖像去噪、手寫(xiě)數(shù)字生成和識(shí)別、語(yǔ)音增強(qiáng)、遙感圖像時(shí)空融合及云去除得以廣泛應(yīng)用。

該文提出了一種基于特征點(diǎn)匹配的水印檢測(cè)和基于條件生成對(duì)抗網(wǎng)絡(luò)的水印去除方法。針對(duì)在非均勻光照和復(fù)雜背景下的自然業(yè)務(wù)場(chǎng)景，通過(guò)特征點(diǎn)匹配檢測(cè)到證件中的水印ROI，然后利用訓(xùn)練好的條件生成對(duì)抗網(wǎng)絡(luò)CGAN模型，將輸出的去水印ROI運(yùn)用透視變換重新恢復(fù)到證件中，可實(shí)現(xiàn)水印檢測(cè)和水印去除功能。

主要貢獻(xiàn)如下：

(1)提出了一種基于特征點(diǎn)檢測(cè)、匹配的可見(jiàn)自然水印檢測(cè)方法，不僅具備光照、尺度、旋轉(zhuǎn)不變性，而且速度快、定位精準(zhǔn)，對(duì)呈現(xiàn)出不同殘缺、模糊、深淺狀態(tài)的水印提供了較好的容錯(cuò)能力；

(2)提出了一種基于條件生成對(duì)抗網(wǎng)絡(luò)的可見(jiàn)自然水印去除方法。實(shí)驗(yàn)表明能有效地將自然場(chǎng)景中的水印去除，特別對(duì)水印覆蓋內(nèi)容的恢復(fù)能力較為顯著；

(3)給出了CGAN所需的成對(duì)訓(xùn)練集生成方法，能夠有效增強(qiáng)、擴(kuò)充大量的成對(duì)訓(xùn)練數(shù)據(jù)。

1 基于CGAN的去水印網(wǎng)絡(luò)

1.1 去水印總體方案

去水印整體方案包含訓(xùn)練條件生成對(duì)抗網(wǎng)絡(luò)去水印模型和預(yù)測(cè)去水印模型兩部分，如圖1所示。在訓(xùn)練階段，使用水印融合手段生成大量成對(duì)的帶水印卡證區(qū)域和對(duì)應(yīng)的不帶水印卡證區(qū)域拼接而成的訓(xùn)練樣本，采用端到端訓(xùn)練CGAN網(wǎng)絡(luò)得到水印去除模型。

圖1 水印去除方法處理流程

預(yù)測(cè)階段，首先通過(guò)特征點(diǎn)匹配技術(shù)對(duì)自然卡證/文檔上進(jìn)行水印檢測(cè)并提取水印ROI，然后用訓(xùn)練好的CGAN模型完成水印去除，最后通過(guò)透視變換將去除了水印的ROI恢復(fù)到證件上。

1.2 去水印CGAN網(wǎng)絡(luò)原理

基于深度學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks，GANs)在圖像生成任務(wù)上取得了重大突破，其核心思想是通過(guò)學(xué)習(xí)訓(xùn)練樣本集的大量數(shù)據(jù)分布來(lái)生成“以假亂真”圖像分布。

原始GAN包含了一個(gè)生成器

G

和一個(gè)判別器

D

，兩者都是多層感知機(jī)。生成器訓(xùn)練隨機(jī)噪聲

Z

產(chǎn)生最佳輸出以欺騙判別器，判別器通過(guò)對(duì)真?zhèn)螆D像的學(xué)習(xí)，嚴(yán)格控制生成器的學(xué)習(xí)水平。GAN的目標(biāo)函數(shù)基本形式如式1所示：

(1)

傳統(tǒng)的GAN網(wǎng)絡(luò)只能根據(jù)學(xué)習(xí)到的圖像特征生成相似數(shù)據(jù)分布的圖像，而不能生成具有特定細(xì)節(jié)的圖像。文獻(xiàn)[10]中作者使用了pix2pix模型，該模型基于條件生成對(duì)抗網(wǎng)絡(luò)用于實(shí)現(xiàn)圖像之間的轉(zhuǎn)換，如從黑夜到白晝的轉(zhuǎn)換，可以輔助汽車(chē)生成清晰明亮的倒車(chē)影像。CGAN也可以實(shí)現(xiàn)語(yǔ)義/標(biāo)簽到真實(shí)圖像、灰度圖像到彩色圖像、低照度圖像到增強(qiáng)圖像的轉(zhuǎn)換。

它在生成器和判別器的輸入中各加入了相同的附帶條件

y

，有助于GAN優(yōu)化的概率期望分布公式成為CGAN優(yōu)化的條件概率期望分布公式，判別器也會(huì)通過(guò)聯(lián)合

y

和

G

(

z

|

y

)判別樣本的真實(shí)性。條件標(biāo)簽的表達(dá)形式不限，可以是One Hot編碼，甚至圖像。將含水印圖像當(dāng)作條件約束，含水印的圖像與隨機(jī)噪聲

Z

輸入到生成器，并由判別器對(duì)帶條件的“模仿”結(jié)果進(jìn)行全局質(zhì)量評(píng)估。圖2顯示了GAN與CGAN在形式上的區(qū)別。

圖2 GAN和CGAN的區(qū)別

與GAN相比，CGAN是有監(jiān)督的學(xué)習(xí)，CGAN的目標(biāo)函數(shù)基本形式如式2所示：

(2)

CGAN對(duì)于不同的轉(zhuǎn)換問(wèn)題采用完全相同的網(wǎng)絡(luò)結(jié)構(gòu)和目標(biāo)函數(shù)。只要能提供盡可能多的、覆蓋目標(biāo)細(xì)節(jié)特征的成對(duì)訓(xùn)練數(shù)據(jù)集，模型就可以自動(dòng)訓(xùn)練和優(yōu)化，下節(jié)將介紹大量的成對(duì)訓(xùn)練樣本生成方法。

該文使用pix2pix來(lái)實(shí)現(xiàn)CGAN，并根據(jù)實(shí)際需求進(jìn)行修改。pix2pix模型混合了L1距離損失和CGAN損失函數(shù)，減少了模糊度，保留了更多的正確特征，該模型的目標(biāo)函數(shù)整理為式3。

(3)

pix2pix模型的具體網(wǎng)絡(luò)架構(gòu)中，生成器使用了“U-Net”結(jié)構(gòu)(如圖3(a)所示)，是一個(gè)由下采樣和上采樣組成的網(wǎng)絡(luò)結(jié)構(gòu)。U-Net與傳統(tǒng)的“編碼器-解碼器”模型(如圖3(b)所示)相比增加了跳線，其中下采樣用于展現(xiàn)圖像的概貌信息，上采樣聯(lián)合下采樣的各層信息和上采樣的輸入信息來(lái)還原圖像細(xì)節(jié)和精度，使網(wǎng)絡(luò)在輸入和輸出之間共享大量的低級(jí)信息。

圖3 “U-Net”與“編碼器-解碼器”結(jié)構(gòu)示意

傳統(tǒng)GAN使用的判別器關(guān)注生成圖像與真實(shí)圖像的全局差異，但是整個(gè)圖像的加權(quán)值無(wú)法體現(xiàn)圖像局部的特征信息，不能控制圖像轉(zhuǎn)換問(wèn)題中的細(xì)節(jié)精度。pix2pix的判別器使用了“PatchGAN”，它的輸出不是一個(gè)標(biāo)量(真或假)而是一個(gè)

N

*

N

的矩陣。PatchGAN的示意如圖4所示，右側(cè)網(wǎng)格代表PatchGAN的輸出矩陣，其中

X

表示Patchij區(qū)域的真?zhèn)涡?，代表圖像中某個(gè)較大的感受野，即一個(gè)Patch。

圖4 “PatchGAN”示意

在圖像樣式轉(zhuǎn)換中，馬爾可夫判別器的PatchSize大小直接關(guān)系到生成圖像的質(zhì)量，合適的PatchSize值能使生成圖像保持超高分辨率和高細(xì)節(jié)。通過(guò)在圖片上以窗口滑動(dòng)的形式獲得判別矩陣，求出平均值作為判別器的最終輸出。

1.3 CGAN成對(duì)訓(xùn)練集擴(kuò)充方法

在對(duì)CGAN模型進(jìn)行訓(xùn)練時(shí)，訓(xùn)練集要采用成對(duì)形式，即需含有像素點(diǎn)完全對(duì)應(yīng)的帶水印和不帶水印ROI圖像作為模型的輸入，因此獲取大量的成對(duì)訓(xùn)練數(shù)據(jù)樣本是CGAN模型訓(xùn)練的基礎(chǔ)。

該文針對(duì)實(shí)際場(chǎng)景需要，以小數(shù)據(jù)集“學(xué)生卡”訓(xùn)練樣本為基礎(chǔ)，采用以下生成方法來(lái)擴(kuò)充和增強(qiáng)訓(xùn)練集：

(1)針對(duì)數(shù)據(jù)集中包含純色背景中的水印，通過(guò)2.1節(jié)介紹的水印檢測(cè)方法提取水??；

(2)將提取到的水印進(jìn)行各種變換，得到不同場(chǎng)景下的各種模擬水印效果(如圖5(a)所示，呈現(xiàn)深淺變化、不均勻力、輪廓污染、模糊不清和截?cái)鄽埲?；也可以將水印模板制作成實(shí)體印章，在真實(shí)環(huán)境下敲出多種形態(tài)的水印，然后執(zhí)行水印采集和標(biāo)準(zhǔn)化處理；

圖5 CGAN成對(duì)訓(xùn)練集擴(kuò)充

(3)以分辨率較高的干凈圖像制作證件模板，然后模擬一些數(shù)據(jù)用于字段填充，形成證件樣本，通過(guò)適當(dāng)?shù)姆椒ㄕ{(diào)整不透明度，得到大量模擬卡證樣本(如圖5(b)所示)；

(4)將水印融合到模擬樣本的隨機(jī)區(qū)域，并在融合前后調(diào)整證件的亮度和模糊度；

(5)將融合前后的ROI水平拼接在一起(如圖5(c)所示)，形成CGAN成對(duì)訓(xùn)練樣本。

該方法可從已有的數(shù)據(jù)樣本中提取水印，水印狀態(tài)自然真實(shí)。此外，可以在證件上與原始水印不重疊的任何非空白像素位置融合模擬水印，用于生成大量不同效果的樣本。訓(xùn)練集的擴(kuò)充和增強(qiáng)，解決了訓(xùn)練集短缺的實(shí)際問(wèn)題，為CGAN模型的魯棒性提供基礎(chǔ)支撐。

2 去水印應(yīng)用

2.1 基于特征點(diǎn)匹配的水印檢測(cè)

在使用CGAN模型對(duì)證件去除水印之前，首先要提取水印ROI。在實(shí)際應(yīng)用中，目標(biāo)檢測(cè)的速度需求往往很高。該文基于傳統(tǒng)計(jì)算機(jī)視覺(jué)原理提出了一種穩(wěn)定有效的檢測(cè)方法。首先需要幾幅完整、清晰、無(wú)噪聲的水印模板圖像，然后從模板的特征點(diǎn)入手，通過(guò)特征點(diǎn)檢測(cè)、匹配和錯(cuò)誤匹配消除，實(shí)現(xiàn)目標(biāo)水印的定位。

技術(shù)方面，通過(guò)對(duì)SIFT、BRISK、AKAZE三種特征點(diǎn)檢測(cè)算法在尺度、旋轉(zhuǎn)、透視形變、照度、模糊度和背景復(fù)雜度變化時(shí)的特征檢測(cè)能力進(jìn)行實(shí)驗(yàn)，驗(yàn)證了SIFT算子尤其在自然場(chǎng)景中復(fù)雜背景和自然光照復(fù)合影響時(shí)具備相對(duì)較強(qiáng)的魯棒性。采用FLANN最近鄰匹配算法加速SIFT特征點(diǎn)匹配過(guò)程，采用PROSAC算法排除離群點(diǎn)，從而估計(jì)出滿足幾何變換要求的最佳透視模型。

如圖6所示，基于特征點(diǎn)的圖像匹配技術(shù)并不要求被檢測(cè)水印的強(qiáng)完整性，如同自然情況下以不同力度在不同材質(zhì)的紙張上敲下的印章存在一定的不可控性類似，對(duì)那些呈現(xiàn)出殘缺、深淺狀態(tài)的水印提供了較大的寬容度。在對(duì)大量數(shù)據(jù)集進(jìn)行預(yù)測(cè)時(shí)，該文提出的水印檢測(cè)方法能自動(dòng)獲取水印ROI，具有高效、穩(wěn)定的特點(diǎn)。

圖6 基于特征點(diǎn)匹配的水印檢測(cè)

文獻(xiàn)[15]是SIFT特征點(diǎn)檢測(cè)的一種改進(jìn)算法，特別增強(qiáng)了圖像的抗仿射性。若與該文的特征點(diǎn)匹配算法搭配使用，可應(yīng)用于對(duì)實(shí)時(shí)性要求較高的水印檢測(cè)場(chǎng)景。

2.2 基于CGAN的水印去除

(1)成對(duì)訓(xùn)練集。

實(shí)驗(yàn)通過(guò)收集結(jié)構(gòu)化模擬數(shù)據(jù)并向模板中填充數(shù)據(jù)，生成了644張學(xué)生卡。使用CGAN成對(duì)訓(xùn)練集擴(kuò)充方法，將163枚“THANK YOU”印章水印融合在學(xué)生卡中隨機(jī)選取的20個(gè)(根據(jù)有效像素與學(xué)生卡尺寸的占比估算)非重疊區(qū)域，每張學(xué)生卡可生成3 260對(duì)訓(xùn)練樣本，共產(chǎn)生2 099 440對(duì)樣本。

(2)多處自然水印去除算法。

針對(duì)證件中存在的一處水印，將水印檢測(cè)所獲得的某個(gè)ROI區(qū)域作為CGAN去水印預(yù)訓(xùn)練模型的輸入數(shù)據(jù)，就可以有效消除學(xué)生卡中當(dāng)前ROI區(qū)域的水印。多處自然水印去除算法，通過(guò)水印檢測(cè)方法提取出一處水印ROI后，立刻通過(guò)CGAN模型去除這個(gè)水印，然后執(zhí)行透視變換合成到原證件相應(yīng)位置，不斷重復(fù)上述流程依次檢測(cè)、去除每個(gè)自然水印。

(3)CGAN模型的訓(xùn)練和預(yù)測(cè)環(huán)境。

在含有16核CPU、2塊1080Ti顯卡并裝有Linux環(huán)境的機(jī)器上完成CGAN模型的訓(xùn)練和預(yù)測(cè)工作，效果展示中使用的預(yù)訓(xùn)練模型經(jīng)過(guò)了10個(gè)Epoch訓(xùn)練。

(4)實(shí)驗(yàn)預(yù)測(cè)集和去水印效果。

使用與訓(xùn)練集不同的人像照片和可變長(zhǎng)數(shù)據(jù)填充字段形成仿真學(xué)生卡，去水印預(yù)測(cè)實(shí)驗(yàn)在蓋有五處不同狀態(tài)自然水印(如圖5(a)所示)的仿真學(xué)生卡上進(jìn)行，水印分別覆蓋在學(xué)生卡中的靜態(tài)圖像像素、動(dòng)態(tài)圖像像素、靜態(tài)文字像素、動(dòng)態(tài)文字像素和混合像素區(qū)域。圖7給出了基于特征點(diǎn)匹配的水印檢測(cè)算法提取到的五個(gè)處于不同位置、呈現(xiàn)不同狀態(tài)的自然水印ROI去水印的效果預(yù)測(cè)。

圖7 水印ROI去水印效果

在仿真學(xué)生卡上使用該文提出的水印檢測(cè)和水印去除方法，依次去除上述多個(gè)自然水印的總體流程及效果預(yù)測(cè)，如圖8所示。

圖8 學(xué)生卡去水印總體效果

預(yù)測(cè)實(shí)驗(yàn)表明，該文提出的可見(jiàn)水印檢測(cè)方法，能在學(xué)生卡上準(zhǔn)確檢測(cè)出具備多種自然狀態(tài)的“THANK YOU”印章水印。提出的基于條件生成對(duì)抗網(wǎng)絡(luò)的可見(jiàn)水印去除方法訓(xùn)練的CGAN模型，對(duì)于學(xué)生卡上被水印覆蓋的多類像素區(qū)域的水印去除效果明顯。

(5)客觀評(píng)價(jià)指標(biāo)(PSNR和SSIM)分析。

峰值信噪比(peak signal to noise ratio，PSNR)計(jì)算去水印前后圖像的對(duì)應(yīng)位置像素差，差值越大表明生成的去水印圖像質(zhì)量越好；結(jié)構(gòu)相似度(structural similarity index，SSIM)用于從亮度、對(duì)比度和結(jié)構(gòu)方面衡量去水印圖像和原始無(wú)水印圖像的相似度，范圍是0～1，值越大表明生成的去水印圖像的還原度越高。

實(shí)驗(yàn)運(yùn)用以上兩個(gè)客觀指標(biāo)，①衡量每個(gè)水印ROI的去水印效果，得到的PSNR值依次是：32.546、32.047、32.632、32.962和32.440，以及SSIM值：0.997 2、0.996 6、0.994 0、0.983 1和0.997 2。②衡量學(xué)生卡整體去水印效果，得到的PSNR值和SSIM值分別為：42.624和0.999 7。

上述PSNR值說(shuō)明該方法水印去除前后像素變化效果突出，SSIM值從客觀上證明了CGAN網(wǎng)絡(luò)生成的去水印圖像與原始無(wú)水印覆蓋的圖像相當(dāng)接近，代表當(dāng)前預(yù)訓(xùn)練模型達(dá)到了一定的擬合優(yōu)度。

(6)文字恢復(fù)力分析。

借助百度文字識(shí)別在線檢測(cè)功能，分別對(duì)水印去除前后的圖像(對(duì)應(yīng)圖8(a)和圖8(b))進(jìn)行文字檢測(cè)和識(shí)別。針對(duì)圖7(d)所示的兩個(gè)字段，去水印前的識(shí)別結(jié)果是：“學(xué)號(hào)3456789 學(xué)院算機(jī)學(xué)與技術(shù)學(xué)院”，去水印后的識(shí)別結(jié)果是：“學(xué)號(hào)2193456789 學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院”。

去水印前后字段區(qū)域圖像OCR結(jié)果對(duì)比，說(shuō)明了水印覆蓋會(huì)對(duì)學(xué)生卡文字識(shí)別的完整性和準(zhǔn)確性造成影響，也證明了該文的水印去除方法對(duì)水印覆蓋信息的恢復(fù)能力較為顯著。

(7)更多去水印效果預(yù)測(cè)。

圖9進(jìn)一步證明了該方法能將證件中含水印的人像照片、可變長(zhǎng)字段等動(dòng)態(tài)像素近乎無(wú)失真轉(zhuǎn)換。對(duì)于其他辦公文檔、官方證件等去水印應(yīng)用場(chǎng)景，該方法也能明顯提升閱讀效率和文字識(shí)別準(zhǔn)確性。

圖9 更多去水印效果預(yù)測(cè)

3 結(jié)束語(yǔ)

該文就自然場(chǎng)景下證件的可見(jiàn)水印去除問(wèn)題，針對(duì)存在于一張證件上的任意多個(gè)、處于任意位置、呈現(xiàn)多種狀態(tài)的自然水印，提出了一種基于特征點(diǎn)匹配的水印檢測(cè)技術(shù)和一種基于條件生成對(duì)抗網(wǎng)絡(luò)的水印去除技術(shù)?？梢詽M足自然業(yè)務(wù)場(chǎng)景下快速精準(zhǔn)的證件水印定位和去除，具備較好的水印檢測(cè)魯棒性和去水印效果。還針對(duì)CGAN訓(xùn)練依賴于大量成對(duì)數(shù)據(jù)集的問(wèn)題，提出了有效的數(shù)據(jù)集擴(kuò)充和增強(qiáng)方法。