基于神經(jīng)網(wǎng)絡(luò)的發(fā)票文字檢測與識別方法

蔣沖宇，魯統(tǒng)偉，閔 峰，熊寒穎，胡記偉

武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205

隨著計(jì)算機(jī)圖像學(xué)的快速發(fā)展，光學(xué)字符識別（optical character recognition，OCR）技術(shù)越來越多的應(yīng)用到各種領(lǐng)域。它是利用光學(xué)技術(shù)和計(jì)算機(jī)技術(shù)把印在或?qū)懺诩埳系奈淖肿x取出來，并轉(zhuǎn)換成一種計(jì)算機(jī)能夠接受、人又可以理解的格式。使用OCR識別的時候，需要對圖片進(jìn)行一系列的預(yù)處理操作，包括檢測待識別區(qū)域、二值化、灰度化、去除干擾項(xiàng)［1-2］。場景文字識別具有很高的研究價值［3-4］，隨著信息化的高速發(fā)展，電子發(fā)票逐漸接觸到日常生活中，但是傳統(tǒng)發(fā)票仍然存在，例如飯店、加油站，以及往年的票務(wù)需要整理。普通的增值稅發(fā)票和電子發(fā)票可以通過掃描二維碼來查看發(fā)票代碼、號碼、日期、金額，但是部分發(fā)票沒有二維碼，而且發(fā)票中還存在一些別的信息需要識別，例如購買物品的名稱、數(shù)量、多個物品的單價、開票單位以及備注內(nèi)容，這些都是需要識別的內(nèi)容，通過識別這些內(nèi)容以便提取發(fā)票的完整信息，方便對票據(jù)的整理和信息的統(tǒng)計(jì)。針對發(fā)票場景，發(fā)票上的印章通常會遮擋部分有用信息，影響對字符的識別，去除印章不僅能夠提高文本檢測的效果，而且可以提高文字的識別率，方便采集和整理票據(jù)。2008年趙永濤等［5］提出了印章識別中圖像預(yù)處理的方法，通過采用色相，飽和度和色明度模型（hue，saturation，value，HSV）提取印章然后將圖像灰度、二值化處理。2014年季婧婧等［6］提出二次分割的票據(jù)彩色印章濾除，先分割印章、再分割文字信息，最后得到去除印章的圖片。但是傳統(tǒng)方法去定位和檢測印章存在速度變慢精度低等問題。2016年Liu等［7］提出了單一多框檢測器（single shot detector，SSD）檢測網(wǎng)絡(luò)，基于一個前向傳播的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN），是在實(shí)時目標(biāo)檢測（you only look once，YOLO）［8］和 Faster-RCNN［9］的基礎(chǔ)上進(jìn)行構(gòu)建，包含基礎(chǔ)網(wǎng)絡(luò)和金字塔網(wǎng)絡(luò)，基礎(chǔ)網(wǎng)絡(luò)是視覺幾何（visuol geometry group，VGG）的前面 4層網(wǎng)絡(luò)，金字塔網(wǎng)絡(luò)是特征圖逐漸減小的卷積網(wǎng)絡(luò)。改進(jìn)使用一個小卷積濾波器去預(yù)測目標(biāo)分類和邊界框的位置的偏移。2016年Tian等［10］提出基于RCNN，改進(jìn)的文本檢測網(wǎng)絡(luò)（detecting text in natural image with connectionist text proposal network，CTPN），采用文本細(xì)尺度檢測，據(jù)小窗口平滑，檢測文本行，將小文本框連接起來。2017年Howaed等［11］提出了一種用于移動和嵌入式設(shè)的網(wǎng)絡(luò)MobileNet，采用深度可分離卷積來構(gòu)建輕量級深度神經(jīng)網(wǎng)絡(luò)，其作用是減少了計(jì)算參數(shù)，壓縮了模型大小，但是在精度上有略微的降低。2018年歐陽歡等［12］提出國際標(biāo)準(zhǔn)化數(shù)據(jù)ISODATA聚類的方法，對印章的輪廓進(jìn)行聚類分析定位印章，通過橢圓擬合尋找最優(yōu)解，從而達(dá)到識別印章的目的。

本文首先使用MobileNet-SSD檢測出印章的位置，以矩形形式標(biāo)記出來。根據(jù)標(biāo)記區(qū)域的顏色信息提取印章、提取被印章覆蓋的文字信息和提取原圖文本信息，最后將印章覆蓋信息與原圖文本信息疊加，得到去除印章后的發(fā)票。

1 印章定位及其去除

1.1 印章定位

采用MobleNet替換了SSD中提取特征的部分，來構(gòu)建輕量級深度神經(jīng)網(wǎng)絡(luò)，達(dá)到模型輕量化的效果。深度可分離卷積是把標(biāo)準(zhǔn)卷積分成深度卷積和逐點(diǎn)卷積，將標(biāo)準(zhǔn)的3×3的卷積分為一個3×3和一個1×1的卷積，減少計(jì)算量達(dá)到模型壓縮的效果。印章定位由特征提取、多尺度特征圖檢測組成［13-14］。

特征提取：用 MobileNets代替 VGG［15］作為模型基礎(chǔ)，用來提取更多的特征圖以用于檢測；多尺度特征圖檢測：所謂多尺度采用大小不同的特征圖，卷積神經(jīng)網(wǎng)絡(luò)前面的特征圖比較大，后面會逐漸降低特征圖大小，使用比較大的特征圖來檢測相對較小的目標(biāo)，而小的特征圖用來檢測大目標(biāo)。通過神經(jīng)網(wǎng)絡(luò)定位發(fā)票中印章的位置。

訓(xùn)練目標(biāo)源自MultiBox目標(biāo)［16-17］，但是擴(kuò)展到處理多個對象類別。算法損失函數(shù)定義為位置誤差與置信度誤差的加權(quán)和：

其中N表示于真實(shí)物體框相匹配的默認(rèn)框數(shù)量，假如N等于0，那么總體損失等于0；c是預(yù)測框的置信度；g是真實(shí)框的位置信息；α是一個權(quán)重參數(shù)，經(jīng)過交叉驗(yàn)證將它設(shè)為1；Lconf(x，c)是置信損失，這里采用交叉熵?fù)p失函數(shù)；Lloc(x，l，g)位置損失是預(yù)測框與真實(shí)框的損失函數(shù)。

1.2 印章去除

根據(jù)印章的位置提取印章信息，將提取出來的印章信息放入一張和原圖大小相同的白底圖片里面，提取出來的印章信息包含被印章遮擋的文字信息。接著提取圖片中文本信息，將提取出來的文本信息放入另外一張和原圖大小相同的白底圖片。然后提取被印章遮擋的文本信息。最后合并印章遮擋部分和文本信息部分中。流程圖如圖2所示。

1.2.1 提取印章 在日常生活中通常都是用攝像頭和掃描儀來采集數(shù)據(jù)，根據(jù)拍攝角度的不同，得到圖片顏色信息也有所不同，針對這一點(diǎn)本文嘗試采用分離紅色通道和色調(diào)，HSV模型來提取印章信息。但是由于拍色圖片顏色信息不均勻?qū)е绿崛⌒Ч⒉缓?。通過分析圖片的像素值可以發(fā)現(xiàn)，雖然拍攝的圖片顏色不均勻，但是紅色、藍(lán)色、綠色、黑色之間區(qū)分度很大，所以采用紅色值來確定印章信息。對于掃描儀采集的發(fā)票，紅綠藍(lán)色彩模式（red，greed，blue，RGB）都大于 200而且三原色的值基本相同，所以提取紅色信息只需要紅色的值大于藍(lán)色和綠色，并且差值大于一個值就認(rèn)為它是紅色。對于拍攝的發(fā)票，因?yàn)轭伾痪鶆颍尘邦伾腞GB值在80～240之間，雖然顏色的值在變化，但是提取紅色依然可以按照之前的結(jié)論提取。獲取發(fā)票印章過程如下：

圖2 去除印章流程圖Fig.2 Flowchart of removing seals

將檢測到印章的圖片，按照高和寬遍歷整張圖片，可以得到每個像素點(diǎn)的顏色信息，紅色記為Kr，綠色值記為Kb，藍(lán)色值記為Kg；根據(jù)顏色信息判斷如果Kr＞Kb、Kr＞Kg，并且兩者之間的差值大于某個值那么認(rèn)為這個像素點(diǎn)的顏色為紅色，通過統(tǒng)計(jì)多種發(fā)票的印章顏色信息，將這個值設(shè)置為30。并且將像素值的位置信息和顏色信息保存在一個列表中，輸出到另外一張白底圖片上，這樣做的目的是因?yàn)榘l(fā)票在蓋章的時候因?yàn)槿藶榈脑驅(qū)е掳l(fā)票不均勻，提取出來之后，原圖會有部分噪點(diǎn)。其效果如圖3所示。通過圖3對比分析，可以發(fā)現(xiàn)HSV提取法有局限性，不能提取出印章，而分離通道法雖然可以保留紅色通道，但是根據(jù)印章顏色的深度不同，會在圖片上留下底印，這樣導(dǎo)致圖片信息在檢測和識別的時候會有一定影響。

圖3 印章提取：（a）原圖，（b）本文提取法，（c）HSV提取法，（d）分離通道法Fig.3 Comparison of seals extraction methods：（a）original images，（b）our extracting method，（c）HSV extracting method，（d）separation channel method

1.2.2 提取文本 在提取文本信息的時候需要解決的一個難題：對背景顏色的處理。通過去掉背景顏色來提取文本信息。掃描儀掃描的圖片背景信息很均勻，想要提取藍(lán)色和綠色的文本，只需要背景的Kr、Kb、Kg的值均大于240即可，小于的就是的文本信息。對于拍攝圖片來說，這樣做顯然是不對的，拍攝出來的圖片背景顏色呈現(xiàn)灰色，而且顏色不均勻，在這里通過采用分塊處理的方法來解決這個問題。先將去除印章部分的圖片轉(zhuǎn)換成灰度圖，再將一張圖片分成若干塊小的矩形，對每一個矩形來計(jì)算里面的每個像素點(diǎn)的值G，將所有的G疊加起來求平均值。定義N為矩形的高、M為矩形的寬，公式如下：

圖片中的文字信息所占的像素個數(shù)會小于圖片背景像素個數(shù)，因此求得平均值后還要減去一個常量，取4個對角的G最大差值為減去的常量，這樣小于這個平均值就是文本信息，對于大于的值，將其賦值255，將其變?yōu)榘咨蛔詈笃唇铀械木匦螇K，拼接的時候按照從左到右、在從上到下的順序拼接。

1.2.3 提取遮擋字符 提取出完整的印章信息后，接著提取被印章遮擋住的文字信息。因?yàn)橛≌碌念伾透采w的顏色有所差異，在這里也采用分塊的思路去提取遮擋字符。

1.2.4 合并遮擋字符和文本 最后合并提取出來的字符信息，通過兩張圖片像素點(diǎn)的值疊加就得到了最終的去章結(jié)果。最后遍歷得到的結(jié)果圖，記錄灰度值小于255的位置信息，通過位置信息將灰度圖像轉(zhuǎn)換成彩色圖像。

2 實(shí)驗(yàn)與結(jié)果討論

2.1 實(shí)驗(yàn)方法

通過手機(jī)拍攝和掃描儀掃描采集增值稅發(fā)票、中國石化發(fā)票等作為數(shù)據(jù)集，使用采集到的數(shù)據(jù)集進(jìn)行訓(xùn)練。因?yàn)樵鲋刀惏l(fā)票和中國石化發(fā)票的印章位置比較固定，而且每張差異不大，所以采用60張作為訓(xùn)練集，10張作為驗(yàn)證集訓(xùn)練，標(biāo)記每張圖片印章的位置，在進(jìn)網(wǎng)絡(luò)之前將圖片先填充為正方形然后縮放到300×300。

在深度學(xué)習(xí)框架上選擇Caffe。采用GTX2080的顯卡訓(xùn)練神經(jīng)網(wǎng)絡(luò)，迭代1萬次達(dá)到收斂。用訓(xùn)練好的模型檢測出20張圖片中印章位置，用于之后的去除印章測試，最后采用CTPN檢測文本框。圖4為發(fā)票去章和文本檢測。

圖4 實(shí)驗(yàn)結(jié)果：（a）發(fā)票去除印章，（b）文本檢測Fig.4 Experimental result：（a）removing seal of invoice，（b）text detection

2.2 識別率對比

本文使了20張圖片進(jìn)行測試，首先實(shí)驗(yàn)對圖像進(jìn)行了提取和合并等處理。然后使用騰訊OCR進(jìn)行識別。表1是關(guān)于去除印章和不去除印章識別結(jié)果的對比。

表1 測試結(jié)果對比Tab.1 Comparison of test results

表1中的識別率為檢測到的印章矩形區(qū)域內(nèi)的字符的識別準(zhǔn)確率。根據(jù)測試表明，去除印章之后的識別率提升了約20%，對識別發(fā)票有提高。

2.3 檢測率對比

該部分采用了CTPN去檢測，采用10張去除印章的圖片進(jìn)行測試，規(guī)定只計(jì)算印章處，對于單行文本，完整檢測出來的算檢測到，否則認(rèn)為檢測失敗。檢測成功率為完整檢測到的除以總數(shù)。表2是關(guān)于去除印章和不去除識印章的檢測結(jié)果。

表2 測試結(jié)果對比Tab.2 Comparison of test results

通過表和圖可以得知，沒去章的圖片會存在很大的漏檢和把印章作為識別的部分，去除印章后的檢測率有了提升。

3 結(jié) 語

以上對特殊的場景文字識別進(jìn)行了研究，在原有的識別基礎(chǔ)上，提出了基于顏色信息的去章方法，解決在場景文字識別中印章遮擋的問題。實(shí)驗(yàn)結(jié)果表明，本文提出的方法提高了發(fā)票的檢測率和識別率，有利于將發(fā)票識別推向使用。本文還有一些局限性，去除的印章圖會存在噪點(diǎn)的情況，在神經(jīng)網(wǎng)絡(luò)部分還需要擴(kuò)大實(shí)驗(yàn)的數(shù)據(jù)樣本，使其具有更好的魯棒性。