基于深度學(xué)習(xí)的場(chǎng)景文本檢測(cè)與識(shí)別①

宮法明,劉芳華,李厥瑾,宮文娟

1(中國(guó)石油大學(xué)(華東) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,青島 266580)

2(山東電子職業(yè)技術(shù)學(xué)院 教務(wù)處,濟(jì)南 250200)

近年來(lái),在場(chǎng)景圖像中瀏覽文本,因?yàn)槠鋸V泛的實(shí)際應(yīng)用,如圖像/視頻理解、視覺(jué)搜索、自動(dòng)駕駛、盲輔助等,成為一個(gè)活躍的研究領(lǐng)域.場(chǎng)景文本檢測(cè)作為場(chǎng)景文本讀取的關(guān)鍵組成部分,對(duì)每個(gè)文本實(shí)例的邊界框或區(qū)域進(jìn)行定位仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù),因?yàn)閳?chǎng)景文本往往具有各種尺度和形狀,包含水平文本、多取向文本和彎曲文本.基于分割的場(chǎng)景文本檢測(cè)由于其在像素級(jí)上的預(yù)測(cè)結(jié)果,可以描述各種形狀的文本,因此近年來(lái)受到了廣泛的關(guān)注.然而,大多數(shù)基于分割的方法需要復(fù)雜的后處理,在推理過(guò)程中造成了相當(dāng)大的時(shí)間開(kāi)銷(xiāo).

針對(duì)文本識(shí)別問(wèn)題,傳統(tǒng)的文本識(shí)別方法[1-3]適應(yīng)性差、需要分離訓(xùn)練目標(biāo),導(dǎo)致麻煩的預(yù)分割和后處理階段.在計(jì)算機(jī)行業(yè)飛速發(fā)展的今天,自動(dòng)處理算法逐漸成熟,文本檢測(cè)和識(shí)別算法[4-7]的準(zhǔn)確度都大大提升.近年來(lái)出現(xiàn)的CTC[8](Connectionist Temporal Classification)和注意力顯著緩解了這種訓(xùn)練問(wèn)題,但這兩種識(shí)別模型算法實(shí)現(xiàn)很復(fù)雜,可能會(huì)導(dǎo)致訓(xùn)練成本增高并降低了識(shí)別準(zhǔn)確率.

本文的貢獻(xiàn)在于提出了一種復(fù)雜場(chǎng)景下文本檢測(cè)和識(shí)別的新方法,記為T(mén)DRNet (Text Detection and Recognition Net).在原本檢測(cè)和識(shí)別網(wǎng)絡(luò)的基礎(chǔ)上加以改進(jìn),采用更高效的特征提取網(wǎng)絡(luò),在文本區(qū)域檢測(cè)網(wǎng)絡(luò)中加入可微二值化進(jìn)行優(yōu)化,大大簡(jiǎn)化了后處理過(guò)程.在文本識(shí)別網(wǎng)絡(luò)中,使用聚合交叉熵?fù)p失函數(shù)解決序列了識(shí)別問(wèn)題,對(duì)CTC和注意力機(jī)制具有競(jìng)爭(zhēng)性能,提高了檢測(cè)和識(shí)別性能.本文將文本定位網(wǎng)絡(luò)和文本識(shí)別網(wǎng)絡(luò)結(jié)合提高識(shí)別準(zhǔn)確率,取得了較好的性能.該方法能有效地檢測(cè)和識(shí)別任意文本實(shí)例,具有很好的實(shí)用性.

1 相關(guān)工作

文本識(shí)別通常包含3 個(gè)部分:首先進(jìn)行圖像預(yù)處理,緊接著進(jìn)行文本檢測(cè),最后進(jìn)行文本識(shí)別.為了使圖像被檢測(cè)或掃描,通常需要對(duì)輸入圖像進(jìn)行捕獲、二值化、平滑等處理,對(duì)輸入圖像進(jìn)行校正,并根據(jù)文本大小對(duì)圖像進(jìn)行裁剪.編輯圖像后,我們可以對(duì)文本進(jìn)行檢測(cè)了.

近年來(lái),文本檢測(cè)技術(shù)的研究取得了長(zhǎng)足的進(jìn)展.傳統(tǒng)的特征提取方法大多采用人工,在深入研究計(jì)算機(jī)視覺(jué)任務(wù)之后,文本檢測(cè)逐漸轉(zhuǎn)向基于深度的學(xué)習(xí)方法.目前基于深度學(xué)習(xí)方法包含兩大類(lèi):一種是從目標(biāo)探測(cè)發(fā)展而來(lái)的,例如基于候選字段的文本檢測(cè),其基本構(gòu)想是基于默認(rèn)框架集創(chuàng)建一系列候選文本框,再進(jìn)行一系列調(diào)整、篩選,最終通過(guò)非極大抑制NMS(Non-Maximum Suppression)得到最終的文本邊界框,例如為文本檢測(cè)而設(shè)計(jì)TextBoxes[9]、SegLink[10]等網(wǎng)絡(luò)結(jié)構(gòu)模型;一個(gè)是從語(yǔ)義分割發(fā)展而來(lái)的,例如基于圖像分割的文本檢測(cè).其想法是分割網(wǎng)絡(luò)結(jié)構(gòu),達(dá)到像素的語(yǔ)義分區(qū),然后根據(jù)分割的結(jié)果構(gòu)建一個(gè)文本行.例如PixelLink[11]和FTSN[12],會(huì) 生成分段映射,然后在接下來(lái)的編輯之后,最終得到文本限制字段.這種方法可以準(zhǔn)確定位文本位置,提高自然場(chǎng)景圖像中文本檢測(cè)的準(zhǔn)確性,但是他們的后處理算法導(dǎo)致了思維速度的下降.文本識(shí)別又分為兩種識(shí)別方法,包括單字符識(shí)別和行識(shí)別.以往的文本識(shí)別是采用K 近鄰的方法識(shí)別單字符,在實(shí)時(shí)度要求高的系統(tǒng)中不適合這種計(jì)算量很大的方法.通過(guò)廣泛應(yīng)用深層學(xué)習(xí)方法,出現(xiàn)了許多基于深入學(xué)習(xí)的優(yōu)秀識(shí)別模型,大大提高了單字符識(shí)別的精度.現(xiàn)在主要使用文本行識(shí)別.有兩個(gè)主要的方法是為了識(shí)別文字,在最近的兩年里取得了更好的結(jié)果,分別是:CRNN OCR (Convolutional Recurrent Neural Network Optical Character Recognition)和Attention[13]OCR.這兩種方法在其特征學(xué)習(xí)階段都采用了CNN+RNN的網(wǎng)絡(luò)結(jié)構(gòu),CRNN 在對(duì)齊時(shí)采用了CTC算法,而Attention OCR 采用了注意力機(jī)制.但是,這些方法會(huì)導(dǎo)致很多計(jì)算和內(nèi)存消耗.因此,解決后處理的繁瑣問(wèn)題的方法成為了緊急問(wèn)題.

2 文本檢測(cè)識(shí)別框架

本章詳細(xì)介紹了基于深度學(xué)習(xí)的場(chǎng)景文本識(shí)別方法.總體設(shè)計(jì)思路是先對(duì)整個(gè)圖像進(jìn)行分割,然后通過(guò)閾值跟蹤分割結(jié)果,得到處理后文本區(qū)域的位置.利用位置信息對(duì)文本區(qū)域進(jìn)行切割,并將裁剪后的文本區(qū)域發(fā)送到文本識(shí)別網(wǎng)絡(luò)中進(jìn)行識(shí)別以得到結(jié)果.整個(gè)方法由兩部分組成:文本區(qū)域檢測(cè)器TLDNet (Text Location Detection Net)和文本區(qū)域識(shí)別網(wǎng)絡(luò)TRNet(Text Recognition Net).

2.1 文本區(qū)域定位網(wǎng)絡(luò)

識(shí)別的準(zhǔn)確性取決于定位的準(zhǔn)確性,所以確保文本區(qū)域定位的準(zhǔn)確性尤為重要.為了確保文本區(qū)域定位網(wǎng)絡(luò)的準(zhǔn)確性,本文在PSENet[14]的基礎(chǔ)上對(duì)其進(jìn)行改進(jìn):(1)采用更高效的特征提取網(wǎng)絡(luò)來(lái)保證分類(lèi)的準(zhǔn)確性.(2)插入一個(gè)可微二值化[15]操作放到分割網(wǎng)絡(luò)里來(lái)一起優(yōu)化,更能區(qū)分前景和背景.通過(guò)該兩方面的改進(jìn),確保了文本定位的準(zhǔn)確性.

TLDNet中的骨干網(wǎng)絡(luò)采用了類(lèi)似于FPN[16]和UNet的思路,因?yàn)镽esneXt 相比ResNet 網(wǎng)絡(luò)結(jié)構(gòu)更簡(jiǎn)單,可以防止對(duì)于特定數(shù)據(jù)集的過(guò)擬合,而且更簡(jiǎn) 單的網(wǎng)絡(luò)意味著在用于自己的任務(wù)的時(shí)候,自定義和修改起來(lái)更簡(jiǎn)單,需要手動(dòng)調(diào)節(jié)的參數(shù)少.與ResNet 相比,相同的參數(shù)個(gè)數(shù),ResneXt 結(jié)果更好,且計(jì)算量少.因此將該網(wǎng)絡(luò)ResNet[17]換成ResneXt-101[18],然后將不同尺度的特征圖進(jìn)行融合來(lái)讓最終進(jìn)行回歸的特征圖獲得不同尺度的特征信息和感受野以處理不同尺寸大小的文字實(shí)例.接下來(lái)由骨干網(wǎng)絡(luò)輸出的特征圖得到一個(gè)分隔圖和一個(gè)閾值圖,二者由可微分的二值化而得到二值化圖,最后經(jīng)過(guò)一系列后處理得到文本區(qū)域.網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 字符區(qū)域定位網(wǎng)絡(luò)結(jié)構(gòu)圖

ResneXt-101中每個(gè)卷積組由卷積層,池化層,激活層構(gòu)成,該網(wǎng)絡(luò)含有5 個(gè)卷積組,卷積組2-5 借鑒了GoogLeNet[19]的卷積范式split-transform-merge 思想,在大卷積核兩層加入1 ×1的卷積,控制核個(gè)數(shù)的同時(shí)減少參數(shù)個(gè)數(shù).相比如Resnet 結(jié)構(gòu)簡(jiǎn)明,大大降低了參數(shù),計(jì)算量小,提高了速度和精度.

輸入的圖像經(jīng)過(guò)不同層的采樣之后獲得不同大小的特征圖,之后由這些特征圖構(gòu)建特征金字塔,從而構(gòu)建出統(tǒng)一尺度的特征圖F.這個(gè)特征圖用于預(yù)測(cè)分割概率圖P與閾值圖T,之后將P,T結(jié)合得到估計(jì)的二值圖.在訓(xùn)練的時(shí)候P,B是使用同樣的表現(xiàn)作訓(xùn)練,而T會(huì)使用單獨(dú)的閾值圖作訓(xùn)練.對(duì)于分割特征圖P∈RH×W,使用下面的方式進(jìn)行二值化處理:

在以往基于分割的文字檢測(cè)方法中,大部分都會(huì)采用預(yù)設(shè)的閾值進(jìn)行二值化用來(lái)處理網(wǎng)絡(luò)輸出的分割圖,不能隨著訓(xùn)練過(guò)程再分割網(wǎng)絡(luò)進(jìn)行優(yōu)化.所以實(shí)驗(yàn)中引入了可微分的二值化函數(shù),將二值化過(guò)程嵌入到網(wǎng)絡(luò)中實(shí)現(xiàn)了優(yōu)化.F是生成的近似二值圖,T是生成的閾值特征圖,k是放大倍數(shù).通過(guò)這樣的方式可以有效地將文本區(qū)域與背景區(qū)域分離,還可以減少文本之間重疊的情況.

本文中在閾值圖上應(yīng)用了邊界的監(jiān)督并將閾值映射作為二值化的閾值.利用對(duì)概率圖映射按固定的閾值進(jìn)行二值化,得到二值映射,進(jìn)而由二值映射縮小文本區(qū)域,最后利用偏移裁剪算法對(duì)縮小后的區(qū)域進(jìn)行擴(kuò)張得到最終的文本位置.

2.2 文本識(shí)別網(wǎng)絡(luò)

本文的文本識(shí)別網(wǎng)絡(luò)借鑒了文獻(xiàn)[20]的方法,可將網(wǎng)絡(luò)視為編解碼器結(jié)構(gòu),編碼器由特征提取網(wǎng)絡(luò)DenseNet[21]和雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(BiLSTM)[22]構(gòu)成;引入聚合交叉熵?fù)p失(ACE)[23]的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)組成解碼器.網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.ResNet是每個(gè)層與前面的某層短路連接在一起,連接方式是通過(guò)元素級(jí)相加.而在DenseNet中,每個(gè)層都會(huì)與前面所有層都相連,即每層的輸入,在前面的所有層的輸出都相連.相比ResNet,這是一種密集連接.DenseNet是直接連接來(lái)自不同層的特征圖,這可以實(shí)現(xiàn)特征重用,提升效率.

圖2 字符識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)圖

雙向長(zhǎng)短記憶網(wǎng)絡(luò)有兩個(gè)LSTM 組成,能夠同時(shí)利用過(guò)去時(shí)刻和未來(lái)時(shí)刻的信息,本文將兩個(gè)LSTM組成的方式由連接改為結(jié)合,提高識(shí)別的準(zhǔn)確率.解碼器由加入聚合交叉熵?fù)p失(ACE)的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)構(gòu)成.長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)的長(zhǎng)期存儲(chǔ)功能是有限的.如果序列信息特別長(zhǎng),經(jīng)過(guò)多層之后,初始信息就會(huì)丟失.可以通過(guò)引入注意力機(jī)制重新計(jì)算得到當(dāng)前時(shí)刻的特征,但需要復(fù)雜的注意力來(lái)幫助注意力機(jī)制實(shí)現(xiàn)其功能,進(jìn)而產(chǎn)生額外的參數(shù)和時(shí)間,特別是對(duì)于較長(zhǎng)的輸入序列,缺失或多余的字符很容易導(dǎo)致錯(cuò)位問(wèn)題,混淆和誤導(dǎo)訓(xùn)練過(guò)程,從而降低識(shí)別準(zhǔn)確度.聚合交叉熵?fù)p失可以沿時(shí)間維度聚合每一個(gè)列別的概率,并將累積的結(jié)果和標(biāo)簽標(biāo)準(zhǔn)化為所有類(lèi)別的概率分布,最后使用交叉熵來(lái)比較這兩個(gè)概率的分布,從而降低識(shí)別準(zhǔn)確度.本文將聚合交叉熵?fù)p失代替注意力機(jī)制,只需要計(jì)算各類(lèi)別字符出現(xiàn)次數(shù),不用考慮特征的順序,識(shí)別速度更快.通過(guò)要求網(wǎng)絡(luò)精確預(yù)測(cè)標(biāo)注中每個(gè)類(lèi)的字符數(shù)來(lái)最小化一般損失函數(shù),計(jì)算公式如下:

其中,|C|表示類(lèi)別數(shù),P(Nk|k,I;w)表示在圖像I的預(yù)測(cè)結(jié)果中,第k個(gè)類(lèi)別的字符出現(xiàn)的次數(shù)等于標(biāo)簽中給定次數(shù)Nk的條件概率.

本文通過(guò)CNN+BiLSTM 得到的特征序列維度為(T×K),其中T為序列長(zhǎng)度,K為字符類(lèi)別數(shù),本文定義輸出的特征序列張量為Y,第t個(gè)時(shí)刻的特征向量為yt,第t個(gè)時(shí)刻第k個(gè)類(lèi)別的預(yù)測(cè)概率為ytk.整個(gè)字符序列中所有位置第k個(gè)類(lèi)別出現(xiàn)的總概率為

本文從回歸問(wèn)題的角度調(diào)整損失函數(shù),計(jì)算公式如下:

式中,T表示預(yù)測(cè)文本長(zhǎng)度,|S|表示標(biāo)簽文本長(zhǎng)度,本文用 (T-|S|) 表示字符串中空白字符的個(gè)數(shù),即N∈=T-|S|.

為了防止梯度消失問(wèn)題,本文把第k個(gè)字符yk的累計(jì)概率標(biāo)準(zhǔn)化為=yk/T,把字符數(shù)量Nk標(biāo)準(zhǔn)化為然后,在yˉ和Nˉ 之間的交叉熵可以表示為:

LSTM 在最后輸出的概率矩陣中利用貪心搜索的方法獲得最終的文本字符序列.

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)準(zhǔn)備

本文使用了MSRA_TD500、TotalText和CTW1500三個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).MSRA_TD500是一個(gè)包含英語(yǔ)和漢語(yǔ)的多語(yǔ)言數(shù)據(jù)集.CTW1500是一個(gè)聚焦于彎曲文本的數(shù)據(jù)集.Total-Text是一個(gè)數(shù)據(jù)集,其中包含各種形狀的文本,包括水平的、多取向的和彎曲的.這3 個(gè)數(shù)據(jù)集包含了中文和英文的數(shù)據(jù)集共6 萬(wàn)張,用于文字檢測(cè)和識(shí)別.將每個(gè)數(shù)據(jù)集,按照5:1的比例分成訓(xùn)練集和測(cè)試集.

3.2 實(shí)驗(yàn)設(shè)計(jì)

訓(xùn)練文本區(qū)域檢測(cè)模型:本文首先用隨機(jī)選取的3 個(gè)數(shù)據(jù)集中的5 萬(wàn)張圖片進(jìn)行預(yù)訓(xùn)練,然后,本文在相應(yīng)的其他數(shù)據(jù)集上進(jìn)行調(diào)整,訓(xùn)練時(shí),批大小設(shè)為16,初始學(xué)習(xí)效率設(shè)為0.007.為了提高訓(xùn)練效率,所有處理后的圖像都被重新調(diào)整為640×640,在推理階段,本文保持測(cè)試圖像的高寬比,并通過(guò)為每個(gè)數(shù)據(jù)集設(shè)置合適的高度來(lái)重新調(diào)整輸入圖像的大小,獲得最終模型.

訓(xùn)練文本識(shí)別模型:將5 萬(wàn)張圖片中裁剪下來(lái)的包含文本的數(shù)據(jù)集進(jìn)行微調(diào)后進(jìn)行了訓(xùn)練,對(duì)于不規(guī)則數(shù)據(jù)集上的序列識(shí)別,本文的實(shí)驗(yàn)基于DenseNet 網(wǎng)絡(luò),其中conv1 變?yōu)?×4,步長(zhǎng)為1,conv4_x 作為輸出,并使用ACE 損失函數(shù)最終得到文本識(shí)別模型.

3.3 主干網(wǎng)對(duì)比分析

隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增多,則對(duì)輸入圖像提取的特征將會(huì)更加抽象,這是因?yàn)楹髮由窠?jīng)元的輸入是前層神經(jīng)元的累加和,而特征的抽象程度越高,更有利于后期的分類(lèi)任務(wù)或回歸任務(wù).但要提高模型的準(zhǔn)確率,都是加深或加寬網(wǎng)絡(luò),但是隨著超參數(shù)數(shù)量的增加,網(wǎng)絡(luò)設(shè)計(jì)的難度和計(jì)算開(kāi)銷(xiāo)也會(huì)增加.ResneXt 特征網(wǎng)絡(luò)增加了基數(shù)且用平行堆疊相同拓?fù)浣Y(jié)構(gòu)的blocks 代替原來(lái) ResNet的三層卷積的block.在不明顯增加參數(shù)量級(jí)的情況下提升了模型的準(zhǔn)確率,同時(shí)由于拓?fù)浣Y(jié)構(gòu)相同,超參數(shù)也減少了.

因此本文采用了更高效的特征提取網(wǎng)ResneXt-101 作為主干網(wǎng)絡(luò)提高分類(lèi)效果,為了更好的證明該文本檢測(cè)網(wǎng)絡(luò)的性能,并在大規(guī)模TotalText 數(shù)據(jù)集上進(jìn)行測(cè)試.事實(shí)證明,以ResneXt 作為主干網(wǎng)絡(luò)的檢測(cè)器比ResNet 性能更好,且更深的神經(jīng)網(wǎng)絡(luò)可以提高大規(guī)模圖像分類(lèi)和目標(biāo)檢測(cè)的性能.如表1所示.在相同的設(shè)置下,將主干網(wǎng)絡(luò)由ResNet-50 改為ResneXt-50 性能從78.2%改善到83.6%,提高了5.2%,本文又將主干深度從50 提高到101,通過(guò)對(duì)比可以明顯性能從83.6%改善到85.8%,提高了2.3%.綜合發(fā)現(xiàn)本文的選取ResneXt-101 作為文本檢測(cè)的主干網(wǎng)絡(luò)在精度和速度上都達(dá)到了最先進(jìn)的性能.

表1 檢測(cè)框架中不同主干網(wǎng)絡(luò)結(jié)果

在文本識(shí)別網(wǎng)絡(luò)框架中采用了DenseNet 作為骨干網(wǎng)絡(luò).如表2所示,與之前的主干網(wǎng)絡(luò)相比,DenseNet在準(zhǔn)確率上略好與之前最好的結(jié)果.

表2 識(shí)別框架中不同主干網(wǎng)絡(luò)結(jié)果

3.4 獨(dú)立性對(duì)比分析

為了驗(yàn)證實(shí)驗(yàn)中字符順序的獨(dú)立性與識(shí)別網(wǎng)絡(luò)使用的聚合交叉熵?fù)p失的關(guān)系,本文使用聚合交叉熵,CTC和注意力在3 個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).將標(biāo)注的字符順序按照不同的比例隨機(jī)打亂,如圖3所示.可以發(fā)現(xiàn),ACE的性能隨打亂比例的增加基本保持不變,而注意力和CTC的性能在不斷下降.所引入的ACE 損失函數(shù)對(duì)于打亂的字符順序識(shí)別結(jié)果基本一致.

圖3 ACE,CTC和注意力性能對(duì)比圖

3.5 實(shí)驗(yàn)結(jié)果對(duì)比

檢測(cè)與識(shí)別是判別是否達(dá)到要求的重要條件.由于圖片太多,不利于展示,本文選取幾張代表性圖片用于結(jié)果展示.

本文將改進(jìn)前后的檢測(cè)網(wǎng)絡(luò)進(jìn)行了可視化比較,圖片4 左側(cè)是PSENet的部分檢測(cè)結(jié)果,可以看出有漏檢以及錯(cuò)誤的定位現(xiàn)象.圖4右側(cè)是加入了可微二值化后的部分檢測(cè)結(jié)果,比較明顯的看出,本文提出文本區(qū)域定位網(wǎng)絡(luò)TLDNet 可以很好的定位出復(fù)雜的曲線文本位置.

圖4 文本區(qū)域定位結(jié)果對(duì)比圖

我們?cè)趦蓚€(gè)數(shù)據(jù)集上對(duì)本文改進(jìn)后的方法和之前的方法進(jìn)行了比較,如表3所示,文本的方法在精度和速度上都達(dá)到了最優(yōu).具體來(lái)說(shuō),本文的提出方法在TotalText和CTW1500 數(shù)據(jù)集上的表現(xiàn)比之前的方法要好.文本的方法比PSENet 方法要快,并且可以通過(guò)使用ResneXt 主干進(jìn)一步提高速度.在表3中文本區(qū)域定位網(wǎng)絡(luò)TLDNet的準(zhǔn)確率在兩個(gè)數(shù)據(jù)集上比PSENet高2.4%和3.4%,但自然場(chǎng)景采集的圖片由于采集環(huán)境等因素造成圖片的模糊、反光等現(xiàn)象,進(jìn)而導(dǎo)致漏檢和定位不準(zhǔn)確的現(xiàn)象發(fā)生,本文的方法可以有效緩解該現(xiàn)象,但不能完全消除.本文可以保證在干凈明亮采集環(huán)境下獲取清晰的圖片,可以從本質(zhì)上防止上述現(xiàn)象的發(fā)生.

表3 TotalText和CTW1500 數(shù)據(jù)集的檢測(cè)結(jié)果(%)

本文將檢測(cè)后的圖片輸入到文本識(shí)別模型中,得到如圖5的識(shí)別結(jié)果.圖5右側(cè)為識(shí)別正確的效果圖.圖5左側(cè)為識(shí)別錯(cuò)誤的效果圖,由此結(jié)果可以發(fā)現(xiàn)文本區(qū)域的定位直接影響文本識(shí)別的準(zhǔn)確性,在確保定位準(zhǔn)備的條件下,基本能夠正確識(shí)別文本信息.

圖5 文本識(shí)別效果圖

對(duì)于不規(guī)則的場(chǎng)景文本,本文提供了和以前注意力機(jī)制方法進(jìn)行的比較,如表4所示,所加入的ACE損失函數(shù)在數(shù)據(jù)集TotalText和CTW1500 上表現(xiàn)出優(yōu)異的性能,特別是在CTW1500 上,準(zhǔn)確率提高了8.1%.因?yàn)閿?shù)據(jù)集CTW1500是專(zhuān)門(mén)用于彎曲文本識(shí)別的,因此,充分展示了ACE 損失功能的優(yōu)勢(shì).同時(shí),兩個(gè)數(shù)據(jù)集中有的圖像具有非常低的分辨率,這對(duì)語(yǔ)義上下文建模產(chǎn)生了非常高的要求,本文中的識(shí)別模型在使用詞匯時(shí)獲得了最高的結(jié)果,語(yǔ)義上下文可以訪問(wèn).這再次驗(yàn)證了所提出的ACE 損失函數(shù)的穩(wěn)健性和有效性.

表4 TRNet和之前的方法比較(%)

本文采用的方法減少了訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型所需要的訓(xùn)練數(shù)據(jù)、計(jì)算成本等.本文實(shí)驗(yàn)對(duì)預(yù)訓(xùn)練模型(TDRNet)和初始模型(PSENet+Aster)的準(zhǔn)確率進(jìn)行比較,如圖6所示.

圖6 準(zhǔn)確率對(duì)比

由表5可知,將改進(jìn)前的檢測(cè)和識(shí)別網(wǎng)絡(luò)結(jié)合的原始模型準(zhǔn)備率為90.3%,經(jīng)改進(jìn)訓(xùn)練后TDRNet 模型最終達(dá)到95.6%的識(shí)別準(zhǔn)確率.根據(jù)上述實(shí)驗(yàn)結(jié)果,本文有以下結(jié)論:(1)本文將使用了更高級(jí)的特征網(wǎng)絡(luò)并在后處理過(guò)程中加入可微二值化的方法在準(zhǔn)確度上優(yōu)于其他方法.(2)聚合交叉熵?fù)p失對(duì)于文本識(shí)別過(guò)程中字符序列預(yù)測(cè)至關(guān)重要,具有一定的通用性.(3)將檢測(cè)和識(shí)別網(wǎng)絡(luò)相結(jié)合,提高了文本識(shí)別的準(zhǔn)確性以及識(shí)別速率.

表5 網(wǎng)絡(luò)準(zhǔn)確率表

識(shí)別的準(zhǔn)確性取決于定位算法的準(zhǔn)確性.所以在實(shí)際應(yīng)用中,為了提高文本區(qū)域定位算法的準(zhǔn)確性,盡量保證采集環(huán)境干凈明亮.

4 結(jié)束語(yǔ)

在本文中,我們提出了一個(gè)新的框架檢測(cè)和識(shí)別任意形狀的場(chǎng)景文本,其中包括采用更高效的特征提取網(wǎng)絡(luò)并在檢測(cè)框架中加入了可微二值化過(guò)程分割網(wǎng)絡(luò),在識(shí)別框架中基于聚合交叉熵的損失函數(shù),優(yōu)化了檢測(cè)和識(shí)別器網(wǎng)絡(luò)結(jié)構(gòu),簡(jiǎn)化了后處理方法,較好地滿足了復(fù)雜場(chǎng)景下文本定位和識(shí)別的任務(wù)要求,實(shí)驗(yàn)證明,本文的方法在3 個(gè)標(biāo)準(zhǔn)場(chǎng)景文本基準(zhǔn)測(cè)試中,在速度和準(zhǔn)確性方面始終優(yōu)于最新的方法.在未來(lái),如何實(shí)現(xiàn)端到端的檢測(cè)和識(shí)別問(wèn)題將成為下一步主要研究的工作.