深度學習在場景文字識別技術中的應用綜述

劉艷菊，伊鑫海，李炎閣，張惠玉，劉彥忠

1.南京特殊教育師范學院 數學與信息科學學院，南京210038

2.齊齊哈爾大學 計算機與控制工程學院，黑龍江 齊齊哈爾161000

文字是人類記錄信息并將信息文明久遠傳遞的方式和工具[1]。隨著時間的推移，大量的文字需要被轉換為數字形式存儲，于是文字識別技術開始被提出并發(fā)展。文字識別技術就是計算機利用不同算法識別出文字內容的技術。常見的如光學字符識別（optical character recognition，OCR）[2]。早期的OCR技術就是將含有光學字符的圖片或文檔中的字符轉換為字符格式。隨著對文字識別的需求日益復雜，對自然場景下的文字識別的需求也愈發(fā)強烈。場景文字識別（scene text recognition，STR）成為研究熱點。它是OCR 的一個子問題，主要任務是將自然場景中的文字提取出來并轉化成字符形式[3]。相較于傳統(tǒng)OCR 技術，STR 具有更多的挑戰(zhàn)，例如字體多樣性、多尺度、任意形狀、光照、背景、模糊等[4]。深度學習在STR中的應用有效解決了上述問題。

1 基于深度學習的自然場景文本檢測方法

傳統(tǒng)的文本檢測方法多利用手動設計的特征捕捉場景文本的屬性，通常無法解決復雜背景、光照、遮擋、曲線文字、旋轉文字等對檢測結果的影響[5]，而在基于深度學習的方法中，有效的特征是直接從訓練數據中學習的，該方法的出現(xiàn)突破了上述瓶頸，使得檢測方法更加靈活。目前的場景文本檢測方法大致可分為基于回歸的檢測方法和基于分割的方法，以及將兩者有效結合的方法。

1.1 基于回歸的檢測方法

該類方法通常先初始化默認檢測邊框參數，通過回歸的方法不斷學習參數值來擬合文本實例區(qū)域。通常基于卷積神經網絡（convolutional neural networks，CNN）的檢測方法是將多個預測得到的候選區(qū)域輸入到CNN進行特征提取，并通過分類確定候選區(qū)域是否包含目標實例。文獻[6]基于全卷積網絡（fully convolutional networks，F(xiàn)CN）[7]和YOLO（you only look once）[8]的思想，提出了一種霍夫投票的變體，利用平移不變性將局部預測器作為CNN 的最后一層，模型同時密集地預測各像素的類別標簽以及基于該像素的預測邊界框的參數，顯著提高了檢測性能。但是整個網絡結構仍然過于復雜，嚴重影響了訓練時間，且不能很好地檢測旋轉文本。文獻[9]中的深度匹配先驗網絡（deep matching prior network，DMPNet）首次提出用四邊形檢測旋轉文本。該模型首先利用四邊形滑動窗口粗略地召回文本。然而利用滑動窗口定位文本的方法，通常無法避免不必要的滑動窗口與文本實例之間的區(qū)域重疊甚至信息丟失。為此提出了一種共享蒙特卡羅方法，使得在計算重疊區(qū)域面積時更加高速和精準。該模型摒棄了傳統(tǒng)的矩形檢測框，有效解決了檢測旋轉文字時的背景冗余和信息缺失等問題。但是DMPNet 所使用的滑動窗口是人工設定的，在檢測某些極端角度的文字時不夠靈活。模型直接預測矩形框的頂點坐標，這樣會出現(xiàn)坐標的順序混淆問題。Liu等人[10]進一步將預測邊框離散化為關鍵邊緣，然后利用一個多分類器學習得到正確的文本匹配。但是這種基于參數回歸的方式檢測旋轉文本存在邊界間斷的問題。

Liao等人[11]提出的TextBoxes是一種基于單例多框檢測器（single shot multibox detector，SSD）[12]的全卷積網絡模型。由于文字往往有較大的長寬比，SSD在檢測橫縱比較大的單詞時會出現(xiàn)失誤。為此文中設計了多個不同比例的默認框，并且為每個默認框設置了垂直偏移量，以避免各框之間豎直方向過于稀疏而導致檢測性能變差。而且TextBoxes 只能檢測水平方向的文字，在不規(guī)則場景文本的檢測上，如處理彎曲、旋轉程度較大等問題時，成比例的單一矩形框已經不能滿足需求。為此，文獻[13]對TextBoxes 進一步地優(yōu)化，不再使用傳統(tǒng)的單一矩形框作為檢測文本的預測邊框，而是通過回歸文本多邊形的端點坐標來檢測多向文本，使用四邊形或旋轉的矩形有效解決了旋轉文字的檢測問題。在測試階段使用非最大值抑制來合并所有文本框層的結果。但是整個網絡步驟繁雜，訓練時間較長。Zhou等人[14]優(yōu)化了檢測流程，僅包括兩個階段：FCN 階段對輸入圖像進行特征提取，提取出不同水平的特征映射，其結構如圖1所示；非最大值抑制階段則對特征進行自頂向下的合并。模型可以對旋轉文本進行檢測，預測邊框可以是任意四邊形。該模型減少了候選框建議、單詞劃分等中間步驟和組件，有效提高了處理效率和性能。但是EAST（efficient and accurate scene text detector）模型的感受野受到網絡接收域大小的限制，在檢測長文本時性能不佳。為此，文獻[15]通過在特征金字塔上構造雙向卷積來將多尺度特征映射到尺度不變的空間，使得模型對多尺度文本的檢測更加魯棒，對長文本或小文本的檢測性能也更好。但是模型并沒用舍棄后處理步驟，在訓練時間上不如EAST。

圖1 FCN模型結構Fig.1 Architecture of FCN

自底向上的檢測方法在檢測彎曲文本和長文本時的性能遠比自頂向下的方法好，但是檢測場景密集文字時效果不佳，且后處理復雜。Shi等人[16]提出的SegLink是一種自底向上的檢測方法。該方法基于分段（segment）-鏈接（link）的思想，其中segment是覆蓋單詞或文本行一部分的多方向邊框，link 鏈接兩個segment 表示它們屬于同一文本內容。最終根據它們的置信度得分將相關的segment融合為最終的文本行。該模型有效擺脫了人工設定的默認框比例對結果的限制，使網絡可以成功檢測多方向文字和長文本行文字。但是該模型不能檢測曲形文本和字符間距較大的文本行。為此，文獻[17]進一步將分塊之間的關系明確為吸引鏈接或排斥鏈接，以輔助分離密集的文本，并利用實例感知損失函數對檢測不良的檢測區(qū)域和鏈接給予更多的損失權重，實現(xiàn)了后處理。但是模型缺少語義信息，在文本行方向的判斷上容易出現(xiàn)失誤，進而導致檢測失敗。文獻[18]利用基于圖卷積網絡的鏈接關系預測模塊生成多個不相交的分段，這種方法可以充分利用文字的上下文關系，對大小間距的文本都能很好地檢測，避免了鏈接過程中過度分解的問題。文獻[19]生成一批有角度的四邊形框定位場景文本，但是生成的預測邊框仍然是高度重疊的，五參數法容易因為角度周期性問題而出現(xiàn)邊界不連續(xù)的問題。

文獻[20]首先利用不同尺度的錨點生成候選區(qū)域，然后在Fast R-CNN[21]階段回歸出更精確的文本框。Zhang 等人[22]發(fā)現(xiàn)對于檢測較長文本，“只看一次”可能只會看到文本行的一部分，由此提出一種多次處理文本實例區(qū)域的模型LOMO（look more than once）。該模型通過直接回歸器（direct regressor，DR）生成一個粗略的覆蓋目標區(qū)域的四邊形檢測框，但是因為感受野的限制，DR很難把長文本檢測完整，故提出了迭代優(yōu)化模塊（iterative refinement module，IRM）。IRM 不斷優(yōu)化迭代來自CNN 和自身提取的特征，并引入端點注意力機制回歸每個端點的坐標偏移量，使得模型可以完整地檢測到整個文本行。IRM 的具體結構如圖2 所示。最后通過形狀表達模塊，根據場景文本的幾何屬性重構出更加靈活、接近文本的文字區(qū)域表達。LOMO模型擺脫了傳統(tǒng)的基于四邊形檢測框表示目標區(qū)域的方法，有效擬合了復雜文本的區(qū)域邊界，并分別利用IRM模塊解決超長文本檢測問題，利用形狀表達模塊解決了曲線文本檢測問題。但是文獻[20，22]都面臨著一個共同的問題：它們都是利用一個基于實例掩碼預測的模塊來為每個彎曲文本預測一個更精確的檢測框，但是這種方法在檢測長曲型文本時檢測框建議高度重疊，有可能在非最大值抑制階段被錯誤地抑制，最終召回率會受到影響。文獻[23]提出的多尺度形狀回歸模型（multi-scale shape regression，MSR）同樣解決了對曲線文本的檢測問題。該模型將文本區(qū)域每個像素回歸到該像素最近邊界生成密集的邊界點，并鏈接邊界點以生成預測區(qū)域邊界，避免了在回歸稀疏頂點過程中預測長文本時造成較大的回歸誤差。多尺度的網絡特征提取和融合，規(guī)避了文本尺度比例異?；蜉^大時對預測結果的影響。

圖2 IRM模型結構Fig.2 Architecture of IRM

基于回歸的檢測方法的回歸方式、檢測文本類型及優(yōu)缺點如表1所示。

表1 基于回歸的場景文本檢測方法Table 1 Natural scene text detection methods based on regression

1.2 基于分割的檢測方法

基于分割的場景文本檢測方法通常利用語義分割的基本思想，將文本檢測問題視為一種對文本/背景的分類問題，該類方法常用經典的FCN、全卷積實例感知網絡（fully convolutional instance aware，F(xiàn)CIS）[24]等方法預測像素級別的文本/背景標簽。Long等人[25]提出的TextSnake模型以一種更加靈活的方式表示文本的幾何屬性。該模型以圓環(huán)為基礎，通過FCN 不斷預測文本中心線和文本區(qū)域，以及這些圓環(huán)的表征屬性，堆疊多個圓環(huán)構成的序列表示文本行的幾何特征。表示方法如圖3 所示。每個圓環(huán)的圓心位于文本區(qū)域的中心軸線上，并有確定的大小和方向。TextSnake 可以很好地解決不規(guī)則場景文本的檢測問題，但是該方法是在“蛇形”文本行實例的前提下進行檢測的，即文本行有唯一的起始點和終止點，對于多文本行之間有連接或重疊情況的，就可能出現(xiàn)檢測誤差。文獻[26]基于TextSnake的思想，把識別問題轉換成一個技術問題，將累計的類預測和標簽標注看作所有類的概率分布，并利用交叉熵比較這兩種概率分布，使用了一系列局部四邊形來定位復雜的文本。但是文獻[25-26]同樣對字符間和字符內間距是敏感的，在檢測間距較大的文本時容易出現(xiàn)過度分割的情況。

圖3 TextSnake模型結構Fig.3 Architecture of TextSnake

文獻[27]提出了一種基于分割的漸進尺度擴張網絡（progressive scale expansion network，PSENet）。該網絡首先將圖像輸入到特征金字塔網絡，提取不同尺度的特征再融合特征。然后通過基于廣度優(yōu)先搜索的漸進尺度擴展算法根據核的尺度由小到大逐步擴增，直到核與原文本實例大小相等，最小的核可以把原本緊靠的文本實例分開。最終根據文本形狀應用相應方法獲得最終的邊界框。PSENet對密集文本的文本行分割和字符間分割更加準確，并且對任意形狀都是魯棒的。但是該模型網絡結構以及后處理過程復雜，導致處理時間較長。為此，文獻[28]提出的像素聚合網絡（pixel aggregation network，PAN）進一步降低了計算成本以及后處理的復雜程度。該網絡模型使用輕量級的CNN 進行特征提取，但是輕量級網絡提取到的特征感受野較小且表達能力較弱。隨后PAN利用分割頭對特征進行細化處理，解決了上述問題。分割頭包括兩個主要模塊：特征金字塔增強模塊是一個U形可級聯(lián)模塊，可以通過融合不同層級信息增強不同尺度的特征深度和表達。特征融合模塊將不同深度的特征融合為最終的分割特征。最后，提出了一種可學習的基于聚類思想的像素聚合方法，將文本實例像素聚合到正確的核以重建完整的文字實例，抑制相鄰文字的粘連與重疊。PAN 模型極大地提升了檢測效率，而且對長文本、密集文本的檢測性能非常好。

文獻[29]提出利用文本中心-邊界概率和文本中心方向檢測文本，充分利用了文本實例內部的關聯(lián)關系，擺脫了感受野的限制。然后利用與文獻[14]相似的方法回歸文本框，并且其中有兩條邊可能是彎曲的，可以更好地檢測曲線文本。但是該模型要針對文本實例區(qū)域中逐像素地生成標簽，在實際應用過程中訓練標簽的生成速度較慢。Liao等人[30]借助邊框學習的思想，提出了一個可微的二值化（differentiable binarization，DB）模型，并將其插入到分割網絡中進行聯(lián)合優(yōu)化，在優(yōu)化過程中對每個像素點自適應地學習得到魯棒的二值化閾值，以更好地區(qū)分文本區(qū)域和背景區(qū)域，大大簡化了后處理的負擔。該模型的主干網絡無論是ResNet-50還是輕量級的ResNet-18，都可以達到極佳的檢測性能，且在ResNet-18的情況下可以達到實時推理。但是當文本實例正好位于另一個文本實例的中心區(qū)域時，它會失敗，這是基于分段的場景文本檢測器的一個常見限制。

1.3 基于回歸和分割混合的檢測方法

基于分割的方法通常需要多信息分割、融合的操作，影響了檢測速度，但檢測方式靈活，更適合不規(guī)則文本的檢測。基于回歸的方法檢測多文本尺寸不夠魯棒，但能夠檢測小文本。因此綜合兩種方法的優(yōu)勢往往可以更好地檢測不規(guī)則文本。文獻[31]提出了一種基于Mask R-CNN[32]的金字塔掩碼文本檢測器（pyramid mask text detector，PMTD）。該模型不再進行像素級二進制分類，而是將形狀和位置信息編碼到監(jiān)督中，并為每個文本實例預測一個軟文本掩碼。PMTD 模型又將二維軟掩碼重構到三維空間，并提出了一種平面聚類算法，從這些三維點回歸出最優(yōu)金字塔。但是該模型仍然使用四邊形檢測框表示文本實例區(qū)域，在檢測不規(guī)則文本時效果不佳。

文獻[33]主要針對檢測曲線文本問題，提出了一種基于特征金字塔網絡和分割思想的監(jiān)督金字塔文本檢測網絡（supervised pyramid context network，SPCNet）。該模型還通過引入上下文語義信息和對所有預測文本實例的重新評分機制，有效地抑制了誤報問題?；陬愃茊栴}，Wang等人[34]提出了ContourNet模型。該模型提出一種對尺度不敏感的自適應區(qū)域提議網絡，通過只關注預測邊界框和真實邊界框之間的交集值來生成初步文本區(qū)域提議，提高了文字候選區(qū)域生成質量。又將傳統(tǒng)邊緣算子思想融入到局部正交紋理感知模塊中，用一組輪廓點來表示文本實例區(qū)域。隨后采用方向解耦思想的重新評分算法，利用水平和豎直方向模塊分別預測目標文字實例的輪廓，兩者融合，有效提升了檢測正確率。

1.4 其他檢測方法

復雜場景中的文字通常帶有重疊、遮擋等問題，文獻[35]利用深度置信網絡提取到的文字紋理特征進行分類，并提出了針對重疊文本的檢測方法。該方法將復雜場景圖像分解成若干個單一背景圖像，利用級聯(lián)Adaboost 分類器得到最終的文本實例區(qū)域。Adaboost分類器是多個弱分類器組成的一個強分類器，因為各個弱分類器采用級聯(lián)的方式組合，所以大部分的分文本連通分量會在前幾個弱分類器中被剔除，這樣有效解決了文字重疊的問題。但是單一的特征在解決復雜背景問題時往往效果不佳，可以從紋理特征、邊緣特征和顏色特征相結合的角度提升文本定位的精度。

文獻[36]主要針對自然場景中的不均勻光照、模糊問題，通過融合積分通道特征和特征池的思想，并使用卷積策略整合圖像的特征表達，讓整個模型對光照不敏感，可以更加關注文字的本質特征。但是模型使用經驗的方式對文本實例區(qū)域和背景區(qū)域設置一些二值化閾值，當文字邊緣與背景出現(xiàn)粘連問題，尤其是文字處于一塊復雜背景區(qū)域時，模型存在嚴重的漏檢情況。

1.5 總結

基于回歸的文本檢測方法通常分為“自頂向下”和“自底向上”的方式。而“自頂向下”的方法通常先生成粗略的候選框建議，然后利用回歸的方式生成更精確的文本實例區(qū)域的表達。近幾年的研究大部分都是回歸出預測邊框的端點坐標，這樣就存在坐標順序的混淆問題。“自底向上”的方法可以避免候選框建議的限制，這種方法通常將檢測到的文字或句子片段根據添加的屬性合并成完整的文本。但是對于字符間隔較大的文本或字符本身較大的情況，就有可能出現(xiàn)過度分割的問題。

基于分割的方法通過預測像素級的文本實例，可以檢測多角度的文本，但是由于后期處理復雜，這種基于分割的方法通常要消耗大量的時間。對于文本重疊的情況，這種方法很難精確地分別檢測出來。

2 基于深度學習的自然場景文字識別方法

場景文字識別技術在計算機視覺和機器智能領域受到越來越多的關注，識別場景文本對于場景理解具有重要意義。在近幾屆的國際文檔分析與識別大會中（International Conference on Document Analysis and Recognition，ICDAR），針對識別場景文字的問題，基于深度學習的識別方法在性能上遠遠超過傳統(tǒng)的文本檢測方法，體現(xiàn)出了應用深度學習的優(yōu)勢[37]。在不受約束的環(huán)境中識別文本仍然是當下面臨的最具挑戰(zhàn)的問題，通過研究者們的不懈努力，已經有了很多針對上述問題的基于深度學習的文字識別模型。

2.1 基于CTC的識別方法

連接主義的時序分類（connectionist temporal classification，CTC）[38]機制通常被用在預測階段，CTC通過累加條件概率將CNN 或RNN 輸出的特征轉換為字符串序列。在文本識別技術中的應用可以解決時序類文本的對齊問題，即確保預測文本序列與實際文本序列順序一致，長度相同。

He 等人[39]提出了深層文本循環(huán)網絡（deep-text recurrent network，DTRN）識別模型。該模型將CNN和RNN 放在一個網絡中進行端到端的聯(lián)合訓練，把場景文本識別問題視為序列標記問題。DTRN首先利用32×32 大小的滑窗滑動截取圖像，并依次輸入到Maxout[40]CNN 進行提取特征，然后由RNN 進行解碼，最后通過CTC將長短記憶網絡（long short-term memory，LSTM）[41]的序列輸出映射到其目標字符串中，對結果進行調整。RNN 對結構信息的理解能力很強，但是也使得模型的并行性更差，效率更低。

Shi 等人[42]在2017 年提出了卷積循環(huán)神經網絡（convolutional recurrent neural network，CRNN）。該網絡在深度雙向LSTM中堆疊多個雙向LSTM的結果，并將CTC 模型連接在雙向LSTM 網絡的最后來實現(xiàn)端到端的文字識別。CRNN模型由卷積層、循環(huán)層和轉錄層三部分組成。其結構如圖4 所示。循環(huán)層由一個深度雙向LSTM構成并設計于卷積層的頂部，用來預測特征序列的標簽分布。轉錄層將RNN所做的每幀預測轉換成標簽序列。CRNN 網絡可以在無字典或基于字典的任務中使用，并且不涉及水平歸一化或限制長度等操作，大大提高了識別性能。但是由于字符位置的不確定性，在循環(huán)層對字符的多個預測值的累加操作就會導致模型的計算量大大增加，而且如果對數據集進行字符級坐標的標注也需要消耗大量的人力。整個網絡未考慮特征間的關聯(lián)關系就可能導致CNN學習到的特征不如人意，最終識別失敗。

圖4 CRNN網絡架構Fig.4 Structure of CRNN

2.2 基于Attention的識別方法

目前主流的場景文本識別模型都是基于編碼器-解碼器框架的，而傳統(tǒng)的編碼器-解碼器框架只能將輸入序列編碼成一個固定長度的向量表示。引入Attention機制的編碼器輸出的是不定長向量組成的序列，對目標數據以及相關數據賦予更大的權重，使得解碼器的“注意力”集中到目標數據，獲取到更多的細節(jié)，并且可以學到較長輸入序列的合理向量表示。注意機制通常與RNN結合作為預測模塊。

文獻[43]提出了一種具有自動矯正功能的魯棒文本識別器（robust text recognizer with automatic rectification，RARE）。該模型包括一個空間變換網絡（spatial transformer network，STN）[44]和一個序列識別網絡（sequence recognition network，SRN）。其中STN 利用薄板樣條（thin-plate splines，TPS）[45]變換對帶有不規(guī)則文字的輸入圖像進行矯正，矯正后的字符沿水平線排列，更適合于SRN 的識別。SRN 則將矯正后的結果作為輸入，將識別問題建模為基于Attention機制的序列識別問題，使得整個模型可以進行端到端的識別。SRN由編碼器和解碼器組成，編碼器采用了卷積-遞歸結構，解碼器對各步驟的Attention機制所確定的內容進行解碼，并循環(huán)生成輸入圖像的字符序列。該模型大大提高了自然場景下不規(guī)則文本的識別性能。但是RARE 模型采用非線性函數tanh作為最后全連接層的激活函數，雖然保證了采樣點在圖片之內采樣，但是減緩了收斂速度。定位網絡獲取控制點的圖片略大，導致預測時需要更多的參數。為此，文獻[46]對RARE模型進行了改進，提出了具有靈活校正功能的注意力場景文本識別器（attentional scene text recognizer with flexible rectification，ASTER）。該模型仍然包括空間變換網絡和序列識別網絡兩部分，通過TPS變換對不規(guī)則文本進行矯正，并利用雙向長短記憶網絡（bidirectional long short-term memory，Bi-LSTM）[47]和Attention 來做端到端的聯(lián)合訓練。與RARE不同的是，在最后一個全連接層中并沒有使用tanh 作為激活函數，而且對采樣器中的值進行裁剪，既降低了反向傳播過程中梯度的保留，又確保了有效采樣。同時，ASTER 在STN 中使用不同大小的圖像用于定位網絡和采樣網絡，定位網絡將從更小的圖片中獲取控制點，減少了預測所需的參數。ASTER 在解決不規(guī)則場景文本識別任務上表現(xiàn)出了良好的性能，但是基于校正的方法往往受到字符幾何特征的限制，并且模型更容易被背景噪聲影響。為了克服這個問題，Luo等人[48]提出了多目標矯正注意力網絡（multi-object rectified attention network，MORAN）。MORAN 由多目標矯正網絡和基于Attention 機制的序列識別網絡構成。其中矯正網絡是一個像素級矯正網絡，該網絡生成一個與輸入圖像相同大小的偏移圖，偏移圖中的每個值表示對應輸入圖像位置像素相對于原始位置的偏移量。序列識別網絡的主要結構是CNN-BLSTM-Attention 框架。此外，還提出了一種分數拾取方法來擴展基于注意力的解碼器的視野。該矯正網絡不受幾何約束，因此比仿射變換更加靈活，但是缺點也很明顯，它只能對橫排文字進行矯正，無法解決豎排文字的畸變。MORAN網絡雖然可以處理不規(guī)則文本識別問題，但是對于曲線角度過大的情況，會識別失敗。文獻[49]在解決不規(guī)則文本的識別問題時同樣采用矯正的思想，模型將文本圖像分成幾個不重疊切片，小的切片更容易被矯正，但是直接利用仿射變換在合成完整圖像時容易出現(xiàn)嚴重的不連續(xù)問題，隨后模型利用網絡投影來平滑變換圖像，最終合成完整圖像的文字更加平滑、完整。但是模型利用幾個全連接層預測仿射變換參數，參數量大大增加。

Cheng等人[50]發(fā)現(xiàn)在處理低像素/復雜的圖像時，基于注意力機制的方法表現(xiàn)不佳，主要是由于注意力網絡無法將這種特殊圖像中字符的注意中心準確地集中到對應的目標區(qū)域的中心，并稱這種現(xiàn)象為“注意力偏移”。因此，文獻提出了一種聚焦注意力網絡（focusing attention network，F(xiàn)AN）。FAN 首先通過注意力網絡計算出目標區(qū)域與特征區(qū)域的對齊因子，將注意中心與目標區(qū)域對齊。然而，計算出的注意中心通常是不準確的。然后FAN又通過聚焦網絡來檢測并矯正注意力中心，有效解決了“注意力偏移問題”。但是FAN 網絡將二維特征展平為一維連續(xù)特征向量，破壞了各像素之間的空間和結構聯(lián)系，像素之間的全局上下文和字符之間的潛在依賴性被忽略，特別是對于自然場景文本識別問題，筆畫結構是區(qū)分字符的一個關鍵因素。而且它還需要額外的字符集邊界框注釋來訓練，成本大大增加。

基于Attention 機制的識別網絡通常依賴于傳入的解碼信息，因為Attention 機制與解碼信息的耦合關系，解碼信息的誤差必然會累計和傳播，所以傳統(tǒng)的Attention機制總是出現(xiàn)嚴重的對齊問題。Wang等人[51]將傳統(tǒng)注意力機制的解碼器解耦為卷積對齊模塊和去耦解碼器。該模型在識別長文本、手寫體文本時表現(xiàn)出很好的性能，但是仍然無法避免噪聲的影響，即使是類似文本的噪聲也會盡力對齊文本。Lu等人[52]認為在基于RNN的局部注意機制下，編碼特征之間的高度相似性會導致注意力混亂，因此這種方法總是存在注意力偏移問題。于是提出了一種多方向的非局部自我注意模塊。而且在訓練階段有所調整，通過創(chuàng)建下三角形掩碼矩陣，解碼器可以同時輸出所有時間步長的預測，提高了訓練過程的并行性，訓練時間也大大縮減。文獻[53]顯著提高了每個時間步長的對齊因子的準確性。而且通過相互引導的方式解決了模糊、不規(guī)則文本的難題，但是該模型只是針對26個英文字母和10個阿拉伯數字的識別問題，面臨大規(guī)模標簽種類的數據集性能會大大降低。

基于Attention的識別方法的主要思想、檢測文本類型及優(yōu)缺點如表2所示。

表2 基于Attention機制的場景文字識別方法Table 2 Natural scene text recognition methods based on Attention mechanism

2.3 基于CTC和Attention的識別方法

由于Attention 機制生成的是預測文本序列與實際文本序列對齊的概率，可能增加對齊誤差，CTC 機制則可以引導Attention 更好地對齊，因此兩者結合往往可以相互促進，提高識別性能。文獻[54]融合了CTC 和Attention的思想，提出了選擇性上下文注意力文本識別器（selective context attentional text recognizer，SCATTER）。SCATTER首先使用TPS變換對輸入圖像進行矯正。堆疊多個Bi-LSTM 編碼器，用CTC 的輔助訓練設計了一個級聯(lián)的Attention 的選擇性注意力解碼器。通過采用二步一維注意力機制同時解碼CNN 層的視覺特征和Bi-LSTM層計算的上下文特征。SCATTER利用堆疊的思想成功訓練了更深的Bi-LSTM 編碼器，識別性能大大提高，通過中間監(jiān)督、選擇性解碼器使得整個網絡更加穩(wěn)定、魯棒。盡管Bi-LSTM 可以有效地對文本上下文進行建模，但它的計算量大且耗時，并且在訓練中它可能會導致梯度消失/爆炸。文獻[55]同樣使用混合思想，利用Attention 去監(jiān)督CTC 做更好的識別，提出了CTC 指導訓練模型（guided training of CTC，GTC），有效解決了文獻[42]中缺乏聚焦于局部區(qū)域能力的問題。GTC模型將提取到的特征分別傳入CTC解碼器和注意力指示器。其中注意力指示器利用Attention 機制并使用CE 損失函數不斷優(yōu)化STN 模塊的矯正和CNN層的特征提取。CTC 解碼器在LSTM 層前增加了圖卷積網絡來利用空間上下文相關性，并且將從更好的特征表示中不斷更新自己，以解碼出更準確的識別結果。

2.4 其他識別方法

近幾年還有學者認為語義、語料也是文本識別的一個重要因素。文獻[56]提出用一個預訓練好的語言模型，把它集成到識別器去做聯(lián)合優(yōu)化，能比較好地提升它的識別效果，但是這樣又增加了訓練負擔。語義模型中存在全連接層，也意味著輸入圖像需要被縮放到固定大小，這樣就會導致一部分信息的丟失。

文獻[57]以全監(jiān)督和弱監(jiān)督結合的方式訓練模型，有效利用了弱標注文本的40萬大規(guī)模數據。為了從弱標注數據中挖掘豐富的信息，模型在監(jiān)督學習框架下設計了一個在線建議匹配模塊，通過共享參數來定位關鍵詞區(qū)域進行端到端的訓練。模型加入弱監(jiān)督輔助訓練之后的識別性能明顯好于全監(jiān)督訓練，但是利用大量的數據集將帶來更大的計算成本。文獻[58]針對序列域遷移問題提出了一種序列域自適應網絡模型，域自適應可以更好地利用無標注數據集減少序列域的偏移。該模型還引入了一個新的門控注意相似單元，采用門控函數控制模型聚焦于最有效的字符級特征，而不是通過全局特征來執(zhí)行域自適應。該模型應用范圍廣泛，可以應用到自然場景文本、手寫體文本甚至公式識別中。

2.5 端到端識別方法

目前大部分的研究都是針對場景文本檢測或者識別的單個任務，端到端的識別方法則是一個模型可以同時完成以上兩個任務。

為了解決復雜場景中極端光照對邊緣檢測效果不理想的問題，文獻[59]對訓練樣本的顏色信息進行判斷，對預處理得到的圖像進行高斯濾波處理，消除了部分噪聲，通過先驗概率和SVM模型剔除非文本區(qū)域，進而確定文本實例區(qū)域。在文本識別階段，模型將傳統(tǒng)的LeNet-5[60]中的輸出神經元增加到65 個，并且在改變神經元數量的同時對應調整訓練樣本的種類分布。該模型在復雜場景中尤其是極端光照情況下可以達到較高的識別精確率，魯棒性較好。但是在目標區(qū)域由于磨損導致其斷裂粘連時，相應的分割提取方法仍可以進一步改進，而且模型結構復雜，處理時間較長。

文獻[61]提出用三階自適應貝塞爾曲線對文本矯正，然后在參數空間里面去回歸這些控制點，而不是在圖像上回歸文本框，因此在檢測多方向多尺度文本時它的檢測框更加平滑，并且速度很快。識別階段采用CNN+Bi-LSTM+CTC 結構，最終實現(xiàn)端到端場景文字識別。但是模型是通過合成數據集訓練的，在測試時文本漏檢問題較嚴重。文獻[62]利用分割建議網絡解決了其過去版本[63]嚴重依賴手動設計錨點的問題。此外，由分割建議網絡生成的精確建議可以解耦相鄰文本實例，因此該模型可以避免背景噪聲、模糊問題對檢測性能的影響，最后利用一個空間注意力模塊對檢測到的文本實例區(qū)域進行識別，并且對極端長寬比文字的識別也是魯棒的。但是基于分割的方式后期維護代價高，且計算成本也較高。文獻[64]在檢測階段利用局部四邊形回歸和中心線分割的思想處理任意形狀的文本。在識別階段引入了一種基于CNN 和CTC 機制，讓框架無需標注字符位置，并且識別效率要比傳統(tǒng)的基于Faster RCNN[65]+Attention的模型要高很多，但是模型仍然很難應用到實時識別的任務中。

2.6 總結

CTC機制通常預測一維的特征序列，通過累加所有文本可能性的概率預測出最終的文字序列，可以最大化輸出序列的正確性。但是CTC 的計算方式復雜，計算成本高，而且很難對二維特征進行預測，這就損失了很多場景文本的空間屬性。

Attention 機制使得解碼器可以更關注與目標文本相關的信息，并且更容易擴展到二維預測問題。但Attention機制生成的是對齊概率，特別是對于長文本識別問題，有可能出現(xiàn)對齊誤差，即“注意力偏移”現(xiàn)象。將Attention 機制應用到場景文字識別任務中是當下的一個熱點方向，但是目前很少有Attention模型是針對標簽種類較多的數據集的，如何減少在大規(guī)模標簽種類識別任務中的計算成本是下一步應解決的問題。

端到端的識別方法可以共享文本檢測與識別的信息，并且可以對其進行聯(lián)合優(yōu)化，避免了級聯(lián)檢測與識別模塊方式的誤差累計。端到端模型的整體推理速度要比級聯(lián)方式更快，但是如何維護檢測與識別間收斂時間與難度的平衡仍然是一個挑戰(zhàn)。

3 常用數據集

目前較常用的場景文本檢測與識別的數據集包括：水平數據集ICDAR2013[66]、ICDAR2015[67]、SVT[68]、KAIST[69]等，任意形狀數據集MSRA-TD500[70]、OSTD[71]、COCOText[72]、SCUT-CTW1500[73]等，多語言數據集ICDAR2017-MLT[74]、ICDAR2019-MLT[75]、EvArEST[76]等，中文數據集ICDAR2019-LSVT[77]、ICDAR2019-ReCTS[78]、CTW[79]、ShopSign[80]等。上述數據集的詳細信息如表3所示。

表3 場景文本檢測與識別常用數據集Table 3 Common datasets of natural scene text detection and recognition

4 發(fā)展與趨勢

文字是人們信息傳遞的載體，通過對文本檢測與文字識別技術的分析，可以看出隨著深度學習在文本檢測與識別技術中的應用，所能解決的問題也越來越復雜，但是同樣存在大量的問題需要被解決，如對密集文本和不規(guī)則文本的檢測性能仍遠遠低于檢測水平文本的性能。對多語言（非拉丁文）檢測與識別技術的需求日益提升。無論對文本的檢測還是識別，其目的都是提取圖片中的文字并利用其文本含義，因此對文本視覺問答技術的研究尤為重要。綜上所述，場景文本檢測與識別技術可以從以下幾方面進一步擴展。

（1）密集文本、曲線文本的檢測與識別

當前針對復雜文本檢測問題的模型多是通過回歸邊框的方式確定文本實例區(qū)域，如TextBoxes、TextBoxes++，如果可以通過回歸文本位置的控制點替代回歸文本框端點，則可以讓最終的文本框的表達更加靈活、精確。很多學者對不規(guī)則文本識別的研究是先矯正再識別，如RARE、ASTER，而字符級的矯正相對于其他矯正方式來說，旋轉角度較小并且更容易被識別，如果可以設計一個好的字符級的檢測識別器，就可以極大地提升不規(guī)則文本的識別率。

（2）提高模型的性能與泛化能力

算法的迭代旨在增強算法的實用性、易用性以及輕量化。隨著互聯(lián)網的發(fā)展和大數據時代的來臨，大量的數據需要被處理，這就使得在保證識別性能的基礎上識別效率的提升尤為重要。如EAST模型、PAN模型都在簡化模型結構的基礎上提升了檢測性能。另外，從參數空間的角度提升模型性能也是很好的解決方法。過去的研究多是定義一組文本框最終標識檢測到的文本，如果將這種二維的方法拆解成一維的表達方式，則可以簡化問題并且減少計算量。雖然目前利用合成數據集訓練的算法在標準數據集的評估上表現(xiàn)出了比較好的性能，但是它對多尺度、多樣式的文本適應能力較差，除了豐富訓練數據的樣式外，怎樣提升模型的泛化能力仍是一個挑戰(zhàn)。可以從文字本身帶有的基本屬性如語義、結構等方面進行研究。

（3）多語言場景檢測與識別

近幾年ICDAR發(fā)表的數據集都有一個多語言的版本，如2017-MLT、ICDAR2019-MLT，這也預示著多語言文本的檢測與識別的地位日益提升，對多語言文本的檢測與識別技術的需求也日益增加。當前的數據集中存在部分注釋不完善的問題，例如不規(guī)范的標點符號或者不區(qū)分外文字母大小寫，還應該為這些數據集提供新的更全面的注釋，如字符級、像素級的注釋。利用合成數據進行訓練，然后在標準數據集上評估是目前模型的一個趨勢，如何讓合成數據集對模型的訓練更有價值是比較重要的問題，另外提出一個更好的數據擴充方法也是需要思考的問題。

（4）對無約束的場景文字的檢測

由于場景文本檢測與識別技術都將應用在實際場景中，無約束的場景通常帶有強烈光照、模糊、遮擋等問題，雖然當前的場景文本檢測技術已經達到較好性能，但是針對無約束場景的性能較差。有些模型只是針對某個數據集的檢測效果很好甚至過擬合，因此可以在訓練模型時多增加一些對抗樣本讓模型更魯棒。

（5）中文數據集和檢測識別方法

中國是個多民族國家，目前針對中文以及各民族文字的數據集和識別方法數量有限。建立公開的中文數據集、少數民族文字數據集對中文檢測與識別技術有重大的意義。

（6）語義、語料在場景文本識別方法中的應用

由于場景文字通常帶有語義信息，目前已經有相關的研究如SEED用一個預訓練好的語言模型，然后把它集成到識別器去做聯(lián)合優(yōu)化。用語義信息去監(jiān)督場景文字識別通?？梢蕴嵘R別準確率。

5 結束語

光學字符識別技術已經十分成熟，對自然場景下文本的檢測與識別是當今的熱點問題。本文分別對場景文本檢測技術和文字識別技術進行了分析。文本檢測技術中基于分割的方法可以更加靈活地檢測不規(guī)則文本，但是對于小文本區(qū)域的召回率較低。而基于回歸的方法能夠檢測到小文本，然而不能適應文本的多尺度?；旌戏椒ńY合兩者的優(yōu)點，通?？梢赃_到更好的性能。文本識別方法中CTC機制有效解決了目標文本序列與實際文本序列的對齊問題，但由于CTC 損失函數和字符位置的不確定性，且未考慮特征間的關聯(lián)關系，對長文本的識別可能出錯。Attention 機制使得解碼器可以更關注與目標文本相關的信息，但Attention機制生成的是對齊概率，有可能出現(xiàn)對齊誤差。CTC與Attention的結合可以相互監(jiān)督以提升識別性能。