復(fù)雜環(huán)景下的文本檢測(cè)與識(shí)別算法的研究

吳繼安 楊超宇

（安徽理工大學(xué)經(jīng)濟(jì)與管理學(xué)院 安徽淮南 232000）

通過使用計(jì)算機(jī)視覺，大大提高了工業(yè)生產(chǎn)的生產(chǎn)效率。并且在一些特定的生產(chǎn)環(huán)境下，將字符識(shí)別技術(shù)應(yīng)用到商品標(biāo)簽識(shí)別中，可以識(shí)別并讀取出包裝上的文字信息。其中包括：產(chǎn)品名稱、配料、生產(chǎn)商、產(chǎn)地和生產(chǎn)日期等用于描述該商品相關(guān)的信息。通過利用這一技術(shù)，可以將商品進(jìn)行快速分類，并將不合格的產(chǎn)品分離出來。通過應(yīng)用字符識(shí)別技術(shù)，不僅可以提高信息的精準(zhǔn)度，同時(shí)也極大的降低了人力成本[1]。

一、字符檢測(cè)

文本檢測(cè)是圖像信息分析和提取過程中的重要技術(shù)，其關(guān)鍵在于如何區(qū)分和定位復(fù)雜的文本區(qū)域和背景區(qū)域。傳統(tǒng)的圖像文本檢測(cè)主要利用人工設(shè)計(jì)特征檢測(cè)圖像中的文本，傳統(tǒng)的字符檢測(cè)需要經(jīng)過圖像預(yù)處理、字符定位、字符分割、字符識(shí)別操作完成[2]，如圖1。

圖1 字符識(shí)別方法對(duì)比

工業(yè)商品標(biāo)簽檢測(cè)屬于復(fù)雜場(chǎng)景下的文本檢測(cè)，不同的商品包裝上包含不同尺寸、顏色、形狀、對(duì)比度的標(biāo)簽文本，并且商品標(biāo)簽的背景相較于印刷文檔更加復(fù)雜，傳統(tǒng)的文本檢測(cè)方法受到人工設(shè)計(jì)特征的局限性，難以滿足復(fù)雜的食品標(biāo)簽文本檢測(cè)需求。

通過使用深度學(xué)習(xí)技術(shù)，能夠有效避免人工設(shè)計(jì)特征存在的局限性，目前已經(jīng)廣泛應(yīng)用于目標(biāo)檢測(cè)領(lǐng)域。本文借鑒經(jīng)典算法的思路，提出基于DB算法的文本檢測(cè)方法，對(duì)于其檢測(cè)結(jié)果使用基于CRNN的文本識(shí)別的方法。

（一）基于DB算法的文本檢測(cè)。近年來，基于分割的方法被廣泛應(yīng)在場(chǎng)景文本檢測(cè)領(lǐng)域，這使得字符識(shí)別過程中對(duì)各種形狀(曲線、垂直、多向)具有較高的檢測(cè)精度?？晌⒍祷?Differentiable Binarization)是基于分割場(chǎng)景文本的字符檢測(cè)[3]。其主要原理是使用分割方法生成的概率圖轉(zhuǎn)化為邊界框和文本區(qū)域，其中包括二值化的后處理。二值化在字符識(shí)別中起到了非常關(guān)鍵的作用，而傳統(tǒng)的通過設(shè)置固定的閾值的二值化操作難以適應(yīng)復(fù)雜多變的檢測(cè)場(chǎng)景。本文使用的DB算法是通過在分割網(wǎng)絡(luò)中插入二值運(yùn)算進(jìn)行組合優(yōu)化，最終實(shí)現(xiàn)了整個(gè)熱圖的自適應(yīng)閾值，如圖2。

圖2 DB算法網(wǎng)絡(luò)結(jié)構(gòu)

可微二值化的基本步驟為：首先提取輸入圖像的主干和特征；然后將圖像傳到特征金子塔，采集到相同尺寸的圖片的同時(shí)進(jìn)行特征關(guān)聯(lián)；對(duì)采集得到的主干和特征進(jìn)行分析，并計(jì)算出預(yù)測(cè)概率圖(Probability map)和閾值圖(Threshold map)；最后根據(jù)預(yù)測(cè)概率圖和閾值圖得到最后的近似二值圖，并生成文本邊緣框。因?yàn)闃?biāo)準(zhǔn)的二值處理是不可微的，而且在訓(xùn)練過程中分割網(wǎng)絡(luò)不能得到優(yōu)化[4]。所以使用可微二值，用于更好的計(jì)算反轉(zhuǎn)值。

在訓(xùn)練階段，通過得到二值化后的圖片得到概率圖，然后根據(jù)一個(gè)閾值推導(dǎo)出二值圖，同時(shí)獲得連接區(qū)域。最后，通過公式(1)的補(bǔ)償計(jì)算，在樣例區(qū)域通過膨脹再收縮得到文本框，如圖3。

圖3 產(chǎn)品信息檢測(cè)

（二）基于CRNN算法的文本識(shí)別。早期的OCR(optical character recognition)算法是將單字分割后再進(jìn)行識(shí)別的。如常見的車牌識(shí)別，先把車牌圖片使用投影方法切割出單個(gè)字體，再送入SVM(support vector machine)或者CNN(Convolutional Neural Networks)里完成文字分類。CRNN(Convolutional Recurrent Neural Network)算法是將識(shí)別任務(wù)轉(zhuǎn)化為序列建模問題，避免了文字分割這一不必要的工作。它規(guī)避了輸入圖像尺度必須一致的限制，經(jīng)過卷積層、循環(huán)層，輸出階段經(jīng)過特定算法轉(zhuǎn)錄后，便完成了不限長(zhǎng)文本識(shí)別任務(wù)[5]。如圖4所示，CRNN模型的第一個(gè)層次是CNN層。卷積層的目的是提取特征圖。CNN網(wǎng)絡(luò)部分有7個(gè)卷積層、2個(gè)BN(Batch Normalization)層、4個(gè)最大池化層[6]。需要注意的是池化層的卷積核尺寸在長(zhǎng)寬方向上不一致，最終導(dǎo)致輸出長(zhǎng)寬比例變化的不一致。

圖4 CRNN網(wǎng)絡(luò)結(jié)構(gòu)

CRNN模型的第二個(gè)層次是RNN層。文本識(shí)別任務(wù)可建模成基于時(shí)序的字符序列識(shí)別問題，利用CTC(Connectionist Temporal Classification)損失函數(shù)實(shí)現(xiàn)字符位置的軟對(duì)齊。LSTM(Long-Short Term Memory)的預(yù)測(cè)結(jié)果連接CTC層，去除冗余的字符，將CNN提取到的特征適配到RNN層合,并成最終的識(shí)別結(jié)果[7]，如圖5。

圖5 生產(chǎn)編號(hào)識(shí)別

二、系統(tǒng)實(shí)現(xiàn)

（一）圖像預(yù)處理。本文主要研究復(fù)雜環(huán)境下顏色信息的處理與識(shí)別，大致可分為圖像處理與識(shí)別兩步。圖像預(yù)處理是是圖像識(shí)別的基礎(chǔ),在不同的場(chǎng)景下，結(jié)合自己的算法和程序，通過設(shè)定和調(diào)節(jié)參數(shù)將圖片進(jìn)行一系列的處理，使該圖片更宜于被識(shí)別[8]。圖像處理主要包含：去噪處理、圖像增強(qiáng)、彩色圖像轉(zhuǎn)變成灰度圖、灰度圖轉(zhuǎn)化成二值圖、邊緣檢測(cè)、分割和直方圖匹配、輪廓匹配。圖像預(yù)處理的主要的任務(wù)就是弱化圖像中多余的干擾信息，增強(qiáng)圖像中所要識(shí)別信息的局部或者全部的特征，擴(kuò)大圖像中不同信息的特征差別。通過改善圖像質(zhì)量、豐富信息量，加強(qiáng)對(duì)圖像后續(xù)的識(shí)別效果[9]。

1.圖像預(yù)處理。由于攝像機(jī)采集到的圖像都是彩色的，識(shí)別過程中需要對(duì)圖片的R、G、B三個(gè)通道依次處理,這會(huì)對(duì)識(shí)別速度有很大的影響[10]。所以我們需要對(duì)圖片進(jìn)行灰度化處理。圖像的灰度化可以大大減少圖像中所包含的信息，并且計(jì)算量也會(huì)大大減少，有利于后續(xù)的運(yùn)算和計(jì)算。根據(jù)不同顏色的重要性和其他的一些不同的指標(biāo)，對(duì)R、G、B三個(gè)分量進(jìn)行加權(quán)平均，如公式(2)。根據(jù)公式對(duì)彩色圖片灰度化處理，得到合理的灰度圖像，如圖6。

圖6 圖像灰度化

2.二值化。大津法(OTSU)又稱最大類間方差法或最小類內(nèi)方差法，即二值化圖像閾值的選取。將彩色圖片上的像素點(diǎn)的灰度值設(shè)為0或255，使圖片背景和目標(biāo)一分為二，呈現(xiàn)出明顯的黑白效果，如圖7。按照?qǐng)D像的灰度特效，二值化后的前景與目標(biāo)會(huì)產(chǎn)生一個(gè)類間方差值，即二值化的過程需要取的一個(gè)閾值[11]。當(dāng)圖片背景和目標(biāo)錯(cuò)分時(shí)，會(huì)使兩部分的差別減小，從而導(dǎo)致錯(cuò)分概率變大。如公式(3)，記H為圖像的總平均灰度，a為目標(biāo)文字、h為平均灰度值。

由式(2)可見公式中a1表示目標(biāo)文字所占圖像的比例；a1=1-a0為圖片背景點(diǎn)數(shù)占比；h0表示w0對(duì)應(yīng)的平均灰度值；h1表示w1對(duì)應(yīng)平均灰度值。當(dāng)方差N最大時(shí)，被處理圖片中的目標(biāo)和背景被錯(cuò)分的概率最小，此時(shí)的得到的灰度值為最佳閾值[12]，方差N可由式(4)表示。

（二）標(biāo)簽檢測(cè)與識(shí)別。經(jīng)過圖像預(yù)處理的操作后，如圖8。經(jīng)過通過灰度化和二值化后的圖片可以更好的被DB文本檢測(cè)算法和CRNN文本識(shí)別算法更好的被識(shí)別出來，可以大大提高識(shí)別和檢測(cè)效率。然后使用預(yù)先編寫好的程序進(jìn)行文字識(shí)別：首先打開處理好的圖片;用鼠標(biāo)標(biāo)記好要識(shí)別的區(qū)域，點(diǎn)擊確定后系統(tǒng)開始進(jìn)行文字的提取和識(shí)別;識(shí)別結(jié)束后，將識(shí)別的字符打印到控制臺(tái);最后可以在指定區(qū)域輸入要識(shí)別的文字與系統(tǒng)識(shí)別的字符進(jìn)行對(duì)比判斷。經(jīng)過以上步驟，識(shí)別成功或失敗都將給出相應(yīng)提示。

三、結(jié)果分析

（一）實(shí)驗(yàn)步驟與環(huán)境。本字符識(shí)別軟件采用Python、OpenCV.js和Pyqt5進(jìn)行編寫，并實(shí)現(xiàn)了字符檢測(cè)的可視化操作。實(shí)驗(yàn)使用的電腦配置為：英特爾i9處理器、16g運(yùn)行內(nèi)存和Nvidia GTX2080ti顯卡。圖像采集裝置，如圖9。

圖9 圖像采集裝置

實(shí)驗(yàn)共分為：圖像采集、圖像預(yù)處理、劃分識(shí)別區(qū)域、字符分割和字符識(shí)別5個(gè)步驟，如圖10。將需要標(biāo)簽識(shí)別的物品放到圖像采集裝置上。當(dāng)傳感器感應(yīng)到物品，相機(jī)就會(huì)進(jìn)行拍照并將圖像傳到軟件進(jìn)行預(yù)處理；用鼠標(biāo)選擇好識(shí)別區(qū)域，并輸入要檢測(cè)的字符。系統(tǒng)自動(dòng)會(huì)對(duì)被標(biāo)記的識(shí)別區(qū)域進(jìn)行字符分割和識(shí)別；最后將識(shí)別結(jié)果與輸入的字符進(jìn)行對(duì)比，把匹配和不匹配的圖片分別存入到2個(gè)不同的文件夾內(nèi)。

圖10 實(shí)驗(yàn)流程

（二）實(shí)驗(yàn)數(shù)據(jù)分析。如表1中記錄了10個(gè)不同的商品標(biāo)簽的檢測(cè)結(jié)果。每個(gè)標(biāo)簽都有著不同的背景和不同的字符，并且全部在相同的燈照條件下進(jìn)行檢測(cè)。通過上述實(shí)驗(yàn)步驟進(jìn)行識(shí)別，并分別記錄其識(shí)別時(shí)間和字符識(shí)別準(zhǔn)確率。經(jīng)過分析與對(duì)比，本組實(shí)驗(yàn)的平均識(shí)別準(zhǔn)確率為98.78%，平均識(shí)別時(shí)間為903ms。通過使用基于深度學(xué)習(xí)的字符檢測(cè)方法，檢測(cè)速率和識(shí)別準(zhǔn)確率都有著極好的表現(xiàn)。通過對(duì)算法進(jìn)一步優(yōu)化和訓(xùn)練，識(shí)別的速率和準(zhǔn)確率還會(huì)進(jìn)一步提升，并且可以在更多復(fù)雜的環(huán)境中進(jìn)行字符的檢測(cè)與識(shí)別。

表1 識(shí)別數(shù)據(jù)結(jié)果

四、結(jié)論

通過使用基于深度學(xué)習(xí)的文本檢測(cè)方法，即通過將DB文本檢測(cè)算法對(duì)圖片進(jìn)行可微二值化處理，再利用CRNN文本識(shí)別算法進(jìn)行字符檢測(cè)。實(shí)驗(yàn)過程中，在不同光照和遮擋條件、都有著較好的表現(xiàn)。并且針對(duì)不同的形狀、方向和顏色的文字都有著較高的識(shí)別準(zhǔn)確率。與傳統(tǒng)的字符識(shí)別算法相比，本實(shí)驗(yàn)使用的算法不僅可以應(yīng)用到更多的場(chǎng)景，而且克服了多種字符形態(tài)上的限制。經(jīng)過大量的實(shí)驗(yàn)與測(cè)試，DB算法和CRNN算法具有良好的穩(wěn)定性和擴(kuò)展性。通過將這兩種算法相結(jié)合，文本檢測(cè)的準(zhǔn)確率和識(shí)別速度都有著明顯的提升。