設(shè)備銘牌字符識別系統(tǒng)的開發(fā)與實現(xiàn)

李奇超，馬波，伍弘，張銳

(國網(wǎng)寧夏電力有限公司電力科學(xué)研究院，寧夏 銀川 750011)

隨著信息化、智能化時代的到來，電氣化產(chǎn)品大批量生產(chǎn)，迫切需要開發(fā)1套高識別率和準(zhǔn)確率的設(shè)備銘牌字符自動檢測識別系統(tǒng)[1-2]來代替人工檢測手動抄錄。銘牌字符識別不同于其他具有白色背景的普通文字識別，它的形狀輪廓線條方向多變，字符內(nèi)容較專業(yè)，同時包含字母、數(shù)字、文字和特殊符號，部分術(shù)語還需通過固定排列才能構(gòu)成，字符區(qū)域內(nèi)還可能出現(xiàn)模糊、傾斜的情況，識別難度較大。

目前對于字符識別，主要有結(jié)構(gòu)模式識別和統(tǒng)計模式識別：結(jié)構(gòu)識別可用來識別漢字，但抗干擾能力較差；統(tǒng)計模式識別基于圖像處理和圖像識別理論，識別效果較好[3]。文獻(xiàn)[4]提出1種結(jié)合垂直與水平投影的模版匹配方法進(jìn)行字符分割，提高了字符分割的準(zhǔn)確性和魯棒性，但功能單一無法解決復(fù)雜環(huán)境下的銘牌字符識別問題；文獻(xiàn)[5]提出了基于霍爾變換的銘牌圖像旋轉(zhuǎn)矯正方法，解決了圖像傾斜導(dǎo)致字符識別準(zhǔn)確率低的問題，但對于帶膠面、啞光面、亮鏡面等類型的銘牌未深入研究；文獻(xiàn)[6]提出了基于深度學(xué)習(xí)的電力設(shè)備銘牌識別方法，避免了裁剪圖像、字符分割的過程，解決了傳統(tǒng)銘牌識別準(zhǔn)確率低的問題，但對傾斜角度較大、銘牌中含有字母和特殊符號的情況，銘牌識別效果欠佳。

因此，開發(fā)了1種字符識別系統(tǒng)，通過攝像頭對設(shè)備銘牌進(jìn)行成像，利用圖像預(yù)處理、銘牌匹配、字符精定位、圖像增強(qiáng)和字符分割等處理技術(shù)，實現(xiàn)高效字符識別。

1 系統(tǒng)開發(fā)思路

依據(jù)提高圖像字符識別率和準(zhǔn)確率的設(shè)計思路，搭建系統(tǒng)結(jié)構(gòu)，如圖1所示。通過細(xì)化系統(tǒng)各部分功能，開發(fā)相關(guān)模塊，實現(xiàn)設(shè)備銘牌字符識別系統(tǒng)的開發(fā)。

圖1 字符識別系統(tǒng)結(jié)構(gòu)設(shè)計

1.1 建立樣品模板庫

根據(jù)待識別銘牌字符，建立字符識別銘牌圖像庫。將不同廠家、不同類型的銘牌劃分為不同類別，分類管理，建立類別樣品庫，為后續(xù)識別算法的樣本處理搭建基礎(chǔ)。根據(jù)樣本中的每類銘牌，建立銘牌類別模板信息庫，再對庫中樣本進(jìn)行分辨率調(diào)整、輪廓處理和傾斜校正，得到該類銘牌標(biāo)準(zhǔn)模板。

1.2 銘牌類別判定與字符識別

針對標(biāo)準(zhǔn)模板庫中的銘牌，通過自動識別或人機(jī)交互模式，識別出銘牌歸屬類別，再根據(jù)不同類別銘牌字符的特殊性，比如清晰度、間距大小、字符組合等特征，對精確定位待識別區(qū)進(jìn)行圖像預(yù)處理、銘牌匹配、字符精定位、圖像增強(qiáng)、字符分割等處理，提高識別精度。最后針對待識別區(qū)域標(biāo)定的取值范圍，對自動識別結(jié)果進(jìn)行修正、輸出。在人機(jī)交互模式中，設(shè)置有用戶判定和手動選擇類別選項，以確保復(fù)雜環(huán)境下的字符識別率。同時系統(tǒng)把正確的識別結(jié)果保存反饋至模板庫，不斷豐富樣本庫，不斷提高識別率和準(zhǔn)確率。

2 系統(tǒng)模塊設(shè)計

根據(jù)擬實現(xiàn)功能，設(shè)計了圖像字符識別邏輯結(jié)構(gòu)框架，如圖2所示，字符識別功能主要從5個方面進(jìn)行開發(fā)設(shè)計。

圖2 圖像字符識別邏輯結(jié)構(gòu)框架

2.1 圖像預(yù)處理

該部分設(shè)計通過攝取攝像頭輸入的每一幀圖像，預(yù)處理后得到圖像數(shù)據(jù)，然后對銘牌進(jìn)行圖像分辨率調(diào)整、輪廓處理及傾斜校準(zhǔn)，保證后續(xù)功能算法和處理能夠及時、準(zhǔn)確。

2.1.1 分辨率調(diào)整

利用雙三次插值算法[7-8]，找出圖像中待求像素點(diǎn)像素值的影響因子，根據(jù)影響因子獲取目標(biāo)圖像對應(yīng)的像素值，通過源代碼編程處理，達(dá)到圖像縮放的目的。假如每個待求像素點(diǎn)為x，由其相鄰左右各2個像素進(jìn)行加權(quán)，求得其像素值：

(1)

先利用公式(1)、(2)對每個4×4窗口內(nèi)縱列求臨時插值像素點(diǎn)，然后對4個臨時像素點(diǎn)利用同樣的原理求得最終的待求像素點(diǎn)像素，從而實現(xiàn)圖像的放縮。

2.1.2 輪廓處理

針對已調(diào)整分辨率的銘牌圖片，對銘牌區(qū)域進(jìn)行局部二值化，對二值化圖像進(jìn)行細(xì)化處理。假定每個像素點(diǎn)在參數(shù)空間對應(yīng)曲線之間的交點(diǎn)(x，y)，如果交于一點(diǎn)的曲線數(shù)量超過閾值，那么認(rèn)為交點(diǎn)(ρ,θ)在圖像空間對應(yīng)1條直線，如式(3)所示：

ρ=xcosθ+ysinθ

(3)

再對細(xì)化處理后的圖像進(jìn)行Hough直線檢測，利用Laplacian邊緣檢測結(jié)果進(jìn)行圖像多邊形輪廓檢測，根據(jù)輪廓的幾何關(guān)系、長寬比、面積尺寸、紋理特征等約束，剔除掉干擾區(qū)域。最后，使用Hough變換直線檢測擬合得到銘牌區(qū)域的四邊形輪廓，從而得到銘牌區(qū)域的粗定位[9]。

2.1.3 傾斜校正

由于拍攝角度、安裝方式等多種因素會使拍攝到的銘牌圖像產(chǎn)生傾斜變形，給后續(xù)的字符分割和識別帶來麻煩，因此字符分割前需對銘牌區(qū)域圖像進(jìn)行傾斜校正，根據(jù)擬合得到的銘牌區(qū)域四邊形直線，自動選擇四邊形的4個頂點(diǎn)坐標(biāo)，并以此為參數(shù)對圖像進(jìn)行全局透視變換，完成銘牌區(qū)域的圖像傾斜校正。

2.2 銘牌匹配

根據(jù)模板庫中不同類型銘牌，首選自動識別方式對銘牌類型進(jìn)行匹配識別。識別時依據(jù)樣本量的多少選擇采用機(jī)器學(xué)習(xí)或模板匹配的方式進(jìn)行識別。模板匹配采用判別分析和對比的方式：判別分析主要從顏色特征和紋理特征進(jìn)行提取，顏色特征以顏色直方圖和顏色均值作為特征，而紋理特征以方向梯度直方圖的梯度直方作為輸入[10]；對比的方式則是建立兩圖像的距離函數(shù)，通過閾值設(shè)定進(jìn)行類型判定。由于目前采集的銘牌樣本量通常難以達(dá)到大數(shù)據(jù)的層次，因此文中設(shè)計時選擇傳統(tǒng)機(jī)器學(xué)習(xí)算法，如迭代算法、神經(jīng)網(wǎng)絡(luò)算法。

2.3 字符精確定位

經(jīng)過圖像預(yù)處理和銘牌匹配，對輸入的銘牌區(qū)域信息，定位出各部分字符或文本小區(qū)域，并將表格線去除，然后輸出銘牌所有字符區(qū)域，達(dá)到精定位的目的。在構(gòu)建銘牌模板庫時，針對每類標(biāo)準(zhǔn)模板銘牌，完成版面布局檢測，并自定義待識別區(qū)域及其物理含義。設(shè)計時考慮了輔以灰度化、平滑慮噪、邊緣檢測、局部自適應(yīng)二值化、橫縱向表格線去除、橫縱向跳變檢測、形態(tài)學(xué)濾噪、連通域分析等圖像預(yù)處理操作，達(dá)到字符精確定位的要求，定位流程如圖3所示。

圖3 字符精確定位流程

2.4 圖像增強(qiáng)

本部分功能設(shè)計思路是先采用中值濾波的方式進(jìn)行去噪，再采用限制對比度自適應(yīng)直方圖均衡化(CLAHE)方法對各區(qū)域進(jìn)行圖像增強(qiáng)，最后通過Ostu二值化進(jìn)行閾值分割，達(dá)到增強(qiáng)局部區(qū)域?qū)Ρ榷?，增?qiáng)圖像局部細(xì)節(jié)可視性，同時抑制噪音產(chǎn)生的目的，實現(xiàn)功能效果見圖4。

圖4 圖像增強(qiáng)效果

2.5 字符分割識別

本部分設(shè)計主要對經(jīng)圖像增強(qiáng)后的精確定位區(qū)域進(jìn)行字符切分識別，然后依據(jù)模板信息加以校正，再將字符信息索引至原圖對應(yīng)位置。針對含字母、數(shù)字、文字和特殊符號等不同區(qū)域字符，采用先驗知識法提高精度。根據(jù)字符寬度和間距的閾值采用投影法對字符進(jìn)行分割，再將每個字符歸一化，達(dá)到每張圖片大小一致的效果，處理效果如圖5所示。

圖5 字符分割效果

3 實驗驗證

3.1 測試與驗證

總體功能設(shè)計后，測試和驗證是系統(tǒng)開發(fā)的最后關(guān)鍵一環(huán)，也是驗證系統(tǒng)能否滿足預(yù)期功能的必要手段。本文對不同廠家30多種類型1 000張設(shè)備銘牌圖片進(jìn)行了字符識別測試，其中包含啞光面、亮鏡面和帶膠膜面的銘牌。為充分驗證系統(tǒng)對銘牌信息的識別性能，試驗還進(jìn)一步加大識別難度，采用3種類型攝像頭在左側(cè)45°避免復(fù)雜光線、右側(cè)45°避免復(fù)雜光線和正面復(fù)雜光線的條件下進(jìn)行了拍照識別驗證，字符定位識別結(jié)果如圖6所示，銘牌識別效果如圖7所示。

圖6 銘牌字符精確定位識別結(jié)果

圖7 銘牌字符識別結(jié)果

3.2 實驗結(jié)果與分析

實驗從測試的變壓器銘牌中選出銘牌信息必須標(biāo)志的16個項目[11]進(jìn)行統(tǒng)計分析，分析結(jié)果表明，本系統(tǒng)整體性能穩(wěn)定，能夠適應(yīng)復(fù)雜的背景和外在因素干擾，具有較強(qiáng)的魯棒性。光線是影響銘牌識別準(zhǔn)確率的關(guān)鍵因素，銘牌鋼印字體受光線影響最大。同時在相同外部環(huán)境條件下，利用800萬像素、1 200萬像素和1 600萬像素3種不同類型攝像頭，對同一銘牌識別的結(jié)果顯示，攝像頭像素高低直接影響銘牌字符識別率和正確率的高低。系統(tǒng)對亮鏡牌子、帶膠牌子的識別精度有限，其中亮鏡面字符識別率為75%，受銘牌帶膠程度不同，帶膠銘牌的識別率結(jié)果無法量化，字符可識別的最小分辨率為1 200×800像素，啞光牌子識別準(zhǔn)確率相對較高，為87%；對同時含有字母、符號和數(shù)字信息的鋼印字體識別準(zhǔn)確率最差，僅為70%；對黑色印字、打印黃色字、黑底亮字識別準(zhǔn)確率較高，達(dá)95%以上；對純漢字信息識別準(zhǔn)確率最高，達(dá)100%。

4 結(jié) 論

(1)開發(fā)的字符識別系統(tǒng)可快速獲取設(shè)備銘牌參數(shù)信息、識別率和準(zhǔn)確率達(dá)到了預(yù)期目的，系統(tǒng)具有很好的穩(wěn)定性和魯棒性。

(2)系統(tǒng)開發(fā)時給定人機(jī)交互和自動識別2種模式，保證字符識別精度與準(zhǔn)確度的同時，提升了設(shè)備信息輸入的工作效率，可廣泛應(yīng)用于工業(yè)化生產(chǎn)、設(shè)備基礎(chǔ)信息管理及設(shè)備巡檢工作。

(3)系統(tǒng)受光線影響較大，對反光和帶膠膜的銘牌識別效果欠佳，同時需不斷更新豐富樣本庫，提高識別精度和準(zhǔn)確度，這也是系統(tǒng)后續(xù)研究的重點(diǎn)和方向。