一種數(shù)顯儀表顯示數(shù)字的自動定位和識別方法

項(xiàng) 導(dǎo)

(億嘉和科技股份有限公司，江蘇 南京 210012)

1 相關(guān)研究

七段數(shù)碼管是由多個發(fā)光二極管(LED)按照“8”字型規(guī)則排列并封裝在一起實(shí)現(xiàn)數(shù)字顯示功能的電子元器件，通過控制不同二極管段的亮和滅可以組合顯示不同的字符，具有易于辨識、穩(wěn)定可靠、節(jié)能等優(yōu)點(diǎn)，在工業(yè)領(lǐng)域有著非常廣泛的應(yīng)用，例如在電網(wǎng)變電站和配電房內(nèi)顯示各類電氣設(shè)備的工作狀態(tài)[1]。圖1給出了幾種典型的數(shù)顯儀表示例。近年來，隨著電網(wǎng)智能化運(yùn)維建設(shè)的推進(jìn)，巡檢機(jī)器人在電網(wǎng)中的應(yīng)用也越來越廣泛。而具備高準(zhǔn)確率、高實(shí)時性的數(shù)顯儀表數(shù)字自動識別算法的開發(fā)和應(yīng)用，是實(shí)現(xiàn)機(jī)器人替代人工巡檢、提高電網(wǎng)智能化水平的關(guān)鍵[1-4]。

圖1 典型LED數(shù)顯儀表示例

數(shù)顯儀表數(shù)字字符識別算法通常由字符分割和識別兩個核心模塊構(gòu)成。字符分割算法主要分為3種：1) 基于顯著性檢測的方法[1]，即通過提取圖像中的顯著性區(qū)域，將字符從圖像中分割出來。該方法只適用于單行數(shù)顯儀表，并且無法識別液晶屏數(shù)顯儀表中的字符(如圖1(d)所示)。2) 基于模板匹配的方法[5]，如利用相關(guān)匹配法以及模板區(qū)域與字符的相對位置關(guān)系來定位字符區(qū)域。該方法在圖像存在光照或者仿射變化時，容易產(chǎn)生較大定位誤差。3)基于二值化的方法[2,6-7]，即通過局部或者全局閾值對圖像進(jìn)行二值化，再利用連通域分析分割出字符區(qū)域。該方法對光照變化較為敏感，并且閾值設(shè)置較為依賴人的經(jīng)驗(yàn)。

字符識別的原理主要是利用待識別字符的幾何布局信息和統(tǒng)計(jì)先驗(yàn)知識等來進(jìn)行字符判定，包括基于模板匹配的識別算法[2]、穿針引線法[4]、基于卷積神經(jīng)網(wǎng)絡(luò)的分類算法[8]、提取字符特征向量并分類[9]等。文獻(xiàn)[2]利用預(yù)先設(shè)計(jì)的字符模板實(shí)現(xiàn)字符識別，當(dāng)字符存在亮度、尺度或者旋轉(zhuǎn)變化時，容易誤識別。文獻(xiàn)[8]利用卷積神經(jīng)網(wǎng)絡(luò)對LED數(shù)字字符進(jìn)行分類識別，該方法的字符識別精度很高，但是依賴大量學(xué)習(xí)樣本對模型進(jìn)行訓(xùn)練，并且對運(yùn)行資源要求較高。

已有的字符定位和識別算法對儀表樣式、光照及仿射變化或者算法運(yùn)行資源等提出了較高要求。機(jī)器人在巡檢數(shù)顯儀表時，受儀表安裝方式、采集角度、現(xiàn)場環(huán)境光線等因素影響，采集到的儀表圖像經(jīng)常存在一定的亮度、尺度和旋轉(zhuǎn)變化，目標(biāo)字符區(qū)域與背景之間的差異也可能不太明顯，導(dǎo)致二值化后的數(shù)碼管字符存在粘連、缺失等情況，并且機(jī)器人的運(yùn)行資源也較為有限。上述這些問題都容易導(dǎo)致數(shù)顯儀表的整體識別準(zhǔn)確率不夠高。本文針對上述問題進(jìn)行了深入的分析和改進(jìn)，提出了一種魯棒的對數(shù)顯儀表數(shù)字字符進(jìn)行自動定位和識別的算法。該算法利用七段數(shù)碼管的幾何布局先驗(yàn)信息，通過提取數(shù)字字符的單像素邊緣并進(jìn)行篩選和配對，可以有效提取七段數(shù)碼管的每一段區(qū)域，再對每段區(qū)域的相對布局關(guān)系進(jìn)行分析，可以實(shí)現(xiàn)準(zhǔn)確的數(shù)字識別。其優(yōu)點(diǎn)如下：1)利用單像素邊緣實(shí)現(xiàn)數(shù)字字符定位，對圖像亮度和仿射變化的魯棒性強(qiáng)；2)不需要進(jìn)行模型訓(xùn)練，對運(yùn)行資源依賴小，算法效率高；3)利用通用的幾何布局規(guī)則進(jìn)行數(shù)字識別，泛化能力強(qiáng)，并且能同時識別多行字符。

2 算法設(shè)計(jì)

本文提出的數(shù)字識別算法總體流程如圖2所示，主要包括圖像預(yù)處理、單像素邊緣提取、邊緣配對、字符區(qū)域定位和識別4個部分。圖像的邊緣信息對環(huán)境光線變化具有很強(qiáng)的魯棒性，而數(shù)顯儀表具有固定且規(guī)則的幾何布局，如圖3(a)所示，即通過7個數(shù)碼管段之間的亮滅組合來實(shí)現(xiàn)特定字符的顯示，并且每個數(shù)碼管段在水平或垂直方向均具有平行的直線段邊緣。通過提取和篩選字符邊緣，并分析直線段邊緣之間的平行關(guān)系可以確定數(shù)碼管段的位置，進(jìn)而根據(jù)數(shù)碼管段的相對布局關(guān)系可以實(shí)現(xiàn)精準(zhǔn)的字符定位和識別。圖3中圓表示邊緣點(diǎn)；箭頭表示梯度方向；圓大小表示梯度強(qiáng)度。

圖2 字符識別算法處理流程

圖3 七段數(shù)碼管結(jié)構(gòu)及邊緣提取示意

2.1 圖像預(yù)處理

受機(jī)器人圖像采集設(shè)備成像能力的限制，采集到的數(shù)顯儀表圖像可能會含有不同程度的彩色噪聲。為了抑制噪聲干擾，首先對輸入圖像進(jìn)行鄰域大小為5×5的中值濾波去噪。然后提取HSV色彩空間的V通道，進(jìn)行后續(xù)邊緣提取。圖4(a)給出了預(yù)處理后的效果圖。

圖4 算法處理中間結(jié)果圖(彩色模式觀看更佳)

2.2 單像素邊緣線段提取

為了實(shí)現(xiàn)基于邊緣布局分析的字符定位和識別，首先需要提取字符的單像素邊緣線段，即確定七段數(shù)碼管每段顯示區(qū)域的邊界位置。單像素邊緣線段提取主要包括4個步驟：邊緣點(diǎn)提取、非極大值抑制、弱邊緣過濾和邊緣跟蹤與截斷。

1)邊緣點(diǎn)提取。邊緣提取算法有很多種，本文采用3×3的Sobel算子計(jì)算每個像素點(diǎn)的邊緣方向和幅值，如圖4(b)所示。

2)非極大值抑制。由于數(shù)顯儀表字符邊緣梯度變化較大的區(qū)域通常比較寬，因此提取的邊緣較粗，給邊緣配對帶來困難。為了提取到單像素邊緣，需要進(jìn)行非極大值抑制處理。本文將每個像素點(diǎn)與沿該像素梯度方向的前后兩個像素點(diǎn)進(jìn)行比較，僅當(dāng)該像素點(diǎn)的梯度幅值不小于鄰域點(diǎn)時保留該像素點(diǎn)，否則剔除，如圖3(b)所示，只有梯度強(qiáng)度最大的邊緣點(diǎn)得到保留。最終得到如圖4(c)所示的邊緣圖，易見，粗邊緣得到了有效抑制。

4)邊緣跟蹤與截斷。經(jīng)上述處理后得到的邊緣點(diǎn)只是個體像素點(diǎn)，邊緣點(diǎn)之間的幾何語義關(guān)系并未確定，如圖3(b)所示，給出了“7”的數(shù)碼管示意。為了利用布局信息定位和識別字符，需要進(jìn)行邊緣點(diǎn)聚類，確定屬于同一個數(shù)碼管段的邊緣點(diǎn)集。本文利用邊緣跟蹤算法來對邊緣點(diǎn)進(jìn)行幾何聚類，即以八鄰域?yàn)榛A(chǔ)，利用Floyd-Warshall算法[11]進(jìn)行最短路徑遍歷，得到所有的單像素邊緣點(diǎn)集。在構(gòu)造的最短路徑遍歷圖中，每個像素點(diǎn)與上、下、左、右4個像素點(diǎn)之間的邊權(quán)重為2，而與4個頂點(diǎn)之間的邊權(quán)重為3。邊緣跟蹤的結(jié)果如圖4(d)所示，不同的顏色代表不同的邊緣點(diǎn)集。

由于同一個數(shù)碼管段的邊緣點(diǎn)在最短路徑跟蹤中會聚類到一起，無法進(jìn)行后續(xù)邊緣配對操作，需要進(jìn)行截斷處理。如圖3(b)所示，在每個邊緣的最短路徑上，計(jì)算每個邊緣點(diǎn)與前后3個邊緣點(diǎn)之間的夾角，如果出現(xiàn)大的梯度方向變化(本文設(shè)置為60°)，表明邊緣存在彎折，需要截斷為單獨(dú)的線段。經(jīng)截斷處理后的邊緣線段如圖4(e)所示。

2.3 邊緣線段配對

得到單像素邊緣線段后，可以對邊緣線段進(jìn)行配對，從而定位到七段數(shù)碼管的每個段，如圖3(b)所示，將黑色邊緣線段和綠色邊緣線段進(jìn)行配對，可以得到字符“7”右下角段。由于屬于同一個數(shù)碼管段的對應(yīng)邊緣線段近似直線，并且梯度方向較為一致，因此邊緣按照如下約束進(jìn)行配對：

1)邊緣在水平或垂直方向需要有較強(qiáng)的直線性，即邊緣上所有像素點(diǎn)沿x軸或y軸的坐標(biāo)方差小于設(shè)定閾值δ。

2)配對的邊緣線段需近似平行，角度誤差不超過α。

3)配對邊緣線段之間的距離Distance滿足D1≤Distance≤D2，其中D1和D2是閾值。

4)配對邊緣線段的重疊度Overlap滿足β≤Overlap，重疊度的定義為沿邊緣梯度方向進(jìn)行投影后兩條邊緣的重疊部分與投影總長度的比值，其中β為閾值。

本文設(shè)置經(jīng)驗(yàn)值δ=6，α=5°，D1=4，D2=8，β=0.7。經(jīng)邊緣線段配對后的結(jié)果如圖4(f)所示。

2.4 字符定位

通常數(shù)顯儀表字符之間的像素間距較大，而單個字符每段顯示單元之間的距離較小。利用此先驗(yàn)知識，在配對邊緣線段的基礎(chǔ)上，根據(jù)每對邊緣之間最近像素點(diǎn)的距離對配對邊緣進(jìn)行聚類和組合，即將距離近的邊緣線段對判定為屬于同一字符(本文設(shè)置距離閾值為20)，從而實(shí)現(xiàn)字符級別的定位。隨后結(jié)合所有字符的相對位置關(guān)系，即字符中心點(diǎn)的坐標(biāo)值，可以對每一行的所有字符進(jìn)行精確定位，如圖4(g)所示。

由于每個配對邊緣線段對均對應(yīng)七段數(shù)碼管中的一段，因此根據(jù)每個字符所含有的配對邊緣，及各配對邊緣之間的亮度情況，可以得到每段的亮滅，再結(jié)合每段的位置信息及每段的組合所代表的含義，可以確定當(dāng)前字符對應(yīng)的數(shù)字。如圖4(h)所示，七段數(shù)碼管中每一個亮的段用白色矩形表示，其中的數(shù)字代表最終的識別結(jié)果。由于小數(shù)點(diǎn)出現(xiàn)的位置相對于字符是固定的，因此在定位到每個字符以后，可以確定每行小數(shù)點(diǎn)可能出現(xiàn)的4個區(qū)域，平均灰度值最大或最小(針對液晶數(shù)顯儀表)的區(qū)域即是小數(shù)點(diǎn)所在的位置。

3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文提出的數(shù)顯儀表字符自動識別算法的準(zhǔn)確率和運(yùn)行效率，進(jìn)行了大量的實(shí)驗(yàn)研究。實(shí)驗(yàn)采用從工程實(shí)際作業(yè)現(xiàn)場采集的5 000張數(shù)顯儀表樣本圖片進(jìn)行識別。實(shí)驗(yàn)樣本集部分圖片如圖5所示，采集的字符具有豐富的多樣性，如有不同的傾斜角度、仿射變換、亮暗程度、噪聲大小、顏色差異等特點(diǎn)，對算法的泛化能力和魯棒性提出了較高的要求。

圖5 部分LED字符樣本

在上述字符樣本數(shù)據(jù)集上測試本文的算法，實(shí)驗(yàn)結(jié)果見表1。由表1中的結(jié)果可知：數(shù)字字符和小數(shù)點(diǎn)字符的識別準(zhǔn)確率均在99.5%以上，測試結(jié)果充分表明本文算法具有很好的識別效果。在Intel(R) Core(TM) i7-6560U (2.20 GHz) CPU、8 GB DDR4內(nèi)存及Ubuntu 16.04操作系統(tǒng)的軟硬件平臺上測試算法，統(tǒng)計(jì)算法平均運(yùn)行時間為317 ms/張，易見算法處理單張圖片的時間很短，能夠滿足實(shí)時性需求。綜合對實(shí)驗(yàn)結(jié)果的分析和總結(jié)，本文提出的識別算法在識別準(zhǔn)確率和處理實(shí)時性方面均能滿足實(shí)際場景應(yīng)用的需求。

表1 實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

同時本文也和其他算法進(jìn)行了對比，其中文獻(xiàn)[1]和文獻(xiàn)[5]均基于OpenCV4.5采用C++編程實(shí)現(xiàn)，LeNet[11]為經(jīng)典的字符識別卷積神經(jīng)網(wǎng)絡(luò)，字符的定位采用模板匹配，網(wǎng)絡(luò)的輸入為28×28，采用caffe框架進(jìn)行模型訓(xùn)練，訓(xùn)練樣本集為單獨(dú)采集的1 800個字符樣本。不同算法的運(yùn)行結(jié)果見表2，其中LeNet的數(shù)字識別準(zhǔn)確率最高，但運(yùn)行時間也是最長的，無法滿足實(shí)時性要求，而本文算法在準(zhǔn)確率和運(yùn)行時間上可以取得較好的平衡?；陲@著性檢測的文獻(xiàn)[1]對液晶數(shù)顯儀表的識別率很低，并且背景亮度較高時字符容易分割失敗。而基于模板匹配的文獻(xiàn)[5]雖然運(yùn)行效率較高(為解決顏色的多樣性，模板字符采用大津法金星二值化處理)，但數(shù)字識別率很低，無法滿足現(xiàn)場應(yīng)用需求。

表2 不同算法對比結(jié)果

4 結(jié)束語

當(dāng)今數(shù)字圖像處理技術(shù)、圖像采集技術(shù)和機(jī)器學(xué)習(xí)技術(shù)日新月異，借此契機(jī)，儀表自動智能識別技術(shù)也將更多地應(yīng)用在人們的生產(chǎn)、生活中。數(shù)顯儀表在人們的生產(chǎn)和生活中有著廣泛的應(yīng)用。本文提出的改進(jìn)的數(shù)顯儀表字符自動識別算法，基于七段數(shù)碼管儀表的顯示具有規(guī)則幾何布局的先驗(yàn)信息的特點(diǎn)，通過提取字符邊緣并分析邊緣之間的相對布局關(guān)系可以實(shí)現(xiàn)邊緣篩選和字符定位，進(jìn)而對目標(biāo)字符進(jìn)行準(zhǔn)確識別。在從工程實(shí)際作業(yè)現(xiàn)場采集的5 000張圖片的樣本集上進(jìn)行的實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)算法在識別準(zhǔn)確率和處理實(shí)時性上均能滿足實(shí)用需求。本文提出的方法主要是針對數(shù)顯儀表數(shù)字進(jìn)行自動定位和識別，而在實(shí)際應(yīng)用場景中還有較多的英文字符以及非七段數(shù)碼管形式的字符需要識別，因此本文提出的算法在應(yīng)用廣度上還有一定的局限性，這也是接下來亟待開展的研究重點(diǎn)。