基于卷積神經(jīng)網(wǎng)絡(luò)的指針式儀表識(shí)別①

李金紅,熊繼平,陳澤輝,朱凌云

1(浙江師范大學(xué) 數(shù)學(xué)與計(jì)算科學(xué)學(xué)院,金華 321004)

2(浙江師范大學(xué) 物理與電子信息工程學(xué)院,金華 321004)

指針式儀表識(shí)別技術(shù)不僅僅是模式識(shí)別技術(shù)領(lǐng)域的前沿研究發(fā)展方向,還具有寬闊的應(yīng)用前景[1].目前在很多公司中,存在大量的指針式儀表,尤其是用在變電站這種場(chǎng)景中,儀表幾乎全部為模擬式顯示而非數(shù)字式顯示的儀表,這種指針式儀表如果靠人工去讀數(shù),不僅在人工上消耗很大,而且人工讀數(shù)還會(huì)存在一定的誤差,導(dǎo)致精度不高[2,3].因此研究一種快速、準(zhǔn)確、魯棒性強(qiáng)的指針式儀表識(shí)別的方法具有十分重要意義[4,5].

針對(duì)指針式儀表識(shí)別的問(wèn)題,研究人員從不同的研究方向提出了各種解決方法.徐發(fā)兵等人[6]提出先檢測(cè)圖像中的文本,再?gòu)倪@些文本中篩選出刻度線處的數(shù)字,其中文本檢測(cè)和篩選數(shù)字使用的方法分別是改進(jìn)過(guò)的EAST 算法和印刷體數(shù)字識(shí)別模型.根據(jù)那些數(shù)字的位置計(jì)算確定指針直線和儀表圓盤(pán)的圓心,該方法中圖像質(zhì)量對(duì)于最終提取的效果影響較大,并且整個(gè)研究過(guò)程步驟較多;劉葵等人[7]先應(yīng)用連通域分析、圖像閾值分割實(shí)現(xiàn)指針?lè)指?再用最小二乘法實(shí)現(xiàn)了細(xì)化直接提取中軸線;徐麗等人[8]提出了一種基于迭代最大類(lèi)間方差的算法,該方法在對(duì)光照條件、拍攝角度的不同以及表盤(pán)中一些干擾等影響的抗干擾性較好,具有良好的魯棒性能;邢浩強(qiáng)等人[9]提出通過(guò)透視變換消除儀表圖像畸變,雙邊濾波、MSRCR算法增強(qiáng)圖像,再通過(guò)Hough 檢測(cè)儀表的表盤(pán)與指針,最終得到儀表的讀數(shù).此研究方法對(duì)硬件計(jì)算資源要求較高,還存在一定的漏檢的情況.

然而,直接基于Hough 變換等傳統(tǒng)圖像處理技術(shù)獲取指針位置,對(duì)圖像噪聲非常敏感,常會(huì)出現(xiàn)提取指針?biāo)趨^(qū)域、識(shí)別精度較差等問(wèn)題.針對(duì)這個(gè)問(wèn)題,本文提出了一種基于深度學(xué)習(xí)的指針式儀表識(shí)別的方法,該方法先通過(guò)Faster R-CNN 算法先檢測(cè)指針目標(biāo)框,裁剪出指針目標(biāo)框區(qū)域,再在該區(qū)域圖像上對(duì)指針進(jìn)行細(xì)化、Hough 變換檢測(cè)直線,提取指針,此方法減少了儀表圓盤(pán)背景及刻度線對(duì)指針提取的影響,提高了指針提取的準(zhǔn)確度和魯棒性,還適用于不同背景下的儀表指針檢測(cè).

1 儀表的識(shí)別系統(tǒng)

針對(duì)指針式儀表,本文所提出研究方法包括儀表目標(biāo)檢測(cè)、儀表指針目標(biāo)檢測(cè)以及儀表讀數(shù)識(shí)別3 個(gè)主要部分.識(shí)別系統(tǒng)的具體流程如圖1所示.

圖1 儀表識(shí)別系統(tǒng)的流程圖

1.1 儀表圓盤(pán)自動(dòng)檢測(cè)

目前,深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域發(fā)展了許多,其在圖像分類(lèi)、目標(biāo)檢測(cè)和語(yǔ)義分割等方面都取得了一定的成果[10-16].卷積神經(jīng)網(wǎng)絡(luò)(CNN) 采用卷積(convolution)、權(quán)值共享(shared weights)等,是一種模擬人類(lèi)視覺(jué)神經(jīng)細(xì)胞處理圖像的方法[17].適用于處理圖像分類(lèi)、分割和目標(biāo)識(shí)別等問(wèn)題.采用Faster R-CNN模型檢測(cè)儀表類(lèi)目標(biāo)[18].

1.2 指針自動(dòng)檢測(cè)

目前對(duì)于指針式儀表自動(dòng)識(shí)別研究大多基于傳統(tǒng)的圖像處理技術(shù),先用深度學(xué)習(xí)方法得到儀表圓盤(pán)目標(biāo)之后,直接在截得的儀表圓盤(pán)區(qū)域圖像基礎(chǔ)上或者直接在最原始的圖像上用傳統(tǒng)圖像處理方法定位儀表指針中軸線所在直線.此方法對(duì)圖像的質(zhì)量的要求高,前期對(duì)圖像處理步驟多.本文提出了先用深度學(xué)習(xí)方法檢測(cè)出指針,再根據(jù)檢測(cè)的位置信息裁剪得到的指針區(qū)域圖像上用傳統(tǒng)圖像處理方法定位指針中軸線所在直線.此方法與上述方法相比大大減少了原始圖像上其它區(qū)域?qū)χ羔樦休S線所在直線定位過(guò)程的干擾,而定位指針中軸線所在直線是儀表讀數(shù)識(shí)別中非常關(guān)鍵的一步,很大程度上決定了最后結(jié)果的精度.采用Faster R-CNN 模型用于儀表類(lèi)目標(biāo)的檢測(cè),Faster RCNN 模型分為4 個(gè)主要內(nèi)容:

(1)卷積層:Faster R-CNN 首先使用一組基礎(chǔ)的卷積加ReLU 激活函數(shù)再加上池化組成層提取圖片的特征圖,將特征圖輸入RPN 層和全連接層.

(2)RPN 網(wǎng)絡(luò):RPN 網(wǎng)絡(luò)就是專(zhuān)門(mén)用來(lái)提取候選區(qū)域.

(3)感興趣區(qū)域池化:該層得到特征圖和候選區(qū)域,結(jié)合這些信息提取候選區(qū)域的特征圖,輸入全連接層判斷得到目標(biāo)類(lèi)別.

(4)分類(lèi)器:根據(jù)候選區(qū)域的特征圖得到候選框的類(lèi)別,再次采用邊框回歸得到更精確的檢測(cè)框.具體如圖2所示.

圖2 Faster R-CNN 模型流程圖

Faster R-CNN和Fast R-CNN 之間最大的不同,它提出了一個(gè)RPN的網(wǎng)絡(luò),該網(wǎng)絡(luò)起到了推薦候選區(qū)域的作用.RPN 網(wǎng)絡(luò)能夠進(jìn)行端對(duì)端的訓(xùn)練,最后目的是選出候選框區(qū)域.整個(gè)模型詳細(xì)的框架結(jié)構(gòu)設(shè)置如表1[19].本文中的模型是在ImageNet 數(shù)據(jù)集上的預(yù)訓(xùn)練好的模型上進(jìn)行微調(diào)的模型,采用的主要超參數(shù)如學(xué)習(xí)率為0.001,“gamma”學(xué)習(xí)率衰減設(shè)置為0.1,“weight_decay”即權(quán)值衰減用于防止過(guò)擬合的參數(shù)設(shè)置為0.0005,“momentum”設(shè)置為0.9.其中Faster R-CNN 模型使用的損失函數(shù)為式(1).

表1 Faster R-CNN 結(jié)構(gòu)圖

1.3 儀表讀數(shù)識(shí)別

式(3)可得到儀表圓盤(pán)的圓心的坐標(biāo)(Cx,Cy).

1.3.1 儀表圓盤(pán)的圓心

根據(jù)檢測(cè)到的儀表目標(biāo)框的位置,即儀表目標(biāo)框的左上角和右下角的坐標(biāo) (bx1,by1) 、(bx2,by2),如圖3所示,通過(guò)如式(2)可得到儀表圓盤(pán)的半徑r,再通過(guò)如

圖3 儀表目標(biāo)框

得到圓心的坐標(biāo)后,將原始圖像的坐標(biāo)系轉(zhuǎn)換為以?xún)x表圓盤(pán)圓心為原點(diǎn)的坐標(biāo)系,如圖4所示,再將1.2 節(jié)中檢測(cè)儀表的指針目標(biāo)框的位置坐標(biāo)變成轉(zhuǎn)換后的新坐標(biāo)系下的,轉(zhuǎn)換后的指針目標(biāo)框的位置坐標(biāo)為(zx1,zy1) 、(zx2,zy2),如圖5所示,分別為指針在新坐標(biāo)系第二、四象限下,其它兩個(gè)象限情況類(lèi)似.

圖4 轉(zhuǎn)換后的新坐標(biāo)系

圖5 指針目標(biāo)框坐標(biāo)

1.3.2 指針的細(xì)化

首先根據(jù)指針檢測(cè)中得到的指針目標(biāo)框的坐標(biāo),從原圖中裁剪出指針圖像,在此基礎(chǔ)上進(jìn)行傳統(tǒng)圖像處理,如果直接得到的儀表圓盤(pán)的基礎(chǔ)上進(jìn)行操作,細(xì)化后會(huì)得到結(jié)果如圖6(a)所示.從圖中可以看出細(xì)化后的結(jié)果中有很多直線,對(duì)定位到指針直線具有很大的干擾性.

將指針細(xì)化前需要先把儀表的指針圖像進(jìn)行二值化.本文采用的二值化方法是OpenCV2 庫(kù)中的自適應(yīng)閾值法(adaptive threshold)函數(shù),此函數(shù)并不是像固定閾值方法那樣,它是按照?qǐng)D像的不同部分亮度的情況來(lái)計(jì)算局部閾值,因此對(duì)于圖像的不同部分,計(jì)算出不同的閾值,相較固定閾值法效果更好.

本文采用的細(xì)化(骨架提取)方法是查表法,細(xì)化如“瘦身”,把圖中一些不必要的點(diǎn)去掉,比如一個(gè)圓,最終得到的結(jié)果就是一個(gè)圓心,這個(gè)圓心就是圓的骨架.具體思想就是基于八領(lǐng)域來(lái)判斷一個(gè)點(diǎn)是否去除,比如內(nèi)部點(diǎn)、直線端點(diǎn)等不可以.指針圖像和細(xì)化的結(jié)果如圖6(b)、圖6(c)所示.

圖6 細(xì)化結(jié)果

1.3.3 霍夫變換直線檢測(cè)

霍夫變換是一種常用圖像處理方法[20],本文采用霍夫變換檢測(cè)已經(jīng)經(jīng)過(guò)細(xì)化后的指針圖像中的指針中軸線.它采用投票算法,該方法可以得到所有你所需要檢測(cè)的特定形狀,并將結(jié)果組合成一個(gè)集合,其中用到的以x,y為坐標(biāo)的極坐標(biāo)系裝換為ρ,θ霍夫空間的公式如式(4).該方法可以進(jìn)行直線,橢圓等形狀的檢測(cè).檢測(cè)的結(jié)果如圖7所示,加粗黑色部分表示檢測(cè)到的直線.

圖7 霍夫變換直線檢測(cè)

1.3.4 最小二乘法擬合直線

根據(jù)霍夫變換檢測(cè)到的直線,利用得到的直線集合中所有直線的兩個(gè)坐標(biāo),再將這些坐標(biāo)點(diǎn)用最小二乘法去擬合出一條直線,即為指針中軸線的表達(dá)式.它通過(guò)最小化誤差的平方即殘差平方和公式如式(5)所示,來(lái)得到能夠擬合數(shù)據(jù)的最佳函數(shù).

1.3.5 儀表示數(shù)結(jié)果

根據(jù)1.3.1 節(jié)所述中的新坐標(biāo)系下的指針目標(biāo)框的位置坐標(biāo)為(zx1,zy1) 、(zx2,zy2)來(lái)判斷指針?biāo)谛伦鴺?biāo)系下的象限.具體判斷依據(jù)如下:

(1)第一象限:k＞0,zx2≥10;

(2)第二象限:k＜0,zx1≤-10;

(3)第三象限:k＞0,zx1≤-10;

(4)第四象限:k＜0,zx2≥10.

還有兩種情況:k=0和k不存在.若k=0,即指針中軸線與新坐標(biāo)系下的X 軸重合;若k不存在即指針中軸線與新坐標(biāo)系下的Y 軸重合.通過(guò)上述得到儀表指針中軸線所在直線的斜率,再根本上述判斷象限的方法可知指針位置所屬的象限,可以得到儀表指針中軸線所在直線與X 正軸或者負(fù)軸所成的角度angle.然后通過(guò)已知的指針式儀表的量程,即指針刻度的具體分布和兩條相鄰刻度線相交的角度,如本文實(shí)驗(yàn)中的儀表的刻度7和刻度12 之間的角度為90°,和刻度12 與圖4中轉(zhuǎn)換后的坐標(biāo)系下的X 軸正半軸重合等.具體示數(shù)value求解情況分為以下情況:

(1)第一象限:value=(angle/90)×13+33;

(2)第二象限:value=7-(angle/90)×13;

(3)第三象限:value=(angel/90)×13+7;

(4)第四象限:value=((90-angle)/90)×13+20.

通過(guò)上述計(jì)算即可得到儀表的示數(shù).

2 實(shí)驗(yàn)及結(jié)果分析

2.1 儀表圓盤(pán)檢測(cè)測(cè)試模塊

首先自制所需的儀表數(shù)據(jù)集,自制儀表目標(biāo)數(shù)據(jù)集共有225 張指針式儀表圖片,其中205 張圖像作為訓(xùn)練集,剩余的20 張作為測(cè)試集.訓(xùn)練集采用VOC 數(shù)據(jù)集格式,使用標(biāo)記軟件LabelImg4.1 進(jìn)行手工標(biāo)記.然后用網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集,測(cè)試數(shù)據(jù)集用于測(cè)試訓(xùn)練效果.測(cè)試結(jié)果如圖8所示.由測(cè)試結(jié)果可知,基于Faster R-CNN 模型的指針式儀表檢測(cè)模型能夠準(zhǔn)確地檢測(cè)出不同狀態(tài)下的儀表表盤(pán).

2.2 指針檢測(cè)測(cè)試模塊

和上述的儀表圓盤(pán)檢測(cè)一樣,所用到的數(shù)據(jù)集是一樣的,不同的是在使用標(biāo)記軟件LabelImg4.1 進(jìn)行手工標(biāo)記時(shí)在儀表圖像上標(biāo)記的指針區(qū)域,然后用網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集,這個(gè)的訓(xùn)練和上述儀表圓盤(pán)的訓(xùn)練是一起訓(xùn)練的,測(cè)試數(shù)據(jù)集用于測(cè)試訓(xùn)練效果.其中儀表圓盤(pán)與指針進(jìn)行目標(biāo)檢測(cè)的訓(xùn)練的損失函數(shù)loss的曲線如圖9所示,其中橫坐標(biāo)iterations 表示的是訓(xùn)練的輪數(shù),軸坐標(biāo)loss 表示的是訓(xùn)練時(shí)的loss 損失值,由圖中可以看出最終的loss 值趨近于0.

圖9 損失函數(shù)loss 曲線

對(duì)含有儀表的圖像進(jìn)行測(cè)試,得到測(cè)試結(jié)果如圖8所示,下面的圖為不同擺放角度下不同示數(shù)的儀表圖像.表2所示為隨機(jī)選取的20 張測(cè)試圖片的測(cè)試結(jié)果,其中每張測(cè)試圖片中有且僅有一個(gè)儀表表盤(pán),每個(gè)表盤(pán)中只有一個(gè)指針目標(biāo) 由測(cè)試結(jié)果可知,基于Faster R-CNN 模型的指針式儀表檢測(cè)模型能夠準(zhǔn)確地檢測(cè)出不同狀態(tài)下指針,具有良好的效果,具有很強(qiáng)的準(zhǔn)確性和魯棒性.

表2 指針目標(biāo)檢測(cè)模塊測(cè)試結(jié)果

圖8 目標(biāo)檢測(cè)結(jié)果圖

2.3 儀表讀數(shù)識(shí)別測(cè)試模塊

為了檢測(cè)算法的各方面性能,本文對(duì)采集的20 組儀表樣本進(jìn)行測(cè)試,測(cè)試的樣本由不同的角度拍攝的顯示不同示數(shù)的指針式儀表.表3所示為其中10 組樣本測(cè)試結(jié)果,測(cè)試數(shù)據(jù)集的平均準(zhǔn)確率高達(dá)為96.55%.

表3 儀表讀數(shù)識(shí)別測(cè)試結(jié)果

3 結(jié)論

本文提出了一種基于深度學(xué)習(xí)的指針式儀表的識(shí)別方法.針對(duì)刻度分布均勻的指針式儀表,本文所提出的指針式儀表的識(shí)別方法由儀表檢測(cè)、儀表指針檢測(cè)以及儀表讀數(shù)識(shí)別3 個(gè)部分組成.該方法通過(guò)獲得儀表圓盤(pán)目標(biāo)的包圍框,儀表指針目標(biāo)的包圍框、指針細(xì)化、霍夫變換檢測(cè)直線、最小二乘法確定指針中軸線表達(dá)式等步驟識(shí)別儀表最終讀數(shù).該方法先基于深度學(xué)習(xí)的方法檢測(cè)儀表表盤(pán)和指針目標(biāo),根據(jù)得到的指針目標(biāo)框的位置信息裁剪得到指針圖像,在指針圖像的基礎(chǔ)上再結(jié)合一些傳統(tǒng)圖像處理的方法提取指針直線,與直接在儀表表盤(pán)目標(biāo)框圖像或原始圖像上進(jìn)行傳統(tǒng)圖像處理相比很大程度上減少了定位指針中軸線所在直線過(guò)程中的干擾,該方法具有很好的魯棒性和實(shí)際應(yīng)用價(jià)值.測(cè)試實(shí)驗(yàn)結(jié)果表明,提出的方法對(duì)于指針式儀表檢測(cè)與識(shí)別具有良好的準(zhǔn)確性與穩(wěn)定性,能夠滿(mǎn)足一定的實(shí)際應(yīng)用.另外提高指針的中軸線位置的檢測(cè)精度,使得結(jié)果更精確,將是本文后續(xù)重點(diǎn)研究?jī)?nèi)容.