基于深度學(xué)習(xí)的配電柜指針儀表示值識(shí)讀研究

周燕菲，張運(yùn)楚，2，劉一銘，張欣毅

(1.山東建筑大學(xué) 信息與電氣工程學(xué)院，濟(jì)南 250101；2.山東省智能建筑技術(shù)重點(diǎn)實(shí)驗(yàn)室，濟(jì)南 250101)

0 引言

采用機(jī)器人代替人工進(jìn)行任務(wù)繁重、條件惡劣的巡檢工作，可以大幅提升巡檢效率、安全以及穩(wěn)定性。近年來(lái)，智能巡檢機(jī)器人正逐步取代人工完成供配電場(chǎng)所的常規(guī)巡檢工作，實(shí)現(xiàn)無(wú)人值守[1]。巡檢機(jī)器人攜帶可見(jiàn)光和紅外成像系統(tǒng)，對(duì)配電柜上安裝的儀表、指示燈及開關(guān)按鈕等設(shè)備的示值和狀態(tài)進(jìn)行判讀，繼而做出相應(yīng)決策。指針式儀表具有構(gòu)造簡(jiǎn)單、可靠性高等特點(diǎn)，被廣泛應(yīng)用于配電設(shè)備上。因此，實(shí)現(xiàn)指針式儀表的位置檢測(cè)和示值判讀，是巡檢機(jī)器人完成自主巡檢任務(wù)的關(guān)鍵。

指針儀表示值的自動(dòng)判讀主要包括表盤區(qū)域檢測(cè)和示值識(shí)別兩個(gè)階段。

現(xiàn)場(chǎng)巡檢機(jī)器人的相機(jī)視場(chǎng)中，除指針儀表外，還包括其他類型的儀表，如數(shù)顯儀表、指示燈等電力儀表。因此，需首先對(duì)指針儀表表盤區(qū)域進(jìn)行檢測(cè)定位。表盤區(qū)域檢測(cè)的方法有預(yù)先標(biāo)定、區(qū)域生長(zhǎng)算法[2]、神經(jīng)網(wǎng)絡(luò)[3]、特征點(diǎn)匹配[4]等。這類傳統(tǒng)計(jì)算機(jī)視覺(jué)方法雖然可以保證特定場(chǎng)景中表盤區(qū)域檢測(cè)速度較快，但需預(yù)先準(zhǔn)備大量模板，應(yīng)用場(chǎng)景的適用性較差。隨著深度學(xué)習(xí)和目標(biāo)檢測(cè)技術(shù)的不斷發(fā)展，學(xué)者們將當(dāng)前主流目標(biāo)檢測(cè)算法，如加速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster R-CNN)[5]、全卷積神經(jīng)網(wǎng)絡(luò)(FCN，fully convolutional networks)[6]、掩膜區(qū)域神經(jīng)網(wǎng)絡(luò)(Mask-RCNN)[7]、YOLOv4[8]等，用于儀表表盤區(qū)域檢測(cè)，檢測(cè)速度和精度都有所提升。但上述目標(biāo)檢測(cè)模型參數(shù)規(guī)模較大，現(xiàn)場(chǎng)部署時(shí)對(duì)硬件環(huán)境要求較高，不適合運(yùn)用在實(shí)際的工業(yè)現(xiàn)場(chǎng)。

指針儀表示值識(shí)別階段的關(guān)鍵在于準(zhǔn)確識(shí)別指針及表盤刻度。對(duì)于表盤信息清晰及刻度均勻的指針儀表，可以通過(guò)霍夫變換(Hough)[9]直接對(duì)表盤指針進(jìn)行檢測(cè)，并通過(guò)指針偏轉(zhuǎn)角度及刻度的相對(duì)位置進(jìn)行示值判讀。對(duì)于表盤信息模糊且刻度分布不均勻的指針儀表，直接利用霍夫變換檢測(cè)指針會(huì)產(chǎn)生很大的誤差，且無(wú)法準(zhǔn)確提取儀表的刻度位置及量程，進(jìn)而導(dǎo)致示值判讀失敗。采用U-Net語(yǔ)義分割算法[10]將指針和刻度區(qū)域從儀表盤中分割提取，降低了指針檢測(cè)誤差給儀表示值判讀帶來(lái)的影響，但該語(yǔ)義分割模型的網(wǎng)絡(luò)參數(shù)量較多，在一定程度上會(huì)降低算法的運(yùn)算速度。

針對(duì)配電柜上電力儀表類型多樣、表盤特征差異較大的特點(diǎn)，本文采用改進(jìn)的YOLOv5模型檢測(cè)儀表表盤區(qū)域，結(jié)合改進(jìn)的PSPNet語(yǔ)義分割模型提取指針及表盤刻度，完成指針式儀表示值的智能識(shí)讀。實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)刻度均勻和刻度不均勻的指針儀表示值判讀都具有較高的準(zhǔn)確度，示值識(shí)讀結(jié)果在誤差允許的范圍內(nèi)最大為6.5%，滿足實(shí)際工程應(yīng)用的需求。

本文的主要貢獻(xiàn)為：

1)提出結(jié)合YOLOv5和PSPNet模型的指針儀表示值識(shí)讀方法，并在自建數(shù)據(jù)集上分別使用YOLOv5s和改進(jìn)的YOLOv5s算法進(jìn)行表盤位置檢測(cè)的訓(xùn)練學(xué)習(xí)，同時(shí)采用改進(jìn)的PSPNet進(jìn)行表盤刻度及指針?lè)指钐崛〉挠?xùn)練學(xué)習(xí)，有效的提升了實(shí)際工程應(yīng)用中指針儀表示值判讀的準(zhǔn)確性和魯棒性。

2)對(duì)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，將YOLOv5s的主干網(wǎng)絡(luò)CSPDarknet和PSPNet的提取網(wǎng)絡(luò)ResNet分別替換為輕量化模型Mobilenetv3和Mobilenetv2，減少網(wǎng)絡(luò)參數(shù)量，有效提升實(shí)際應(yīng)用中儀表示值識(shí)讀的速度。

1 系統(tǒng)構(gòu)成及工作流程

1.1 系統(tǒng)構(gòu)成

本文以安裝在某醫(yī)院配電室的吊軌式智能巡檢機(jī)器人為研究背景，如圖1所示。巡檢機(jī)器人的硬件系統(tǒng)主要由水平導(dǎo)軌、垂直導(dǎo)軌、滑行輪組、升降纜繩、主控器、可見(jiàn)光攝像頭和紅外攝像頭等部件組成[11]，機(jī)器人可以在水平和垂直兩個(gè)方向運(yùn)行并采集儀表圖像。機(jī)器人的軟件系統(tǒng)主要由導(dǎo)航系統(tǒng)和儀表分析子系統(tǒng)兩個(gè)部分組成。導(dǎo)航子系統(tǒng)負(fù)責(zé)驅(qū)動(dòng)機(jī)器人到達(dá)相應(yīng)位置，通過(guò)掃描配電柜上的二維碼使得自動(dòng)變焦攝像頭采集對(duì)應(yīng)儀表的圖像；儀表分析子系統(tǒng)負(fù)責(zé)從采集到的儀表圖像中分析出各個(gè)儀表的狀態(tài)，并形成日志報(bào)告或告警。各系統(tǒng)之間相互配合，完成自動(dòng)巡檢任務(wù)。

圖1 吊軌式智能巡檢機(jī)器人

1.2 工作流程

指針儀表示值的自動(dòng)判讀，由數(shù)據(jù)集構(gòu)建、表盤區(qū)域檢測(cè)、指針和刻度區(qū)域分割以及儀表示值判讀等四個(gè)部分組成。機(jī)器人接收到巡檢任務(wù)時(shí)可快速調(diào)用識(shí)別算法，完成儀表示值判讀，并對(duì)異常情況作出警告，工作流程如圖2所示。

圖2 指針儀表識(shí)別工作流程

首先將巡檢機(jī)器人采集的指針儀表圖像，經(jīng)數(shù)據(jù)增強(qiáng)與標(biāo)注后構(gòu)建實(shí)驗(yàn)數(shù)據(jù)集；基于此數(shù)據(jù)集，使用YOLOv5模型和改進(jìn)后的YOLOv5模型分別進(jìn)行訓(xùn)練，檢測(cè)復(fù)雜背景下的指針儀表，同時(shí)根據(jù)位置信息將單個(gè)指針儀表從諸多電力設(shè)備中提取出來(lái)。其次，選取語(yǔ)義分割模型PSPNet對(duì)各個(gè)儀表的指針和刻度線進(jìn)行分割提取，并通過(guò)霍夫直線檢測(cè)方法得到指針相對(duì)于水平方向的偏轉(zhuǎn)角度；采用最小二乘法對(duì)所有刻度線中心點(diǎn)進(jìn)行圓擬合，進(jìn)而得到指針回轉(zhuǎn)中心。然后，通過(guò)輪廓查找進(jìn)行主刻度值的字符定位，將每個(gè)主刻度值的最小外接矩形中心與回轉(zhuǎn)中心的連線相對(duì)水平方向的偏轉(zhuǎn)角度，作為判斷指針偏轉(zhuǎn)角度的上下限范圍；同時(shí)利用 Google OCR工具 pytesseract進(jìn)行字符識(shí)別，得到主刻度對(duì)應(yīng)的具體數(shù)值。最后，將指針偏轉(zhuǎn)角度、上下相鄰主刻度數(shù)值和上下相鄰主刻度與回轉(zhuǎn)中心連線的偏轉(zhuǎn)角度，代入角度法公式得出指針儀表示值的對(duì)應(yīng)讀數(shù)。

2 算法模型

2.1 表盤檢測(cè)與定位

配電室環(huán)境復(fù)雜，儀表類型、數(shù)量眾多，若想完成指針儀表的示值識(shí)別，首先要對(duì)指針儀表進(jìn)行準(zhǔn)確檢測(cè)與定位。對(duì)于復(fù)雜環(huán)境下的儀表檢測(cè)，基于深度學(xué)習(xí)[12]的檢測(cè)算法效果優(yōu)異，同時(shí)考慮到工業(yè)現(xiàn)場(chǎng)的系統(tǒng)部署要求，本文選擇模型規(guī)模較小且具有較高精確度與檢測(cè)速度的YOLOv5模型。

YOLOv5算法推理速度更快，模型采用Pytorch框架，更適合工程部署。根據(jù)主干網(wǎng)絡(luò)Backbone的深度和寬度，YOLOv5共劃分為四個(gè)量級(jí)的模型，分別記為YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。模型參數(shù)依次增加，模型框架逐漸增大，目標(biāo)檢測(cè)能力逐漸提升。

針對(duì)配電柜各種電力儀表分布相對(duì)均勻的特點(diǎn)，規(guī)模較小的YOLOv5s模型對(duì)于檢測(cè)表盤區(qū)域便可達(dá)到較好的效果。YOLOv5s網(wǎng)絡(luò)由輸入端Input、主干網(wǎng)絡(luò)Backbone、Neck網(wǎng)絡(luò)、輸出端Prediction四部分組成，如圖3所示。YOLOv5s在輸入端采用Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖片調(diào)整等方法處理輸入圖像，起到豐富數(shù)據(jù)集、減少模型推理速度的作用。在主干網(wǎng)絡(luò)Backbone部分，YOLOv5s模型加入Focus模塊進(jìn)行下采樣，可以減少信息缺失；此外，YOLOv5s還在主干網(wǎng)絡(luò)設(shè)計(jì)了CSP1_X結(jié)構(gòu)，可以獲得更細(xì)致的特征信息，但也因此在一定程度上增加了模型參數(shù)。Neck網(wǎng)絡(luò)中通過(guò)采用CSP2_X結(jié)構(gòu)，增強(qiáng)網(wǎng)絡(luò)的特征融合能力，降低網(wǎng)絡(luò)訓(xùn)練過(guò)程的計(jì)算瓶頸及所占內(nèi)存空間；特征金字塔池化和路徑聚合網(wǎng)絡(luò)結(jié)構(gòu)則起到了有效傳遞語(yǔ)義信息及定位信息的作用[13]。輸出端Prediction中邊界錨框的損失函數(shù)選擇使用GIOU_Loss，同時(shí)針對(duì)多個(gè)目標(biāo)錨框的篩選采用加權(quán)NMS運(yùn)算操作，以提高對(duì)目標(biāo)識(shí)別的準(zhǔn)確度。

圖3 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

為使部署模型更簡(jiǎn)潔，減少模型的計(jì)算量，加快推理時(shí)間，本文對(duì)YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)。將YOLOv5s的主干網(wǎng)絡(luò)CSPDarknet替換為Mobilenetv3，來(lái)進(jìn)行特征提取。Mobilenetv3是一種輕量級(jí)網(wǎng)絡(luò)[14]，深度可分離卷積、殘差結(jié)構(gòu)、注意力機(jī)制及激活函數(shù)H-Swish的引入，在提高提取特征能力的同時(shí)，減少了網(wǎng)絡(luò)參數(shù)量，大幅度降低了對(duì)算力的需求，提升了算法性能。改進(jìn)后的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 改進(jìn)的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

本文在自建數(shù)據(jù)集上對(duì)改進(jìn)的YOLOv5s模型進(jìn)行訓(xùn)練，然后將巡檢機(jī)器人采集的圖像輸入該模型，得到各儀表表盤區(qū)域的邊界框和置信度信息，進(jìn)而可以裁剪出單張各類指針儀表圖像。

2.2 表盤刻度與指針提取

指針儀表示值判讀的關(guān)鍵，需要得到目標(biāo)儀表的指針及刻度線區(qū)域。由于指針儀表的指針和刻度線尺寸較小，且包括無(wú)關(guān)字符及表盤邊緣陰影在內(nèi)的干擾信息過(guò)多，直接采用霍夫變換檢測(cè)指針或使用最小二乘法擬合刻度線，會(huì)產(chǎn)生數(shù)值判讀誤差。為此，本文采用改進(jìn)后的輕量PSPNet語(yǔ)義分割模型對(duì)帶有干擾信息場(chǎng)景下的小目標(biāo)進(jìn)行分割及提取。

PSPNet模型[15]采用殘差網(wǎng)絡(luò)ResNet[16]作為主干網(wǎng)絡(luò)提取特征，并使用PPM(pyramid pooling module，金字塔池化模塊)獲取圖片不同尺度、不同位置的信息，一定程度上提升了算法精度，但經(jīng)過(guò)深度預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)會(huì)增加網(wǎng)絡(luò)的總體參數(shù)量。本文將特征提取網(wǎng)絡(luò)替換為與ResNet結(jié)構(gòu)相似的輕量化模型MobileNetv2，大幅度降低網(wǎng)絡(luò)參數(shù)量。MobileNetv2利用反向殘差結(jié)構(gòu)既可以提取到圖像足夠多的信息[17]，又能夠提升整體的計(jì)算速度，使得模型在保持輕量級(jí)時(shí)速度與精度也能得到保證。

PSPNet使用輕量化模型MobileNetv2作為主干網(wǎng)絡(luò)，提取輸入圖像Input Image的特征圖Feature Map。然后，對(duì)特征圖Feature Map使用池化核不同的4個(gè)層級(jí)的PPM模塊來(lái)收集語(yǔ)境信息，并將結(jié)果融合為全局特征，與原始特征圖進(jìn)行連接。最后，通過(guò)卷積層、dropout層和上采樣層，生成最終的預(yù)測(cè)圖Final Prediction。改進(jìn)后的PSPNet模型網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)PSPNet的網(wǎng)絡(luò)結(jié)構(gòu)

經(jīng)上述PSPNet模型進(jìn)行特征分割和提取后，一張單儀表圖像只保留儀表的刻度線區(qū)域及指針，如圖6(a)、6(b)所示，此時(shí)指針檢測(cè)及刻度線擬合不受表盤其他無(wú)關(guān)信息的干擾。

圖6 儀表指針與刻度線分割、檢測(cè)及擬合結(jié)果

對(duì)提取結(jié)果進(jìn)行二值化處理，如圖6(c)所示，得到指針及刻度線的二值化圖像。然后對(duì)二值化圖像進(jìn)行霍夫變換直線檢測(cè)，找到最長(zhǎng)直線，即為指針對(duì)應(yīng)的位置，同時(shí)得到指針相對(duì)水平負(fù)方向的偏轉(zhuǎn)角度，如圖6(d)所示。

為實(shí)現(xiàn)指針儀表示值的準(zhǔn)確讀數(shù)，需要找到指針?biāo)诘幕剞D(zhuǎn)中心。由于每條刻度線中心點(diǎn)所組成的點(diǎn)集，近似分布在一條圓弧上，因此可采用最小二乘法圓擬合，得到擬合圓的圓心，即為指針的回轉(zhuǎn)中心。本文首先利用輪廓查找法，得到每條刻度線的最小外接矩形及其中心點(diǎn)坐標(biāo)；然后，對(duì)每條刻度線的中心點(diǎn)所組成的點(diǎn)集利用最小二乘法進(jìn)行圓擬合，得到指針的回轉(zhuǎn)中心坐標(biāo)，如圖6(d)所示。

最小二乘法是通過(guò)最小化偏差的平方和來(lái)確定一組數(shù)據(jù)的最佳函數(shù)匹配[18]，圓擬合的原理如下。假設(shè)已知圓方程：

R2=(x-A)2+(y-B)2

(1)

式(1)可以寫為：

R2=x2+A2+y2+B2-2Ax-2By

(2)

將式(2)改寫成右邊為0的等式，可以轉(zhuǎn)換得到：

(3)

其中：(x，y)為圓上某一點(diǎn)的坐標(biāo)值，(A，B)為圓心的坐標(biāo)，R為圓的半徑。由此，求出式(3)二元二次方程的3個(gè)參數(shù)的值a，b，c，就能確定的值A(chǔ)，B，R，從而計(jì)算出擬合圓的半徑，并給出圓心坐標(biāo)。

本文中，每條刻度線的中心點(diǎn)所組成的樣本點(diǎn)(Xi，Yi)到圓心的距離：

(4)

為得到精確的擬合圓實(shí)際參數(shù)，用樣本點(diǎn)到圓心的距離平方與半徑平方作差，即：

δi=di2-R2= (Xi-A)2+ (Yi-B)2-R2

(5)

進(jìn)而得到：

δi=Xi2+Yi2+aXi+bYi+c

(6)

令F(a，b，c)為δi的平方和，可得到：

F(a，b，c)= ∑δi2= ∑(Xi2+Yi2+aXi+bYi+c)2

(7)

F(a，b，c)分別對(duì)a，b，c求偏導(dǎo)，令偏導(dǎo)為0，得到極值點(diǎn)，比較所有極值點(diǎn)的函數(shù)值即可得到所求參數(shù)a，b，c的極小值。各參數(shù)的偏導(dǎo)公式為：

(8)

通過(guò)求解上式可得到參數(shù)值a，b，c，進(jìn)而求得A，B，R的值，最終可以得到所有刻度線中心點(diǎn)所在擬合圓的圓心坐標(biāo)，即指針回轉(zhuǎn)中心。

2.3 指針儀表刻度數(shù)值識(shí)別

由于部分儀表的刻度分布不均勻，若直接將檢測(cè)到的指針偏轉(zhuǎn)角度，作為實(shí)際指針相對(duì)表盤中0刻度的偏轉(zhuǎn)角，會(huì)導(dǎo)致最終讀數(shù)存在較大誤差，因此需要準(zhǔn)確判斷任意情況下指針?biāo)诘纳舷轮骺潭染€的范圍及對(duì)應(yīng)的主刻度值，以及每條主刻度線和回轉(zhuǎn)中心的連線相對(duì)于水平方向的夾角。

本文通過(guò)輪廓查找法，得到每個(gè)主刻度值的最小外接矩形，利用Google OCR工具pytesseract對(duì)矩形內(nèi)的每個(gè)字符進(jìn)行識(shí)別，儀表刻度值定位識(shí)別結(jié)果如圖7(a)所示。

圖7 儀表刻度值定位識(shí)別結(jié)果

將上述輪廓查找法得到的每個(gè)矩形中心點(diǎn)的位置坐標(biāo)，按照橫坐標(biāo)依次從左至右的順序傳入數(shù)組，并依次求出各個(gè)矩形中心點(diǎn)與回轉(zhuǎn)中心連線相對(duì)于水平方向的夾角θTi。根據(jù)指針儀表中主刻度線必然對(duì)應(yīng)一個(gè)刻度數(shù)值的特點(diǎn)，將每個(gè)主刻度值外接矩形的中心與指針回轉(zhuǎn)中心的連接直線與水平方向的夾角，代替主刻度線相對(duì)于回轉(zhuǎn)中心的偏轉(zhuǎn)角度值，作為判斷指針落在每對(duì)相鄰刻度值的上下限范圍，如圖7(b)所示。

2.4 指針儀表示值判讀

本文利用角度法公式計(jì)算指針儀表示值讀數(shù)。角度法可以保證示值判讀的準(zhǔn)確性，指針偏轉(zhuǎn)角度、主刻度值與回轉(zhuǎn)中心連線的相對(duì)斜率都是相對(duì)水平方向的相對(duì)角度，不會(huì)因?yàn)楸肀P傾斜造成判讀錯(cuò)誤，因此本文無(wú)需對(duì)表盤進(jìn)行透視變換矯正。

以儀表圖像的左上角為原點(diǎn)，水平方向?yàn)閤軸，垂直方向?yàn)閥軸，建立直角坐標(biāo)系。儀表示值讀數(shù)示意圖如圖8所示。根據(jù)霍夫變換檢測(cè)得到的指針?biāo)谥本€相對(duì)水平負(fù)方向的偏轉(zhuǎn)角度值θ，判斷其對(duì)應(yīng)的相鄰主刻度線相對(duì)水平負(fù)方向的偏轉(zhuǎn)角θTi、θTi+1，進(jìn)而得到其對(duì)應(yīng)得相鄰主刻度值Ti、Ti+1，據(jù)此代入公式(9)，得到最終指針儀表示數(shù)。

圖8 儀表示值讀數(shù)示意圖

(9)

其中：Ti、Ti+1分別代表指針左鄰、右鄰刻度線的值，θTi、θTi+1分別代表左鄰、右鄰刻度線與回轉(zhuǎn)中心連線相對(duì)于水平負(fù)方向的偏轉(zhuǎn)角度值，θ代表指針相對(duì)于水平負(fù)方向的偏轉(zhuǎn)角度值，T為最終實(shí)數(shù)。通過(guò)求解上式可得到指針儀表的讀數(shù)。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集構(gòu)建

根據(jù)某醫(yī)院配電室現(xiàn)場(chǎng)場(chǎng)景的特點(diǎn)，巡檢機(jī)器人拍攝的指針儀表圖像有時(shí)會(huì)受到光照等環(huán)境因素的干擾，致使圖像出現(xiàn)亮度不同或反光嚴(yán)重等情況。因此，對(duì)實(shí)際采集的指針儀表圖像需要進(jìn)行預(yù)處理，提高原始指針儀表圖像的質(zhì)量。

由于深度學(xué)習(xí)模型需要大量樣本數(shù)據(jù)，而配電室中實(shí)際可以采集到的指針儀表圖像數(shù)據(jù)有限。因此，本文借助opencv和numpy數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)增強(qiáng)，實(shí)現(xiàn)指針儀表圖像數(shù)據(jù)量級(jí)上的有效提升。基于亮度變化、對(duì)比度增強(qiáng)、高斯噪聲三種數(shù)據(jù)增強(qiáng)算法，對(duì)采集到的配電柜指針儀表圖像進(jìn)行數(shù)據(jù)增強(qiáng)，并構(gòu)建得到配電柜指針儀表檢測(cè)識(shí)別數(shù)據(jù)集，用于目標(biāo)檢測(cè)模型YOLOv5的訓(xùn)練和學(xué)習(xí)。

在表盤區(qū)域檢測(cè)階段，本文利用LabelImg標(biāo)注工具對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注。根據(jù)儀表的類型不同，標(biāo)注為“cos_instrument”、“pointer_instrument”和“pointer_instrument A”三種類別，并以YOLO格式保存TXT格式文件。從配電室現(xiàn)場(chǎng)獲取的原始數(shù)據(jù)集共有1 432張圖像，采用數(shù)據(jù)增強(qiáng)方式對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充后的最終數(shù)據(jù)達(dá)到4 296張圖像。

在表盤指針及刻度線提取階段，本文利用Labelme標(biāo)注工具對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，將指針和刻度線分別標(biāo)注為“dial”和“pointer”，并以VOC格式保存XML文件。將上述數(shù)據(jù)集經(jīng)過(guò)訓(xùn)練好的YOLOv5s模型進(jìn)行檢測(cè)后，裁剪保存檢測(cè)到的單個(gè)儀表圖片，作為PSPNet模型訓(xùn)練的數(shù)據(jù)集圖片。

3.2 模型訓(xùn)練

本實(shí)驗(yàn)攝像設(shè)備為巡檢機(jī)器人自帶的高清攝像頭，實(shí)驗(yàn)硬件為PC，操作系統(tǒng)是Windows10 64位系統(tǒng)，PC處理器型號(hào)為Intel(R)Core(TM)i7-7700，顯卡型號(hào)為NVIDIA GTX 1050Ti，深度學(xué)習(xí)框架Pytorch，編程語(yǔ)言為Python，GPU加速庫(kù)為CUDA10.0和CUDNN7.6.0。

在模型訓(xùn)練之前需要設(shè)置模型的相關(guān)參數(shù)。本文中YOLOv5s模型超參數(shù)選取SGD隨機(jī)梯度下降和學(xué)習(xí)速率衰減策略訓(xùn)練網(wǎng)絡(luò)，初始學(xué)習(xí)率(learning rate)為0.01，批處理大小(batch size)為8，迭代輪數(shù)(epochs)為150，輸入圖像分辨率為640×640，學(xué)習(xí)率動(dòng)量因子(SGD momentum)為0.937。將數(shù)據(jù)集按照8：1：1的比例劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集，分別為3 436、430、430張，由于每張圖片包含標(biāo)簽數(shù)不同，統(tǒng)計(jì)數(shù)據(jù)集中各類型標(biāo)簽數(shù)量如表1所示。

表1 樣本類型與數(shù)量

為保證網(wǎng)絡(luò)訓(xùn)練的特征提取效果明顯，語(yǔ)義分割PSPNet模型訓(xùn)練時(shí)采用學(xué)習(xí)率機(jī)制，從主干網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重開始訓(xùn)練，訓(xùn)練過(guò)程凍結(jié)主干加快訓(xùn)練速度。本實(shí)驗(yàn)PSPNet模型的主干網(wǎng)絡(luò)選擇Mobilenetv2，凍結(jié)階段的初始輪數(shù)(Init_Epoch)為0，迭代輪數(shù)(Freeze_Epoch)為50，批處理大小(Freeze_batch_size)為4；解凍階段的迭代輪數(shù)(UnFreeze_Epoch)為300，批處理大小(UnFreeze_batch_size)為4。模型初始學(xué)習(xí)率(Init_lr)設(shè)置為0.001，優(yōu)化器使用Adam，學(xué)習(xí)率衰減方式為余弦退火(Cosine Annealing LR)。

3.3 結(jié)果分析

3.3.1 表盤區(qū)域檢測(cè)結(jié)果分析

1.對(duì)于應(yīng)對(duì)武裝襲擊的恐怖方式，首先加強(qiáng)自身武裝安保力量構(gòu)建，比如依靠當(dāng)?shù)剀娋凸驼?qǐng)武裝安保人員，同時(shí)提前選好撤離路線，確保企業(yè)人員安全。2.對(duì)于應(yīng)對(duì)炸彈襲擊的恐怖方式，其中尤其是汽車炸彈的襲擊，一定要做好路障和鐵絲網(wǎng)；對(duì)于地面炸彈和發(fā)射型炮彈，應(yīng)盡量避免外出和購(gòu)置防爆服，減少人員傷亡。3.對(duì)于暗殺（槍殺）和綁架的恐怖方式，一般采取這樣的襲擊方式是為了謀財(cái)，因此一定要加強(qiáng)領(lǐng)導(dǎo)、財(cái)務(wù)人員和物資購(gòu)置人員的安全，尤其是在有大量現(xiàn)金流動(dòng)時(shí)，一定要格外注意。這些人員外出時(shí)一定要隨身配備安保人員，并且隨時(shí)與企業(yè)匯報(bào)自身情況，避免發(fā)生綁架和暗殺。

本研究使用mAP(mean average precision)與FPS(frames per second)作為目標(biāo)檢測(cè)模型的評(píng)價(jià)指標(biāo)。

1)mAP：

精準(zhǔn)率P代表被正確識(shí)別的儀表占數(shù)據(jù)集所有被識(shí)別儀表的比例，召回率R代表被正確識(shí)別儀表占所有儀表的比例，計(jì)算公式如下：

(10)

(11)

其中：TPD表示正確識(shí)別表盤區(qū)域的數(shù)量；FPD表示錯(cuò)誤識(shí)別的表盤區(qū)域的數(shù)量；FND表示漏識(shí)別的表盤區(qū)域的數(shù)量。根據(jù)公式(10)和(11)可以繪制出P-R(precision-recall)曲線，對(duì)P-R曲線的Precision值作均值處理，可計(jì)算得單類別的平均精準(zhǔn)度AP(average precision)。mAP是各個(gè)分類準(zhǔn)確率AP的平均值[19]，mAP的有關(guān)計(jì)算公式如下：

(12)

(13)

其中：p為精準(zhǔn)率，r為召回率，n為類別數(shù)。

2)FPS：

FPS是目標(biāo)檢測(cè)模型中描述圖片處理速度的評(píng)價(jià)指標(biāo)，即每秒內(nèi)可以處理或檢測(cè)的圖片數(shù)量。FPS越大，代表模型處理圖片速度越快，可以滿足工程實(shí)時(shí)性要求。

表2 不同檢測(cè)模型對(duì)比結(jié)果

從表2可以看出，YOLOv5模型和本文改進(jìn)算法檢測(cè)效果相當(dāng)，但本文改進(jìn)算法的FPS數(shù)值更大，可以在相同時(shí)間內(nèi)處理更多的圖片，即算法運(yùn)算速度得到提升。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的YOLOv5s算法模型規(guī)模小，檢測(cè)速度較高，1秒可以處理100張圖片；評(píng)價(jià)指標(biāo)mAP數(shù)值較高，可達(dá)99.3%，適合進(jìn)行指針儀表得表盤區(qū)域檢測(cè)與定位。改進(jìn)YOLOv5s算法檢測(cè)表盤區(qū)域結(jié)果如圖9所示。

圖9 采用改進(jìn)的YOLOv5對(duì)表盤區(qū)域檢測(cè)結(jié)果

3.3.2 表盤指針和刻度分割結(jié)果分析

本研究使用MIoU(mean intersection over union)作為語(yǔ)義分割模型的評(píng)價(jià)指標(biāo)。

MIoU又稱平均交并比，是圖像分割任務(wù)中像素的準(zhǔn)確率高低的評(píng)價(jià)標(biāo)準(zhǔn)，其數(shù)值是衡量圖像分割精度的重要指標(biāo)。IoU (intersection over union，交并比)是某個(gè)類別預(yù)測(cè)結(jié)果與真實(shí)目標(biāo)之間交集與并集之間的比值[20]。MIoU是模型將每一類別的IoU求和再平均的結(jié)果。IoU和MIoU計(jì)算公式如下所示：

(14)

(15)

其中：TPS表示預(yù)測(cè)和實(shí)際分割結(jié)果都正確的數(shù)量；FPS表示預(yù)測(cè)錯(cuò)誤而實(shí)際分割結(jié)果為正確的數(shù)量；FNS表示預(yù)測(cè)和實(shí)際分割結(jié)果都錯(cuò)誤的數(shù)量。

針對(duì)上述模型評(píng)價(jià)指標(biāo)，本文以相同的實(shí)驗(yàn)數(shù)據(jù)集分別使用U-Net和改進(jìn)的PSPNet算法模型進(jìn)行訓(xùn)練，在相同情況下進(jìn)行訓(xùn)練識(shí)別對(duì)比。各模型的訓(xùn)練結(jié)果如表3所示。

從表3可以看出，U-Net和改進(jìn)的PSPNet模型的分割效果相差無(wú)幾，但改進(jìn)的PSPNet模型大小是U-Net的1/10倍。相較之下，改進(jìn)的PSPNet模型更適合部署在實(shí)際應(yīng)用場(chǎng)景中，可以保證算法的運(yùn)算速度，適合進(jìn)行儀表刻度線及指針的分割與提取。利用改進(jìn)的PSPNet模型對(duì)刻度均勻與刻度不均勻的指針儀表實(shí)現(xiàn)分割刻度線與指針的結(jié)果如圖10所示。

3.3.3 儀表示值識(shí)讀結(jié)果分析

本文選取儀表類型不同、指針偏轉(zhuǎn)角度不同以及量程不同的的10張儀表圖像，按照每個(gè)訓(xùn)練好的模型進(jìn)行測(cè)試。將每個(gè)儀表的指針偏轉(zhuǎn)角度值、指針回轉(zhuǎn)中心坐標(biāo)以及每個(gè)主刻度位置相對(duì)回轉(zhuǎn)中心的斜率依次傳入數(shù)組，最后利用公式法計(jì)算得出每個(gè)儀表示值的讀數(shù)，判讀結(jié)果如表4所示。

表4 十張指針儀表圖像示值識(shí)別測(cè)試結(jié)果

實(shí)驗(yàn)結(jié)果表明，本文方法對(duì)于刻度均勻和刻度不均勻的儀表示值判讀都具有較高的準(zhǔn)確度，在誤差允許的范圍(-10 A～10 A)內(nèi)測(cè)試誤差最大為6.5%，滿足實(shí)際應(yīng)用的需求，在配電室環(huán)境下的指針儀表檢測(cè)與識(shí)別具有較高的準(zhǔn)確度。

4 結(jié)束語(yǔ)

本文提出了一種應(yīng)用于配電室環(huán)境的指針式儀表示值判讀方法，使用改進(jìn)的YOLOv5s算法對(duì)表盤區(qū)域檢測(cè)定位，結(jié)合改進(jìn)的PSPNet語(yǔ)義分割模型提取表盤的關(guān)鍵特征，完成指針儀表示值的判讀。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，本文算法可以快速地從復(fù)雜背景中檢測(cè)指針儀表的位置并準(zhǔn)確提取，檢測(cè)精度可達(dá)99.3%，平均檢測(cè)速度為100幀/秒；在誤差允許范圍內(nèi)，指針儀表示值識(shí)讀的相對(duì)誤差最大為6.5%，滿足實(shí)際應(yīng)用的需求。本文算法能對(duì)刻度均勻和刻度不均勻的指針式儀表實(shí)現(xiàn)檢測(cè)與示值識(shí)別，通過(guò)模型改進(jìn)，提升了檢測(cè)和識(shí)別的速度，使算法具有較高的準(zhǔn)確度。但對(duì)于鏡面反光嚴(yán)重的指針儀表，仍存在無(wú)法準(zhǔn)確提取表盤關(guān)鍵特征的問(wèn)題，今后會(huì)考慮對(duì)算法進(jìn)行改進(jìn)，提升因光照強(qiáng)度變化引起鏡面反光的指針儀表智能數(shù)值判讀的準(zhǔn)確度。