基于YOLOv5和U-net的指針式儀表讀數(shù)識(shí)別方法

金愛萍，袁 亮，周德勤，楊奎剛

(1.新疆大學(xué)機(jī)械工程學(xué)院，新疆烏魯木齊 830017；2.北京化工大學(xué)信息科學(xué)與技術(shù)學(xué)院，北京 100029；3.北京煜邦電力技術(shù)股份有限公司，北京 100029)

0 引言

指針式儀表因顯示數(shù)據(jù)穩(wěn)定、結(jié)構(gòu)簡單、抗干擾性能強(qiáng)等優(yōu)點(diǎn)，被大量應(yīng)用于石化、電網(wǎng)等行業(yè)。以電力系統(tǒng)中變電站為例，站內(nèi)安裝了大量指針式儀表，監(jiān)測設(shè)備運(yùn)行狀態(tài)。目前，對變電站指針式儀表的讀數(shù)工作，常通過工作人員定時(shí)、定點(diǎn)完成，大量地巡檢容易因眼疲勞等導(dǎo)致儀表示數(shù)誤讀的問題。因此，對于獲取的大量儀表圖像，研究一種針對指針式儀表自動(dòng)檢測和讀數(shù)識(shí)別方法具有重要意義。

目前，在儀表讀數(shù)識(shí)別研究中，學(xué)者從不同角度提出了解決方案。許麗等[1]提出了一種基于迭代最大類間方差算法提取指針區(qū)域，采用基于Hough變換識(shí)別指針角度，但受室外環(huán)境等的影響增加了識(shí)別難度。胡彬等[2]提取模板圖像與待識(shí)別圖像間的KAZE特征，并進(jìn)行特征匹配得到儀表位置，再利用概率Hough變換擬合直線得出最終的讀數(shù)。沈云青等[3]采用模板匹配法對儀表區(qū)域大致定位并裁剪，但該方法需要預(yù)先準(zhǔn)備大量模板圖像，且魯棒性不高。房樺等[4]利用尺度不變特征變換(SIFT)算法提取儀表表盤，為排除噪音干擾，利用快速Hough變換檢測指針?biāo)谥本€，完成指針定位，最后計(jì)算讀數(shù)，但在復(fù)雜環(huán)境中需計(jì)算大量匹配點(diǎn)，計(jì)算耗時(shí)長。鞏方超等[5]針對目標(biāo)儀表檢測精度問題，采用加速穩(wěn)健特征(SURF)匹配算法對儀表進(jìn)行匹配檢測，但對高分辨率圖像匹配檢測時(shí)配準(zhǔn)定位耗時(shí)較長。李俊等[6]根據(jù)指針幾何特性，應(yīng)用閾值分割實(shí)現(xiàn)指針提取，但由于字符等因素的存在干擾了指針的提取，降低了讀數(shù)精度。王延華等[7]利用減影法對指針提取，并結(jié)合Hough變換求取指針偏轉(zhuǎn)角，根據(jù)角度與刻度的變換關(guān)系獲得儀表讀數(shù)，但讀數(shù)的精度受兩次指針的角度差的影響。胡秀軍等[8]通過連通域處理得到指針輪廓，并提取指針骨架后，采用累積概率霍夫變換檢測指針直線，從而獲取指針偏轉(zhuǎn)角以完成儀表讀數(shù)。邢浩強(qiáng)等[9]提出利用卷積神經(jīng)網(wǎng)絡(luò)檢測儀表，采用Hough變換檢測直線，在一定程度上提高了檢測的準(zhǔn)確性。

從這些研究工作可以看出，目前關(guān)于指針式儀表的研究在表盤識(shí)別方面多數(shù)是通過Hough變換、模板匹配、特征點(diǎn)匹配等方法檢測儀表圖像中儀表，但受現(xiàn)實(shí)中復(fù)雜背景等因素的影響，會(huì)存在檢測速度慢的問題。在儀表讀數(shù)方面，采用傳統(tǒng)Hough直線變換檢測指針，但表盤中存在字符等的干擾，這使檢測的直線與指針中心線存在偏差，讀數(shù)不夠準(zhǔn)確。

為了解決上述問題，確保準(zhǔn)確識(shí)別儀表示數(shù)，提出了一種指針式儀表自動(dòng)讀數(shù)識(shí)別方法。對于輸入的指針式儀表圖像，首先，采用YOLOv5檢測儀表圖像中的表盤所在區(qū)域并提取，以排除圖中其他干擾物的影響，隨后采用Hough梯度圓檢測算法對圓形儀表盤檢測，以提取出純儀表盤；其次，使用U-net網(wǎng)絡(luò)分割出指針輪廓，排除表盤中字符等的干擾，再通過利用Zhang-Suen細(xì)化算法對指針輪廓進(jìn)行細(xì)化、加權(quán)最小二乘法擬合指針?biāo)谥本€、確定指針方向和角度步驟獲取指針的關(guān)鍵信息；最后，根據(jù)指針轉(zhuǎn)角和儀表量程范圍，基于定位坐標(biāo)系計(jì)算出儀表最終讀數(shù)。

1 YOLOv5檢測儀表

1.1 目標(biāo)檢測網(wǎng)絡(luò)YOLOv5s概述

YOLOv5目標(biāo)檢測是在YOLOv3[10]基礎(chǔ)上改進(jìn)，共提出了4個(gè)版本，依次是YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。它們的網(wǎng)絡(luò)結(jié)構(gòu)相似，只是網(wǎng)絡(luò)深度和特征圖寬度在YOLOv5s的基礎(chǔ)上依次增加。因此，文中以YOLOv5s網(wǎng)絡(luò)為主，研究YOLOv5目標(biāo)檢測算法。YOLOv5s網(wǎng)絡(luò)模型由輸入端、主干網(wǎng)絡(luò)、頸部、輸出層組成。輸入端進(jìn)行Mosaic增強(qiáng)來降低模型的內(nèi)存占用率。主干網(wǎng)絡(luò)采用了Focus和CSP結(jié)構(gòu)，其中Focus結(jié)構(gòu)進(jìn)行下采樣，能夠有效減少下采樣帶來的信息損失，同時(shí)減少計(jì)算量，而CSP結(jié)構(gòu)則是借鑒CSPnet[11]，以加強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力，減少內(nèi)存消耗，獲取更豐富的特征圖。頸部借鑒PANet[12]的思路，采用FPN和PAN增強(qiáng)不同層的特征融合，使模型能夠得到期望的特征信息。輸出層返回目標(biāo)的分類和邊界框。

1.2 模型訓(xùn)練與測試

為訓(xùn)練模型，在不同背景、距離等條件下拍攝1 000張指針式壓力表圖像,建立數(shù)據(jù)集，每張圖像分辨率為600×800，并按9∶1隨機(jī)取900張為訓(xùn)練集和100張為驗(yàn)證集。完成YOLOv5網(wǎng)絡(luò)模型的訓(xùn)練。

使用訓(xùn)練集對網(wǎng)絡(luò)模型進(jìn)行500次的迭代，整個(gè)網(wǎng)絡(luò)模型訓(xùn)練總時(shí)長為12 h。訓(xùn)練時(shí)，損失值逐漸下降，損失值在0～10個(gè)迭代快速下降，隨后下降逐漸平穩(wěn)，損失曲線如圖1所示。訓(xùn)練結(jié)束時(shí)，損失值穩(wěn)定在0.008。

圖1 損失曲線

訓(xùn)練結(jié)束后，在不同距離、背景等條件下新拍攝100張指針式壓力表圖像作為測試集，其中儀表為量程100，精度等級為1.6的指針式壓力表。將測試集中的儀表圖像輸入到網(wǎng)絡(luò)模型進(jìn)行檢測測試，并根據(jù)邊界框返回的信息提取出儀表區(qū)域。部分檢測與提取結(jié)果如圖2、圖3所示。

(a)置信度0.99 (b)置信度1.00圖2 YOLOv5儀表檢測結(jié)果

(a)圖2(a)提取結(jié)果(b)圖2(b)提取結(jié)果圖3 儀表區(qū)域提取結(jié)果

從結(jié)果可看出，YOLOv5能以高置信度檢測出儀表圖像中的儀表區(qū)域，并準(zhǔn)確提取，這說明訓(xùn)練的網(wǎng)絡(luò)對檢測儀表區(qū)域有效。

2 指針式儀表的讀數(shù)識(shí)別

2.1 儀表盤提取

為提升識(shí)別儀表示數(shù)的準(zhǔn)確性，需獲取純儀表盤區(qū)域，于是本文采用Hough梯度圓檢測算法對圖4(a)完成表盤的檢測。其思路是先通過每點(diǎn)的模向量去查找圓心，然后根據(jù)所有候選中心的邊緣非零像素對圓的支持程度確定半徑，最后對儀表盤進(jìn)行提取。Hough梯度圓檢測與純儀表盤提取結(jié)果分別如圖4(b)、圖4(c)所示?？梢姲咨珗A圈與儀表盤的邊緣契合度較高，能較準(zhǔn)確地提取出儀表盤。

(a)原圖 (b)儀表檢測區(qū)域(c)純儀表盤圖4 儀表盤提取

2.2 指針分割及細(xì)化

2.2.1 圖像分割網(wǎng)絡(luò)U-net概述

U-net網(wǎng)絡(luò)在ISBI Cell Tracking Challenge 2015[13]上提出，廣泛應(yīng)用于醫(yī)學(xué)圖像分割并取得了不錯(cuò)的分割效果。U-net網(wǎng)絡(luò)采用編碼-解碼的結(jié)構(gòu)。首先，U-net的淺層網(wǎng)絡(luò)進(jìn)行4次下采樣以提取特征，深層網(wǎng)絡(luò)再進(jìn)行4次上采樣還原解碼至初始尺寸，同時(shí)，采用跨層拼接的方式，把對應(yīng)且通道相同的淺層網(wǎng)絡(luò)提取的特征與深層網(wǎng)絡(luò)的語義信息融合，使U-net網(wǎng)絡(luò)的像素定位更準(zhǔn)確，分割精度更高，從而實(shí)現(xiàn)分割。

2.2.2 指針分割及細(xì)化

通過儀表盤提取去除了儀表盤外的干擾，但儀表盤中存在的字符等會(huì)使提取的指針輪廓不準(zhǔn)確，從而導(dǎo)致最后儀表示數(shù)讀取不精確。采用U-net網(wǎng)絡(luò)來分割指針區(qū)域的指針像素以獲得精確的指針輪廓。采用前述訓(xùn)練集訓(xùn)練U-net網(wǎng)絡(luò)，當(dāng)損失值不再降低時(shí)結(jié)束訓(xùn)練。隨后對U-net分割指針進(jìn)行測試，結(jié)果如圖5所示。由圖5可見，分割的指針輪廓與實(shí)際位置基本重合，表明訓(xùn)練的U-net網(wǎng)絡(luò)可將指針從所在儀表盤中準(zhǔn)確分割出來。

(a)指針分割效果

(b)指針實(shí)際位置圖5 U-net分割指針效果對比

為了進(jìn)一步確定指針的斜率，需要對指針進(jìn)行細(xì)化，進(jìn)而得到準(zhǔn)確的指針中心線。本文利用Zhang-Suen細(xì)化算法[14]細(xì)化指針，其基本思路是遍歷圖像的邊緣，并根據(jù)該邊緣點(diǎn)的8連通域情況，以確定是否可以刪除該邊緣點(diǎn)。根據(jù)細(xì)化判據(jù)，連續(xù)地遍歷邊緣確定是否刪除，直到每個(gè)點(diǎn)不能再被刪除(細(xì)化)為止。圖5(a)指針輪廓對應(yīng)細(xì)化結(jié)果如圖6所示，可見細(xì)化后能保持指針的連通性和方向性，效果較好。

圖6 指針輪廓細(xì)化結(jié)果

2.2.3 指針的擬合與方向確定

在獲得細(xì)化指針后，為準(zhǔn)確擬合指針?biāo)谥本€，采用加權(quán)最小二乘法[15]，對指針?biāo)谥本€進(jìn)行擬合，以獲得指針?biāo)谥本€斜率和截距等參數(shù)。

設(shè)細(xì)化后指針圖像中有n個(gè)像素點(diǎn)為(xj,yj),j=1,2,…,n。在x-y直角坐標(biāo)系中，當(dāng)滿足線性關(guān)系時(shí)，設(shè)直線的方程為

v=mx+c

(1)

式中：m為斜率；c為截距。

由最小二乘法回歸原理可得加權(quán)最小二乘法的誤差函數(shù)f(m,c)為

(2)

根據(jù)極值特點(diǎn)，存在唯一的m與c使函數(shù)最小，則分別對m與c求導(dǎo)等于零得方程(3)，求解此方程可得參數(shù)值，從而擬合出指針?biāo)谥本€。

(3)

將指針?biāo)谥本€擬合結(jié)果展示在儀表盤上，如圖7所示，能準(zhǔn)確擬合出指針?biāo)谥本€。

圖7 指針?biāo)谥本€擬合結(jié)果

在獲得指針?biāo)谥本€信息后，為計(jì)算出儀表示數(shù)，需為指針確定方向。因此建立定位坐標(biāo)系，并根據(jù)指針上一像素點(diǎn)與圓心間坐標(biāo)關(guān)系，判斷出指針?biāo)谙笙?，如圖8所示。

圖8 判定指針?biāo)谙笙?/p>

2.3 示數(shù)計(jì)算

常用的儀表示數(shù)計(jì)算方法有距離法與角度法[16]。因圓形指針式儀表表盤的刻度比例間隔均勻，且角度法簡單易操作，于是采用角度法計(jì)算儀表示數(shù)。

通過指針?biāo)谥本€斜率、方向，求取指針與0刻度間的角度關(guān)系，并結(jié)合儀表量程、0刻度與最大刻度位置等先驗(yàn)信息計(jì)算出儀表示數(shù)。

設(shè)指針相對于0刻度旋轉(zhuǎn)的角度為α，儀表量程為M，0刻度與最大刻度間的角度為β，則根據(jù)角度法計(jì)算儀表示數(shù)為

(4)

3 實(shí)驗(yàn)

3.1 檢測速度實(shí)驗(yàn)

為驗(yàn)證YOLOv5s檢測的有效性，對測試集進(jìn)行檢測速度實(shí)驗(yàn)，并與Hough變換、模板匹配、SURF、SIFT4種檢測算法進(jìn)行檢測耗時(shí)對比，表1為儀表檢測速度測試結(jié)果。從表1可知，本文引入的YOLOv5s檢測模型在檢測耗時(shí)上明顯低于其他4種檢測算法，能夠滿足實(shí)時(shí)性檢測的需求。

表1 儀表檢測速度比較

3.2 指針提取實(shí)驗(yàn)

U-net網(wǎng)絡(luò)訓(xùn)練結(jié)束時(shí)損失值穩(wěn)定在0.001左右，訓(xùn)練時(shí)損失曲線圖如圖9所示。為了進(jìn)一步驗(yàn)證U-net分割指針的有效性，對上述驗(yàn)證集中的儀表圖像進(jìn)行指針分割，并采用像素精度指標(biāo)評判分割效果，如圖10所示，指針的較高像素精度表明U-net分割效果較好。

圖9 U-net訓(xùn)練損失曲線

圖10 U-net分割指針像素精度圖

3.3 讀數(shù)識(shí)別消融實(shí)驗(yàn)

為評判儀表讀數(shù)識(shí)別的準(zhǔn)確性，采用引用誤差評判，其值越小，表明讀數(shù)精度越高。設(shè)儀表真值(儀表盤上顯示的數(shù)值)為value′，自動(dòng)識(shí)別的讀數(shù)為value，儀表量程為l，則引用誤差e、平均引用誤差ω表達(dá)式為：

(5)

(6)

為了驗(yàn)證本文方法的有效性，對測試集進(jìn)行讀數(shù)精度測試，并采用以下3種方法進(jìn)行消融實(shí)驗(yàn)：

(1)YOLOv5：只采用YOLOv5進(jìn)行儀表讀數(shù)識(shí)別；(2)U-net：只采用U-net進(jìn)行儀表讀數(shù)識(shí)別；(3)本文方法：結(jié)合YOLOv5和U-net的儀表讀數(shù)識(shí)別。

表2所示為不同閾值e下識(shí)別成功率及3種方法平均耗時(shí)結(jié)果。

表2 不同閾值下識(shí)別成功率及平均耗時(shí)

從表2可知，在不同閾值下，本文方法的識(shí)別成功率都高于YOLOv5與U-net，在儀表精度等級范圍內(nèi)，識(shí)別成功率達(dá)到了97%。本文方法的平均引用誤差為0.577%，精度較高，而YOLOv5與U-net在讀數(shù)識(shí)別失敗情況下，會(huì)出現(xiàn)較大誤差，從而導(dǎo)致引用誤差較大。在時(shí)間消耗方面，本文方法的平均耗時(shí)為0.597 s，雖然與YOLOv5比較下降了8%，但提高了識(shí)別成功率與精度。測試結(jié)果表明：本文方法能在不同背景、距離識(shí)別出儀表讀數(shù)，具有較強(qiáng)的準(zhǔn)確性和魯棒性，同時(shí)具有較好的實(shí)時(shí)性，速度、成功率及精度取得了均衡，能夠滿足實(shí)際應(yīng)用對儀表讀數(shù)的要求。

4 結(jié)論

針對指針式儀表的讀數(shù)識(shí)別準(zhǔn)確性不高的問題，本文提出了一種結(jié)合YOLOv5和U-net的指針式儀表讀數(shù)識(shí)別方法。為了提升速度，通過引入YOLOv5檢測并提取出儀表圖像中儀表區(qū)域，進(jìn)一步提升識(shí)別精度，采用了U-net分割指針，并對指針進(jìn)行輪廓細(xì)化、所在直線擬合及指針方向確定，計(jì)算儀表讀數(shù)。本文方法能夠快速、穩(wěn)定地實(shí)現(xiàn)指針式儀表的讀數(shù)識(shí)別。對指針式壓力表進(jìn)行測試實(shí)驗(yàn)，結(jié)果表明：本文提出的指針式儀表讀數(shù)識(shí)別方法，在儀表精度等級范圍內(nèi)識(shí)別成功率達(dá)97%，平均引用誤差為0.577%，同時(shí)平均耗時(shí)僅為0.597 s，具有一定的實(shí)際應(yīng)用價(jià)值。