面向巡檢機(jī)器人的指針式儀表讀數(shù)識(shí)別方法

莫明飛，高阿朋，周明哲

(國(guó)網(wǎng)內(nèi)蒙古東部電力有限公司，內(nèi)蒙古 呼和浩特 010010)

變電站內(nèi)由于高低壓回路設(shè)備操作、雷電浪涌、輸電線路輻射等會(huì)產(chǎn)生大量的電磁干擾，而指針式儀表具有構(gòu)造簡(jiǎn)單、抗干擾性強(qiáng)的特點(diǎn)，被廣泛地部署在變電站內(nèi)，常見(jiàn)的有SF6壓力表、避雷器泄漏電流表、油溫表、液壓表、繞組溫度表等。變電站巡檢中一項(xiàng)重要的工作是獲得大量?jī)x表的讀數(shù)，用于判斷各類電力設(shè)備是否正常工作。由于人工巡檢的效率較低，且對(duì)于巡檢員來(lái)說(shuō)具有一定的危險(xiǎn)性，近年來(lái)已逐漸采用巡檢機(jī)器人替代人工進(jìn)行巡檢[1-2]。面對(duì)巡檢機(jī)器人采集的大量的變電站指針式儀表的圖片，研發(fā)一種高效準(zhǔn)確獲得儀表讀數(shù)的算法，對(duì)于提升變電站巡檢效率、保障電網(wǎng)系統(tǒng)穩(wěn)定運(yùn)行有著十分重要的理論意義和應(yīng)用價(jià)值[3-5]。

現(xiàn)階段已有一些針對(duì)不同類型指針儀表讀數(shù)識(shí)別的研究成果[6-9]，傳統(tǒng)方法是首先利用基于模板匹配[10]、基于特征點(diǎn)檢測(cè)匹配[11-12]等方法進(jìn)行儀表定位，然后二值化儀表的表盤圖像，再利用基于霍夫變換、快速直線檢測(cè)、Canny邊緣檢測(cè)[13]等方法檢測(cè)指針及刻度，最終完成自動(dòng)讀數(shù)。這類方法在檢測(cè)儀表時(shí)，大多會(huì)選擇尺度不變特征變換(scale-invariant feature transform, SIFT)、ORB等特征點(diǎn)檢測(cè)匹配算法，但復(fù)雜場(chǎng)景中儀表圖像存在較多遮擋、形變等情況，會(huì)使角點(diǎn)檢測(cè)產(chǎn)生大量誤匹配。而且這類方法對(duì)圖像中儀表的位置、儀表圖像的清晰度、是否有遮擋等都有較高要求，如果儀表表盤存在干擾條紋，則會(huì)對(duì)指針、刻度線段的識(shí)別造成很大影響。除傳統(tǒng)方法外，文獻(xiàn)[14]提出了最大類間方差算法來(lái)提取儀表指針區(qū)域，然后通過(guò)增加約束條件來(lái)提升基于霍夫變換進(jìn)行指針角度識(shí)別的精度。文獻(xiàn)[15]利用二進(jìn)制描述器獲取表盤區(qū)域，再利用圓周區(qū)域累積直方圖(circle based regional cumulative histogram, CRH)方法確定指針位置。文獻(xiàn)[16]采用區(qū)域增長(zhǎng)和中心投影的方法來(lái)定位表盤刻度區(qū)域及刻度，然后利用霍夫變化方法通過(guò)指針輪廓擬合得到指針?lè)较颉ｋS著深度學(xué)習(xí)技術(shù)的廣泛應(yīng)用，也有研究人員利用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法進(jìn)行儀表定位，如文獻(xiàn)[17-19]分別利用CNN、Mask-RCNN、改進(jìn)的YOLOv3來(lái)檢測(cè)復(fù)雜背景中的儀表，相對(duì)于傳統(tǒng)方法來(lái)說(shuō)，在儀表檢測(cè)的準(zhǔn)確率上有了較大的提高。但上述方法在檢測(cè)指針及刻度時(shí)，多數(shù)仍采用傳統(tǒng)方法，限制了其實(shí)用性。

但是現(xiàn)有的研究多數(shù)都是針對(duì)高質(zhì)量的儀表圖像進(jìn)行檢測(cè)和識(shí)別，即輸入的圖像中表盤區(qū)域較大、表盤圖像非常清晰、拍攝時(shí)相機(jī)基本與表盤無(wú)夾角。若讓巡檢機(jī)器人拍攝的儀表圖像滿足上述要求，需要人工提前進(jìn)行大量的測(cè)量、標(biāo)定和調(diào)試工作，這在實(shí)際操作過(guò)程中很難完成，而且變電站內(nèi)儀表的安裝位置、盤表的朝向等條件未必能夠滿足高質(zhì)量圖像的采集要求。所以，利用巡檢機(jī)器人拍攝的原始圖像通常都具有以下特點(diǎn)：(1)具有較為復(fù)雜的背景；(2)儀表盤表面通常會(huì)附有污濁物；(3)儀表表盤與圖像平面存在夾角。在這種情況下，這些方法則很難滿足巡檢機(jī)器人場(chǎng)景中的實(shí)際使用要求。

針對(duì)巡檢機(jī)器人采集的儀表圖像，本文首先通過(guò)基于深度學(xué)習(xí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)(YOLOv5)準(zhǔn)確定位復(fù)雜背景中的儀表位置，排除畫面中其他物體對(duì)后續(xù)處理的影響。然后通過(guò)輪廓擬合、透視變換的方法對(duì)表盤傾斜進(jìn)行校準(zhǔn)。針對(duì)矯正后的儀表表盤圖像，利用改進(jìn)后的Deeplabv3+模型對(duì)表盤圖像進(jìn)行圖像分割，獲得表針及刻度。最后通過(guò)極坐標(biāo)轉(zhuǎn)換的方法將表盤展開(kāi)成矩形，在矩形表盤上定位刻度與指針后計(jì)算獲得儀表的讀數(shù)。本文研究的內(nèi)容一方面分析了巡檢機(jī)器人拍攝的儀表照片的特點(diǎn)，并針對(duì)這些特點(diǎn)在關(guān)鍵步驟上引入了基于深度學(xué)習(xí)的方法，解決了傳統(tǒng)方法處理這些問(wèn)題時(shí)的不足，有效地提升了儀表讀數(shù)計(jì)算的準(zhǔn)確性；另一方面通過(guò)對(duì)Deeplabv3+模型的改進(jìn)，提供了更細(xì)粒度的高維空間語(yǔ)義分割能力，實(shí)現(xiàn)密集性目標(biāo)的定位分割，提高了分割表盤刻度和指針的準(zhǔn)確率。

1 指針式儀表讀數(shù)自動(dòng)識(shí)別方法

針對(duì)巡檢機(jī)器人獲取圖像數(shù)據(jù)的特點(diǎn)及傳統(tǒng)識(shí)別方法的不足，本文采用了基于深度學(xué)習(xí)的儀表檢測(cè)和儀表刻度指針?lè)指罘椒?，通過(guò)準(zhǔn)確定位表盤圖像并精準(zhǔn)分割刻度線和指針，實(shí)現(xiàn)自動(dòng)準(zhǔn)確的識(shí)別儀表讀數(shù)。

本文提出的方法思路如下：首先，利用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型(YOLOv5)，檢測(cè)巡檢機(jī)器人拍攝的圖像中的儀表，同時(shí)獲得儀表的類型，使得后續(xù)處理只用分析儀表本體的圖像，不用考慮背景干擾，達(dá)到減輕后續(xù)分析計(jì)算量的目的；其次，針對(duì)獲取到的儀表表盤圖像，通過(guò)透視變換算法對(duì)其進(jìn)行校準(zhǔn)，使得圖像中的表盤恢復(fù)為圓形且儀表刻度分布均勻，有利于提升后續(xù)分割處理的精準(zhǔn)度；再次，針對(duì)儀表刻度和指針的特點(diǎn)(目標(biāo)密集、刻度和指針尺寸相差較大)，利用本文改進(jìn)后的Deeplabv3+圖像分割技術(shù)，對(duì)表盤中的刻度和指針進(jìn)行精準(zhǔn)分割，獲得只包含刻度和指針像素的分割圖像；最后，利用圖像極坐標(biāo)轉(zhuǎn)換等方法，結(jié)合儀表類型信息，對(duì)分割結(jié)果圖像進(jìn)行分析，最終得到儀表的讀數(shù)信息。基本過(guò)程如圖1所示。

圖1 指針儀表讀數(shù)自動(dòng)識(shí)別過(guò)程Fig.1 Automatic recognition process of pointer instrument reading

2 基于YOLOv5的儀表檢測(cè)

2.1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)述

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要可以分為兩類：兩階段檢測(cè)算法和單階段檢測(cè)算法[20-23]。前一種類型首先是找到目標(biāo)出現(xiàn)位置的眾多候選區(qū)域，再使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選區(qū)域進(jìn)行分類，在每個(gè)類別中使用非極大值抑制來(lái)得到目標(biāo)的最終位置，主要代表就是R-CNN(regions with CNN features)系列[24]，其中以Faster-RCNN性能最優(yōu)[25]；后一種類型將目標(biāo)檢測(cè)視為回歸問(wèn)題，省去了生成候選區(qū)域階段，直接由網(wǎng)絡(luò)產(chǎn)生目標(biāo)的位置坐標(biāo)和類別概率，主要代表模型有SSD系列[26]和YOLO系列。

最新的YOLOv5于2020年推出，屬于目前非常優(yōu)秀的檢測(cè)網(wǎng)絡(luò)。YOLOv5共分為YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x四個(gè)模型，在網(wǎng)絡(luò)復(fù)雜程度上和準(zhǔn)確率依次遞增、處理速度依次下降，可以適用于不同要求的應(yīng)用場(chǎng)景。雖然四個(gè)模型在網(wǎng)絡(luò)規(guī)模上有所不同，但都包含輸入模塊(input)、主干網(wǎng)絡(luò)(backbone)、特征融合模塊(neck)和預(yù)測(cè)模塊(prediction)，具體如圖2所示。

圖2 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 YOLOv5 networkstructure

為了豐富輸入的數(shù)據(jù)集，YOLOv5在輸入模塊中加入了Mosaic方法，對(duì)輸入的圖像進(jìn)行多種隨機(jī)操作以實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)的目的，包括隨機(jī)的縮放、裁剪、排布等，讓網(wǎng)絡(luò)能夠更好地學(xué)習(xí)和識(shí)別小目標(biāo)。YOLOv5還加入了自適應(yīng)計(jì)算初始錨框的能力，在訓(xùn)練階段時(shí)，可以自動(dòng)計(jì)算不同訓(xùn)練集的最佳初始錨框，不斷迭代更新，使網(wǎng)絡(luò)在訓(xùn)練階段具有更好的適應(yīng)性，而不必像YOLOv3或者YOLOv4那樣還需要單獨(dú)運(yùn)行相應(yīng)的計(jì)算程序，并且在訓(xùn)練過(guò)程中無(wú)法更新。此外，YOLOv5還改進(jìn)了自適應(yīng)縮放的算法，以增加網(wǎng)絡(luò)的推理速度。

主干網(wǎng)絡(luò)采用了Focus結(jié)構(gòu)和CSP結(jié)構(gòu)。其中，F(xiàn)ocus結(jié)構(gòu)的關(guān)鍵是進(jìn)行切片操作，例如輸入圖像的分辨率為608×608×3，經(jīng)過(guò)切片操作和32個(gè)卷積核的卷積操作后，最終變成304×304×32的特征圖。YOLOv5中包含了兩種CSP結(jié)構(gòu)：CSP1_X結(jié)構(gòu)和CSP2_X結(jié)構(gòu)，前者應(yīng)用在主干網(wǎng)絡(luò)中，后者應(yīng)用在特征融合模塊中。

特征融合模塊使用了特征金字塔網(wǎng)絡(luò)(FPN)和金字塔注意力網(wǎng)絡(luò)(PAN)融合的結(jié)構(gòu)。特征金字塔網(wǎng)絡(luò)采用自頂向下的方法，利用上采樣融合、傳遞高層特征信息。金字塔注意力網(wǎng)絡(luò)則采用自底向上的方式傳遞強(qiáng)定位特征。兩者同時(shí)使用以加強(qiáng)網(wǎng)絡(luò)特征融合能力。

在YOLOv5的預(yù)測(cè)模塊中，候選框的損失函數(shù)未采用傳統(tǒng)的IOU_Loss，而是采用了改進(jìn)后的CIOU_Loss，考慮了真實(shí)框和候選框高寬比的尺度信息，提高了候選框的回歸效率和準(zhǔn)確率。在后處理階段，針對(duì)目標(biāo)遮擋的情況，YOLOv5采用了加權(quán)后的非極大值抑制，使其對(duì)于被遮擋目標(biāo)的檢測(cè)性能有所提升。

2.2 YOLOv5在儀表檢測(cè)中的應(yīng)用

在巡檢機(jī)器人拍攝的圖像中，儀表表盤區(qū)域占比通常較小，需要采用高準(zhǔn)確率的檢測(cè)模型。在YOLOv5的四個(gè)模型中，YOLOv5x擁有最大的網(wǎng)絡(luò)深度，如表1所示。

表1 YOLOv5殘差組件列表Tab.1 YOLOv5 residual components list

YOLOv5x在CSP1和CSP2結(jié)構(gòu)中都擁有最多的殘差組件，如在第一個(gè)CSP1結(jié)構(gòu)中使用了4個(gè)殘差組件，即CSP1_4，其他類似。隨著網(wǎng)絡(luò)的不斷加深，圖像的特征可以更有效的被提取出來(lái)，并進(jìn)行融合。同時(shí)，YOLOv5結(jié)構(gòu)在不同階段的卷積核的數(shù)量也是不一樣的，例如在第一個(gè)Focus結(jié)構(gòu)中，YOLOv5x擁有80個(gè)卷積核，最輕量的YOLOv5s只有32個(gè)卷積核，YOLOv5x的卷積核是YOLOv5s的2.5倍。卷積核的數(shù)量越多，網(wǎng)絡(luò)提取圖像特征的學(xué)習(xí)能力也越強(qiáng)。所以，在保證準(zhǔn)確率的前提下，本文選擇YOLOv5x模型檢測(cè)巡檢圖像中的儀表表盤區(qū)域。

針對(duì)巡檢機(jī)器人拍攝的各類儀表圖像，本文使用開(kāi)源的圖像數(shù)據(jù)標(biāo)注工具制作訓(xùn)練集：在巡檢圖像中框選儀表表盤，并輸入儀表類型的標(biāo)簽。同時(shí)，為了保證模型的泛化性和準(zhǔn)確率，訓(xùn)練集由不同時(shí)間、天氣、光照、角度的圖像組成，并加入占總量約1%的背景圖像(即圖像中沒(méi)有儀表)來(lái)減少誤報(bào)。訓(xùn)練的過(guò)程中為了加快訓(xùn)練速度，通過(guò)weights標(biāo)志加載了預(yù)訓(xùn)練的權(quán)重。圖3展示了訓(xùn)練后的YOLOv5x模型的檢測(cè)效果，從檢測(cè)的結(jié)果可以發(fā)現(xiàn)，在不同的條件下，YOLOv5x模型均可以準(zhǔn)確地檢測(cè)到圖像中的儀表表盤，并正確的給出儀表的類型，說(shuō)明訓(xùn)練的模型達(dá)到預(yù)期的效果。

圖3 YOLOv5x儀表表盤檢測(cè)結(jié)果Fig.3 Instrument dial detection result by YOLOv5x

3 透視變換儀表圖像校準(zhǔn)

由于巡檢機(jī)器人的攝像頭在拍攝圖像時(shí)很難與儀表完全保持平行，所以通過(guò)YOLOv5x檢測(cè)和提取到的儀表表盤圖像多數(shù)會(huì)存在一定的傾斜，導(dǎo)致表盤形狀不規(guī)則、刻度不均勻等問(wèn)題，對(duì)后續(xù)的處理產(chǎn)生影響。所以，本文利用透視變換算法對(duì)表盤圖像進(jìn)行校準(zhǔn)。

透視變換的基本原理是將原圖片平面投影到三維空間，然后再映射到一個(gè)新的視平面。假設(shè)原圖像上點(diǎn)的坐標(biāo)是(x,y,z)，通常設(shè)置z=1，在三維投影空間中的坐標(biāo)為(X,Y,Z)，在新視平面的坐標(biāo)為(x′,y′,z′)，投影變換矩陣為T，則有：

(1)

(2)

(3)

針對(duì)每類儀表，提前獲取該類儀表的模板圖像，即攝像頭與儀表表盤平行時(shí)拍攝的圖像。對(duì)于巡檢機(jī)器人拍攝的儀表圖像，根據(jù)YOLOv5x的分類結(jié)果選取相應(yīng)類別的模板圖像，獲取儀表圖像和模板圖像上匹配的特征點(diǎn)對(duì)及其坐標(biāo)，利用公式(1)計(jì)算得到投影變換矩陣T，然后根據(jù)投影變換矩陣T以及公式(2)和公式(3)對(duì)提取到的儀表圖像進(jìn)行校準(zhǔn)。圖4為利用上述方法校準(zhǔn)表盤圖像的樣例。

(a)原儀表圖像 (b)校準(zhǔn)后圖像(a)Original (b)After calibration圖4 儀表表盤校準(zhǔn)結(jié)果Fig.4 Instrument dial calibration result

4 基于DeepLabv3+的儀表刻度及指針?lè)指?/h2>

4.1 Deeplabv3+在儀表圖像分割應(yīng)用中存在的不足

Deeplabv3+的網(wǎng)絡(luò)結(jié)構(gòu)采用Encoder+Decoder的編解碼方式，很好地解決了以往圖像分割邊界定位不準(zhǔn)確的問(wèn)題。所采用的空洞卷積金字塔池化的方式，有效地降低了參數(shù)數(shù)列，提高了網(wǎng)路推理計(jì)算效率。Deeplabv3+優(yōu)點(diǎn)具體表現(xiàn)兩點(diǎn)：(1)在Encoder端，采用不同rate的空洞卷積來(lái)實(shí)現(xiàn)空洞卷積的空間金字塔池化ASPP(atrous spatial pyramid pooling)模塊，進(jìn)一步擴(kuò)展了網(wǎng)絡(luò)模型的高層多尺度信息?？斩淳矸e是DeepLabv3+模型的關(guān)鍵，其感受野更大，可以在保持運(yùn)算量的同時(shí)不減小特征尺寸，從而獲得更密集的特征信息。(2)在Decoder端，模型結(jié)構(gòu)融合了DCNN(depth CNN)的淺層特征(low-level features)信息來(lái)提升圖像分割的邊界精度。

由于儀表的刻度通常都較為密集、刻度和指針的體積相差也較大，且表盤上多數(shù)情況下會(huì)有污濁物。直接將Deeplabv3+應(yīng)用于儀表刻度和指針?lè)指顣r(shí)時(shí)會(huì)碰到以下不足：(1)DCNN中的高層特征具有局部圖像變換的內(nèi)在不變性，使得網(wǎng)絡(luò)結(jié)構(gòu)可以Decoder階段學(xué)習(xí)越來(lái)越抽象的特征表示。但DCNN中的池化操作或者下采樣方法，都會(huì)引起的特征分辨率的下降，DeepLabv3系列解決這一問(wèn)題的方法是使用空洞卷積，它使得模型結(jié)構(gòu)在保持參數(shù)量和計(jì)算量的同時(shí)提升計(jì)算特征響應(yīng)的分辨率，從而獲得更多的上下文。但對(duì)圖像中密集性目標(biāo)的定位預(yù)測(cè)任務(wù)時(shí)，需要更為豐富的高層空間信息。(2)Decoder階段僅僅融合了網(wǎng)絡(luò)Encoder的單個(gè)淺層信息，其有效信息具有一定的局限性，導(dǎo)致在多尺度目標(biāo)分割時(shí)信息損失較多，會(huì)造成精度下降。

4.2 Deeplabv3+在儀表圖像分割中的改進(jìn)

針對(duì)上述不足，本文對(duì)Deeplabv3+進(jìn)行了如下改進(jìn)。

(1)在Encoder端使用了基于Jigsaw Patches的漸進(jìn)式多粒度編碼學(xué)習(xí)

漸進(jìn)式訓(xùn)練方法最初是針對(duì)生成式高級(jí)網(wǎng)絡(luò)提出的，它從低分辨率圖像開(kāi)始，然后通過(guò)向網(wǎng)絡(luò)中添加層來(lái)逐步提高分辨率。這種策略不需要學(xué)習(xí)所有尺度的信息，而是允許網(wǎng)絡(luò)發(fā)現(xiàn)圖像分布的大規(guī)模結(jié)構(gòu)，然后將注意力轉(zhuǎn)移到尺度越來(lái)越小的細(xì)節(jié)上。

本文針對(duì)儀表刻度的特點(diǎn)，提出以拼圖補(bǔ)丁(jigsaw patches)的數(shù)據(jù)輸入方式，進(jìn)行階梯式漸進(jìn)特征編碼的訓(xùn)練學(xué)習(xí)方法，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 基于Jigsaw-Patches的漸進(jìn)式編、解碼結(jié)構(gòu)Fig.5 Progressive encoding and decoding structure based on Jigsaw-Patches

在Encoder表征學(xué)習(xí)中，使用拼圖的方法為漸進(jìn)式訓(xùn)練的不同步驟生成輸入原始圖像和標(biāo)簽圖像，實(shí)現(xiàn)密集性目標(biāo)的定位分割預(yù)測(cè)，提供更為細(xì)粒的高維空間語(yǔ)義分割能力，同時(shí)針對(duì)類間距微小的不同分割對(duì)象，提供更精細(xì)粒度的特征。同時(shí)，該方法可有效地解決數(shù)據(jù)源單一的問(wèn)題，提高模型的泛化能?；贘igsaw-Patches的漸進(jìn)式編碼結(jié)構(gòu)參數(shù)表如下所示。

表2 基于Jigsaw-Patches的漸進(jìn)式編碼結(jié)構(gòu)參數(shù)表Tab.2 Progressive encoding and decoding structure parameters

續(xù)表2

(2)在Decoder端改進(jìn)了多尺度特征融合解碼方式

深層網(wǎng)絡(luò)的感受野比較大，語(yǔ)義信息表征能力強(qiáng)，但是下采樣會(huì)導(dǎo)致特征圖尺寸越來(lái)越小，使得特征圖缺乏幾何特征細(xì)節(jié)；相反，低層網(wǎng)絡(luò)的感受野比較小，但由于特征圖的分辨率較高，擁有較多的幾何特征細(xì)節(jié)，但是缺乏語(yǔ)義特征信息。在本文的Decoder端中，采用了低維與淺高層特征融合增強(qiáng)的方式，其目的在于增大尺度空間上的感受視野，保留不同層級(jí)的語(yǔ)義信息，防止關(guān)鍵的細(xì)微特征丟失。也就是在保留空間信息的同時(shí)，使得語(yǔ)義信息保持不變，提升分割邊界準(zhǔn)確度，一定程度上解決了表盤污濁時(shí)的分割問(wèn)題。

本文以Step1、Step2、Step3的Jigsaw Patches輸出特征分別作為ConvBlock1、ConvBlock2、ConvBlock3的輸入，然后將ConvBlock1、ConvBlock2、ConvBlock3輸出的淺層特征(low features)進(jìn)行融合拼接，實(shí)現(xiàn)改進(jìn)的多尺度淺層特征融合，具體如圖6所示。

圖6 改進(jìn)的多尺度淺層特征融合結(jié)構(gòu)Fig.6 Improved multi-scale shallow feature fusion structure

基于改進(jìn)后的Deeplabv3+進(jìn)行儀表刻度和表針?lè)指畹慕Y(jié)果如圖7所示，測(cè)試結(jié)果顯示刻度和指針的像素分類結(jié)果基本正確，說(shuō)明文本改進(jìn)的Deeplabv3+網(wǎng)絡(luò)能夠準(zhǔn)確地從表盤背景中分離刻度和指針。在獲得分割圖像后，還可以對(duì)分割圖進(jìn)行腐蝕操作，進(jìn)一步消除分割圖像中的噪聲。

(a)儀表表盤原圖 (b)分割圖 (c)腐蝕后的分割圖(a)Original (b)Segmentation (c)Segmentation after corrosion圖7 儀表刻度和指針?lè)指钚Ч麍DFig.7 Example of instrument scale and pointer segmentation

5 儀表讀數(shù)識(shí)別

巡檢機(jī)器人拍攝的圖像通過(guò)儀表檢測(cè)、圖像校準(zhǔn)、儀表刻度指針?lè)指畹奶幚砗螅梢缘玫奖肀P的最小外接矩形框，以及刻度線和指針線在圖像中的位置。以目標(biāo)檢測(cè)結(jié)果矩形框的中心點(diǎn)為基點(diǎn)，利用圖像極坐標(biāo)轉(zhuǎn)換方法，將圓弧狀的表盤刻度展開(kāi)為矩形，具體如圖8所示。

(a)展開(kāi)前 (b)展開(kāi)后(a)Before streching (b)After streching圖8 儀表刻度展開(kāi)處理示例Fig.8 Example of instrument scale expansion

利用圖像投影法對(duì)儀表刻度展開(kāi)后的結(jié)果圖進(jìn)行處理，將所有像素投影到x軸方向，包括刻度像素與指針像素。經(jīng)投影計(jì)算后，二維的展開(kāi)圖轉(zhuǎn)換成為一維數(shù)組。其中，一維數(shù)組的長(zhǎng)度為原展開(kāi)圖像的圖像長(zhǎng)度。局部投影結(jié)果如圖9所示。

圖9 儀表刻度展開(kāi)圖局部投影結(jié)果Fig.9 Local projection of instrument scale expansion

得到一維數(shù)組后，對(duì)一維數(shù)組中非零的區(qū)域做均值處理，具體的計(jì)算方法是，將每個(gè)局部非零區(qū)域的最小下標(biāo)與最大下標(biāo)相加求均值，得出所有刻度和指針的位置，即可以定位指針在刻度中的哪個(gè)區(qū)間內(nèi)。然后根據(jù)目標(biāo)檢測(cè)結(jié)果給出的儀表類型，獲得預(yù)設(shè)的儀表的測(cè)量上限值和測(cè)量下限值，利用儀表量程(量程=測(cè)量上限值-測(cè)量下限值)除以刻度數(shù)量得到每一格代表的數(shù)值。對(duì)于測(cè)量下限值為正數(shù)的儀表，其讀數(shù)為指針相對(duì)位置與每一格代表數(shù)值的乘積；對(duì)于最小值為負(fù)數(shù)的儀表(如SF6壓力表，最小值為-0.1)，其讀數(shù)為指針相對(duì)位置與每一格代表數(shù)值的乘積，然后加上測(cè)量下限值。

6 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證面向巡檢機(jī)器人的指針式儀表讀數(shù)自動(dòng)識(shí)別方法的有效性和準(zhǔn)確性，本節(jié)實(shí)驗(yàn)分為三個(gè)部分：第一部分對(duì)儀表檢測(cè)的方法進(jìn)行對(duì)比和分析，選取兩階段目標(biāo)檢測(cè)算法(faster-RCNN)和傳統(tǒng)機(jī)器學(xué)習(xí)算法(SVM)作為對(duì)照，對(duì)比三種方法的誤檢率(將非儀表目標(biāo)檢測(cè)為儀表的錯(cuò)誤次數(shù)與總檢測(cè)次數(shù)之比)、漏檢率(為未識(shí)別圖像中儀表的錯(cuò)誤次數(shù)與總檢測(cè)次數(shù)之比)和耗時(shí)；第二部分對(duì)儀表刻度和指針?lè)指畹姆椒ㄟM(jìn)行對(duì)比和分析，選取未改進(jìn)的Deeplabv3+和U-Net作為對(duì)照，對(duì)比三種模型的精確率(precision)、召回率(recall)和準(zhǔn)確率(accuracy)；第三部分對(duì)最終的儀表讀數(shù)結(jié)果進(jìn)行統(tǒng)計(jì)，將讀數(shù)相對(duì)誤差在[-1.5%, +1.5%]區(qū)間內(nèi)的結(jié)果認(rèn)為是正確結(jié)果，讀數(shù)相對(duì)誤差在[-5%, -1.5%)或者(+1.5%,+5%]區(qū)間內(nèi)的結(jié)果認(rèn)為是有偏差的結(jié)果，讀數(shù)在(-∞,-5%)或者(5%,∞)區(qū)間內(nèi)的結(jié)果認(rèn)為是錯(cuò)誤結(jié)果，并對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行分析。

實(shí)驗(yàn)選取巡檢機(jī)器人拍攝的2316張儀表圖像作為實(shí)驗(yàn)數(shù)據(jù)集，按照7:3的比例隨機(jī)選取圖片作為訓(xùn)練集和測(cè)試集。測(cè)試主機(jī)的硬件配置為Intel i5-8400，GeForce GTX 1060(6GB顯存)，16G內(nèi)存。

6.1 儀表檢測(cè)結(jié)果及分析

本文采用的模型(YOLOv5x)、Faster-RCNN和SVM三種模型檢測(cè)圖像中儀表的統(tǒng)計(jì)結(jié)果如表3所示。

表3 儀表檢測(cè)模型測(cè)試結(jié)果數(shù)據(jù)Tab.3 Instrument detection model test results

可以看出，由于本文采用的模型(YOLOv5x)和Faster-RCNN是基于深度學(xué)習(xí)的模型，在各項(xiàng)指標(biāo)上均大幅超過(guò)傳統(tǒng)機(jī)器學(xué)習(xí)算法SVM。本文模型和Faster-RCNN模型相比，均能非常準(zhǔn)確的檢測(cè)出圖像中的儀表，且極少有漏檢的情況發(fā)生，但本文模型在耗時(shí)方面大幅領(lǐng)先Faster-RCNN模型，為實(shí)時(shí)識(shí)別儀表讀數(shù)提供了可能性。對(duì)于漏檢的儀表，均是由于圖像中的儀表有部分被遮擋造成的，對(duì)于這種情況，可以在后期通過(guò)增加被遮擋儀表的數(shù)據(jù)來(lái)降低漏檢率。

6.2 儀表刻度及指針?lè)指罱Y(jié)果及分析

本文模型(改進(jìn)后的Deeplabv3+)、原始Deeplabv3+和U-Net三種模型分割圖像中刻度和指針的統(tǒng)計(jì)結(jié)果如表4所示。

表4 圖像分割模型測(cè)試結(jié)果數(shù)據(jù)Tab.4 Image segmentation model test results

從上表中可以看出，Deeplabv3+模型在精確率、召回率和準(zhǔn)確率方面均優(yōu)于U-Net模型。由于本文改進(jìn)的Deeplabv3+模型可以提供更精細(xì)粒度的特征，避免關(guān)鍵細(xì)微特征的丟失。從實(shí)驗(yàn)結(jié)果來(lái)看，改進(jìn)后的Deeplabv3+圖像分割結(jié)果的精確率和準(zhǔn)確率均有一定的提升，同時(shí)召回率也有較大的提升，而提升召回率會(huì)降低模型把刻度或者指針像素識(shí)別為背景像素的錯(cuò)誤概率，進(jìn)一步提升了改后進(jìn)的Deeplabv3+模型在實(shí)際場(chǎng)景應(yīng)用時(shí)的有效性。

6.3儀表刻度及指針?lè)指罱Y(jié)果及分析

以目標(biāo)檢測(cè)算法檢測(cè)到的儀表圖像為輸入，利用本文提出的儀表讀數(shù)識(shí)別方法識(shí)別儀表的讀數(shù)情況如表5所示。

表5 儀表讀數(shù)識(shí)別結(jié)果分布Tab.5 Instrument reading recognition result distribution

可以看出，本文提出的儀表讀數(shù)識(shí)別方法能準(zhǔn)確地識(shí)別96.74%的儀表讀數(shù)，僅有3.26%的讀數(shù)結(jié)果有一定偏差，沒(méi)有錯(cuò)誤識(shí)別的儀表讀數(shù)。其中，有偏差的結(jié)果多數(shù)是因?yàn)閮x表表面或者觀察窗表面附著有較多的污濁物，但整體的準(zhǔn)確率較高，能夠符合變電站巡檢的實(shí)際應(yīng)用要求。

7 結(jié)束語(yǔ)

本文在分析了巡檢機(jī)器人拍攝圖像特點(diǎn)和傳統(tǒng)方法不足的基礎(chǔ)上，提出了基于深度學(xué)習(xí)的指針式儀表讀數(shù)自動(dòng)識(shí)別方法，在指針式儀表讀數(shù)識(shí)別的關(guān)鍵步驟上首先利用YOLOv5進(jìn)行儀表檢測(cè)，能夠在具有復(fù)雜背景的圖片中檢測(cè)出儀表位置，有效的排除了復(fù)雜背景對(duì)讀數(shù)識(shí)別的干擾并減輕了后續(xù)分析的計(jì)算量；針對(duì)儀表刻度較為密集且刻度和指針尺度相差較大的特點(diǎn)，對(duì)Deeplabv3+的Encoder端和Decoder端分別進(jìn)行了改進(jìn)，可以提供更細(xì)粒度的圖像特征，可以更好地針對(duì)儀表刻度和指針進(jìn)行分割。實(shí)驗(yàn)表明，對(duì)于巡檢機(jī)器人實(shí)際拍攝的儀表圖像，本文提出的儀表讀數(shù)識(shí)別方法的準(zhǔn)確為96.74%，符合實(shí)際應(yīng)用的要求。