基于OpenCV的變電站儀表識別方法研究

楊 典，李小燕，劉培焱，劉豐碩

（1.西安交通大學(xué) 電工電子教學(xué)實(shí)驗(yàn)中心，西安 710049；2.廣東電網(wǎng)有限責(zé)任公司 云浮供電局，云浮 527300）

變電站是電力系統(tǒng)的樞紐，是保障電力系統(tǒng)穩(wěn)定可靠運(yùn)行的關(guān)鍵[1]。變電站內(nèi)有大量的指針式和數(shù)字式儀表用于監(jiān)測變電設(shè)備的工作狀態(tài)，傳統(tǒng)的巡檢方式是人工定時讀表。變電站內(nèi)儀表數(shù)量多，人工抄表效率低下。此外，在高溫、高壓及強(qiáng)輻射區(qū)域抄表，對抄表人員的健康和人身安全也不利，故亟需一種新的手段完成儀表巡檢工作。

隨著人工智能理論和技術(shù)的日益成熟，智能化設(shè)備在工業(yè)中的應(yīng)用越來越廣泛，其中基于人工智能和機(jī)器視覺的變電站巡檢機(jī)器人就是一個典型代表，用于對變電站內(nèi)的環(huán)境和儀表進(jìn)行監(jiān)測和識別，提高了電網(wǎng)運(yùn)行的智能化水平，減少了電力系統(tǒng)現(xiàn)場運(yùn)維人員的投入。比如，文獻(xiàn)[2]研發(fā)了一種變電站核相驗(yàn)電操作機(jī)械臂系統(tǒng)，其能夠在不同工作地點(diǎn)間移動，并完成整個核相驗(yàn)電操作過程，大大提高了核相驗(yàn)電過程的工作穩(wěn)定性和工作效率，減少了安全隱患；文獻(xiàn)[3]設(shè)計(jì)了一款懸掛式軌道機(jī)器人，能夠完成高壓開關(guān)室的巡視工作并生成巡視報告，解決了開關(guān)室人工巡視費(fèi)時費(fèi)力，效率低下的問題。

電力系統(tǒng)各種類的巡檢機(jī)器人基本可分為兩大部分：硬件系統(tǒng)和軟件系統(tǒng)。軟件系統(tǒng)設(shè)計(jì)的重點(diǎn)和難點(diǎn)就是基于圖像處理的儀表智能識別。

1 儀表識別與圖像處理簡述

儀表識別通常需要采用圖像處理的方法。近年來，隨著深度學(xué)習(xí)理論的深入研究，結(jié)合深度學(xué)習(xí)的圖像識別技術(shù)得到了廣泛的應(yīng)用[4-5]?；谏疃葘W(xué)習(xí)的圖像識別算法相較于傳統(tǒng)方法來說具有較高的識別準(zhǔn)確率，對某些特定儀表其準(zhǔn)確率甚至可達(dá)到99.6%[4]。雖然引用深度學(xué)習(xí)算法后識別準(zhǔn)確率提高，但是傳統(tǒng)的圖像處理方法仍然是大多數(shù)儀表識別研究中最為基礎(chǔ)的一部分。

目前，研究者多采用OpenCV 對拍攝的儀表照片進(jìn)行圖像處理。OpenCV 是一個開源的跨平臺計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫，包含豐富的圖像處理函數(shù)，并廣泛應(yīng)用于圖像分割、物體識別、機(jī)器視覺等一系列領(lǐng)域中[6]。

基于OpenCV 的儀表識別，主要使用模板匹配、輪廓識別、霍夫變換及邊緣檢測等[7]方法，以完成表盤定位、表盤矯正、噪聲處理、字符分割及字符識別等處理步驟。

本文將基于OpenCV 對變電站內(nèi)的數(shù)字式和指針式儀表進(jìn)行識別，為保證識別方法的可靠性，均采用變電站實(shí)拍照片為研究對象。

2 數(shù)字式儀表識別

2.1 數(shù)字式儀表識別方法

數(shù)字儀表識別的目標(biāo)是正確識別攝像頭拍攝的數(shù)字儀表照片中儀表的示數(shù)。本文進(jìn)行數(shù)字儀表示數(shù)識別的流程如下：

（1）模板匹配：基于標(biāo)準(zhǔn)的儀表表盤圖片，利用模板匹配，獲取原始儀表圖片的表盤區(qū)域；

（2）輪廓識別：利用輪廓提取功能從表盤區(qū)域中提取矩形數(shù)字區(qū)域；

（3）數(shù)字分割：對第（2）步得到的數(shù)字區(qū)域進(jìn)行分割，將5 個數(shù)字分割為單個數(shù)字圖片；

（4）去除單個數(shù)字圖片的高光干擾，并將其轉(zhuǎn)換為20×20 的待預(yù)測標(biāo)準(zhǔn)數(shù)字圖片；

（5）將每個數(shù)字圖片輸入至訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行預(yù)測，得到數(shù)字圖片對應(yīng)的示數(shù)識別結(jié)果。

2.2 數(shù)字式儀表圖像處理

2.2.1 模板匹配

模板匹配是一種用于查找與模板圖片相匹配的圖像區(qū)域的圖像識別方法，在圖像變化不大的情況下，識別率十分理想[8]。

如圖1所示，本項(xiàng)目利用OpenCV 中封裝好的模板匹配函數(shù)cv2.matchTemplate 從圖1（a）的儀表原圖中，按照給定的圖1（b）的儀表表盤模板，應(yīng)用cv2.TM_CCOEFF 匹配算法，成功獲得表盤區(qū)域，如圖1（c）所示。

圖1 模板匹配結(jié)果Fig.1 Result of template matching

2.2.2 輪廓識別

在進(jìn)行輪廓識別之前，對圖像進(jìn)行適當(dāng)高斯平滑處理[9]，去除可能影響輪廓識別的部分噪點(diǎn)和噪聲，并保留原有的輪廓信息。由于圖1（c）表盤的數(shù)字區(qū)域近似為矩形，且與外圍顏色色差較大，輪廓分界較為明顯，可采用OpenCV 提供的cv2.findContours 函數(shù)進(jìn)行輪廓識別，提取出數(shù)值區(qū)域的矩形輪廓。根據(jù)本文所用實(shí)際圖片數(shù)值區(qū)域的特征，本程序采用以下3 個條件以過濾識別到的其它矩形區(qū)域：

（1）識別到的矩形的長寬比在3.6～4.5 之間；

（2）識別到的矩形內(nèi)部黑色區(qū)域與整個矩形面積的比值大于0.4；

（3）識別到的矩形的面積大于1250 px；

條件（1）和（2）用以剔除誤識別的輪廓區(qū)域；條件（3）用以確保獲得的數(shù)字區(qū)域足夠大，能夠進(jìn)行下一步處理步驟。對于條件（2），根據(jù)實(shí)際圖片情況，程序中將灰度值小于100 的區(qū)域認(rèn)定為黑色，否則為白色。最終識別到的矩形數(shù)值顯示區(qū)域其黑色占比為0.495，其長寬比為4.138。進(jìn)行輪廓識別后得到的結(jié)果如圖2所示，藍(lán)色矩形框內(nèi)為識別到的數(shù)值區(qū)域。

圖2 輪廓識別結(jié)果Fig.2 Result of contour recognition

2.2.3 數(shù)字分割與噪聲處理

數(shù)字分割用于將圖2中識別到的數(shù)字區(qū)域中的5 個數(shù)字分割為單個數(shù)字圖片。圖2中，數(shù)字是白色，背景色為黑色。通過查找黑色像素占比超過該列總像素數(shù)70%（黑白色分界閾值定為130）的像素列的列坐標(biāo)可得到每個數(shù)字的左右邊界位置。本文將分割位置定在每個數(shù)字的右邊界和下一個數(shù)字的左邊界之間黑色背景區(qū)域的中心處，最終找到的切割像素位置為：［7，53，118，166，216，252］。分割后的單個數(shù)字圖片如圖3所示。

圖3 數(shù)字區(qū)域分割結(jié)果Fig.3 Result from division of number area

為了對圖3的單個數(shù)字圖片進(jìn)行識別，需要去除影響后續(xù)數(shù)字識別的白色干擾。以圖3的第2 個數(shù)字0 為例，為了去除大面積的高光以及表盤外輪廓干擾，本文采用的方法是計(jì)算每一行像素點(diǎn)中白色像素點(diǎn)所占的比例（灰度值閾值定為120）。如圖4所示，若白色像素點(diǎn)所占比例大于0.7，則將此行像素的灰度值全部置零，處理結(jié)果如圖4（a）所示。

圖4 去除高光區(qū)域Fig.4 Remove the highlight area

雖然在處理白色干擾的同時覆蓋了數(shù)字圖像的一部分，但相對于未處理前來說，這一步的損失是可以被接受的。

為了得到標(biāo)準(zhǔn)數(shù)字圖片，還需要進(jìn)行進(jìn)一步處理。在去除白色干擾后，采用輪廓識別可以方便地定位到數(shù)字主體部分的外接矩形輪廓，如圖4（b）所示。隨后加入適當(dāng)寬度的黑色邊框進(jìn)行擴(kuò)充，防止resize 后數(shù)字圖片變形過大而造成識別出錯。二值化后將其resize 為20×20 的圖片，即可作為輸入預(yù)測模型的待預(yù)測標(biāo)準(zhǔn)數(shù)字圖片，如圖5所示。

圖5 標(biāo)準(zhǔn)數(shù)字圖片示例Fig.5 Examples of standard number picture

2.3 建立神經(jīng)網(wǎng)絡(luò)預(yù)測模型

在2.2 節(jié)得到的標(biāo)準(zhǔn)數(shù)字圖片的基礎(chǔ)上，本文基于飛槳深度學(xué)習(xí)核心框架，搭建了一個簡單的LeNet-5 卷積神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)整體架構(gòu)包含輸入層，兩層卷積層，兩層池化層以及全連接輸出層。

用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的訓(xùn)練集圖片共6420 張，用于測試的數(shù)字圖片共720 張。訓(xùn)練過程共訓(xùn)練4個輪次，最后一輪對測試集進(jìn)行預(yù)測的預(yù)測準(zhǔn)確率為98.5%。模型訓(xùn)練過程中訓(xùn)練誤差和訓(xùn)練準(zhǔn)確率隨迭代次數(shù)的變化情況如圖6所示。在5000 次迭代后，訓(xùn)練誤差已經(jīng)基本在0～0.1 的范圍內(nèi)波動，訓(xùn)練準(zhǔn)確率在15000 次迭代后基本穩(wěn)定在0.9 以上，模型達(dá)到收斂。

圖6 神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程Fig.6 Neural network training process

2.4 實(shí)際測試結(jié)果

用本文程序?qū)D1（a）所示儀表的3 個不同圖片進(jìn)行識別，最終均得到準(zhǔn)確結(jié)果，如表1所示。

表1 數(shù)字儀表識別結(jié)果Tab.1 Digital instrument identification results

3 指針式儀表識別

3.1 指針式儀表識別方法

指針式儀表識別的一般處理流程為：圖片輸入→儀表定位→刻度區(qū)域識別→指針檢測→極坐標(biāo)轉(zhuǎn)換分離刻度與數(shù)字→結(jié)果計(jì)算[10]。常采用的圖像處理方法有邊緣檢測，霍夫變換[10]以及YOLO 檢測方法[11-12]。對于圓形指針表盤，最為重要的是定位到儀表盤圓心，否則會造成識別精度下降甚至識別失敗[13]。

本文針對給定指針儀表進(jìn)行識別，具體識別流程如圖7所示。

圖7 指針儀表識別流程Fig.7 Identification flow chart of pointer instrument

3.2 指針式儀表圖像處理

在實(shí)際情況下，由于儀表安裝或機(jī)器人拍照位置的影響，巡檢機(jī)器人拍攝的儀表照片中表盤可能會發(fā)生傾斜，如圖8所示，分別為表盤傾斜變形和未明顯傾斜變形的指針式儀表照片。從兩種情況的照片中得到正規(guī)圓形表盤的處理方法稍有區(qū)別，下面分別進(jìn)行說明。

圖8 不同情況下的表盤圖像Fig.8 Instrument images under different conditions

3.2.1 獲得正規(guī)圓形表盤區(qū)域

1）原圖表盤明顯傾斜變形

對于明顯傾斜變形的表盤照片，需要通過輪廓識別先定位傾斜儀表表盤區(qū)域（未變形的表盤也可采用此方法），隨后對其進(jìn)行透視變換，將其矯正為正規(guī)圓形表盤。透視變換（perspective transformation）本質(zhì)上是一種空間立體三維變換，能夠?qū)⑷S坐標(biāo)投影到另外一個視平面。透視變換的公式為

式中：［u，v，w］代表變換前某一點(diǎn)的坐標(biāo)，其右乘的矩陣為變換矩陣；［x′，y′，w′］為變換后的空間坐標(biāo)。任意的一個透視變換對應(yīng)唯一一個變換矩陣。一般情況下，找到變換前后對應(yīng)的4 組對應(yīng)點(diǎn)，即可確定某一透視變換所需要的變換矩陣。

利用OpenCV 提供的函數(shù)cv2.getPerspective Transform，可由標(biāo)準(zhǔn)圖和待變換圖中的4 組對應(yīng)點(diǎn)坐標(biāo)計(jì)算出變換矩陣。隨后，使用cv2.warpPerspective 函數(shù)可直接對圖像進(jìn)行透視變換并輸出變換結(jié)果。

手動尋找4 對對應(yīng)特征點(diǎn)將有很多不便。如圖9所示，本文利用SIFT 方法以尋找傾斜表盤圖片和正規(guī)表盤圖片的成對特征點(diǎn)，進(jìn)而得到變換矩陣，特征點(diǎn)尋找結(jié)果如圖9（a）所示；通過SIFT 方法得到的成對特征點(diǎn)通常含有錯配現(xiàn)象，本文綜合運(yùn)用距離比值法和RANSAC（隨機(jī)抽樣一致算法）方法以剔除錯配點(diǎn)，最終得到的結(jié)果如圖9（b）所示。

圖9 特征點(diǎn)匹配結(jié)果Fig.9 Result of feature point matching

如圖10所示，分別為透視變換前的圖像和透視變換后的結(jié)果，其中外部黑色區(qū)域?yàn)轭A(yù)留的區(qū)域，防止變換后的圖像超界。經(jīng)過透視變換，一定程度上表盤的傾斜變形得到矯正。

圖10 透視變換前、后的圖像Fig.10 Images before and after perspective transformation

2）原圖表盤無明顯傾斜變形

如圖11所示，對于無明顯傾斜變形的表盤，可通過模板匹配直接得到正規(guī)圓形表盤區(qū)域。在模板匹配的過程中，可能存在模板尺寸大小與目標(biāo)表盤圖像大小不一致的問題，得到的匹配結(jié)果不完整或留有大量背景，如圖11（b）所示。針對于此，設(shè)計(jì)了一個循環(huán)程序以連續(xù)調(diào)整模板圖片大小，并使用哈希算法比較不同模板大小下模板匹配目標(biāo)與原模板圖片圖11（a）的相似度以篩選出最合適的匹配結(jié)果。

哈希算法能夠把幾乎所有的數(shù)字文件都轉(zhuǎn)換成一串由數(shù)字和字母構(gòu)成的看似亂碼的字符串，具有輸出值唯一性和不可逆性等特點(diǎn)。比較不同圖片生成的字符串，結(jié)果越接近，就說明圖片越相似。

本項(xiàng)目運(yùn)用差值哈希算法（dHash）得到的匹配結(jié)果如圖11（c）所示，與原匹配結(jié)果相比，背景區(qū)域基本被剔除。

圖11 指針式儀表模板匹配結(jié)果Fig.11 Contour recognition result of pointer instrument

3.2.2 指針度數(shù)識別方法

在進(jìn)行指針式儀表示數(shù)識別之前，需要對圓形表盤圖像進(jìn)行預(yù)處理，其步驟如下：

（1）對圓形表盤圖像圖10（b）進(jìn)行二值化。由于圖10（b）預(yù)留的黑色區(qū)域會影響二值化閾值結(jié)果，故實(shí)際閾值使用聚類方法k-means 由圖10（a）得到；

（2）對圖像進(jìn)行形態(tài)學(xué)腐蝕操作以加粗指針，改善霍夫圓檢測效果，腐蝕內(nèi)核為橢圓形；

（3）利用霍夫圓檢測定位表盤所在圓及表盤中心位置。

隨后，由中心開始在表盤各個角度畫直線，如圖12所示，找到直線與黑色指針區(qū)域重疊區(qū)域最大時所對應(yīng)的角度θ，由θ 即可計(jì)算出該指針式儀表的示數(shù)。對于本項(xiàng)目選定的儀表，其指示數(shù)值與角度θ 的關(guān)系為

圖12 直線檢測定位指針Fig.12 Obtain the pointer location by line detection

式中：θ 單位為°。

3.3 實(shí)際測試結(jié)果

利用上述步驟，對3 種指針式儀表進(jìn)行識別，如圖13所示，結(jié)果如表2所示，由表2可知，利用本文的指針式儀表識別方法，可準(zhǔn)確識別指針式儀表的示數(shù)。

圖13 待識別指針式儀表圖像Fig.13 Images of pointer instruments to be recognized

表2 指針儀表識別結(jié)果Tab.2 Pointer instrument identification results

4 結(jié)語

本文基于OpenCV 的圖像處理功能，探索了對數(shù)字式儀表和指針式儀表進(jìn)行了儀表數(shù)值的識別和獲取的方法。由實(shí)際結(jié)果來看，識別結(jié)果準(zhǔn)確，效率高。對數(shù)字式表盤區(qū)域的定位，高光等噪聲的處理以及傾斜儀表的矯正等問題，本文提出了對應(yīng)的處理方法，且效果良好。

本文的處理方法雖然能夠?qū)崿F(xiàn)儀表數(shù)值的獲取，但仍然需要根據(jù)實(shí)際圖像人工調(diào)整參數(shù)，未能達(dá)到完全智能識別，未來將引進(jìn)更為先進(jìn)靈活，適用范圍更廣的算法以改進(jìn)識別方法，實(shí)現(xiàn)儀表識別進(jìn)一步智能化。