面向電力設(shè)備紅外圖像的溫度值識別算法

王凱旋，任福繼，倪紅軍，呂帥帥，汪興興

（1.南通大學(xué) 機械工程學(xué)院，江蘇 南通 226019;2.德島大學(xué) 智能信息工學(xué)部，日本 德島 7 708501）

電力設(shè)備是電能輸送的重要組成部分，電力設(shè)備的安全運行關(guān)系到電力系統(tǒng)的穩(wěn)定性[1-2]。由于變電設(shè)備長期暴露于自然界中，容易產(chǎn)生發(fā)熱現(xiàn)象從而引起變電設(shè)備的故障[3]。紅外診斷技術(shù)是判斷變電設(shè)備是否存在故障的重要方法之一，利用紅外測溫設(shè)備獲得變電設(shè)備的紅外圖像，并根據(jù)紅外輻射信息判斷設(shè)備表面的溫度分布情況，根據(jù)變電設(shè)備運行溫度標(biāo)準(zhǔn)進行故障判斷[4-5]。目前，為了提高運維人員的檢測的效率，常見的紅外測溫設(shè)備均會在紅外檢測圖像右側(cè)生成測溫圖譜、標(biāo)記溫度最大值和最小值，方便進行溫度匹配、統(tǒng)計和記錄[6-7]。傳統(tǒng)人工方式的故障診斷方法浪費大量人力、物力，效率低下，并且出錯率高[8-9]，因此，利用機器學(xué)習(xí)技術(shù)進行變電設(shè)備紅外圖像溫度值的自動化識別、判斷故障、統(tǒng)計記錄具有重要意義。

紅外圖像中溫度值識別問題實際上是字符識別問題，目前越來越多的研究學(xué)者對字符識別展開了研究。曹長玉等[10]提出了一種多模板匹配符號定位方法，通過光學(xué)字符識別(optical character recognition,OCR)定位各種符號位置，利用模板圖像與測試圖像進行相似度匹配，從而進行符號精確識別，準(zhǔn)確率達到94%。劉靖鈺等[11]基于HSV 模型采用對比度受限的自適應(yīng)直方圖均衡化方法定位車牌，該方法識別無遮擋車牌時精度維持在90%。Naiemi 等[12]等提出了一種采用SVM 進行分類的增強HOG 特征提取方法，能抵抗縮放和平移的字符變化，節(jié)省計算成本；Kaur等[13]提出了一種基于線性支持向量機分類器的Brahmi 字符識別系統(tǒng)，提取了字符圖像像素點的梯度信息，并將梯度直方圖存儲為每個字符圖像的特征向量，識別率達91.6%。但目前缺乏針對紅外圖像中數(shù)字識別的研究。

近年來，機器學(xué)習(xí)等方法廣泛地應(yīng)用在圖像處理、缺陷檢測、表情認知等領(lǐng)域[14-16]。任福繼等[17]提出了一種基于ResNet 的害蟲識別方法，將輸入信號與殘差特征相結(jié)合，在害蟲檢測和分類方面取得了顯著效果。Lin[18]等采用PCANet 深度學(xué)習(xí)網(wǎng)絡(luò)，通過對數(shù)字圖像的識別重構(gòu)溫度矩陣，組合出溫度的變化范圍，雖然訓(xùn)練的準(zhǔn)確率達到了99.7%，但在測試中準(zhǔn)確率只有92.61%。此外，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)作為一種傳統(tǒng)的機器學(xué)習(xí)方法，受到了研究學(xué)者的廣泛關(guān)注。Biniz 等[19]通過優(yōu)化CNN 網(wǎng)絡(luò)結(jié)構(gòu)，在手寫可見光圖像中實現(xiàn)了Amazigh 語言中Tifinagh 字符的識別。Torres 等[20]通過結(jié)合CNN和ResNet-101 模型對乳腺紅外熱像圖進行乳腺癌識別研究，實現(xiàn)了異常熱像圖識別。但是，與可見光圖像不同，變電設(shè)備的紅外圖像存在很多無關(guān)背景因素，會直接影響識別準(zhǔn)確率。因此，預(yù)處理和識別區(qū)域的精確分割對提高紅外圖像的識別準(zhǔn)確率至關(guān)重要。

本文針對電力設(shè)備紅外圖像背景復(fù)雜、分割效果差、識別準(zhǔn)確率低等問題，提出了面向電力設(shè)備紅外圖像的溫度值識別算法。根據(jù)紅外圖像特點，提出了改進的自適應(yīng)閾值的紅外圖像預(yù)處理方法，有效去除復(fù)雜背景。在此基礎(chǔ)上對溫度圖譜和溫度值區(qū)域準(zhǔn)確定位和分割，并采用CNN網(wǎng)絡(luò)進行訓(xùn)練，實現(xiàn)了紅外圖像溫度的識別，篩選出溫度異常的紅外圖像，對電力系統(tǒng)的安全穩(wěn)定運行具有十分重要的意義。此外，使用MATLAB中的App Designer 模塊將識別結(jié)果直接呈現(xiàn)給用戶，有利于實現(xiàn)機器學(xué)習(xí)缺陷檢測技術(shù)的可視化，提高巡檢效率和準(zhǔn)確率[21-22]。

1 算法設(shè)計

面向電力設(shè)備紅外圖像的溫度值識別算法流程如圖1 所示。本文提出的算法主要包括3 個階段：1）基于改進自適應(yīng)閾值的紅外圖像預(yù)處理；2）基于輪廓信息的溫度值分割；3）基于CNN 的溫度值識別。具體算法過程如算法1 所示。

圖1 溫度值識別算法流程Fig.1 Temperature value recognition algorithm framework

1.1 基于改進自適應(yīng)閾值的紅外圖像預(yù)處理

電力設(shè)備紅外圖像通常包含樹木、建筑物等復(fù)雜背景，并且由于采集設(shè)備的不同，通常會包含時間、設(shè)備型號水印和邊框[23]，直接對紅外圖像進行識別會影響準(zhǔn)確率，因此需要進行圖像預(yù)處理。紅外圖像預(yù)處理流程如圖2 所示。

圖2 紅外圖像預(yù)處理流程Fig.2 Infrared image preprocessing framework

采用加權(quán)法進行灰度變換，在此基礎(chǔ)上，為了增強細節(jié)信息，提高對比度，采用Gamma 校正方法對灰度圖像進行歸一化處理，Gamma 校正如式(1)，結(jié)果如圖3 所示。根據(jù)紅外圖像的特點，經(jīng)過測試校正參數(shù)γ取0.45，常數(shù)C取0.85。

圖3 Gamma 校正后圖像對比Fig.3 Image comparison after gamma correction

式中：L(x,y)為原圖像；LG(x,y)是校正后的圖像；γ為校正參數(shù)；C為常數(shù)。

目前，常見的二值化方法包括最大類間方差法(Otsu)和最大熵閾值法，考慮到紅外圖像和可見光圖像在圖像色彩組成上存在差異[24-25]，隨機選取100 張紅外圖像與可見光圖像進行對比分析，其直方圖統(tǒng)計結(jié)果如圖4(a)和圖4(b)所示。從圖中可以看出，可見光圖像的像素分布均勻，峰值出現(xiàn)在像素較低處，波谷不明顯，表明圖像整體較亮。紅外圖像直方圖存在雙峰，并且波谷明顯。其中T1和T2的閾值分別對應(yīng)波谷的兩端，選擇合適閾值能夠很好地分離目標(biāo)與背景。因此，提出了基于紅外圖像直方圖驅(qū)動的自適應(yīng)閾值的二值化方法。

圖4 直方圖統(tǒng)計與二值化結(jié)果Fig.4 Histogram statistics and binarization results

圖4 所示為采用改進的二值化方法預(yù)處理后的紅外圖像，并與傳統(tǒng)二值化方法進行對比。從圖中可以看出最大類間方差法與最大熵閾值法在溫度值部分都存在椒鹽噪聲點，且受背景的影響溫度值不能很好地分離出來，二值化效果不好。本文提出的改進自適應(yīng)閾值的二值化方法能夠完整地保存溫度值，最大值和最小值區(qū)域沒有椒鹽噪聲點，滿足二值化處理要求，可以根據(jù)不同的對象分別確定不同的閾值，得到理想的預(yù)處理結(jié)果。

1.2 基于輪廓信息的溫度值分割

電力設(shè)備紅外圖像預(yù)處理以后，能夠有效去除背景信息，突出溫度值區(qū)域。下一步對溫度值進行分割，包括溫度值區(qū)域定位與溫度值字符分割兩部分。其中，溫度值區(qū)域定位流程如圖5 所示。

圖5 溫度值定位流程Fig.5 Temperature value location framework

首先基于輪廓信息對溫度值區(qū)域進行定位。由于二值化后的紅外圖像測溫圖譜矩形框保留完整，采用像素累加法定位矩形框，以矩形框的長邊為方向，對整體圖像按列累加連續(xù)的像素，篩選出連續(xù)像素等于矩形框長度的列，同時以矩形框短邊為參考，定位出矩形框四角的像素坐標(biāo)，進而根據(jù)矩形框與溫度值的相對位置關(guān)系定位ROI的位置并分割，結(jié)果如圖6(a)和圖6(b)所示。

圖6 溫度值定位與分割Fig.6 Location and segmentation of the temperature value

采用垂直積分投影法對溫度值進行字符分割，如式(2)所示：

式中：Vx為圖像x列的垂直投影積分結(jié)果；f(x,y)為像素點(x,y)處的灰度值；N為ROI 區(qū)域的高度;h為ROI 區(qū)域的長度。

垂直投影結(jié)果如圖6(c)所示。從圖6 中可以看出。像素累積值在連接處有突變，表明該區(qū)域共有兩個字符，進而根據(jù)此特點確定字符的個數(shù)和位置，實現(xiàn)溫度值的分割，結(jié)果如圖6(d)所示。

1.3 基于CNN 的溫度值識別

采用基于CNN 的溫度值識別方法，具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示。其中，C1和C2為卷積層，P1和P2為池化層，F(xiàn)C 為全連接層。

圖7 CNN 結(jié)構(gòu)圖Fig.7 Structure of convolutional neural network

CNN 結(jié)構(gòu)參數(shù)如表1 所示。首先輸入像素大小為16×16 的溫度值圖片。兩個卷積層卷積核大小為5×5，步長為1，池化層P1采用最大池化操作，池化核大小為1×1，步長為1。在池化層P2采用2×2 的卷積核進一步提取圖像特征，步長為2，得到特征圖大小為4×4×12，最后輸入全連接層，dropout 值0.5，采用Softmax 分類器對結(jié)果進行預(yù)測，分為11 個類別，包括符號“?”和數(shù)字“0～9”。

表1 CNN 結(jié)構(gòu)參數(shù)Table 1 CNN structure parameters

CNN 的損失函數(shù)用預(yù)測值與真實值的偏差表示，如式(3)所示，并采用梯度下降法進行更新。

2 系統(tǒng)設(shè)計

采用MATLAB 的App Designer 模塊設(shè)計電力設(shè)備紅外圖像溫度值識別與記錄系統(tǒng)，包括3 個模塊：圖像載入模塊、圖像識別模塊和異常檢測模塊。系統(tǒng)界面如圖8 所示。

圖8 系統(tǒng)界面Fig.8 System interface

圖像載入模塊可以通過添加文件夾的形式批量加載所有電力設(shè)備紅外圖像，點擊識別記錄按鈕可以實現(xiàn)對電力設(shè)備紅外圖像中溫度值識別，并將溫度值定位結(jié)果與溫度值識別結(jié)果顯示在界面上，進而通過異常檢測模塊根據(jù)溫度信息和電力設(shè)備運行準(zhǔn)則判斷出設(shè)備狀態(tài)。設(shè)計的系統(tǒng)可以輸出圖像信息，包括設(shè)備紅外圖像中溫度的最大值與最小值、圖像名稱以及設(shè)備狀態(tài)。

3 實驗結(jié)果與分析

電力設(shè)備紅外圖像采用FLIR 紅外成像儀拍攝，像素為320×240。硬件配置為Intel（R）Core（TM）i5-10400F@2.90 GHz，16.0 GB RAM，NVIDIA GTX 2 060，軟件為MATLAB2019b。

3.1 紅外圖像溫度值數(shù)據(jù)集建立

由于缺少紅外圖像溫度值數(shù)據(jù)集，隨機選取1 000 張紅外圖像，分別提取“0～9”和“?”共11 個標(biāo)簽的溫度值圖像。根據(jù)上述溫度值的定位和分割獲取溫度值樣本，為保證后續(xù)識別的統(tǒng)一性，將所有溫度值圖像像素大小調(diào)整為16×16。通過分析可知，紅外圖像的溫度值一般分布在?20～110℃，并且各標(biāo)簽樣本出現(xiàn)的頻率不同，“3”和“5”最多、“?”最少，為保證各標(biāo)簽樣本數(shù)量一致，經(jīng)過篩選和處理后每個標(biāo)簽樣本保留200 張，最終共建立了11×200 張圖像的電力設(shè)備溫度值數(shù)據(jù)集。

3.2 實驗結(jié)果

將電力設(shè)備溫度值數(shù)據(jù)集按照8:2 的比例分為訓(xùn)練集與測試集。CNN 的具體參數(shù)設(shè)置為：學(xué)習(xí)率為0.5，衰減率為0.99，損失函數(shù)系數(shù)為0.01，批量大小為11，迭代2 400 次。將測試集輸入到CNN 中得到識別結(jié)果，以標(biāo)簽“0”為例，卷積層和池化層的可視化結(jié)果如圖9 所示。

圖9 標(biāo)簽“0”的特征圖Fig.9 Feature maps of label“0”

CNN 損失和準(zhǔn)確率曲線如圖10 所示。從圖10中可以看出，模型在前200 次迭代迅速下降，之后出現(xiàn)了一段過渡期，在800 次迭代后開始繼續(xù)下降，并在1 700 次時損失開始趨于0，并逐漸收斂。識別的準(zhǔn)確率在500 次迭代后大幅提高，在800 次迭代后準(zhǔn)確率超過95%，在1 500 次迭代后準(zhǔn)確率達到了最大值98.6%。

圖10 訓(xùn)練誤差和測試準(zhǔn)確率曲線Fig.10 Training error and test accuracy curves

3.3 分析與討論

選取準(zhǔn)確率、召回率和F1值作為評價指標(biāo)，并采用十倍交叉檢驗法進行驗證，結(jié)果如表2 所示。可以看出，標(biāo)簽“-”、“0”、“2”、“4”、“7”和“8”的識別正確率達到100%，而“5”識別正確率最低僅為88.89%。十倍交叉檢驗結(jié)果表明字符的整體識別性較好，整體準(zhǔn)確率達到99.04%。在此基礎(chǔ)上選取500 張電力設(shè)備紅外圖像采用上述系統(tǒng)進行分析和測試，其中493 張識別正確，識別的準(zhǔn)確率為98.6%，滿足了使用要求。

表2 溫度值識別結(jié)果Table 2 Temperature value recognition results

為更好地分析測試集中各溫度數(shù)值的識別匹配度，對混淆矩陣進行分析，并提取識別錯誤標(biāo)簽的匹配度，結(jié)果如圖11 和表3 所示。

圖11 混淆矩陣圖Fig.11 Confusion matrix

表3 錯誤標(biāo)簽匹配率Table 3 Matching rate of error labels

可以發(fā)現(xiàn)，“3”、“6”和“9”標(biāo)簽錯誤識別為“5”，這直接影響了“5”的識別準(zhǔn)確率，而錯誤標(biāo)簽的匹配率在50%左右，表明CNN 在錯誤標(biāo)簽識別時的確定性也不高，主要原因在于圖片的相似性和噪聲的干擾，最終導(dǎo)致錯誤識別。

取500 張電力設(shè)備紅外圖像測試不同方法的溫度識別準(zhǔn)確率，結(jié)果如表4 所示?？梢园l(fā)現(xiàn)，HOG+SVM 和PCANet 方法雖然在訓(xùn)練的過程中準(zhǔn)確率較高，但受電力設(shè)備紅外圖像復(fù)雜背景的影響，其泛化和遷移能力不足，在測試時準(zhǔn)確率僅為92%和92.61%。采用Otsu+CNN 方法識別時由于二值化處理效果不好，識別的準(zhǔn)確率僅為96.8%。VGG16 方法采用預(yù)訓(xùn)練和微調(diào)的方式進行識別，測試準(zhǔn)確率在98%左右。本文采用改進的自適應(yīng)閾值二值化處理后訓(xùn)練準(zhǔn)確率超過99%，且識別準(zhǔn)確率達到了98.6%，高于其他方法。此外，HOG+SVM 方法采用HOG 進行特征的抽取，耗時26.34 s。其余方法使用神經(jīng)網(wǎng)絡(luò)進行特征提取，所用時間均在16.5 s 左右。這表明，本文算法能夠快速識別變電設(shè)備紅外圖像上的溫度，滿足實際的使用要求。因此，本文提出的算法識別準(zhǔn)確率高、耗時短，能夠有效地識別溫度值，充分驗證了本文算法在電力設(shè)備紅外圖像中的適用性和可靠性。

表4 不同方法溫度識別結(jié)果Table 4 Temperature recognition results for different methods

4 結(jié)束語

本文根據(jù)電力設(shè)備紅外圖像特點，提出了面向電力設(shè)備紅外圖像的溫度值識別算法。首先，使用改進自適應(yīng)閾值的紅外圖像預(yù)處理算法，通過對紅外圖像進行直方圖統(tǒng)計，自適應(yīng)確定合適的閾值進行預(yù)處理，凸顯了溫度值區(qū)域并有效地去除了背景信息。接著，采用基于輪廓信息的溫度值分割算法，根據(jù)輪廓與相對位置信息對溫度值區(qū)域進行定位，采用垂直投影法進行字符分割。再結(jié)合CNN 進行訓(xùn)練與識別，建立了包含“0～9”和“-”11 個標(biāo)簽2 200 張圖像的溫度值數(shù)據(jù)集，結(jié)合十倍交叉檢驗法進行測試，并選取準(zhǔn)確率、召回率、F1值評價其性能。最后，基于MATLAB 中App Designer 模塊設(shè)計電力設(shè)備紅外圖像溫度值識別與記錄系統(tǒng)。結(jié)果表明，本文提出的算法的溫度值識別準(zhǔn)確率達到98.6%，高于傳統(tǒng)的字符識別算法，設(shè)計的溫度值識別與記錄系統(tǒng)將電力設(shè)備紅外圖像與仿真程序整合在一起，操作簡單，圖形用戶界面友好，降低了電力檢修人員的勞動強度，能夠及時記錄電力設(shè)備狀態(tài)，提高了巡檢效率。