紅外熱成像在電連接溫度監(jiān)測中的應(yīng)用

涂冬明，譚 平，李旭峰，李裕智，丁 進(jìn)

(浙江科技學(xué)院 a.機(jī)械與能源工程學(xué)院; b.自動化與電氣工程學(xué)院，杭州 310023)

近幾年來中國鐵路建設(shè)發(fā)展迅速，其運(yùn)營總里程達(dá)到12.4×104km，電氣化率高達(dá)64.8%。要保障如此龐大的電氣化鐵路網(wǎng)安全運(yùn)營，需要能夠?qū)Ω鱾€(gè)系統(tǒng)進(jìn)行可靠有效的在線監(jiān)測。電連接[1]是指提供接觸網(wǎng)接觸懸掛某些點(diǎn)電氣連接的構(gòu)件。目前電連接的狀態(tài)監(jiān)測主要是通過測量電連接的溫度來判斷其是否處于松脫等不正常狀態(tài)，以避免造成線路拉弧、短路等危害影響列車行車安全。測量電連接的溫度主要有接觸式[2]與非接觸式[3]等方法，如王根[4]提出利用PT100熱電阻測量電連接的溫度；孟新安等[5]提出基于微處理編程技術(shù)和傳感技術(shù)的電連接溫度監(jiān)控裝置，實(shí)現(xiàn)了電連接的在線監(jiān)測?？紤]到電連接一般都位于軌道的正上方，采用接觸式傳感器測溫的方式很可能由于安裝及其他原因影響行車安全。近年來紅外熱成像技術(shù)及其圖像處理技術(shù)這種非接觸式的測量方式在電力系統(tǒng)中得到廣泛應(yīng)用，如林群武等[6-9]利用NSCT圖像增強(qiáng)技術(shù)與PCNN的圖像分割法以及SIFT特征提取技術(shù)等處理紅外熱圖像，實(shí)現(xiàn)了電氣設(shè)備的故障診斷和分析。但在紅外熱成像技術(shù)的實(shí)際應(yīng)用中，接觸網(wǎng)振動、背景熱源、季節(jié)變化等擾動因素造成了使用傳統(tǒng)的圖像檢測方法無法在熱像圖準(zhǔn)確定位出電連接的位置。深度學(xué)習(xí)[10]是近年來機(jī)器視覺領(lǐng)域的研究熱點(diǎn)，研究人員利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)解決了大部分傳統(tǒng)圖像檢測手段無法解決的問題。

基于上述研究，針對傳統(tǒng)目標(biāo)檢測方法因難以提取出高精度、通用性的特征描述算子使得分類檢測效果差的問題，同時(shí)考慮到硬件平臺計(jì)算資源有限，筆者提出一種基于深度學(xué)習(xí)YOLO2模型的電連接定位方法，在粗定位的基礎(chǔ)上利用K-means聚類去除背景干擾，實(shí)現(xiàn)電連接精定位，最終在全幅數(shù)據(jù)圖上獲取電連接各個(gè)像素點(diǎn)對應(yīng)的溫度值。

1 基于深度學(xué)習(xí)的電連接檢測定位

YOLO2是Redmon等[11-12]基于YOLO做出的改進(jìn)版本。YOLO2的目標(biāo)檢測所有流程是在一個(gè)網(wǎng)絡(luò)里完成的，一整幀圖片輸入網(wǎng)絡(luò)，經(jīng)過卷積特征提取、候選框提取，直接輸出目標(biāo)的類別和位置，因此

表1 常用的深度學(xué)習(xí)目標(biāo)檢測框架對比Table 1 Comparison of common target detection framework for deep learning

注：數(shù)據(jù)來源《YOLO9000:Better, Faster, Stronger》。

YOLO2具有更快的速度。YOLO2的優(yōu)點(diǎn)之一是,由于去除了網(wǎng)絡(luò)中的全連接層，改變輸入的圖片尺寸，使得模型可以適應(yīng)不同的輸入分辨率。使用不同分辨率的圖片訓(xùn)練模型，可以使模型提高對小尺寸輸入的處理速度，提高對大尺寸輸入的準(zhǔn)確率。如表1所示，YOLO2與常用的端到端深度學(xué)習(xí)目標(biāo)檢測框架相比，YOLO2在保證準(zhǔn)確率的基礎(chǔ)上具有更快的速度。

本研究基于YOLO2模型的電連接檢測定位，目的是在熱像圖上獲取電連接的感興趣區(qū)域，如圖1所示，檢測定位過程主要分為卷積特征提取、候選框提取、輸出電連接位置等步驟。

圖1 電連接檢測流程Fig.1 Detection process of electrical connection

1.1 卷積特征提取

YOLO2使用包含19個(gè)卷積層和5個(gè)最大池化層的Darknet-19分類網(wǎng)絡(luò)提取目標(biāo)特征，經(jīng)過卷積層32倍降采樣，最終輸出的特征圖尺寸為輸入圖像的1/32。在實(shí)際檢測場景，對小尺寸目標(biāo)進(jìn)行檢測，需要用到淺層次的特征圖。對大尺寸目標(biāo)進(jìn)行檢測，需要用到深層次的特征圖。將尺寸為輸入圖像1/16的特征圖進(jìn)行疊加，并與尺寸為輸入圖像1/32的特征圖進(jìn)行連接，使其具有細(xì)粒度特征提高模型的性能。

1.2 候選框提取

YOLO2借鑒了Faster-RCNN[13]的anchor思想，使用anchor box在特征圖上進(jìn)行滑窗采樣，直接預(yù)測候選框，因此anchor box設(shè)計(jì)的好壞直接影響最后的檢測結(jié)果。Joseph Redmon等對數(shù)據(jù)集中標(biāo)記的目標(biāo)框進(jìn)行維度聚類，以聚類個(gè)數(shù)k作為anchor box個(gè)數(shù)，以k個(gè)聚類中心box的維度作為anchor box的維度，避免了因手工設(shè)計(jì)的先驗(yàn)anchor box對最終的預(yù)測位置造成偏差。在實(shí)際應(yīng)用中針對特定的檢測任務(wù)，需要對數(shù)據(jù)集進(jìn)行重新聚類。每個(gè)預(yù)測候選框包含中心點(diǎn)橫坐標(biāo)(x)、中心點(diǎn)縱坐標(biāo)(y)、框?qū)?、框高及置信度?/p>

1.3 輸出電連接位置

首先在訓(xùn)練的過程中，每個(gè)候選框都包含有目標(biāo)的置信度Conf(Object),計(jì)算公式為

(1)

對存在目標(biāo)物的候選框進(jìn)行電連接的檢測定位，每個(gè)候選框的置信度與每個(gè)網(wǎng)格預(yù)測的電連接類別概率相乘，會得到每個(gè)候選框包含電連接的置信度Conf(E)，計(jì)算公式如下：

(2)

式(2)中：Pr(CE)為電連接的類別概率。

最終算法會輸出大量目標(biāo)框，利用非極大值抑制(non-maximum suppression, NMS)去除分?jǐn)?shù)較低的目標(biāo)框，找到最佳的電連接檢測位置。

1.4 結(jié)果評價(jià)

在測試中一般使用查準(zhǔn)率(Precision)、查全率(Recall)以及F1-Measure綜合評價(jià)指標(biāo)來評價(jià)結(jié)果[14]。查準(zhǔn)率指檢出的準(zhǔn)確目標(biāo)占檢出的目標(biāo)總數(shù)的比率,是衡量網(wǎng)絡(luò)檢出目標(biāo)準(zhǔn)確度的尺度。查全率指檢出的目標(biāo)占待檢全部目標(biāo)總數(shù)的比率，是衡量網(wǎng)絡(luò)檢出目標(biāo)的能力。F1-Measure是查全率和查準(zhǔn)率的加權(quán)調(diào)和平均，用來衡量網(wǎng)絡(luò)綜合檢出能力的指標(biāo)。

(3)

(4)

(5)

式(3)～(4)中：TP為真正例；FP為假正例；FN為假反例。

在本研究中檢測速度也是一個(gè)很重要的指標(biāo)，由于整個(gè)算法運(yùn)行在類似樹莓派這種單板微機(jī)上，完成檢測一幀圖的時(shí)間基本上在30 s以上，因此，本研究通過記錄完成檢測一幀圖的平均時(shí)間來評價(jià)檢測速度。

2 基于K-means的電連接背景分割

如圖2所示，YOLO2最后輸出的目標(biāo)框?yàn)榫匦慰?，電連接的周圍還包含了大量的背景噪聲，因此還需要對圖像作進(jìn)一步的分割。目前圖像分割方面有很多經(jīng)典的分割方法，例如閾值分割、邊緣分割等。最大類間方差法[15]在自適應(yīng)閾值二值化去背景中有著廣泛應(yīng)用，且計(jì)算不復(fù)雜，但它對噪聲和目標(biāo)尺寸十分敏感，僅對類間方差為單峰的圖像產(chǎn)生較好的分割效果，在不同場景下，由于電連接熱像圖拍攝角度、距離及其他影響，類間方差準(zhǔn)則函數(shù)可能為多峰，從而影響分割效果。其他分割方法因計(jì)算復(fù)雜對硬件計(jì)算能力有一定的要求。因此，本研究提出了利用K-means對粗定位之后的電連接圖像進(jìn)行分割，這在一定程度上可以避免因閾值的問題造成最后的測量誤差。

圖2 經(jīng)YOLO2粗定位后的電連接局部圖Fig.2 Partial electrical connection graph after YOLO2 rough positioning

2.1 K-means算法

K-means[16]是一種典型的基于距離的動態(tài)聚類算法，它具有簡單、快速的優(yōu)點(diǎn)。其主要步驟是：隨機(jī)選定K個(gè)數(shù)據(jù)作為需要?jiǎng)澐值臄?shù)據(jù)集的初始聚類中心；計(jì)算其余每個(gè)數(shù)據(jù)到各個(gè)初始聚類中心的距離，把距離該數(shù)據(jù)最近的聚類中心所處的類作為歸屬類；重新計(jì)算出K個(gè)類的中心，劃分每個(gè)數(shù)據(jù)的簇類，不斷重復(fù)，直至誤差平方和準(zhǔn)則函數(shù)滿足收斂條件，評價(jià)指標(biāo)J最小。

(6)

式(6)中：xi為第k個(gè)簇包含的數(shù)據(jù)；uk為第k個(gè)聚類中心的位置。

在不同的應(yīng)用場景下，不同數(shù)據(jù)集中的研究對象以不同的方式逼近聚類中心時(shí)，需要選擇不同的距離函數(shù)。常見的距離計(jì)算公式有最常用的歐氏距離公式、市郊區(qū)距離公式，以及常用于文本聚類的余弦距離公式。

(7)

(8)

(9)

式(7)～(9)中：xi和xj分別為N維歐氏空間中的兩個(gè)點(diǎn)。

在熱像圖上電連接分布接近長條形，因此選擇式(7)計(jì)算距離較為合適。使用K-Means時(shí)需要確定K值。研究的電連接熱像圖是經(jīng)過YOLO2定位之后的圖片，只需要?jiǎng)澐殖鲭娺B接和背景干擾這兩種簇類，因此聚類分析的類別數(shù)K=2，在確定了距離公式和類別數(shù)后進(jìn)行聚類操作切割圖片。

2.2 圖像切割性能評價(jià)

圖像切割性能評價(jià)[17]有兩種基本方法，一是通過對分割后圖像的質(zhì)量參數(shù)來評價(jià)相應(yīng)切割算法的無監(jiān)督評價(jià)法；二是通過對分割后圖像與理想算法分割的參考圖像進(jìn)行對比的有監(jiān)督評價(jià)法。無監(jiān)督評價(jià)的指標(biāo)一般有區(qū)域內(nèi)一致性指標(biāo)、區(qū)域間差異性指標(biāo)、語義性指標(biāo)等。在測試過程中，使用這三大指標(biāo)來評價(jià)K-means在電連接圖像分割上的性能。在具體的量化指標(biāo)之外，還可以用主觀比對的方法來定性判斷圖片前景與背景分割的好壞。

考慮到在實(shí)際局部電連接圖切割的應(yīng)用場景中，無法通過現(xiàn)有手段獲取理想的參考圖像，而且進(jìn)行圖像切割的目的是將電連接與背景分割開來，本質(zhì)上是一個(gè)二值化問題，無監(jiān)督的評價(jià)方法并不適用。故本研究在大樣本測試的基礎(chǔ)上進(jìn)行主觀比對來判斷算法性能的好壞。

3 試驗(yàn)結(jié)果及討論

3.1 數(shù)據(jù)集來源

數(shù)據(jù)集來自上海鐵路局杭州工務(wù)段基地普速線路現(xiàn)場拍攝的不同角度不同距離的電連接紅外圖片，經(jīng)過旋轉(zhuǎn)、添加高斯噪聲等數(shù)據(jù)增強(qiáng)[18]方法后，總共在尺寸為480 pixel×480 pixel的熱像圖上獲取4 720個(gè)如圖3所示的電連接樣本，其中2 060個(gè)樣本為訓(xùn)練集，2 020個(gè)為測試集。

圖3 測試集包含的樣本圖片F(xiàn)ig.3 Sample picture contained in test set

3.2 基于YOLO2的電連接檢測定位

由于電連接的實(shí)際尺度較小，而且整個(gè)目標(biāo)檢測框架運(yùn)行在單板微機(jī)上，要滿足一定的檢測效率和檢測準(zhǔn)確率則需要對YOLO2進(jìn)行調(diào)整。前文提到，針對當(dāng)前電連接訓(xùn)練集重新進(jìn)行聚類操作，可以提高目標(biāo)檢測的速度和候選目標(biāo)框位置的精度。同時(shí)利用YOLO2支持多尺度訓(xùn)練的特性，在訓(xùn)練過程中改變輸入的圖像尺寸，以提高小尺寸圖像的檢測速度和大尺寸圖像的檢測準(zhǔn)確率。

3.2.1 計(jì)算anchor box

圖4 不同K值聚類情況分析Fig.4 Analysis of different K value clustering

對當(dāng)前訓(xùn)練集手工標(biāo)記的目標(biāo)框進(jìn)行聚類操作，使用K-means++計(jì)算出當(dāng)前訓(xùn)練集的最佳a(bǔ)nchor box。不同的聚類個(gè)數(shù)對生成anchor box會有很大的影響，本研究中使用平方誤差和(SSE)和平均交并比(ArgIOU)是否大于0.8來綜合評估聚類結(jié)果的好壞。由于受平均復(fù)雜度和ArgIOU的影響，在anchor box的維度聚類中只進(jìn)行了9次聚類嘗試。聚類過程如圖4所示，K表示聚類中心個(gè)數(shù)，K值越大,SSE越小，ArgIOU越大。當(dāng)K=2時(shí)，SSE變化最大，但ArgIOU<0.8；當(dāng)K>6時(shí)，SSE變化也較大，ArgIOU>0.8；根據(jù)手肘法[19]判斷6為最佳的聚類個(gè)數(shù)。當(dāng)K=6時(shí)，聚類分布如圖5所示(橫、縱坐標(biāo)分別表示真實(shí)標(biāo)準(zhǔn)框歸一化后的寬度和高度)，不同的形狀代表不同聚類中心的簇,其簇中心尺寸如表2所示。

圖5 K=6時(shí)的聚類分布Fig.5 Clustering distribution when K=6

3.2.2 多尺度訓(xùn)練

由于YOLO2輸入的圖片需要經(jīng)過32倍降采樣，因此調(diào)整圖片大小均為32的倍數(shù)。故將訓(xùn)練集中樣本的尺寸調(diào)整為224 pixel×224 pixel，320 pixel×320 pixel, 416 pixel×416 pixel。在訓(xùn)練過程中每隔10輪即改變輸入圖像的尺寸。

3.2.3 檢測結(jié)果

試驗(yàn)中，模型訓(xùn)練放在臺式計(jì)算機(jī)進(jìn)行，臺式計(jì)算機(jī)的配置為INTEL I7-7700中央處理，TITAN-XP顯卡，32 GB內(nèi)存。模型測試放在樹莓派Raspberry Pi3，均運(yùn)行Linux系統(tǒng)和Python2.7測試環(huán)境。經(jīng)過10 000次訓(xùn)練迭代，YOLO2調(diào)整前后的測試結(jié)果如表3、圖6所示。

表3 YOLO2調(diào)整前后結(jié)果對比Table 3 Comparison of results before and after YOLO2 adjustment

圖6 檢測結(jié)果Fig.6 Detection result

從表3可以看出，在熱像圖上使用YOLO2檢測定位電連接都能達(dá)到較高的查全率和查準(zhǔn)率，F(xiàn)1-Measure綜合性能也能達(dá)到97%以上,在樹莓派上能在4 min之內(nèi)完成一幀圖的檢測任務(wù)，滿足10 min溫度監(jiān)測間隔的需求。YOLO2調(diào)整后較調(diào)整前各項(xiàng)評價(jià)指標(biāo)均提高了約1%，同時(shí)在檢測速度上也有一定的提升。從圖6中可以看出調(diào)整前的模型檢測結(jié)果有重疊目標(biāo)框的出現(xiàn)，調(diào)整后的網(wǎng)絡(luò)則沒有這種情況出現(xiàn)，總體來講調(diào)整后的YOLO2能較好地完成電連接定位任務(wù)。

3.3 基于K-means的電連接背景分割

為了驗(yàn)證K-means算法在電連接背景分割中是否有效，將本研究使用的K-means算法與基于大律法的自適應(yīng)閾值二值化進(jìn)行大量樣本對比試驗(yàn)，試驗(yàn)結(jié)果如圖7～8所示。從圖中可以看出，自適應(yīng)閾值二值化處理后圖片并不能完全去除背景，反而把部分背景歸為了電連接這一類；在K-means聚類后的二值化圖片可以將背景完全去除，雖然損失了部分像素點(diǎn)，但這對后續(xù)的溫度計(jì)算影響并不是很大。因此可以使用K-means算法將電連接從局部圖中分割出來。

圖7 樣本1兩種算法處理結(jié)果對比Fig.7 Result comparison of two algorithms of sample 1

圖8 樣本2兩種算法處理結(jié)果對比Fig.8 Result comparison of two algorithms of sample 2

4 結(jié) 論

為解決紅外熱像技術(shù)在電連接溫度監(jiān)測中無法準(zhǔn)確獲取電連接溫度值的問題，本研究應(yīng)用了深度學(xué)習(xí)YOLO2模型實(shí)現(xiàn)了在熱像圖中電連接的檢測和定位，同時(shí)保證了較高的檢測準(zhǔn)確率和檢測速度。在定位的基礎(chǔ)上利用K-means聚類基本實(shí)現(xiàn)了電連接與背景的分割，為后續(xù)的計(jì)算過程打下了基礎(chǔ)，給鐵路接觸網(wǎng)電連接溫度在線監(jiān)測提供了一種方法。