基于U-Net的輸電線覆冰識別

莊紅軍,張偉,杜昊,李克明,周海,魯彩江

(1.貴州電網(wǎng)有限責任公司畢節(jié)供電局，貴州 畢節(jié) 330006；2.貴州電網(wǎng)有限責任公司，貴州 貴陽 550002；3.西南交通大學機械工程學院機電測控系，四川 成都 610036)

受空氣氣溫等各種環(huán)境的綜合影響，在冬季溫度低、水汽充足的情況下，附著在電力線上的過冷水滴由于釋放潛熱而固化最終極易形成覆冰。而寒冷時節(jié)，大量覆冰可能引發(fā)電力線路斷股、絕緣子倒轉(zhuǎn)甚至桿塔傾斜或倒塌，造成重大安全事故[1]。

目前國內(nèi)外對覆冰電力線識別的研究取得了重大進展。傳統(tǒng)的做法是用數(shù)字圖像處理的方法來檢測覆冰電力線，如自適應閾值分割、形態(tài)學濾波[2]，但這兩種算法只能從背景簡單的圖像中檢測出覆冰電力線且無識別功能；LOG算子[3]、融合多尺度小波變換[4]的邊緣檢測算法結(jié)合Hough直線檢測可以很好地識別出覆冰電力線邊緣，但Hough直線檢測易受閾值大小、復雜背景的影響；依照“先驗特征”先對電力線區(qū)域進行分割后再用Hough直線檢測可以消除復雜背景的影響、結(jié)合最小二乘法的Hough直線檢測算法可以有效解決Hough直線檢測受閾值大小影響的問題，但Hough直線檢測對于形狀各異的覆冰(帶有冰柱、邊緣為曲線)則無法識別。

深度學習中的語義分割具有準確度高的特點，尤其在U-Net網(wǎng)絡結(jié)構(gòu)被提出后，該網(wǎng)絡一直在圖像分割領(lǐng)域因其優(yōu)異表現(xiàn)受到人們的關(guān)注。語義分割其目標是對圖像中的每一個像素分配語義標簽[5]，雖然輸電線的覆冰形狀各異也可準確的識別。為準確識別輸電線的覆冰，本文提出了一種基于改進的U-net輸電線路覆冰識別方法?；诰矸e神經(jīng)網(wǎng)絡的開山之作全卷積神經(jīng)網(wǎng)路FCN[6]，網(wǎng)絡結(jié)構(gòu)如圖1所示，首次提出了反卷積的概念，對最后一層卷積層的輸出特征實施上采樣直至恢復原始輸入圖像大??；另外，為了提高分割的精度，F(xiàn)CN還引入了Skip結(jié)構(gòu)，分別FCN還使用skip結(jié)構(gòu)，將卷積層第5層的32倍、第4層的16倍和第3層的8倍上采樣特征圖融合在一起，這些低層次的特征信息的加入使得分割結(jié)果更為精細[7]。

圖1 FCN網(wǎng)絡結(jié)構(gòu)Fig.1 FCN network structure

1 U-Net神經(jīng)網(wǎng)絡介紹

圖像分割簡單來說就是選擇出同一區(qū)域的圖像并且施加標記，為后續(xù)的視覺分析過程做準備?；谏疃葘W習的語義分割方法，所需數(shù)據(jù)集往往非常大，而且要達到較高精度的識別要求，經(jīng)常需要數(shù)天甚至數(shù)周的訓練時間。因此如何針對覆冰線路、小樣本、非規(guī)則結(jié)冰的圖像進行語義分割一直是覆冰線路識別的難題。而近些年來，適用于小數(shù)據(jù)集的U-net作為全卷積神經(jīng)網(wǎng)絡的一種變形，通過對圖片中單個像素進行分析處理，加以分類，可以顯著提高目標的準確率，因此對于深度學習中較少樣本的覆冰導線識別有很大幫助，并且與其他網(wǎng)絡結(jié)構(gòu)相比，U-net的檢測速度，大大提高。經(jīng)典的U-net是一個2D全卷積神經(jīng)網(wǎng)絡，由于生物醫(yī)學采樣代價高，采樣數(shù)量小的特點，特別適合采用U-net處理生物醫(yī)學圖像分割網(wǎng)絡,同樣的，當然適用于其他采樣率低的領(lǐng)域[8]。鑒于此，本文基于改進 U-net 語義分割的輸電線路覆冰識別，對下采樣、上采樣做出了改進，以實現(xiàn)對形狀各異的覆冰線路進行快速準確的識別。

1.2 下采樣

下采樣的目的是提取輸電線覆冰的特征以便于分類，通常是通過連續(xù)的卷積、池化實現(xiàn)[9]。卷積，其過程是多個卷積核在輸入特征上作滑動操作，對滑動過程中覆蓋的區(qū)域作乘加運算，當滑動操作遍歷了整個輸入特征最終得到該卷積層的輸出特征，最后將這些特征輸入到下一個卷積層做進一步的運算。其計算公式如下：

y(i,j)=∑s∑tw(s,t)f(i+s,j+t)+b

(1)

上式中y(i,j)為輸出的特征值，w(s,t)為卷積核的值，f(i+s,j+t)為輸入特征值，b為偏置。假設輸入特征的大小W×W，卷積核的大小為F×F，步長為S，填充的像素數(shù)為P，則輸出特征的大小N為：

(2)

在卷積操作后，往往會增加一個池化層，對卷積后的輸出特征進行壓縮，提取主要特征[10]，在提取特征的同時使特征圖變小，減小參數(shù)量，從而簡化整個網(wǎng)絡的計算復雜度。

1.3 上采樣

在下采樣中，通過連續(xù)的卷積與池化完成特征的提取，隨著網(wǎng)絡的加深，提取到的特征維數(shù)越來越多、而尺寸卻越來越小。與此相反，上采樣是使特征從小變大的操作，常用的上采樣包括反池化、雙線性插值和反卷積等[11]。U-Net可以保留池化的具體信息，而這些信息保留了圖像的位置信息，使用這些圖像的信息實現(xiàn)上采樣，一方面會提高語義分割的精度，另一方面會減小網(wǎng)絡的計算量，但同時也會增加計算機內(nèi)存的消耗，提高準確性。在U-Net網(wǎng)絡中，使用反卷積來完成上采樣，以擴大特征的尺寸恢復至原圖大小。如圖2所示為反卷積過程的示意圖，對于一個3×3的輸入特征，使用3×3的卷積核，步長為2、填充為1時，最終輸出特征的尺寸為5×5。

圖2 反卷積過程示意圖Fig.2 Schematic diagram of the deconvolution process

1.4 U-Net網(wǎng)絡結(jié)構(gòu)

U-Net對FCN網(wǎng)絡進行了改進所提出網(wǎng)絡結(jié)構(gòu)。由于其強大的性能表現(xiàn)，廣泛應用于醫(yī)療診斷、自動駕駛、遙感分析等領(lǐng)域。其網(wǎng)絡結(jié)構(gòu)如圖3所示，它由左半邊的下采樣和右半邊的上采樣兩部分組成，因其網(wǎng)絡結(jié)構(gòu)呈U型，故稱作U-Net。下采樣部分是典型的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)，它重復采用2個3×3的卷積層和1個最大池化層的結(jié)構(gòu)，在每經(jīng)過一次池化操作后特征圖的維數(shù)就增加1倍、大小縮小1倍；在該部分經(jīng)過4次池化后特征的尺寸由416×416變?yōu)?6×26，縮小為前者的1/16。在上采樣部分，通過連續(xù)的卷積與池化，雖然提取到了有利于像素點分類的高層次特征，但同時也丟失了與目標物體邊緣、位置等相關(guān)的細節(jié)信息[12]，故需要上采樣恢復特征尺寸的大?。皇紫?，對下采樣的1/16倍特征運用反卷積上采樣得到1/8特征，然后將上采樣得到的1/8特征與下采樣的1/8特征進行拼接，并用連續(xù)的2個卷積層進行特征提取，緊接著再次使用反卷積上采樣得到1/4特征；并重復上述過程直至得到與輸入圖像相同大小的特征。

圖3 U-Net網(wǎng)絡結(jié)構(gòu)Fig.3 U-Net network structure

在網(wǎng)絡的最后，需對特征進行歸一化處理到0-1之間。在深度學習中，尤其是多分類場景，softmax函數(shù)常常被用來對輸入數(shù)據(jù)作歸一化處理[13]，它能將多通道的輸入數(shù)據(jù)歸一化到0-1之間，得到預測概率，且每個通道上的值的總和也為1。其表達式如下式所示：

(3)

上式中xi為某個像素的一個通道的值，yi為預測概率，C為通道數(shù)。

U-Net所需訓練樣本較少，速度快，比滑動卷積網(wǎng)絡效果更好．使用輸電線圖像和對應的分割圖譜來訓練網(wǎng)絡。最后運用Softmax函數(shù)完成對圖片中每個像素進行分類，低層次的特征信息的加入使得分割結(jié)果更為精細。

2 實驗參數(shù)設置

損失函數(shù)用于描述模型的預測值和真實值之間的差距大小，在本文中，選用均值平方差(Mean Squared Error，MSE)作為損失函數(shù)，均值平方差也叫均方誤差[14]，簡單來說就是求取每一個預測值與真實值之差平方的平均值，如式所示，其中f(xi)是預測值，yi是真實值，MSE的值越小，表明模型越好。

(4)

選用Adam算法對訓練過程中的參數(shù)進行更新，Adam通過計算梯度的一階矩估計和二階矩估計為不同的參數(shù)設計獨立的自適應學習率，其參數(shù)更新方式如下：

(5)

上式中β1、β2分別為一階矩估計vt和二階矩估計st的指數(shù)衰減因子，α為初始學習率，ε是為了防止分母為0的非常小的正數(shù)。為了加快模型的收斂速度，本文選用Adam算法作為參數(shù)優(yōu)化器，并設置參數(shù)β1=0.9，β2=0.999，α=0.001，ε=10E-8。

3 實驗結(jié)果及分析

為了驗證改進的U-net網(wǎng)絡模型在覆冰線路識別中的優(yōu)越性和可行性，本文進行了仿真實驗，為了模擬真實的電力線路覆冰環(huán)境，特意在戶外搭建實驗測試平臺，模擬輸電線路結(jié)冰環(huán)境，選取一定覆冰厚度的導線，架設相機，順光拍攝，盡可能避免建筑物、植物、天空等干擾背景，然后進行圖像采集。

3.1 數(shù)據(jù)源

首先，根據(jù)模擬覆冰環(huán)境，拍攝覆冰導線，收集相機拍攝的圖片，由于需要的照片數(shù)量居多。常?？刂葡鄼C轉(zhuǎn)動一定角度以改變相機位置獲得不同圖片，所以拍照的照片，往往會有覆冰圖像模糊、目標不明顯或者拍攝角度不佳等問題，因此需要進行清晰的可視化處理，從照片集中篩選出結(jié)冰邊緣分辨率高并且視野在整體圖像中適宜居中的圖片，以便后期對圖像中輸電線路的結(jié)冰邊緣部分分析。覆冰輸電線上結(jié)冰邊緣是本實驗的研究重點，邊緣的識別決定了識別的精確度。所以在選擇數(shù)據(jù)集時，主要選擇輸電線覆冰清晰可見。

其次，通過攝像儀采集覆冰線路的表面情況，采集的線路圖像尺寸為3840×2160，如果直接使用原始覆冰線路圖像進行深度學習，由于處理的數(shù)據(jù)量龐大，會極大地增加網(wǎng)絡模型的訓練與使用時間，從而降低識別效率；但是如果縮小原始覆冰圖像的尺寸以后，在進行基于改進U-net網(wǎng)絡的深度學習，圖像會丟失很多覆冰的特征，從而減少模型可以學習的原始特征，最后導致深度學習的識別性能不佳[15]。為避免出現(xiàn)以上兩種現(xiàn)象，本文最終采取對原始覆冰圖像進行切分的方法，這樣不僅可以在降低處理數(shù)據(jù)的基礎(chǔ)上保留覆冰圖像的特征，還增加了覆冰線路原始數(shù)據(jù)的多樣性。

最終制作了輸電線覆冰數(shù)據(jù)集，該數(shù)據(jù)集包含輸電線、覆冰和背景三類對象，包括800張訓練集200張驗證集和200張測試集。在仿真實驗中，通過搭建的覆冰導線實驗臺獲取覆冰線路圖像數(shù)據(jù)后進行網(wǎng)絡模型的訓練和測試，進而驗證改進U-net網(wǎng)絡模型在線路覆冰圖像識別中的優(yōu)越性。

3.2 檢測結(jié)果分析

對U-Net網(wǎng)絡的訓練過程中的參數(shù)設置如上節(jié)所述，使用均方平方差作為損失函數(shù)、Adam算法作為優(yōu)化器，使用方向傳播算法進行訓練。在訓練過程中對驗證集的損失值和準確度進行監(jiān)控，其值變化曲線圖如圖4所示：藍色的線為訓練過程中的損失值，對于訓練集，當最開始訓練epoch=0時loss值較大為3.48，隨著訓練次數(shù)的增多，loss值整體呈現(xiàn)快速減小趨勢，直到epoch=62時loss值降為0.105，此時模型收斂停止訓練；紅色曲線為機器學習訓練過程中驗證集上的準確度，當模型收斂時在測試集上的準確度為0.98。

圖4 訓練損失值與準確度隨著迭代次數(shù)的變化

用收斂的模型在測試集上作測試，最終的實驗結(jié)果如圖5所示：該圖分為三橫排，從上到下依此為原圖、標簽圖和U-Net網(wǎng)絡的識別結(jié)果，其中標簽圖由語義分割標注軟件labelme經(jīng)過精細標注得到，紅色的區(qū)域為輸電線覆冰，綠色的區(qū)域為輸電線，黑色區(qū)域則為背景。從最終的識別結(jié)果，我們可以看出，基于U-Net的輸電線覆冰識別方法，能夠在復雜的背景下準確無誤的識別出輸電線覆冰，而傳統(tǒng)的依靠邊緣檢測+Hough直線的數(shù)字圖像處理方法在這種情況下識別效果較差，因此基于U-Net的輸電線覆冰識別方法適應性更強，具有較好的現(xiàn)場應用價值。

圖5 U-Net網(wǎng)絡在測試集上識別結(jié)果Fig.5 U-Net network recognition results on the test set

當覆冰識別模型分別在訓練集和驗證集上收斂后，我們用上面的測試集測試該覆冰模型的精度。近些年以來，語義分割任務發(fā)展出許多標準可以從不同方面衡量識別算法的精度，常用的有像素精度、均像素精度、均交并比和頻權(quán)交并比，其中，均交并比因其分割精度的顯著提高收到大多數(shù)語義分割研究人員的喜愛。因此，本文使用語義分割領(lǐng)域常用的評價指標均交并比(Mean Intersection over Union，MIoU)來評價該算法的識別精度[16]。其定義如下，為了方便描述，假設共有k+1類(從L0到LK，其中包含背景類)，pij表示屬于i類但被預測為j類的像素個數(shù)，pii表示預測正確的像素數(shù)，而pij、pji分別表示分類錯誤的正樣本和分類錯誤的負樣本[13]，則MIoU的值：

(6)

U-Net在輸電線覆冰數(shù)據(jù)集上的識別精度如表1所示，MIoU值為80.1%。于編碼網(wǎng)絡的低層次特征具有大小、方向等位置信息，融合這些位置信息進一步提高了分割的精度。

表1 U-Net在輸電線覆冰數(shù)據(jù)集上的識別精度Tab.1 U-Net's recognition accuracy on the transmission line icing data set

從表1可以看出，本文所采用的U-Net卷積網(wǎng)絡模型在覆冰數(shù)據(jù)集的識別方面取得了優(yōu)異的表現(xiàn)，均交并比的指標較好。主要原因是傳統(tǒng)的FCN網(wǎng)絡在對覆冰圖像多次下采樣的過程中丟失了部分特征信息，并且對圖片的跳躍結(jié)構(gòu)的上采樣以后，圖片結(jié)果比較模糊，而且圖像細節(jié)也不敏感；而U-Net對下采樣、上采樣做出了改進，在下采樣中，通過連續(xù)的卷積與池化完成特征的提取，使用反卷積來完成上采樣，以擴大特征的尺寸恢復至原圖大小，大大提高均交并比[17]。

為了進一步說明基于改進的U-net輸電線覆冰識別的有效性，本文分別對簡單背景和復雜背景的輸電線覆冰圖像分割結(jié)果進行比較分析，如表2。分析發(fā)現(xiàn)，對于簡單背景的輸電線覆冰，F(xiàn)CN檢測方法也能達到一定檢測效果，但由于下采樣過程中，池化層的擴大導致了部分覆冰圖像信息的丟失，一些與覆冰信息部分相近的背景被誤檢為覆冰；相比于U-net檢測方法，基于改進的U-net網(wǎng)絡的輸電線覆冰識別方法可以有效的排除相近背景對覆冰的干擾，有效分割出背景，檢測結(jié)果良好。對于復雜背景的輸電線覆冰，F(xiàn)CN檢測方法同樣由于池化層的擴大，導致了部分覆冰圖像信息的丟失，容易將導線覆冰周圍部分誤檢為導線覆冰，難以排除復雜相近的背景影響，干擾較大；相比于FCN檢測方法，基于改進的U-net網(wǎng)絡的輸電線覆冰識別方法，用連續(xù)的卷積與池化，提取到了有利于像素點分類的高層次特征，雖然有位置信息的丟失，但是能夠排除復雜背景和遮擋物的干擾，同時上采樣恢復特征尺寸有效分割出覆冰圖像，檢測效果良好。

表2 輸電線覆冰識別效果對比Tab.2 Comparison of icing recognition effect on transmission lines

從表2可看出，基于改進的U-net網(wǎng)絡覆冰識別算法較FCN檢測算法在識別精度上有了一定的提高?；谏倭扛脖鶊D像數(shù)據(jù)訓練模型，實現(xiàn)了對覆冰導線快速準確檢測。通過FCN與改進的U-net比較可以發(fā)現(xiàn)[18-20]，本文算法在識別精度上有了一定的提高。從檢測結(jié)果與人工實地驗證可知，對于不同背景類別的覆冰導線覆冰都具有很強的魯棒性，基于統(tǒng)計結(jié)果，檢測準確率達到了85.9%以上，該算法具有較高的可靠性。另外，可以發(fā)現(xiàn)，用該方法來識別輸電線覆冰不可避免會帶來誤差?；谝陨戏治觯梢圆扇∫韵碌姆椒▉硖岣吒脖R別的準確度：首先，我們可以提高相機的分辨率，提高監(jiān)控圖像的分辨率可以提升測量精度；其次，對覆冰識別方法進行進一步研究，提高算法的準確度，進而提高覆冰檢測的精度。

4 結(jié)論

(1)本文首先總結(jié)了通過視覺對輸電線覆冰識別的研究進展，并分析了輸電線覆冰識別利用傳統(tǒng)的數(shù)字圖像處理和深度學習方法的優(yōu)缺點，最終確定了基于U-Net的輸電線路覆冰識別方法，充分發(fā)揮深度學習的語義分割在覆冰導線領(lǐng)域識別卓越優(yōu)勢。

(2)提出將語義分割算法應用在輸電線覆冰檢測中，通過下采樣網(wǎng)絡提取覆冰特征、上采樣網(wǎng)絡恢復圖像大小，能在更大的圖像范圍上進行特征提取，同時上采樣時融合了低層次特征以提高最終分割精度；在訓練過程中使用均方誤差作為損失函數(shù)、Adam優(yōu)化算法對網(wǎng)絡參數(shù)進行更新研究了基于U-Net的輸電線覆冰識別方法，選用均方差作為損失函數(shù)，Adam法作為優(yōu)化器對網(wǎng)絡的參數(shù)進行更新。

(3)在輸電線覆冰數(shù)據(jù)集上的實驗結(jié)果表明，該方法能夠在復雜的噪聲下準確無誤的識別出輸電線覆冰，其MIoU值為80.1%，相對于傳統(tǒng)的基于數(shù)字圖像處理的方法，本方法識別速度較快，加快了運算資源，優(yōu)化提升了模型的訓練與識別速度和效率，運行時間滿足工程化的需求具有更好的應用價值。

(4)本文基于改進的U-net網(wǎng)絡，基于少量的覆冰導線數(shù)據(jù)，實現(xiàn)了隨覆冰導線快速準確檢測。通過與FCN算法測試比較,可以發(fā)現(xiàn)本文算法在識別精度上有了一定的提高, 提升了輸電線覆冰識別智能化檢測準確度。