基于語義信息分塊的高像素導(dǎo)線缺陷目標(biāo)識別

廖如超，張 英，廖建東，袁新星，康泰鐘

(1.廣東電網(wǎng)有限責(zé)任公司機(jī)巡作業(yè)中心，廣東 廣州 510145 ；2.北京數(shù)字綠土科技有限公司，北京 100089)

輸電導(dǎo)線是輸電系統(tǒng)中重要的設(shè)備，而輸電導(dǎo)線需要跨越復(fù)雜的地理環(huán)境，如高山深林、沙漠戈壁[1-4]。在復(fù)雜的環(huán)境中，輸電導(dǎo)線面臨著風(fēng)吹雨打、電閃雷擊、冰敷等惡劣天氣帶來的損害[5]，極易造成雷擊、散股、斷線等電力故障[6]。這些電力故障若不及時(shí)發(fā)現(xiàn)和處理，極易引發(fā)電力事故。在巡檢過程中，運(yùn)維人員能夠?qū)?dǎo)線進(jìn)行精細(xì)化巡檢，發(fā)現(xiàn)導(dǎo)線缺陷，并及時(shí)匯報(bào)反應(yīng)處理，對電網(wǎng)安全可靠運(yùn)行有著重要實(shí)際意義。

對架空線路的導(dǎo)線檢測，若依靠人工巡檢，會(huì)存在檢測效率低、工作強(qiáng)度大、人力管理成本大、安全性低等問題。近些年，為了提高巡檢效率和降低巡檢成本，大部分架空線路巡檢運(yùn)維工作都會(huì)通過無人機(jī)、直升機(jī)、機(jī)器人等巡檢手段采集導(dǎo)線圖像，并對其進(jìn)行缺陷識別。而所采集的圖像信息還需人工檢驗(yàn)，缺陷自動(dòng)化識別是進(jìn)一步提高巡檢效率的關(guān)鍵。圖像處理、深度學(xué)習(xí)等技術(shù)在自動(dòng)化巡檢流程中得到了廣泛的應(yīng)用[7-8]。文獻(xiàn)[9]通過設(shè)計(jì)模擬退火微粒群算法實(shí)現(xiàn)導(dǎo)線圖像分割后，利用改進(jìn)的Freeman鏈碼表示法對輸電導(dǎo)線進(jìn)行目標(biāo)提取，復(fù)原缺失部分實(shí)現(xiàn)導(dǎo)線完整提取，其算法僅實(shí)現(xiàn)其導(dǎo)線的提取部分，并沒有定位其缺陷位置。在導(dǎo)線缺陷識別方面，文獻(xiàn)[10]通過感知定律的共線性和分段灰度的相似度實(shí)現(xiàn)檢測導(dǎo)線上的斷股與異物檢測的研究；文獻(xiàn)[11]應(yīng)用小生境遺傳算法尋找最優(yōu)的Gabor濾波器參數(shù)，在利用該分割閾值和圖像能量二值化得到導(dǎo)線缺陷檢測結(jié)果；文獻(xiàn)[12]提出通過紋理斜率分布的散股判定模型，而算法在復(fù)雜背景如樹木、道路等效果不佳。在深度學(xué)習(xí)應(yīng)用中，文獻(xiàn)[13]提出利用徑向基概率神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)輸電導(dǎo)線缺陷狀態(tài)識別，而該方法不能全面覆蓋導(dǎo)線缺陷情況；在高分辨率圖像目標(biāo)識別的研究中，文獻(xiàn)[14]通過改進(jìn)Yolov3的殘差網(wǎng)絡(luò)模塊，實(shí)現(xiàn)對高分辨的遙感圖像中飛機(jī)的目標(biāo)識別，獲得了99.72%的準(zhǔn)確率和98.34%的召回率；文獻(xiàn)[15]通過改進(jìn)Faster R-CNN，實(shí)現(xiàn)了對高分辨率的遙感圖像中房屋等特定目標(biāo)的識別。但以上算法未考慮實(shí)時(shí)識別的需求。

本文基于切片分塊的思想[16]對導(dǎo)線圖像分塊處理，從而減少目標(biāo)識別模型的輸入大小，以此減少目標(biāo)識別模型的計(jì)算時(shí)間，滿足實(shí)時(shí)識別需求。另外，導(dǎo)線圖像分塊處理需對導(dǎo)線區(qū)域進(jìn)行識別，利用現(xiàn)有主流圖像分割模型U-net實(shí)現(xiàn)對圖像導(dǎo)線區(qū)域分割，并探索U-net的輸入大小會(huì)對模型計(jì)算時(shí)間的影響。在此基礎(chǔ)上，為了方便對導(dǎo)線區(qū)域作分塊處理，通過網(wǎng)格化圖像實(shí)現(xiàn)導(dǎo)線區(qū)域位置的定位。進(jìn)一步地，為了提高對導(dǎo)線區(qū)域中小目標(biāo)識別的準(zhǔn)確率，通過導(dǎo)線區(qū)域位置和降采樣比例提取高分辨率原圖像的導(dǎo)線區(qū)域。最后，將該提取的導(dǎo)線區(qū)域圖像作為目標(biāo)識別模型的輸入，其中目標(biāo)識別模型采取骨干網(wǎng)絡(luò)為Mobilenetv2的Yolov3模型，對導(dǎo)線缺陷如斷股、散股、燒蝕等進(jìn)行目標(biāo)識別，對分割過程和識別過程的損失函數(shù)進(jìn)行分別優(yōu)化。為了驗(yàn)證在具體場景中的實(shí)時(shí)性和識別率是否達(dá)到巡檢需求，利用由歷史巡檢數(shù)據(jù)中的導(dǎo)線缺陷樣本進(jìn)行測試，實(shí)際測試效果顯示該方法能夠滿足無人機(jī)巡檢過程對導(dǎo)線缺陷識別需求。

1 語義分割導(dǎo)線區(qū)域

為了獲取導(dǎo)線目標(biāo)區(qū)域，需要對巡檢圖像中的導(dǎo)線區(qū)域進(jìn)行提取。深度學(xué)習(xí)技術(shù)在圖像分割任務(wù)上有著較好的效果，如U-net模型。圖像分類任務(wù)在深度學(xué)習(xí)中一般通過卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)(如VGG和Resnet[17])。卷積神經(jīng)網(wǎng)絡(luò)會(huì)完成特征提取后加入全連接層，最后通過Softmax計(jì)算獲得輸入圖像的類別概率向量。而概率向量維度為1，即當(dāng)前分類任務(wù)只能實(shí)現(xiàn)對整個(gè)圖像分類，而不能實(shí)現(xiàn)對圖像像素的分類。圖像分割任務(wù)區(qū)即是對圖像像素的分類任務(wù)。FCN(fully convolutional networks for semantic segmentation)[18]是首個(gè)語義分割網(wǎng)絡(luò)，提出通過反卷積或插值放大等上采樣方式將卷積層得到的特征圖從小尺度的特征圖恢復(fù)原來圖像大小的尺度，最后以連接一個(gè)二維的softmax得到圖像中每個(gè)像素的分類概率。U-net與FCN基本思想相同，而FCN為了實(shí)現(xiàn)細(xì)節(jié)的分割，采用不同尺度下的特征圖相加(Add)融合使得分割精度得到上升。另外，U-net以拼接(Concat)的方式融合特征圖[19]，可以通過更小的訓(xùn)練集實(shí)現(xiàn)圖像較好的分割精度。本文中的U-net的網(wǎng)絡(luò)結(jié)構(gòu)采用4層對稱結(jié)構(gòu)，如圖1所示。在實(shí)際巡檢中，無人機(jī)采用相機(jī)Z-Fusions，其拍攝圖像像素為3840×2160。U-net網(wǎng)絡(luò)的識別速度和分割精度與網(wǎng)絡(luò)輸入大小降采樣比例768有關(guān)，如圖2所示。

圖1 U-net網(wǎng)絡(luò)結(jié)構(gòu)Figure 1 Structural diagram of U-net network

圖2 輸入大小降采樣比例與識別精度和識別速度關(guān)系Figure 2 Relationship amongst input size down-sampling ratio and recognition accuracy and recognition speed

在識別速度和分割精度之間權(quán)衡，為了方便后續(xù)導(dǎo)線區(qū)域定位和區(qū)域圖像輸入至目標(biāo)模型，可對原圖像通過線性插值方式調(diào)整其像素大小為3 840×3 840，然后降采樣K倍，得到低像素圖像，如圖3所示。

圖3 高像素圖像降采樣后的低像素圖像Figure 3 Low-pixel image after high-pixel image down-sampling

低像素圖像作為本文的U-net網(wǎng)絡(luò)輸入，其損失函數(shù)如為

(1)

式中x為二維平面Ω上的像素位置；αk(x)為網(wǎng)絡(luò)最后輸出層中x對應(yīng)k個(gè)通道的值；K為類別總數(shù)。pk(x)為像素x屬于k類的概率，其表達(dá)式為

(2)

式中pl(x)為x在真實(shí)標(biāo)簽樣本所在通道上的輸出概率。另外ω(x)為類別權(quán)重，根據(jù)訓(xùn)練數(shù)據(jù)集中的各類別出現(xiàn)的頻率來進(jìn)行統(tǒng)計(jì)，類別出現(xiàn)的頻率越高，給予的權(quán)重越低，頻率越低則權(quán)重越高。加權(quán)交叉熵能夠緩解前景像素?cái)?shù)量遠(yuǎn)遠(yuǎn)小于背景像素的數(shù)量時(shí)導(dǎo)致模型偏向背景的問題。訓(xùn)練過程中采用Adam優(yōu)化函數(shù)，其中，學(xué)習(xí)率lr=0.001,β1=0.9,β2=0.99,ε=10-8。為了網(wǎng)絡(luò)能在復(fù)雜背景下得到好的分割效果，需要在多個(gè)角度、不同光照下、不同背景下采集樣本數(shù)據(jù)，而缺陷圖像不容易獲取，所以采用人工提取導(dǎo)線區(qū)域后添加至新背景圖的方式擴(kuò)充數(shù)據(jù)集，在此基礎(chǔ)上進(jìn)行對樣本數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集數(shù)量，需標(biāo)記的導(dǎo)線區(qū)域和實(shí)際模型輸出如圖4所示。

圖4 U-net分割訓(xùn)練集標(biāo)記圖和U-net輸出的分割圖Figure 4 U-net segmentation training set and U-net output partition graph

2 導(dǎo)線區(qū)域切片分塊

通過圖像分割將導(dǎo)線區(qū)域提取后，為了減少目標(biāo)識別模型輸入的大小，可通過網(wǎng)絡(luò)化分割圖進(jìn)行切片分塊，并獲取導(dǎo)線更小的分塊圖像。該研究通過導(dǎo)線分割圖進(jìn)行N×N網(wǎng)格切片處理，得到N×N個(gè)切片圖像。為了區(qū)分導(dǎo)線切片圖像和背景切片圖像，可計(jì)算切片圖像導(dǎo)線類別概率總和S，當(dāng)S大于閾值β=0時(shí)，可認(rèn)為該切片圖像中存在導(dǎo)線區(qū)域。標(biāo)記每個(gè)切片在分割圖的相對位置P(i,j)，其中，0≤i≤N，0≤j≤N,切片圖像如圖5所示，切片圖像大小為540/N×540/N。

圖5 低像素分割圖像網(wǎng)格化后生成批量切片F(xiàn)igure 5 An example image of batch slicing generated after low-pixel segmentation image gridding

此時(shí)導(dǎo)線區(qū)域已被切片分塊，其大小要遠(yuǎn)少于原來圖像大小。而導(dǎo)線切片圖像已被降采樣方式降低像素，其缺陷特征信息將減少，在后續(xù)目標(biāo)識別中會(huì)降低對小目標(biāo)的缺陷識別精度。那么可根據(jù)低像素切片圖像的位置信息和降采樣比例K映射至高像素圖像上，得到高像素切片圖像，如圖6所示，并作為后續(xù)目標(biāo)識別網(wǎng)絡(luò)的輸入。

圖6 高像素切片F(xiàn)igure 6 High-pixel slicing map

3 導(dǎo)線缺陷識別

通過語義分割導(dǎo)線區(qū)域，定位導(dǎo)線區(qū)域切片位置，將原本高像素圖像劃分為含有導(dǎo)線信息區(qū)域的多個(gè)切片圖像，輸入大小大大減少。然后需對這些切片圖像進(jìn)行導(dǎo)線缺陷識別，其在圖像任務(wù)中屬于目標(biāo)識別任務(wù)。而Yolov3是目前落地應(yīng)用廣泛的目標(biāo)檢測網(wǎng)絡(luò)，其骨干網(wǎng)絡(luò)為Darknet-53網(wǎng)絡(luò)，其具有網(wǎng)絡(luò)實(shí)現(xiàn)簡單、處理速度快的特點(diǎn)。Darknet-53是基于Resnet的殘差網(wǎng)絡(luò)思想，并采用多尺度特征融合計(jì)算從中提取3個(gè)尺度特征圖對不同尺度下的特征圖進(jìn)行特征融合，實(shí)現(xiàn)對小尺度的目標(biāo)識別。而Darknet-53網(wǎng)絡(luò)規(guī)模大，其對硬件要求很高，在板載計(jì)算機(jī)有限的計(jì)算能力下識別速度無法滿足實(shí)時(shí)需求。在實(shí)際巡檢場景中對目標(biāo)檢測種類數(shù)量不多，可以采用輕量級的網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)。其中，Mobilenet系列是由Google提出的移動(dòng)端輕量級網(wǎng)絡(luò)，Mobilenetv1通過深度可分離卷積層(Convolution Depth Wise Layers)將標(biāo)準(zhǔn)卷積分解為2個(gè)更小操作分別為Depthwise Convolution和Point-Wise Convolution，以此提高計(jì)算效率，而Mobilenetv2設(shè)計(jì)了Linear Bottlenecks和反轉(zhuǎn)殘差(Inverted Residuals)模塊進(jìn)一步提高準(zhǔn)確率[20]，模塊結(jié)構(gòu)，如圖7所示。

圖7 Depthwise Convolutional Layers 和 Linear Bottlenecks和Inverted Residuals 結(jié)構(gòu)Figure 7 Structural diagram of depthwise convolutional layers and linear bottlenecks and inverted residuals

為了減少目標(biāo)識別網(wǎng)絡(luò)的計(jì)算量的同時(shí)保持其特征提取的能力，可以采取Mobilenetv2作為該研究中目標(biāo)識別網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)，其改進(jìn)的Yolov3檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

圖8 Mobilenetv2-Yolov3結(jié)構(gòu)Figure 8 Structural diagram of Mobilenetv2-Yolov3

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)條件

為了驗(yàn)證該研究方法在具體場景中的實(shí)時(shí)性和識別率是否達(dá)到巡檢需求，搭建實(shí)驗(yàn)平臺(tái)驗(yàn)證其效果。首先，硬件平臺(tái)采用Jetson AGX Xavier (8GB)的板載計(jì)算機(jī)，軟件框架通過Caffe編寫模型代碼和使用量化技術(shù)實(shí)現(xiàn)模型加速。通過歷史采集的導(dǎo)線缺陷圖像構(gòu)成該研究的樣本數(shù)據(jù)集，數(shù)據(jù)集樣本數(shù)量為500，并對該數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，散股、斷股、燒蝕的標(biāo)注比例為1∶1∶2，訓(xùn)練集與驗(yàn)證集的比例為7∶3劃分后進(jìn)行訓(xùn)練。其中，網(wǎng)格劃分大小N為8，降采樣大小K為5。采取VOC(Visual Object Class)數(shù)據(jù)集評價(jià)指標(biāo)標(biāo)準(zhǔn)，即當(dāng)分割精度大于或等于0.5時(shí)，預(yù)測框命中。其實(shí)驗(yàn)結(jié)果以網(wǎng)絡(luò)的mAP(mean Average Precision)、召回率(Recall)、識別時(shí)間(Inference Time)為評價(jià)指標(biāo)，對比將輸入圖像直接降采樣為網(wǎng)絡(luò)標(biāo)準(zhǔn)輸入為416×416的Darknet53-Yolov3、采取語義分塊后的輸入大小為480×480，并且使用不同骨干網(wǎng)絡(luò)網(wǎng)絡(luò)的Patched-tiny-yolov3、Patched-darknet53-yolov3、Patched-mobilenetv2-yolov3、Mask-RCNN效果。

4.2 結(jié)果分析

實(shí)驗(yàn)算法對比如表1所示，實(shí)驗(yàn)算法的效果如圖9所示。由實(shí)驗(yàn)可知,若直接對輸入圖像進(jìn)行降采樣到低像素圖像大小后再輸入Yolov3網(wǎng)絡(luò)，會(huì)讓原本高像素圖像小目標(biāo)特征丟失，如圖10所示，如燒蝕等細(xì)微的目標(biāo)檢測無法實(shí)現(xiàn)，導(dǎo)致平均識別率很低，各個(gè)類別的識別率如圖11所示。通過切片分塊映射得到高像素圖像后，輸入網(wǎng)絡(luò)識別精度得到提升，Mobilenetv2為骨干網(wǎng)絡(luò)的Yolov3網(wǎng)絡(luò)比其他網(wǎng)絡(luò)精度差別不大的情況下速度更快，能夠滿足實(shí)時(shí)需求，而Mask-RCNN在識別精度和處理速度上都難以滿足。

表1 各算法性能對比Table 1 Performance comparison table of each algorithm

圖9 高像素導(dǎo)線缺陷識別效果Figure 9 Effect picture of high-pixel wire defect identification

圖10 分塊高精度圖片和降采樣后裁剪的低精度圖片對比Figure 10 Comparison of patched high-precision image and low-precision image after down-sampling

圖11 不同模型下的各個(gè)類別識別率對比Figure 11 Comparison of recognition rate in each category under different models

5 結(jié)語

在對無人機(jī)巡檢采集的高像素導(dǎo)線圖像進(jìn)行缺陷實(shí)時(shí)識別過程中，導(dǎo)線腐蝕等缺陷在高像素圖像中屬于小目標(biāo)，若采取直接降采樣方法進(jìn)行目標(biāo)檢測，其缺陷特征信息會(huì)丟失，無法實(shí)現(xiàn)高召回率的目標(biāo)檢測需求。此外，由于板載計(jì)算機(jī)算力有限，若直接將原圖像作為目標(biāo)識別網(wǎng)絡(luò)輸入，則小目標(biāo)識別準(zhǔn)確度將降低。本文通過切片重映射方法獲取高像素切片圖像，大大減少目標(biāo)檢測區(qū)域和計(jì)算量，并加快了識別速度。實(shí)驗(yàn)結(jié)果體現(xiàn)出本文提出方法的有效性，該方法為實(shí)現(xiàn)高像素圖像小目標(biāo)識別及無人機(jī)智能巡檢的研究提供了新思路。