基于Faster R-CNN級聯(lián)的輸電塔螺栓缺失檢測

徐敏，羅勁，劉華

(廣東電網(wǎng)有限責(zé)任公司廣州供電局，廣東 廣州 510620)

在輸電線路中，輸電塔螺栓起著固定塔身、連接導(dǎo)線等重要作用。由于長期暴露于室外，輸電塔容易出現(xiàn)螺栓缺失、老化、斷裂等問題，這嚴(yán)重危害輸電線路的安全；因此，需要對輸電塔進(jìn)行定期巡檢，定位螺栓缺失位置。傳統(tǒng)的螺栓缺失檢測方法通常是人工巡檢，使用全站儀等設(shè)備，實(shí)地測量檢測。由于輸電塔所處地理環(huán)境復(fù)雜，實(shí)地測量困難，存在工作量大、效率低、不安全等問題。隨著無人機(jī)技術(shù)的發(fā)展，人工識別無人機(jī)拍攝的圖像成為常用方法，但該方法工作效率依舊低下，且人力成本高。為提高巡檢效率和精度，節(jié)省成本，目前常用的方法是將無人機(jī)技術(shù)和傳統(tǒng)圖像處理與深度學(xué)習(xí)相結(jié)合。

傳統(tǒng)的圖像處理方法主要有：馮敏等[1]根據(jù)無人機(jī)采集得到的影像數(shù)據(jù)建立樣本庫，提取得到樣本影像的方向梯度直方圖(histogram of oriented gradient，HOG)特征，構(gòu)建支持向量機(jī)(support vector machine，SVM)分類器，實(shí)現(xiàn)對影像中螺栓的自動(dòng)識別。黃志文等[2]對采集得到的影像分2步提取感興趣的區(qū)域，第1步利用灰度投影算法對輸電塔的橫擔(dān)區(qū)域進(jìn)行定位，第2步利用改進(jìn)的霍夫變換提取精確的位置，并利用面積閾值法去除背景信息，提取螺栓信息。

深度學(xué)習(xí)與傳統(tǒng)圖像處理方法相比，具有更強(qiáng)的魯棒性，適用于海量螺栓數(shù)據(jù)。常用的目標(biāo)檢測算法主要有：快速循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(faster recurrent convolutional neural network，F(xiàn)aster R-CNN)、Mask R-CNN和YOLO[3]、SSD(single shot multibox detector)[4]。李寧等[5]利用無人機(jī)巡視的便捷性，采用Faster R-CNN算法對海量無人機(jī)影像和視頻進(jìn)行預(yù)處理識別，同時(shí)對缺陷位置進(jìn)行標(biāo)注和分類，準(zhǔn)確識別出輸電線路的缺陷影像，提高了缺陷巡視效率。薛陽等[6]采用改進(jìn)的Faster R-CNN對螺栓的缺陷進(jìn)行識別，用ResNet50替代原來的VGG-16，對影像進(jìn)行特征提取，實(shí)現(xiàn)了對螺栓缺陷的精確檢測，具有較高的工程意義。麥俊佳等[7]構(gòu)建具有2級深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的缺陷識別模型，實(shí)現(xiàn)對輸電線路航拍照片中部件、缺陷的檢測識別和綜合應(yīng)用。王凱等[8]利用RetinaNet算法，在添加輔助數(shù)據(jù)樣本的情況下，實(shí)現(xiàn)銷釘缺陷智能識別。鄭秋梅等[9]使用ResNet作為YOLOv3網(wǎng)絡(luò)模型的特征提取網(wǎng)絡(luò)，根據(jù)檢測目標(biāo)的大小來調(diào)整損失函數(shù)的影響權(quán)重，增強(qiáng)小目標(biāo)的檢測性能。范海兵等[10]使用Faster R-CNN和YOLOv3這2個(gè)檢測網(wǎng)絡(luò)實(shí)現(xiàn)電力設(shè)備的銹蝕檢測，效果較好。韋汶妍等[11]提出一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的輸電桿塔智能檢測算法，基于ImageNet進(jìn)行前期訓(xùn)練和遷移學(xué)習(xí)，實(shí)現(xiàn)桿塔的高效檢測。李瑞生等[12]基于SSD目標(biāo)檢測網(wǎng)絡(luò)，使用HSV(色調(diào)、飽和度、明度)顏色轉(zhuǎn)換完成空間映射，實(shí)現(xiàn)變壓器呼吸器缺陷智能識別。徐小冰等[13]提出一種電纜附件缺陷紅外圖像自動(dòng)診斷方法，使用Faster R-CNN實(shí)現(xiàn)目標(biāo)定位，其次使用Mean-Shift聚類算法計(jì)算溫度參數(shù)，實(shí)現(xiàn)缺陷識別。顏宏文等[14]提出基于改進(jìn)YOLOv3的絕緣子檢測方法，通過自主建立絕緣子樣本庫，采用Focal Loss函數(shù)和均衡交叉熵函數(shù)改進(jìn)YOLOv3算法的損失函數(shù)，基于多階段的遷移學(xué)習(xí)實(shí)現(xiàn)絕緣子檢測。上述方法均使用的是傳統(tǒng)目標(biāo)檢測網(wǎng)絡(luò)，針對通用數(shù)據(jù)集設(shè)計(jì)，對螺栓這種小目標(biāo)物的檢測效果較差。此外，檢測效果受限于螺栓所處的背景，魯棒性較差。

針對解決以上方法的不足，本文提出基于Faster R-CNN級聯(lián)的螺栓缺失檢測方法，根據(jù)輸電塔螺栓所在部件的特征及規(guī)律性，使用Faster R-CNN目標(biāo)檢測網(wǎng)絡(luò)，檢測包含螺栓的部件并生成影像，減少螺栓復(fù)雜背景的影響，提高信噪比。由于各類部件上螺栓數(shù)量和分布存在規(guī)律性，檢測部件影像中的正常螺栓，提取檢測到的正常螺栓中心點(diǎn)坐標(biāo)，使用最近點(diǎn)迭代(iterative closest point，ICP)[15]算法實(shí)現(xiàn)檢測到的正常螺栓分布和部件上螺栓的固定分布配準(zhǔn)，找到螺栓缺失位置，完成缺失檢測。

1 基于Faster R-CNN級聯(lián)的螺栓定位

由于螺栓尺寸較小，傳統(tǒng)的特征提取網(wǎng)絡(luò)，例如視覺幾何群(visual geometry group，VGG)網(wǎng)絡(luò)[16]和ResNet[17]系列，都要進(jìn)行幾次下采樣處理，導(dǎo)致螺栓在特征圖上的尺寸只有幾個(gè)像素的大小，目標(biāo)檢測分類器對螺栓的分類效果較差。此外，如果在經(jīng)過幾次下采樣后的特征圖上進(jìn)行分類和回歸，螺栓的感受野映射回原始影像上可能小于螺栓在原始影像上的尺寸，造成檢測效果差[18]。為解決上述問題，本文提出基于Faster R-CNN級聯(lián)的螺栓定位方法，先定位正常螺栓所在的部件，將檢測到的部件輸出為影像，再檢測部件影像中的正常螺栓，提高信噪比，提升檢測精度。

基于Faster R-CNN級聯(lián)的螺栓定位主要流程如下：①將螺栓所在部件的數(shù)據(jù)集送入網(wǎng)絡(luò)訓(xùn)練，得到部件檢測結(jié)果，將檢測框內(nèi)的部件輸出，組成部件數(shù)據(jù)集；②將部件數(shù)據(jù)集送入網(wǎng)絡(luò)訓(xùn)練，得到部件上螺栓的檢測結(jié)果。

1.1 Faster R-CNN原理

Faster R-CNN結(jié)構(gòu)如圖1所示，基于Faster R-CNN的處理過程如下：

圖1 Faster R-CNN結(jié)構(gòu)示意圖Fig.1 Structure diagram of Faster R-CNN

a)使用VGG-16骨干網(wǎng)絡(luò)進(jìn)行特征提取，獲取特征圖，VGG-16網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示；

圖2 VGG-16網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Structure diagram of VGG-16 network

b)將特征圖送入?yún)^(qū)域候選網(wǎng)絡(luò)(region proposal network，RPN)，判斷錨框(Anchor)屬于前景還是背景，使用bounding box回歸修正Anchor，得到更精確的候選區(qū)域；

c)感興趣區(qū)域(region of interst，ROI)池化層(Pooling)融合特征圖和RPN輸出的候選區(qū)域，得到固定大小的特征圖，輸入全連接層，判斷目標(biāo)類別；

d)使用特征圖計(jì)算候選區(qū)域的類別，同時(shí)利用bounding box回歸，修正得到Anchor的精確位置。

由圖2可知整個(gè)特征提取網(wǎng)絡(luò)是“卷積+Relu激活+池化”的構(gòu)成。其中，CR-X代表共有X個(gè)“卷積層+RELU激活層”。影像每次經(jīng)過池化處理，尺寸都會(huì)縮小1/2，最終，特征圖大小為原始影像尺寸的1/16。

其次，將特征提取到的特征圖送入RPN進(jìn)行候選框提取，Anchor即大小和尺寸固定的候選框，共3種不同的尺寸和比例，組成9種不同類型的候選框。這些候選框在特征圖上移動(dòng)，特征圖上的每個(gè)點(diǎn)對應(yīng)9個(gè)候選框，可以有效將絕大多數(shù)的真值框包含在其中。

將特征圖分別送入分類和回歸2條通路，一條通路通過softmax分類得到特征圖中的前景和背景，另一條通路用于計(jì)算候選框偏移量，以獲得精確的推薦候選框。

最后，挑選出128個(gè)推薦候選框樣本，對應(yīng)特征圖上不同大小的區(qū)域，使用ROI Pooling將這些不同尺寸的區(qū)域歸一化到同一個(gè)尺度上，使權(quán)重共享，如圖3所示。

圖3 ROI Pooling原理Fig.3 Schematic diagram of ROI Pooling

歸一化后，用VGG-16訓(xùn)練的權(quán)重初始化前2層全連接層，加上后面2個(gè)全連接層，分別預(yù)測候選框的類別和精確的位置。通過全連接層和softmax分類計(jì)算每個(gè)候選框的類別，輸出屬于該類別的概率；同時(shí)再次計(jì)算候選框偏差，得到精確的候選框。網(wǎng)絡(luò)的損失函數(shù)為

(1)

(2)

1.2 部件檢測

整合無人機(jī)采集的影像數(shù)據(jù)發(fā)現(xiàn)，部位螺栓所在部件主要有4種類型，如圖4所示。

圖4 4種類型螺栓部件Fig.4 Schematic diagram of bolt parts

將部件數(shù)據(jù)集送入Faster R-CNN進(jìn)行訓(xùn)練，得到部件的檢測結(jié)果。由于部件在影像中像素占比偏大，屬于大目標(biāo)，特征表達(dá)能力較強(qiáng)，檢測效果好，如圖5所示。

1.3 螺栓檢測

根據(jù)檢測框的位置和尺寸信息，將圖5中部件裁剪出來，輸出為部件影像，可以減少螺栓復(fù)雜背景的影響，如圖6所示。

圖5 部件檢測結(jié)果Fig.5 Schematic diagram of the detection results of parts

圖6 部件影像Fig.6 Schematic diagram of parts images

對圖6中的螺栓進(jìn)行標(biāo)注，送入Faster R-CNN訓(xùn)練，得到正常螺栓的檢測結(jié)果，如圖7所示。其中矩形框即檢測到的正常螺栓，存儲(chǔ)檢測框的中心點(diǎn)坐標(biāo)(x,y)，組成數(shù)據(jù)集Q，為缺失檢測提供坐標(biāo)數(shù)據(jù)。

圖7 螺栓檢測結(jié)果Fig.7 Schematic diagram of detection results of bolts

2 螺栓缺失檢測

由于1條輸電線路中存在不同類型的輸電塔，同時(shí)每種類型輸電塔上螺栓的分布和數(shù)量不固定，很難找到規(guī)律[20]。通過對影像進(jìn)行整理、分析，發(fā)現(xiàn)輸電塔主要有直線塔和轉(zhuǎn)角塔2種，其中直線塔分為交流雙回路直線塔和交流單回路直線塔，轉(zhuǎn)角塔分為交流雙回路轉(zhuǎn)角塔和交流單回路轉(zhuǎn)角塔。直線塔和轉(zhuǎn)角塔各自有著特定的結(jié)構(gòu)，從螺栓分布和數(shù)量上都可以直觀展現(xiàn)。圖8所示為輸電塔類型。

圖8 輸電塔類型Fig.8 Schematic diagram of transmission tower types

2.1 粗檢測

基于不同塔型螺栓的分布和數(shù)量規(guī)律，若某種部件檢測結(jié)果中螺栓個(gè)數(shù)和該部件上螺栓的實(shí)際數(shù)量存在偏差，則該影像中可能存在螺栓缺失，也可能是螺栓漏檢。圖9所示為缺失分析示意圖。

圖9 缺失分析Fig.9 Schematic diagram of missing analysis

如圖9所示，以交流雙回路轉(zhuǎn)角塔絕緣子和導(dǎo)線連接處為例，通過先驗(yàn)的大量數(shù)據(jù)觀察，矩形框內(nèi)的部件上螺栓的數(shù)量為11或15個(gè)。在檢測該區(qū)域時(shí)，計(jì)算正常螺栓檢測框中心點(diǎn)個(gè)數(shù)，不滿足上述數(shù)量要求的影像輸出，組成缺失樣本數(shù)據(jù)集，完成粗檢測。

2.2 基于ICP配準(zhǔn)的精檢測

上述粗檢測將需要進(jìn)行螺栓缺失檢測的數(shù)據(jù)集壓縮，減少多余的計(jì)算量，提高檢測效率。由于已知部件上螺栓的分布，提取每個(gè)螺栓的中心點(diǎn)坐標(biāo)，組成螺栓標(biāo)準(zhǔn)分布數(shù)據(jù)集S，與1.3節(jié)中檢測得到的數(shù)據(jù)集Q進(jìn)行ICP配準(zhǔn)，尋找2組點(diǎn)集間的差異，具體流程如下。

步驟1，取si∈S，qi∈Q，使得‖si-qi‖數(shù)值最小。其中si和qi分別是數(shù)據(jù)集S和數(shù)據(jù)集Q的第i個(gè)坐標(biāo)點(diǎn)的向量化表示，均為3維列向量，‖si-qi‖表示2個(gè)坐標(biāo)點(diǎn)之間的歐氏距離。

步驟2，計(jì)算3×3旋轉(zhuǎn)矩陣R和3×1平移矩陣T，使得損失函數(shù)最小，計(jì)算式為

(3)

式中：n為點(diǎn)集中坐標(biāo)點(diǎn)個(gè)數(shù)；‖Rsi+T-qi‖表示計(jì)算經(jīng)坐標(biāo)轉(zhuǎn)換后的標(biāo)準(zhǔn)數(shù)據(jù)集的2個(gè)坐標(biāo)點(diǎn)之間的歐式距離，使用奇異值分解法(singular value decomposition，SVD)，求解R和T的參數(shù)值，使得該距離值最小。

步驟3，對si進(jìn)行旋轉(zhuǎn)矩陣為R、平移矩陣為T的變換，得到轉(zhuǎn)換后的坐標(biāo)點(diǎn)s′i=Rsi+T，最終組成新的數(shù)據(jù)集S′，即s′i∈S′。

步驟4，計(jì)算S′和數(shù)據(jù)集Q中對應(yīng)每個(gè)坐標(biāo)點(diǎn)的歐式距離，從而得到平均距離d，

(4)

若d小于閾值或迭代次數(shù)大于設(shè)定的最大迭代次數(shù)，停止迭代計(jì)算；否則，返回步驟2，迭代直到收斂為止。完成配準(zhǔn)后，若數(shù)據(jù)集S中某個(gè)中心點(diǎn)，在數(shù)據(jù)集Q中不存在相應(yīng)的中心點(diǎn)，則說明該螺栓檢測結(jié)果中存在螺栓缺失。

3 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)數(shù)據(jù)來源于廣東電網(wǎng)有限責(zé)任公司廣州供電局，螺栓影像背景復(fù)雜，數(shù)據(jù)采集時(shí)光照、拍攝角度、距離等條件各異。通過對數(shù)據(jù)采用翻轉(zhuǎn)、平移、角度旋轉(zhuǎn)等方式增強(qiáng)數(shù)據(jù)集，采用精確率與召回率來衡量檢測效果。精確率為標(biāo)記正確的邊界框個(gè)數(shù)與標(biāo)記出的所有邊界框個(gè)數(shù)之比，召回率為被正確識別為正樣本的邊界框個(gè)數(shù)與測試集中所有正樣本邊界框個(gè)數(shù)之比；并且結(jié)合輸電塔部件結(jié)構(gòu)的特殊性和螺栓數(shù)量的規(guī)律性，對精度進(jìn)行評定。

本實(shí)驗(yàn)采用開源的學(xué)習(xí)庫pytorch作為深度學(xué)習(xí)框架，使用圖形處理器(graphics processing unit，GPU)對訓(xùn)練過程進(jìn)行加速；使用的硬件配置為32 GB內(nèi)存的i7處理器，NVIDIA TITAN X顯卡；軟件環(huán)境為Windows10系統(tǒng)，python3.7；GPU加速庫采用CUDA10.0和CUDNN7.4。

以部件為對象，訓(xùn)練Faster R-CNN時(shí)，訓(xùn)練樣本的個(gè)數(shù)和質(zhì)量在很大程度上決定著網(wǎng)絡(luò)的性能。實(shí)驗(yàn)先后對200個(gè)、400個(gè)、600個(gè)“連接板”部件樣本進(jìn)行標(biāo)注、訓(xùn)練，結(jié)果見表1。

表1 樣本數(shù)量實(shí)驗(yàn)結(jié)果Tab.1 Experimental results of sample amounts

從表1可以看出，訓(xùn)練樣本數(shù)量越多，網(wǎng)絡(luò)訓(xùn)練效果越好，部件檢測結(jié)果如圖10所示。

圖10 部件檢測Fig.10 Detection of parts

將檢測到的部件輸出為影像，對影像中正常螺栓進(jìn)行標(biāo)注，送入網(wǎng)絡(luò)訓(xùn)練，檢測精度高達(dá)95.7%，如圖11所示。

圖11 螺栓檢測Fig.11 Detection of bolts

如圖11所示，正常螺栓均被精準(zhǔn)檢測。由于該部件上螺栓的分布固定，使用ICP算法實(shí)現(xiàn)檢測框中心點(diǎn)坐標(biāo)點(diǎn)集和原始影像中螺栓中心點(diǎn)坐標(biāo)點(diǎn)集的配準(zhǔn)，尋找螺栓缺失的中心點(diǎn)坐標(biāo)，并進(jìn)行標(biāo)記(圖12中黑色實(shí)心點(diǎn))，缺失檢測精度達(dá)到93.4%。

圖12 螺栓缺失檢測Fig.12 Detection of missing bolts

為驗(yàn)證本文提出的級聯(lián)策略的優(yōu)越性，進(jìn)行基于級聯(lián)策略的螺栓檢測和直接檢測螺栓2組實(shí)驗(yàn)，結(jié)果見表2。

表2 螺栓檢測策略對比實(shí)驗(yàn)Tab.2 Contrast experiment of bolt detection strategies %

為驗(yàn)證本文算法的魯棒性，針對數(shù)據(jù)采集時(shí)不同拍攝距離、角度等因素進(jìn)行實(shí)驗(yàn)(如圖13、圖14所示)，結(jié)果證明本文算法幾乎不受拍攝距離、角度等因素的影響。

圖13 不同拍攝距離Fig.13 Different shooting distances

圖14 不同拍攝角度Fig.14 Different shooting angles

為驗(yàn)證本文算法使用的Faster R-CNN的優(yōu)勢，針對不同的檢測網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，結(jié)果見表3。

表3 不同檢測網(wǎng)絡(luò)對比實(shí)驗(yàn)Tab.3 Contrastive experiment of different detection network

4 結(jié)束語

輸電塔螺栓作為小目標(biāo)物，在目標(biāo)檢測網(wǎng)絡(luò)中特征表達(dá)能力差，傳統(tǒng)的檢測網(wǎng)絡(luò)對螺栓檢測效果較差。此外，輸電塔所處地理環(huán)境復(fù)雜，導(dǎo)致影像中螺栓背景復(fù)雜，干擾螺栓檢測。本文以此為基點(diǎn)，借助二級網(wǎng)絡(luò)對螺栓進(jìn)行缺失檢測，在提升精度的同時(shí)可以高效地完成日常輸電線路的巡檢，很大程度上提高了巡檢效率。