基于深度學(xué)習(xí)和視覺語義關(guān)系的防振錘滑移目標(biāo)檢測

安金鵬，王曉春

（新疆信息產(chǎn)業(yè)有限責(zé)任公司，烏魯木齊 830011）

0 引 言

長期穩(wěn)定供電能夠保障國家經(jīng)濟的發(fā)展以及居民的穩(wěn)定生活，因此輸電線路的安全防護(hù)至關(guān)重要。國內(nèi)外常見的電力導(dǎo)線斷股原因，主要是微風(fēng)振動導(dǎo)致的線路疲勞，最終形成斷股。而防振錘的安放位置在保護(hù)電力導(dǎo)線中起著關(guān)鍵作用，因此對防振錘是否存在滑移異常檢測就顯得尤為重要。傳統(tǒng)人工篩檢方式，對于防振錘滑移目標(biāo)的檢測成本高、效率低，并對大量檢測數(shù)據(jù)不能做出及時的處理。針對于此，國內(nèi)外一些學(xué)者開始著手研究相關(guān)的機器視覺識別方法。判斷防振錘是否滑移，首先需要能夠識別出防振錘部件。關(guān)于防振錘部件的識別在國內(nèi)外已有大量的研究資料。如：文獻(xiàn)［1］中提出對圖像的LBP特征、Haar特征及HOG特征進(jìn)行組合，來識別防振錘所在位置。經(jīng)驗證，精確度能夠滿足檢測要求。文獻(xiàn)［2］提出利用改進(jìn)的Canny算法，對采集到的防振錘螺栓圖像進(jìn)行邊緣提取后，利用改進(jìn)的Hough變換，對防振錘緊固螺栓的框架和中心進(jìn)行精確定位，從而完成防振錘部件的位置判斷，實驗結(jié)果表明，此方法非常可靠有效。文獻(xiàn)［3］中提出了一種基于深度學(xué)習(xí)的多特征融合檢測方法，該方法首先利用卷積神經(jīng)網(wǎng)絡(luò)對防振錘進(jìn)行訓(xùn)練，隨后使用多個特征融合后的特征圖像識別防振錘。經(jīng)實驗證明，此方法不僅能夠提高防振錘檢測精度，同時還提升了檢測速率。

綜上所述，雖然大量資料表明對于防振錘等相關(guān)部件的檢測取得了突破性的進(jìn)展，但對于防振錘滑移異常診斷還未有后續(xù)研究。

本文結(jié)合前人經(jīng)驗，提出一種基于深度學(xué)習(xí)和視覺語義關(guān)系的防振錘滑移異常目標(biāo)檢測方法。首先基于Cascade R-CNN網(wǎng)絡(luò)訓(xùn)練了多級聯(lián)的檢測器，實現(xiàn)對防振錘部件及其相關(guān)聯(lián)部件的檢測與定位。依據(jù)空間上下文信息，判斷所檢測目標(biāo)間的語義關(guān)系?；谳旊娋€路相關(guān)規(guī)范，制定以下判斷規(guī)則：

（1）防振錘與其它部件或兩防振錘間相對距離小于規(guī)范時，判斷為防振錘滑移。

（2）當(dāng)圖像中出現(xiàn)（≥2）個防振錘時，利用幾何約束關(guān)系及聚類分析算法實現(xiàn)異常判別。

最終依據(jù)上述制定的相應(yīng)視覺語義判別規(guī)則及約束算法，結(jié)合Cascade R-CNN目標(biāo)檢測方法，實現(xiàn)防振錘滑移異常判別。

1 防振錘滑移目標(biāo)檢測算法

1.1 基于Cascade R-CNN的相關(guān)部件目標(biāo)識別與定位

1.1.1 Cascade R-CNN簡介

CascadeR-CNN是目前兩階段目標(biāo)檢測算法中表現(xiàn)較為優(yōu)異的網(wǎng)絡(luò)，算法中提出了一種多階段目標(biāo)檢測體系結(jié)構(gòu)，即級聯(lián)R-CNN。級聯(lián)網(wǎng)絡(luò)由一系列經(jīng)過提高閾值訓(xùn)練的檢測器組成，檢測器是按順序訓(xùn)練的，每個階段負(fù)責(zé)預(yù)測特定類別下的置信度分?jǐn)?shù)給定的前景／背景閾值。由于在目標(biāo)檢測時需要為每個目標(biāo)實例分配一個類別標(biāo)簽（如防振錘、線夾等），因此使用檢測器的輸出作為下一個檢測器的訓(xùn)練集，這種方式能夠逐步提高假設(shè)質(zhì)量，保證了所有檢測器的正訓(xùn)練集大小相等，并使過度擬合達(dá)到最小化。

1.1.2 多尺度骨干網(wǎng)絡(luò)Res2Net

卷積網(wǎng)絡(luò)中的骨干網(wǎng)絡(luò)主要就是用于提取圖像不同通道中不同顏色的語義特征。例如，ResNet-50、ResNet-101、ResNeXt-101。目前常用的骨干網(wǎng)絡(luò)特征提取大多采用分層方式表示多尺度特征，而Res2Net則在更細(xì)粒度的級別上提高了多尺度表示能力。區(qū)別于利用不同分辨率的特征來提高多尺度的能力，Res2Net在更細(xì)粒度的級別上提供了多尺度表示能力。為了實現(xiàn)這個目標(biāo)，Res2Net用一組較小的濾波器組替換了個通道的3×3濾波器，每個濾波器組都有個通道。

基本卷積模塊與Res2Net模塊之間的差異如圖1所示。圖1中，“*”代表卷積操作。經(jīng)過1*1卷積后，將特征圖平均分成個用x表示的特征圖子集。與輸入特征圖相比，每個特征子集x具有相同的空間大小，但通道數(shù)為1。除外，每個x都對應(yīng)一個的3×3卷積。此時，y為特征子集x與K（）的輸出相加，并與輸入K（）作用后的卷積結(jié)果。為了在增加的同時減少參數(shù)，網(wǎng)絡(luò)中省略了的3×3卷積。因此，y可以表示為：

圖1 基本卷積模塊與Res2Net模塊之間對比Fig.1 Comparison between the basic convolutional module and the Res2Net module

其中，∈｛1，2，，｝，K（）表示33卷積結(jié)果。

這些較小的過濾器組以類似分層殘差的樣式連接，用來增加輸出特征可以表示的尺度數(shù)量。具體來說，將輸入特征圖分為幾組，過濾器首先從一組輸入特征圖中提取特征，然后將前一組的輸出特征與另一組的輸入特征圖一起發(fā)送到下一組過濾器。重復(fù)上述過程，直到處理了所有輸入特征圖后為止。最后將來自所有組的特征圖融合，并發(fā)送到另一組1×1過濾器，以完全融合信息。所輸入的信息會經(jīng)過不同的特征提取通道，每當(dāng)其通過3×3過濾器時，等效感受野就會增加。這種先拆分、后融合的策略能夠使卷積更高效地處理特征，使網(wǎng)絡(luò)的特征提取能力更強大。

1.1.3 整體網(wǎng)絡(luò)結(jié)構(gòu)

目標(biāo)檢測架構(gòu)如圖2所示。首先，將來自無人機巡檢時拍照的輸電線路檢測圖片輸入到Res2Net網(wǎng)絡(luò)進(jìn)行目標(biāo)特征提??；此外，在網(wǎng)絡(luò)NECK結(jié)構(gòu)中還引入了FPN結(jié)構(gòu)，在基本不增加原有模型計算量的情況下，大幅度提升了較小缺陷目標(biāo)檢測的性能，F(xiàn)PN結(jié)構(gòu)通過自上而下的路徑和橫向連接，將低分辨率語義的強特征與高分辨率語義的弱特征相結(jié)合，構(gòu)建了具有更多層的特征金字塔信息，能夠獲取所檢測目標(biāo)準(zhǔn)確定位的低級信息和高級信息，使得特征更具有魯棒性，可有效提高較小目標(biāo)的檢測精度，所構(gòu)建的目標(biāo)檢測網(wǎng)絡(luò)能夠極大地提升防振錘相關(guān)目標(biāo)檢測精度，確保后續(xù)防振錘滑移目標(biāo)判斷的正確性。

圖2 目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Target detection network structure diagram

1.2 防振錘與相關(guān)部件視覺關(guān)系

視覺關(guān)系是圖像中目標(biāo)間的相互作用，存在于由多個物體組成的圖片中，而每個目標(biāo)間的關(guān)系在語義上是相互關(guān)聯(lián)的。當(dāng)分析一幅圖片時，視覺關(guān)系往往會作為已知的知識或經(jīng)驗參與到分析過程中，幫助人們辨別事物。針對本文提出的問題，簡單來說，當(dāng)需要判斷防振錘目標(biāo)是否滑移時，只需要運用相關(guān)目標(biāo)之間的關(guān)系，將目標(biāo)所處的環(huán)境與姿態(tài)描述出來，說明物體之間語義關(guān)系，并將其轉(zhuǎn)化為特征信息輸入至神經(jīng)網(wǎng)絡(luò)中即可。

圖3展示了防振錘可能出現(xiàn)滑移的多種姿態(tài)與位置變化情況。分析可知，圖3（a）中存在多線電纜時，會出現(xiàn)防振錘并排現(xiàn)象；圖3（b）中，防振錘與絕緣子相對距離超過標(biāo)準(zhǔn)安裝距離（或接觸），可判斷為防振錘滑移；圖3（c）中，線夾兩側(cè)防振錘相對距離超過標(biāo)準(zhǔn)安裝距離（或接觸），可判斷為防振錘滑移；圖3（d）中，防振錘與連接金具相對距離超過標(biāo)準(zhǔn)安裝距離（或接觸），可判斷為防振錘滑移。

圖3 防振錘位置與姿態(tài)Fig.3 The position and attitude of the vibration damper

其中，（，）為防振錘的圖像坐標(biāo)；（，）為防振錘相鄰部件的圖像坐標(biāo)；（）為圖像像素距離與空間距離變換的求解公式。

結(jié)合模型預(yù)測結(jié)果，本文利用位置關(guān)系描述防振錘與相關(guān)目標(biāo)（絕緣子、連接金具、線夾）的空間關(guān)系，距離關(guān)系可直接判斷防振錘是否出現(xiàn)滑移異常。

2 實驗及分析

2.1 防振錘異常及相關(guān)部件的常規(guī)目標(biāo)檢測方法

實驗訓(xùn)練和評估模型所使用的硬件環(huán)境為Tesla V100-DGX Work Station，其中搭載了4塊NVIDIA Tesla V100 Tensor Core GPU?？紤]到可編程性和靈活性，選擇Pytorch作為深度學(xué)習(xí)框架，并使用經(jīng)過ImageNet-1000預(yù)訓(xùn)練的模型，在輸電線路數(shù)據(jù)集上做遷移學(xué)習(xí)，隨機初始化其它層參數(shù)。使用Cascade-RCNN級聯(lián)網(wǎng)絡(luò)，訓(xùn)練防振錘、線夾、連接金具、絕緣子四類目標(biāo)。訓(xùn)練過程中，判斷正負(fù)樣本的閾值分別設(shè)為0.5、0.6、0.7，輸入圖像訓(xùn)練尺寸為（（1 200，600），（2 400，1 200）），學(xué)習(xí)率初始化為0.01。

本文所使用訓(xùn)練集共有22 873張圖片，經(jīng)過150 000輪迭代，選取最優(yōu)模型在測試集上進(jìn)行測試。測試分為2部分：

（1）使用7 600張測試集數(shù)據(jù)對絕緣子、線夾等相關(guān)部件進(jìn)行測試。

（2）收集2 831張含有防振錘滑移異常與無異常的數(shù)據(jù)，驗證常規(guī)方式下Cascade-RCNN級聯(lián)網(wǎng)絡(luò)對防振錘滑移異常的檢測效果。

采用目標(biāo)識別應(yīng)用中常用的評價標(biāo)準(zhǔn)：精準(zhǔn)率（）和召 回 率（），評估 算法 的有 效性。推導(dǎo)得到的公式分別如下：

其中，表示防振錘滑移目標(biāo)被算法正確檢測的數(shù)量，表示被算法錯誤分類為防振錘滑移目標(biāo)的數(shù)量；表示算法遺漏的防振錘滑移目標(biāo)。

測試結(jié)果詳見表1。針對絕緣子、線夾等部件目標(biāo)識別的測試結(jié)果顯示，Cascade-RCNN級聯(lián)網(wǎng)絡(luò)檢測效果顯著，能夠?qū)崿F(xiàn)0.9以上的平均檢測精度，得到的召回率均在0.95以上，說明部件目標(biāo)漏檢情況極少發(fā)生。然而，在對2 831張混合有防振錘滑移異常與無異常的數(shù)據(jù)進(jìn)行驗證時，常規(guī)方式下Cascade-RCNN級聯(lián)網(wǎng)絡(luò)對防振錘滑移異常的檢測效果只能達(dá)到0.584的平均檢測精度，說明單純利用Cascade-RCNN級聯(lián)網(wǎng)絡(luò)進(jìn)行目標(biāo)識別，網(wǎng)絡(luò)對目標(biāo)的形狀、輪廓、紋理、顏色等特征提取效果顯著，而對目標(biāo)相對位置變化并不敏感，無法滿足輸電線路防振錘滑移異常的檢測需求。但Cascade-RCNN級聯(lián)網(wǎng)絡(luò)對相關(guān)部件識別效果甚佳，為后期的防振錘滑移識別工作提供了良好的基礎(chǔ)。

表1 常規(guī)目標(biāo)檢測精度結(jié)果Tab.1 Model test results on common components

2.2 基于視覺語義關(guān)系的防振錘滑移識別

基于目標(biāo)在語義上的相互關(guān)聯(lián)性，利用本文提出的目標(biāo)檢測方法，通過最優(yōu)模型判斷目標(biāo)，并結(jié)合語義位置關(guān)系、距離關(guān)系，判斷在圖片檔距范圍內(nèi)是否出現(xiàn)防振錘滑移異常。首先將部件識別結(jié)果及防振錘相關(guān)部件空間位置關(guān)系映射到向量空間，并通過距離約束，判定防振錘滑移異常。判斷過程如下：

（1）判斷存在防振錘目標(biāo)的個數(shù)。

（2）判斷是否出現(xiàn)防振錘相關(guān)聯(lián)部件目標(biāo)（如絕緣子、線夾、連接金具等）。

（3）當(dāng)圖像中出現(xiàn)（≥2）個防振錘時，需利用幾何約束關(guān)系及聚類分析算法實現(xiàn)異常判別。將圖片中展示的二維空間，通過Cayley-Menger行列式提供的距離幾何約束，結(jié)合加權(quán)質(zhì)心計算約束距離，進(jìn)行判斷。

（4）若同時出現(xiàn)防振錘相關(guān)聯(lián)部件目標(biāo)，還需計算出相鄰部件與防振錘之間的軸間距，并轉(zhuǎn)化為世界坐標(biāo)，通過距離約束判定防振錘滑移異常。

基于此，又對研發(fā)出的算法流程做具體描述如下：

同樣使用2 831張混合有防振錘滑移異常與無異常的數(shù)據(jù)，對上述算法步驟進(jìn)行驗證。在實驗中，擬將檢測所提算法的有效性，并對檢測結(jié)果進(jìn)行了可視化分析，測試結(jié)果如圖4所示。由圖4可見，雖然防振錘滑移目標(biāo)的形態(tài)位置變化較大、目標(biāo)大小不一，增加了檢測復(fù)雜度，但加入視覺語義關(guān)系的檢測算法，檢測到防振錘滑移異常正確率卻非常高。算法精度測試結(jié)果見表2。表2中數(shù)據(jù)顯示，基于視覺語義關(guān)系的目標(biāo)檢測算法在防振錘滑移異常中的表現(xiàn)很大程度上優(yōu)于Cascade R-CNN級聯(lián)網(wǎng)絡(luò)。與其相比，基于視覺語義關(guān)系的防振錘滑移異常目標(biāo)檢測，在召回率方面提升了38.4%，準(zhǔn)確度方面提升了30.3%?；谝曈X語義關(guān)系目標(biāo)檢測方法的結(jié)果如圖4所示。分析可知，圖4（a）與圖4（c）中，為并排線路中防振錘出現(xiàn)滑移現(xiàn)象；圖4（b）中顯示防振錘滑移狀況非常嚴(yán)重，而且出現(xiàn)了碰撞現(xiàn)象；圖4（d）中，防振錘距離線夾部件小于標(biāo)準(zhǔn)安裝距離，也被判別為防振錘滑移。綜合上述可視化結(jié)果，本文所提算法在不同場景下對防振錘滑移異常檢測都得到不錯的效果。該模型能夠應(yīng)對多種環(huán)境變化，滿足無人機巡檢的實際需求，具有很好的魯棒性和泛化能力。

圖4 防振錘滑移目標(biāo)檢測結(jié)果Fig.4 Detection results of vibration damper sliding target

表2 算法精度測試結(jié)果Tab.2 Results of different algorithms

3 結(jié)束語

針對無人機輸電線防振錘滑移異常對線路帶來的危害，本文結(jié)合深度學(xué)習(xí)和視覺關(guān)系目標(biāo)檢測，提出了一種基于Cascade R-CNN算法聯(lián)合視覺語義關(guān)系進(jìn)行防振錘滑移異常檢測算法，能夠?qū)旊娋€路防振錘滑移異常進(jìn)行自動識別定位。經(jīng)巡檢圖像實踐測試，所提方法實現(xiàn)了防振錘滑移異常檢測且效果顯著，由此得到以下結(jié)論：

（1）本文提出的輸電線路中防振錘滑移目標(biāo)的檢測方法，依據(jù)空間上下文信息，判斷所檢測目標(biāo)間的視覺語義關(guān)系，并聯(lián)合Cascade R-CNN目標(biāo)檢測算法及約束算法，實現(xiàn)了防振錘滑移異常判別。最終實驗結(jié)果表明，本文所提的算法與常規(guī)目標(biāo)檢測算法相比在召回率方面提升了38.4%，準(zhǔn)確度提升了30.3%，平均準(zhǔn)確度為78.9%，能夠有效地檢測出3類防振錘滑移異常目標(biāo)。

（2）對實驗結(jié)果進(jìn)行了不同場景的測試與分析，所訓(xùn)練模型能夠應(yīng)對多種環(huán)境變化，滿足無人機巡檢的實際需求，具有很好的魯棒性和泛化能力。

（3）本文算法能夠及時監(jiān)測輸電線路中防振錘滑移所引起的線路隱患，完成輸電線缺陷自主巡檢任務(wù)，有效地避免了輸電線中防振錘滑移造成的線路問題，具有較高的理論價值和實際應(yīng)用前景。