基于改進(jìn)PCL模型的輸電線路缺銷螺栓弱監(jiān)督檢測方法

趙振兵 ， 丁潔濤

(1.華北電力大學(xué)電子與通信工程系， 保定 071003； 2.華北電力大學(xué)河北省電力物聯(lián)網(wǎng)技術(shù)重點實驗室， 保定 071003； 3.華北電力大學(xué)復(fù)雜能源系統(tǒng)智能計算教育部工程研究中心， 保定 071003)

輸電線路是中國新一代電力系統(tǒng)中最重要的部分之一，保障輸電線路的可靠性是能源互聯(lián)網(wǎng)和智能電網(wǎng)建設(shè)的重要內(nèi)容[1]。在輸電線路中，螺栓用于連接各個部件，維持結(jié)構(gòu)穩(wěn)定。螺栓長期暴露于風(fēng)吹、雨淋等環(huán)境中，會受到外力的拉扯產(chǎn)生晃動，從而導(dǎo)致螺栓銷釘脫落[2]。因此，定期進(jìn)行輸電線路的巡檢，排查出缺銷螺栓，對電網(wǎng)系統(tǒng)的安全運(yùn)行起到了至關(guān)重要的作用。

近些年，由于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)[3]能學(xué)習(xí)真實世界對象抽象視覺特征，這種特征具有泛化性,已被證明在許多視覺領(lǐng)域取得成功?；谏疃壬窠?jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法主要分為兩類：一類是以Faster R-CNN[4]為代表的基于區(qū)域建議的二階段檢測模型；另一類是以SSD(single shot detector)[5]和YOLO(you only look once)[6]為代表的基于回歸的一階段檢測模型。隨著深度神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測領(lǐng)域的成功，基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測模型也逐漸應(yīng)用到輸電線路航拍圖像的檢測任務(wù)中。文獻(xiàn)[7]提出了一種螺栓視覺形狀的無監(jiān)督聚類方法，并應(yīng)用該方法建立了一個能夠?qū)W習(xí)視覺形狀差異的缺陷檢測模型。然后，在模型中采用了三種深度卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法：特征增強(qiáng)、特征融合和區(qū)域特征提取，對區(qū)域特征進(jìn)行回歸計算和分類，得到缺陷檢測結(jié)果。文獻(xiàn)[8]提出一種基于改進(jìn)Mask R-CNN模型的電力場景目標(biāo)檢測方法，利用遷移學(xué)習(xí)策略初始化主網(wǎng)絡(luò)參數(shù)，結(jié)合特征金字塔算法進(jìn)行自上而下的特征提取，解決目標(biāo)多尺度問題，引入拉普拉斯卷積層增強(qiáng)目標(biāo)邊緣提取能力，提高低質(zhì)量視頻檢測性能。文獻(xiàn)[9]提出一種基于YOLOv4的輸電線路關(guān)鍵部件實時檢測方法，利用自適應(yīng)路徑融合網(wǎng)絡(luò)增強(qiáng)網(wǎng)絡(luò)的位置信息和語義信息的提取能力。文獻(xiàn)[10]提出一種將傳統(tǒng)方法與神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法進(jìn)行輸電線路故障識別。首先利用經(jīng)驗小波變換提取輸電線路的故障特征，再使用改進(jìn)的學(xué)習(xí)矢量量化神經(jīng)網(wǎng)絡(luò)識別故障類型。文獻(xiàn)[11]提出一種MobileNet-SSD目標(biāo)檢測網(wǎng)絡(luò)，并將模型部署到了嵌入式設(shè)備上，測試結(jié)果顯示，在保持高精度檢測結(jié)果的前提下，檢測速度快了28倍。文獻(xiàn)[12]提出了一種將多尺度注意力和空間注意力相結(jié)合的輸電線路螺栓缺陷檢測方法，達(dá)到了增強(qiáng)螺栓特征和突出螺栓位置的效果。文獻(xiàn)[13]提出了一種基于DBSCAN(density-based spatial clustering of applications with noise)算法與FPN(feature pyramid network)相結(jié)合的螺栓缺陷檢測方法。DBSCAN算法充分地利用了螺栓目標(biāo)結(jié)構(gòu)的相似性，在FPN網(wǎng)絡(luò)中引入了先驗知識指導(dǎo)模型訓(xùn)練，同時利用雙線性插值和卷積濾波方法進(jìn)行螺栓特征的融合。

螺栓圖像具有目標(biāo)小的特點，標(biāo)注人員需要具備一定的專業(yè)知識。將全監(jiān)督檢測模型應(yīng)用于螺栓缺陷檢測，圖像的目標(biāo)級標(biāo)注是一個巨大的挑戰(zhàn)，會消耗大量的人力物力財力。

弱監(jiān)督目標(biāo)檢測的網(wǎng)絡(luò)基礎(chǔ)為多實例學(xué)習(xí)(multiple instance learning, MIL)[14]，隨著深度神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域取得顯著成果，將CNN與MIL 結(jié)合可以得更好地弱監(jiān)督檢測性能。弱監(jiān)督深度檢測網(wǎng)絡(luò)(weakly supervised deep detection networks, WSDDN)[15]于2017年提出，它是一種端到端的深度檢測架構(gòu)，首先把在ImageNet[16]上預(yù)訓(xùn)練好的深度卷積網(wǎng)絡(luò)作為特征提取器，特征圖和候選框輸入到空間金字塔池化(spatial pyramid pooling, SPP)[17]層得到候選框特征圖，經(jīng)全連接層(fully connected layers, FC)得到的特征向量送入分類數(shù)據(jù)流和檢測數(shù)據(jù)流，兩個數(shù)據(jù)流進(jìn)行內(nèi)積合并與區(qū)域求和，得到類別分?jǐn)?shù)，最后通過交叉熵?fù)p失函數(shù)指導(dǎo)模型的訓(xùn)練。WSDDN為此后的深度弱監(jiān)督模型提供了良好的基礎(chǔ)，在線實例分類提純(online instance classifier refinement, OICR)[18]弱監(jiān)督深度檢測網(wǎng)絡(luò)提出了一種新穎的在線實例分類器細(xì)化算法，將 MIL和實例分類器細(xì)化過程集成到單個深度網(wǎng)絡(luò)中，在僅利用圖像級監(jiān)督的情況下端到端地訓(xùn)練網(wǎng)絡(luò)。區(qū)域聚類學(xué)習(xí)(proposal cluster learning, PCL)[19]弱監(jiān)督檢測網(wǎng)絡(luò)在OICR的基礎(chǔ)上融合了聚類的思想，該方法認(rèn)為空間上具有高重疊度的候選框被分組到一個集合中，同一集合中的不同候選框更有可能覆蓋同一實例的不同部分，可以將多個候選框的信息進(jìn)行組合，找到最合適的候選框。文獻(xiàn)[20]針對弱監(jiān)督目標(biāo)檢測中在具有相同類別的對象簇中進(jìn)行部分對象檢測和錯誤檢測的問題，提出了一種三重優(yōu)化策略。首先，利用融合類激活圖生成某一類別的定位圖，這些定位圖用于修改從實例分類分支學(xué)習(xí)到的候選框，然后，利用了深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)以進(jìn)一步細(xì)化建議，最后，將細(xì)化的邊界框反饋到實例分類網(wǎng)絡(luò)。細(xì)化操作使模型能學(xué)習(xí)對象的完整性并大大提高檢測性能。文獻(xiàn)[21]將弱監(jiān)督檢測問題看作是缺少邊界框的目標(biāo)檢測問題，提出一種偽Ground Truth挖掘算法，以在訓(xùn)練數(shù)據(jù)中自動找到未標(biāo)記實例的缺失邊界框，然后結(jié)合挖掘的偽Ground Truth和標(biāo)記的注釋，以增量學(xué)習(xí)的方式來訓(xùn)練一個完全監(jiān)督的目標(biāo)檢測器。文獻(xiàn)[22]提出了一種實例感知和上下文聚焦的端到端檢測框架，設(shè)計了一種實例感知自訓(xùn)練算法和內(nèi)存高效的順序批量反向傳播方法。

針對螺栓圖像和弱監(jiān)督模型的特點，提出一種基于改進(jìn)PCL(proposal cluster learning)模型的輸電線路缺銷螺栓弱監(jiān)督檢測方法。首先，引入通道注意力機(jī)制，提取螺栓精細(xì)特征，充分挖掘特征圖中的螺栓位置信息；然后，對傳統(tǒng)分類損失函數(shù)進(jìn)行加權(quán)和，平衡正負(fù)樣本，挖掘出困難螺栓目標(biāo)；最后，融合全監(jiān)督的多任務(wù)學(xué)習(xí)思想，修正預(yù)先得到的邊界框，提高定位準(zhǔn)確度。僅利用圖像級標(biāo)注的情況下，實現(xiàn)了缺銷螺栓檢測，并且改進(jìn)后的PCL模型比基礎(chǔ)模型檢測性能有顯著提升。

1 改進(jìn)PCL模型整體框架

本文方法的整體架構(gòu)如圖1所示。輸入一個螺栓圖像，首先利用Selective Search[23]或Edge Box[24]算法生成大約2 000個候選框。然后將螺栓圖像輸入到主網(wǎng)絡(luò)得到特征圖，再經(jīng)過通道注意力模塊輸出加權(quán)特征圖，突出螺栓目標(biāo)特征。再把加權(quán)特征圖和預(yù)先得到的候選框輸入到一些帶有感興趣域池化(region of interest pooling, RoI pooling)[25]層的卷積層中，以針對每個候選框生成一個固定大小的卷積特征圖。之后，候選框特征圖被送入兩個全連接層以生成候選框特征向量集合。這些特征向量輸入不同的支路：第一個是 MIL 網(wǎng)絡(luò)，第二個是實例分類提純網(wǎng)絡(luò)，第三個是多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)。MIL網(wǎng)絡(luò)又分為兩個支流，支流一為分類流，對候選框進(jìn)行歸一化操作，輸出每個區(qū)域中各個類別的概率；支流二為檢測流，對類別進(jìn)行歸一化操作，輸出每個類別在所有候選框中的概率，采用內(nèi)積的方式將支流結(jié)果進(jìn)行合并，再對區(qū)域求和，轉(zhuǎn)換為圖像級別的類別預(yù)測分?jǐn)?shù)，利用加權(quán)交叉熵?fù)p失函數(shù)Lw指導(dǎo)多實例分類器的訓(xùn)練，得到初步檢測結(jié)果；實例分類提純網(wǎng)絡(luò)包含具有相同結(jié)構(gòu)的多級實例分類器求精網(wǎng)絡(luò)，前一級的輸出作為偽標(biāo)簽來訓(xùn)練下一級，并且第一級實例分類器將MIL網(wǎng)絡(luò)的輸出作為偽標(biāo)簽。經(jīng)過多級分類器細(xì)化，分類器傾向于選擇貼合度較好的框作為正實例，可以用作多任務(wù)學(xué)習(xí)的偽標(biāo)注數(shù)據(jù)回歸量，多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)就可以像全監(jiān)督模型一樣進(jìn)行分類和回歸。

2 研究方法

2.1 通道注意力

本文中對數(shù)據(jù)集中螺栓目標(biāo)尺寸進(jìn)行了統(tǒng)計，螺栓目標(biāo)平均與原圖的寬比例為0.14，與原圖的高比例為0.15，面積占比為0.025，螺栓樣張如圖2所示。螺栓圖像具有目標(biāo)小、視覺表示不明顯的特點，深度神經(jīng)網(wǎng)絡(luò)提取螺栓特征過程中容易出現(xiàn)信息丟失、難以提取精細(xì)特征和螺栓位置檢測精度低的弊端。

為了解決這種問題，把主網(wǎng)絡(luò)生成的特征圖當(dāng)作通道注意力網(wǎng)絡(luò)的輸入，生成加權(quán)特征圖。使模型抑制背景這種無關(guān)特征，突出螺栓特征，增強(qiáng)網(wǎng)絡(luò)提取位置信息的能力，從而提升模型的缺銷螺栓檢測精度。通道注意力機(jī)制如圖3所示，首先，利用全局平均池化將輸入的特征圖進(jìn)行通道維度上的特征壓縮，每個二維特征H×W被壓縮為一個標(biāo)量，得到1×1×C的向量。這個標(biāo)量可以表征通道特征上的全局信息。

接下來一步是整個通道注意力機(jī)制的關(guān)鍵。為了建立特征通道間的依賴關(guān)系，生成每個通道的權(quán)重值，兩個全連接層可以隨著損失函數(shù)的優(yōu)化去自動學(xué)習(xí)，學(xué)習(xí)到的參數(shù)即為每個特征通道的權(quán)重值，輸出和輸入特征同樣數(shù)目的權(quán)重值。第一個全連接層輸出1×1×C/r，r是一個縮放參數(shù)，本方法取值16，目的是為了減少通道個數(shù)從而降低計算量，再經(jīng)過一個Relu層，輸出維度不變；第二個全連接層還原出維度為C的向量，再經(jīng)過Sigmoid函數(shù)得到1×1×C的權(quán)重向量。如圖3中的第二個1×1×C向量，顏色深的區(qū)域表示需要突出的通道特征，顏色淺的區(qū)域表示需要抑制的通道特征。

圖1 改進(jìn)PCL模型整體網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The overall network structure of improved PCL model

圖2 螺栓圖樣Fig.2 Bolt image samples

圖3 通道注意力機(jī)制Fig.3 Channel attention mechanism

最后，將前面得到的歸一化權(quán)重通過廣播相乘的方式作用到物征圖對應(yīng)通道上，完成在通道維度上的加權(quán)操作，形成加權(quán)特征圖。

2.2 加權(quán)損失函數(shù)

弱監(jiān)督模型為了定位目標(biāo)會利用Selective Search算法在每張圖像上產(chǎn)生大約2 000個候選框，一幅螺栓圖像中正樣本數(shù)量很少，剩余大量的候選框處于背景區(qū)域，這就導(dǎo)致了正負(fù)樣本極不平衡。此時，大量的易分類背景框會主導(dǎo)損失函數(shù)，使網(wǎng)絡(luò)把大量的迭代訓(xùn)練花在簡單背景負(fù)樣本上，減少了對真正應(yīng)該學(xué)習(xí)的螺栓目標(biāo)的關(guān)注程度，導(dǎo)致模型不能充分學(xué)習(xí)螺栓特征，螺栓目標(biāo)檢測效果差；同時，螺栓數(shù)據(jù)集中存在大量污漬、遮擋、陰影等困難樣本，大大增加了缺銷螺栓檢測任務(wù)的難度，數(shù)據(jù)集中困難樣本如圖4所示。

針對以上兩個問題，對傳統(tǒng)的交叉熵?fù)p失函數(shù)進(jìn)行加權(quán)和，為正負(fù)樣本賦予不同的權(quán)值，控制正負(fù)樣本在損失值的占比，避免了模型把大量的迭代訓(xùn)練在簡單負(fù)樣本上；同時大大降低易識別螺栓的損失值，保持難識別螺栓的損失值幾乎不變，以達(dá)到增大困難樣本總損失值比重的目的，使模型提高對困難樣本的關(guān)注程度，從而提高對螺栓的檢測能力。

圖4 困難樣本Fig.4 Hard examples

本方法定義參數(shù)pt為

(1)

式(1)中：pt為某一類的得分，值為0～1；y表示標(biāo)注數(shù)據(jù)的真實類別；p表示經(jīng)過激活函數(shù)后的輸出，值為0～1。

傳統(tǒng)的交叉熵?fù)p失函數(shù)為

L(p,y)=L(pt)=-lnpt

(2)

對于正樣本而言，輸出的概率值越大損失值就越小，對于負(fù)樣本而言，輸出的概率值越小損失值就越小。此時，模型的訓(xùn)練消耗在大量的背景負(fù)樣本的迭代過程中，對于少數(shù)真正感興趣的螺栓目標(biāo)卻難以學(xué)習(xí)。

加權(quán)交叉熵?fù)p失函數(shù)為

Lw=-α(1-pt)γlnpt

(3)

式(3)中：α表示正負(fù)樣本平衡系數(shù)，值為0～1；(1-pt)γ表示難易樣本調(diào)制系數(shù)。通過控制α的取值，控制正負(fù)樣本對總損失值的權(quán)重。當(dāng)pt越大時，樣本越容易被分類，1-pt越小，再經(jīng)過γ次立方后，此時就會大大降低易分類樣本的損失值；當(dāng)pt越小時，樣本越不容易被分類，1-pt越大，再經(jīng)過γ次立方后，此時難分類樣本的損失值也會降低，但是降低的幅度遠(yuǎn)遠(yuǎn)小于易分類樣本，增大了困難樣本損失值比重，挖掘出困難樣本。

2.3 多任務(wù)學(xué)習(xí)

邊框回歸是典型的全監(jiān)督目標(biāo)檢測器的必要組成部分，能夠減少定位誤差。適用于弱監(jiān)督檢測模型的數(shù)據(jù)集沒有標(biāo)注框以及框的類別，無法像全監(jiān)督模型一樣對候選框進(jìn)行回歸。

經(jīng)過實例分類提純網(wǎng)絡(luò)后，分類器傾向于選擇精確度較高的候選框作為正實例，這可以作為多任務(wù)學(xué)習(xí)的偽Ground Truth的標(biāo)注信息，多任務(wù)分支就可以像全監(jiān)督模型一樣進(jìn)行分類和回歸。

Lmtl=Lcls+Lreg

(4)

式(4)中：Lcls為分類損失函數(shù)；Lreg為邊框回歸損失函數(shù)。

對于Lcls，使用了ln損失函數(shù)，即

(5)

邊框回歸過程如圖5所示。

圖5 邊框回歸Fig.5 Bounding box regression

給定候選框P，找到一種映射關(guān)系f，得到回歸框G′，使G′無限接近偽Ground Truth，使用smoothL1損失函數(shù)進(jìn)行優(yōu)化得到映射關(guān)系f，邊框回歸損失函數(shù)表示為

(6)

式(6)中：參數(shù)ti表示回歸框的位置信息，參數(shù)vi表示偽標(biāo)注數(shù)據(jù)里含有的位置信息，函數(shù)smoothL1(x)為平滑最小絕對值偏差損失函數(shù)，表示為

(7)

整個網(wǎng)絡(luò)的復(fù)合損失函數(shù)如式(8)所示，然后通過隨機(jī)梯度下降法對復(fù)合損失函數(shù)進(jìn)行優(yōu)化，以尋求到最優(yōu)的參數(shù)，使得損失值最小。

(8)

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

本文使用的實驗環(huán)境如表1所示。

表1 實驗環(huán)境Table 1 Experiment operating environment

3.2 數(shù)據(jù)與評價指標(biāo)

實驗部分使用的輸電線路缺銷螺栓數(shù)據(jù)集中包含1 984張圖片，其中含有2 186個缺銷螺栓(pmb)和1 363個正常螺栓(nb)。以8∶2的比例將數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集和測試集，其中訓(xùn)練集1587張，測試集397張。因為本文是探究缺銷螺栓的弱監(jiān)督檢測，所以在訓(xùn)練時只提取了圖像類別信息作為訓(xùn)練的輸入監(jiān)督數(shù)據(jù)，以向量的形式表示每張圖片的圖像級標(biāo)簽，如{1,1}表示這張圖像中有正常螺栓和缺銷螺栓兩類目標(biāo)。以每個類別平均精確率(average precision,AP)和所有類別平均精確率(mean average precision,mAP)作為評價指標(biāo)，在測試集上對模型進(jìn)行檢驗。同時，平均定位準(zhǔn)確率(CorLoc)作為定位準(zhǔn)確度的評價指標(biāo)，在訓(xùn)練集上對模型進(jìn)行檢驗。這是目前在弱監(jiān)督目標(biāo)檢測領(lǐng)域最常用的兩個評價標(biāo)準(zhǔn)。

3.3 模型訓(xùn)練

實驗中采用隨機(jī)梯度下降(stochastic gradient descent, SGD)的優(yōu)化方法對模型進(jìn)行訓(xùn)練，使用Selective Search算法生成候選框，并采用預(yù)先在ImageNet數(shù)據(jù)集上訓(xùn)練好的VGG16作為本文提取特征主網(wǎng)絡(luò)。在訓(xùn)練過程中，采用了4幅圖像的小批量大小，總的迭代次數(shù)為75 000，并在最初的55 000迭代中將學(xué)習(xí)率設(shè)置為0.001，然后在接下來的20 000迭代中將學(xué)習(xí)率降低到0.000 1。動量和權(quán)重衰減系數(shù)分別設(shè)置為0.9和0.000 5。對于數(shù)據(jù)增強(qiáng)，使用五種圖像比例，即{480，576，688，864，1 200}，將最短的一側(cè)調(diào)成成為其中一個比例，以及水平翻轉(zhuǎn)來增強(qiáng)訓(xùn)練和測試數(shù)據(jù)。

3.4 不同NMS閾值實驗分析

非極大值抑制(non-maximum suppression，NMS)[26]是目標(biāo)檢測領(lǐng)域中重要的一步，用來去除冗余的檢測框，保留得分最高的檢測框。對不同NMS取值下檢測精度進(jìn)行實驗，實驗結(jié)果如表2所示。

當(dāng)NMS取值為0.2、0.5和0.6時，正常螺栓和缺銷螺栓的AP和mAP均明顯小于NMS為0.3和0.4時的AP和mAP。雖然NMS為0.3時的缺銷螺栓AP比NMS為0.4時低0.1，但是正常螺栓的AP和mAP分別高出0.4和0.1。綜合以上，選取NMS取值為0.3，后續(xù)的實驗均以0.3為基礎(chǔ)進(jìn)行研究。

表2 NMS對檢測精度的影響Table 2 Influence of NMS on detection accuracy

3.5 通道注意力實驗分析

引入通道注意力機(jī)制后模型的檢測精度和定位精度的對比如表3和表4所示，mAP提升了2.8%，缺銷螺栓的AP提升了1.1%，CorLoc提升了3.1%，缺銷螺栓的定位精度提升明顯，提升了5.3%。說明了通道注意力能增強(qiáng)螺栓目標(biāo)特征，充分挖掘出螺栓的位置信息，彌補(bǔ)了因目標(biāo)過小而導(dǎo)致的螺栓深度特征提取過程中容易出現(xiàn)信息丟失的不足。

通道注意力對可視化特征圖的影響如圖6所示，左側(cè)列為原圖，中間列為微調(diào)后模型可視化特征圖，右側(cè)列為用通道注意力訓(xùn)練后得到可視化特征圖。通過對比得到，微調(diào)后模型的噪聲較多，引入通道注意力后得到的加權(quán)特征圖能抑制背景特征，突出目標(biāo)區(qū)域特征。因此，噪聲較少，且定位更準(zhǔn)確。

表3 引入通道注意力前后檢測精度比較Table 3 Comparison of detection accuracy before and after introducing channel attention

表4 引入通道注意力前后定位精度比較Table 4 Comparison of location accuracy before and after introducing channel attention

圖6 引入通道注意力前后可視化特征圖對比Fig.6 Comparison of visualized feature maps before and after introducing channel attention

3.6 加權(quán)損失函數(shù)實驗分析

加權(quán)損失函數(shù)中的α和γ的取值會對模型訓(xùn)練過程產(chǎn)生影響，從而導(dǎo)致檢測性能的差異。α和γ聯(lián)調(diào)下模型檢測的mAP如表5所示，可以看出當(dāng)α=0.25、γ=2時模型的mAP最高，比微調(diào)后的模型提升了13.1%。因此，合理地設(shè)置α和γ的取值對模型的檢測效果有一定提升。

損失函數(shù)改進(jìn)前后分類損失值隨迭代次數(shù)增加的變化曲線如圖7所示。通過對比可見，在迭代次數(shù)為0～10 000時，加權(quán)損失函數(shù)曲線變化圖比改進(jìn)前更陡，說明了改進(jìn)后的損失函數(shù)，減少了大量背景負(fù)樣本對損失值的貢獻(xiàn)，增加了正樣本在損失值中的占比，挖掘出困難螺栓樣本，提高了模型對真正需要學(xué)習(xí)的螺栓目標(biāo)的關(guān)注程度，增強(qiáng)了識別螺栓的能力。另外，損失函數(shù)改進(jìn)前分類器在迭代次數(shù)33 000時達(dá)到收斂，損失函數(shù)改進(jìn)后分類器在迭代次數(shù)28 000時達(dá)到收斂,說明損失函數(shù)改進(jìn)后不僅收斂速度更快而且檢測性能有了顯著提高。

在通道注意力的基礎(chǔ)上聯(lián)合加權(quán)損失函數(shù)進(jìn)行了實驗，實驗在α=0.25和γ=2條件下進(jìn)行。模型改進(jìn)前后檢測精度和定位精度的對比如表6和表7所示。通過對比，檢測精度和定位精度都有顯著提升。缺銷螺栓的檢測效果提升最明顯，AP值提升21.2%，定位精度提升27.6%?？梢则炞C，兩種方法不論單獨使用還是聯(lián)合使用均能提升模型的檢測性能。

表5 不同α和γ取值對檢測精度的影響Table 5 Influence of different α and γ values on detection accuracy

圖7 損失函數(shù)改進(jìn)前后分類損失曲線對比Fig.7 Comparison of classification loss curve before and after improvement of loss function

表6 loss改進(jìn)前后檢測精度比較Table 6 Comparison of detection accuracy before and after loss improvement

表7 loss改進(jìn)前后定位精度比較Table 7 Comparison of detection accuracy before and after loss improvement

3.7 多任務(wù)學(xué)習(xí)實驗分析

改進(jìn)后的PCL模型(注意力+加權(quán)損失函數(shù)+多任務(wù)學(xué)習(xí))、微調(diào)后的PCL模型、OICR(online instance classifier refinement)、OICR+多任務(wù)學(xué)習(xí)和文獻(xiàn)[16]在測試集上的檢測結(jié)果對比如表8所示。從表8可以看出，使用通道注意力、加權(quán)損失函數(shù)和多任務(wù)學(xué)習(xí)訓(xùn)練模型后，PCL模型對測試集的檢測mAP達(dá)到了45.0%，并且正常螺栓、缺銷螺栓的檢測AP也都遠(yuǎn)高于其他弱監(jiān)督檢測模型。相比于進(jìn)行參數(shù)微調(diào)后的PCL模型，正常螺栓的檢測AP提升了25.0%，缺銷螺栓檢測的AP提升了25.6%，mAP提升了25.4%。這是由于通道注意力機(jī)制的引入使模型能增強(qiáng)小目標(biāo)深度特征，挖掘出特征圖中隱含的位置信息；對交叉熵?fù)p失函數(shù)進(jìn)行加權(quán)和，減少了大量背景負(fù)樣本和易分類樣本的損失占比，提高了模型對真正需要學(xué)習(xí)的螺栓目標(biāo)的關(guān)注程度；多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)利用學(xué)習(xí)到候選框到偽Ground Truth之間的映射關(guān)系，修正預(yù)先得到的邊界框，進(jìn)一步提高模型的定位能力。同時從OICR和OICR+多任務(wù)學(xué)習(xí)的檢測結(jié)果對比，也可以驗證多任務(wù)學(xué)習(xí)對提升缺銷螺栓弱監(jiān)督檢測能力的有效性。

表8 不同模型的檢測性能對比Table 8 Comparison of detection performance among different models

3.8 實際檢測效果對比

對模型改進(jìn)前后在測試集上的實際檢測效果進(jìn)行了對比，測試時改進(jìn)后模型IoU(intersection over union)閾值為0.8，改進(jìn)前模型IoU閾值為0.4。模型改進(jìn)前后對小目標(biāo)樣本檢測結(jié)果對比如圖8所示，模型改進(jìn)前后對困難樣本的檢測效果對比如圖9所示，改進(jìn)后模型部分檢測結(jié)果如圖10所示。

通過圖8中的對比可見，微調(diào)后的模型得到的檢測框非常粗糙，只能檢測出目標(biāo)的大概位置，圖像中存在多個目標(biāo)時，容易出現(xiàn)漏檢的情況。改進(jìn)后的模型得到的檢測結(jié)果要明顯好于微調(diào)后的模型。檢測框與螺栓的貼合度好，而且漏檢的情況改善明顯。

通過圖9中的對比可見，微調(diào)后的模型在污漬樣本上的檢測框精確度低，在遮擋和陰影樣本上均出現(xiàn)了漏檢的情況。改進(jìn)后的模型在污漬樣本上得到的檢測框貼合度好，能精確地檢測出被遮擋目標(biāo)，雖然在陰影樣本上的檢測框不夠精準(zhǔn)，但是減少了漏檢的現(xiàn)象。

圖8 小目標(biāo)樣本檢測效果對比Fig.8 Comparison of detection effect on small target examples

圖9 困難樣本檢測效果對比Fig.9 Comparison of detection effect on hard examples

圖10 測試集上部分檢測結(jié)果展示Fig.10 Display of some test results on the test set

4 結(jié)論

為了減少目標(biāo)級標(biāo)注成本，針對螺栓圖像和弱監(jiān)督模型本身的特點，提出一種基于改進(jìn)PCL模型的輸電線路缺銷螺栓弱監(jiān)督檢測方法，得出以下結(jié)論。

(1)通道注意力的引入能突出螺栓特征，增強(qiáng)模型提取位置信息的能力，解決了螺栓特征表達(dá)不明顯的問題，提升了小目標(biāo)檢測的檢測性能。

(2)通過對交叉熵?fù)p失函數(shù)進(jìn)行加權(quán)和，提高了正樣本在損失值中的比重，挖掘出困難螺栓樣本，使模型在訓(xùn)練過程中把更多的關(guān)注度放在螺栓上，提高模型對螺栓的學(xué)習(xí)能力。

(3)多任務(wù)學(xué)習(xí)思想使模型能學(xué)習(xí)到候選框與偽Ground Truth之間的映射關(guān)系，修正預(yù)先得到的邊界框的位置和大小，進(jìn)一步提升定位準(zhǔn)確度。

通過對比實驗，不論與微調(diào)后的模型相比，還是與其他模型相比，改進(jìn)后PCL模型都表現(xiàn)出更優(yōu)異的檢測性能。