碳纖維復(fù)合芯導(dǎo)線X 射線圖像標(biāo)準(zhǔn)化增強與缺陷檢測方法

陳大兵，魏寒來，胡軼寧，舒華忠，王 征

（1.國網(wǎng)江蘇省電力有限公司電力科學(xué)研究院，南京，211103；2.東南大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，南京，210096；3.東南大學(xué)計算機科學(xué)與工程學(xué)院，南京，210096）

引 言

中國電力系統(tǒng)發(fā)展十分迅速，提高電網(wǎng)輸電能力、節(jié)省投資、保護環(huán)境、提高電網(wǎng)的經(jīng)濟效益和安全可靠性成為電網(wǎng)發(fā)展亟待解決的問題。如今部分應(yīng)用于高壓電網(wǎng)的碳纖維復(fù)合芯導(dǎo)線（Aluminum conductor composite core, ACCC）因具有重量輕、載流量大、線損低及弧垂小等技術(shù)優(yōu)勢，成為最具發(fā)展?jié)摿Φ男滦蛯?dǎo)線品種[1]。但是，ACCC 抗彎曲性是推廣和應(yīng)用的主要障礙，因此碳纖維復(fù)合材料芯損傷的檢測必不可少[2]。然而通過諸如應(yīng)力檢測[3-4]、電磁感應(yīng)檢測[5-6]及聲波檢測[7-8]等均無法穿透ACCC外層導(dǎo)電層并有效探測到其中碳纖維芯棒存在的缺陷。X 射線近年來被廣泛應(yīng)用于工業(yè)無損探傷領(lǐng)域[9-10]，但一方面由于ACCC 導(dǎo)線X 射線所成圖像中缺陷部位的對比度嚴(yán)重不足，另一方面由于輸電線路很長，導(dǎo)致導(dǎo)線在線檢測需要對大量圖片進行識別，極易因人員疲勞造成漏檢，因此限制了該項技術(shù)在ACCC 導(dǎo)線無損檢測產(chǎn)業(yè)中的應(yīng)用。隨著人工智能的發(fā)展，以Faster RCNN 方法為代表的目標(biāo)分類檢測算法[11-12]在無損檢測領(lǐng)域得到了廣泛的應(yīng)用[13-14]。然而Faster RCNN 算法直接應(yīng)用于ACCC 導(dǎo)線缺陷檢測時，限于在線拍攝環(huán)境，存在導(dǎo)線區(qū)域彎曲、不同區(qū)域亮度差異大以及不同圖像間亮度一致性較差等問題，難以獲得高精度的檢測結(jié)果。

針對這一難題，本文提出了一套結(jié)合圖像標(biāo)準(zhǔn)化增強與深度神經(jīng)網(wǎng)絡(luò)的快速ACCC 導(dǎo)線缺陷自動檢測方案。該方案對導(dǎo)線的區(qū)域彎曲進行補償，不同區(qū)域亮度進行一致化，并通過直方圖規(guī)定算法將圖像亮度映射為標(biāo)準(zhǔn)亮度，以降低訓(xùn)練/檢測難度，提高檢測精度。在此基礎(chǔ)上結(jié)合Faster RCNN 網(wǎng)絡(luò)進行自動缺陷檢測。以雙層鋁股線類型的碳纖維復(fù)合芯導(dǎo)線X 射線圖像作為研究對象進行實驗，結(jié)果表明：通過該標(biāo)準(zhǔn)化方案，能夠有效提高利用卷積神經(jīng)網(wǎng)絡(luò)對ACCC 導(dǎo)線進行自動缺陷檢測的效率，大幅提高檢測精度和穩(wěn)定性。

1 碳纖維導(dǎo)線X 射線圖像的標(biāo)準(zhǔn)化

1.1 碳纖維復(fù)合芯導(dǎo)線X 射線成像

為了實現(xiàn)ACCC 導(dǎo)線的在線成像以及缺陷檢測，本文設(shè)計開發(fā)了一套爬線機器人。機器人自重25 kg，運行速率為0.2 m/s，載有額定電壓80 kV，額定電流0.7 mA 的X 射線源；X 射線探測板型號為PerkinElmer XRpad2，分辨率為100 μm。機器人搭配ARK1123H 小型工控系統(tǒng)，CPU 為Intel Celeron J1900，作為下位機，負(fù)責(zé)圖像采集與部分前處理。上位機為Dell G7 筆記本電腦，顯卡為NVIDIA 2070-Q，負(fù)責(zé)圖像亮度標(biāo)準(zhǔn)化、圖像增強和實時檢測運算。

系統(tǒng)采集所得圖像如圖1 所示，導(dǎo)線影像為長條狀，僅占據(jù)了探測板有效靶面的小部分，受重力等因素影響，導(dǎo)線的形態(tài)呈輕微垂?。▓D1（a）），且圖像間成像亮度存在不一致（圖1（b））。在通過機器學(xué)習(xí)進行缺陷自動識別之前，需要通過圖像剪裁、彎曲補償及灰度標(biāo)準(zhǔn)化等預(yù)處理，以降低學(xué)習(xí)成本，提升學(xué)習(xí)效率。

1.2 導(dǎo)線區(qū)域彎曲補償

經(jīng)過裁剪后的導(dǎo)線區(qū)域，為了保證圖像位置一致性，需進行彎曲補償。在補償過程中僅考慮垂直方向形變，因此本文通過邊界檢測獲得導(dǎo)線的上下邊界，取其中點生成偏移曲線，并以列為單位完成補償。利用偏移曲線對導(dǎo)線圖像進行彎曲補償時由于邊界檢測采用了閾值分割，相鄰列偏移量不連續(xù)，將產(chǎn)生豎條狀偽影（圖2(a)），為解決這一問題本文采用高斯濾波對偏移曲線進行濾波，濾波公式為

圖1 碳纖維復(fù)合芯導(dǎo)線X 射線圖像Fig.1 X-ray image of carbon fiber composite core wire

圖2 導(dǎo)線彎曲補償效果對比Fig.2 Comparison of wire bending compensation

式中：σ為方差；x為橫坐標(biāo)。設(shè)離散化濾波核長度為17，根據(jù)濾波結(jié)果進行線性插值，其結(jié)果如圖2(b)所示。對比可發(fā)現(xiàn)，濾波消除了矯正圖像中的豎條狀偽影，提升了補償效果。

1.3 亮度一致化

在ACCC 導(dǎo)線X 射線圖像的采集過程中，導(dǎo)致圖像亮度不一致的因素有兩種：(1)平板探測器中心和四周區(qū)域的射線響應(yīng)不同，導(dǎo)致單幅圖像中目標(biāo)亮度不一致；(2)采集過程中，為爬線機器人供電的電池電量下降引起X 射線強度下降，與成像板做亮度場校正時的射線場存在差異。針對這兩種不同的亮度不一致現(xiàn)象，本文分別采用單幅圖像亮度一致化和多幅圖像亮度標(biāo)準(zhǔn)化技術(shù)進行解決。

（1）單幅圖像亮度一致化

考慮到ACCC 導(dǎo)線的整體均勻性，同一張圖像不同位置的ACCC 導(dǎo)線局部亮度應(yīng)趨于一致。由于絞線空隙紋理的存在，本文在導(dǎo)線的每一個水平中心位置附近選取一定寬度的區(qū)域，進行局部亮度統(tǒng)計，之后根據(jù)局部亮度信息對ACCC 導(dǎo)線進行整體亮度一致性補償。

給定一致化目標(biāo)亮度Bm，然后逐列統(tǒng)計局部亮度Barea(i)為

式中：H為圖像高度；W為區(qū)域?qū)挾取?/p>

根據(jù)統(tǒng)計亮度和與規(guī)定亮度的比值，對該窗口中間一列各點像素值進行映射，統(tǒng)一映射到一致化目標(biāo)亮度Bm。

式中B′(i,j)與B(i,j)分別表示映射前后像素(i,j)的亮度。

（2）多幅圖像亮度標(biāo)準(zhǔn)化

直方圖規(guī)定[15]是一種尋找直方圖之間單調(diào)映射的方法，通過將原始圖像各灰度級映射到目標(biāo)圖像各灰度級來實現(xiàn)不同圖像的亮度標(biāo)準(zhǔn)化，本文通過直方圖規(guī)定算法實現(xiàn)了多幅圖像亮度標(biāo)準(zhǔn)化。圖3 中左側(cè)為3 幅不同亮度分布的導(dǎo)線圖像及其灰度直方圖；中間為標(biāo)準(zhǔn)圖像及灰度直方圖，該標(biāo)準(zhǔn)圖像下缺陷與背景對比較為明顯且接近標(biāo)準(zhǔn)成像條件下的成像效果；右側(cè)為直方圖規(guī)定轉(zhuǎn)換后圖像，轉(zhuǎn)換后圖像與標(biāo)準(zhǔn)圖像具有完全相同的灰度分布。

2 目標(biāo)檢測網(wǎng)絡(luò)

圖3 直方圖規(guī)定化效果圖Fig.3 Effect diagram of histogram normalization

本文采用了經(jīng)典的Faster RCNN（Region convolutional neural network）模型[12]對 ACCC 導(dǎo)線 X 射線圖像中的缺陷進行自動檢測。樣本分為有/無缺陷二分類，缺陷包括鋸口、折口、空隙及劈裂等，訓(xùn)練參數(shù)樣本1 250 張，測試樣本638 張，測試樣本中包含缺陷樣本320 張。

Faster RCNN 依次由卷積層（Convolution layers）、區(qū)域選取網(wǎng)絡(luò)（Region proposal network，RPN）、感興趣區(qū)域（Region of interests，ROI）池化層、分類和回歸（Classifier）4 個部分組成。

卷積層用于提取圖片的特征，輸入為2 475 像素×225 像素大小經(jīng)過預(yù)處理的圖片，輸出為提取出的特征（Feature maps）。本文使用了 5 種不同特征提取網(wǎng)絡(luò)，包括 VGG，GoogleNet，Inception v2，Resnet 和WideResnet 進行實驗，并對比最終結(jié)果，以尋找較為合適的特征提取網(wǎng)絡(luò)。

RPN 網(wǎng)絡(luò)對提取的卷積特征圖進行處理，用于尋找可能包含缺陷目標(biāo)的區(qū)域（目標(biāo)建議）。本文用所有以Mini Batch 梯度下降法篩選出來的Anchor Box 先驗框和二進制交叉熵來計算分類損失，用IoU（Intersection of union）值大于0.5 的前景Mini Batch 錨點來計算回歸損失。RPN 在自身訓(xùn)練的同時，還會提供ROI 給Fast RCNN（RoIHead）作為訓(xùn)練樣本。為解決多個目標(biāo)建議在同一目標(biāo)上重疊的問題，本文采用了非極大抑制算法（Non-maximum suppression, NMS）。NMS 保留評分最高的N個建議，由于電纜圖像數(shù)據(jù)中缺陷尺寸較小，故可以適當(dāng)降低N的大小，本文實驗設(shè)置N大小為1 000。

通過RPN 獲得目標(biāo)建議后，將目標(biāo)建議與由卷積層獲得的特征圖一起輸入到ROI 池化層，為每個目標(biāo)建議提取固定長度的特征，分類和回歸層使用這些特征進行分類，并進一步進行邊框調(diào)整，計算得到候選區(qū)域所屬的類，以及候選區(qū)域在圖像中的精確位置。

Faster RCNN 訓(xùn)練方法采用端到端的聯(lián)合訓(xùn)練方法，同時本文用隨機梯度下降的動量算法訓(xùn)練，將動量值設(shè)置為0.9。學(xué)習(xí)率從0.001 開始，50 000 步后下降為0.000 1。

3 實驗驗證

為驗證前面提出的導(dǎo)線圖像標(biāo)準(zhǔn)化方法對深度學(xué)習(xí)自動檢測準(zhǔn)確率起到的提升作用，以雙層鋁股線類型的碳纖維復(fù)合芯導(dǎo)線X 射線圖像作為研究對象。本文分別采用原始圖像和標(biāo)準(zhǔn)化后圖像進行對比實驗，其中標(biāo)準(zhǔn)化部分包含單張亮度一致化和多圖亮度標(biāo)準(zhǔn)化。圖4 為含各種不同類型缺陷的樣本圖標(biāo)準(zhǔn)化處理前后對比效果，圖4(a)為處理前圖像，圖像間存在較大亮度差異，圖4(b)為處理后圖像，具有較高的亮度一致性。

標(biāo)準(zhǔn)化處理后圖像大小為2 475 像素× 225 像素，將其輸入神經(jīng)網(wǎng)絡(luò)模型進行檢測。未經(jīng)標(biāo)準(zhǔn)化處理的部分樣本在檢測中出現(xiàn)了較高的誤檢率和漏檢率，如圖5 所示。圖中1 號樣例右側(cè)區(qū)域的誤檢原因是整體亮度的偏低，導(dǎo)致網(wǎng)絡(luò)將過暗的斜紋錯誤認(rèn)作了缺陷；2 號樣例右側(cè)區(qū)域的誤檢原因是整體亮度的偏高且背景與碳纖維芯棒對比度不高，導(dǎo)致了誤檢；3 號樣例右側(cè)區(qū)域是由于邊界的彎曲不平，導(dǎo)致神經(jīng)網(wǎng)絡(luò)出現(xiàn)了誤判；4，5 號樣例中標(biāo)注區(qū)域為漏檢缺陷區(qū)域，圖像整體亮度過大，而缺陷較為不明顯，對比度較低，使得網(wǎng)絡(luò)未能將原有的缺陷識別出來。而這些漏檢和誤檢在進行前端標(biāo)準(zhǔn)化后可以正確識別。

圖4 標(biāo)準(zhǔn)化處理前后對比Fig.4 Comparison before and after standardization

圖5 未經(jīng)標(biāo)準(zhǔn)化處理發(fā)生漏檢/誤檢樣例Fig.5 Examples of missed / falsely detected cases without standardization

本文采用了多種不同的前處理方案，包括未進行標(biāo)準(zhǔn)化前處理、僅進行懸垂補償、進行了懸垂補償及單張圖像亮度一致化、進行了全部標(biāo)準(zhǔn)化前處理共4 種。采用Resnet 作為特征處理網(wǎng)絡(luò)，進行了Faster RCNN 缺陷檢測試驗，結(jié)果統(tǒng)計情況如圖6 所示。通過對比可以發(fā)現(xiàn)，不論是正確識別率、漏檢率還是誤檢率，隨著圖像依次進行懸垂補償、單張亮度標(biāo)準(zhǔn)化以及多張亮度標(biāo)準(zhǔn)化，其檢測精度逐步提升。由此可得出結(jié)論，本文提出的碳纖維導(dǎo)線X 射線圖像標(biāo)準(zhǔn)化方法，能夠有效地提高神經(jīng)網(wǎng)絡(luò)對碳纖維導(dǎo)線X 射線圖像缺陷的識別率。

圖6 同網(wǎng)絡(luò)下有無標(biāo)準(zhǔn)化處理的圖像缺陷二分類識別率對比Fig.6 Comparison of classification rate of image defects with and without standardized processing in the same network

本文實現(xiàn)了 VGG，GoogleNet，Resnet，Inception v2 和 WideResnet 特征提取網(wǎng)絡(luò)結(jié)構(gòu)，各特征提取網(wǎng)絡(luò)的檢測結(jié)果如圖7 所示。經(jīng)對比可發(fā)現(xiàn)，無論采用何種特征提取網(wǎng)絡(luò)，標(biāo)準(zhǔn)化前處理均可以一定程度上提高檢測精度，而其中Resnet 特征網(wǎng)絡(luò)具有最高的檢測精度。

圖7 不同特征提取網(wǎng)絡(luò)下有無標(biāo)準(zhǔn)化處理的圖像缺陷二分類識別率對比Fig.7 Comparison of classification rate of image defects with or without standardized processing under different feature extraction networks

4 結(jié)束語

針對碳纖維復(fù)合芯導(dǎo)線中碳纖維芯棒抗彎折強度低，容易發(fā)生診斷而無法有效檢測的難題，本文提出了一種基于X 射線成像，結(jié)合了前端圖像標(biāo)準(zhǔn)化處理以及Faster RCNN 深度學(xué)習(xí)網(wǎng)絡(luò)的自動檢測方案。經(jīng)實驗對比，所提出的懸垂補償、亮度標(biāo)準(zhǔn)化等前端圖像標(biāo)準(zhǔn)化處理可以有效提高檢測精度，而使用Faster RCNN 和Resnet 特征提取網(wǎng)絡(luò)，可以取得最佳的檢測精度。