一種無人機(jī)在線噴涂絕緣子RTV 質(zhì)量評(píng)價(jià)方法

汪博文，楊昌建，汪峰，楊傳凱，寇宗祥，杜建超，4

(1.國網(wǎng)陜西省電力有限公司安康供電公司，陜西 安康 725000; 2.國網(wǎng)陜西省電力有限公司電力科學(xué)研究院，西安 710100; 3.西安電子科技大學(xué)通信工程學(xué)院，西安 710071; 4.西安電子科技大學(xué)廣州研究院，廣州 510555)

0 引言

室溫硫化硅橡膠( RTV) 因?yàn)榫哂谐錾脑魉裕?］以及持久的憎水遷移性［2］，且能很好地兼顧多種類型絕緣子的機(jī)械和絕緣性能，被廣泛涂敷于絕緣子表面以防止絕緣子發(fā)生污閃現(xiàn)象。長(zhǎng)期運(yùn)行在野外環(huán)境中將使絕緣子RTV 涂層發(fā)生老化或污損現(xiàn)象，失去原有的正常功能。!當(dāng)前一些研究試圖通過利用無人機(jī)掛載機(jī)械臂對(duì)RTV 涂層實(shí)施在線噴涂，以延長(zhǎng)其使用壽命，降低運(yùn)維成本。在進(jìn)行噴涂的過程中，需要對(duì)噴涂效果進(jìn)行評(píng)估，并指導(dǎo)噴涂工作達(dá)到技術(shù)要求。

傳統(tǒng)針對(duì)絕緣子RTV 噴涂質(zhì)量的評(píng)估模式多為侵入型檢測(cè)評(píng)估［3］，即通過刀片切割，手工剝離涂料等方式，實(shí)現(xiàn)對(duì)絕緣子表面厚度或者附著力的評(píng)估。還有一些無損檢測(cè)技術(shù)利用傅里葉紅外光譜分析、激光誘導(dǎo)光譜、微波超聲及脈沖熱流遠(yuǎn)場(chǎng)［4-6］等方式對(duì)RTV涂層的厚度分布和材料狀態(tài)進(jìn)行評(píng)價(jià)。這類檢測(cè)方式較為復(fù)雜，均無法應(yīng)用于在線噴涂場(chǎng)景。

近年來，基于深度學(xué)習(xí)的圖像處理技術(shù)被廣泛應(yīng)用于絕緣子設(shè)備運(yùn)維檢修領(lǐng)域。文獻(xiàn)［7］使用U-Net 網(wǎng)絡(luò)框架對(duì)絕緣子進(jìn)行分割和檢測(cè)，文獻(xiàn)［8］結(jié)合生成對(duì)抗網(wǎng)絡(luò)來增強(qiáng)U-Net 在絕緣子分割中的性能，文獻(xiàn)［9］在分割出絕緣子的基礎(chǔ)上利用R-CNN 網(wǎng)絡(luò)檢測(cè)絕緣子自身缺陷。這些方法具有魯棒性好、準(zhǔn)確度高的特點(diǎn)［10］。無人機(jī)在線噴涂RTV 時(shí)，絕緣子RTV 涂層的外表狀況是評(píng)價(jià)噴涂質(zhì)量的主要依據(jù)。采集噴涂圖像，利用圖像處理技術(shù)提取絕緣子RTV 噴涂缺陷，分析缺陷的特征信息，能夠形成對(duì)噴涂效果的有效評(píng)價(jià)。

基于此，文章提出一種基于深度學(xué)習(xí)的無人機(jī)在線噴涂絕緣子RTV 質(zhì)量評(píng)價(jià)方法，構(gòu)建分類模型對(duì)噴涂表面的堆積、拉絲、噴涂不均勻等缺陷進(jìn)行分塊檢測(cè)，按照各類缺陷所占的面積比例，結(jié)合模糊評(píng)價(jià)手段來生成評(píng)定分?jǐn)?shù)，完成噴涂質(zhì)量的評(píng)價(jià)。

1 絕緣子RTV 噴涂區(qū)域提取

通常所采集的絕緣子圖像具有復(fù)雜的背景，易對(duì)缺陷檢測(cè)和質(zhì)量評(píng)價(jià)造成干擾，因此首先從背景圖像中提取出絕緣子RTV 噴涂區(qū)域。以完全卷積網(wǎng)絡(luò)( FCN) 為基礎(chǔ)架構(gòu)的Deeplabv3+網(wǎng)絡(luò)，是一種深度卷積神經(jīng)網(wǎng)絡(luò)模型，能夠提取目標(biāo)的深度特征信息，適應(yīng)復(fù)雜多變的場(chǎng)景，具備很好的語義分割性能。

基于Deeplabv3+網(wǎng)絡(luò)構(gòu)建絕緣子RTV 噴涂區(qū)域提取模型，如圖1 所示。

模型由編碼器和解碼器結(jié)構(gòu)組成［11］，在編碼器部分，連續(xù)卷積的池化操作可以降低數(shù)據(jù)維度，減少運(yùn)算的復(fù)雜度，但是隨著輸入圖像特征圖尺寸的減小，空間分辨率降低，會(huì)損失一部分額外的信息。因此，在編碼器階段引入了空洞卷積( Atrous Convolution) ，空洞卷積可以將特征圖中單個(gè)像素的感受視野增大，保證在特征圖尺寸減少的情況下依然保持信息不變，從而精確定位目標(biāo)。在編碼器與解碼器的連接部分，使用空洞空間卷積池化金字塔( ASPP) 結(jié)構(gòu)［12-13］，對(duì)解碼器壓縮過后的預(yù)處理特征層并行使用不同步率的空洞卷積進(jìn)行特征提取，最后利用1 ×1 的卷積壓縮特征，然后將多個(gè)通道的特征進(jìn)行合并，融合多尺度特征，最終得到一個(gè)有效特征層。在解碼器部分，將ASPP 處理過后有效特征層和編碼器處理過后的有效特征層進(jìn)行尺寸維數(shù)統(tǒng)一然后在通道維度合并，用連續(xù)的上采樣和深度可分離卷積得到最終的絕緣子RTV 噴涂區(qū)域提取結(jié)果。經(jīng)過本網(wǎng)絡(luò)處理后，圖像中僅保留絕緣子RTV 噴涂區(qū)域，其它背景其余均置為黑色，像素灰度值為0。

2 絕緣子RTV 噴涂缺陷檢測(cè)

2.1 RTV 噴涂缺陷分析

RTV 材料［14-15］是一種觸變性流體，存在屈服值和粘度，當(dāng)屈服值過高，粘度增大，會(huì)使得涂料的流動(dòng)性變差從而形成堆積;在噴涂過程中，粘性涂料需要一定的時(shí)間風(fēng)干，自然環(huán)境引發(fā)的風(fēng)沙流動(dòng)會(huì)讓雜質(zhì)附著在絕緣子RTV 涂層表面;而噴涂工藝所包括的噴涂角度和時(shí)間的差異以及絕緣子表面局部材料吸附能力的不同會(huì)使得表面涂層厚度不均勻甚至覆蓋不完全;當(dāng)RTV 液體的粘度過低或是涂料質(zhì)量過大時(shí)，RTV 涂料會(huì)在絕緣子傘裙之間拉絲和滴連。結(jié)合實(shí)際噴涂情況，將RTV涂層可能出現(xiàn)的所有缺陷劃分為四類:堆積缺陷、有雜質(zhì)缺陷、不均勻缺陷、傘裙間拉絲缺陷見圖2。

圖2 四種缺陷種類示意圖Fig.2 Schematic diagram of the four types of defects

2.2 基于矩形網(wǎng)格劃分的RTV 噴涂缺陷檢測(cè)

為了評(píng)估絕緣子RTV 噴涂質(zhì)量，需要檢測(cè)出絕緣子表面各種噴涂缺陷并計(jì)算出缺陷所占的面積比例。由于噴涂缺陷形狀多樣以及前景與背景間的差異較小，采用語義分割的方法時(shí)存在檢測(cè)速度較慢、需要大量標(biāo)記數(shù)據(jù)和檢測(cè)準(zhǔn)確率較低等問題［16］。因此，提出一種基于矩形網(wǎng)格劃分的噴涂缺陷分類模型，將絕緣子RTV 噴涂區(qū)域提取后的圖像進(jìn)行矩形網(wǎng)格劃分，得到互不重疊的子圖像塊，通過構(gòu)建的圖像分類網(wǎng)絡(luò)對(duì)子圖像塊進(jìn)行分類，最終經(jīng)過合并計(jì)算即可得到每類缺陷所占比例。

首先，將絕緣子RTV 噴涂區(qū)域提取后的圖像劃分為S×S個(gè)互不重疊的子圖像塊。S的選取與原始圖像的分辨率有關(guān)，其取值決定了子圖像塊的大小，從而影響分類的精確程度。S越小，子圖像塊就越大，其對(duì)于缺陷的分類就越模糊，S越大，子圖像塊就越小，其對(duì)于缺陷的分類就越精細(xì)，但S過大的話，子圖像塊被劃分的很小，使得不同類別的子塊之間區(qū)分度下降，導(dǎo)致分類的準(zhǔn)確性不升反降。如圖3 所示，上圖中S設(shè)置為下圖的2 倍。在圖中，兩個(gè)框網(wǎng)格均檢測(cè)為不均勻缺陷類別，而在下圖中，對(duì)應(yīng)的8 個(gè)小網(wǎng)格檢測(cè)為不均勻，堆積，雜質(zhì)，拉絲以及背景等5 種不同類別。

圖3 絕緣子RTV 噴涂區(qū)域圖像網(wǎng)格劃分Fig.3 Mesh segmentation for the insulator RTV spraying area image

因此，必須結(jié)合實(shí)際應(yīng)用給S設(shè)置合適的大小。當(dāng)圖像的寬、高不能被S整除時(shí)，可以先對(duì)圖像邊緣進(jìn)行置0 填充，使其達(dá)到能夠整除的分辨率再進(jìn)行劃分。

其次，網(wǎng)格劃分以后，采用圖像分類網(wǎng)絡(luò)對(duì)每個(gè)圖像塊進(jìn)行分類?；? 種缺陷類別，以及1 種無缺陷類別和1 種黑色背景類別構(gòu)成分類樣本，并基于Transformer 架構(gòu)并結(jié)合輕量化的CNN 模型來構(gòu)建子圖像塊的分類網(wǎng)絡(luò)。Transformer 網(wǎng)絡(luò)［17-18］能夠有效建模輸入圖像像素之間的語義信息，提高缺陷分類的表現(xiàn)，但是模型參數(shù)量較大，需要更豐富的數(shù)據(jù)集用來收斂訓(xùn)練以及更高效的計(jì)算性能應(yīng)對(duì)推理過程，而結(jié)合CNN 的輕量化架構(gòu)很好地平衡了性能和效率，可以更好地應(yīng)用于實(shí)際需求。

如圖4 所示，所構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)由包含Transformer 結(jié)構(gòu)的Mobile-vit 層、反向殘差層、普通卷積層、全局池化層以及全連接層。輸入的圖像經(jīng)過反向殘差層進(jìn)行維度降低，能在維度降低的同時(shí)更好地保存特征圖中的語義信息。再通過MobileVit 模塊進(jìn)行全局信息建模，首先將特征圖通過一個(gè)卷積核大小為3 ×3 的卷積層進(jìn)行局部的特征建模，然后通過Transformer 結(jié)構(gòu)進(jìn)行全局語義信息獲取。之后，其跨越連接分支與原始輸入特征圖進(jìn)行拼接，最后通過一個(gè)全連接層得出預(yù)測(cè)結(jié)果輸出。

圖4 基于Transformer 和CNN 的圖像塊分類網(wǎng)絡(luò)模型Fig.4 Image block classification network model based on Transformer and CNN

最后，統(tǒng)計(jì)每一類子圖像塊的數(shù)量占據(jù)全部子圖像塊數(shù)量的比例，就可得到每類缺陷所占的面積比。

3 基于模糊評(píng)價(jià)的絕緣子RTV 噴涂質(zhì)量評(píng)價(jià)

由絕緣子的性能分析可知，不同缺陷類型對(duì)RTV涂層防污閃能力的影響各有不同［19］，對(duì)噴涂質(zhì)量評(píng)價(jià)的影響也不是簡(jiǎn)單的線性組合。模糊評(píng)價(jià)方法［20-21］是一種非線性擬合方法，通過模糊線性變換和最大隸屬度原則，將與被評(píng)價(jià)事物相關(guān)的各個(gè)因素綜合考慮，進(jìn)行非線性變換，最后給出評(píng)價(jià)分?jǐn)?shù)。模糊評(píng)價(jià)方法給出的評(píng)價(jià)結(jié)果往往更能與人的主觀感受相一致。因此基于模糊評(píng)價(jià)原理，文中提出絕緣子RTV 噴涂質(zhì)量的評(píng)價(jià)方法。

首先，根據(jù)國網(wǎng)陜西電力科學(xué)研究院提供的巡檢技術(shù)規(guī)范要求，確立缺陷等級(jí)劃分標(biāo)準(zhǔn)。表1 給出了四種噴涂質(zhì)量等級(jí)比例標(biāo)準(zhǔn)，表1 中的數(shù)值表示每類缺陷在絕緣子表面圖像中的最大面積占比。

表1 RTV 噴涂質(zhì)量等級(jí)比例標(biāo)準(zhǔn)表Tab.1 Scale of RTV spraying quality grades

其次，按照模糊評(píng)價(jià)中的主客觀賦權(quán)法［22］，依據(jù)專家打分和噴涂實(shí)驗(yàn)數(shù)據(jù)設(shè)定不同絕緣子缺陷類型對(duì)RTV 涂層防污閃能力的初始影響權(quán)重集合A:

式中a1～a4分別代表四類缺陷:堆積缺陷、有雜質(zhì)缺陷、不均勻缺陷和拉絲缺陷對(duì)最終結(jié)果的重要程度。并且，當(dāng)某種缺陷類型面積占比達(dá)到RTV 噴涂質(zhì)量等級(jí)比例標(biāo)準(zhǔn)表的IV 級(jí)指標(biāo)時(shí)，動(dòng)態(tài)膨脹該缺陷對(duì)應(yīng)的權(quán)重，膨脹系數(shù)設(shè)置為3，即更新該缺陷對(duì)應(yīng)的權(quán)重為:ai×3。

然后，根據(jù)RTV 噴涂質(zhì)量等級(jí)比例標(biāo)準(zhǔn)表進(jìn)行標(biāo)準(zhǔn)化處理。隸屬度函數(shù)形式由梯形分布函數(shù)確定，具體表示為:

式中αij為第i類缺陷對(duì)應(yīng)RTV 缺損等級(jí)為j(1≤j≤4) 時(shí)的標(biāo)準(zhǔn)占比;xi為第i類缺陷占絕緣子RTV 噴涂區(qū)域的比例。

基于式(1) ～式(4) 生成的隸屬度函數(shù)，得到模糊判斷矩陣R:

在此基礎(chǔ)上，結(jié)合權(quán)重集合A 計(jì)算得到質(zhì)量等級(jí)概率分布向量y，計(jì)算方法如式(6) 所示:

其中，y1～y4分別代表四種質(zhì)量等級(jí)的概率分量。

將向量y 經(jīng)過softmax 函數(shù)［23］進(jìn)行處理，這是一種基于指數(shù)函數(shù)的歸一化操作，得到歸一化概率分布［s1，s2，s3，s4］。

最后，將歸一化概率分布［s1，s2，s3，s4］作為權(quán)值與得分向量b =［b1，b2，b3，b4］進(jìn)行融合，得到質(zhì)量評(píng)價(jià)結(jié)果分?jǐn)?shù)res，計(jì)算方法如式(8) 所示:

式中得分向量b 是為質(zhì)量等級(jí)預(yù)先設(shè)定的等級(jí)分?；诎俜种平?jīng)驗(yàn)，將得分向量b 的值設(shè)置為［100，85，60，30］。

結(jié)果分?jǐn)?shù)res≥85 分，認(rèn)為絕緣子RTV 噴涂質(zhì)量較好，可以維持正常絕緣子的電氣功能;結(jié)果分?jǐn)?shù)85 ＞res＞60 分，可以認(rèn)為該絕緣子噴涂質(zhì)量存在問題，需要二次噴涂;結(jié)果分?jǐn)?shù)res＜60 分，則認(rèn)為不僅僅需要二次噴涂，且需要重新調(diào)整涂料質(zhì)量或噴涂工藝，對(duì)噴涂流程進(jìn)行優(yōu)化改進(jìn)。

4 實(shí)驗(yàn)結(jié)果

通過實(shí)驗(yàn)驗(yàn)證所提出的絕緣子RTV 涂層噴涂質(zhì)量評(píng)價(jià)方法的效性。實(shí)驗(yàn)在Ubuntu 系統(tǒng)下，使用基于pytorch1.10.0 的深度學(xué)習(xí)框架搭建網(wǎng)絡(luò)，GPU 型號(hào)為NVIDIA Geforce GTX 2080 Ti。所有數(shù)據(jù)來自于國網(wǎng)陜西電力科學(xué)研究院提供的噴涂實(shí)拍圖像。

在數(shù)據(jù)集上分別進(jìn)行三個(gè)實(shí)驗(yàn):1) 絕緣子RTV 噴涂區(qū)域分割實(shí)驗(yàn);2) 絕緣子RTV 噴涂缺陷分類實(shí)驗(yàn);3) 絕緣子RTV 涂層噴涂質(zhì)量評(píng)價(jià)實(shí)驗(yàn)。

4.1 絕緣子RTV 噴涂區(qū)域分割實(shí)驗(yàn)

實(shí)驗(yàn)選用1260 張絕緣子噴涂圖像，將其中840 張作為訓(xùn)練集進(jìn)行特征學(xué)習(xí)和模型收斂，210 張作為驗(yàn)證集在訓(xùn)練中輔助確定網(wǎng)絡(luò)結(jié)構(gòu)以及訓(xùn)練超參數(shù)的調(diào)整，210 張作為測(cè)試集評(píng)估模型的分割性能。采用平均交并比(mIoU) 、精確度(Precision) 、召回率(Recall) 和平均像素準(zhǔn)確率(mPA) 來評(píng)價(jià)Deeplabv3 +網(wǎng)絡(luò)對(duì)絕緣子RTV 噴涂區(qū)域分割效果的評(píng)價(jià)，具體表達(dá)式為:

其中TP、FN、FP、TN分別代表真陽性，假陰性，假陽性以及真陽性的像素點(diǎn)數(shù)量。如表2 所示，絕緣子噴涂區(qū)域與背景之間分割的MIoU可以達(dá)到98.34%，同時(shí)精度、召回率和平均像素準(zhǔn)確率均達(dá)到99%以上的水平。這是因?yàn)榭臻g金字塔池化( Spatial Pyramid Pooling) 層和Xception 模塊具有多尺度分析的能力，能夠?qū)崿F(xiàn)更好的特征提取和分割精度。圖5 展示了分割效果，可以看出。模型非常準(zhǔn)確地實(shí)現(xiàn)了噴涂區(qū)域的提取任務(wù)。

表2 絕緣子RTV 噴涂區(qū)域分割實(shí)驗(yàn)結(jié)果Tab.2 Insulator RTV spraying area segmentationexperimental results

圖5 絕緣子噴涂區(qū)域分割實(shí)驗(yàn)結(jié)果圖Fig.5 Diagram of insulator spraying segmentation experimental results

4.2 絕緣子RTV 噴涂缺陷分類實(shí)驗(yàn)

采用2.2 節(jié)中的網(wǎng)格劃分方法，將絕緣子噴涂區(qū)域的分割結(jié)果圖像劃分為子圖像塊。實(shí)驗(yàn)中，針對(duì)分辨率為1920 ×1080 的圖像，劃分時(shí)參數(shù)S的大小設(shè)置為10，經(jīng)驗(yàn)證該尺寸對(duì)缺陷的檢測(cè)效率是最高的。然后，從子圖像塊中去除過于相似的冗余塊，挑選出2000張圖像塊構(gòu)成訓(xùn)練分類模型所用的數(shù)據(jù)集。

實(shí)驗(yàn)中詳細(xì)對(duì)比了Swin-Transformer、ResNet 以及文中方法在參數(shù)量，計(jì)算量以及分類準(zhǔn)確度上的表現(xiàn)，實(shí)驗(yàn)結(jié)果如表3 所示。

表3 噴涂缺陷分類模型對(duì)比實(shí)驗(yàn)結(jié)果Tab.3 Comparative experimental results of spraying defect classification models

可以看出，Swin-Transformer 模型［24］需要大量的計(jì)算資源，但通過圖像序列化以及多頭注意力機(jī)制使其可以更好地捕捉圖像的不同尺度特征，從而提高了分類的準(zhǔn)確性。

傳統(tǒng)CNN 網(wǎng)絡(luò)( ResNet)［25-26］在計(jì)算復(fù)雜度方面比Transformer 模型更加高效，適用于資源受限的環(huán)境。文中構(gòu)建的Mobile-Vit 分類網(wǎng)絡(luò)通過融合上述兩種模型，使其在具有更強(qiáng)的全局和局部感知能力的同時(shí)保持了低計(jì)算復(fù)雜度和空間結(jié)構(gòu)的優(yōu)勢(shì)，能出色地完成缺陷分類任務(wù)。圖像塊分類以后，統(tǒng)計(jì)RTV 噴涂區(qū)域不同缺陷類別的圖像塊的數(shù)量，計(jì)算出不同缺陷所占RTV 總噴涂區(qū)域的比例。圖6 展示了圖像塊分類和缺陷比例統(tǒng)計(jì)結(jié)果。

圖6 絕緣子RTV 噴涂缺陷分類實(shí)驗(yàn)結(jié)果圖Fig.6 Diagram of insulator RTV spraying defect classification experimental result

4.3 絕緣子RTV 噴涂質(zhì)量評(píng)價(jià)實(shí)驗(yàn)

實(shí)驗(yàn)中，分別對(duì)20 張噴涂結(jié)果優(yōu)良無需二次噴涂的絕緣子樣本、50 張噴涂結(jié)果較差需要二次噴涂的絕緣子樣本以及50 張噴涂結(jié)果很差且需要額外改善噴涂工藝流程的絕緣子樣本，進(jìn)行了評(píng)定和打分，統(tǒng)計(jì)結(jié)果如表4 所示( 表4 中的向上誤判率表示質(zhì)量問題更加嚴(yán)重的類別被誤判為較輕情況的比例) 。由實(shí)驗(yàn)結(jié)果可以看出，文中所提方法對(duì)不同噴涂質(zhì)量絕緣子樣本的評(píng)定正確率高于90%。同時(shí)，不同類別條件下的向上誤判率［27］低于2%，這說明模糊評(píng)價(jià)法能夠考慮四種噴涂缺陷間的相互關(guān)系，因此可以更準(zhǔn)確地反映實(shí)際應(yīng)用的需求。同時(shí)兼顧噴涂質(zhì)量評(píng)價(jià)中質(zhì)量邊界劃分模糊所帶來的不確定性，從而更好地反映評(píng)價(jià)者的主觀態(tài)度。

表4 質(zhì)量評(píng)價(jià)實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果Tab.4 Experiment statistical results of quality evolution

圖7 展示了評(píng)價(jià)效果圖，可以看出，噴涂?jī)?yōu)秀的絕緣子能夠得到85 分以上的分?jǐn)?shù)，噴涂中等的絕緣子可以得到60 分以上的分?jǐn)?shù)，而噴涂工藝所導(dǎo)致的嚴(yán)重噴涂問題絕緣子會(huì)被打分至60 分以下，評(píng)估結(jié)果符合人眼主觀感受的結(jié)果。

圖7 絕緣子噴涂質(zhì)量評(píng)價(jià)結(jié)果Fig.7 Insulator spraying quality evaluation result

5 結(jié)束語

提出了一種無人機(jī)在線噴涂絕緣子RTV 質(zhì)量評(píng)價(jià)方法。通過深度學(xué)習(xí)模型分割絕緣子RTV 噴涂區(qū)域并對(duì)其中的噴涂缺陷進(jìn)行檢測(cè)，然后采用模糊評(píng)價(jià)法對(duì)噴涂質(zhì)量進(jìn)行評(píng)定。所提方法具有良好的性能，滿足絕緣子RTV 在線噴涂的應(yīng)用需求。今后可以通過輕量化設(shè)計(jì)來優(yōu)化網(wǎng)絡(luò)模型，提高算法速度，同時(shí)在數(shù)據(jù)預(yù)處理和網(wǎng)絡(luò)訓(xùn)練階段結(jié)合自監(jiān)督策略，減少對(duì)原始數(shù)據(jù)集的依賴，進(jìn)一步提升方法的魯棒性和泛化性能。