劉立超
(中國(guó)鐵路呼和浩特局集團(tuán)有限公司 供電部,呼和浩特 010050)
牽引變電所把區(qū)域電力系統(tǒng)送來(lái)的電能,轉(zhuǎn)變?yōu)檫m用于電力牽引的電能,為電力機(jī)車(chē)/電動(dòng)車(chē)組供電[1]。由于牽引變電所的一般控制設(shè)備及二次側(cè)高壓設(shè)備均設(shè)在室內(nèi),當(dāng)其所在房屋年久失修或遇到極端天氣時(shí),雨水透過(guò)墻壁或從窗戶滲入,進(jìn)入高壓室或控制室,可引起絕緣擊穿、保護(hù)裝置誤動(dòng),導(dǎo)致跳閘,從而影響列車(chē)的正常運(yùn)行。目前,主要依賴定期人工巡檢來(lái)檢查牽引變電所是否發(fā)生滲水現(xiàn)象,效率較低且無(wú)法實(shí)時(shí)監(jiān)測(cè)。因此,亟需實(shí)現(xiàn)針對(duì)牽引變電所的自動(dòng)化的滲水檢測(cè)。
當(dāng)前,已有較多針對(duì)滲水自動(dòng)化監(jiān)測(cè)的研究。賈東峰等人[2]通過(guò)獲取隧道內(nèi)的點(diǎn)云數(shù)據(jù),對(duì)其進(jìn)行多尺度分析,實(shí)現(xiàn)了對(duì)隧道裂紋及滲水區(qū)域的檢測(cè);田偉等人[3]通過(guò)將傳統(tǒng)特征提取器Canny 算子與卷積網(wǎng)絡(luò)相結(jié)合的方式,實(shí)現(xiàn)了對(duì)發(fā)電站底部滲水、裂紋的檢測(cè)功能;鄭麗瓊等人[4]通過(guò)叩診法,采用梅爾頻率倒譜系數(shù)(MFCC,Mel-Frequency Cepstrum Coefficient)技術(shù)收集敲擊墻壁的回聲,并利用其特征訓(xùn)練支持向量機(jī)分類(lèi)器,實(shí)現(xiàn)了對(duì)混凝土滲水的檢測(cè)。上述滲水檢測(cè)的研究方法,均是利用機(jī)器學(xué)習(xí)或傳統(tǒng)視覺(jué)與簡(jiǎn)單卷積網(wǎng)絡(luò)相結(jié)合的方式,存在泛化能力偏弱的情況。
本文基于改進(jìn)后的MobileNetV2 網(wǎng)絡(luò)和Deeplab V3 網(wǎng)絡(luò)相結(jié)合的模型[5],設(shè)計(jì)牽引變電所墻壁滲水檢測(cè)方法,并利用邊緣計(jì)算及5G 移動(dòng)通信等技術(shù),實(shí)現(xiàn)滲水檢測(cè)的邊緣化部署,在保證準(zhǔn)確率的同時(shí),降低計(jì)算壓力。
牽引變電所墻壁滲水檢測(cè)流程如圖1 所示。
圖1 牽引變電所墻壁滲水檢測(cè)方法流程
(1)圖像預(yù)處理:對(duì)輸入的圖像進(jìn)行等比縮放等預(yù)處理,使得圖像的尺寸符合圖像分割模型的輸入尺寸。
(2)圖像分割:將預(yù)處理后的圖像送入圖像分割模型,進(jìn)行分割處理,得到二值圖像,分離出背景與目標(biāo)區(qū)域。
(3)圖像后處理:對(duì)二值圖像進(jìn)行形態(tài)學(xué)操作,對(duì)分割后的圖像進(jìn)行降噪及連通區(qū)域填充。
(4)區(qū)域統(tǒng)計(jì)分析:對(duì)圖像進(jìn)行輪廓分析,得到一系列的輪廓坐標(biāo)信息,并對(duì)圖像分割區(qū)域及周邊做亮度統(tǒng)計(jì)。
(5)判斷處理:計(jì)算較大輪廓的面積,若輪廓面積大于等于設(shè)定的閾值,且分割區(qū)域的亮度值低于分割區(qū)域周邊的亮度,則認(rèn)為存在滲水現(xiàn)象,否則,則認(rèn)為不存在滲水現(xiàn)象。
本文重點(diǎn)介紹圖像預(yù)處理和圖像分割的方法。
(1)需要對(duì)輸入圖像進(jìn)行標(biāo)注,由于本文采用圖像分割的方式,因此,標(biāo)注方式需要采用分割形式,將輸入圖像中的滲水區(qū)域用顏色涂抹出來(lái)。
(2)為避免后期模型訓(xùn)練時(shí)循環(huán)讀取標(biāo)簽,造成不必要的時(shí)間消耗,提前在數(shù)據(jù)準(zhǔn)備的階段進(jìn)行標(biāo)注生成,根據(jù)原圖的分辨率,將輸入圖像的像素設(shè)定為300×536,最大程度地保持了原圖的比例,減小擴(kuò)邊尺寸。
本文的圖像分割模型主要包括特征提取網(wǎng)絡(luò)和像素分類(lèi)器兩個(gè)部分。
1.3.1 特征提取網(wǎng)絡(luò)
1.3.1.1 特征提取網(wǎng)絡(luò)優(yōu)化
特征提取基于MobileNetV2 網(wǎng)絡(luò)進(jìn)行改進(jìn),MobileNetV2 網(wǎng)絡(luò)主要利用殘差連接和深度可分離卷積的思想,其輸入圖像像素為224×224。根據(jù)下采樣的不同需求,MobileNetV2 網(wǎng)絡(luò)構(gòu)造了瓶頸層基礎(chǔ)組件Bottleneck1 與Bottleneck2,如圖2 所示。
圖2 瓶頸層基礎(chǔ)組件Bottleneck1 與Bottleneck2
圖2 中,Conv 為卷積操作;Dwise 為深度可分離卷積;Relu6 為激活函數(shù);stride 為卷積步長(zhǎng)。本文在這兩個(gè)組件的基礎(chǔ)上,修改了激活函數(shù)和殘差連接, 得到瓶頸層基礎(chǔ)組件Bottleneck1+和Bottleneck2+,如圖3 所示。
圖3 中, Hardswish 為激活函數(shù)。改進(jìn)后,將Bottleneck1+中的激活函數(shù)由Dwise 改為Hardswich;為保證在精簡(jiǎn)網(wǎng)絡(luò)的同時(shí),精度不下降,需要充分利用淺層信息,因此,在步長(zhǎng)為2 的Bottleneck2+中,利用殘差網(wǎng)絡(luò)的思想[6],新增了一個(gè)殘差連接。將Bottleneck2+進(jìn)行兩倍下采樣,輸入無(wú)法直接與下采樣后的特征圖疊加,因此,在殘差連接路徑上增加一個(gè)卷積步長(zhǎng)為2 的匯聚模塊。
MobileNetV2 網(wǎng)絡(luò)中的Relu6 激活函數(shù),雖然抑制了Bottleneck1 的激活值,但忽略了其小于0 的部分,不利于網(wǎng)絡(luò)的梯度傳播,如圖4(a)所示;Bottleneck1+采用Hardswish 激活函數(shù)[7],既可保持原Relu6 激活函數(shù)的作用,還兼顧了其小于0 的部分,使得網(wǎng)絡(luò)學(xué)習(xí)更充分,如圖4(b)所示。
圖4 Relu6 與Hardswish 激活函數(shù)
1.3.1.2 特征提取網(wǎng)絡(luò)架構(gòu)
原MobileNetV2 網(wǎng)絡(luò)構(gòu)架如表1 所示,改進(jìn)后的MobileNetV2 網(wǎng)絡(luò)架構(gòu)如表2 所示。
表1 MobileNetV2 網(wǎng)絡(luò)構(gòu)架
表2 改進(jìn)后的MobileNetV2 網(wǎng)絡(luò)構(gòu)架
從表1 和表2 中可看出,本文更改了網(wǎng)絡(luò)圖像的輸入尺寸,減少了卷積核的個(gè)數(shù),使得整個(gè)網(wǎng)絡(luò)更符合本文輸入圖像的大小,且參數(shù)量更少。
1.3.2 像素分類(lèi)器
本文對(duì)DeeplabV3 網(wǎng)絡(luò)進(jìn)行優(yōu)化[8],優(yōu)化后的網(wǎng)絡(luò)作為牽引變電所墻壁滲水檢測(cè)的像素分類(lèi)器。DeeplabV3 網(wǎng)絡(luò)中的空間特征池化金字塔(ASPP,Atrous Spatial Pyramid Pooling)是包含空洞卷積的模塊,它摒棄了傳統(tǒng)的池化操作,減小了信息損失,利用卷積的方式增加局部感受野,使得圖像在多種尺寸上均有較好的特征抽取效果,不同擴(kuò)展率下的卷積核分布情況如圖5 所示,可通過(guò)擴(kuò)展率的取值來(lái)控制局部感受野的大小。
圖5 不同擴(kuò)展率的卷積核分布
本文對(duì)DeeplabV3 網(wǎng)絡(luò)的優(yōu)化主要體現(xiàn)在ASPP的層數(shù)與擴(kuò)展率上,使其更符合實(shí)際滲水的目標(biāo)大小,原ASPP 有4 層,可覆蓋小、中、大、全尺寸圖像的目標(biāo)。ASPP 卷積核及其擴(kuò)展率如圖6 所示。
圖6 DeeplabV3 網(wǎng)絡(luò)中ASPP 卷積核及其擴(kuò)展率
本文的研究對(duì)象為牽引變電所墻壁滲水區(qū)域,根據(jù)對(duì)既往數(shù)據(jù)及攝像頭的視場(chǎng)分析,其占比不會(huì)超過(guò)一半圖像,因此,ASPP 可剔除最后一層,即全尺寸圖像目標(biāo)層,得到對(duì)于中小目標(biāo)更加敏感的像素分類(lèi)器。優(yōu)化后的網(wǎng)絡(luò)中ASPP 卷積核及其擴(kuò)展率,如圖7 所示。
數(shù)據(jù)集制作主要包含4 步:
(1)通過(guò)互聯(lián)網(wǎng)等途徑收集大量變電所、辦公室、地下停車(chē)場(chǎng)等場(chǎng)所的墻壁滲水樣本圖像;
(2)在變電所、辦公室、地下停車(chē)場(chǎng)等場(chǎng)所的墻壁上澆水,模擬滲水現(xiàn)象,并拍攝數(shù)據(jù)樣本;
(3)用攝像頭環(huán)拍牽引變電所監(jiān)控的整個(gè)墻面,包括各個(gè)角度與多尺度的圖像,將這些圖像與步驟(1)、(2)中的滲水區(qū)域圖像融合構(gòu)造學(xué)習(xí)樣本,如圖8 所示;
圖8 兩組融合圖像樣本及其標(biāo)注
(4)獲取大量變電所、辦公室、地下停車(chē)場(chǎng)等場(chǎng)所無(wú)滲水墻壁的圖像。
本文通過(guò)前述4 步制作的數(shù)據(jù)集共包含8 000 張帶滲水樣本的圖像和10 000 張不帶滲水的樣本圖像,其中,70% 作為訓(xùn)練集,20% 作為驗(yàn)證集,10%作為測(cè)試集。
MobileNetV2 網(wǎng)絡(luò)和DeeplabV3 網(wǎng)絡(luò)相結(jié)合的模型訓(xùn)練參數(shù)包括:優(yōu)化器、損失函數(shù)、訓(xùn)練周期和學(xué)習(xí)率等,本文在參考DeeplabV3 網(wǎng)絡(luò)參數(shù)的基礎(chǔ)上做了部分調(diào)整,優(yōu)化器為Adam,迭代次數(shù)為64,損失函數(shù)為sigmoid 與BCELoss 的合成。
針對(duì)樣本不均衡的問(wèn)題,本文引入Focal loss 損失函數(shù)[9],抑制簡(jiǎn)易樣本的損失值,增加困難樣本的損失值,從而使較小的目標(biāo)獲得較好的分割效果。Focal loss 損失函數(shù)公式為
式(1)中,loss為原損失函數(shù)計(jì)算所得的損失值;α、γ為損失調(diào)節(jié)系數(shù),α取0.25,γ取1.5。
本文采用PA(Pixel Accuracy)和MIoU(Mean Intersection over Union)指標(biāo)來(lái)評(píng)估圖像分割模型,二者的公式為
式(3)中,set(gt) 為真實(shí)的目標(biāo)像素集合;set(box)為模型推理出的目標(biāo)像素集合。
本文在同一條件下對(duì)5 種不同組合的模型分別進(jìn)行訓(xùn)練,結(jié)果如表3 所示。
表3 各類(lèi)模型的訓(xùn)練結(jié)果
由表3 可知,對(duì)于牽引變電所的墻壁滲水檢測(cè)任務(wù),原始的MobileNetV2 與DeeplabV3 檢測(cè)效果較差,且由于網(wǎng)絡(luò)過(guò)深,運(yùn)算耗時(shí)較長(zhǎng);MobileNetV2與改進(jìn)的DeeplabV3 相結(jié)合,其PA 與MIoU 指標(biāo)顯著上升,但是耗時(shí)問(wèn)題依然存在;模型3 耗時(shí)顯著縮短,但PA 與MIoU 提升不明顯;模型4 的PA 與MIoU 指標(biāo)得到了較為明顯的提升,且運(yùn)算耗時(shí)大幅減少,只用了模型1 一半的時(shí)間,說(shuō)明本文對(duì)特征提取與像素分類(lèi)器的優(yōu)化是有效的。
在模型4 基礎(chǔ)上將損失函數(shù)調(diào)整為Focal loss 后,模型5 的PA 與MIoU 指標(biāo)進(jìn)一步提升,分別達(dá)到了98.82%和95.32%。說(shuō)明Focal Loss 損失函數(shù)適用于本文的研究對(duì)象。
本文采用邊緣計(jì)算+5G 移動(dòng)通信的方式于2022年4 月在深圳地鐵某線路的牽引變電所進(jìn)行邊緣化部署。將本文研發(fā)的牽引變電所墻壁滲水檢測(cè)方法直接集成到相機(jī)中,有利于縮短數(shù)據(jù)傳輸時(shí)間,快速得出結(jié)果;在相機(jī)中集成了5G 移動(dòng)通信模塊,在墻壁滲水檢測(cè)方法處理完數(shù)據(jù)后,5G 移動(dòng)通信模塊可快速地將結(jié)果反饋給控制中心。這樣的部署方案便捷,不需要考慮有線通信和中心計(jì)算的問(wèn)題。
本文在HEOP ( Hikvision Embedded Open Platform)嵌入式智能應(yīng)用開(kāi)發(fā)平臺(tái)上,基于BASE庫(kù)、 MEDIA 庫(kù)和 HIKFLOW 庫(kù)進(jìn)行軟件集成部署。相機(jī)型號(hào)為DS-2XA7287F-IZ(S),算力為2 T,智能內(nèi)存為900 MB,單幀執(zhí)行時(shí)間為40 ms。
本文給出了牽引變電所墻壁滲水檢測(cè)方法的具體流程,并針對(duì)圖像預(yù)處理和圖像分割部分進(jìn)行詳細(xì)闡述。通過(guò)改進(jìn)MobileNetV2 和DeeplabV3 網(wǎng)絡(luò),建立了適用于牽引變電所墻壁滲水檢測(cè)的圖像分割模塊,降低了模型的參數(shù)量,提升了模型的精確度,PA 與MIoU 指標(biāo)分別達(dá)到98.82% 和95.32%。在方法部署實(shí)現(xiàn)方面,采用邊緣計(jì)算+5G 移動(dòng)通信的方式,使得部署更便捷,適用范圍更廣。但還存在著一些不足,有滲水印記較淡時(shí)檢測(cè)效果不佳、圖像輸入不能適應(yīng)任意分辨率、算法檢測(cè)耗時(shí)依然過(guò)高等問(wèn)題,下一步的研究旨在解決上述問(wèn)題,以期達(dá)到更好的效果。