基于PSPNetM+網(wǎng)絡(luò)的水輪機(jī)轉(zhuǎn)輪葉片缺陷檢測(cè)

李 濤 劉 成 田 塘 胡桂川 侯文賽 蒲小霞

(1. 重慶科技學(xué)院 機(jī)械與動(dòng)力工程學(xué)院， 重慶 401331；2. 重慶科技學(xué)院 安全工程學(xué)院， 重慶 401331；)

水輪機(jī)轉(zhuǎn)輪的質(zhì)量直接影響水電機(jī)組的水力性能和運(yùn)行的可靠性[1]，受焊接應(yīng)力、水流的非線(xiàn)性脈動(dòng)力以及泥沙磨蝕的影響，水輪機(jī)轉(zhuǎn)輪葉片的工作面常出現(xiàn)裂紋、腐蝕、氣蝕等缺陷[2]。為了保證水電機(jī)組安全穩(wěn)定的運(yùn)行，必須定期對(duì)水輪機(jī)轉(zhuǎn)輪葉片進(jìn)行停機(jī)檢修。傳統(tǒng)缺陷檢測(cè)方法主要用人眼識(shí)別，人工成本高、檢測(cè)效率低。

Mirapeix等人利用PCA方法對(duì)焊接過(guò)程中獲取的等離子體光譜圖像進(jìn)行處理，通過(guò)壓縮光譜維度來(lái)降低數(shù)據(jù)的運(yùn)算量[3]。Yin等人利用深度神經(jīng)網(wǎng)絡(luò)模型對(duì)排污管道的缺陷進(jìn)行了檢測(cè)[4]。丁勇等人提出了一種改進(jìn)U-Net網(wǎng)絡(luò)的磁片缺陷圖像分割算法，實(shí)驗(yàn)證明該方法能夠準(zhǔn)確區(qū)分各類(lèi)缺陷[5]。封雨鑫等人利用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)工業(yè)鋼板表面焊縫缺陷進(jìn)行了檢測(cè)[6]。Erik等人利用基于 ML的卷積神經(jīng)網(wǎng)絡(luò)對(duì)零件缺陷進(jìn)行了檢測(cè)，并采用來(lái)自 ImageNet的數(shù)據(jù)集對(duì)檢測(cè)模型進(jìn)行驗(yàn)證，結(jié)果表明，該方法可以對(duì)零件的缺陷進(jìn)行檢測(cè)分類(lèi)[7]。

為提高水輪機(jī)轉(zhuǎn)輪葉片缺陷檢測(cè)效率，本次研究將水輪機(jī)的缺陷檢測(cè)與深度學(xué)習(xí)相結(jié)合，提出了基于語(yǔ)義分割算法的水輪機(jī)轉(zhuǎn)輪葉片表面缺陷檢測(cè)方法，并對(duì)模型PSPNet進(jìn)行了改進(jìn)，減少了模型的網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)了模型的輕量化和檢測(cè)的實(shí)時(shí)性。

1 語(yǔ)義分割網(wǎng)絡(luò)模型

語(yǔ)義分割是指用特定的表示內(nèi)容對(duì)圖片中的每個(gè)圖像進(jìn)行標(biāo)記，在此過(guò)程中只區(qū)分圖像的像素類(lèi)別，并不會(huì)分離2個(gè)同類(lèi)別的個(gè)體，語(yǔ)義分割算法在自動(dòng)駕駛、醫(yī)療圖像診斷等領(lǐng)域都得到了廣泛的應(yīng)用。

1.1 MobileNet

MobileNet[8]的優(yōu)點(diǎn)是通過(guò)犧牲小代價(jià)準(zhǔn)確率的方式來(lái)大幅度降低網(wǎng)絡(luò)的參數(shù)量，以減少存儲(chǔ)，提高檢測(cè)的速度。

相比傳統(tǒng)標(biāo)準(zhǔn)卷積網(wǎng)絡(luò)，MobileNet最大的優(yōu)勢(shì)在于增加了深度可分離卷積(depthwise separable convolution)。深度可分離卷積由深度卷積和逐點(diǎn)卷積等2部分組成(見(jiàn)圖1)，每個(gè)卷積核channel為1，逐點(diǎn)卷積以1x1的卷積形式對(duì)單點(diǎn)的特征進(jìn)行提取。

圖1 深度可分離卷積

1.2 PSPNet

PSPNet(pyramid scene parseing network)模型[9]的核心是金字塔池化模塊(PPM)，PPM能夠獲取全局信息。PSPNet首先將特征層劃分為大小不同的網(wǎng)格；然后，每個(gè)網(wǎng)格內(nèi)部各自進(jìn)行特定劃分的平均池化；最后，PSPNet融合平均池化后的不同特征層。以PSPNet作為缺陷檢測(cè)的主要網(wǎng)絡(luò)模型主要包括以下3點(diǎn)：

(1) 采用ResNet架構(gòu)并引入空洞卷積，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)(CNN)獲取特征圖，然后進(jìn)入金字塔池化模塊。

(2) 在ResNet的中間層加入輔助損失，用于優(yōu)化網(wǎng)絡(luò)模型的學(xué)習(xí)效果。

(3) 在修改后的ResNet頂部加入空間金字塔池化層。

2 PSPNetM+模型的構(gòu)建與優(yōu)化

2.1 主干特征提取網(wǎng)絡(luò)的優(yōu)化

為了減少網(wǎng)絡(luò)模型的參數(shù)量和運(yùn)算量，選擇MobineNetV2[10]作為主干提取網(wǎng)絡(luò)，并且只選用MobileNetV2的前8層結(jié)構(gòu)，MobileNetV2各層結(jié)構(gòu)參數(shù)如表1所示。T為單元的擴(kuò)張系數(shù)，c為通道數(shù)量，n為單元重復(fù)數(shù)，s為bottleneck單元的第一個(gè)單元步長(zhǎng)。ResNet50、MobileNetV2參數(shù)對(duì)比如表2所示。

表1 MobileNetV2各層結(jié)構(gòu)參數(shù)

表2 ResNet50、MobileNetV2參數(shù)對(duì)比

在輸入圖像尺寸相同的情況下，MobileNetV2的參數(shù)量?jī)H為是ResNet50的1/20，因此，以MobineNet作為主干提取網(wǎng)絡(luò)，可以使網(wǎng)絡(luò)模型的參數(shù)量大幅度降低。

2.2 加強(qiáng)特征提取網(wǎng)絡(luò)的優(yōu)化

在深度卷積神經(jīng)網(wǎng)絡(luò)中，層數(shù)越高，提取的特征和語(yǔ)義信息越豐富，而淺層網(wǎng)絡(luò)具有更細(xì)節(jié)的空間位置。在PSPNet中，網(wǎng)絡(luò)層越深，小目標(biāo)的特征信息越容易丟失，為了提高網(wǎng)絡(luò)的準(zhǔn)確率，保留淺層的特征信息，對(duì)加強(qiáng)特征提取的網(wǎng)絡(luò)作出改進(jìn)：

(1) 當(dāng)特征圖輸出尺寸為(15,15,320)、(30,30,96)、(60,60,32)時(shí)，通過(guò)平均池化、堆疊、上采樣層、空洞卷積等操作對(duì)其進(jìn)行特征融合。

(2) 在特征圖融合之前降低通道數(shù)，以降低網(wǎng)絡(luò)參數(shù)量。

通過(guò)對(duì)特征網(wǎng)絡(luò)提取的改進(jìn)，可在保證檢測(cè)準(zhǔn)確度的同時(shí)降低網(wǎng)絡(luò)模型的參數(shù)量。

2.3 損失函數(shù)的優(yōu)化

由于水輪機(jī)轉(zhuǎn)輪葉片表面缺陷圖像存在背景占比大、目標(biāo)物占比小的問(wèn)題，故選用Cross-Entropy loss和Dice loss作為損失函數(shù)。其中，Cross-Entropy Loss主要用于當(dāng)語(yǔ)義分割平臺(tái)利用Softmax對(duì)像素點(diǎn)進(jìn)行分類(lèi)時(shí)。Dice loss將語(yǔ)義分割的評(píng)價(jià)指標(biāo)作為損失，Dice系數(shù)是用來(lái)表示集合相似度度量的函數(shù)，通常用于計(jì)算2個(gè)樣本的相似度，取值范圍為[0,1]，計(jì)算公式如式(1)所示：

(1)

式中：|X∩Y|表示集合X與集合Y的交集個(gè)數(shù)，|X|、|Y|為元素的個(gè)數(shù)。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

水輪機(jī)尺寸較大、結(jié)構(gòu)復(fù)雜，轉(zhuǎn)輪葉片為具有不同曲率的復(fù)雜斜面，且葉片之間空間狹窄、光線(xiàn)昏暗，水輪機(jī)葉片缺陷圖片難以采集，樣本數(shù)據(jù)十分有限，為了提高網(wǎng)絡(luò)的魯棒性，通過(guò)數(shù)據(jù)擴(kuò)充來(lái)增加水輪機(jī)轉(zhuǎn)輪葉片缺陷圖片的數(shù)據(jù)集。缺陷檢測(cè)目標(biāo)主要為氣蝕、裂紋等，轉(zhuǎn)輪葉片缺陷圖如圖2所示。數(shù)據(jù)集中水輪機(jī)葉片氣蝕和裂紋缺陷樣本圖各 1 000張，其中，每類(lèi)缺陷中，80%樣本圖作為驗(yàn)證集，20%樣本圖作為測(cè)試集。

圖2 水輪機(jī)轉(zhuǎn)輪葉片缺陷圖

3.2 實(shí)驗(yàn)結(jié)果評(píng)判標(biāo)準(zhǔn)

在缺陷檢測(cè)過(guò)程中，選用平均交并比(ImIOU)和所有平均像素的準(zhǔn)確率(RmPA)作為評(píng)判標(biāo)準(zhǔn)。平均交并比為預(yù)測(cè)結(jié)果和真實(shí)值的交集與并集的比值求和再平均的結(jié)果，用于判斷預(yù)測(cè)值與真實(shí)值的重疊程度。平均像素比用來(lái)評(píng)判語(yǔ)義分割模型的效果，ImIOU與RmPA的計(jì)算公式如式(2)、式(3)：

(2)

(3)

式中：k表示為像素類(lèi)別數(shù)目；pii表示為第i類(lèi)目標(biāo)被預(yù)測(cè)為i類(lèi)的數(shù)量；pij表示為第i類(lèi)目標(biāo)被預(yù)測(cè)為j類(lèi)的數(shù)量；pji表示第j類(lèi)目標(biāo)被預(yù)測(cè)為i類(lèi)的數(shù)量；CPA表示像素準(zhǔn)確率。

3.3 實(shí)驗(yàn)結(jié)果分析

不同網(wǎng)絡(luò)模型優(yōu)化迭代2 000次的檢測(cè)效果如表3所示。PSPNetM模型以MobineNetV2為主干提取網(wǎng)絡(luò)，與PSPNet模型相比，PSPNetM模型的參數(shù)量大幅度降低，但其檢測(cè)準(zhǔn)確率也有所降低。與PSPNet模型相比，PSPNetM+模型的參數(shù)量降低了163.39 MiB，平均精度提高了5.51%，平均交并比提高了5.59%。實(shí)驗(yàn)結(jié)果證明，利用本次設(shè)計(jì)的模型進(jìn)行檢測(cè)，不僅可以大幅度縮減網(wǎng)絡(luò)的參數(shù)量，同時(shí)可以提升檢測(cè)的準(zhǔn)確率。

表3 不同網(wǎng)絡(luò)模型優(yōu)化迭代2 000次的檢測(cè)效果

利用PSPNetM+模型對(duì)水輪機(jī)轉(zhuǎn)輪葉片裂紋缺陷和氣蝕缺陷進(jìn)行識(shí)別，轉(zhuǎn)輪葉片缺陷檢測(cè)結(jié)果如圖3所示。PSPNetM+模型可對(duì)圖片邊緣特征和細(xì)節(jié)部分進(jìn)行處理，并可準(zhǔn)確地對(duì)其缺陷進(jìn)行識(shí)別。

圖3 水輪機(jī)轉(zhuǎn)輪葉片缺陷檢測(cè)結(jié)果

分別采用UNet、PSPNet、PSPNetM+對(duì)PASCAL VOC 2012數(shù)據(jù)集進(jìn)行模擬，實(shí)驗(yàn)結(jié)果如表4所示。與PSPNet相比，PSPNetM+模型的平均精度提高了3.22%，平均交并比提高了2.84%。這是由于加強(qiáng)特征提取網(wǎng)絡(luò)進(jìn)行了多尺度特征融合，將不同層次的語(yǔ)義信息進(jìn)行了融合，加強(qiáng)了深層次與淺層次的特征提取能力。PSPNetM+模型單秒處理圖片的數(shù)量達(dá)到了41。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的PSPNetM+模型具有網(wǎng)絡(luò)參數(shù)少、計(jì)算成本少和存儲(chǔ)小等優(yōu)點(diǎn)，經(jīng)PASCAL VOC 2012數(shù)據(jù)集的檢驗(yàn)，PSPNetM+模型的魯棒性和準(zhǔn)確性都有較大程度的提高。

表4 各模型實(shí)驗(yàn)結(jié)果評(píng)估

4 結(jié) 語(yǔ)

針對(duì)水力發(fā)電機(jī)組水輪機(jī)轉(zhuǎn)輪葉片缺陷檢測(cè)速度慢、精度低等問(wèn)題，本次研究利用深度學(xué)習(xí)算法對(duì)缺陷圖像進(jìn)行自動(dòng)識(shí)別分類(lèi)，提出了基于語(yǔ)義分割的PSPNetM+模型的缺陷檢測(cè)方法。本方法卷積網(wǎng)絡(luò)MobileNet替換原有的Resnet50，將不同層次的網(wǎng)絡(luò)層通過(guò)特征融合，并保留低層次網(wǎng)絡(luò)的特征，以減少網(wǎng)絡(luò)的參數(shù)量，降低網(wǎng)絡(luò)的運(yùn)算量。實(shí)驗(yàn)結(jié)果表明，PSPNetM+模型提高了水輪機(jī)轉(zhuǎn)輪葉片缺陷檢測(cè)的效率和精度，大大減少了人工成本，縮短了檢測(cè)周期。