基于卷積神經(jīng)網(wǎng)絡(luò)的乙烯球罐泄漏檢測(cè)研究

滕 瀟，李傳坤，李樂(lè)寧

(中國(guó)石化青島安全工程研究院，山東青島 266071)

0 引言

乙烯球罐焊縫中的氫在微裂紋前緣不斷地積聚、循環(huán)載荷，引起的疲勞或應(yīng)力腐蝕會(huì)促使微裂紋逐漸擴(kuò)展成宏觀裂縫或穿透裂縫，從而導(dǎo)致球罐的低應(yīng)力脆性破壞[1],造成物料泄漏。乙烯球罐的操作溫度一般為-36～-27 ℃，設(shè)計(jì)壓力一般為2.16～2.2 Mpa(G)[2]。低溫高壓的操作條件更加促進(jìn)了上述現(xiàn)象的發(fā)生。泄漏的乙烯會(huì)吸收周?chē)臒崃慷杆倨?由于乙烯本身的密度在常壓下較空氣略小，閃點(diǎn)較低，故遇高溫極易發(fā)生燃燒甚至爆炸，威脅人員生命安全。

目前石化行業(yè)主要利用氣體探測(cè)系統(tǒng)對(duì)罐區(qū)泄漏進(jìn)行在線監(jiān)測(cè)[3]，配合以泄漏檢測(cè)與修復(fù)技術(shù)(Leak Detection and Repair，LDAR)進(jìn)行局部微量的泄漏檢測(cè)[4]。其中，紅外熱成像技術(shù)在氣體泄漏檢測(cè)的應(yīng)用越來(lái)越廣泛[5]。但是，紅外熱成像需要人工觀察畫(huà)面實(shí)現(xiàn)實(shí)時(shí)檢測(cè)，一是造成人員浪費(fèi)；二是人的不可靠性對(duì)實(shí)時(shí)檢測(cè)效果有較大的負(fù)面影響。因此，迫切需要研究可以通過(guò)圖像識(shí)別自動(dòng)判斷泄漏的方法。

近年來(lái)，深度學(xué)習(xí)憑借其優(yōu)越的特征提取能力，廣泛應(yīng)用于語(yǔ)音識(shí)別、視覺(jué)目標(biāo)識(shí)別、目標(biāo)檢測(cè)等其它領(lǐng)域[6]。其中，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)最適用于圖像目標(biāo)識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)組合低層特征，形成更加抽象的高層特征以表示屬性類(lèi)別，發(fā)現(xiàn)數(shù)據(jù)的分布式特征表達(dá)，更有利于學(xué)習(xí)到數(shù)據(jù)蘊(yùn)藏的本質(zhì)特征[7]。2012年，卷積神經(jīng)網(wǎng)絡(luò)在ImageNet競(jìng)賽中取得冠軍，識(shí)別錯(cuò)誤率從26%降到15%，準(zhǔn)確率超出第二名近10%[8]，大幅度提升了大規(guī)模圖像識(shí)別的精度。

本文探索使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)乙烯球罐進(jìn)行泄漏識(shí)別的方法，實(shí)現(xiàn)以圖像識(shí)別方式進(jìn)行自動(dòng)泄漏檢測(cè)的應(yīng)用研究。

1 卷積神經(jīng)網(wǎng)絡(luò)基本原理

卷積神經(jīng)網(wǎng)絡(luò)是一類(lèi)專(zhuān)門(mén)設(shè)計(jì)用來(lái)處理二維數(shù)據(jù)的多層神經(jīng)網(wǎng)絡(luò)，其層次之間的緊密關(guān)聯(lián)和空間上的信息提取特別適用于圖像的處理[9]。卷積神經(jīng)網(wǎng)絡(luò)由卷積層、激活層、池化層、全連接層、輸入-輸出層構(gòu)成，有權(quán)重共享、局部連接、下采樣3個(gè)結(jié)構(gòu)特性，該特性使卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別方面更具優(yōu)勢(shì)。

圖1 CNN的網(wǎng)絡(luò)結(jié)構(gòu)

1.1 卷積層

采用卷積層來(lái)代替全連接層，使得下層的神經(jīng)元只與上層的局部窗口內(nèi)的神經(jīng)元相連接，即局部連接，如圖2所示。圖中s1-s5表示l層的神經(jīng)元，x1-x5表示l-1層的神經(jīng)元。

圖2 卷積層和全連接層

在全連接層中，如果第l層有n個(gè)神經(jīng)元，第l-1層有m個(gè)神經(jīng)元，則連接線有n×m個(gè)，即權(quán)重參數(shù)有n×m個(gè)。當(dāng)n和m都很大時(shí)，權(quán)重矩陣的參數(shù)將會(huì)特別多，訓(xùn)練效率會(huì)比較低。在卷積層中，第l層的神經(jīng)元只和第l-1層的神經(jīng)元構(gòu)成局部連接，有效減少了權(quán)重矩陣參數(shù)的數(shù)量，提高了訓(xùn)練效率。

通常一維卷積運(yùn)算用式(1)表示[10,11]：

(1)

f(·)——激活函數(shù)；

Mj——第j個(gè)神經(jīng)元對(duì)應(yīng)的卷積核大??；

*——卷積運(yùn)算；

bj——偏置。

式(1)還可以寫(xiě)成：

x(l)=f(x(l-1)*k(l)+b(l))

(2)

式中：x——輸出矩陣；

b——偏置矩陣；

k——權(quán)重矩陣。

不難發(fā)現(xiàn)k(l)對(duì)于l層的神經(jīng)元都是相同的，即權(quán)重共享，如圖3所示。

圖3(a)黑色箭頭表示在卷積模型中對(duì)3元素核的中間元素的使用，由于權(quán)重共享，這個(gè)權(quán)重的參數(shù)被用于所有的輸入位置。圖3(b)黑色箭頭表示權(quán)重沒(méi)有共享，這些權(quán)重參數(shù)只用于一個(gè)輸入位置?？梢钥闯鰴?quán)重共享有效減少了權(quán)重矩陣參數(shù)數(shù)量，可以提高訓(xùn)練速度。

圖3 權(quán)重共享示意

1.2 池化層

雖然使用卷積層來(lái)代替全連接層降低了一定的特征維度，但是此時(shí)的特征維度依然很高，還需近一步降低特征維度。因此，有學(xué)者提出池化(pooling)的概念。對(duì)局部區(qū)域的特征值進(jìn)行聚合統(tǒng)計(jì)，來(lái)代表該區(qū)域整體的特征值，這個(gè)聚合的過(guò)程即為池化[12,13]。池化函數(shù)表示如下：

(3)

f(·)——激活函數(shù)；

down(·)——池化函數(shù)；

bj——偏置。

常用的池化方法包括最大池化法和均值池化法。最大池化法如式(4)所示：

(4)

式中：Nj——池化區(qū)域大小。

均值池化法如式(5)所示：

(5)

式中：mean——平均數(shù)

1.3 激活層

激活層通過(guò)對(duì)輸入數(shù)據(jù)進(jìn)行處理，為線性表達(dá)能力差的神經(jīng)網(wǎng)絡(luò)注入非線性因素，使數(shù)據(jù)在非線性條件下可區(qū)分。常用的激活函數(shù)有TanH函數(shù)，見(jiàn)式(6)、(7)、(8)、Sigmoid函數(shù)和ReLU函數(shù)(Rectified Linear Unit)。TanH激活函數(shù)是Sigmoid激活函數(shù)的變形形式，取值范圍從[0,1]變?yōu)閇-1,1]。ReLU激活函數(shù)能夠?qū)⒋笥?的數(shù)據(jù)保留，其它的數(shù)據(jù)均置為0，這使得數(shù)據(jù)可以表示為大部分元素為0的稀疏矩陣，提高數(shù)據(jù)處理效率，所以ReLU激活函數(shù)在卷積神經(jīng)網(wǎng)絡(luò)方面較TanH激活函數(shù)和Sigmoid激活函數(shù)應(yīng)用更廣[14]。

(6)

(7)

(8)

1.4 全連接層

如圖2(b)所示，全連接層的神經(jīng)元與前一層的每一個(gè)神經(jīng)元相連接，該層的神經(jīng)元之間沒(méi)有連接。全連接層數(shù)學(xué)表達(dá)式如式9所示[15]：

(9)

n——第l-1層神經(jīng)元總數(shù)；

Wi——權(quán)重(w表示從第l-1層中第i個(gè)神經(jīng)元到第l層中第j個(gè)神經(jīng)元的權(quán)重)；

bj——偏置。

2 乙烯球罐泄漏檢測(cè)模型構(gòu)建

2.1 數(shù)據(jù)集

在工業(yè)實(shí)踐中，紅外熱成像儀多為固定設(shè)置，所拍攝的圖像每幀之間差別較小，從而重復(fù)數(shù)據(jù)較多，實(shí)際可用數(shù)據(jù)量很小。因此，為了驗(yàn)證本文建立的檢測(cè)模型的效果，利用仿真軟件模擬乙烯球罐泄漏的現(xiàn)場(chǎng)，以便得到更多維度的圖像。模擬了正常工況和泄漏工況兩種狀態(tài)，并從不同角度進(jìn)行了圖像截取，如圖4所示。共截取圖像1 648張(正常工況751張，泄漏工況897張)，其中1 200張作為訓(xùn)練集(正常工況和泄漏工況各600張)，448張作為測(cè)試集(正常工況151張，泄漏工況297張)。

2.2 模型結(jié)構(gòu)

基于Caffe(Convolutional Architecture for Fast Feature Embedding)框架，通過(guò)實(shí)驗(yàn)探究，最終確定了一個(gè)15層的網(wǎng)絡(luò)模型，用于實(shí)現(xiàn)乙烯球罐泄漏的自動(dòng)檢測(cè)。該網(wǎng)絡(luò)模型包括3個(gè)卷積層，4個(gè)激活層，3個(gè)池化層，2個(gè)局部響應(yīng)歸一化層，2個(gè)全連接層和1個(gè)dropout層。其結(jié)構(gòu)如圖5所示。

圖4 正常工況和泄漏工況

圖5 泄漏檢測(cè)CNN網(wǎng)絡(luò)模型結(jié)構(gòu)示意

2.2.1輸入層、輸出層

所有圖像的像素都標(biāo)準(zhǔn)化為227×227，且輸入的圖像是RGB圖片，即3通道，所以輸入的圖像規(guī)格為227×227×3。

如圖5所示，F(xiàn)2既是輸出層，也是全連接層。所甄別的圖像最終分為有泄漏和無(wú)泄漏2類(lèi)，故F2的輸出神經(jīng)元為2個(gè)。

2.2.2卷積層

如表1所示，本文搭建的泄漏檢測(cè)模型包含3個(gè)卷積層。

表1 泄漏檢測(cè)模型卷積層結(jié)構(gòu)

2.2.3池化層

在前3個(gè)激活層之后均有池化層，分別是S1、S2和S3，其結(jié)構(gòu)如表2所示。

表2 泄漏檢測(cè)模型池化層結(jié)構(gòu)

2.2.4全連接層

如圖5所示，F(xiàn)1是1個(gè)具有400個(gè)神經(jīng)元的全連接層，與S3進(jìn)行全連接。F2是1個(gè)輸出神經(jīng)元為2個(gè)的全連接層。F2的2個(gè)神經(jīng)元，與F1中的400個(gè)神經(jīng)元進(jìn)行全連接，然后通過(guò)高斯過(guò)濾器，得到2個(gè)float值，即為圖像識(shí)別的準(zhǔn)確率。

3 模型驗(yàn)證與結(jié)果分析

重點(diǎn)研究了不同種類(lèi)的池化方法和激活函數(shù)對(duì)識(shí)別準(zhǔn)確率的影響。

3.1 池化方法的影響與分析

由圖6可以看出，當(dāng)?shù)_(dá)到2 000次時(shí)，最大池化法的識(shí)別準(zhǔn)確度已經(jīng)達(dá)到95.86%，均值池化法只有79.13%。

圖6 最大池化法和均值池化法準(zhǔn)確度對(duì)比

造成最大池化法和均值池化法準(zhǔn)確度相差較大的原因，應(yīng)該是由于兩者之間的池化過(guò)程不同造成的。兩者的池化過(guò)程如圖7所示：

圖7 最大池化法和均值池化法池化過(guò)程

由圖7可以看出，最大池化法的輸入矩陣中最大值處所對(duì)應(yīng)的權(quán)重為1，其余為0，故將局部區(qū)域所對(duì)應(yīng)的最大值挑選出來(lái)，能減小由參數(shù)誤差造成的均值偏移，保留更多的紋理信息。而平均池化法的輸入矩陣所對(duì)應(yīng)的權(quán)重均為0.25，即為輸入矩陣求平均，能降低由鄰域大小受限造成的估計(jì)值方差增大，可保留更多的原始圖像的背景信息。本文驗(yàn)證用的數(shù)據(jù)集，其背景圖像基本不變，而泄漏工況的特征主要體現(xiàn)在圖像紋理上，故采用最大池化法可以得到更高的準(zhǔn)確率。

3.2 激活函數(shù)的影響與分析

對(duì)于不同的激活函數(shù)，由圖8可以看出，最終ReLU的識(shí)別準(zhǔn)確度達(dá)到了95.86%，PReLU(Parametric Rectified Linear Unit)的識(shí)別準(zhǔn)確度達(dá)到了95.43%，而TanH的識(shí)別準(zhǔn)確度只有73.08%。此外，隨著迭代次數(shù)的上升，ReLU和PReLU識(shí)別準(zhǔn)確度的收斂速率趨于一致。從理論角度分析，ReLU的準(zhǔn)確度最高，應(yīng)該與其函數(shù)性質(zhì)有關(guān)。ReLU函數(shù)為左側(cè)硬飽和(即負(fù)值強(qiáng)制為0)，PReLU函數(shù)為兩側(cè)均不飽和(即兩側(cè)導(dǎo)數(shù)均不為0)，TanH函數(shù)為兩側(cè)軟飽和(即兩側(cè)導(dǎo)數(shù)逐漸趨近于0)。

圖8 激活函數(shù)ReLU、PReLU和TanH準(zhǔn)確度對(duì)比

經(jīng)過(guò)對(duì)比分析，最終確定最大池化法和ReLU激活函數(shù)的識(shí)別精度更高，對(duì)泄漏工況的識(shí)別準(zhǔn)確率可以達(dá)到95.86%。

4 結(jié)論

通過(guò)以上研究，得到如下結(jié)論。

a)提出了應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)乙烯球罐進(jìn)行自動(dòng)泄漏識(shí)別的方法。實(shí)驗(yàn)證明，最終模型的圖像識(shí)別準(zhǔn)確率高達(dá)95.86%，證實(shí)了本文提出的泄漏檢測(cè)模型的有效性。

b)在仿真條件下，構(gòu)建了一個(gè)15層的卷積神經(jīng)網(wǎng)絡(luò)模型，分別研究了不同池化方法和激活函數(shù)對(duì)識(shí)別準(zhǔn)確度的影響并進(jìn)行了機(jī)理分析，確定了最大池化法和ReLU激活函數(shù)可使本實(shí)驗(yàn)的識(shí)別精度更高。

下一步應(yīng)研究將該方法應(yīng)用在工業(yè)視頻的實(shí)時(shí)分析，為乙烯泄漏檢測(cè)提供在線輔助。此外，對(duì)卷積神經(jīng)網(wǎng)絡(luò)關(guān)鍵參數(shù)的優(yōu)化方法及其理論依據(jù)應(yīng)繼續(xù)探索。