卷積神經(jīng)網(wǎng)絡(luò)在化工領(lǐng)域的應(yīng)用綜述*

羅祉婧，韋振宇，鄭荻凡，曾澤楷，鐘漢斌

(西安石油大學(xué)，化學(xué)化工學(xué)院，低碳能源化工工程研究中心，陜西 西安 710065)

隨著大數(shù)據(jù)和深度學(xué)習(xí)的發(fā)展，人工智能迎來(lái)了第三次發(fā)展熱潮，并開始在化工[1-2]、醫(yī)療[3]、交通[4]、金融[5]、農(nóng)業(yè)[6]等領(lǐng)域上獲得廣泛應(yīng)用。其中，卷積神經(jīng)網(wǎng)絡(luò)(Conventional Neural Network，CNN)作為典型的深度學(xué)習(xí)網(wǎng)絡(luò)之一，在圖像和視頻處理中發(fā)揮著重要的作用。較之于傳統(tǒng)的機(jī)器學(xué)習(xí)，CNN圖像識(shí)別技術(shù)大大提高了圖像識(shí)別的精度，同時(shí)也避免了因進(jìn)行人工特征提取所消耗的大量時(shí)間。將CNN圖像識(shí)別技術(shù)應(yīng)用在化工領(lǐng)域上，解決了圖像收集、重建等諸多問(wèn)題，為推動(dòng)人工智能在化工領(lǐng)域上的應(yīng)用，助力化工企業(yè)數(shù)字化轉(zhuǎn)型和高效率、高質(zhì)量發(fā)展奠定了重要基礎(chǔ)。

1 卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

卷積神經(jīng)網(wǎng)絡(luò)是由多層感知機(jī)(Multi Layer Perceptron，MLP)演變而來(lái)，主要由卷積層、池化層、激活函數(shù)以及全連接層構(gòu)成。由于卷積神經(jīng)網(wǎng)絡(luò)具有局部連接、權(quán)值共享、降采樣的特性，使得其在處理圖像時(shí)表現(xiàn)尤為出色。

1.1 卷積層

卷積層通過(guò)對(duì)圖片進(jìn)行卷積運(yùn)算來(lái)提取特征。低層卷積提取低級(jí)特征，如邊緣、線條等，高層卷積則用來(lái)提取更為深層的特征。卷積操作如圖1所示，其中，k1～k9為卷積核的數(shù)值。卷積核在原圖上滾動(dòng)來(lái)遍歷圖片，并且通過(guò)計(jì)算圖片與卷積核上的數(shù)值來(lái)提取特征。同一個(gè)卷積層將會(huì)得到若干個(gè)特征圖，每個(gè)特征圖都會(huì)提取出一類特征，并且同一個(gè)特征圖的神經(jīng)元會(huì)使用同一個(gè)卷積核(權(quán)值共享)。

圖1 卷積操作

卷積計(jì)算公式如下：

(1)

式中，f(x)代表輸出特征；θij代表第i行j列的卷積核元素大小；xij代表第i行j列元素;b為偏差。

1.2 激活函數(shù)

常用激活函數(shù)有sigmod函數(shù)、tanh函數(shù)，以及ReLU函數(shù)，三者函數(shù)曲線如圖2所示。激活函數(shù)一般具有非線性、連續(xù)可微、單調(diào)性等特性。在網(wǎng)絡(luò)中加入若干激活函數(shù)，用于提高網(wǎng)絡(luò)的非線性擬合能力。

圖2 三種激活函數(shù)

1.3 池化層

在卷積層后通常會(huì)添加池化層來(lái)對(duì)實(shí)現(xiàn)對(duì)特征的降維。不僅如此，池化操作還能有效避免模型的過(guò)擬合，同時(shí)可以提高所提取特征的魯棒性。

常用的池化方法包括最大池化和平均池化，具體操作如圖3所示。其中，平均池化以卷積核中所有值的平均值為特征值，從而減小因鄰域大小受限造成的估計(jì)值方差增大，平均池化對(duì)微小變形具有魯棒性；而最大池化可以減小因卷積層參數(shù)誤差造成的估計(jì)均值偏移，它對(duì)圖像紋理信息保留更好。

圖3 池化操作

1.4 分類層

經(jīng)過(guò)一系列的卷積和池化操作后，輸入數(shù)據(jù)被移交給分類層，由分類層對(duì)提取的所有特征進(jìn)行非線性組合，最終輸出，該過(guò)程可由公式(2)表示。

f(x)=W×x+b

(2)

式中，x為全連接層的輸入；W為權(quán)重系數(shù)；b為偏置。

2 卷積神經(jīng)網(wǎng)絡(luò)在化工領(lǐng)域的應(yīng)用

2.1 參數(shù)測(cè)定

黃正梁等人[7]基于CNN網(wǎng)絡(luò)、全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Network,FCN)網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)，建立了一種氣-液-固三相反應(yīng)器的圖像分析方法。該流程如圖4所示。

圖4 基于CNN的氣-液-固三相反應(yīng)器圖像分析流程[7]

主要包括圖像采集、訓(xùn)練集制作、模型建立以及參數(shù)提取四部分。在模型訓(xùn)練過(guò)程中，當(dāng)識(shí)別得到的圖像與原始二值化圖像偏差小于設(shè)定值時(shí)，模型訓(xùn)練完成。經(jīng)過(guò)學(xué)習(xí)率、訓(xùn)練次數(shù)、訓(xùn)練集大小等參數(shù)優(yōu)化后，模型在學(xué)習(xí)率為0.005、學(xué)習(xí)率大于2000、訓(xùn)練集超過(guò)400張圖像下，誤差控制在5%以內(nèi)。該方法可用于涓流床流動(dòng)參數(shù)的檢測(cè)，其中所提取得到的平均液相分?jǐn)?shù)能較為準(zhǔn)確地預(yù)測(cè)涓流區(qū)的壓降，其平均相對(duì)偏差控制在15%以內(nèi)，為氣-液-固三相反應(yīng)器的研究提供了新的工具。

2.2 流形識(shí)別

Wang等[8]利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別方形涓流床反應(yīng)器中的流場(chǎng)圖像，并且定量提取了床層中的氣液相含率，結(jié)果表明，利用平均液相含率可清晰辨識(shí)涓流、脈沖流、鼓泡流等流型間邊界。仝衛(wèi)國(guó)等人[9]提出一種基于Landweber算法和卷積神經(jīng)網(wǎng)絡(luò)VGG16的流型識(shí)別方法，首先通過(guò)Landweber算法對(duì)流型圖像進(jìn)行重建，并且利用采集得到的10000張泡狀流、彈狀流流形圖片對(duì)模型進(jìn)行訓(xùn)練、測(cè)試；當(dāng)凍結(jié)卷積層為10，輸入100×100尺寸、326×218分辨率的圖片時(shí)，該流形識(shí)別網(wǎng)絡(luò)達(dá)到了95%的準(zhǔn)確率；同時(shí)，在如圖5所示的4組數(shù)據(jù)集容量下，對(duì)模型進(jìn)行魯棒性考察，結(jié)果表明，4種數(shù)據(jù)集的測(cè)試準(zhǔn)確率最終穩(wěn)定在96%左右，驗(yàn)證了該模型具有很好的魯棒性。

圖5 不同數(shù)據(jù)集容量下的準(zhǔn)確率曲線[9]

2.3 流場(chǎng)重構(gòu)

孫先亮等[10]建立了一種基于數(shù)據(jù)驅(qū)動(dòng)的卷積神經(jīng)網(wǎng)絡(luò)的顆粒濃度分布重建方法，并且通過(guò)數(shù)值模擬方法隨機(jī)抽取了6萬(wàn)組具有氣-固兩相流流型特點(diǎn)的顆粒濃度分布圖像，進(jìn)而基于有限元法建立了顆粒分布與電容向量對(duì)應(yīng)的數(shù)據(jù)集。依據(jù)所建立的數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，并且考察了CNN網(wǎng)絡(luò)結(jié)構(gòu)對(duì)重建效果的影響，同時(shí)根據(jù)相對(duì)圖像誤差、相關(guān)系數(shù)和相含量三個(gè)指標(biāo)對(duì)模型重建效果進(jìn)行了分析。結(jié)果表明(圖6所示)，所建立的CNN圖像重建模型抗干擾能力較強(qiáng)，在20 dB、30 dB及40 dB噪聲環(huán)境下的重建效果依然與不加噪聲的傳統(tǒng)LBP、Landweber算法重構(gòu)的顆粒介質(zhì)濃度分布較為吻合。

2.4 故障診斷

在化學(xué)流程工業(yè)故障診斷中，卷積神經(jīng)網(wǎng)絡(luò)發(fā)揮著不可小覷的作用[11]。例如，Wu等[12]基于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network,DCNN)提出了故障診斷分類模型，訓(xùn)練數(shù)據(jù)通過(guò)MATLAB工具箱進(jìn)行收集，并且在訓(xùn)練階段使用了Dropout手段有效防止了模型過(guò)擬合；模型最終在233720張訓(xùn)練集樣本下精度達(dá)到了98.6%，在測(cè)試集樣本(30680張)下達(dá)到了88.2%的故障分類準(zhǔn)確度。吳春磊[13]提出了具有非對(duì)稱卷積核(Asymmetric Convolutions)的CNN工業(yè)過(guò)程故障識(shí)別模型(AC-CNN)，原始的簡(jiǎn)單CNN故障分類模型由于結(jié)構(gòu)簡(jiǎn)單，對(duì)工況故障數(shù)據(jù)分類效果并不理想(如圖7(b))；在此基礎(chǔ)上，通過(guò)對(duì)模型卷積核尺寸、濾波器數(shù)量等進(jìn)行優(yōu)化，改進(jìn)后的AC-CNN模型在21種故障下隨機(jī)測(cè)試集的分類性能和效率顯著提高。

圖6 CNN、Landweber與LBP算法在不同噪聲環(huán)境下的重建效果[10]

(a)工況原始數(shù)據(jù) (b)CNN模型故障分類 (c)AC-CNN模型故障分類

3 總結(jié)與展望

根據(jù)生物神經(jīng)網(wǎng)絡(luò)拓?fù)浍@得的人工神經(jīng)網(wǎng)絡(luò)在現(xiàn)階段應(yīng)用越來(lái)越廣泛，因?yàn)樗哂泻軓?qiáng)的并行處理、聯(lián)想記憶、非線性、自學(xué)自適應(yīng)等能力。其中，卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的代表算法之一，在反應(yīng)器內(nèi)參數(shù)測(cè)定、流場(chǎng)識(shí)別、流場(chǎng)重構(gòu)和故障診斷等方面取得了一定的應(yīng)用進(jìn)展。但在將人工智能與化工融合應(yīng)用過(guò)程中，仍需要進(jìn)一步提高應(yīng)用的深度和廣度。建議從算法本身的優(yōu)化出發(fā)，與化工領(lǐng)域的知識(shí)特點(diǎn)進(jìn)行深度整合，為化工行業(yè)的高質(zhì)量發(fā)展添加新動(dòng)力。