基于改進(jìn)ResNet-18網(wǎng)絡(luò)的電容層析成像圖像重建

張立峰, 常恩健

(華北電力大學(xué) 自動(dòng)化系，河北 保定 071003)

1 引 言

電容層析成像(electrical capacitance tomography, ECT)是一種無(wú)損檢測(cè)技術(shù)[1],可以非侵入性地顯示管道內(nèi)部介質(zhì)的分布。具有結(jié)構(gòu)簡(jiǎn)單、成本低、安全無(wú)輻射、響應(yīng)快等優(yōu)點(diǎn),在工業(yè)過(guò)程的測(cè)量和監(jiān)測(cè)中具有廣泛的應(yīng)用前景[2]。實(shí)驗(yàn)測(cè)得的電容值數(shù)量遠(yuǎn)少于管道內(nèi)剖分網(wǎng)格數(shù),因此ECT圖像重建是1個(gè)病態(tài)問(wèn)題的求解過(guò)程[3]。通常采用非迭代算法(LBP[4]、Tikhonov[5]等)及迭代算法[6](Landweber[7]、共軛梯度法[8]等)來(lái)計(jì)算介電常數(shù)分布。由于兩相流系統(tǒng)的復(fù)雜性,導(dǎo)致重建圖像產(chǎn)生偽影或失真。隨后,智能算法如模擬退火算法、果蠅優(yōu)化算法等圖像重建算法不斷被提出,它們具有更好的圖像重建質(zhì)量,但其計(jì)算量大,難以滿(mǎn)足某些ECT應(yīng)用的在線(xiàn)成像要求[9]。

機(jī)器學(xué)習(xí)領(lǐng)域的深度學(xué)習(xí)算法可直接反映電容向量和物體介電常數(shù)分布之間的復(fù)雜非線(xiàn)性映射關(guān)系,能有效解決 ECT 系統(tǒng)的軟場(chǎng)問(wèn)題[10],逐漸被用于ECT圖像重建問(wèn)題。馬敏[11]等提出了基于深度信念網(wǎng)絡(luò)的電容層析成像圖像重建算法,并在參數(shù)微調(diào)階段利用擬牛頓法來(lái)減少訓(xùn)練時(shí)間;彭黎輝等[12]提出了一種有監(jiān)督的自動(dòng)編碼器來(lái)解決ECT的圖像重建問(wèn)題;朱海[13]等提出了一種神經(jīng)網(wǎng)絡(luò),可以重建物體形狀并預(yù)測(cè)介電常數(shù)值;李毅等[14]將ECT的重建問(wèn)題視為1個(gè)圖像分割問(wèn)題,并提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的U型網(wǎng)絡(luò)結(jié)構(gòu);張立峰等[15]基于測(cè)量電容的數(shù)據(jù)結(jié)構(gòu),提出一種一維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行ECT圖像重建,取得了良好的效果。文獻(xiàn)[10～15]中使用的網(wǎng)絡(luò)大多為淺層網(wǎng)絡(luò),對(duì)于深層網(wǎng)絡(luò)應(yīng)用在ECT圖像重建領(lǐng)域的研究較少,而深層網(wǎng)絡(luò)具有較大的感受野和較強(qiáng)的語(yǔ)義信息表示能力。李峰[16]等提出了一種全連接深度網(wǎng)絡(luò)(full Connection deep network,FCDN)圖像重建算法,可較好地反應(yīng)圖像重建問(wèn)題的非線(xiàn)性本質(zhì)。殘差網(wǎng)絡(luò)也是一種深層網(wǎng)絡(luò),其特點(diǎn)是能夠通過(guò)殘差塊的堆疊實(shí)現(xiàn)網(wǎng)絡(luò)深度的不斷增加,同時(shí)可利用其內(nèi)部殘差塊之間的跳躍連接來(lái)緩解因深度增加而帶來(lái)的梯度消失問(wèn)題。

本文提出了一種基于改進(jìn)ResNet-18的電容層析成像圖像重建方法。改進(jìn)后的結(jié)構(gòu)具有卷積層、池化層、展平層和全連接層。仿真及靜態(tài)實(shí)驗(yàn)表明,該方法重建圖像精度得到明顯提高。

2 ECT基本原理

ECT 系統(tǒng)主要由3部分組成:陣列電極傳感器、數(shù)據(jù)采集系統(tǒng)和計(jì)算機(jī)圖像重建系統(tǒng)。系統(tǒng)結(jié)構(gòu)仿真模型如圖1所示。

圖1 ECT系統(tǒng)結(jié)構(gòu)仿真模型示意圖Fig...1 Schematic diagram of simulation model of ECT system structure

ECT 系統(tǒng)工作流程為:首先對(duì)電極按照一定順序依次施加激勵(lì)電壓,然后測(cè)量激勵(lì)電極與不同檢測(cè)電極之間的電容值,最后數(shù)據(jù)采集系統(tǒng)將測(cè)量信號(hào)轉(zhuǎn)變?yōu)閿?shù)字信號(hào)并傳輸給計(jì)算機(jī),計(jì)算機(jī)根據(jù)接收的信號(hào)結(jié)合圖像重建算法得到管內(nèi)介質(zhì)介電常數(shù)的分布圖像。

ECT系統(tǒng)中敏感場(chǎng)模型表示如下:

[ε(x,y)E(x,y)]=0

(1)

式中:ε(x,y)為管內(nèi)介電常數(shù)分布函數(shù);E(x,y)為電場(chǎng)強(qiáng)度分布函數(shù)。

對(duì)式(1)離散化歸一化后得到的近似線(xiàn)性方程:

SG=C

(2)

式中:S為n×m的歸一化靈敏度系數(shù)矩陣;G為m×1的歸一化介電常數(shù)矩陣;C為n×1的歸一化電容值矩陣,n為測(cè)量電容值的個(gè)數(shù),m為剖分網(wǎng)格個(gè)數(shù)。

3 基于改進(jìn)ResNet-18網(wǎng)絡(luò)的ECT圖像重建

3.1 殘差塊

定義殘差塊:

y=F(xi,{Wi})+x

(3)

式中:x和y分別為層的輸入和輸出;函數(shù)F(xi,{Wi})為殘差映射。

在堆疊層上采取殘差學(xué)習(xí)算法。1個(gè)殘差塊如圖2所示。

圖2 殘差塊結(jié)構(gòu)圖Fig.2 Residual blocks structure diagram

圖2中包含2層殘差映射,F=W2σ(Wix)+b,其中σ代表ReLU,b為偏置項(xiàng)。F(x)+x操作由1個(gè)跳躍連接和元素級(jí)的加法來(lái)表示。在加法之后再執(zhí)行另1個(gè)非線(xiàn)性操作。

3.2 改進(jìn)ResNet-18網(wǎng)絡(luò)

圖像重建網(wǎng)絡(luò)通常使用卷積神經(jīng)網(wǎng)絡(luò)通過(guò)分層采樣來(lái)提取目標(biāo)的特征。本文提出的改進(jìn)ResNet-18網(wǎng)絡(luò)主要由卷積層、批規(guī)范化(Batch Normalization,BN)層、池化層、展平層和全連接層組成,如圖3所示。

圖3 改進(jìn)ResNet-18網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Improve ResNet-18 network structure

模型中每一層的描述如下:

1) 輸入層。通常圖像重建神經(jīng)網(wǎng)絡(luò)輸入為一維電容值或一維真實(shí)介電常數(shù)分布值。首先將66×1的電容值歸一化,然后填充0后,整型為9×9的二維數(shù)據(jù)矩陣來(lái)滿(mǎn)足網(wǎng)絡(luò)的輸入要求。由于在網(wǎng)絡(luò)中需要使用池化層進(jìn)行降維,而在ECT 圖像重建中輸入維度遠(yuǎn)小于輸出,因此采用最近鄰上采樣和填充的方法使數(shù)據(jù)擴(kuò)充為24×24作為網(wǎng)絡(luò)輸入。

2) 特征提取層。ResNet-18網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)進(jìn)行特征提取。將原ResNet-18網(wǎng)絡(luò)第1層的卷積核大小改為3,以適應(yīng)求解圖像重建問(wèn)題。其余每層含有2個(gè)具有跳躍連接的殘差塊,每個(gè)殘差塊中有兩層卷積,卷積核大小均為3×3,除第1層殘差塊中的最大池化層步長(zhǎng)為1,其余殘差塊中的最大池化層步長(zhǎng)均為2。特征提取層中激活函數(shù)均為ReLU。

3)輸出層。輸出層先經(jīng)過(guò)展平層將多維輸入一維化,然后通過(guò)全連接輸出1 728×1維圖像灰度值進(jìn)行圖像重建。全連接層激活函數(shù)為Sigmoid函數(shù)。

選用適應(yīng)性矩估計(jì)(adaptive moment estimation,Adam)優(yōu)化器訓(xùn)練網(wǎng)絡(luò),這種優(yōu)化算法依靠梯度一階矩估計(jì)與二階矩估計(jì)調(diào)整網(wǎng)絡(luò)參數(shù)學(xué)習(xí)率。初始學(xué)習(xí)率設(shè)置為0.01,同時(shí)使用keras庫(kù)中的回調(diào)函數(shù)使得當(dāng)模型的驗(yàn)證集損失不再下降時(shí),將初始學(xué)習(xí)率乘以0.3以避免訓(xùn)練過(guò)程產(chǎn)生過(guò)擬合。為配合Sigmoid激活函數(shù),采用二值交叉熵?fù)p失函數(shù):

(4)

3.3 樣本集的建立

采用MATLAB有限元仿真軟件包來(lái)獲取樣本。仿真時(shí),將管道內(nèi)油相和氣相混合作為兩相流檢測(cè)的對(duì)象,油/氣的相對(duì)介電常數(shù)分別設(shè)置為 3 和 1。電容傳感器設(shè)置有12電極,相應(yīng)可得 66個(gè)電容值作為網(wǎng)絡(luò)的輸入。管道內(nèi)半徑 62.5 mm,管道外半徑 75 mm,屏蔽層半徑85 mm,將管道內(nèi)部剖分為1 728個(gè)三角形網(wǎng)格,如圖4所示。

圖4 管道剖分示意圖Fig.4 Pipe sectioning diagram

電容值和與之對(duì)應(yīng)的介電常數(shù)可以通過(guò)對(duì)正問(wèn)題的求解獲取。仿真的6種流型如圖5所示。

圖5 6種典型流型Fig.5 Six typical flow types

流型1到流型6分別為單泡、兩泡、三泡、環(huán)流、層流和層流單泡6種油/氣兩相分布模型。模型樣本采用隨機(jī)的方法生成,如泡狀分布的圓心和半徑均為隨機(jī)生成。6種分布模型各設(shè)5 000個(gè)樣本,總計(jì)30 000個(gè)樣本。每種流型樣本中隨機(jī)選取500個(gè),共3 000個(gè)樣本作為網(wǎng)絡(luò)的測(cè)試集。而剩余的27 000作為訓(xùn)練集。其中隨機(jī)選取10%訓(xùn)練樣本作為驗(yàn)證集。

將電容值和介電常數(shù)數(shù)據(jù)歸一化到區(qū)間[0,1]消除量綱用于網(wǎng)絡(luò)訓(xùn)練,使改進(jìn)ResNet-18模型能夠更好地訓(xùn)練從而加快收斂速度。

3.3 網(wǎng)絡(luò)訓(xùn)練

使用PC配置為Inter(R)Core(TM)i7-10870H@ 2.20GHz 16G RAM,Windows10的64位操作系統(tǒng)對(duì)基于Tensorflow2框架的改進(jìn)ResNet-18網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,訓(xùn)練過(guò)程中損失函數(shù)隨迭代次數(shù)的變化如圖6所示。

圖6 損失函數(shù)Fig.6 Loss function

從圖6中可以看出,在進(jìn)行到第12次迭代時(shí)學(xué)習(xí)率發(fā)生衰減。迭代到23次時(shí),損失率接近于0,損失函數(shù)收斂。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 評(píng)價(jià)指標(biāo)

為定量分析LBP、Landweber 迭代算法及改進(jìn)的ResNet-18算法的重建圖像質(zhì)量,引入圖像相對(duì)誤差(relative image error,RE)Er及相關(guān)系數(shù)(correlation coefficient,CC)Cc兩項(xiàng)評(píng)價(jià)指標(biāo)。

圖像相對(duì)誤差(RE)是對(duì)比重建圖像與實(shí)際圖像像素值之間的相對(duì)誤差,其數(shù)學(xué)表達(dá)式為:

(5)

圖像相對(duì)誤差越小,重建圖像灰度值越接近實(shí)際圖像灰度值,即重建圖像的質(zhì)量越好。

圖像相關(guān)系數(shù)(CC)是計(jì)算重建圖像與實(shí)際圖像的像素值線(xiàn)性相關(guān)的程度,其數(shù)學(xué)表達(dá)式為:

(6)

4.2 重建圖像分析

網(wǎng)絡(luò)訓(xùn)練完畢后,隨機(jī)選取測(cè)試集中的6種流型,分別采用LBP、Landweber和改進(jìn)ResNet-18三種算法進(jìn)行圖像重建,重建結(jié)果如圖7所示。

圖7 不同算法的圖像重建結(jié)果Fig.7 Image reconstruction results of different algorithms

由圖7可得出以下結(jié)論: LBP算法對(duì)6種流型的成像效果極差,不僅不能正確顯示流型的形狀和大小,而且在多個(gè)氣泡存在時(shí),有明顯的粘連現(xiàn)象。對(duì)貼近管壁的流型成像模糊,不能正確顯示流型的形狀。Landweber迭代算法雖然比LBP算法有所提升,但對(duì)流型1僅能確定流型位置不能準(zhǔn)確顯示其大小;對(duì)于流型2和流型3這些多個(gè)氣泡的流型,氣泡與氣泡之間存在粘連現(xiàn)象,氣泡與液體交界模糊;對(duì)流型 6的重建結(jié)果與原始流型嚴(yán)重不符。

改進(jìn)ResNet-18算法的重建結(jié)果明顯優(yōu)于前兩種算法,對(duì)于流型1成像結(jié)果邊緣清晰且無(wú)偽影,形狀保真度高。對(duì)于流型2和流型3多氣泡存在于管內(nèi)時(shí),能夠清晰的區(qū)分不同氣泡且?guī)缀鯚o(wú)偽影。對(duì)流型4和流型5的重建結(jié)果都比較好。對(duì)于流型6在小氣泡與液體的交界成像有少量偽影,但氣泡的形狀位置信息均可呈現(xiàn)出來(lái)。 圖7中流型的評(píng)價(jià)指標(biāo)如表1所示。

表1 評(píng)價(jià)指標(biāo)Tab.1 Evaluation index

由表1可見(jiàn),LBP算法成像結(jié)果的RE較高,CC較低;Landweber迭代算法次之;改進(jìn)ResNet-18算法RE最低,CC最高,與圖7直觀觀察結(jié)果一致。

4.3 重建時(shí)間

本文使用Windows10平臺(tái)對(duì)LBP,Landweber,ResNet-18算法和改進(jìn)ResNet-18算法的重建時(shí)間進(jìn)行比較,結(jié)果如表2所示。表2中Landweber迭代算法的迭代次數(shù)為100次。

表2 重建時(shí)間Tab.2 Reconstruction time s

由表2可知,LBP算法的重建時(shí)間最短,改進(jìn)ResNet-18算法次之,Landweber算法重建時(shí)間最長(zhǎng)。因此改進(jìn)ResNet-18算法滿(mǎn)足實(shí)時(shí)成像的要求。

4.4 泛化能力測(cè)試

為驗(yàn)證改進(jìn)ResNet-18算法的泛化能力,選取了4種未參與訓(xùn)練的流型作為測(cè)試樣本,其重建結(jié)果如圖8所示,評(píng)價(jià)指標(biāo)如表3所示。

圖8 測(cè)試圖像重建結(jié)果Fig.8 Test image reconstruction results

由圖8可知,LBP算法重建精度差,流型3和流型4的重建結(jié)果失真嚴(yán)重;Landweber迭代算法成像效果較好,但對(duì)于4種流型均存在偽影及粘連的現(xiàn)象。ResNet-18算法對(duì)前3種流型成像效果較好,對(duì)流型4粘連現(xiàn)象嚴(yán)重。改進(jìn)ResNet-18算法無(wú)論在重建精度及形狀保真度方面都優(yōu)于前3種算法,可準(zhǔn)確反映管道內(nèi)物體的位置信息,但對(duì)于尖銳物體無(wú)法準(zhǔn)確重建出物體形狀。對(duì)于多氣泡流型氣泡距離較近的情況,會(huì)出現(xiàn)氣泡粘連的現(xiàn)象。

從表3的評(píng)價(jià)指標(biāo)可以看出,改進(jìn)ResNet-18算法的RE值最低,CC值最高。圖8和表3的結(jié)果表明,改進(jìn)ResNet-18算法具有一定的泛化能力。

表3 評(píng)價(jià)指標(biāo)Tab.3 Evaluation index

4.4 靜態(tài)實(shí)驗(yàn)

為驗(yàn)證算法有效性,采用華北電力大學(xué)先進(jìn)測(cè)量實(shí)驗(yàn)室的 ECT 系統(tǒng)進(jìn)行靜態(tài)實(shí)驗(yàn),ECT實(shí)驗(yàn)系統(tǒng)如圖9所示。

圖9 靜態(tài)實(shí)驗(yàn)ECT系統(tǒng)Fig.9 Static Experimental ECT System

傳感器采用 12 電極,測(cè)量管道的內(nèi)徑為100 mm,使用直徑為15 mm 的塑料棒模擬泡狀流;使用塑料顆粒模擬層流模型;使用內(nèi)徑30 mm, 厚度2 mm的空心塑料棒和塑料顆粒模擬環(huán)狀流模型,靜態(tài)實(shí)驗(yàn)的圖像重建結(jié)果如圖10所示。

由圖10可知,LBP算法對(duì)6種流型重建效果差;Landweber迭代算法對(duì)流型1至流型4的重建效果較好,但精度不高并且含有偽影,對(duì)流型6的重建結(jié)果極差,無(wú)法正確顯示環(huán)流大小;未改進(jìn)的ResNet-18算法除對(duì)流型6的重建圖像精度較好外,流型1、流型2和流型4均無(wú)法準(zhǔn)確顯示大小,對(duì)流型3無(wú)法正確顯示其流型,對(duì)流型5的重建效果較差。改進(jìn)ResNet-18算法對(duì)測(cè)試流型的重建圖像精度最高,形狀還原效果最好。

5 結(jié) 論

本文提出了一種基于改進(jìn)ResNet-18網(wǎng)絡(luò)的圖像重建算法。由于ResNet-18較深的網(wǎng)絡(luò)結(jié)構(gòu),其非線(xiàn)性表示能力更強(qiáng),實(shí)驗(yàn)結(jié)果表明:與LBP算法、Landweber算法和未改進(jìn)ResNet-18算法相比,改進(jìn)ResNet-18算法的成像效果更好,重建圖像中物體分布無(wú)粘連、偽影少;在重建時(shí)間上,改進(jìn)ResNet-18算法運(yùn)行時(shí)間短,能滿(mǎn)足在線(xiàn)成像要求。同時(shí),該方法仍存在對(duì)尖銳物體和多氣泡流型圖像重建精度不高的問(wèn)題。未來(lái)將研究如何添加注意力機(jī)制到神經(jīng)網(wǎng)絡(luò)中來(lái)改善這一問(wèn)題。