基于改進(jìn)膠囊神經(jīng)網(wǎng)絡(luò)的示功圖診斷模型

張 強(qiáng)，朱劉濤，王彥琦

(東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院 黑龍江 大慶 163318)

目前，在抽油機(jī)故障監(jiān)測(cè)中，示功圖是十分常見(jiàn)的工具。示功圖中展示的是載荷(P)和位移(S)之間的變化關(guān)系，是一條封閉的曲線(xiàn)，是通過(guò)安裝在抽油機(jī)懸點(diǎn)處的載荷位移傳感器測(cè)量得到的閉合曲線(xiàn)。 現(xiàn)階段抽油機(jī)故障診斷主要方法是功圖法[1]。但隨著卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別中的快速發(fā)展，其在抽油機(jī)故障診斷中的應(yīng)用也在不斷增加。文獻(xiàn)[2-5]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到示功圖診斷中，首先將大量的示功圖圖像進(jìn)行數(shù)字化后作為模型的輸入，然后應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)搭建模型實(shí)現(xiàn)對(duì)示功圖的智能診斷。文獻(xiàn)[6]將深度可分離結(jié)構(gòu)和注意力機(jī)制相結(jié)合，提出了一種輕量的卷積神經(jīng)網(wǎng)絡(luò)模型用于示功圖的診斷。

文獻(xiàn)[7]提出膠囊神經(jīng)網(wǎng)絡(luò)和膠囊間的動(dòng)態(tài)路由算法，其主要思想是將標(biāo)量神經(jīng)元改為向量的形式，使得網(wǎng)絡(luò)可以學(xué)習(xí)并保留空間位置信息，并且取消池化操作，獲得了更好的效果。但提出的膠囊神經(jīng)網(wǎng)絡(luò)特征提取僅使用單層卷積結(jié)構(gòu)，導(dǎo)致特征提取能力較弱。文獻(xiàn)[8]提出了雙層卷積結(jié)構(gòu)的膠囊神經(jīng)網(wǎng)絡(luò)，特征提取能力有一定的提高，但是仍然忽略了細(xì)微特征。文獻(xiàn)[9]提出了一種基于Inception 結(jié)構(gòu)與空間注意力機(jī)制相結(jié)合的膠囊神經(jīng)網(wǎng)絡(luò)，采用多尺度特征融合的方式和Inception 結(jié)構(gòu)[10]與空間注意力機(jī)制，雖然增強(qiáng)了特征提取的能力，但也增加了模型的參數(shù)，模型訓(xùn)練時(shí)間變長(zhǎng)。

本文提出的基于改進(jìn)膠囊神經(jīng)網(wǎng)絡(luò)的示功圖診斷模型將fire module 模塊[11]和Tanimoto 系數(shù)[12]分別應(yīng)用到膠囊神經(jīng)網(wǎng)絡(luò)的特征提取部分和動(dòng)態(tài)路由算法中。不僅解決了傳統(tǒng)膠囊神經(jīng)網(wǎng)絡(luò)特征提取能力不足以及動(dòng)態(tài)路由算法中相似性衡量粗糙的問(wèn)題，而且通過(guò)fire module 模塊中壓縮再擴(kuò)展的方式減少了模型的參數(shù)。隨著多尺度特征的融合以及特征提取能力和相似性衡量能力的提升，勢(shì)必會(huì)出現(xiàn)過(guò)擬合的現(xiàn)象。本文提出適用于膠囊神經(jīng)網(wǎng)絡(luò)的Dropout 算法，使膠囊神經(jīng)網(wǎng)絡(luò)中的向量神經(jīng)元在一次動(dòng)態(tài)路由算法中以一定的概率被屏蔽而不參與動(dòng)態(tài)路由算法的運(yùn)算，增加網(wǎng)絡(luò)的多樣性，減少模型的過(guò)擬合，提高其泛化能力。

1 基于改進(jìn)膠囊神經(jīng)網(wǎng)絡(luò)的診斷模型

1.1 Fire Module

通過(guò)卷積神經(jīng)網(wǎng)絡(luò)模型的變更過(guò)程可知加深網(wǎng)絡(luò)的層數(shù)，雖然可在一定程度上提高模型性能，但卻帶來(lái)了模型參數(shù)暴增的問(wèn)題。SqueezeNet[13-14]從網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化的角度出發(fā)，首先通過(guò)1 ×1卷積減少輸入通道，然后使用多尺寸的卷積核進(jìn)行卷積運(yùn)算，以保留更多的信息。Fire Module 模塊結(jié)構(gòu)如圖1 所示。

圖1 Fire Module 模塊結(jié)構(gòu)

Fire Module[15]模塊主要包含3 部分：1)利于1×1卷積操作減少通道數(shù)；2)包含多尺度特征提取的思想，通過(guò)1 ×1以 及 3×3卷積提取多尺度特征；3)將提取到的多尺度特征進(jìn)行融合。Fire Module模塊通過(guò)壓縮再擴(kuò)展，有效降低卷積操作的計(jì)算量，并且進(jìn)行了特征的融合。

1.2 膠囊神經(jīng)網(wǎng)絡(luò)

膠囊網(wǎng)絡(luò)的概念在2017 年由Hinton 提出，在膠囊神經(jīng)網(wǎng)絡(luò)中，將膠囊定義為一組神經(jīng)元的集合，并且將膠囊作為網(wǎng)絡(luò)的最終輸出結(jié)果，通過(guò)膠囊的模長(zhǎng)來(lái)表示某一實(shí)體存在的概率，膠囊的模長(zhǎng)與其存在的概率成正比的關(guān)系。重要的是膠囊神經(jīng)元中的維度數(shù)據(jù)則是表示實(shí)體的空間位置信息。并且實(shí)體的姿態(tài)發(fā)生變化不會(huì)影響膠囊神經(jīng)元的模長(zhǎng)，僅是膠囊神經(jīng)元中存儲(chǔ)的位置信息發(fā)生變化，利用這一點(diǎn)，膠囊神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了同變性。膠囊神經(jīng)元流動(dòng)過(guò)程如圖2 所示。

圖2 膠囊神經(jīng)元的工作圖

圖2 中，向量ui為上一層的輸出向量，將該向量分別乘上對(duì)應(yīng)的權(quán)重矩陣Wij進(jìn) 而得到向量Ui。Wij中蘊(yùn)含著高層特征與低層之間的空間信息數(shù)據(jù)，向量Ui先進(jìn)行標(biāo)量加權(quán)再進(jìn)行累加求和。最終對(duì)累加求和得到的結(jié)果進(jìn)行非線(xiàn)性壓縮變換，采用的壓縮函數(shù)為：

式中，Sj表示累計(jì)求和的結(jié)果。非線(xiàn)性激活函數(shù)并不會(huì)改變膠囊神經(jīng)元存儲(chǔ)的空間信息，僅是將模長(zhǎng)壓縮到0～1 之間，以便表示實(shí)體存在概率，vj是當(dāng)前膠囊的輸出結(jié)果。

膠囊神經(jīng)元之間采用動(dòng)態(tài)路由的方式進(jìn)行特征傳遞，通過(guò)相關(guān)性計(jì)算，特征得到很好的歸類(lèi)，原有動(dòng)態(tài)路由算法僅僅是通過(guò)向量點(diǎn)乘來(lái)衡量相似性，現(xiàn)將Tanimoto 系數(shù)引入動(dòng)態(tài)路由算法。算法過(guò)程步驟如下。

1)bij為l層 第i個(gè) 膠囊和l+1層 第j個(gè)膠囊間的特征傳遞參數(shù)，初始化為0；

2)利用softmax 計(jì)算兩層膠囊間的權(quán)重Cij：

3)低層膠囊特征ui傳遞至高層膠囊，得到高層特征S j：

4)壓縮高層膠囊特征，得到壓縮后的特征；

5)權(quán)重更新方式為：

1.3 改進(jìn)膠囊神經(jīng)網(wǎng)絡(luò)模型

為提高膠囊神經(jīng)網(wǎng)絡(luò)的特征提取能力，將Fire Moduel 模塊應(yīng)用于膠囊神經(jīng)網(wǎng)絡(luò)，通過(guò)Fire Moduel模塊中壓縮再擴(kuò)展以及多尺度卷積結(jié)構(gòu)，增加網(wǎng)絡(luò)的深度，提高特征提取的能力并且實(shí)現(xiàn)多尺寸卷積融合，構(gòu)建更加全面多樣的特征提取模塊，將Dropout 思想[16-17]應(yīng)用于膠囊神經(jīng)網(wǎng)絡(luò)，提出適用于膠囊神經(jīng)網(wǎng)絡(luò)的算法，在膠囊神經(jīng)網(wǎng)絡(luò)中的向量神經(jīng)元進(jìn)入動(dòng)態(tài)路由算法之前，以一定概率產(chǎn)生隨機(jī)的0、1 矩陣，用其屏蔽向量神經(jīng)元，以增加網(wǎng)絡(luò)的多樣性，防止特征提取能力太強(qiáng)而導(dǎo)致的過(guò)擬合現(xiàn)象。在動(dòng)態(tài)路由算法中引入Tanimoto 系數(shù)，在動(dòng)態(tài)路由的聚類(lèi)過(guò)程中更多的考慮膠囊向量方向上的差異性，弱化膠囊長(zhǎng)度帶來(lái)的影響。模型結(jié)構(gòu)如圖3 所示。

圖3 改進(jìn)膠囊神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

該模型的輸入是 28×28的圖片，首先經(jīng)過(guò)9×9的卷積對(duì)圖片信息進(jìn)行初步的提取，初步提取的信息經(jīng)過(guò) 1×1卷積操作壓縮特征通道，再由3×3與 1 ×1的卷積操作，進(jìn)一步地提取特征，將提取的多尺寸特征進(jìn)行融合完成特征提取部分。然后通過(guò)得到的特征圖構(gòu)建向量神經(jīng)元，再進(jìn)行Dropout操作隨機(jī)使部分向量神經(jīng)元神經(jīng)失活，增加網(wǎng)絡(luò)多樣性，防止過(guò)擬合。網(wǎng)絡(luò)中的特征通過(guò)改進(jìn)后的動(dòng)態(tài)路由算法進(jìn)行特征整合。

1.4 損失函數(shù)

該模型的損失函數(shù)包含間隔損失與重構(gòu)損失，間隔損失為：

式中，Lk表示間隔損失，表示第K類(lèi)是否存在。若存在Lk取1，否則取0。m?是 ||Vc||上邊界，避免假陰性，遺漏實(shí)際預(yù)測(cè)到的分類(lèi)情況。K類(lèi)不存在但預(yù)測(cè)存在，會(huì)導(dǎo)致?lián)p失函數(shù)很大。m+是 | |Vc||下邊界，避免假陽(yáng)性，K類(lèi)存在但是預(yù)測(cè)不存在會(huì)導(dǎo)致?lián)p失函數(shù)很大。

重構(gòu)損失則是通過(guò)解碼器將數(shù)字膠囊層的輸出進(jìn)行解碼重建一個(gè) 28×28的圖像。計(jì)算重構(gòu)圖像與原始圖像的距離作為損失值。解碼器結(jié)構(gòu)如圖4 所示。

圖4 解碼器結(jié)構(gòu)

λ為正則化系數(shù)，用于調(diào)整重構(gòu)損失在總損失中所占的比例。L=Lk+λLc，其中L為 總損失，Lc為重構(gòu)損失。

2 算例與實(shí)驗(yàn)結(jié)果分析

2.1 公開(kāi)數(shù)據(jù)集實(shí)驗(yàn)對(duì)比

CapNets 網(wǎng)絡(luò)在MNIST 數(shù)據(jù)集上取得了優(yōu)異的分類(lèi)表現(xiàn)，現(xiàn)將FDT-CapNets 與CapNets 在MNIST數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)對(duì)比。CapNets 網(wǎng)絡(luò)的模型結(jié)構(gòu)如圖5 所示。

圖5 CapNets 網(wǎng)絡(luò)結(jié)構(gòu)圖

MNIST 數(shù)據(jù)集包含60000 個(gè)訓(xùn)練樣本和10000個(gè)測(cè)試樣本。FDT-CapNets 與CapNets 均使用Adam優(yōu)化器，學(xué)習(xí)率均為0.0001。全部樣本訓(xùn)練迭代次數(shù)設(shè)置為30 次，每次讀入數(shù)據(jù)量的大小為128。實(shí)驗(yàn)結(jié)果如表1 所示。

表1 實(shí)驗(yàn)結(jié)果

由表1 可知CapNets 在MNIST 數(shù)據(jù)集上獲得了很高的訓(xùn)練精度與測(cè)試精度，而FDTCapNets 在該數(shù)據(jù)集上同樣取得了優(yōu)異的表現(xiàn)，并且比CapNets 的精度有所提高。圖6 展示出FDTCapNets 與CapNets 在訓(xùn)練過(guò)程中損失函數(shù)的變化情況。

圖6 MNIST 數(shù)據(jù)集上損失函數(shù)變化圖

通過(guò)圖6 可知FDT-CapNets 與CapNets 收斂速度相似，但FDT-CapNets 的損失函數(shù)變化更穩(wěn)定并且后期的損失值更小。

2.2 油田數(shù)據(jù)集實(shí)驗(yàn)對(duì)比

2.2.1 數(shù)據(jù)集預(yù)處理

實(shí)驗(yàn)所使用的數(shù)據(jù)集是某一油廠(chǎng)在實(shí)際生產(chǎn)中所測(cè)得的實(shí)際數(shù)據(jù)。首先將載荷與位移數(shù)據(jù)從數(shù)據(jù)庫(kù)讀出，將載荷與位移數(shù)據(jù)按照一定的組合方式繪制出示功圖，如圖 7 所示。由于實(shí)際生產(chǎn)中處于異常工作的抽油機(jī)較少，因此異常示功圖的數(shù)據(jù)量較少，為避免模型在訓(xùn)練過(guò)程中由于數(shù)據(jù)集分布不均導(dǎo)致的過(guò)擬合，對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行水平翻轉(zhuǎn)以及在90°、?90°與180°中隨機(jī)選取一個(gè)數(shù)作為旋轉(zhuǎn)度數(shù)，對(duì)圖片進(jìn)行旋轉(zhuǎn)，通過(guò)該操作平衡數(shù)據(jù)集中各類(lèi)示功圖的數(shù)量，消除因數(shù)據(jù)不平衡造成的模型泛化能力下降的問(wèn)題。

圖7 數(shù)據(jù)集中5 種數(shù)據(jù)類(lèi)型對(duì)應(yīng)的示功圖

將數(shù)據(jù)集進(jìn)行預(yù)處理后可以得到“正?！薄皻怏w影響”“充不滿(mǎn)”“活塞脫出”“抽油桿斷”5 個(gè)類(lèi)別的示功圖數(shù)據(jù)，共7500 張。數(shù)據(jù)集樣本分布如表2 所示。

表2 數(shù)據(jù)樣本分布表

為方便訓(xùn)練時(shí)計(jì)算損失函數(shù)，將示功圖標(biāo)簽進(jìn)行獨(dú)熱編碼，隨機(jī)抽取70%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集以訓(xùn)練模型，剩余30%的數(shù)據(jù)作為測(cè)試集以驗(yàn)證模型的學(xué)習(xí)效果。數(shù)據(jù)讀取時(shí)，將數(shù)據(jù)的像素值除以255 進(jìn)行歸一化操作，提高模型的收斂速度。

2.2.2 實(shí)驗(yàn)分析

2.2.2.1 對(duì)比模型

為檢驗(yàn)?zāi)Ｐ托阅?，將模型與CapNets、LeNet5網(wǎng)絡(luò)以及VGG16 進(jìn)行對(duì)比。LeNet5 網(wǎng)絡(luò)和VGG16的模型如圖8 和圖9 所示。

圖8 LeNet5 網(wǎng)絡(luò)結(jié)構(gòu)圖

圖9 VGG16 網(wǎng)絡(luò)結(jié)構(gòu)圖

LeNet5 網(wǎng)絡(luò)包含3 層卷積結(jié)構(gòu)與2 層全連接層，卷積核大小均為 5 ×5，VGG 網(wǎng)絡(luò)由13 層卷積核和3 層全連接層構(gòu)成。3 個(gè)模型的激活函數(shù)均為ReLU 函數(shù)。

2.2.2.2 實(shí)驗(yàn)結(jié)果分析

在示功圖數(shù)量為5250 的訓(xùn)練集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，模型均使用Adam 優(yōu)化器，學(xué)習(xí)率均為0.0001。全部樣本訓(xùn)練迭代次數(shù)設(shè)置為30 次，每次讀入數(shù)據(jù)量的大小為128。測(cè)試數(shù)據(jù)集的大小為2250，每次讀入批次大小為128，取多次測(cè)試結(jié)果的均值作為最后的測(cè)試結(jié)果。

為驗(yàn)證改進(jìn)的膠囊神經(jīng)網(wǎng)絡(luò)(FDT-CapNets)中每一部分的改進(jìn)對(duì)網(wǎng)絡(luò)的影響，在現(xiàn)有的訓(xùn)練集與測(cè)試集上，對(duì)每一部分的改進(jìn)進(jìn)行實(shí)驗(yàn)對(duì)比驗(yàn)證，實(shí)驗(yàn)結(jié)果如表3 所示。

表3 分步改進(jìn)實(shí)驗(yàn)結(jié)構(gòu)表

表3 中的F-CapNets 代表Fire Module 模塊與CapNets 的 融 合，F(xiàn)T-CapNets 代 表Fire Module模塊與Tanimoto 系數(shù)與CapNets 的融合?？芍隖ire Module 模塊后，訓(xùn)練與測(cè)試的精度均高于CapNets，并且訓(xùn)練時(shí)間有所下降，實(shí)驗(yàn)證明Fire Module 模塊的引入不僅提高了特征提取能力而且減少了參數(shù)，加快了模型訓(xùn)練時(shí)間。由于Fire Module 模塊與Tanimoto 系數(shù)的同時(shí)應(yīng)用，在提高特征質(zhì)量的前提上又采用了更優(yōu)的相似性衡量方式使得模型的精度進(jìn)一步提高。Dropout 的引入使得在FT-CapNets 的基礎(chǔ)上取得了更好的效果，并且對(duì)網(wǎng)絡(luò)的耗時(shí)未產(chǎn)生影響。

為驗(yàn)證FDT-CapNets 網(wǎng)絡(luò)在精度上的有效性，將FDT-CapNets 與雙卷積膠囊神經(jīng)網(wǎng)絡(luò)(CapNets)、VGG16 和LeNet5 進(jìn)行實(shí)驗(yàn)對(duì)比。訓(xùn)練結(jié)果如表4所示。

表4 實(shí)驗(yàn)對(duì)比結(jié)果

從表4 可以得出，F(xiàn)DT-CapNets 與CapNets 的正確率均高于VGG16、LeNet5，并且FDT-CapNets在訓(xùn)練精度上比CapNets 取得了更好的效果。

在測(cè)試集上，改進(jìn)的膠囊神經(jīng)網(wǎng)絡(luò)取得了優(yōu)于雙層卷積膠囊神經(jīng)網(wǎng)絡(luò)，VGG16 與LeNet5 的準(zhǔn)確率、測(cè)試準(zhǔn)確率分別為97.05%、95.12%、94.53%、93.06%。

為了清晰地展示各個(gè)模型的訓(xùn)練過(guò)程，圖10顯示了損失函數(shù)隨迭代次數(shù)的變化情況。

圖10 3 種模型的損失函數(shù)變化圖

由圖10 可知，LeNet5 網(wǎng)絡(luò)的收斂速度在三者之間速度最慢，在迭代670 步之后CapNets 與FDCapNets 的損失函數(shù)達(dá)到收斂趨于平穩(wěn)不再繼續(xù)下降。FDT-CapNets 的損失函數(shù)的總體波動(dòng)比CapNets波動(dòng)更小，更加趨于平穩(wěn)。

3 結(jié)束語(yǔ)

本文提出的改進(jìn)的膠囊神經(jīng)網(wǎng)絡(luò)模型，在特征提取上采用了Fire Moduel 模塊，提高了特征提取的能力，并壓縮了模型參數(shù)，加快了模型的訓(xùn)練速度。Tanimoto 系數(shù)的應(yīng)用在提取到的特征更豐富時(shí)獲得了更好的模型精度。Dropout 的應(yīng)用提高了模型的泛化能力與多樣性。