基于改進(jìn)CNN 和ViT 網(wǎng)絡(luò)的復(fù)合工況示功圖診斷技術(shù)研究

錢帥康，陳夕松，姜 磊，邵志良，李緒信，史敦禹

（1.東南大學(xué)自動(dòng)化學(xué)院，江蘇南京 210096；2.南京富島信息工程有限公司，江蘇南京 210061；3.中策橡膠（建德）有限公司，浙江杭州 311600）

抽油機(jī)是原油開(kāi)采的主要設(shè)備，研究抽油機(jī)故障診斷對(duì)維護(hù)安全生產(chǎn)，節(jié)能增效具有重要價(jià)值。目前抽油機(jī)故障診斷領(lǐng)域較為常用且有效的手段是基于示功圖的分析與識(shí)別[1]。但傳統(tǒng)基于人工分析的示功圖診斷方法存在實(shí)時(shí)性差、診斷精度嚴(yán)重依賴專家經(jīng)驗(yàn)等問(wèn)題。近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN）由于具有模型參數(shù)量較少，能夠通過(guò)訓(xùn)練卷積核自動(dòng)地提取圖像特征的特點(diǎn)，已開(kāi)始用于抽油機(jī)故障診斷。劉寶軍[2]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的示功圖診斷技術(shù)，對(duì)供液不足、氣體影響等常見(jiàn)工況的診斷識(shí)別正確率達(dá)到89.3%。何巖峰等[3]提出了使用CNN模型對(duì)抽油機(jī)進(jìn)行故障診斷的方法，在識(shí)別精度進(jìn)一步提高的同時(shí)還提升了運(yùn)算效率。

然而，基于CNN 的方法目前多集中于單一工況示功圖的診斷，針對(duì)復(fù)合工況研究較少。實(shí)際上，采油企業(yè)不僅希望能了解到抽油機(jī)的單一工況，更希望掌握到更精細(xì)的復(fù)合工況，使企業(yè)能夠更精細(xì)化地管理抽油機(jī)生產(chǎn)，以達(dá)到節(jié)能增產(chǎn)的目的。但由于CNN 本身結(jié)構(gòu)的特性導(dǎo)致其全局建模能力較弱，對(duì)于復(fù)合工況示功圖的診斷精度仍有待提高。近年來(lái)，Transformer 已開(kāi)始應(yīng)用于圖像識(shí)別并取得了良好效果，形成了新的圖像識(shí)別網(wǎng)絡(luò)-視覺(jué)Transformer（Vision Transformer，ViT）。由于ViT 使用自注意力機(jī)制進(jìn)行計(jì)算，天然具有較好的全局建模能力。因此，本文研究了改進(jìn)CNN 和ViT的復(fù)合工況示功圖診斷方法，以彌補(bǔ)傳統(tǒng)CNN 在復(fù)合工況下診斷效果不佳的不足。

1 基于改進(jìn)CNN 和視覺(jué)Transformer 網(wǎng)絡(luò)的診斷模型

1.1 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)

典型卷積神經(jīng)網(wǎng)絡(luò)通常由卷積層、池化層、全連接層組成。卷積層用于提取輸入圖像的特征圖，其方形卷積核結(jié)構(gòu)（如3×3，5×5 等）在圖像矩陣上進(jìn)行滑動(dòng)窗口計(jì)算，能保證圖像中的每個(gè)位置都進(jìn)行了特征提取。池化層用于減小特征圖的分辨率，以達(dá)到減少網(wǎng)絡(luò)參數(shù)的目的。全連接層用于將提取出的所有特征圖進(jìn)行整合并映射為特征向量，以實(shí)現(xiàn)圖像表征或分類。由于ResNet[4]具有殘差塊結(jié)構(gòu)，即使層數(shù)很深的網(wǎng)絡(luò)也能夠很好的訓(xùn)練，不會(huì)出現(xiàn)模型退化問(wèn)題，且其網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，可擴(kuò)展性高，所以選擇ResNet-50 網(wǎng)絡(luò)作為本論文的基線模型。

通過(guò)分析示功圖，發(fā)現(xiàn)其存在顏色單一、圖形僅為封閉曲線的特點(diǎn)。目前CNN 都采用小的方形卷積核來(lái)提取圖像特征，這種卷積核無(wú)法很好地提取整體曲線特征，導(dǎo)致難以達(dá)到較高的診斷精度。而想要更好地提取整體線條特征一般需要更大的卷積核，但隨著卷積核的增大，網(wǎng)絡(luò)參數(shù)也會(huì)急劇增加，導(dǎo)致模型訓(xùn)練時(shí)間延長(zhǎng)，存儲(chǔ)空間增加。論文設(shè)計(jì)了非方的n×m 和m×n卷積核，包括7×3 和3×7 卷積核，并以此構(gòu)建如圖1 所示的，A、B 兩種殘差塊。通過(guò)兩種殘差塊交替堆疊的方式，在僅增加少量參數(shù)量的前提下，提升了網(wǎng)絡(luò)提取示功圖特征的能力。

圖1 具有非方卷積核的兩種殘差塊

1.2 混合網(wǎng)絡(luò)結(jié)構(gòu)模型

改進(jìn)的CNN 雖能較好的提取示功圖局部特征，但復(fù)合工況示功圖無(wú)法僅通過(guò)局部特征去識(shí)別，而是要從整體上去觀察，才能獲得準(zhǔn)確的診斷結(jié)果，故研究通過(guò)增加ViT 網(wǎng)絡(luò)來(lái)獲得更好的診斷精度。ViT 首次將Transformer 用在圖像識(shí)別領(lǐng)域，由于其獨(dú)特的多頭注意力機(jī)制，具有良好的全局建模能力，可以更有效提取復(fù)合工況示功圖整體曲線特征。但直接訓(xùn)練ViT，往往需要百萬(wàn)甚至千萬(wàn)級(jí)別帶標(biāo)簽數(shù)據(jù)集，才能表現(xiàn)出超越CNN 的性能，否則會(huì)出現(xiàn)嚴(yán)重過(guò)擬合現(xiàn)象。而獲取如此量級(jí)的帶標(biāo)簽示功圖數(shù)據(jù)集是很昂貴的，需要消耗大量的人力和物力。論文設(shè)計(jì)了融合改進(jìn)CNN 和ViT 的混合結(jié)構(gòu)，在利用自注意力機(jī)制的同時(shí)，減小了對(duì)大量數(shù)據(jù)的依賴，其結(jié)構(gòu)體參數(shù)（見(jiàn)表1）。

表1 中，O_C 代表輸出通道數(shù)，k 代表卷積核尺寸，s 代表卷積步幅，Act 代表激活函數(shù)，In 和Out 分別代表全連接層的輸入和輸出?；旌仙窠?jīng)網(wǎng)絡(luò)具有17 層卷積層，第一個(gè)卷積層為具有7×7 卷積核的普通卷積層，后接一個(gè)最大池化層用來(lái)降低特征圖尺寸，減少網(wǎng)絡(luò)參數(shù)。然后交替堆疊殘差塊A 和殘差塊B，更有效地提取示功圖局部特征。為了簡(jiǎn)化工程實(shí)現(xiàn)，用單個(gè)具有14×14 卷積核的卷積層作為圖像塊嵌入層，卷積核大小即為圖像塊大小，卷積步幅為14×14，可以實(shí)現(xiàn)無(wú)重疊的分塊功能。實(shí)驗(yàn)發(fā)現(xiàn)，對(duì)卷積層提取的特征圖先進(jìn)行取平均，再進(jìn)行嵌入，不僅能大幅減少網(wǎng)絡(luò)參數(shù)量，減少過(guò)擬合風(fēng)險(xiǎn)，而且能達(dá)到更好的精度?；旌暇W(wǎng)絡(luò)一方面能獲得CNN 有效提取局部特征，在少量數(shù)據(jù)下仍能有效訓(xùn)練的優(yōu)點(diǎn)，另一方面能獲得ViT 對(duì)全局特征提取的能力，為復(fù)合工況示功圖診斷提供了有力且高效的模型（見(jiàn)圖2）。

圖2 混合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

表1 混合網(wǎng)絡(luò)架構(gòu)具體參數(shù)

2 示功圖診斷流程

單一工況示功圖類別多達(dá)數(shù)十種，而復(fù)合工況更是高達(dá)成百上千種。若采用一般的圖像識(shí)別分類方法進(jìn)行復(fù)合工況示功圖診斷，需要為每個(gè)復(fù)合工況給定一個(gè)標(biāo)簽，則網(wǎng)絡(luò)最終的輸出維度會(huì)達(dá)到上百維甚至上千維，會(huì)導(dǎo)致預(yù)測(cè)效果不佳。且一些非典型復(fù)合工況只有很小的概率會(huì)出現(xiàn)，所以無(wú)法獲取到所有類別的復(fù)合示功圖數(shù)據(jù)。而基于相似識(shí)別的方法，可以通過(guò)比較圖片之間的差異，提取出不同類別圖像的特征向量，計(jì)算特征向量之間的相似度，從而進(jìn)行圖像的細(xì)粒度分類。不會(huì)出現(xiàn)全連接層輸出維度過(guò)高，從而導(dǎo)致精度下降的問(wèn)題。且對(duì)于樣本數(shù)量較少，甚至沒(méi)有出現(xiàn)在訓(xùn)練集中的復(fù)合工況，也可以借助檢索庫(kù)，正確實(shí)現(xiàn)診斷?；谝陨显颍疚牟捎没谙嗨贫茸R(shí)別的示功圖診斷方案[5]，具體流程圖（見(jiàn)圖3）。

圖3 復(fù)合工況示功圖診斷流程圖

2.1 數(shù)據(jù)預(yù)處理

將采集到的原始示功圖數(shù)據(jù)進(jìn)行異常值剔除，僅保留正常示功圖二維數(shù)據(jù)。對(duì)過(guò)濾后的示功圖二維載荷數(shù)據(jù)a=［a1，a2，…，ai］和位移數(shù)據(jù)b=［b1，b2，…，bi］

式中：i-每個(gè)示功圖數(shù)據(jù)的采樣點(diǎn)數(shù)；amax-抽油機(jī)的最大載荷；bmax-抽油機(jī)的最大沖程。為了得到W×H大小的示功圖圖像，需要將歸一化后的數(shù)據(jù)點(diǎn)映射到二維圖像坐標(biāo)上，并以圖像左下角為原點(diǎn)。數(shù)據(jù)點(diǎn)乘以圖像寬高后，向下取整，即為歸一化數(shù)據(jù)點(diǎn)在圖像中對(duì)應(yīng)的坐標(biāo)值。將所有坐標(biāo)繪制在圖像中后，使用曲線將所有數(shù)據(jù)點(diǎn)進(jìn)行連接，形成首尾相連的封閉曲線，所繪制示功圖（見(jiàn)圖4）。本論文中示功圖尺寸選擇W=H=224。

圖4 繪制的示功圖

2.2 數(shù)據(jù)集劃分與模型訓(xùn)練

將采集的所有示功圖數(shù)據(jù)繪制成示功圖圖像，并根據(jù)示功圖圖形相似度劃分成不同類別。將分類后的數(shù)據(jù)集以8:1:1 的比例進(jìn)行訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分，從訓(xùn)練集中在線選取三元組進(jìn)行上述混合神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，三元組的選取步驟如下：

（1）隨機(jī)從訓(xùn)練集中選取屬于同一個(gè)類別的子集，并隨機(jī)選擇該子集中的某個(gè)樣本作為錨點(diǎn)樣本xA。從同一個(gè)子集中，再隨機(jī)選取與錨點(diǎn)樣本不同的另一個(gè)樣本作為正樣本x+。隨機(jī)從訓(xùn)練集中選取與錨點(diǎn)樣本不同類別的另一類子集，并隨機(jī)選擇該子集中的某個(gè)樣本作為錨點(diǎn)樣本x-。

（2）將xA、x+和x-組成一個(gè)三元組（xA，x+，x-），重復(fù)步驟（1）、（2）、（3），直到所有數(shù)據(jù)都組成三元組。

（3）對(duì)每個(gè)三元組中的圖像使用混合神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，得到三個(gè)特征向量，使用三元組損失對(duì)混合神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，三元組損失公式如下：

式中：h+-正樣本和錨樣本向量之間的歐式距離；h--負(fù)樣本和錨樣本向量之間的歐式距離；m-固定間距。

2.3 實(shí)時(shí)復(fù)合工況示功圖診斷

由工藝專家標(biāo)定數(shù)據(jù)集中的典型故障工況，并使用訓(xùn)練完成的混合神經(jīng)網(wǎng)絡(luò)模型對(duì)典型故障示功圖進(jìn)進(jìn)行歸一化處理，歸一化公式如下：行特征提取，建立故障工況特征檢索庫(kù)。對(duì)實(shí)時(shí)采集的示功圖數(shù)據(jù)進(jìn)行實(shí)時(shí)工況診斷的步驟如下：

（1）對(duì)實(shí)時(shí)采集的示功圖數(shù)據(jù)使用混合網(wǎng)絡(luò)模型提取特征向量xnew，并與工況特征檢索庫(kù)中的特征向量進(jìn)行余弦相似度計(jì)算，得到相似度向量V。

（2）判斷V 中最大值Vmax是否超過(guò)主工況閾值T1，是則將該最大值對(duì)應(yīng)的類別作為示功圖的主工況K，否則將此示功圖類別標(biāo)記為未知，由專家標(biāo)定后加入工況特征檢索庫(kù)中。

（3）將V 中除Vmax外的值定義為復(fù)合工況隸屬度t，判斷t 是否超過(guò)復(fù)合工況閾值T2，是則判定此示功圖為復(fù)合工況，包含次要工況Ki，否則為單一工況示功圖。

（4）判斷K 是否為故障工況，如果為平穩(wěn)工況，則不報(bào)警，如果為故障工況，判斷是否包含Ki，是則進(jìn)行復(fù)合故障工況報(bào)警，否則進(jìn)行單一故障工況報(bào)警。

3 應(yīng)用研究

本文選取某采油企業(yè)2021 年7 月至9 月的示功圖數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，分析本文方法對(duì)復(fù)合工況示功圖診斷的有效性。根據(jù)采集到的示功圖數(shù)據(jù)，進(jìn)行數(shù)據(jù)預(yù)處理，繪制得到共45 429 張示功圖圖像。以相似度為依據(jù)分類數(shù)據(jù)集后，將數(shù)據(jù)集劃分為訓(xùn)練集36 343 張、驗(yàn)證集4 543 張和測(cè)試集4 543 張。從訓(xùn)練集中采樣三元組，使用三元組損失對(duì)混合神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到的損失值曲線（見(jiàn)圖5）。使用混合神經(jīng)網(wǎng)絡(luò)對(duì)測(cè)試集示功圖提取特征，根據(jù)與故障特征檢索庫(kù)中的特征向量進(jìn)行相似度計(jì)算，以完成示功圖診斷，診斷精度（見(jiàn)表2）。

表2 混合神經(jīng)網(wǎng)絡(luò)在測(cè)試集上的診斷精度

圖5 混合神經(jīng)網(wǎng)絡(luò)損失曲線圖

為了驗(yàn)證本文模型的泛化能力以及相較原始模型的有效性，從產(chǎn)油企業(yè)2021 年10 月數(shù)據(jù)中選取2 000張未出現(xiàn)在訓(xùn)練集中的單一和復(fù)合工況示功圖數(shù)據(jù)，以相同的方式進(jìn)行診斷，得到多模型對(duì)比結(jié)果（見(jiàn)表3）。

根據(jù)表3 分析，原始ResNet50 網(wǎng)絡(luò)對(duì)復(fù)合工況的診斷精度較低，僅為81.50%，改進(jìn)的ResNet 雖有提升，診斷精度仍達(dá)不到要求，僅為85.25%，而混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)復(fù)合工況診斷精度取得了較大的提升，達(dá)到了92.75%。三種網(wǎng)絡(luò)在單一工況示功圖下都取得了較高的診斷精度，而混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)仍達(dá)到了最高的96.5%。由上述分析可知，本文設(shè)計(jì)的混合結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)具有較好的示功圖特征提取能力，不僅能提升整體診斷精度，而且對(duì)復(fù)合工況示功圖診斷精度具有很大提升，為抽油機(jī)故障診斷提供了更準(zhǔn)確和有效的手段。

表3 多模型在新測(cè)試集上的診斷精度對(duì)比結(jié)果

4 結(jié)論

本文提出了一種基于改進(jìn)CNN 和ViT 網(wǎng)絡(luò)的復(fù)合工況示功圖診斷技術(shù)，設(shè)計(jì)的混合神經(jīng)網(wǎng)絡(luò)模型能夠較好地提取復(fù)合工況示功圖特征，對(duì)實(shí)時(shí)采集的示功圖使用混合網(wǎng)絡(luò)進(jìn)行特征提取，根據(jù)提取的特征與特征檢索庫(kù)中的特征向量進(jìn)行相似度計(jì)算，得到相似度向量。通過(guò)相似度向量，判定示功圖類型，并進(jìn)行單一或復(fù)合工況故障診斷。實(shí)驗(yàn)結(jié)果表明，該方法提出的混合網(wǎng)絡(luò)結(jié)構(gòu)在測(cè)試集上診斷精度達(dá)到95%以上，能顯著提升復(fù)合工況示功圖的診斷精度，使企業(yè)能夠更加精細(xì)化、集約化地管理抽油機(jī)生產(chǎn)，建立更為合適的抽油機(jī)工作制度，以達(dá)到節(jié)能增產(chǎn)的目的。