深度學習在化學流程工業(yè)故障診斷的研究進展

陳紅花，岑 健，劉 溪，楊卓洪

1.廣東技術師范大學 自動化學院，廣州 510665

2.廣州市智慧建筑設備信息集成與控制重點實驗室，廣州 510665

3.廣東技術師范大學 電子與信息學院，廣州 510665

流程工業(yè)是通過一系列的物理變化和化學變化進行的生產過程，具有設備關聯(lián)復雜、過程變量之間耦合性強的特點，是典型的復雜工業(yè)系統(tǒng)，其中囊括了化工、煉鋼、冶金、制藥、電力等多種工業(yè)[1]。

伴隨著工業(yè)4.0 的到來，目前大多數(shù)工業(yè)生產過程正在轉變?yōu)橹悄芑?、大型化的復雜工業(yè)生產過程。在智能工業(yè)制造過程中，不管是對工業(yè)流程還是生產設備的全生命周期管理都提出了更高的要求和更嚴格的標準。特別是由于化學工業(yè)過程的復雜性和環(huán)境的不確定性，故障的發(fā)生總是由多種因素的耦合引起的。故障診斷技術在全生命周期管理占據(jù)重要地位，需要匹配智能制造的升級而進行同步的提升，實現(xiàn)提高工業(yè)生產的安全性與可靠穩(wěn)定性，降低工業(yè)過程的維護成本，減少非計劃性的產線停工檢修時間的目標[2]。

如今現(xiàn)代化工業(yè)過程利用先進的集散控制系統(tǒng)、工業(yè)互聯(lián)網和智能儀器儀表等信息技術，使工業(yè)過程中的海量數(shù)據(jù)得以采集和存儲。其中包含過程狀態(tài)信息的數(shù)據(jù)呈現(xiàn)出非高斯、非線性、強耦合、動態(tài)等大數(shù)據(jù)的特點。多元統(tǒng)計分析方法和淺層機器學習方法被認為是化學流程工業(yè)過程故障診斷的經典研究方法，這些方法將相同故障根源的異常樣本劃分為同一種故障類別，將故障診斷問題轉化為多分類的問題，可有效地進行故障診斷?；诙嘣y(tǒng)計分析方法的有主成分分析（principal component analysis，PCA）[3]、偏最小二乘（partial least square，PLS）[4]和獨立分析方法（independent component analysis，ICA）[5-6]以及相應的改進算法[7-9]。由于這些方法不需要過多的先驗知識，在一定程度上優(yōu)于傳統(tǒng)的專家系統(tǒng)方法[10]。Zhang等[11]將多尺度核PCA（KPCA）和核PLS（KPLS）結合，以捕獲在不同尺度上的過程變量相關性，并在此基礎上，提出多尺度貢獻圖的非線性故障診斷新方法，解決了PCA 和PLS 不能用于非線性觀測數(shù)據(jù)的問題。Ajami等[12]提出基于ICA的火電廠汽輪機故障檢測與診斷的方法，該方法能夠有效實現(xiàn)在噪聲狀態(tài)下對多部件的故障檢測和診斷。Stefators等[13]提出動態(tài)ICA方法，將當前的數(shù)據(jù)矩陣與歷史數(shù)據(jù)矩陣連接，形成增強的數(shù)據(jù)矩陣，解決非高斯過程的動態(tài)問題。雖然基于統(tǒng)計分析方法在故障診斷領域取得了良好的成果。但是這些統(tǒng)計分析方法通常依賴于人工選取的閾值來檢測故障的發(fā)生，并進一步診斷故障變量，因此選取不同的閾值將導致不同的故障診斷結果和精度。此外，實際的化學工業(yè)由于環(huán)境和操作條件的不同，產生的過程數(shù)據(jù)具有強動態(tài)性。對于這種現(xiàn)象，多元統(tǒng)計分析的基本方法通常假設數(shù)據(jù)在平穩(wěn)理想的運行條件下獲取，因此這將導致多元統(tǒng)計分析方法難以成功應用[14]。淺層機器學習故障診斷方法包括支持向量機（support vector machine，SVM）[15-16]、K近鄰（K-nearest neighbor，KNN）[17-19]、高斯混合模型（Gaussian mixture model，GMM）[20]、人工神經網絡（artificial neural network，ANN）[21]等。如He等[22]利用最小二乘支持向量機的故障診斷方法，用于處理過程故障數(shù)據(jù)小樣本和非線性分區(qū)數(shù)據(jù)的問題。該方法進一步采用粒子群算法確定懲罰因子和高斯核函數(shù)的重要參數(shù)，提高了診斷田納西-伊士曼化學過程（Tennessee-Eastman process，TEP）數(shù)據(jù)的性能。然而，淺層的網絡結構無法表征高維和抽象的判別特征，并且在網絡輸入特征數(shù)據(jù)前，需要對原始數(shù)據(jù)進行人工的特征提取、選擇以及優(yōu)化[23]。所以，基于淺層機器學習方法的故障診斷能力與提取特征的質量相關，當面對更加龐大和復雜的數(shù)據(jù)時候，此類方法因為需要額外的人為特征提取而難以實現(xiàn)快速的故障診斷。

面對著化學流程工業(yè)中診斷新舊故障特征的難題，需要迫切地探索和研究出新的工業(yè)過程故障診斷的方法，以高效處理大數(shù)據(jù)中的特征提取與識別，提高工業(yè)過程安全生產性能與工業(yè)生產質量，檢測和識別所有類型潛在的微小故障等。

2006年，Hinton等[24]首次提出的深度學習打破了淺層學習訓練不足的壁壘。在2013年之前深度學習主要應用于語音識別、圖像分類等領域，2013年，Tamilselvan等[25]拓展深度學習的應用領域，將基于深度置信網絡（deep belief network，DBN）的深度學習方法應用于多傳感器健康狀態(tài)分類的故障診斷，填補了基于深度學習的故障診斷的空白，為故障診斷領域提供了新的研究思路。2015 年，Xie 等[26]首次提出將深度學習用于TEP 工業(yè)過程故障診斷，構建分層深度神經網絡，通過有監(jiān)督DBN對故障進行分組，然后觸發(fā)下一個針對特定故障進行專門訓練的DBN 模型，最終實現(xiàn)分層故障診斷。由于深度學習以“端到端”的方式完成復雜識別分類任務，展現(xiàn)出處理大數(shù)據(jù)的優(yōu)越性能，因此各領域的學者積極利用深度學習理論去開拓解決各自領域難題中的新方法。同樣，基于深度學習的復雜CPIFD研究也掀起了智能制造時代下過程控制領域的浪潮。與基于淺層機器學習方法的CPIFD對比（如圖1所示），基于深度學習方法的CPIFD通過構建多隱藏層連接結構模型，實現(xiàn)“端到端”的特征提取與模式識別，替代了人工挑選特征的過程。

圖1 基于淺層機器學習和深度學習方法的CPIFD對比Fig.1 Comparison of CPIFD based on shallow machine learning and deep learning

1 化學流程工業(yè)故障診斷的部分相關綜述

在表1 的流程工業(yè)過程故障診斷綜述中[27-33]，大部分文獻都是基于模型、信號、知識和傳統(tǒng)的數(shù)據(jù)驅動方法展開論述。雖然有小部分綜述文章是基于深度學習對關于CPIFD 的探討，然而，這些綜述主要集中在淺層的機器學習，對基于深度學習方法在CPIFD 的應用研究還不夠。為了彌補現(xiàn)有的研究，本文擬對基于深度學習的CPIFD 方法進行更全面的綜述，同時為希望了解和推動深度學習方法在CPIFD 中發(fā)展的研究者提供參考。

表1 部分相關綜述Table 1 Part of relevant reviews

2 深度學習在化學流程工業(yè)故障診斷的應用

從理論和實際應用角度出發(fā)，基于深度學習的CPIFD中具有代表性的模型可分為卷積神經網絡、深度置信網絡、堆疊自動編碼器、長短期記憶網絡和其他新興的深度學習模型（遷移學習、注意力機制和圖卷積網絡）。本章將對以上模型的基本理論及其在化學工業(yè)過程領域的研究進展進行詳細論述。

2.1 卷積神經網絡理論及其在CPIFD的應用

2.1.1 卷積神經網絡理論

卷積神經網絡在圖像分割、識別分類、檢測和檢索相關的任務中表現(xiàn)優(yōu)異，因此，將卷積神經網絡在各個領域的應用引起了學者的關注，特別是工業(yè)故障診斷領域。卷積神經網絡特點在于它能夠充分利用輸入數(shù)據(jù)的空間相關性。卷積神經網絡通過使用多個構建模塊（如卷積層、池化層以及全連接層）進行反向傳播以自適應地學習數(shù)據(jù)的空間層次結構[34]，CNN 結構如圖2 所示。CNN的顯著特性是局部稀疏連接、權值共享、降采樣和端到端[35]。在模擬人的神經網絡基礎上，CNN 通過局部稀疏連接將上下兩層的神經元節(jié)點連接，建立輸入圖像的局部感受野。CNN通過權值共享使得每一張輸入圖像共享卷積核的各個參數(shù)，即每張輸入圖像具有相同的權重矩陣和偏置項，這不僅減少了網絡結構的復雜度，還有效地降低了過擬合的風險。降采樣的計算層也被稱為池化層，CNN 通過降采樣對卷積層輸出的特征圖進行聚合計算，保留了有效信息的同時還降低特征的維度，從而實現(xiàn)輸入圖像的旋轉、平移和伸縮不變性。端到端的卷積神經網絡是將原始數(shù)據(jù)輸入到模型，直接輸出分類結果而無需進行特征工程的方法，這種學習方式具有協(xié)同增效的優(yōu)勢，更加有利于獲得全局最優(yōu)解[36]。

圖2 CNN的基本結構Fig.2 Basic structure of CNN

卷積層（convolution layer）是CNN結構體系最核心的組成部分，由卷積運算和激活函數(shù)運算組成。該層主要用于提取輸入數(shù)據(jù)的局部特征[37]。卷積層的數(shù)學模型可表示為：

其中xi?1和xi分別表示第i層的輸入和輸出特征圖；ωi和bi分別表示第i層的卷積核和偏置。f(·)表示激活函數(shù)，對卷積操作學習到的特征進行非線性變換。由于修正線性單元ReLU 函數(shù)能夠很好的提高CNN 的非線性能力以及有效防止梯度爆炸的問題，因此被廣泛采用以替代早期的sigmoid 和tanh 激活函數(shù)。ReLU 激活函數(shù)的數(shù)學模型可表示為：

池化層（pooling layer）通常置于卷積層之后，目的是降低數(shù)據(jù)的冗余度，保留特征圖的關鍵要素以及控制過擬合。常見的池化操作有最大池化、平均池化和隨機池化。通常最大池化是人們首選的池化操作。池化操作的數(shù)學模型可表示為：

其中xm,n和xm′,n′分別表示的是卷積層輸出特征圖中點(m,n)進行池化操作前后的值；pool(·)代表的是池化函數(shù)。

全連接層則將卷積層提取和池化層降采樣到的特征映射到樣本標記空間。接著，輸出層通常采用Softmax分類器，其在解決多分類的問題具有優(yōu)勢，特別是針對故障診斷分類問題。

卷積神經網絡屬于有監(jiān)督的深度學習模型，利用BP 算法實現(xiàn)誤差反向傳播，使用梯度下降法優(yōu)化各層參數(shù)。它有著出色的自學習能力及逐層對輸入數(shù)據(jù)進行特征抽象轉換和高層表示的能力，卷積神經網絡在故障診斷識別分類有很大的應用前景和潛力。

2.1.2 卷積神經網絡在CPIFD的應用

化學工業(yè)過程中故障的本質是過程變量偏離其正常狀態(tài)的故障狀態(tài)。不同設備中狀態(tài)偏差的數(shù)據(jù)可用于診斷不同的故障類型。2018 年，Wu 等[38]提出采用深度卷積神經網絡（DCNN）進行化學工業(yè)過程的故障診斷，將過程變量的時頻域特征轉化為二維矩陣，并將二維矩陣輸入到DCNN中，提取變量的空間特征進而分類故障，該方法取得了88.2%的分類準確率。2019 年，針對大多數(shù)傳統(tǒng)方法不考慮化學工業(yè)過程的頻率變化而影響檢測性能問題，Zhang 等[39]提出基于幅頻圖像的卷積神經網絡故障診斷方法，并使用ConvNet作為二元分類器進行故障的分類，該方法在數(shù)值過程（NP）和化學過程中得到了驗證。2020 年，基于傳統(tǒng)CNN 的故障診斷方法通常使用相同長度的過程數(shù)據(jù)，從而限制模型對數(shù)據(jù)動態(tài)特性的表達的問題，Gao等[40]提出基于CNN的多時間尺度動態(tài)特征提取方法并將其應用于TEP，該方法采用CNN中Resnet網絡結構并在機構中添加固定的多采樣層，提取了不同時間長度的過程數(shù)據(jù)的動態(tài)特性，因此無論是在較多數(shù)據(jù)量還是較小的數(shù)據(jù)量的前提下，多時間尺度模型的平均故障診斷率都高達95%以上。2021年，針對以上過程變量需要轉化為二維矩陣或者復雜圖像數(shù)據(jù)作為CNN 的輸入，而導致大量消耗計算資源的問題，Yu等[41]提出基于小波變換的多通道一維卷積神經網絡模型（MC1-DCNN）并應用于TEP和補料分批發(fā)酵青霉素工藝（FBFP），該模型通過一維卷積核學習過程變量時頻域上具有代表性的特征，然后進行多通道信號的特征融合。研究結果證明，MC1-DCNN 具有學習高維過程信號特征的能力和良好的故障診斷性能。大多傳統(tǒng)CPIFD 技術在建立診斷模型時沒有考慮不同異常之間的故障傾向，Yu 和Zhao[42]設計了一個具有增量學習能力的廣義卷積神經網絡（BCNN），利用卷積運算從數(shù)據(jù)矩陣提取故障趨勢和非線性結構，并添加新生成的附加特征提高了BCNN 在CPIFD 的診斷性能。所提出的網絡結構能夠學習不同樣本之間的信息，更重要的是具有增量學習能力，能將新采集的故障樣本納入診斷模型，而不需要完全的模型再訓練即可實現(xiàn)自我更新，從而對新故障也能進行有效的診斷。CNN 通常假設訓練和測試數(shù)據(jù)來自相同的分布，但是由于實際制造工藝的變化，所采集的數(shù)據(jù)在不同的操作條件下通常具有不同的分布。因此，Azamfar等[43]提出基于CNN的半導體制造故障診斷域自適應方法（DACNN），在標記的源域數(shù)據(jù)和未標記的目標域數(shù)據(jù)之間建立了跨域模型。對DCNN學習到的高級特征進行優(yōu)化，在全連接層后最小化訓練和測試數(shù)據(jù)分布之間的最大平均差異（MMD）度量，以實現(xiàn)域不變特征。研究結果證實了該方法具有較高的交叉域診斷性能。

就現(xiàn)有文獻，圖3 給出了基于CNN 的CPIFD 的一般流程圖?；贑NN的流程工業(yè)故障診斷的起步時間相對基于CNN的機械故障診斷較晚。雖然其研究已初見成效，但仍需研究人員繼續(xù)挖掘流程工業(yè)的故障機理，探索CNN在CPIFD領域的自適應性。

圖3 基于CNN的CPIFD一般流程圖Fig.3 General flow chart of CPIFD based on CNN

2.2 深度置信網絡理論及其在CPIFD的應用

2.2.1 深度置信網絡理論

為解決深度神經網絡訓練成本的問題并推動深度學習的快速發(fā)展，Hinton等[24]提出了新的生成式神經網絡模型——深度置信網絡。DBN模型由堆疊的受限玻爾茲曼機（restricted Boltzmann machine，RBM）和分類器構成。堆疊的RBM 逐層提取故障特征，分類器（如Softmax分類器等）對故障進行識別分類[44]。

玻爾茲曼機（BM）是隨機神經網絡，它的每個神經元都是雙向連接的[45]。而與BM不同之處在于，RBM包含的是單向連接的輸入和輸出層，且同一層的神經元之間沒有連接以保證它們之間的相互獨立性，以學習其輸入集合的概率分布。圖4（a）和（b）給出了二者的結構模型，RBM 中輸入和輸出層之間明確的關系減少了訓練參數(shù)，這意味著RBM 比BM 會擁有更快的訓練速度。結構的易擴展性是RBM的又一優(yōu)勢。 RBM輸出層的神經元（隱藏單元）可以作為下一個RBM輸入層的神經元（可視單元）[46]，以這種方式將多個RBM 級聯(lián)起來將產生一個具有多個隱藏層的神經網絡，即深度置信網絡。如圖4（c）所示，雖然DBN 從結構的表面上看這類似于一個多層前饋神經網絡，但其在網絡上的訓練方式有所不同。具體來說，DBN 的訓練過程分為無監(jiān)督的預訓練和有監(jiān)督的反向傳播微調兩個階段。在2010年，Erhan等[47]的研究表明：無監(jiān)督的預訓練會引導學習朝著極小吸引域的方向發(fā)展，從而提高網絡結構的泛化性能。因此，無監(jiān)督逐層的預訓練是DBN 區(qū)別于其他模型的主要特點，同時這也是DBN 具有強大特征提取能力的關鍵所在[48]。

圖4 BM、RBM和DBN的基本結構Fig.4 Basic structures of BM，RBM and DBN

給定模型參數(shù)θ=[W,b,a]，DBN 的能量函數(shù)可表示為[49]：

其中，δ(?)為激活函數(shù)，通常選用sigmoid函數(shù)。以此訓練RBM 使得聯(lián)合概率最大化。完成了RBM 的訓練之后，利用BP 算法整體微調DBN 的網絡參數(shù)，因此DBN 能夠自行選擇相關的特征進行分析，又不受用BP算法微調多層之間權值而導致網絡嚴重長時間收斂的影響。

2.2.2 深度置信網絡在CPIFD的應用

DBN 最初的目的是為圖像識別而開發(fā)的，現(xiàn)已成熟的應用于具有二值類型變量的系統(tǒng)。但是由于大多數(shù)的復雜工業(yè)過程變量為連續(xù)性變量，因此DBN 應用于該領域的報道目前為數(shù)不多，仍在探索階段。2017年，Zhang 等[50]將DBN 引入TEP 化工過程，利用互信息技術選擇較優(yōu)變量作為OCON 網絡的輸入，DBN 作為子網絡提取時空域的故障特征，實現(xiàn)診斷故障分類。通常標記故障數(shù)據(jù)集耗時費力，且需要具體詳細的實驗設置，2018 年，張祥等[51]提出變分自動編碼器和深度置信網絡的復合故障診斷方法（VAE-DBN）應用于化工過程故障診斷，利用VAE 無監(jiān)督學習原始數(shù)據(jù)中的隱變量抽象特征，DBN作為分類器，在TEP過程重疊數(shù)據(jù)較多的故障診斷任務中獲得了良好的分類效果。同年，Tang等[52]針對統(tǒng)計模型方法的準確度很大程度上取決于閾值和統(tǒng)計模型選取的問題，提出基于DBN的Fisher判別稀疏表示（DBN-FDSR）用于過程故障診斷，利用DBN對過程變量進行降維并提取特征，再引入Fisher判別稀疏表示完成故障分類任務，研究結果表明，由于FDSR添加的約束限制了類內樣本的分散，并使類間樣本的分散最大化，因此，DBN-FDSR 能夠獲得良好的故障診斷性能。2020年，Wang等人[53]針對DBN逐層提取層次特征中連續(xù)的特征壓縮會導致原始數(shù)據(jù)有價值的信息會丟失，進而導致不利于微調階段的問題，構建了可擴展的深度置信網絡（EDBN），將原始數(shù)據(jù)和不同層的隱藏特征相結合作為每個擴展RBM 在訓練階段的輸入，充分捕獲了原始數(shù)據(jù)的有用信息。此外，還考慮了過程數(shù)據(jù)的動態(tài)性，構造基于EDBN 的動態(tài)故障分類器，結果表明EDBN比傳統(tǒng)DBN具有更好的特征提取能力和故障分類性能。2020 年，Wei 等[54]為了減少DBN 模型的過擬合和提高模型的泛化性能，構建了DBN-dropout模型用于化工過程故障診斷，且dropout 技術僅用于模型的訓練，但測試階段模型的所有神經元仍工作。結果證明，DBN-dropout 模型的準確率和召回率的加權調和平均（F1-score）優(yōu)于CNN、DBN等。Akagekar等[55]提出基于量子計算的深度學習方法（QC-DBN）用于工業(yè)過程故障診斷，將DBN集成到故障診斷模型中，對正常和故障過程變量進行不同級別的特征提取。該模型采用量子計算輔助生成訓練有助于在局部域定位最優(yōu)解，解決DBN存在局部最小值問題。

與其他深度學習模型不同，基于DBN 的CPIFD 主要有兩種方式：一是直接利用DBN 模型作為特征提取與故障識別[53]，二是在其他方法提取過程變量特征的基礎上，利用DBN作為故障分類器[51]，如圖5所示。

圖5 基于DBN實現(xiàn)CPIFD的兩種不同方法Fig.5 Two different methods to implement CPIFD based on DBN

2.3 堆疊自動編碼器理論及其在CPIFD的應用

2.3.1 堆疊自動編碼器基本理論

自動編碼器（autoencoder，AE）是由編碼器和解碼器組成的三層前饋神經網絡，屬于無監(jiān)督學習方法，其網絡結構如圖6 所示。編碼器將輸入數(shù)據(jù)從高維空間映射到低維特征空間，實現(xiàn)輸入數(shù)據(jù)的壓縮表示以及提取特征向量；同時通過解碼器盡可能多地重構輸入數(shù)據(jù)的低維特征。通常，用均方誤差（MSE）評估AE 表達數(shù)據(jù)特征的能力，當MSE 的值最小時，AE 的表達性能最優(yōu)。AE 經典的數(shù)學模型可描述為[56]：將輸入數(shù)據(jù)樣本x∈Rm通過編碼器映射到具有非線性函數(shù)f(?)的低維特征空間Rn中：

圖6 自動編碼器網絡的基本結構Fig.6 Basic structure of autoencoder network

其中a為輸入樣本的數(shù)量。AE通常使用隨機梯度下降算法訓練網絡參數(shù)[57]。堆疊自動編碼器（SAE）是由多個自動編碼器模塊疊加而成的深度神經網絡。這種深層結構能逐層降低輸入數(shù)據(jù)的維數(shù)，提取輸入數(shù)據(jù)的高級抽象特征，改善AE 泛化性能差和無法精確擬合大多數(shù)復雜高維函數(shù)的不良現(xiàn)象[58]。2008年，Vincent等[59]提出降噪自動編碼器，首先對輸入數(shù)據(jù)添加隨機噪聲，然后對加噪數(shù)據(jù)進行編碼和解碼操作，旨在通過降噪建立訓練準則找出更具魯棒性的特征。2011年，文獻[60]提出稀疏自動編碼器學習算法，該算法將KL 散度作為稀疏懲罰項添加到AE 的損失函數(shù)中約束隱藏層，因而保證了隱藏層的稀疏性。算法的優(yōu)勢在于即使隱藏層節(jié)點數(shù)量遠大于輸出層節(jié)點數(shù)時，仍能發(fā)現(xiàn)輸入數(shù)據(jù)內部結構特征。文獻[61]設計了卷積自動編碼器。與其他的自動編碼器不同，卷積自動編碼器可以在不使用任何約束項下就有稀疏作用，有效解決圖像數(shù)據(jù)的池化問題，且能夠實現(xiàn)完整保存圖像數(shù)據(jù)受局部空間限制的邊緣特征達。

2.3.2 堆疊自動編碼器在CPIFD的應用

被調整、改進后的自動編碼器能夠根據(jù)不同的條件和任務需求，展現(xiàn)從大量無標記樣本中提取復雜輸入數(shù)據(jù)本質特征的強大能力，在工業(yè)過程故障診斷的應用領域中具有巨大的潛力。2016 年，Lv 等[62]首次將堆疊稀疏自編碼器（SSAE）應用到化工過程系統(tǒng)的故障診斷中，提取了故障數(shù)據(jù)深層結構的特征，檢測早期故障，提高了正常與故障過程的可分性，實現(xiàn)該系統(tǒng)的實時在線診斷。2017 年，Lv 等[63]提出基于堆疊稀疏自編碼器的加權時間序列故障診斷方法（WTDL），解決了大多數(shù)統(tǒng)計分析技術無法有效表征故障特征的問題，該框架考慮對過程變量時間相關性和歷史樣本的判別，以SVM 作為分類器，實現(xiàn)早期故障的檢測與診斷。針對實際生產過程通常缺乏有標記的歷史數(shù)據(jù)，而導致有監(jiān)督診斷方法不適用于工業(yè)過程的問題，Zheng 等[64]提出了基于堆疊自動編碼器的無監(jiān)督數(shù)據(jù)挖掘方法（UDM-SAE）進行故障診斷，通過SAE 無監(jiān)督方式提取特征，t-SEN 算法可視化后的特征聚類得到數(shù)據(jù)挖掘的結果，建立了偽標記數(shù)據(jù)庫，構建了偽監(jiān)督模型的在線故障診斷，取得了與使用實際標記數(shù)據(jù)集訓練效果相當?shù)慕Y果。另外，CNN 中有監(jiān)督學習機制需要足夠的標記數(shù)據(jù)，會增加時間和人力成本。為此，Chen等人[65]提出用于多變量工業(yè)過程故障診斷的一維卷積自動編碼器（1D-CAE）。1D-CAE在自動編碼器中融合卷積和池化層，構建堆疊深度特征提取器，以無監(jiān)督的方式從非線性過程信號中學習分層特征表示，在標簽信息的指導下微調網絡提高系統(tǒng)魯棒性。研究結果表明，1D-CAE具有優(yōu)于其他傳統(tǒng)分類器的性能。針對單一模型無法有效表征所有故障的特征信息，Li等人[66]提出基于深度學習和多模型特征融合的故障診斷方法（MMFF-FD）用于復雜工業(yè)過程，首先采用最小冗余最大相關性方法選擇每個故障最相關的過程變量，再為每個故障建立屬于自己的SAE模型，最后利用每個SAE模型得到高階特征和殘差構造新的輸入矩陣，使用輸入矩陣和標簽信息訓練故障分類器。MMFF-FD的平均故障診斷率為88.04%，有效提高了特征提取的魯棒性。為實現(xiàn)多變量制造過程的故障檢測與診斷，Zhang 等[67]設計了1-DCNN 與SDAE 混合的深度學習方法，首先通過多次卷積運算得到一維處理信號的特征抽象，在全連通層之后嵌入SDAE進一步構造深度網絡，對復雜過程信號降噪并從中提取判別特征，1-DCNN+SDAE的識別效果明顯優(yōu)于其他的深度網絡模型，對TEP的平均診斷準確率為99.84%。因此，基于堆疊自動編碼器的工業(yè)過程故障診斷有著其獨特的特征提取優(yōu)勢。如圖7給出了堆疊自動編碼器在CPIFD的基本流程圖。

圖7 基于堆疊自動編碼器在CPIFD的基本流程圖Fig.7 Basic flow chart of CPIFD based on stacked autoencoders

2.4 長短期記憶網絡及其在CPIFD的應用

2.4.1 長短期記憶網絡基本理論

遞歸神經網絡（recurrent neural network，RNN）通過鏈式網絡結構傳遞歷史信息。當RNN的當前神經元處理輸入信息時，既考慮了輸入信息，又考慮了神經元上一時刻的信息，因此RNN 具有處理時間序列的優(yōu)勢[68]。然而，當時間序列不斷累計并達到一定長度是，由于梯度消失的出現(xiàn)，RNN 不能很好地學習歷史信息。為了克服RNN的缺點，Hochreiter和Schmidhuber[69]提出了長短期記憶網絡（LSTM），該網絡在長時間跨度內能夠維持數(shù)據(jù)梯度不彌散的情況。LSTM 最近在序列建模的各個領域都卓有成效，包括但不限于語音識別和機器翻譯。通過多層LSTM層疊加，得到與普通RNN相似的整體網絡。LSTM 的基本結構如圖8 所示。然而，網絡單元的結構差異很大，在LSTM 層中關鍵的單元包括：輸入門it、遺忘門ft、輸出門ot和內部記憶單元ct。且每個邏輯門都擁有各自的參數(shù)(U,W,b)，從而在相應的位置對信息進行篩選，增強有用信息的權重，有效地濾除冗余信息[70]。

圖8 LSTM的基本結構Fig.8 Basic structure of LSTM

（1）遺忘門ft：根據(jù)當前輸入xt和上一時刻隱藏層輸出ht?1計算信息量，在最終的決策中起到重要作用。其表達公式如下：

其中Tanh(?)表示雙曲正切激活函數(shù)。與ft的作用類似，it的值決定了對c′t的保留程度。

（3）內部記憶單元ct：計算當前輸入xt和過去記憶信息的總量，實現(xiàn)ct?1到ct的狀態(tài)更新。其表達公式如下：

2.4.2 長短期記憶網絡在CPIFD的應用

由于LSTM神經網絡通過門控單元來解決RNN的長期依賴問題，因此非常適用于工業(yè)過程中與時間具有強相關性的變量數(shù)據(jù)。2018 年，Zhao 等[71]提出基于LSTM 網絡端到端的順序故障診斷方法（BN-LSTM），以解決大多數(shù)傳統(tǒng)故障診斷技術無法從原始數(shù)據(jù)中自適應學習動態(tài)信息的問題。文章采用批量歸一化方法減小LSTM 內的協(xié)變量偏差，提高了LSTM 的收斂速度。實驗結果表明，BN-LSTM 在故障診斷性能上優(yōu)于DPCA-SVM、DLDA-SVM 以及MLP 方法。Park 等[72]為了檢測和診斷工業(yè)過程罕見的故障，提出了CLSTM-AE的集成學習方法，旨在檢測與診斷工業(yè)過程中的罕見故障。該方法采用具有降維能力和非線性表示的自動編碼器對罕見的故障進行檢測，采用具有學習時間序列能力的LSTM對故障進行分類。與DCNN方法相比，所提方法精度提高了16.9%。Shao等[73]提出基于LSTM-CNN的多通道故障診斷模型（MCLSTM-CNN）。該模型將故障數(shù)據(jù)輸入到LSTM得到隱含層的輸出，再利用多個并行卷積層同時提取隱含層的輸出特征。研究表明，將MCLSTM-CNN 應用于TEP 化工過程的故障診斷準確率高達92.06%。針對單一網絡結構性能的限制和簡單的堆疊串聯(lián)網絡結構不能充分集成多方面變量信息進行故障診斷的問題，Wang 等[74]設計了LSTM-CNN 并行結構提取特征方法，然后利用MLP對特征進行融合、壓縮提取。該方法兼具對過程變量時間和空間特征的提取，從而提高了模型的診斷性能。Yuan等[75]提出基于多尺度CNN-LSTM特征學習的工業(yè)過程監(jiān)控與故障診斷方案，該方法首先利用離散小波變換將原始工業(yè)數(shù)據(jù)進行多尺度表示，利用多尺度卷積神經網絡提取各尺度的特征，然后通過LSTM 融合提取的多尺度特征，進一步減少無用信息，保留有用信息，實現(xiàn)以層次的方式從多個尺度自動提取高維工業(yè)故障特征。與傳統(tǒng)的方法和其他深度學習模型相比，基于LSTM的CPIFD在處理與時間強相關的過程變量方面有著其獨特的優(yōu)勢。

以上所有研究在CPIFD 中的應用的詳細對比見表2（由于篇幅有限，若網絡的診斷對象有TEP和其他驗證例子，表格僅以TEP為代表說明網絡的有效性）。

表2 深度學習在CPIFD應用中的對比Table 2 Comparison of deep learning in CPIFD applications

2.5 新興深度學習網絡模型在CPIFD中的應用

2.5.1 遷移學習

遷移學習打破了傳統(tǒng)機器學習方法中訓練集和測試集服從同分布的假設，實現(xiàn)在不同但又相關的領域中挖掘域不變特征，解決目標域樣本不足的學習問題。遷移學習的域D表示學習的主體，由數(shù)據(jù)特征空間X和邊際概率分布P(x) 組成，其中x∈X。域分為源域Ds={Xs,P(xs)}和目標域Dt={Xt,P(xt)}，其中源域代表已有知識的域，目標域代表需要學習的域。當源域和目標域不同時，則它們的數(shù)據(jù)特征或邊際概率分布不同，即Xs≠Xt或P(xs)≠P(xt) 。任務T={Y,f(x)} 是學習的目標，由標簽空間Y和預測函數(shù)f(x)組成。遷移學習被定義為[76]：給定源域Ds和學習任務Ts、目標域Dt和學習任務Tt，遷移學習的目標就是獲得源域Ds和學習任務Ts中的知識以幫助提升目標域Dt中預測函數(shù)ft(x)的學習，其中Ds≠Dt或者Ts≠Tt。 遷移學習過程如圖9 所示。根據(jù)現(xiàn)有的基于遷移學習的CPIFD 文獻，遷移學習可分為基于特征的遷移學習、基于模型的遷移學習和對抗式遷移學習3 種方法。每一種遷移方法分別對應于知識的哪一部分被視為知識遷移的載體。具體來說，基于特征的遷移學習所遷移的知識對應于源域和目標域中特征所共享的子空間，即跨域的遷移知識可以被認為是學習到的特征表示；基于模型的遷移學習遷移的知識嵌入源域模型的一部分中，且所遷移的知識指的是模型參數(shù)內含的域不變結構；對抗式遷移學習可以使用無監(jiān)督的生成模型來減少對有標簽數(shù)據(jù)的依賴，并學習域不變特征。2020年，Wu等[77]提出了基于遷移學習的多模態(tài)化工過程故障檢測與診斷的方法，該方法利用基于模型的遷移學習解決了源域和目標域都有標簽的故障數(shù)據(jù)問題，利用基于特征的遷移學習解決了源域數(shù)據(jù)有標簽，而目標域故障數(shù)據(jù)沒有標簽的故障診斷問題。Wang等[78]設計了基于線性判別分析的深度遷移學習算法用于化工過程故障分類，該算法利用線性判別分析，設計基于加權最大平均差異的損失函數(shù)來提取相似的潛在特征，減少了源數(shù)據(jù)和目標數(shù)據(jù)分布的差異。Wang等[79]提出了一種新的雙層卷積遷移學習神經網絡，該方法引入微調和領域自適應策略來訓練網絡，解決域不變性。且在實際聚乙烯工藝聚合故障診斷中驗證了方法的有效性。為促進領域適應適應，Xiao等[80]提出新的自適應流行判別分布對齊方法，使得同類故障在不同域之間差異最小化，不同故障類之間的差異最大化，所提方法在TEP化工過程中得到了驗證。Li等[81]針對深度學習在過程故障診斷中存在著缺乏足夠的故障樣本問題，提出了采樣生成模型GAN（generative adversarial network）來提供模擬故障數(shù)據(jù)，并引入遷移學習來減少模擬與物理領域之間的不匹配，即該方法采用對抗式遷移學習對連續(xù)攪拌釜式反應器和制漿廠進行了過程故障診斷。

圖9 遷移學習過程Fig.9 Transfer learning process

遷移學習的價值和必要性體現(xiàn)在可以解決淺層機器學習和經典的深度學習模型存在的痛點：（1）遷移所學知識，已有的大量工作不至于完全丟失；（2）無需花費巨額代價重新采集和標注大量新的數(shù)據(jù)集，甚至是根本無法獲取的數(shù)據(jù)；（3）對于新領域的數(shù)據(jù)，能夠快速遷移和應用，體現(xiàn)故障診斷的時效性。但是，在某些情況下，源域和目標域彼此不相關時，強制遷移可能會有損目標域的學習性能，即出現(xiàn)負遷移的情況，如何避免CPIFD出現(xiàn)負遷移是今后研究的開放性問題。

2.5.2 注意力機制

注意力機制通過建立輸入和輸出之間的依賴關系，可以解釋深度學習模型的特征提取過程，從而提高數(shù)據(jù)驅動方法的可靠性和有效性。此外，注意力機制根據(jù)任務的不同，對模型關注的部分分配不同的權值，實現(xiàn)自動地增強關鍵故障信息，從而優(yōu)化模型做出更佳的判斷。注意力機制通常分為軟注意力機制和硬注意力機制，其中硬注意力機制是指選擇輸入信息某一位置上的特征，有著不可微的性質；而軟注意機制選擇的信息是所有輸入信息的加權平均，其有著處處可微的性質，即可通過反向傳播算法來學習得到注意力的權重，因此有著更加廣泛的應用[82]。目前國內外基于注意力機制的故障診斷研究主要集中在滾動軸承、齒輪箱等單變量機械領域[83-84]，但在化工過程中的應用卻為數(shù)不多。2021年，Mu 等[85]利用時間注意力機制來增強LSTM 隱藏狀態(tài)特征的可解釋性，關注局部時間信息，使得TEP 在故障分類任務中獲得了高準確率。Li 等[86]提出設計了基于一維卷積和自注意力機制的非線性過程檢測方法，自適應提取全局和局部變量間結構的特征，并在TEP的故障檢測與分類中驗證了方法的可行性。Bi 等[87]提出正交自注意力變分自編碼器模型并將其用于TEP 的過程故障監(jiān)控，該方法采用自注意力機制，綜合考慮化工過程所有時間步驟的信息不僅提高了故障檢測性能，還提供了可解釋的結果。劉興等[88]提出基于注意力卷積門控循環(huán)自編碼器網絡的過程故障檢測網絡，利用注意力機制有效選擇了多變量的化工數(shù)據(jù)的重要特征，實現(xiàn)良好的故障檢測效果。

將注意力機制與深度學習模型結合也會帶來一定的挑戰(zhàn)：（1）選擇注意力機制的種類；（2）加入注意力機制的順序位置；（3）在保證故障診斷時效性和準確性的同時，盡可能的降低模型的復雜度。

2.5.3 圖卷積網絡

圖卷積網絡（graph convolution network，GCN）是處理圖域或非歐幾里得空間數(shù)據(jù)的深度學習模型，可分為基于頻譜的圖卷積網絡和基于空間的圖卷積網絡[89]。基于頻譜的圖卷積網絡利用圖譜濾波器對圖節(jié)點的輸入信息進行平滑處理，在頻譜圖中進行卷積操作，從而實現(xiàn)圖數(shù)據(jù)的特征提?。欢诳臻g的圖卷積網絡是直接在圖上定義卷積操作，并從鄰域聚合節(jié)點信息，形成節(jié)點的高級特征表示。雖然基于經典深度神經網絡的方法可以有效的捕捉常規(guī)數(shù)據(jù)（如圖像和時間序列）的隱藏特征，但是大多數(shù)方法忽略了數(shù)據(jù)之間的相互依賴關系或多個傳感器的各種物理測量的相互作用。由于圖卷積網絡能夠對數(shù)據(jù)之間的相互依賴進行建模，并能夠通過建模圖的邊傳播節(jié)點信息，學習重要的節(jié)點或圖的表示，其中建模圖的邊恰恰反映了樣本或多傳感器之間的關系。因此，圖卷積網絡廣泛應用在推薦系統(tǒng)、軸承機械故障診斷、交通預測等領域[90]。然而，圖神經網絡在化學過程中的應用目前鮮有報道。2021年，Wu 等[91]設計了過程拓撲卷積網絡模型應用于化工過程故障診斷，該模型利用過程拓撲信息，將過程轉化為圖形，進而利用圖卷積神經網絡學習多元變量之間的確切關系，提高了故障診斷的準確率，此外，相比于其他數(shù)據(jù)驅動的故障診斷模型，特征提取更加合理和易于理解。

如圖10 展現(xiàn)了基于經典深度學習模型和基于圖卷積神經網絡方法的故障診斷流程框架。圖卷積網絡相對于經典的卷積神經網絡而言，存在著一些不足：對于化學工業(yè)過程或系統(tǒng)而言，通常采用多個傳感器采集多源物理量的信號。因此，在構造圖時需要具備較強的先驗知識，因為圖中所包含的先驗知識會影響最終的診斷結果。如何將先驗知識更好地融合到圖形構造過程中是化學流程工業(yè)故障診斷未來的研究方向。表3 展現(xiàn)了經典深度學習模型與新興網絡模型的優(yōu)劣對比。

表3 不同深度學習模型在CPIFD應用的對比Table 3 Comparison of different deep learning models in CPIFD application

圖10 經典深度學習模型和GCN診斷流程的對比Fig.10 Comparison of classical deep learning model and GCN in diagnostic processes

3 深度學習在CPIFD中待解決的問題與展望

在本部分討論一些關鍵的問題和有價值的研究方向，并特別關注其挑戰(zhàn)和潛在的機遇。

3.1 數(shù)據(jù)質量問題

高質量的數(shù)據(jù)是深度學習在CPIFD 應用高性能的保證。然而，目前的故障數(shù)據(jù)存在4個主要問題：

（1）數(shù)據(jù)標注的人工成本高。到目前為止，大多數(shù)的診斷方法都是基于監(jiān)督學習，嚴重依賴人工標注。如果故障數(shù)據(jù)量大，則需要專業(yè)技術人員花費大量的時間貼標簽。

（2）類不平衡。在實際生產過程中故障的發(fā)生是一種低概率的事件，因此在保持采樣平衡的情況下，很難得到故障數(shù)據(jù)，也就意味著在數(shù)據(jù)不足的類別上表現(xiàn)不佳甚至很難為深度學習方法提供足夠的數(shù)據(jù)。

（3）多模態(tài)數(shù)據(jù)。在本文中，只關注在CPIFD 中應用廣泛的數(shù)據(jù)。還有一些其他的來源數(shù)據(jù)，如熱圖像，激光掃描儀數(shù)據(jù)和文本等。如何有效地利用這些多模態(tài)數(shù)據(jù)來完成CPIFD是一個具有挑戰(zhàn)的問題。

（4）仿真數(shù)據(jù)的非真實性。雖然故障數(shù)據(jù)可以從仿真平臺模擬獲得，但是仿真平臺很難模擬出真實的環(huán)境條件（如溫濕度，噪音等），因此故障數(shù)據(jù)并非都是真實的。

為了為上述挑戰(zhàn)提供現(xiàn)在的解決方案，提出了以下研究方向：

（1）弱監(jiān)督學習的故障診斷。弱監(jiān)督學習包括半監(jiān)督學習和無監(jiān)督學習，利用少量標記甚至是無標記數(shù)據(jù)達到學習的目的，因此其在弱化人類對數(shù)據(jù)標簽的參與方面起著至關重要的作用。目前為止，從綜述的文獻來看，將弱監(jiān)督學習應用在CPIFD的研究并不多見。還要許多弱監(jiān)督學習的方法，如流行K近鄰半監(jiān)督學習、Few-shot學習等，值得在CPIFD中嘗試。

（2）數(shù)據(jù)自動生成。為了解決類不平衡和仿真數(shù)據(jù)的非真實性問題，數(shù)據(jù)生成是一種很有前途的方法。生成式對抗網絡（GAN）可作為數(shù)據(jù)生成器合成具有時間序列特性的過程故障數(shù)據(jù)。有研究表明在數(shù)據(jù)缺失、少樣本等的情況下，由于SMOTE 數(shù)據(jù)過采樣的方法有分布邊緣化的問題，生成的故障樣本與原始樣本具有很強的線性關系，而GAN 方法有較好的泛化性能[92]。因此使用GAN方法為解決CPIFD故障數(shù)據(jù)稀缺的問題留下了很好的發(fā)展空間。在未來的研究中，我們在關注如何獲得更多數(shù)量故障樣本的同時，更需考慮如何獲得更高質量的樣本，為生成的樣本建立相對可靠、客觀的評價指標體系對提高CPIFD的性能具有重要意義。

（3）多模態(tài)數(shù)據(jù)決策。利用多模態(tài)數(shù)據(jù)（圖像、數(shù)據(jù)、文本）描述故障的變化過程，增強決策的可信度，做到決策的一致性。融合圖像處理、信號處理等技術，構建化工過程知識圖譜，更好地實現(xiàn)故障的早期檢測與維修。

3.2 嵌入式應用

高性能計算、降低數(shù)據(jù)成本、實現(xiàn)高效檢測的需求日益增長是現(xiàn)場完成故障診斷的必要條件。如何在計算時間短、內存占用小的情況下，提高故障數(shù)據(jù)的分析診斷效率是實際工程中的重要方向。從數(shù)據(jù)預處理的角度來看，對多變量的工業(yè)過程數(shù)據(jù)進行變量篩選、減少冗余變量是有效途徑。從網絡架構設計方面來說，網絡量化、網絡分解、輕量級網絡的設計是值得研究的點。從分類器選擇方面來分析，有研究表明針對特征信息選擇合適的分類器可以提高深度學習網絡的分類性能[52]。

3.3 評價基準

評價基準是指標準數(shù)據(jù)集和評價指標。目前，在化工過程故障檢測與診斷領域常用的數(shù)據(jù)集是田納西-伊士曼數(shù)據(jù)集，可從http：//depts.washington.edu/control/LARRY/TE/download 下載。現(xiàn)有的化工公開數(shù)據(jù)集還不足以構建全面的標準數(shù)據(jù)集來評價分析系統(tǒng)的性能，最新研究成果應用尚處于偏離實際的情況，這離不開工業(yè)數(shù)據(jù)保密性高的現(xiàn)狀。但是當工業(yè)數(shù)據(jù)研究開放時，期待深度學習在CPIFD 的實際應用逐漸欣欣向榮。在CPIFD 研究中使用的評價指標是多種多樣的，如準確率、真陽率、假陽率、誤報率等，即使在相同的評價指標中，定義有可能不同，尤其是準確率。一個標準的評價基準可以促進CPIFD的研究和應用。

3.4 故障預測

微小故障是過程變量偏離其正常狀態(tài)程度小的故障。若不對微小故障進行處理，則會對整個系統(tǒng)的運行帶來安全隱患。當微小故障還沒有表現(xiàn)征兆時，就利用深度學習方法對監(jiān)控的數(shù)據(jù)進行深入挖掘分析，提前預測生產過程中即將發(fā)生的故障種類或者時間，進行壽命預測和容錯控制，是未來值得關注的研究方向。

4 總結

化學流程工業(yè)故障診斷技術是提高生產過程可靠性與安全性的重要手段。在復雜的、大規(guī)模的和智能化的現(xiàn)代化學流程工業(yè)過程中，如何對智能制造的故障進行有效的預測、檢測和診斷，對實現(xiàn)安全的和高質量的生產具有十分重要的意義。近年來，通過建立深層神經網絡模擬人腦有效處理信息的機制，深度學習擁有學習和分析輸入數(shù)據(jù)的能力，逐漸成為大數(shù)據(jù)處理的熱門工具。利用深度學習進行智能化學流程工業(yè)故障診斷得到越來越多研究者的青睞。據(jù)此，本文做出了如下貢獻：

（1）比較和分析了化學流程工業(yè)故障診斷相關的綜述。

（2）介紹了4 種深度學習模型的發(fā)展和基本理論，旨在幫助讀者在理解深度學習模型的工作機制基礎上，更好地掌握基于深度學習的化學流程工業(yè)故障診斷。

（3）重點闡述了4 種經典的深度學習模型和3 種新興的深度學習模型在化學流程工業(yè)過程故障診斷中的應用。

（4）探討了深度學習在工業(yè)過程故障診斷中擬解決的問題與未來的發(fā)展方向。

與基于傳統(tǒng)的工業(yè)過程故障診斷算法相比，深度學習模型在CPIFD的表現(xiàn)更好，可以提取過程數(shù)據(jù)更深層次的特征信息，具有更高的識別精度和更好的性能。因此，深度學習在未來的智能流程工業(yè)故障診斷中具有廣闊的應用前景和很大的研究價值。