基于卷積神經(jīng)網(wǎng)絡(luò)的大壩安全監(jiān)測數(shù)據(jù)異常識別

王麗蓉，鄭東健

（1.河海大學(xué) 水利水電學(xué)院，南京 210098；2.河海大學(xué) 水資源高效利用與工程安全國家工程研究中心，南京 210098；3.河海大學(xué) 水文水資源與水利工程科學(xué)國家重點實驗室，南京 210098）

1 研究背景

為保證大壩安全，防止工程災(zāi)害發(fā)生，有必要做好大壩安全監(jiān)測及評價工作。監(jiān)測系統(tǒng)故障造成的測量誤差及結(jié)構(gòu)安全狀態(tài)的變化使監(jiān)測數(shù)據(jù)表現(xiàn)出多種異常模式，準確識別異常值為判斷異常原因及分析大壩運行狀態(tài)奠定基礎(chǔ)。傳統(tǒng)異常值識別方法有數(shù)學(xué)統(tǒng)計法、數(shù)學(xué)模型法等。常用的數(shù)學(xué)統(tǒng)計法如格拉布斯判別法忽略了監(jiān)測數(shù)據(jù)隨時間變化的特性，只能判斷監(jiān)測數(shù)據(jù)中的最小、最大值是否異常［1］；回歸模型法考慮了監(jiān)測數(shù)據(jù)與溫度、水位及大壩運行年限的關(guān)系［2］，但是計算分析過程比較復(fù)雜。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種由多個處理層疊加而成的深度神經(jīng)網(wǎng)絡(luò)，具有自主抓取數(shù)據(jù)特征的特點和優(yōu)秀的分類能力，適合二維數(shù)據(jù)處理（如圖像識別），也能夠解決可以轉(zhuǎn)化為二維數(shù)據(jù)且具有較強局部相關(guān)性的問題［3］?；贑NN的結(jié)構(gòu)健康監(jiān)測研究主要集中在損傷識別［4］和裂紋檢測兩方面［5］，另外CNN還廣泛應(yīng)用于各個領(lǐng)域的圖像分類問題，如作物品種識別［6］、艦船目標識別［7］、斷層識別［8］。

利用CNN進行數(shù)據(jù)異常識別，可以解決非最值異常點難以辨別的問題，并減輕數(shù)據(jù)處理壓力。運行期大壩安全監(jiān)測得到的監(jiān)測數(shù)據(jù)往往是隨時間周期性變化的序列，使得同一監(jiān)測點在不同時間段形成的監(jiān)測數(shù)據(jù)-時間過程線存在一定相似性，而異常數(shù)據(jù)則表現(xiàn)出顯著差異。由原始監(jiān)測數(shù)據(jù)繪制監(jiān)測數(shù)據(jù)過程線，然后將過程線以圖像形式輸入CNN，利用CNN自主提取圖像特征，并根據(jù)是否存在異常和異常種類將其分為6種類型；進一步對CNN進行改進，在分類完成后繼續(xù)搜索異常位置。在監(jiān)測過程中監(jiān)測數(shù)據(jù)實時轉(zhuǎn)化為過程線，利用CNN定時檢測新增數(shù)據(jù)是否異常，可以實現(xiàn)自動、及時預(yù)警，讓現(xiàn)場工作人員及時了解大壩安全狀況。

2 方法原理

本文基于CNN提出一種監(jiān)測數(shù)據(jù)異常識別模型，以單個及多個突跳點、震蕩段、臺階、臺坎為監(jiān)測數(shù)據(jù)異常模式，以原始監(jiān)測數(shù)據(jù)繪制的過程線圖像為輸入數(shù)據(jù)，提取圖像特征，同時識別異常類型和異常位置。CNN用于過程線圖像分類，將其分為無異常過程線、1個突跳點過程線、3個突跳點過程線、震蕩段過程線、臺階過程線、臺坎過程線6種類別；若存在異常，則調(diào)用原始輸入數(shù)據(jù)搜索異常位置，模型的識別過程見圖1。由于異常監(jiān)測數(shù)據(jù)不足，本文采用MatLab模擬生成的過程線圖像作為試驗數(shù)據(jù)。

圖1 CNN模型數(shù)據(jù)異常識別過程Fig.1 Process of identifying anomalies of data by CNN

所提方法的實現(xiàn)步驟為：①采用MatLab模擬生成訓(xùn)練、測試數(shù)據(jù)；②利用訓(xùn)練數(shù)據(jù)訓(xùn)練CNN模型；③利用測試數(shù)據(jù)檢驗CNN模型的分類性能。步驟②和步驟③均采用圖1所示識別過程，區(qū)別在于試驗數(shù)據(jù)不同，且步驟②不斷調(diào)整CNN網(wǎng)絡(luò)參數(shù)。

2.1 CNN圖像分類

將數(shù)據(jù)異常識別問題轉(zhuǎn)化為圖像分類問題，使用CNN作為特征提取器和分類器對監(jiān)測數(shù)據(jù)過程線圖像進行分類，將屬于同一監(jiān)測點的監(jiān)測數(shù)據(jù)按相同時間長度劃分為若干段，并分別生成監(jiān)測數(shù)據(jù)過程線，若過程線存在突跳點、震蕩段、臺階、臺坎則認為數(shù)據(jù)異常。設(shè)置過程線圖像類別如下：

（1）第1類：有1個突跳點（1個突跳點過程線）。

（2）第2類：無異常點（無異常過程線）。

（3）第3類：有1個震蕩段（震蕩段過程線）。

（4）第4類：存在臺階（臺階過程線）。

（5）第5類：有3個突跳點（3個突跳點過程線）。

（6）第6類：存在臺坎（臺坎過程線）。

CNN模型的輸入數(shù)據(jù)為監(jiān)測數(shù)據(jù)過程線圖像；輸出數(shù)據(jù)為圖像編號、圖像類別及異常位置。

2.1.1 Momentum權(quán)值調(diào)整

采用反向傳播算法mini batch方案訓(xùn)練CNN，每10個數(shù)據(jù)為一組（batch size＝10），采用Momentum方法調(diào)整網(wǎng)絡(luò)參數(shù)。這意味著訓(xùn)練CNN時每輸入10個數(shù)據(jù)，層間權(quán)值及卷積核就從輸出層到輸入層反方向地更新一次。以層間權(quán)值為例，采用Momentum方法的優(yōu)點是使權(quán)值調(diào)整有方向性，提高訓(xùn)練的穩(wěn)定性和訓(xùn)練速度。式（1）是Momentum方法的實現(xiàn)過程，可見每次的權(quán)值更新都包含之前的更新量，使得之前的更新量總是對新的權(quán)值調(diào)整產(chǎn)生影響，保證了權(quán)值調(diào)整的方向性，由于β＜1，這種影響隨步驟推移而減弱［9］。

式中：Δw為權(quán)值改變量；α為學(xué)習(xí)率；δ＝φ′(v)e，φ′為當前節(jié)點激勵函數(shù)的導(dǎo)數(shù)，v為當前節(jié)點輸出的加權(quán)和，e為當前節(jié)點的誤差；x若在中間層，為上一神經(jīng)元節(jié)點輸出，若在輸入層，為神經(jīng)網(wǎng)絡(luò)輸入；β為動量參數(shù)；m-為上一步的Momentum（動量）；m為Momentum；w為權(quán)值。

2.1.2 ReLU與softmax激勵函數(shù)

激勵函數(shù)是神經(jīng)網(wǎng)絡(luò)的重要組成部分，它將網(wǎng)絡(luò)從線性映射轉(zhuǎn)化為非線性映射，從而提高神經(jīng)網(wǎng)絡(luò)的表達能力［3］。sigmoid函數(shù)見式（2），圖像見圖2（a）。

sigmoid函數(shù)導(dǎo)數(shù)易于計算且輸出在0～1之間，被廣泛用作激勵函數(shù)，但當其輸出接近0或1時，梯度總是接近0，即“梯度消失”，導(dǎo)致權(quán)值更新無法從輸出端向輸入端傳遞，使深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練停滯。為克服sigmoid函數(shù)的缺點，CNN隱藏層采用ReLU激勵函數(shù)，見式（3），圖像見圖2（b），當輸入為負時輸出0，輸入為正時輸出原數(shù)。在函數(shù)右側(cè)梯度不會消失，這一優(yōu)點使神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度高于使用sigmoid函數(shù)［10］，且ReLU函數(shù)形式簡單，降低了計算負荷。

圖2 激勵函數(shù)Fig.2 Activation functions

本文利用CNN解決六元分類問題，分類器應(yīng)存在6個輸出節(jié)點，輸出層采用softmax激勵函數(shù)，見式（4）。

式中v（i）（i＝1、2、3、4、5、6）表示第i個輸出節(jié)點的加權(quán)和。softmax函數(shù)將加權(quán)和轉(zhuǎn)化為輸出向量，向量元素y（i）表示圖像為第i類的概率，0≤y（i）≤1，且例如輸出向量為（0.02，0.80，0.08，0.02，0.03，0.05）T，說明CNN認為圖像為第1—第6類的概率分別是0.02、0.80、0.08、0.02、0.03、0.05，因此CNN最終輸出圖像類別為第2類。由于存在6類圖像，同時將圖像標簽轉(zhuǎn)化為包含6個元素的標簽向量，各元素值d（i）表示圖像為第i類的概率，元素d（i）等于0或1，且如第2類圖像的標簽向量為（0，1，0，0，0，0）T。本文使用的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)都包含圖像標簽，統(tǒng)計CNN輸出類別與標簽一致的圖像占所有圖像的百分比，可以檢驗CNN的分類性能。

2.1.3 交叉熵函數(shù)

損失函數(shù)是對神經(jīng)網(wǎng)絡(luò)誤差的度量方式，以式（5）表示的交叉熵函數(shù)作為損失函數(shù)，由2.1.2節(jié)知d等于0或1，則表達式轉(zhuǎn)化為式（6）。

式中：d為標簽向量的元素；y為輸出向量的元素；E為交叉熵函數(shù)計算值。

函數(shù)圖像見圖3，可見當y與d足夠接近時函數(shù)輸出趨近于0，而y與d的差異增大時，函數(shù)輸出以幾何增量增長，說明交叉熵函數(shù)對誤差敏感，因此由交叉熵函數(shù)導(dǎo)出的學(xué)習(xí)規(guī)則通常能獲得好的性能。

圖3 交叉熵函數(shù)Fig.3 Cross entropy function

2.2 數(shù)據(jù)異常位置搜索

為了識別異常點所在位置，對CNN進行改進，增加異常位置搜索功能，搜索結(jié)果是用區(qū)間表示的異常位置范圍。圖4為搜索過程，每張圖像（28像素×28像素）完成分類后，再調(diào)用原始輸入數(shù)據(jù)進入異常搜索區(qū)塊，為了盡量縮小異常位置范圍，選擇搜索步長為1像素。搜索塊高度為28像素，寬度根據(jù)各類圖像異常區(qū)域占圖像面積大小選擇，如圖4，第1、第4、第5類圖像的搜索塊采用1像素寬度，而第3、第6類圖像的搜索塊采用4像素寬度。

圖4 數(shù)據(jù)異常位置搜索過程Fig.4 Process of searching for the positions of anomalies

若分類結(jié)果為第1、第3、第4類圖像，搜索塊以1像素步長從左至右計算搜索塊覆蓋范圍的圖像像素強度平均值，遍歷圖像一次；若為第2類，輸出異常位置為“0”，表示無異常；若為第5類，搜索塊同上述操作遍歷圖像3次，以便搜索到3個突跳點；若為第6類，遍歷圖像2次，以便搜索到臺坎左右兩端。

待識別圖像中過程線是白色而背景是黑色，使得圖像過程線區(qū)域的像素強度很大（200左右），而背景區(qū)域的像素強度為0，因此像素強度平均值最大的區(qū)域為數(shù)據(jù)異常段。

每對一張圖像完成分類，就識別此圖像的異常位置，用區(qū)間（m，n）表示圖像異常位置范圍，第5類圖像的異常位置包含3個區(qū)間，分別表示3個突跳點，其余5類分別包含1個區(qū)間；m、n分別表示異常范圍的左、右像素坐標，且m、n均為整數(shù)，具體取值見表1。在實際應(yīng)用中，CNN得到的異常區(qū)間（m，n）可以根據(jù)橫坐標數(shù)值轉(zhuǎn)化為具體時間段。

表1 m、n取值Table 1 Values of m and n

3 CNN模型構(gòu)建

3.1 圖像生成

鑒于運行期大壩的安全監(jiān)測數(shù)據(jù)過程線通常具有周期性，以正弦函數(shù)為基礎(chǔ)用MatLab軟件模擬生成6類28像素×28像素圖像及每張圖像對應(yīng)的類別標簽，分別為：存在一個突跳點的正弦圖像（突跳點過程線，第1類）、無異常的正弦圖像（無異常過程線，第2類）、存在1個震蕩段的正弦圖像（震蕩段過程線，第3類）、存在臺階的正弦圖像（臺階過程線，第4類）、存在3個突跳點的正弦圖像（3個突跳點過程線，第5類）、存在臺坎的正弦圖像（臺坎過程線，第6類）。以65 000張圖像組成訓(xùn)練數(shù)據(jù)集，6 500張圖像組成測試數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集都混合了6類過程線圖像，且6類的數(shù)量比為第1類∶第2類∶第3類∶第4類∶第5類∶第6類＝1∶1.5∶1∶1∶1∶1。

隨機選取繪圖參數(shù)，生成形態(tài)各不相同的大量過程線圖像。圖5為部分示例。曲線存在凹狀和凸狀，異常段的最值不一定是整條曲線的最值，如圖5（a）左側(cè)2張圖像的突跳點既不是最大值也不是最小值，而圖5（a）右側(cè)2張圖像的突跳點分別為最大值、最小值，控制圖像生成過程使第1、第3、第5類圖像中“異常段包含最值”的概率為50%；異常點隨機出現(xiàn)在整條曲線的任何位置，且生成圖像的數(shù)量足夠多，充分完整地模擬異常數(shù)據(jù)及出現(xiàn)時間的多種可能性。

圖5 模擬過程線圖像Fig.5 Images that simulate process lines

3.2 模型結(jié)構(gòu)

構(gòu)建的CNN模型包含分類區(qū)塊和異常搜索區(qū)塊，結(jié)構(gòu)如圖6所示，其中分類區(qū)塊即為常規(guī)CNN，由一個特征提取器和一個分類器組成；搜索區(qū)塊已在2.2節(jié)中詳細介紹。CNN模型的輸入數(shù)據(jù)為監(jiān)測數(shù)據(jù)過程線圖像；輸出數(shù)據(jù)為圖像編號、圖像類別及異常位置。

圖6 CNN模型結(jié)構(gòu)Fig.6 Structure of CNN model

數(shù)據(jù)異常識別過程如下：監(jiān)測數(shù)據(jù)過程線圖像進入特征提取器，輸入卷積層，通過卷積運算提取圖像特征，一個圖像輸入卷積層后輸出多個攜帶不同特征的圖像；隨后經(jīng)ReLU激勵函數(shù)進入池化層，將相鄰像素合并為單個像素，以降低數(shù)據(jù)維數(shù)和運算負荷，并防止發(fā)生過擬合；池化后的二維圖像經(jīng)過向量化輸入分類器，通過隱藏層再經(jīng)ReLU激勵函數(shù)進入softmax層進行分類；最后由異常搜索區(qū)塊搜索異常位置。圖像編號、圖像類別和異常位置儲存在同一向量中輸出神經(jīng)網(wǎng)絡(luò)。

由于輸入28像素×28像素的灰度圖像，允許784（28×28）個輸入神經(jīng)元節(jié)點。卷積層包含20個9×9維的卷積濾波器，池化層使用1個2×2維的平均池化器，隱藏層由100個神經(jīng)元節(jié)點組成；由于圖像存在6個類別，構(gòu)造有6個神經(jīng)元節(jié)點的softmax層，即2.1.2節(jié)中分類器的6個輸出節(jié)點。模型結(jié)構(gòu)的參數(shù)見表2。

表2 CNN模型參數(shù)Table 2 Parameters of CNN model

4 實驗結(jié)果

編程軟件為MatLab，卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方案采用mini batch，batch size設(shè)為10，學(xué)習(xí)率設(shè)為0.001，動量參數(shù)設(shè)為0.009 5，激勵函數(shù)采用ReLU和softmax函數(shù)，損失函數(shù)為交叉熵函數(shù)。CNN模型遍歷全部（65 000個）訓(xùn)練數(shù)據(jù)一遍稱為訓(xùn)練1代，運行程序4次，分別為訓(xùn)練2代、3代、5代、6代。每次運行程序，在訓(xùn)練完成后都識別同樣的6 500個測試數(shù)據(jù)作為CNN分類準確率測試方法，得到總體分類準確率及各類圖像分類準確率，見表3?？梢娺\行次數(shù)1、1個突跳點過程線識別錯誤數(shù)量為191，表明第1次運行程序訓(xùn)練2代時，1 000張1個突跳點過程線測試圖像中有191張沒有被CNN識別為1個突跳點異常。

由表3可知：

（1）隨著訓(xùn)練代數(shù)增加，CNN圖像分類總體準確率提高，訓(xùn)練6代時，總體準確率達到最大值0.973 1。6種過程線的分類準確率都至少為0.93，除1個突跳點過程線外，其余5種過程線的分類準確率都在0.95以上。由于異常點不是最值的圖像占第1、第3、第5類圖像的50%，表明CNN對非最值異常點有較好的識別效果。

（2）隨著訓(xùn)練代數(shù)增加，1個突跳點過程線最終分類準確率提升的倍數(shù)（1.149 6）最高；震蕩段、3個突跳點過程線準確率略有增加；無異常過程線準確率保持在0.95以上，臺階、臺坎過程線準確率保持在1左右。

（3）每一次運行程序，1個突跳點過程線的分類準確率都低于其他5種過程線；分析認為1個突跳點過程線識別準確率相對較低的原因是突跳點在圖像中所占面積遠小于其他類別，異常特征表現(xiàn)不明顯，與無異常圖像相似度高，增加了CNN特征學(xué)習(xí)的難度。

運行程序訓(xùn)練6代，分別繪制6類待識別圖像的訓(xùn)練loss圖，見圖7。由圖7可知6類圖像的分類誤差隨訓(xùn)練進程趨近于0，表明CNN的分類能力逐漸提高；訓(xùn)練3代后，1個突跳點和無異常過程線的損失起伏點重合度高，震蕩段和3個突跳點過程線的損失基本穩(wěn)定在0附近，而臺階和臺坎過程線的損失始終接近0，說明CNN傾向于將1個突跳點過程線與無異常過程線混淆。

表3 CNN圖像分類準確率Table 3 Accuracy of image classification by CNN

圖7 訓(xùn)練loss圖Fig.7 Training loss

另外，選取了部分輸入圖像及其對應(yīng)的輸出數(shù)據(jù)制成表4，輸出數(shù)據(jù)是由圖像編號、圖像類別及異常位置組成的向量，可見CNN輸出可以定量展現(xiàn)數(shù)據(jù)異常識別結(jié)果。

表4 部分輸入輸出數(shù)據(jù)Table 4 Partial input and output data

5 結(jié) 論

本文基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）構(gòu)建了監(jiān)測數(shù)據(jù)異常識別模型，通過CNN圖像分類來識別監(jiān)測數(shù)據(jù)異常模式，并改進CNN增加搜索異常數(shù)據(jù)位置的功能；通過人工生成的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)分別訓(xùn)練和測試CNN模型，得到以下結(jié)論：

（1）隨著訓(xùn)練代數(shù)增加，CNN圖像分類準確率提高，訓(xùn)練6代時，總體分類準確率達到最大值0.973 1，6種過程線圖像的分類準確率都至少為0.93。CNN對非最值異常點有較好的識別效果。

（2）CNN模型的輸出是一個包含圖像編號、圖像類別及異常位置的向量，定量展現(xiàn)出數(shù)據(jù)異常識別結(jié)果。