基于CNN深度算法改進(jìn)及故障預(yù)測(cè)研究

陳彩虹，王 誠(chéng)

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

0 引 言

當(dāng)下社會(huì)生活中，對(duì)網(wǎng)絡(luò)需求不斷增長(zhǎng)，如果網(wǎng)絡(luò)發(fā)生故障，會(huì)產(chǎn)生或大或小的影響[1]。如何應(yīng)對(duì)網(wǎng)絡(luò)故障、有效提高業(yè)務(wù)管理效率是一個(gè)值得研究的方向。而面對(duì)日益擴(kuò)大的網(wǎng)絡(luò)及復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，如何利用好現(xiàn)有的技術(shù)設(shè)計(jì)出合理可靠且滿足需求的架構(gòu)具有極大的挑戰(zhàn)性，也有極大的研究?jī)r(jià)值。

在現(xiàn)有網(wǎng)絡(luò)系統(tǒng)中會(huì)生成諸如報(bào)警信息、詳細(xì)記錄、關(guān)鍵性能指標(biāo)的海量數(shù)據(jù)，這些都被用于網(wǎng)絡(luò)檢測(cè)研究。但是對(duì)于網(wǎng)絡(luò)系統(tǒng)中節(jié)點(diǎn)的日志信息研究還不夠，這類數(shù)據(jù)龐大，含有豐富的可挖掘信息。由于日志的半結(jié)構(gòu)化，它的處理多借助人工處理，自動(dòng)處理困難，因此，對(duì)于網(wǎng)絡(luò)管理來說，日志具有很大的潛在分析價(jià)值[2]。

針對(duì)故障預(yù)測(cè)，大多是使用傳統(tǒng)的統(tǒng)計(jì)分析、關(guān)聯(lián)分析加上人工操作的方法[3]。從方法上看，對(duì)日志的分析研究在很大程度上依賴手工提取。

隨著機(jī)器學(xué)習(xí)的發(fā)展，海量日志處理出現(xiàn)了新型的研究方法。根據(jù)不同的分析對(duì)象可分為借助故障日志信息的預(yù)測(cè)系統(tǒng)和借助狀態(tài)信息的預(yù)測(cè)系統(tǒng)[4]。文中收集網(wǎng)絡(luò)系統(tǒng)中故障發(fā)生時(shí)的日志數(shù)據(jù)，使用深度學(xué)習(xí)等方法來分析故障信息之間的隱藏關(guān)系，并利用這些聯(lián)系進(jìn)行故障的預(yù)測(cè)。這屬于前文所述的第一種方式：基于故障日志的預(yù)測(cè)。

從自然語言學(xué)習(xí)的流程入手，提出了一種利用網(wǎng)絡(luò)系統(tǒng)設(shè)備生成的日志來預(yù)測(cè)未來故障的方法。將日志看作一種文本，并從文本中提取樣本。然后再構(gòu)建卷積網(wǎng)絡(luò)模型，利用數(shù)據(jù)挖掘技術(shù)盡可能挖掘隱藏的信息，以此來預(yù)測(cè)網(wǎng)絡(luò)未來的狀態(tài)，預(yù)測(cè)網(wǎng)絡(luò)是否會(huì)發(fā)生故障。最后對(duì)設(shè)計(jì)模型進(jìn)行實(shí)驗(yàn)測(cè)試，設(shè)置不同滑動(dòng)窗口分別提取參數(shù)。此外，為了展現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的性能，將之與改進(jìn)前進(jìn)行對(duì)比，比較同樣滑動(dòng)窗口間隔下的準(zhǔn)確率、召回率等多項(xiàng)評(píng)價(jià)指標(biāo)[5]。

1 相關(guān)工作

1.1 卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)的網(wǎng)絡(luò)結(jié)構(gòu)含有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)(feedforward neural networks，F(xiàn)NN)，由卷積層、池化層、全連接層組成。神經(jīng)網(wǎng)絡(luò)中，參數(shù)過多，容易產(chǎn)生過擬合。過擬合即模型在訓(xùn)練集表達(dá)能力過強(qiáng)、在測(cè)試集表現(xiàn)極差的現(xiàn)象。CNN利用局部連接和參數(shù)共享的方法解決了參數(shù)過多帶來的易過擬合的問題[6]。

1.2 卷積神經(jīng)網(wǎng)絡(luò)算法簡(jiǎn)介

1.2.1 CNN算法原理

傳統(tǒng)全連接神經(jīng)網(wǎng)絡(luò)，隨著輸入層的特征維度增高，全連接訓(xùn)練參數(shù)增幅變高，會(huì)導(dǎo)致計(jì)算速度遲緩。而卷積神經(jīng)網(wǎng)絡(luò)是未完全連接的，且共享同一層中某些神經(jīng)元之間連接的偏移量和權(quán)重。所以，需要訓(xùn)練的參數(shù)數(shù)量大大減少。

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)組成：

·輸入層：用于數(shù)據(jù)的輸入；

·卷積層：使用卷積核實(shí)現(xiàn)特征提取與特征映射；

·池化層：進(jìn)行下采樣，稀疏處理特征圖，使數(shù)據(jù)運(yùn)算量降低；

·全連接層：通常在CNN的末端重新擬合以減少特征信息部分的損失；

·輸出層：用于輸出結(jié)果。

在目標(biāo)檢測(cè)算法RCNN中，主要包含以下步驟：

(1)訓(xùn)練分類網(wǎng)絡(luò)。

在使用深度學(xué)習(xí)特征的時(shí)候，不是直接用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型或特征，而是用預(yù)訓(xùn)練的模型來對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。具體使用時(shí)可以采用AlexNet在imageNet訓(xùn)練分類模型。

(2)模型微調(diào)fine-tuning。

在RCN分類任務(wù)上作模型的遷移，保留主干網(wǎng)絡(luò)卷積層的特征，去掉FC層。

(3)特征提取。

提取候選框(利用選擇性搜索或滑動(dòng)窗口的策略)。

Step1：生成區(qū)域集R；

Step2：計(jì)算區(qū)域集R中相鄰區(qū)域的相似度S={s1,s2,…}；

Step3：將具有最高相似度的兩個(gè)區(qū)域合并為一個(gè)新集合，添加到R中；

Step4：從S中移除所有與Step1中有關(guān)的子集；

Step5：計(jì)算新集與所有子集的相似度；

Step6：跳至step3,直至S為空。

(4)訓(xùn)練SVM分類器。

用SVM(support vector machine)分類器進(jìn)行類別確定，并且每個(gè)類別對(duì)應(yīng)一個(gè)SVM。采用分類器的時(shí)候，如果要識(shí)別20種不同的類別，通常SVM在進(jìn)行分類時(shí)會(huì)對(duì)21個(gè)類別進(jìn)行分類。其中20個(gè)類別為目標(biāo)檢測(cè)類別，1個(gè)類別是背景。

(5)回歸器精修候選框位置。

用線性回歸模型分析候選框的效果，進(jìn)一步篩選和合并候選框，最后獲得目標(biāo)檢測(cè)的輸出。

1.2.2 基于CNN算法的改進(jìn)研究

(1)預(yù)測(cè)數(shù)據(jù)處理的改進(jìn)。

原始算法中，直接利用CNN算法實(shí)現(xiàn)對(duì)當(dāng)前序列和日志標(biāo)簽的故障預(yù)測(cè)。為了增大有用信息，新引入輸出序列作為信息源，提高算法預(yù)測(cè)能力。具體實(shí)現(xiàn)步驟如下：

(a)預(yù)處理初期數(shù)據(jù)。

修改滑動(dòng)窗口，利用滑動(dòng)窗口一收集當(dāng)前時(shí)刻下的輸入序列，同時(shí)利用滑動(dòng)窗口二收集對(duì)應(yīng)的日志標(biāo)簽。之后，提取第二個(gè)滑動(dòng)窗中日志的輸出序列。因?yàn)樵摬糠中蛄邢鄬?duì)于滑動(dòng)窗口一中的序列生成時(shí)間較晚，所以代表未來的日志序列。收集的初期數(shù)據(jù)經(jīng)過處理后可以得到三個(gè)類別的信息：當(dāng)前的日志序列I1、將來的日志序列Ia和未來的日志標(biāo)簽I2。

(b)利用三種類別的序列進(jìn)行預(yù)測(cè)。

為了挖掘更多的信息量，在輸入序列和日志標(biāo)簽聯(lián)系的基礎(chǔ)上，基于輸入序列和輸出序列進(jìn)行建模，預(yù)測(cè)出新的信息源即輸出序列，利用I2、Ia、I1實(shí)現(xiàn)故障預(yù)測(cè)。算法改進(jìn)示意圖如圖1所示。

圖1 故障預(yù)測(cè)算法改進(jìn)示意圖

(2)隨機(jī)梯度下降優(yōu)化算法的改進(jìn)。

為了得到好的泛化，需要使用大的訓(xùn)練集，然而，大型訓(xùn)練集的計(jì)算成本也很大，因此將代價(jià)函數(shù)劃分為單個(gè)日志樣本的代價(jià)函數(shù)的綜合。訓(xùn)練數(shù)據(jù)的負(fù)條件對(duì)數(shù)似然用下式表示：

其中，L是每個(gè)樣本的損失，L(x,y,θ)=-logp(y|x;θ)。

梯度下降計(jì)算如下[7]：

這個(gè)運(yùn)算的計(jì)算代價(jià)是O(m)。訓(xùn)練集大小的增加會(huì)造成計(jì)算一步梯度耗費(fèi)時(shí)間大幅增長(zhǎng)。在該實(shí)驗(yàn)中，用小規(guī)模的樣本近似估計(jì)梯度，從訓(xùn)練集中均勻抽出小批量樣本，記為B=x1,x2,…,xm[8]。

梯度的估計(jì)可以表示成：

此外，對(duì)于SGD中的關(guān)鍵參數(shù)—學(xué)習(xí)率，不設(shè)定固定的學(xué)習(xí)率，在實(shí)際使用中，學(xué)習(xí)率ε可以在多次迭代中逐漸減小，第k步迭代后的學(xué)習(xí)率記為εk。保證SGD收斂的一個(gè)充分條件是：

在T步迭代后，一般使ε保持常數(shù)。

學(xué)習(xí)率可通過實(shí)驗(yàn)與誤差來選擇,一般來說最好的方式是監(jiān)測(cè)目標(biāo)函數(shù)值隨時(shí)間變化的學(xué)習(xí)曲線。使用線性策略時(shí),需要選擇的參數(shù)是ε0、εT和T。T設(shè)置為需要迭代數(shù)百次訓(xùn)練集的次數(shù)。通常εT應(yīng)設(shè)為大約ε0的1%。下面簡(jiǎn)要說明數(shù)次迭代中學(xué)習(xí)率的更新操作。

算法：隨機(jī)梯度下降，迭代更新學(xué)習(xí)率。

輸入：學(xué)習(xí)率εk

輸出：初始參數(shù)θ

步驟1：判斷是否滿足停止準(zhǔn)則，如果不滿足，則轉(zhuǎn)到下一步，如果滿足，則結(jié)束該過程；

步驟2：在訓(xùn)練集內(nèi)采集小批量樣本,B={x1,x2,…,xm}，樣本個(gè)數(shù)為m，xi與yi對(duì)應(yīng)；

(3)基本卷積函數(shù)使用的改進(jìn)。

通常，神經(jīng)網(wǎng)絡(luò)中的卷積是由多個(gè)并行卷積組成的。雖然運(yùn)算是作用在多個(gè)空間位置上，但具有單個(gè)核的卷積只能提取一種類型的特征。另外，因?yàn)榫矸e網(wǎng)絡(luò)使用多通道的卷積，即使使用核翻轉(zhuǎn)，也不一定能確保網(wǎng)絡(luò)的線性運(yùn)算是可互換的。僅當(dāng)這些操作中的每個(gè)部分的輸出和輸入具有相同數(shù)量的通道時(shí)，才是可互換的。本實(shí)驗(yàn)中不使用翻轉(zhuǎn)，只利用卷積獲取輸出。

1.3 整體算法設(shè)計(jì)

1.3.1 數(shù)據(jù)生成與處理

(1)數(shù)據(jù)生成：利用仿真軟件構(gòu)建所需網(wǎng)絡(luò)系統(tǒng)，模擬正常運(yùn)行狀態(tài)和故障發(fā)生時(shí)的狀態(tài)，采取兩種場(chǎng)景下的調(diào)試信息。采集的數(shù)據(jù)包含三種類別的信息數(shù)據(jù)：軟件運(yùn)行中人為加入的提示內(nèi)容；與網(wǎng)絡(luò)狀態(tài)聯(lián)系的對(duì)象信息和時(shí)間速度存儲(chǔ)信息。在隨后數(shù)據(jù)處理中，有必要?jiǎng)h除日志中與故障分析無關(guān)的標(biāo)簽內(nèi)容。日志生成時(shí)，先人為加入故障出現(xiàn)和復(fù)舊的提示。如在正常狀態(tài)轉(zhuǎn)為錯(cuò)誤狀態(tài)時(shí)輸出提示標(biāo)簽SYSTEM_ERROR，在系統(tǒng)狀態(tài)復(fù)舊時(shí)設(shè)置提示標(biāo)簽SYSTEM_STATE_RECOVER。如上設(shè)置可以得到數(shù)據(jù)格式：

[time][info level]:[location][event] [event description]

對(duì)于日志中速度存儲(chǔ)等統(tǒng)計(jì)信息，也需要提前作消除處理。

(2)數(shù)據(jù)預(yù)處理：如前所述，直接采集初始時(shí)的日志像文本一樣包含內(nèi)容項(xiàng)多，不是可以直接用作卷積神經(jīng)網(wǎng)絡(luò)輸入的格式化數(shù)據(jù)，因此會(huì)基于原始數(shù)據(jù)進(jìn)行處理以保留對(duì)象信息。制作出清洗后日志的單詞詞典，在此基礎(chǔ)上實(shí)現(xiàn)樣本的提取，做后期的訓(xùn)練和測(cè)試。預(yù)處理數(shù)據(jù)主要為三個(gè)部分：數(shù)據(jù)清洗、字典構(gòu)建和樣本提取，見圖2。數(shù)據(jù)處理時(shí)，一方面需去除無關(guān)信息，另一方面要處理數(shù)字符號(hào)信息[11]。

圖2 數(shù)據(jù)處理流程

清洗后，文本數(shù)據(jù)變?yōu)閱卧~序列，統(tǒng)計(jì)單個(gè)詞匯詞頻，對(duì)單詞集合排序，然后依次進(jìn)行編號(hào)。也可以再加入詞頻閾值，詞頻統(tǒng)計(jì)大于設(shè)定閾值時(shí)，保留繼續(xù)處理，否則，替換為未知單詞如UNKNOWN，這樣所有的單詞根據(jù)詞頻的不同都有相應(yīng)的數(shù)字編碼。以上處理為字典構(gòu)造，可以得到如表1所示的數(shù)據(jù)詞典表[12]。

表1 構(gòu)造字典表示意

數(shù)據(jù)預(yù)處理的最后環(huán)節(jié)，是選擇卷積核部分，即利用滑動(dòng)窗口從日志數(shù)據(jù)中獲取訓(xùn)練集和測(cè)試集需要的樣本文本，含相應(yīng)的提示標(biāo)簽和序列。提取的部分包含當(dāng)前一段時(shí)間的日志和未來一段時(shí)間域的狀態(tài)。前者用輸入序列表示，后者用提示標(biāo)簽表示。本研究選用兩個(gè)滑動(dòng)窗口，一個(gè)用于提取輸入序列，另一個(gè)用來獲取該序列故障存在與否的標(biāo)簽。

用ls表示滑動(dòng)窗口大小(實(shí)際作業(yè)中的樣本數(shù)據(jù)行數(shù))。本實(shí)驗(yàn)中設(shè)定兩窗口獲取數(shù)據(jù)的行數(shù)相等，間隔為lg。滑動(dòng)窗口的size相當(dāng)于樣本數(shù)據(jù)中對(duì)應(yīng)位置數(shù)據(jù)被輸出經(jīng)過的時(shí)間，size越大，等價(jià)于打印此處數(shù)據(jù)的時(shí)長(zhǎng)越大。而滑動(dòng)窗口間距表示當(dāng)前日志到未來某段日志的間隔時(shí)間。由此可見，lg越大，意味著預(yù)測(cè)的時(shí)間越遠(yuǎn)。但是，遠(yuǎn)的時(shí)間段也意味著要預(yù)測(cè)的未來狀態(tài)和現(xiàn)階段的聯(lián)系更弱，導(dǎo)致訓(xùn)練更為復(fù)雜[13]。

1.3.2 模型設(shè)計(jì)

用日志數(shù)據(jù)對(duì)模型進(jìn)行大量訓(xùn)練和測(cè)試，實(shí)現(xiàn)最優(yōu)化。與傳統(tǒng)CNN不同的是，文中除了CNN特有的三層處理外還包括針對(duì)文本處理的詞嵌入層。卷積神經(jīng)網(wǎng)絡(luò)示意圖如圖3所示。

圖3 卷積神經(jīng)網(wǎng)絡(luò)示意圖

(1)詞嵌入層。

在圖像處理時(shí)，每張圖片便是一段數(shù)值信息，可以將其與卷積核的內(nèi)積映射為數(shù)字。而本實(shí)驗(yàn)中的日志數(shù)據(jù)具有文本的特征，單單通過預(yù)處理時(shí)的字典將單詞根據(jù)排序得到數(shù)字編號(hào)是不夠的，還需要通過詞嵌入層將通過詞頻劃分出的編號(hào)再次編號(hào)，使之能以向量的形式表示，將原始日志的輸入序列映射成輸入矩陣[14]。

記文本形式的序列最大長(zhǎng)度是m，輸入文本數(shù)據(jù)實(shí)際長(zhǎng)度為n，單詞數(shù)量為num，將輸入序列用下式表示：

(1)

當(dāng)輸入序列的實(shí)際長(zhǎng)度n小于序列最大長(zhǎng)度m時(shí),用padding的方法將長(zhǎng)度補(bǔ)足為m,反之，用truncating的方法將多余的部分去除。如圖4，m=4,n=2,使用多個(gè)0填補(bǔ)矩陣。

00000xx00xx00000

下面解釋再次編碼過程，用獨(dú)熱編碼(ONE-HOT encoding)將i表示成I(m*n)，輸入矩陣表示為Y，輸出Y可定義為：

Y=Me?I

(2)

其中，Me表示權(quán)值矩陣(n*k)，Y是輸出矩陣(m*k)[15]。

(2)卷積層和池化層。

卷積層和池化層是預(yù)測(cè)模型中不可或缺的一部分，本實(shí)驗(yàn)中設(shè)計(jì)了多個(gè)該部分以更大程度地獲取輸入序列的信息。多層卷積和池化層，可以保證卷積窗含有更長(zhǎng)時(shí)間段內(nèi)的樣本數(shù)據(jù)，對(duì)應(yīng)的單詞矩陣也更大[8]。此部分的輸出與輸入序列的關(guān)系為：

ai=f(Mb?xi,j+h-1)+c

(3)

其中，f表示激活函數(shù)，X表示輸入序列，xi表示第i個(gè)詞向量，ai表示卷積層的輸出。

(3)全連接層。

根據(jù)輸入序列包含的重要信息，確認(rèn)系統(tǒng)是否有故障發(fā)生。定義f是激活函數(shù)，使用sigmoid函數(shù)，用mo表示該層的輸出。則有式子y=f(wmo+b)。

1.3.3 訓(xùn)練和測(cè)試

先簡(jiǎn)單說明模型訓(xùn)練和測(cè)試的幾個(gè)基本概念的作用。訓(xùn)練集可用來訓(xùn)練與擬合模型，在通過訓(xùn)練集訓(xùn)練出了多個(gè)模型之后，可以借助驗(yàn)證集實(shí)現(xiàn)數(shù)據(jù)校正和比較預(yù)測(cè)。k-fold交叉驗(yàn)證用于將數(shù)據(jù)集劃分為K個(gè)部分，輪流作為一次測(cè)試集，其他作為訓(xùn)練集。因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)中滑動(dòng)窗口相關(guān)參數(shù)、神經(jīng)層個(gè)數(shù)等都是可以人為設(shè)計(jì)的，所以可以通過改變這些參數(shù)，比較訓(xùn)練測(cè)試的性能，調(diào)整參數(shù)達(dá)到最優(yōu)性能。

CNN訓(xùn)練和測(cè)試流程示意圖如圖5所示。

圖5 CNN訓(xùn)練和測(cè)試流程示意圖

在預(yù)處理樣本中采取若干個(gè)獨(dú)立的小批量樣本，分別計(jì)算各自的梯度，通過這些樣本均值算出梯度的無偏估計(jì)值。

1.4 實(shí) 驗(yàn)

1.4.1 實(shí)驗(yàn)環(huán)境

系統(tǒng)的神經(jīng)網(wǎng)絡(luò)建立使用的是高層深度學(xué)習(xí)API—Keras。CPU為8 300 H，內(nèi)存大小為8 G，硬盤大小為2 T，編程環(huán)境為python(發(fā)行版本anaconda)。使用GPU類型學(xué)習(xí)框架，系統(tǒng)程序語言為python。

1.4.2 測(cè)試性能評(píng)價(jià)指標(biāo)

故障的預(yù)測(cè)測(cè)試中，評(píng)價(jià)標(biāo)準(zhǔn)主要使用二分類模型中的F1SCORE(即F1分?jǐn)?shù))。該指標(biāo)兼具分類模型的準(zhǔn)確率、召回率。平衡F函數(shù)在信息檢索、統(tǒng)計(jì)分析、文檔分析處理方面有著廣泛的應(yīng)用。以下是實(shí)際值和預(yù)測(cè)值的簡(jiǎn)單介紹。正常樣本(true positive，TP)指預(yù)測(cè)正確的正樣本，故障樣本(true negative，TN)是預(yù)測(cè)正確的負(fù)樣本。而FP和FN分別是預(yù)測(cè)錯(cuò)誤的正樣本和預(yù)測(cè)錯(cuò)誤的負(fù)樣本。以上4個(gè)評(píng)價(jià)指標(biāo)有如下定義：

召回率和精確率的調(diào)和平均數(shù)(用F1 Score表示)：

1.4.3 結(jié)果研究

本實(shí)驗(yàn)顯示了不同卷積窗參數(shù)下模型的訓(xùn)練和測(cè)試性能。使用上文說明的評(píng)價(jià)指標(biāo)對(duì)各窗口size下進(jìn)行對(duì)比研究，數(shù)據(jù)整理見表2。

表2 不同卷積窗間隔的性能

從測(cè)試數(shù)據(jù)可知，滑動(dòng)窗口的長(zhǎng)度不變時(shí)，隨著窗口間隔變大，4項(xiàng)指標(biāo)變低，顯示出性能的降低。由此可知，對(duì)于未來的預(yù)測(cè)，更遠(yuǎn)的狀態(tài)預(yù)測(cè)難度會(huì)更大。此外，保持窗口間隔不變來觀察不同窗口長(zhǎng)度下模型的性能。從實(shí)驗(yàn)數(shù)據(jù)可以得到結(jié)論，隨著長(zhǎng)度的遞增，預(yù)測(cè)性能逐漸提高。

為了對(duì)優(yōu)化后的隨機(jī)梯度算法進(jìn)行驗(yàn)證，分別測(cè)試學(xué)習(xí)率更新下和使用固定學(xué)習(xí)率的準(zhǔn)確率。

實(shí)驗(yàn)中，通過檢測(cè)目標(biāo)函數(shù)值的波動(dòng)曲線，在多次迭代中獲取最佳效果的學(xué)習(xí)曲線。如果學(xué)習(xí)率設(shè)置偏大，會(huì)導(dǎo)致學(xué)習(xí)曲線劇烈震蕩、代價(jià)函數(shù)的增大，影響系統(tǒng)的性能。

表3 不同學(xué)習(xí)率下的性能比較

考慮到卷積網(wǎng)絡(luò)使用多通道卷積的特性，在卷積網(wǎng)絡(luò)中，即使使用核翻轉(zhuǎn)，也不一定能確保網(wǎng)絡(luò)的線性運(yùn)算是可互換的。本實(shí)驗(yàn)中，不使用核翻轉(zhuǎn)，只利用卷積獲取輸出。比較兩者使用性能(見圖6)，可以看出在改進(jìn)后性能有所提高。

圖6 不同運(yùn)算函數(shù)指標(biāo)對(duì)比

2 結(jié)束語

從故障數(shù)據(jù)入手，采用深度學(xué)習(xí)方法分析故障之間的潛在聯(lián)系，利用告警日志來推斷信息系統(tǒng)運(yùn)行狀態(tài)，并通過檢測(cè)現(xiàn)有狀態(tài)，預(yù)測(cè)未來狀態(tài)參數(shù)，及時(shí)發(fā)現(xiàn)可能會(huì)出現(xiàn)的故障。實(shí)驗(yàn)驗(yàn)證了預(yù)測(cè)算法在網(wǎng)絡(luò)系統(tǒng)中的有效性。在今后工作中，可以考慮使用真實(shí)網(wǎng)絡(luò)日志進(jìn)行分析，測(cè)試該模型的適應(yīng)能力。利用仿真數(shù)據(jù)和真實(shí)數(shù)據(jù)，進(jìn)一步測(cè)試改進(jìn)算法的實(shí)用性和優(yōu)越性。