生成對抗網(wǎng)絡在數(shù)據(jù)異常檢測中的研究

莊躍生，林珊玲，林志賢，張永愛，郭太良

1.福州大學 物理與信息工程學院，福州350116

2.中國福建光電信息科學與技術創(chuàng)新實驗室，福州350116

3.福州大學 先進制造學院，福建 晉江362200

隨著數(shù)據(jù)分析和數(shù)據(jù)挖掘領域的科學家對機器學習領域不斷深入研究，異常檢測逐漸成為當前研究熱門問題。異常檢測本質上是數(shù)據(jù)不平衡的分類問題，在信用卡的反欺詐、網(wǎng)絡入侵檢測、工業(yè)設備故障檢測等生產(chǎn)生活領域應用廣泛[1-3]。相比于大量存在的正常數(shù)據(jù)，異常數(shù)據(jù)的數(shù)據(jù)量少，并且和正常數(shù)據(jù)表達方式差異較大。由于數(shù)據(jù)極度不平衡，加上正常數(shù)據(jù)的特征和異常的數(shù)據(jù)特征差異較大，常用的方法訓練難度大，往往無法對異常數(shù)據(jù)進行有效檢測[4-5]。

1 相關工作

傳統(tǒng)的異常檢測法如重采樣對數(shù)據(jù)不平衡樣本進行預處理，通過下采樣或者上采樣的方式，使得數(shù)據(jù)達到平衡再輸入分類器中訓練，從而檢測出異常數(shù)據(jù)[6]。但重采樣會引入噪聲，容易產(chǎn)生過擬合現(xiàn)象，對數(shù)據(jù)采樣造成數(shù)據(jù)缺失而丟失有價值的特征信息，會對異常檢測的分類效果造成極大影響。吳磊等人提出結合數(shù)據(jù)重采樣方法，組合過采樣和欠采樣，通過對BSM 和CBOS進行數(shù)據(jù)清洗使數(shù)據(jù)平衡，實驗結果比大多數(shù)據(jù)集和不同分類器不做數(shù)據(jù)清洗效果好，但無法捕獲原始少數(shù)異常數(shù)據(jù)特征的復雜性[7]。

機器學習模型逐漸成為基準檢測方法，在低維數(shù)據(jù)中，衡量相似度方法的模型性能突出。任家東等人提出結合使用K近鄰（K-nearest neighbor，KNN）離群點檢測算法檢測并隔離離群數(shù)據(jù)，利用網(wǎng)絡流量相似度原理，使用類比劃分消除異常行為的干擾，再用多層次隨機森林（random forest，RF）對網(wǎng)絡入侵進行有效檢測[8]。高維數(shù)據(jù)主要是控制數(shù)據(jù)維度，利用孤立森林（isolation forest，IF）或者主成分分析（principal component analysis，PCA）方法尋找好的空間表示，降低數(shù)據(jù)維度。徐東等人提出改進IF算法，用模擬退火算法選擇精度高的隔離樹優(yōu)化森林，從而改進IF構建進行異常數(shù)據(jù)檢測[9]。但這些方法的預測能力有限而且運算開銷較大，無法在數(shù)據(jù)規(guī)模和維度比較大的數(shù)據(jù)集上進行有效檢測。

近年來，深度學習在各個領域的研究都取得很好的進展，許多研究者將神經(jīng)網(wǎng)絡組合而成的生成對抗網(wǎng)絡（generative adversarial network，GAN）模型應用到異常檢測任務中?；贕AN的異常檢測方法使用數(shù)據(jù)中大量的正常樣本訓練整個模型，生成足夠多正常樣本，同時輸入少量異常樣本訓練生成對應的正常樣本，通過比較GAN生成正常樣本與異常樣本對應生成的樣本進行異常檢測。因此基于GAN的檢測方法無需收集大量異常數(shù)據(jù)，而使用正常數(shù)據(jù)訓練就可以達到異常檢測目的。此外，在醫(yī)學圖像處理中常用GAN進行數(shù)據(jù)補充，生成高質量圖片輔助判別以解決數(shù)據(jù)稀缺和數(shù)據(jù)不平衡問題，從而達到異常圖像準確分類效果。Schlegel 等人提出使用GAN進行醫(yī)學圖像異常檢測，利用GAN的生成器從噪聲輸入中訓練生成足夠逼真圖像，根據(jù)異常圖像和生成圖像間的差異訓練判別器以更新輸入噪聲，最終生成一批和異常圖像相似的正常圖像，通過大量的圖片對比進行醫(yī)學影像異常檢測[10]。Frid-Adar 等人使用DCGAN（deep convolutional GAN）合成肝臟CT 不同類別的病變樣本，對于每個類別樣本，訓練獨立的生成模型，對比傳統(tǒng)的數(shù)據(jù)擴充方法如數(shù)據(jù)反轉、裁剪等，其兩個分類性能指標靈敏度和特異性分別提高7.1%與4.0%，因此通過GAN 進行醫(yī)學圖像數(shù)據(jù)擴充能夠改善分類效果[11]。然而，使用GAN 無法控制生成樣本的類型，同時利用GAN 進行圖像異常檢測需要一定人為經(jīng)驗做篩選比對，在圖像研究領域成本極大[12]。GAN的許多變種如InfoGAN 通過使用連續(xù)隱編碼能夠捕獲數(shù)據(jù)特征發(fā)生的細微變化，但其仍舊無法保證生成所需類別的樣本，因此在高度數(shù)據(jù)不平衡的異常檢測任務中，利用GAN做數(shù)據(jù)補充可能會產(chǎn)生極大的誤差。

針對目前異常檢測方法中存在的各種問題，在生成對抗網(wǎng)絡基礎上提出一種生成對抗網(wǎng)絡組合隨機森林（generative adversarial network-random forest，GAN-RF）的新模型，結合InfoGAN和推理神經(jīng)網(wǎng)絡分別生成數(shù)據(jù)平衡樣本和樣本所對應的標簽，再使用第二個GAN 對推理神經(jīng)網(wǎng)絡進行標簽生成優(yōu)化，最后利用隨機森林算法對整個模型進行優(yōu)化，從而提高推理神經(jīng)網(wǎng)絡輸出準確性。在多個數(shù)據(jù)集上實驗表明，GAN-RF可以在異常數(shù)據(jù)量較少情況下進行數(shù)據(jù)擴充，并且針對GAN 及其變種InfoGAN 無法控制生成樣本類別問題進行優(yōu)化。相比于傳統(tǒng)的數(shù)據(jù)補充方法，使用生成數(shù)據(jù)和真實數(shù)據(jù)直接訓練分類器達到異常樣本分類效果，GAN-RF使用生成數(shù)據(jù)輔助訓練整個模型，利用推理網(wǎng)絡對真實數(shù)據(jù)進行標簽輸出預測，以達到更高的推理準確率。同時克服高維、大規(guī)模異常數(shù)據(jù)檢測的不穩(wěn)定性，保留原始數(shù)據(jù)中的重要特征信息，對各個領域大規(guī)模數(shù)據(jù)中存在的少量異常數(shù)據(jù)的檢測具有很好的應用價值。

2 GAN-RF的技術原理

2.1 生成對抗網(wǎng)絡

GAN 的核心思想是一個“博弈過程”，主要包括訓練兩個模型，即一個能捕獲數(shù)據(jù)分布的生成器和一個輸出樣本來源于真實數(shù)據(jù)或者生成數(shù)據(jù)概率的判別器。生成器的訓練目的是學習生成數(shù)據(jù)分布以匹配真實數(shù)據(jù)的分布，而判別器的訓練目的則是最大化正確分配真實樣本和生成樣本的概率[13]。整個網(wǎng)絡的目標函數(shù)如式（1）所示。

其中，Pdata(x)和Pz(z)分別代表真實樣本和生成樣本的分布，z是輸入噪聲變量，G(z)是生成樣本。同時訓練生成器和判別器，在理想情況下，模型的目標函數(shù)收斂，生成樣本的分布Pz(z)趨近于真實樣本分布Pdata(x)，判別器無法區(qū)分輸入樣本的來源。

2.2 InfoGAN

GAN 輸入連續(xù)隨機噪聲z，無法通過控制z的某些維度與其數(shù)據(jù)語義特征相對應，即無法學到可解釋性的特征。InfoGAN 在此基礎上將原始輸入噪聲z分解為具有解釋性的隱編碼c與隨機性噪聲n，其中c還可分為控制生成樣本標簽的離散編碼和控制數(shù)據(jù)維度特征的連續(xù)編碼，生成樣本表示為G(n,c)；結合互信息論知識，令c與G(n,c)關聯(lián)性最大，即兩者互信息最大[14-15]。整個模型目標函數(shù)如式（2）所示。

其中，V(D,G)是GAN 的損失函數(shù)，如式（1）所示，I(c;G(n,c))是互信息項。Q是隱編碼神經(jīng)網(wǎng)絡，通過使用變分分布Q(c|x)逼近互信息項中的后驗分布P(c|x)計算得到互信息下界，互信息項改寫成如式（3）所示。

此時互信息項就可由蒙特卡洛計算，或者使用重參數(shù)技巧計算G并通過Q預測出離散編碼和連續(xù)編碼的均值與方差，設定H(c)為常數(shù)項，從而實現(xiàn)最大化互信息項lgQ(c|x)。

由此整個模型目標函數(shù)可以改寫成如式（4）所示。

2.3 隨機森林與Hyperband算法

隨機森林是最常用的分類模型。首先通過自助采樣方法隨機對原始樣本進行抽樣作為決策樹根節(jié)點處的樣本；之后對樣本屬性特征采用決策樹信息增益計算方法作為分裂指標，并劃分根節(jié)點直到葉子節(jié)點；重復以上步驟后完成所有決策樹構建，組成完整的隨機森林，并且決策樹間互不關聯(lián)；最后基于不同決策樹的預測，使用投票法則獲得最終得分并輸出分類結果[16]。

傳統(tǒng)的隨機搜索（random search）、網(wǎng)格搜索（grid search）和基于貝葉斯優(yōu)化（Hyperopt）的參數(shù)調整方法都存在某些弊端，如花費時間長，錯失參數(shù)空間重要信息等；而Hyperband 算法搜索最優(yōu)超參數(shù)速度快。Hyperband使用早停策略，輸入每個超參數(shù)組所能分配最大計算資源和每次訓練淘汰超參數(shù)組比例，在每次訓練Hyperband丟棄部分參數(shù)組過程中，使用學習曲線擬合每組超參數(shù)組在驗證集上的誤差并計算對應概率值，當某一超參數(shù)組對應概率在特定閾值下達到最佳，則Hyperband停止最佳超參數(shù)組搜索，并以此概率作為該超參數(shù)組驗證誤差輸出，因此能夠極大提升搜索效率。實際上該算法是根據(jù)時間和數(shù)據(jù)特征、迭代次數(shù)等資源預算因素，選取合適的超參數(shù)組合數(shù)目與每個組所對應的分配資源間做優(yōu)化權衡，在可行的超參數(shù)組合數(shù)量范圍內，為每組超參數(shù)分配足夠多預算資源以進行驗證評估，根據(jù)評估結果淘汰特定比值參數(shù)組，剩下超參數(shù)組可分配的資源變大，之后反復迭代訓練得到一組能夠分配最大預算的超參數(shù)[17]。

3 模型構造

數(shù)據(jù)異常檢測任務中對數(shù)據(jù)預處理通常分為下采樣多數(shù)正常樣本或者上采樣少數(shù)異常樣本，經(jīng)過分類器訓練，進而分離出正常樣本和異常樣本。然而，采樣過程會引入噪聲造成過擬合，無法捕獲數(shù)據(jù)特征重要信息，而基準機器學習分類模型的性能指標往往會受到自身超參數(shù)影響。InfoGAN 網(wǎng)絡訓練生成樣本也會產(chǎn)生一定的錯誤率，即無法完全控制生成樣本所屬的類別，如在Mnist 手寫數(shù)字識別實驗中InfoGAN 存在5%誤差率。本文在此基礎上進行改進，提出GAN-RF，避免數(shù)據(jù)重采樣帶來的各種風險，并且通過優(yōu)化數(shù)據(jù)與標簽的一致性來增強模型分類效果。模型整體結構如圖1所示。

圖1 GAN-RF模型結構示意圖Fig.1 Architecture of GAN-RF model

第一部分為InfoGAN 網(wǎng)絡數(shù)據(jù)平衡樣本的生成過程。首先將輸入噪聲z分成連續(xù)隨機噪聲變量n與隱編碼變量c，經(jīng)過生成器G訓練生成樣本x′，將真實樣本x和生成樣本x′分別輸入D中訓練以區(qū)分樣本來源；如此交替迭代訓練使得x與x′足夠相似，而D無法區(qū)分真假樣本，即對任何輸入，輸出的概率都為0.5。通過神經(jīng)網(wǎng)絡Q約束c與x′關系，即最大化式（3）來控制生成樣本特征和類別。為提高訓練效率，Q和D除最后一層全連接層外，而其余網(wǎng)絡層結構相同，模型訓練的目標函數(shù)如式（4）所示。

第二部分為推理神經(jīng)網(wǎng)絡I，輸入真實數(shù)據(jù)不平衡樣本x，輸出對應其標簽的預測概率。令I和D共用除最后全連接層外的所有網(wǎng)絡層。本質上將x送入推理網(wǎng)絡訓練是標簽生成過程；采用交叉驗證方法在訓練集上訓練，并在驗證集上生成每個樣本x對應的異常樣本標簽y′及其概率。該部分網(wǎng)絡損失采用交叉熵函數(shù)，如式（5）所示。

其中，y是真實樣本的標簽，D(x)對應推理網(wǎng)絡異常樣本預測的概率輸出。

第三部分是生成對抗網(wǎng)絡結構的模型，主要優(yōu)化推理網(wǎng)絡的標簽輸出及其概率預測的準確性。具體來講，將推理神經(jīng)網(wǎng)絡作為標簽生成器，輸入數(shù)據(jù)平衡樣本x′并生成對應的數(shù)據(jù)標簽y′，此后將生成數(shù)據(jù)標簽組(x′,y′)和真實數(shù)據(jù)標簽組(x,y)送入判別網(wǎng)絡D2進行訓練，該部分模型訓練的過程和普通的GAN 網(wǎng)絡一樣。訓練達到一定次數(shù)后，生成的數(shù)據(jù)標簽組(x′,y′)和真實數(shù)據(jù)標簽組(x,y)足夠相似，而推理神經(jīng)網(wǎng)絡作為標簽生成器對標簽和概率輸出更加準確。該生成對抗網(wǎng)絡模型的目標損失函數(shù)如式（6）所示。

同時訓練三個組合網(wǎng)絡達到一定次數(shù)，推理網(wǎng)絡輸出樣本預測的概率值，結合原始標簽數(shù)據(jù)計算整個模型AUC（area under curve）值。

加入隨機森林算法優(yōu)化GAN組合網(wǎng)絡。輸入生成數(shù)據(jù)標簽組(x′,y′)至隨機森林，使用分層采樣交叉驗證訓練模型，隨機選取超參數(shù)組并通過Hyperband算法對模型進行調參，使用最優(yōu)超參數(shù)組重復訓練輸出對應的分類結果，并同樣結合原始數(shù)據(jù)標簽計算模型的AUC值。對比兩者AUC 值，如隨機森林分類性能優(yōu)于上述步驟模型，則重新同時訓練三個網(wǎng)絡模型直到優(yōu)于隨機森林。

其中對于隨機森林的數(shù)據(jù)輸入，利用樹系模型特性計算對應數(shù)據(jù)的特征重要性，篩選掉相關性低的信息，結合分析數(shù)據(jù)中值得重點關注的特征，對GAN-RF的異常檢測提供參考。

4 算法實現(xiàn)

4.1 GAN組合網(wǎng)絡算法

GAN 組合網(wǎng)絡算法如算法1 所示。首先輸入真實數(shù)據(jù)標簽組，并根據(jù)batch大小劃分數(shù)據(jù)標簽組，設置控制各個不同損失函數(shù)的權值參數(shù)λ，使模型在訓練時不易產(chǎn)生過擬合；步驟1是對網(wǎng)絡參數(shù)進行初始化；步驟4通過選取服從[0，1]均勻分布的隱編碼向量c和噪聲變量n輸入到InfoGAN 模型，控制生成類別均衡樣本；步驟5設置模型訓練方式，采用EarlyStopping監(jiān)控各個網(wǎng)絡驗證損失函數(shù)，經(jīng)過一定的訓練周期后，如果驗證集誤差不再下降，則該網(wǎng)絡提前停止訓練，進一步優(yōu)化整個模型訓練，避免網(wǎng)絡訓練過擬合；步驟6 至步驟10 主要采用隨機梯度下降法去訓練每個網(wǎng)絡的損失函數(shù)，更新網(wǎng)絡權重參數(shù)θ并得到最優(yōu)解，使得損失函數(shù)收斂達到最小值；步驟11 至步驟12 驗證EarlyStopping 并輸出各模型網(wǎng)絡權重參數(shù)θ；反之訓練所有模型直至達到收斂，輸出網(wǎng)絡參數(shù)。整個過程為一個batch，根據(jù)數(shù)據(jù)量重復訓練一定數(shù)量batch。

算法1GAN組合網(wǎng)絡

4.2 隨機森林與Hyperband算法

算法2在總預算資源B已知條件下，首先輸入一個超參數(shù)組合，實際分配最大預算的參數(shù)R和每次迭代淘汰超參數(shù)比例參數(shù)η；步驟2按照batch大小隨機抽取生成數(shù)據(jù)標簽組(′,)訓練Hyperband；步驟4是初始化控制總預算資源大小參數(shù)smax；步驟5 至步驟6 主要通過循環(huán)迭代選取smax范圍內不同s值，根據(jù)得到的s值計算出在當前總預算資源下可選取最優(yōu)的超參數(shù)組數(shù)目n和一個超參數(shù)組合實際所分配的預算r；步驟8是根據(jù)s大小做循環(huán)迭代，通過上述過程計算的r和n，以η為基準淘汰部分超參數(shù)組，r和n分別更新為ri和ni；步驟9返回每組超參數(shù)在對應驗證集上的驗證誤差L；步驟10利用上述計算的L，選取誤差最小的一組超參數(shù)；循環(huán)迭代訓練步驟5至步驟12，根據(jù)不同smax、n、r計算每個循環(huán)中最小L的超參數(shù)組，并將得到的所有L進行整合；步驟13 選取整個循環(huán)驗證誤差L最小超參數(shù)組，在B不變條件下，該超參數(shù)組所能分配的實際預算ri也達到最大；步驟14 到步驟16 是更新隨機森林參數(shù)，并通過5折交叉驗證法訓練得到整個模型的AUC。

算法2隨機森林與Hyperband算法

5 實驗和結果分析

5.1 實驗準備工作

實驗利用Pyod 異常檢測工具庫所集成的4 個標準數(shù)據(jù)集作為模型的訓練驗證數(shù)據(jù)，結合該工具庫所包含的基準模型和本文模型進行實驗對比。具體信息如表1所示。

表1 數(shù)據(jù)集參數(shù)信息Table 1 Details of datasets

為防止過擬合問題，對所有實驗的數(shù)據(jù)采用分層采樣（StraifieldKfold），即原始數(shù)據(jù)按標簽比例拆分為5組，其中1組子集數(shù)據(jù)作為模型驗證集，其余4組子集數(shù)據(jù)作為模型訓練集數(shù)據(jù)，并且重復以上步驟5 次，在所有驗證集上評估結果，有效利用數(shù)據(jù)集。

5.2 實驗數(shù)據(jù)處理和評估指標

模型的評估采用AUC 值、精確率（precision），各個指標的計算涉及到混淆矩陣相關概念，其組成部分如表2所示。

表2 混淆矩陣Table 2 Confusion matrix

表2 中，TP代表真實類別為正樣本而預測類別為正樣本數(shù)量；FP代表真實類別為負樣本而預測類別為正樣本數(shù)量；FN代表真實類別為正樣本而預測類別為負樣本數(shù)量；TN代表真正類別為負樣本而預測類別為負樣本的數(shù)量[18]?？赏ㄟ^混淆矩陣計算得精確率Precision=TP/(TP+FN)；而AUC值是接收者工作特性曲線（receiver operating characteristic，ROC）下的面積，ROC 曲線的橫軸為假正率FPR=FP/(FP+TN)，縱軸為真正率TPR=TP/(TP+FN)，AUC 相比精確率更加考慮分類器對于正樣本和負樣本的分類能力，在數(shù)據(jù)不平衡條件下依然能夠對分類器合理預測。

通過5折分層采樣將數(shù)據(jù)劃分，利用隨機采樣將訓練集中兩個類別數(shù)據(jù)對應的索引分別可重復抽取相同大小數(shù)據(jù)；令生成器G生成的數(shù)據(jù)與抽樣的數(shù)據(jù)維度相同，將兩者輸入到D中訓練；而推理網(wǎng)絡I輸入數(shù)據(jù)保持與G生成數(shù)據(jù)的維度一致；數(shù)據(jù)標簽組的維度是對應輸入數(shù)據(jù)與其標簽的維度拼接，輸入數(shù)據(jù)標簽組到D2訓練以優(yōu)化推理網(wǎng)絡的輸出；整個過程重復5次，每次將驗證集輸入推理網(wǎng)絡中輸出概率和標簽。將模型生成的數(shù)據(jù)平衡樣本經(jīng)過數(shù)據(jù)清洗和5 折分層采樣后輸入隨機森林訓練，輸出結果和經(jīng)過Hyperband優(yōu)化后比較確定推理網(wǎng)絡的最優(yōu)輸出。

5.3 網(wǎng)絡結構設計

組成模型的網(wǎng)絡結構均采用全連接層。以Mnist數(shù)據(jù)集為例，InfoGAN 的生成器組成包含4 層網(wǎng)絡層；其中輸入層有64個神經(jīng)元，后3層隱藏層分別含128、512、1 024 個神經(jīng)元，輸出層神經(jīng)元個數(shù)為100；神經(jīng)網(wǎng)絡Q與判別網(wǎng)絡D共用前4 層網(wǎng)絡層；同樣推理網(wǎng)絡與D共用全連接層便于模型訓練；而判別網(wǎng)絡D2輸入數(shù)據(jù)標簽組需要進行維度拼接；整個模型的輸入是服從[0，1]均勻分布的63維的噪聲向量z和1維的編碼向量c。具體信息如表3所示。

表3 模型的網(wǎng)絡結構Table 3 Network structures of model

5.4 實驗結果與分析

在Mnist數(shù)據(jù)集下，隨機森林的輸入為G生成的樣本x′與經(jīng)過推理網(wǎng)絡I生成的標簽y′；之后使用3 個常用超參數(shù)搜索法與Hyperband對隨機森林進行調參，各個方法所耗費的時間成本和更新參數(shù)后的AUC輸出如表4所示。

表4 Mnist數(shù)據(jù)集隨機森林調參Table 4 Random forest tuning in Mnist dataset

表4中選擇的參數(shù)分別是最小樣本葉片大?。╩in_samples_leaf）和決策樹數(shù)目（n_estimators）。由表中數(shù)據(jù)可得，Hyperband 訓練迭代得到的最優(yōu)超參數(shù)經(jīng)過訓練后輸出的AUC為0.939，相比于次優(yōu)的貝葉斯優(yōu)化提高了0.01，而隨機搜索的結果最差。計算耗費成本方面，網(wǎng)格搜索耗時最長達到184.33 s，并且該時間隨著候選參數(shù)的增多而變大；隨機搜索雖然耗時短，但容易忽略掉參數(shù)空間中的重要信息特征；Hyperband 算法同等條件下訓練耗時42.11 s，比貝葉斯優(yōu)化短，因此其所消耗的成本與計算資源最低；其中訓練耗時也與計算機硬件條件相關。綜上比較可得出Hyperband 綜合表現(xiàn)優(yōu)于傳統(tǒng)方法。

分別使用5 個基準模型：基于統(tǒng)計概率的KNN、基于線性模型的PCA、基于半監(jiān)督的OCSVM、基于相似度衡量的LOF以及基于集成算法的IF，對GAN-RF的異常檢測效果進行評估。利用精確率分析預測為正常樣本中實際為正常的概率，并用ROC曲線下面積AUC 綜合評估模型的分類效果。

表5和表6是5個基準模型和GAN-RF在不同數(shù)據(jù)集中訓練得到精確率和AUC 值信息，其中加粗的值為當前數(shù)據(jù)集中最優(yōu)指標。在精確率方面，GAN-RF 在cardio 和Mnist 數(shù)據(jù)集上達到的最佳精確率分別為0.59和0.83；在wbc 數(shù)據(jù)集中表現(xiàn)接近最優(yōu)，達到0.46；而在letter數(shù)據(jù)中精確率排名也相對靠前；由此說明GAN-RF對于正常樣本預測相對于其他模型效果也有一定提升。在AUC 方面，GAN-RF 在cardio、Mnist 和wbc 數(shù)據(jù)集上都排名第一，分別為0.98、0.99、0.92，其中在Mnist數(shù)據(jù)集上比次優(yōu)模型提高了0.14，在letter 數(shù)據(jù)集中該模型表現(xiàn)也相對出色。

表5 各個模型的Precision值Table 5 Precision value of different models

表6 各個模型的AUC值Table 6 AUC value of different models

圖2 是各個模型在Mnist 數(shù)據(jù)集中的ROC 曲線圖，可以看出GAN-RF的ROC曲線最靠近左上角。當ROC曲線靠近左上角時，F(xiàn)PR=0,TPR=1，根據(jù)TPR 和FPR 計算公式可知，此時FN=0,FP=0，即模型對所有樣本分類正確。綜上可得，GAN-RF對異常樣本和正常樣本的分類比其余任何基準模型較為出色。

圖2 Mnist數(shù)據(jù)集中各模型的ROC曲線圖Fig.2 ROC curve of different models in Mnist dataset

圖3是GAN-RF在Mnist數(shù)據(jù)集下對異常數(shù)據(jù)的概率預測折線圖。其中橫坐標代表樣本所在位置索引，縱坐標代表預測概率值，紅色直線代表實際異常樣本所在的位置，藍色折線是GAN-RF模型異常樣本預測概率輸出的折線。從圖2可以看出，異常樣本密集分布位置為7 000 的兩側，而GAN-RF 模型對于異常值區(qū)間預測的準確率普遍較高，從而連接成密集的折線段。綜上進一步證明了GAN-RF對于異常樣本有很好的區(qū)分能力。

圖3 Mnist數(shù)據(jù)集中異常值預測區(qū)間折線圖Fig.3 Line chart of outlier prediction value in Mnist dataset

6 結束語

本文提出了一種基于生成對抗網(wǎng)絡的異常檢測模型。首先使用InfoGAN模型生成數(shù)據(jù)平衡樣本；接著構造一個推理神經(jīng)網(wǎng)絡進行樣本標簽的生成及其概率輸出；之后將推理網(wǎng)絡作為生成樣本的標簽生成器，將真實樣本標簽組和生成樣本標簽組輸入一個判別器反復迭代訓練，優(yōu)化推理網(wǎng)絡標簽生成及其概率輸出的準確率；最后將生成樣本及標簽送入隨機森林做分類，結合Hyperband 算法對模型進行調參，并將輸出結果與推理網(wǎng)絡輸出進行比較，不斷迭代優(yōu)化推理網(wǎng)絡，使得模型對于異常樣本能夠有效預測。實驗將Hyperband 算法的調參與其他3個方法進行比較。在4個標準數(shù)據(jù)集上和5 個基準模型做比較，實驗結果表明，本文提出的GAN-RF 在3 個數(shù)據(jù)中都取得最佳的AUC 值，其中在Mnist 數(shù)據(jù)集上相比于次優(yōu)的模型KNN 提高了0.14。因此本文提出的模型的綜合性能高于常用的基準機器學習模型，并且將圖像處理中應用廣泛的生成對抗網(wǎng)絡移植到異常檢測中，對于該領域具有一定參考價值和經(jīng)濟效益。