卷積自編碼器融合核近似技術的異常檢測模型

武玉坤，李 偉，陳沅濤

(1.浙江郵電職業(yè)技術學院,浙江 紹興 312366; 2.浙江工業(yè)大學 計算機科學與技術學院,杭州 310023; 3.長沙理工大學 計算機與通信工程學院,長沙 410114)

0 引言

異常檢測是模式識別領域中眾所周知的問題， 在正?；蝾A期模式已知的情況下，分類器要識別的異常模式都是在訓練集中稀缺或不存在的模式數(shù)據(jù)[1]。它可以定義為一類分類(OCC，one-class classification)問題，圖像中異常行為的分類一直是一個非常有趣的話題，近年來許多研究都集中在檢測異常圖像和自動視頻監(jiān)控中的事件[2-3]。

通常，異常檢測算法是通過學習數(shù)據(jù)的特征表示，然后把那些遠離這個框架模型的數(shù)據(jù)視為異常；具有大量實例(訓練集)的已知類別(正常模式)被稱為正類或目標類。大量方法已被廣泛用于異常檢測問題。例如基于鄰居的模型、基于統(tǒng)計的模型和基于深度學習的模型。Xu 和 Ricci使用單分類支持向量機來預測視頻中的異常幀[4]。Kim和Grauman設計了一種用于檢測異?；顒拥膯晤惙诸惙椒?，稱為時空馬爾可夫隨機場模型[5]。在文獻[6]中，為OCC學習了一個概率模型，分類器是無監(jiān)督的，不需要標記訓練數(shù)據(jù)。在文獻[7]中，訓練無監(jiān)督的深度信念網(wǎng)絡(DBN,deep belief network)在相對低維空間中提取一組特征，并用DBN學習的特征訓練一類分類器。一般來說，一類分類器對于大型和高維數(shù)據(jù)集中的決策表面建模效率低下,但是通過將分類器與 DBN 相結合，可以減少冗余特征并提高OCC 的性能。盡管在過去幾年異常檢測取得了豐碩的進展，但隨著數(shù)據(jù)維度的增長，異常檢測就越困難，原因在于任何一個異常樣本都可能是一個罕見的實例，被觀察到的概率也就越低。在沒有人工監(jiān)督的情況下對多維或高維數(shù)據(jù)進行穩(wěn)健的異常檢測仍然是一項具有挑戰(zhàn)性的任務。因此需要有效的方法來檢測大規(guī)模高維數(shù)據(jù)中的異常，并要對不同級別的數(shù)據(jù)噪聲具有很強的魯棒性。解決該問題廣泛采用的方案是降低輸入的維數(shù)，然后在相應的低維空間中進行檢測異常。特征降維的方法有很多，比如主成分分析(PCA,principal component analysis)、核PCA[8]、自編碼器(AE,auto-encoder)、非負矩陣分解(NMF, non-negative matrix factorization)、遺傳編程、DBN等降維方法。其中，PCA和AE是兩種常用的方法?；赑CA的降維方法保留特征值較大的數(shù)據(jù)信息，丟棄數(shù)據(jù)信息中具有較小的特征值。AE 是一種基于深度學習的數(shù)據(jù)降維方法，雖然基于 AE 的降維方法有更多的計算成本，但它已被證明在異常檢測中進行特征降維非常成功。深度學習模型已經(jīng)在圖像和視頻的監(jiān)督分類中實現(xiàn)了最優(yōu)的目標識別性能；之所以有如此高的性能的主要是因為他們可以自動提取特征，并具有卓越的圖像表示判別能力。文獻[9]中堆疊降噪自動編碼器 (SDAE,stacked denoising auto-encoders) 僅使用正類進行訓練單類分類器取得了良好的性能。然而，當直接應用于 OCC 問題時，SDAE 可能效率低下，因為自編碼器重構層的特征空間映射可能是稀疏的，它不能保證重構層中數(shù)據(jù)的緊湊表示，在訓練過程中，SDAE 的重構層是最小化所有實例的重構誤差，而不是試圖在特征空間中實現(xiàn)緊湊表示，這個問題阻礙了正類與負類的界定并且減弱了分類性能。

OCSVM是廣泛使用的有效用于識別異常的無監(jiān)督技術。但是OCSVM 在復雜的高維數(shù)據(jù)集上的性能不是最優(yōu)的，所以很多文獻已經(jīng)提出了使用特征選擇和特征提取方法來處理復雜的高維數(shù)據(jù)，以便與OCSVM相結合來實現(xiàn)異常檢測。在深度學習取得前所未有的成功之后,許多結合使用深度特征提取學習和OCSVM的混合模型已經(jīng)出現(xiàn)。使用自動編碼器作為特征提取器，其中隱藏層表示作為傳統(tǒng)異常檢測算法(如OCSVM)的輸入。由于混合模型使用自動編碼器提取深度特征，然后將其提供給單獨的異常檢測方法，它們無法影響隱藏層中的表征學習。從某種意義上說，特征學習與異常檢測任務無關，并且不是為異常檢測而定制的。也就是說深度學習的表示學習與OCSVM的異常檢測是解耦的，不能實現(xiàn)端到端的學習。另外一個限制是由于OCSVM是一種核學習方法，常用的核函數(shù)是高斯核函數(shù)，由于核矩陣(Gram)的計算，其計算復雜度隨樣本量的增加呈平方關系增長。針對此限制的解決方案是采用核近似方法，常用的核近似方法有Nystrom方法[10]與隨機傅里葉核近似方法(RFF,random fourier features)[11]。Nystrom方法是得到核矩陣的一個低秩矩陣；隨機傅里葉核近似方法是使用隨機特征映射顯式地將數(shù)據(jù)映射到一個歐氏內積空間。在平移不變核的情況下，可以使用隨機傅里葉特征來設計大規(guī)模的核機器學習方法。在文獻[11]中，作者提出了利用隨機特征來逼近核的方法，而不是使用隱式特征映射。其思想是使用隨機特征映射明確地將數(shù)據(jù)映射到一個歐氏內積空間，就可以使用歐氏內積來進行核近似。Huang等[12]表明，在語音識別中，用隨機傅里葉特征進行核近似，淺層核機器學習與深度學習的性能相匹配，同時具有較高的計算效率。

隨著當前大數(shù)據(jù)時代的到來，各種數(shù)據(jù)集規(guī)模越來越大，未知的異常類型越來越多樣化，異常檢測模型的準確性、魯棒性以及高效性仍是首要考慮的因素。本文提出了基于深度卷積自編碼器與核近似單分類支持向量機相結合的端到端的圖像異常檢測模型，深度卷積自編碼器主要用于表示學習以及降維，深度自編碼器學習到的有效特征使用隨機傅里葉特征進行核近似，再輸入線性單類支持向量機，使提出的模型具有更高的準確率與魯棒性。

提出的模型在于將深度網(wǎng)絡提取豐富特征表示的能力與OCSVM目標函數(shù)相結合，獲得超平面以將所有正常數(shù)據(jù)點與原點分開。

本文的其余部分安排如下：第2節(jié)回顧了CAE與OCSVM和核近似的背景；第3節(jié)詳細闡述了本文提出的混合模型；第4節(jié)介紹了所用的數(shù)據(jù)集、實驗設置等；第5節(jié)對試驗結果進行了分析與討論。最后對本文進行了總結。

1 相關技術

1.1 深度卷積自編碼器

自動編碼器模型由Rumelhart等人提出[13]，AE(auto-encoder)被認為是一種無監(jiān)督的全連接單層神經(jīng)網(wǎng)絡，可以從未標記的數(shù)據(jù)集中學習特征表示。AE的核心思想是重建數(shù)據(jù)的原始模式，從而獲得數(shù)據(jù)的降維表示。

最原始的自編碼器網(wǎng)絡是一個三層的前饋神經(jīng)網(wǎng)絡結構，由輸入層、隱藏層、輸出層(重構層)構成，如圖1所示。整個自編碼器由下面兩個操作組成。

圖1 自編碼器基本結構

一是編碼，數(shù)據(jù)從輸入層到隱藏層的過程，其過程如式(1)所示：

h(x)=f(WTx+b)

(1)

其中:f是激活函數(shù)，x=(x1,x2,…,xn)∈Rn是輸入向量，n表示輸入層神經(jīng)元的個數(shù)，h=(h1,h2…,hk)∈Rk是隱藏層的向量，表示輸入向量的低維壓縮表示，k表示隱藏層神經(jīng)元的數(shù)量。W∈Rn×k是輸入層與隱藏層連接的權重矩陣，b∈Rn×1是輸入層的偏置向量。

二是解碼：數(shù)據(jù)從隱藏層到輸出層的過程，其計算過程如式(2)所示：

(2)

(3)

AE和DAE(deep auto-encoder)的主要局限性在于它們無法捕獲圖像和視頻序列中的二維結構，這樣的特性將導致網(wǎng)絡參數(shù)的冗余，并且去除了可以從圖像中提取的局部信息，而這在異常檢測場景中特別重要，因為異常位于圖像中。為了解決這個問題，Masci等人提出了CAE體系結構[14]。CAE與普通AE類似，卷積自編碼器(CAE)將卷積神經(jīng)網(wǎng)絡(CNN,convolutional neural network)中的卷積濾波的優(yōu)點與自動編碼器的無監(jiān)督預訓練結合在一起。但它們之間的區(qū)別在于，在CAE中，權重在輸入的所有位置之間共享，從而保留了二維空間的局部性，類似CNN[15]。損失函數(shù)類似于AE，如式(4)所示。

(4)

圖2 卷積自編碼器體系結構

即編碼器和解碼器分別由全連接改成卷積與反卷積操作，通過外層的池化與反池化將整個網(wǎng)絡貫穿起來。CAE的編碼過程包括卷積操作與池化操作，卷積操作表示為：

hk=σ(x*Wk+bk)

(5)

其中:hk表示第k個卷積面，σ表示激活函數(shù),Wk和bk分別表示第k個權值和偏置，*表示二維卷積操作。卷積操作完成后進行池化，池化的方法包括最大池化，平均池化與隨機池化，本文選擇最大池化。CAE的解碼過程包括反池化層，反卷積層；反卷積層通過反卷積執(zhí)行卷積層的逆運算。反卷積層中的學習濾波器用作重構輸入形狀的基礎，并考慮了所需的輸出維度，如式(6)所示：

(6)

1.2 單分類支持向量機

Scholkopf等人[16]提出了單分類SVM，把SVM從二分類擴展到了單分類。給定一組訓練向量xi∈Rn,i=1,…,N，其中所有的訓練向量都屬于同一個類。OCSVM構建了一個超平面，該超平面基本上將所有目標類數(shù)據(jù)點與原點分開，并使該超平面與原點的距離最大化。這主要是通過解決式(7)所示的優(yōu)化問題來完成的。

s.t.ωTφ(xi)≥ρ-ξii=0,…N,

ξi≥0,i=0,…N

(7)

決策函數(shù)表示為：

(8)

如果xi屬于目標類，取值為1，否則取值為0。其中，ω是權重系數(shù)，φ(·)是特征空間中的映射，K是核矩陣，ai是拉格朗日乘數(shù)，N是訓練樣本總數(shù)，v是一個控制訓練集中離群點比例的正則參數(shù)，ρ是偏差項。決策函數(shù)中的ai可以通過公式(9)所示的對偶問題來獲得。

(9)

其中:Qij=K(xi,xj)=φ(xi)Tφ(xj)。

從上述描述可以看出，為了尋找最優(yōu)超平面的問題，即 OCSVM 的決策邊界，超參數(shù)選擇的至關重要[17]。為了解決這個問題，本文使用鉸鏈損失函數(shù)來取代(7)式中的ξi。則式(7)轉換為一個無約束的優(yōu)化問題，如下式(10)所示:

(10)

其中:h(xi) 表示卷積自編碼器的最后隱含層的輸出。

1.3 隨機傅里葉特征

為了解決核機器學習的可擴展性問題，核近似算法被廣泛應用，由于隨機傅里葉核近似方法具有較低的復雜度，且不需要預訓練，因此本文主要采用RFF。Bochner定理[11]保證，只要核函數(shù)滿足平移不變性，連續(xù)性和正定性，就存在一個概率分布p(·)的傅里葉變換與k(·) 對應，即：

(11)

其中:p(w) 是w的概率密度函數(shù)，對于高斯核函數(shù)，通過k(x,y) 的傅里葉逆變換計算p(w)，可得w～N(0,2γI)，其中I表示單位矩陣。利用標準蒙特卡洛近似積分方法逼近高斯核，D維獨立同分布的權重向量(w1,w2,…wD) 可以從分布p(·) 中進行采樣，核函數(shù)的偏移余弦映射如式(12)所示。

(12)

其中:wi∈Rd服從正態(tài)分布N(0,2γI)。應用核近似映射，非線性單分類支持向量機的無約束目標函數(shù)變換為：

(13)

2 提出的模型

這部分詳細闡述基于CAE與OCSVM的組合模型，即深度卷積自動編碼—單分類支持向量機(CAE-OCSVM)模型，用于高維和大數(shù)據(jù)集的異常檢測的任務。該模型由兩個主要組件組成，如圖3所示。

義烏出口跨境電商企業(yè)在高速增長的同時，也面臨著諸多不利因素。調查數(shù)據(jù)顯示，10人以下跨境電商企業(yè)占66.67%，100人以上企業(yè)不到5%，運營時間超過3年企業(yè)少于30%，年交易額在人民幣1000萬元以內企業(yè)有70.37%，年銷售額到達億元的企業(yè)不足10%。與杭州、上海、深圳等地區(qū)的企業(yè)相比，義烏中小跨境電商出口企業(yè)數(shù)量多規(guī)模小，經(jīng)營過程中要承擔更高概率和更深程度的風險，因此，如何促進中小企業(yè)做大做強成為出口跨境電商的重要研究內容之一。

圖3 提出的CAE-OCSVM框架模型

深度卷積自編碼器主要用于降維，獲得輸入圖像的壓縮表示。單分類支持向量機向量機主要用于異常檢測，為了使OCSVM也適用大規(guī)模高維數(shù)據(jù)集，本文使用隨機傅里葉特征進行核近似。模型中卷積自編碼器的瓶頸層的特征經(jīng)核近似后直接作為線性OCSVM的輸入，同時進行訓練以優(yōu)化兩個模型的變量參數(shù)，這將會使得卷積自編碼學習到的特征更有利于OCSVM把正常數(shù)據(jù)與異常數(shù)據(jù)區(qū)分開來。

(14)

其中:

(15)

式(15)表示卷積自編碼器的重構誤差，z是如公式(12)所示的隨機傅里葉映射，α是平衡卷積自編碼器重構損失與OCSVM間隔優(yōu)化的超參數(shù)。從公式(14)的目標函數(shù)可以看出，在模型訓練過程中，不僅考慮了單分類SVM的損失函數(shù)的最小化，而且也考慮了深度卷積神經(jīng)網(wǎng)絡的重構誤差的最小化優(yōu)化，在兩者的作用下，將會學習到數(shù)據(jù)更加本質的特征表示，這將便于提高異常檢測的準確性。目標函數(shù)使用梯度下降法進行優(yōu)化，具體如算法如表1所示。

表1 提出的算法流程

3 試驗配置

本文的方法以無監(jiān)督的方式從高維數(shù)據(jù)中檢測異常。在4個公開數(shù)據(jù)集上進行了試驗，并與主流無監(jiān)督方法進行了比較。4個公開基準數(shù)據(jù)集分別是MNIST, Fashion MNIST,CIFAR-10,STL-10,詳細描述如表2所示。在某些應用中，異常情況具有通用性，例如入侵檢測[18]，從搜索引擎檢索圖像[19]等。針對這些應用，從每個數(shù)據(jù)集中選擇一個類別作為普通類別，而將其余類別視為數(shù)據(jù)集中的異常類別。本文使用AUC(Area Under Curve)作為模型的性能評價指標。

表2 實驗數(shù)據(jù)集

3.1 數(shù)據(jù)集介紹

MNIST:它包含70 000張黑白手寫數(shù)字圖片，類別從0～9，本文試驗中選擇某一類別作為異常類，樣本是28*28的二維灰白圖像。

Fashion MNIST:它是一些流行服飾的數(shù)據(jù)集，包含10個類別，跟MNIST類似，也是70 000張灰白圖像，格式也是28*28的二維灰白圖像。

STL-10:它與CIFAR-10類似，也是10個類別，每個類別包含1 300張彩色圖像， 800張作為訓練集，500張作為測試集，圖像的尺寸是96*96*3。

3.2 基準方法

CAE-OCSVM模型與文獻[20]的模型單類支持向量機(OCSVM)，局部離群因子(LOF，local outlier factor)，隔離森林(IF，isolation forest)，深度卷積自編碼器(DCAE，deep convolutional autoencoder)和深度支持向量數(shù)據(jù)描述(Deep SVDD，deep support vector data description)、深度嵌入聚類(DEC，deep embedded cluster)以及DAESVM的異常檢測方法進行了比較。

3.3 數(shù)據(jù)預處理與參數(shù)設置

3.3.1 預處理

根據(jù)式(16)，利用max-min歸一化將所有輸入圖像的數(shù)值映射到[0,1]范圍，進行歸一化處理。

(16)

其中:xi為數(shù)據(jù)的屬性值，min為該數(shù)據(jù)屬性的最小值，max為最大值。

3.3.2 模型配置

本文采用的深度卷積自編碼器的網(wǎng)絡結構如圖4所示，這個結構包含3個卷積層，3個反卷積層與1個稠密層，在稠密層上使用L2正則化。在編碼器部分的過濾器的尺寸分別為5*5,5*5,3*3,卷積操作的步長為2*2，使用ReLu激活函數(shù)。稠密層的神經(jīng)元數(shù)量是10，這樣可以得到一個10維的壓縮特征。本文采用Adam優(yōu)化算法來進行神經(jīng)網(wǎng)絡的訓練，所有數(shù)據(jù)集的學習率設置為0.001，每個數(shù)據(jù)集的最小訓練批次與訓練次數(shù)如表3所示。

圖4 深度卷積自編碼器結構

表3 訓練參數(shù)設置

4 結果與討論

為了評估該方法的總體性能，在4個公開可用的數(shù)據(jù)集上進行了實驗，并與異常檢測的5個常用方法的AUC進行了比較。 此外，分析了異常率的影響并將其與其他方法進行了比較。

4.1 4個數(shù)據(jù)集上的AUC比較

在4個高維數(shù)據(jù)集上評估了本文提出的模型，這些數(shù)據(jù)集的描述如表2所示。表4至表7顯示了所提模型在MNIST, FASHION MNIST, CIFAR-10和STL-10數(shù)據(jù)集上的實驗結果。每個結果都是運行五次的平均值。從以下表格可以看出，CAE-OCSVM模型優(yōu)于其他經(jīng)典異常檢測方法，4個數(shù)據(jù)集的平均AUC為0.930、0.859、0.656、0.672。在表4的MNIST數(shù)據(jù)集中，盡管當正常類別分別為數(shù)字5、6和7時，LOF的AUC略高于所提模型，但所提模型總體上顯示出更好的性能。在Fashion MNIST數(shù)據(jù)集上，從表5中可以看出，當正常類別為Dress與Shirt時，LOF模型的AUC分別為0.883和0.787，要高于本文模型的0.841和0.689，在其余類別以及平均AUC方面，本文模型的性能會更好。CIFAR-10的結果列于表6，當正常類別為Airplane，Cat，Dog和Ship時，CAE-OCSVM表現(xiàn)出良好的性能。 盡管對于其他正常類別，本文模型表現(xiàn)并不特別令人滿意，但CAE-OCSVM的總體AUC達到了最佳，平均AUC為0.656。表7顯示了數(shù)據(jù)集維度為27,648的STL-10的結果，當正常類別為Deer,Dog,Truck時，CAE-OCSVM的AUC性能略低于方法IF，特別是在類別Truck中，模型的性能低于IF、DCAE和OCSVM，但整體上可獲得最佳性能。 其平均AUC為0.672，大于其它方法的AUC。

表4 模型在MNIST數(shù)據(jù)集異常率為0.1情況下的平均AUCs

表5 模型在Fashion MNIST數(shù)據(jù)集異常率0.1情況下的平均AUCs

表6 模型在CIFAR-10數(shù)據(jù)集異常率0.2情況下的平均AUCs

表7 模型在STL-10數(shù)據(jù)集異常率0.2情況下的平均AUCs

4.2 數(shù)據(jù)集中異常率的影響

本文為了驗證所提出模型的魯棒性，設置異常率為0.1到0.5，試驗結果如圖5所示。從圖5可以看出，本文模型的AUC值在不同的數(shù)據(jù)集以及不同的異常率中都是最大的。此外，從圖5也可以看出，隨著的異常率的變化，本文所提模型的AUC值的波動是最小的，而其他模型的AUC值卻隨著異常率的增加而下降較大，這充分驗證了所提模型具有更強的魯棒性與泛化能力。從圖中結果可以看出，隨著異常率的增大，各個模型的AUC性能基本上是呈下降趨勢的，這也證明了模型對樣本中存在少量異常點的異常檢測能力。從圖中也反映出了深度學習與OCSVM結合的模型在

圖5 4個數(shù)據(jù)集上不同異常率的性能分析

異常率較小的時候，效果顯著，DAESVM與CAE-OCSVM在異常率0.1～0.3之間時，兩個模型的性能是最優(yōu)的，這也體現(xiàn)了這種混合模型適合具有少量異常樣本數(shù)據(jù)集的異常檢測。

4.3 模型復雜度分析

根據(jù)提出的模型可知，模型主要包含深度卷積自編碼器和單類支持向量機，模型的時間復雜度主要是兩者時間復雜度之和，由文獻[21]可知，卷積自編碼器的時間復雜度為：

其中:K為卷積自編碼器的卷積層數(shù)，M2為特征圖面積，S2為卷積核面積，k表示第k個卷積層，Ck為第k個卷積層的卷積核個數(shù)。

而提出的模型的優(yōu)勢在于卷積自編碼器器輸出后進行核近似，然后通過線性支持向量機進行異常檢測，故重點分析一下核近似支持向量機的時間復雜度的提升。假定訓練集樣本數(shù)為n，d為深度卷積自編碼器的輸出維度，也就是樣本降維后的維度，D為隨機傅里葉特征的空間維度，由文獻[22]可知，使用SMO算法訓練高斯核SVM的時間復雜度為O(n2)，而求解線性支持向量機的時間復雜度為O(nD)，隨機傅里葉特征映射的時間復雜度為O(nDd)；在單類支持向量機的參數(shù)設置中，本文使用k折交叉驗證來決定高斯核的參數(shù)γ和正則化參數(shù)ν，令α,β分別表示搜索網(wǎng)格的長度，則高斯核SVM的時間復雜度為t0=O(kαβn2)線性SVM的時間復雜度為t1=O(kαβnD)，隨機特征映射的時間復雜度為變?yōu)閠2=O(αnDd)，那么從核近似到訓練線性支持向量機的總的時間為隨機特征映射的過程所花費的時間與訓練單類支持向量機的時間之和，即TOCSVM～t1+t2,故所提模型的時間復雜度為T=TCAE+TOCSVM。

由分析可知，高斯核OCSVM的時間復雜度與樣本數(shù)量的平方成正比，而核近似之后，經(jīng)線性OCSVM訓練的時間復雜度與樣本的數(shù)量成線性關系，遠遠小于核支持向量機的訓練時間。這充分證明了所提模型的高效性。

5 結束語

本文提出了一個新的圖像異常檢測模型，模型聯(lián)合深度卷積自編碼器與單分類支持向量機，深度卷積自編碼器負責圖像降維以及特征表示學習，單分類支持向量機負責異常檢測。同時使用隨機傅里葉特征對單分類支持向量機的核函數(shù)進行核近似，把3種技術聯(lián)合起來，構建了一個新的模型目標函數(shù)，目標函數(shù)能夠學習到數(shù)據(jù)集的本質特征，實現(xiàn)了一個端到端的訓練模型。模型在4個圖像數(shù)據(jù)集上進行了實驗驗證，并且與不同的異常檢測模型進行了性能對比，從實驗結果來看，提出的模型在整體性能方面優(yōu)于其它異常檢測模型。模型還在不同的異常率的情況下進行了實驗，結果證實，提出的模型具有更好的魯棒性與泛化能力。下一步將重點在多核近似方面進行進一步的研究，來進一步提高模型的泛化能力，同時將在更多的數(shù)據(jù)集上進行實驗驗證。