基于釘板分布稀疏變分自編碼器的異常檢測(cè)算法研究

陳華華，陳哲

基于釘板分布稀疏變分自編碼器的異常檢測(cè)算法研究

陳華華，陳哲

（杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州 310018）

異常檢測(cè)由于其廣泛的應(yīng)用一直是數(shù)據(jù)挖掘中一個(gè)重要的研究分支，它有助于研究人員獲得重要的信息進(jìn)而對(duì)數(shù)據(jù)做出更好的決策。提出了一種基于釘板分布稀疏變分自編碼器的異常檢測(cè)模型。首先，使用離散?連續(xù)混合模型釘板分布作為變分自編碼器的先驗(yàn)，模擬隱變量所在空間的稀疏性，得到數(shù)據(jù)特征的稀疏表示；其次，以所提出的自編碼器構(gòu)建深度支持向量網(wǎng)絡(luò)，對(duì)特征空間進(jìn)行壓縮，并采用最優(yōu)超球體區(qū)分正常數(shù)據(jù)和異常數(shù)據(jù)；再次，以數(shù)據(jù)特征和超球體中心之間的歐氏距離完成異常檢測(cè)；最后，在基準(zhǔn)數(shù)據(jù)集MNIST（modifiednational institute of standards and technology database）和Fashion-MNIST上的實(shí)驗(yàn)評(píng)估表明，與現(xiàn)存的異常檢測(cè)算法相比，本文所提出的算法具有更好的檢測(cè)效果。

異常檢測(cè)；變分自編碼器；釘板分布；深度支持向量網(wǎng)絡(luò)

0 引言

異常數(shù)據(jù)在統(tǒng)計(jì)上具有遠(yuǎn)離大多數(shù)數(shù)據(jù)點(diǎn)的特點(diǎn)[1]，因此也被稱為離群值。異常檢測(cè)具有廣泛的應(yīng)用領(lǐng)域，如互聯(lián)網(wǎng)金融[2]、網(wǎng)絡(luò)入侵檢測(cè)[3]、醫(yī)療圖像輔助病癥診斷[4]、工業(yè)設(shè)備運(yùn)行監(jiān)控[5]、智能安防[6]、自動(dòng)駕駛[7]等。隨著數(shù)據(jù)規(guī)模和維度的增長(zhǎng)，研究有效的異常檢測(cè)算法對(duì)眾多領(lǐng)域而言具有重要的現(xiàn)實(shí)意義，一直是國(guó)內(nèi)外學(xué)者研究的焦點(diǎn)。

早期異常檢測(cè)方法通常采用基于特征空間中數(shù)據(jù)的局部密度來(lái)確定離群點(diǎn)，其中比較經(jīng)典的方法是局部離群因子（local outlier factor，LOF）算法[8]，該方法根據(jù)數(shù)據(jù)點(diǎn)與其鄰域內(nèi)數(shù)據(jù)點(diǎn)在可達(dá)距離、局部可達(dá)密度等因素計(jì)算局部離群因子從而判斷數(shù)據(jù)是否異常，這種方法的缺點(diǎn)是算法復(fù)雜度較高。Liu等[9]提出了基于集成學(xué)習(xí)的孤立森林（isolation forest，IF）算法，利用二叉搜索樹結(jié)構(gòu)建立孤立樣本，對(duì)樣本點(diǎn)的孤立計(jì)算異常值，異常點(diǎn)由于數(shù)量少且具有與大部分樣本的疏離性往往會(huì)被更早地孤立出來(lái)，但是該方法只能檢測(cè)全局異常的情況，并且不適于特別高維的數(shù)據(jù)。

近年來(lái)，隨著大數(shù)據(jù)技術(shù)的發(fā)展，數(shù)據(jù)的維度越來(lái)越高，而深度神經(jīng)網(wǎng)絡(luò)通過(guò)多層結(jié)構(gòu)提取數(shù)據(jù)的特征表示，在大規(guī)模高維數(shù)據(jù)中越來(lái)越體現(xiàn)出其優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)的良好性能。得益于深度學(xué)習(xí)的廣泛應(yīng)用和快速發(fā)展，越來(lái)越多的研究者利用深度網(wǎng)絡(luò)進(jìn)行異常檢測(cè)。Erfani等[10]提出了一種混合模型，將無(wú)監(jiān)督深度置信網(wǎng)絡(luò)（deep belief network，DBN）訓(xùn)練為降維算法，將數(shù)據(jù)轉(zhuǎn)換為低維特征集，并從DBN學(xué)到的特征中訓(xùn)練出單類支持向量機(jī)（one-class support vector machine，OC-SVM）。但是DBN采用貪婪算法逐層訓(xùn)練參數(shù)，可能導(dǎo)致解非全局最優(yōu)，于是研究者開始轉(zhuǎn)向采用自編碼器和生成對(duì)抗網(wǎng)絡(luò)等深度網(wǎng)絡(luò)應(yīng)用于異常檢測(cè)。Li等[11]利用膠囊網(wǎng)絡(luò)構(gòu)建自編碼器和分類器網(wǎng)絡(luò)，根據(jù)預(yù)測(cè)概率和重建誤差檢測(cè)異常。Zimmerer等[12]提出了一種基于變分自編碼器的異常檢測(cè)方法，并使用模型內(nèi)潛在表示偏差和重建誤差進(jìn)行異常檢測(cè)。Inderjeet將6層自編碼網(wǎng)絡(luò)的第2、3層改用膠囊網(wǎng)絡(luò)結(jié)構(gòu)對(duì)數(shù)據(jù)進(jìn)行編碼，利用重建誤差檢測(cè)異常[13]。編碼器可以將復(fù)雜的高維數(shù)據(jù)映射到低維，但是其潛在空間往往會(huì)產(chǎn)生許多不攜帶任何信息的潛在維度，導(dǎo)致獲取捕捉觀測(cè)數(shù)據(jù)復(fù)雜性的編碼產(chǎn)生問題[14]。Schlegl等[15]提出一種深度卷積生成對(duì)抗網(wǎng)絡(luò)獲取醫(yī)學(xué)圖像的特征，并使用一種基于從圖像空間到潛在空間映射的異常評(píng)分方案檢測(cè)圖像異常。但是，有學(xué)者指出在有較少異常數(shù)量的情況下深度生成模型的表現(xiàn)沒有近鄰等傳統(tǒng)方法表現(xiàn)出色[16]。

目前大多數(shù)的異常檢測(cè)算法通過(guò)深度神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)中提取特征，然后使用重建誤差或概率等啟發(fā)式方法檢測(cè)異常。因此，設(shè)計(jì)從大規(guī)模數(shù)據(jù)中提取判別特征的深度網(wǎng)絡(luò)是至關(guān)重要的。考慮到稀疏編碼可以提高特征表示的質(zhì)量，本文提出了一種基于稀疏變分自編碼器的異常檢測(cè)模型，該模型優(yōu)化了釘板分布（spike and slab distribution）先驗(yàn)。釘板分布可以靈活地模擬[17]稀疏分布陣列，使它們適合于許多類型的數(shù)據(jù)，因?yàn)樗梢粋€(gè)二進(jìn)制分量和一個(gè)連續(xù)分量組成，通過(guò)將兩個(gè)分量相乘產(chǎn)生一個(gè)隨機(jī)變量，其值恰好為零或從控制連續(xù)分量的分布中得出。本文提出使用變分自編碼器的釘板分布先驗(yàn)?zāi)M數(shù)據(jù)潛在的存在或缺失，該模型將深度支持向量網(wǎng)絡(luò)與釘板先驗(yàn)相結(jié)合，為異常檢測(cè)提供了一個(gè)框架。

1 異常檢測(cè)模型

1.1 釘板分布

1.2 稀疏變分自編碼器

變分自編碼器[19]采用變分推理解決模型優(yōu)化問題，通過(guò)將自編碼網(wǎng)絡(luò)與概率統(tǒng)計(jì)結(jié)合，學(xué)習(xí)數(shù)據(jù)的特征分布，是目前深度學(xué)習(xí)領(lǐng)域的一種重要生成模型。變分自編碼器通過(guò)優(yōu)化目標(biāo)函數(shù)的下界來(lái)達(dá)到訓(xùn)練模型的目的，它的目標(biāo)函數(shù)變分下界為：

式（5）可進(jìn)一步改寫為：

變分下界由兩項(xiàng)組成：第一項(xiàng)是先驗(yàn)項(xiàng)，它鼓勵(lì)最小化編碼分布和先驗(yàn)之間的KL差異；第二項(xiàng)是重建項(xiàng)，它在識(shí)別函數(shù)下最大化對(duì)數(shù)據(jù)可能性的期望。

本文引入釘板分布先驗(yàn)以增加隱變量的稀疏性，可以得到隱變量的先驗(yàn)概率密度：

與標(biāo)準(zhǔn)VAE（variational auto-encoder）相同，通過(guò)最大化變分下界來(lái)最大化樣本的邊緣概率分布，經(jīng)過(guò)推導(dǎo)得到稀疏變分自編碼器的變分下界為：

1.3 深度支持向量網(wǎng)絡(luò)

受支持向量數(shù)據(jù)描述的啟發(fā)，本文通過(guò)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)把網(wǎng)絡(luò)輸出擬合到最優(yōu)超球體中，由于網(wǎng)絡(luò)把輸出緊密地映射到球體中，因此它能提取數(shù)據(jù)特征分布變化的共同因素。本文采用的深度支持向量網(wǎng)絡(luò)目標(biāo)函數(shù)為：

1.4 網(wǎng)絡(luò)模型

本文提出的基于釘板分布稀疏變分自編碼器的異常檢測(cè)模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1.5 異常檢測(cè)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)配置及數(shù)據(jù)集

為了驗(yàn)證方法的有效性，對(duì)方法進(jìn)行了驗(yàn)證。采用的計(jì)算機(jī)配置和編程環(huán)境如下：Intel Core i5-7300HQ@2.50GHzCPU，內(nèi)存為8 GB，Windows10系統(tǒng)下的python3.6編譯器，編程環(huán)境為TensorFlow和Keras，編程語(yǔ)言為Python。

本文使用深度神經(jīng)網(wǎng)絡(luò)的常見參數(shù)[21]搭建稀疏變分自編碼器，由5個(gè)全連接層組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。其中編碼網(wǎng)絡(luò)的網(wǎng)絡(luò)維度是D-500-500-2000-H，解碼網(wǎng)絡(luò)是編碼網(wǎng)絡(luò)的鏡像，網(wǎng)絡(luò)維度是H-2000-500-500-D，D、H、500、2 000均是全連接層的節(jié)點(diǎn)數(shù)，其中是輸入維數(shù)，本文中=784。

圖1 異常檢測(cè)模型網(wǎng)絡(luò)結(jié)構(gòu)

2.2評(píng)價(jià)標(biāo)準(zhǔn)

本文使用曲線下面積（area under curve，AUC）評(píng)估異常檢測(cè)模型性能。AUC是受試者工作特征（receiver operating characteristic，ROC）曲線下的面積。ROC由混淆矩陣得到，二分類的混淆矩陣見表1。其中，真陽(yáng)性（true positive，TP）表示真值和預(yù)測(cè)值均為正常的樣例；假陰性（false negative，F(xiàn)N）表示預(yù)測(cè)值為異常的正常樣例；假陽(yáng)性（false positive，F(xiàn)P）表示預(yù)測(cè)值為正常的異常樣例；真陰性（true negative，TN）表示真值與預(yù)測(cè)值均為異常的樣例。

表1 二分類的混淆矩陣

根據(jù)混淆矩陣以及式（14）、式（15）計(jì)算出偽陽(yáng)率（false positive rate，F(xiàn)PR）和真陽(yáng)率（true positive rate，TPR）。改變式（13）中的閾值，可以得到模型在不同閾值下的FPR和TPR值，將偽陽(yáng)率作為橫坐標(biāo)，真陽(yáng)率作為縱坐標(biāo)，即得ROC曲線?？紤]到正常、異常樣本數(shù)量存在分布不均的情況，不適宜以準(zhǔn)確率作為指標(biāo)評(píng)估模型，而AUC兼顧了模型對(duì)正常樣本和異常樣本的分類能力，因此本文采用AUC評(píng)估異常檢測(cè)模型。

2.3 消融實(shí)驗(yàn)

（1）編碼器編碼和解碼器解碼實(shí)驗(yàn)

為了驗(yàn)證本文算法所得數(shù)據(jù)特征的稀疏性，本文搭建了稀疏變分自編碼器，并使用MNIST數(shù)據(jù)集和Fashion-MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練。MNIST數(shù)據(jù)集部分結(jié)果如圖2所示，F(xiàn)ashion-MNIST數(shù)據(jù)集部分結(jié)果如圖3所示，可以看出，本文提出的稀疏變分自編碼器能夠?qū)?shù)據(jù)稀疏編碼，實(shí)現(xiàn)了從圖像數(shù)據(jù)到稀疏隱變量的映射；解碼器對(duì)數(shù)據(jù)進(jìn)行較好地重建，實(shí)現(xiàn)從稀疏隱變量到圖像的重建。

（2）隱變量的維度對(duì)重構(gòu)圖像的影響

稀疏自編碼器不僅將復(fù)雜的高維數(shù)據(jù)映射到低維，同時(shí)隱變量的稀疏性對(duì)維度是否攜帶信息進(jìn)行了區(qū)分。不為0的維度攜帶了圖像中的特征信息，為0的維度則不攜帶特征信息。改變隱變量中的非零元素，重建圖像表現(xiàn)出不同的特性。例如，隱變量中非零維度值的變化對(duì)重建圖像的影響如圖4所示，圖4（a）重建圖像數(shù)字3的字體粗細(xì)發(fā)生改變，說(shuō)明箭頭標(biāo)記的維度攜帶了字體粗細(xì)這一特性信息；圖4（b）重建圖像從平底鞋逐漸變?yōu)楦吒?，說(shuō)明箭頭標(biāo)記的維度攜帶了鞋底的形狀信息；圖4（c）重建圖像從長(zhǎng)袖逐漸變?yōu)槎绦?，說(shuō)明箭頭標(biāo)記的維度攜帶了袖子的長(zhǎng)度信息。

圖2 MNIST數(shù)據(jù)集部分結(jié)果

圖3 Fashion-MNIST數(shù)據(jù)集部分結(jié)果

圖5 不同實(shí)驗(yàn)參數(shù)組合(H,)下的實(shí)驗(yàn)結(jié)果

2.4 異常檢測(cè)實(shí)驗(yàn)

MNIST數(shù)據(jù)集在各種異常檢測(cè)方法下的實(shí)驗(yàn)結(jié)果對(duì)比見表2，展示了本文算法與OC-SVM[24]、IF[9]、DCAE（deep convolutional auto-encoder）[25]、ANOGAN（anomaly detection with generative adversarial network）[15]等算法在MNIST數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，加粗顯示代表效果優(yōu)于其他算法?？梢钥闯?，本文算法的平均AUC值較其他優(yōu)秀的異常檢測(cè)算法有顯著的提高，表明本文算法在MNIST數(shù)據(jù)集中實(shí)現(xiàn)了較好的檢測(cè)效果，能夠進(jìn)行有效的異常檢測(cè)。

Fashion-MNIST數(shù)據(jù)集在各種異常檢測(cè)方法下的實(shí)驗(yàn)結(jié)果對(duì)比見表3。可以看出，本文算法的平均AUC值較其他優(yōu)秀的異常檢測(cè)算法有顯著的提高，這說(shuō)明本文算法在Fashion-MNIST數(shù)據(jù)集中實(shí)現(xiàn)了較好的檢測(cè)效果，能夠進(jìn)行有效的異常檢測(cè)。

表2和表3的結(jié)果是模型由所有訓(xùn)練集樣本參與訓(xùn)練、所有測(cè)試樣本參與測(cè)試的結(jié)果。本文參照文獻(xiàn)[26]的做法，由訓(xùn)練集中80%的正常樣本作為訓(xùn)練樣本，剩余的20%正常樣本參與測(cè)試，并且從測(cè)試集中隨機(jī)抽取異類測(cè)試樣本，使其構(gòu)成新的測(cè)試集的一半。在MNIST和Fashion-MNIST數(shù)據(jù)集上和GPND（generative probabilistic novelty detection）[26]、ALOCC DR（adversarially learned one-class classifier for discrimination and reconstruction）[27]、ALOCC D（adversarially learned one-class classifier for discrimination）[27]、AEC（auto-encoder）[28]和OCGAN（one-class generative adversarial network）[29]方法進(jìn)行了比較，80%正常樣本作為訓(xùn)練樣本的模型實(shí)驗(yàn)結(jié)果對(duì)比見表4。可以看出，本文算法具有更佳檢測(cè)效果。

表2 MNIST數(shù)據(jù)集在各種異常檢測(cè)方法下的實(shí)驗(yàn)結(jié)果對(duì)比

表3 Fashion-MNIST數(shù)據(jù)集在各種異常檢測(cè)方法下的實(shí)驗(yàn)結(jié)果對(duì)比

本文還參照文獻(xiàn)[30]的做法，在Fashion- MNIST中，改變異常樣本在測(cè)試集中的不同占比，與GPND和GradCon（gradient constraint）[30]進(jìn)行了性能比較，F(xiàn)ashion-MNIST集中異常樣本在測(cè)試集不同占比下的實(shí)驗(yàn)結(jié)果對(duì)比見表5?？梢钥闯觯瑴y(cè)試集在不同異常樣本的占比下，本文方法具有更好的檢測(cè)效果。

表4 80%正常樣本作為訓(xùn)練的模型實(shí)驗(yàn)結(jié)果對(duì)比

由表2～表5知，本文算法具有較好的異常檢測(cè)效果，并優(yōu)于當(dāng)前的一些異常檢測(cè)算法。

表5 Fashion-MNIST集中異常樣本在測(cè)試集不同占比下的實(shí)驗(yàn)結(jié)果對(duì)比

3 結(jié)束語(yǔ)

本文提出了一種基于稀疏變分自編碼器和深度支持向量網(wǎng)絡(luò)的異常檢測(cè)算法，使用釘板分布作為變分自編碼器的先驗(yàn)，模擬隱變量所在空間的稀疏性，得到數(shù)據(jù)特征的稀疏表示，并利用稀疏變分自編碼器構(gòu)建深度支持向量網(wǎng)絡(luò)對(duì)特征空間進(jìn)行壓縮，以最優(yōu)超球體區(qū)分正常數(shù)據(jù)與異常數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明本文算法優(yōu)于其他優(yōu)秀方法，實(shí)現(xiàn)了較好的異常檢測(cè)效果。未來(lái)的工作可以設(shè)計(jì)更加高效的網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)一步地提升特征提取能力以提高異常檢測(cè)的效果，從而適用于更多復(fù)雜場(chǎng)景下的異常檢測(cè)。

[1] HAWKINS D M. Identification of outliers[M]. London: Chapman and Hall, 1980.

[2] SHENH D, KURSUN E. Label augmentation via time-based knowledge distillation for financial anomaly detection[EB]. 2021.

[3] TUFAN E, TEZCAN C, ACARTüRK C. Anomaly-based intrusion detection by machine learning: acase study on probing attacks to an institutional network[J]. IEEE Access, 9: 50078-50092.

[4] TSCHUCHNIGM E, GADERMAYR M. Anomaly detection in medical imaging: amini review[EB]. 2021.

[5] CUI Y J, LIU Z X, LIAN S G. A survey on unsupervised industrial anomaly detection algorithms[EB]. 2022.

[6] PATRIKARD R, PARATE M. Anomaly detection using edge computing in video surveillance system: review[J]. International Journal of Multimedia Information Retrieval, 2021, 11: 85-110.

[7] BOGDOLL D, NITSCHE M, Z?LLNERJ M. Anomaly detection in autonomous driving: asurvey[EB]. 2022.

[8] J?RG SANDER. LOF: identifying density-based local outliers[J]. Acm Sigmod Record, 2000, 29(2):93-104.

[9] LIU F T, TING K M, ZHOU Z H. Isolation forest[C]//Proceedings of 2008 Eighth IEEE International Conference on Data Mining. Piscataway: IEEE Press, 2008: 413-422.

[10] ERFANI S M, RAJASEGARAR S, KARUNASEKERA S, et al. High-dimensional and large-scale anomaly detection using a linear one-class SVM with deep learning[J]. Pattern Recognition, 2016, 58: 121-134.

[11] LI X Y, KIRINGA I, YEAP T, et al. Exploring deep anomaly detection methods based on capsule net[C]//Advances in Artificial Intelligence. Switzerland: Springer, 2020: 375-387.

[12] ZIMMERER D, KOHL S A A, PETERSEN J, et al. Context-encoding variational autoencoder for unsupervised anomaly detection[EB]. 2018.

[13] SINGH I, HEMACHANDRA N. Anomaly detection using capsule networks for high-dimensional datasets[EB]. 2021.

[14] TONOLINI F, JENSEN B S. MURRAY S R. Variational sparse coding[EB]. 2019.

[15] SCHLEGL T, SEEB?CK P, WALDSTEIN S M, et al. Unsupervised anomaly detection with generative adversarial networks to guide marker discovery[C]//Information Processing in Medical Imaging. Switzerland: Springer, 2017: 146-157.

[16] ?KVáRA V, PEVNY T, ?MíDL V. Are generative deep models for novelty detection truly better? [EB]. 2018.

[17] SHEIKH A S, SHELTON J A, LüCKE J. A truncated EM approach for spike-and-slab sparse coding[J]. Journal of Machine Learning Research, 2012, 15: 2653-2687.

[18] COURVILLE A , BERGSTRA J , BENGIO Y. Unsupervised models of images by spike-and-slab RBMs[EB]. 2011.

[19] KINGMA D P, WELLING M. Auto-encoding variational Bayes[EB]. 2013.

[20] TAX D M J, DUIN R P W. Support vector data description[J]. Machine Learning, 2004, 54(1): 45-66.

[21] VAN DER MAATEN L. Learning a parametric embedding by preserving local structure[J]. Journal of Machine Learning Research, 2009, 5: 384-391.

[22] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[23] XIAO H, RASUL K, VOLLGRAF R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms[EB]. 2017.

[24] MANEVITZ L M, YOUSEF M. One-class SVMs for document classification[J]. Journal of Machine Learning Research, 2001, 2(12): 139-154.

[25] MAKHZANI A, FREY B J. Winner-take-all autoencoders[C]// Proceedings of Advances in Neural Information Processing Systems(NIPS). Montreal: Neural Information Processing Systems Foundation, Inc. 2015: 2791-2799.

[26] PIDHORSKYI S, ALMOHSEN R, ADJEROH D A, et al. Generative probabilistic novelty detection with adversarial autoencoders[C]//Proceedings of Advances in Neural Information Processing Systems(NIPS). Montreal: Neural Information Processing Systems Foundation, Inc. 2018:6822-6833.

[27] SABOKROU M, KHALOOEI M, FATHY M, et al. Adversarially learned one-class classifier for novelty detection[C]//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2018: 3379-3388.

[28] SAKURADA M, YAIRI T. Anomaly detection using autoencoders with nonlinear dimensionality reduction[C]//MLSDA'14: Proceedings of the MLSDA 2014 2nd Workshop on Machine Learning for Sensory Data Analysis. 2014: 4-11.

[29] PERERA P, NALLAPATI R, XIANG B. OCGAN: one-class novelty detection using GANs with constrained latent representations[C]//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2019: 2893-2901.

[30] KWON G, PRABHUSHANKAR M, TEMEL D, et al. Back-propagated gradient representations for anomaly detection[C]//Proceedings of the European Conference on Computer Vision (ECCV). Heidelberg: Springer, 2020: 206-226.

Research on anomaly detection algorithm based on sparse variational autoencoder using spike and slab prior

CHEN Huahua, CHEN Zhe

School of Communication Engineering, Hangzhou Dianzi University, Hangzhou 310018, China

Anomaly detection remains to be an essential and extensive research branch in data mining due to its widespread use in a wide range of applications. It helps researchers to obtain vital information and make better decisions about data by detecting abnormal data. Considering that sparse coding can get more powerful features and improve the performance of other tasks, an anomaly detection model based on sparse variational autoencoder was proposed. Firstly, the discrete mixed modelspike and slab distribution was used as the prior of variational autoencoder, simulated the sparsity of the space where the hidden variables were located, and obtained the sparse representation of data characteristics. Secondly, combined with the deep support vector network, the feature space was compressed, and the optimal hypersphere was found to discriminate normal data and abnormal data. And then, the abnormal fraction of the data was measured by the Euclidean distance from the data feature to the center of the hypersphere, and then the abnormal detection was carried out. Finally, the algorithm was evaluated on the benchmark datasets MNIST and Fashion-MNIST, and the experimental results show that the proposed algorithm achieves better effects than the state-of-the-art methods.

anomaly detection, variational autoencoder, spike and slab distribution, deep support vector network

TP393

A

10.11959/j.issn.1000?0801.2022238

2022?03?10；

2022?08?11

陳華華，iseealv@hdu.edu.cn

浙江省“領(lǐng)雁”研發(fā)攻關(guān)計(jì)劃項(xiàng)目（No.2022C03065）

陳華華（1975? ），男，博士，杭州電子科技大學(xué)副教授，主要研究方向?yàn)閿?shù)字圖像處理、計(jì)算機(jī)視覺和模式識(shí)別。

陳哲（1995? ），男，杭州電子科技大學(xué)碩士生，主要研究方向?yàn)楫惓z測(cè)。

The “Leading Goose” Technologies Research and Development Program of Zhejiang Province (No.2022C03065)