基于包裹學(xué)習(xí)算法在異常點檢測上的研究

何鎏一 楊國為

摘要：針對正常與異常樣本分布不平衡的異常點檢測問題，本文以小球大距離（small sphere large margin，SSLM）超球支持向量機為基礎(chǔ)，提出一種高正確率識別的包裹學(xué)習(xí)算法?；舅枷霝榻⒄颖镜耐愄卣骷系木o密包裹集，在特征空間內(nèi)構(gòu)造一個半徑最小的超球，使超球內(nèi)盡可能地包含大多數(shù)的正常樣本，并使超球邊界與包裹集及異常樣本間隔最大化，所構(gòu)造的超球邊界會近似與正常樣本邊界擬合，同時將該方法與支持向量機方法和超球支持向量方法進行實驗對比，并在uci數(shù)據(jù)集中的醫(yī)學(xué)診斷數(shù)據(jù)及USPS數(shù)字集上進行對比實驗。實驗結(jié)果表明，與同類經(jīng)典算法相比，包裹學(xué)習(xí)算法在不同的異常檢測數(shù)據(jù)上分別達到了最高準(zhǔn)確率。該研究可應(yīng)用于樣本分布不均的異常行為檢測中。

關(guān)鍵詞：異常點檢測; 支持向量機; 包裹學(xué)習(xí)

異常點檢測問題又稱一類分類問題（oneclass classification），用于解決異常點檢測問題的方法有基于密度估計法[1]和基于神經(jīng)網(wǎng)絡(luò)法[2]，而支持向量機（support vector machines，SVM）[3]不但在分類問題上被大量利用，而且在異常檢測問題[4-7]上也得到了廣泛應(yīng)用，其思想為將所有特征向量映射到一個高維空間，在此空間建立一個最大間隔超平面，該超平面對應(yīng)的原始空間曲面就是分類決策面。在分開兩類特征向量（數(shù)據(jù)）的超平面兩邊，建有兩個互相平行的超平面，分隔超平面使兩個平行超平面的距離最大化。在針對異常點檢測問題時，SVM分類面會向樣本數(shù)據(jù)少的一側(cè)偏移，其分類效果表現(xiàn)不佳。D.M.J. Tax等人[8]通過改進SVM模型，提出支持向量數(shù)據(jù)描述（support vector data description，SVDD）的方法，解決異常點檢測問題[9-11]，但是SVDD在訓(xùn)練中僅使用一類樣本，訓(xùn)練時會導(dǎo)致核參數(shù)選取困難，不能保證獲得的描述邊界一定非常緊湊，從而造成識別率偏低;B.Schlkopf等人[12]提出一類支持向量機（one class support vector machine，OCSVM），通過在特征空間求解一個最優(yōu)超平面，實現(xiàn)正常樣本和異常樣本的最大分離;Wang J等人[13]提出分割超球模型（separating hypersphere，SH），其綜合了SVM和SVDD的建模思想，構(gòu)造一個超球?qū)⒄搩深悩颖痉指?Wen C等人[14]提出最大間隔最小體積的思想，構(gòu)造兩個同心超球，小超球包裹正常樣本，大超球?qū)惓颖九懦庠谕?Wu M等人[15]運用小球大間隔（small sphere large margin，SSLM）的思想，將包含正常樣本的超球半徑最小化，同時最大化其邊界與異常樣本點的距離。在實際應(yīng)用方面，Zhao Y等人[17]將SVDD應(yīng)用于冷水機組的故障檢測;楊金鴻等人[18]針對支持向量數(shù)據(jù)描述的訓(xùn)練集中同時含有正常點和離群點的問題，為降低離群點對SVDD訓(xùn)練偶像的不利影響，提出了一種基于單簇核可能性C-均值的SVDD離群點檢測算法;V.Mygdalis等人[19]提出一種半監(jiān)督子類支持向量描述方法，通過引入兩個附加項，實現(xiàn)了對SVDD的優(yōu)化?；诖耍疚奶岢鐾愄卣骷系木o密包裹學(xué)習(xí)算法，構(gòu)造出正常樣本的同類特征集合的緊密包裹集，用小球大間隔（small sphere large margin，SSLM）模型，將包裹集樣本與異常樣本歸為一類進行訓(xùn)練，使超球邊界與正常樣本更加擬合，從而實現(xiàn)有效的異常點檢測效果。該研究為樣本分布不均的異常行為檢測提供了理論依據(jù)。

1 同類特征集合的緊密包裹集

4 結(jié)束語

本文首先指出了SVM分類器、超球SVDD等分類器在解決異常點檢測問題上出現(xiàn)的弊端，提出了用于解決異常點檢測問題的包裹學(xué)習(xí)算法。該算法包括緊密包裹集存在性證明及構(gòu)造算法和包裹曲面的求解算法。實驗證明，包裹學(xué)習(xí)算法求解的分類曲面能夠較為貼合的描述原樣本區(qū)域，通過uci數(shù)據(jù)庫和USPS手寫數(shù)字庫中的數(shù)據(jù)進行對比實驗，說明本文提出的分類器設(shè)計算法在異常點檢測問題上具有較高的準(zhǔn)確率。然而該分類設(shè)計算法仍不夠完善，從理論上來說，包裹學(xué)習(xí)算法要求原樣本空間為致密凸集，但在實際工作中，大部分訓(xùn)練樣本并不能達到該要求;由于構(gòu)造高維數(shù)據(jù)致密包裹集的計算復(fù)雜度較高，因此還有較大的優(yōu)化空間。

參考文獻：

[1] Roberts S， Tarassenko L. A Probabilistic resource allocating network for novelty detection[J]. Neural Computation， 1994， 6（2）： 270-284.

[2] Towell G G. Local expert autoassociators for anomaly detection[C]∥Seventeenth International Conference on Machine Learning. San Francisco， USA： Morgan Kaufmann Publishers Inc， 2000.

[3] Vapnik N V. The nature of statistical learning theory[M]. NewYork： Springer， 1995.

[4] 吳銳， 陳靜. 基于SVM的電信網(wǎng)絡(luò)異常點檢測技術(shù)的研究[J]. 赤峰學(xué)院學(xué)報： 自然科學(xué)版， 2017， 33（21）： 46-47.

[5] 徐兵， 郭淵博， 葉子維， 等. 基于圖分析和支持向量機的企業(yè)網(wǎng)異常用戶檢測[J]. 計算機應(yīng)用， 2018， 38（2）： 357-362.

[6] 陳志全， 楊駿， 喬樹山. 基于單類支持向量機的異常聲音檢測[J]. 電子設(shè)計工程， 2016， 24（23）： 19-22.

[7] 劉敬， 谷利澤， 鈕心忻， 等. 基于單分類支持向量機和主動學(xué)習(xí)的網(wǎng)絡(luò)異常檢測研究[J]. 通信學(xué)報， 2015， 36（11）： 136-146.

[8] Tax D M J， Duin R P W. Support vector data description[J]. Machine Learning， 2004， 54（1）： 45-66.

[9] 馬詠雪. 基于SVDD的模擬電路異常檢測方法研究及應(yīng)用[D]. 哈爾濱： 哈爾濱工業(yè)大學(xué)， 2016.

[10] 周勝明， 王小飛， 高峰， 等. 基于在線SVDD的航空發(fā)動機異常檢測方法[J]. 計測技術(shù)， 2015， 35（5）： 20-22， 56.

[11] 曾現(xiàn)靈， 張立燕， 胡榮華. 基于主成分建模的 SVDD 高光譜圖像異常檢測[J]. 智能系統(tǒng)學(xué)報， 2014， 9（3）： 343-348.

[12] Bernhard S， Williamson R C， Smola A J， et al. Support vector method for novelty detection[C]∥Advances in Neural Information Processing Systems 12. Denver， Colorado， USA： DBLP， 1999： 582-588.

[13] Wang J G， Neskovic P， Cooper L N. Pattern classification via single spheres[M]. 8th International Conference on Discovery Science. Singapore： Springer， 2005.

[14] Wen C J， Zhan Y Z， Chen C J. Maximalmargin minimalvolume hypersphere support vector machine[J]. Control & Decision， 2010， 25（1）： 79-83.

[15] Wu M， Ye J. A small sphere and large margin approach for novelty detection using training data with outliers[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2009， 31（11）： 2088-2092.

[16] Chang C C， Lin C J. Training vsupport vector classifiers： theory and algorithms[J]. Neural Computation， 2001， 13（9）： 2119-2147.

[17] Zhao Y， Wang S W， Xiao F. Pattern recognitionbased chillers fault detection method using support vector data description （SVDD）[J]. Applied Energy， 2013， 112： 1041-1048.

[18] 楊金鴻， 鄧廷權(quán). 一種基于單簇核PCM的SVDD離群點檢測方法[J]. 電子學(xué)報， 2017， 45（4）： 813-819.

[19] MygdalisV， Iosifidis A， Tefas A， et al. Corrigendum to “Semisupervised subclass support vector data description for image and video classification” [Neurocomputing， 278 （2018）， 51-61][J]. Neurocomputing， 2018， 291： 237-241.

[20] Dua D， Graff C. UCI machine learning repository [M/OL]. Irvine， CA： University of California， School of Information and Computer Science， 2019.[http： ∥archive. ics. uci. edu/ml]