多模態(tài)耦合特征子空間正則的SVDD

王 闖,胡文軍,劉 闖,王余波

(1.湖州師范學院 信息工程學院,浙江 湖州 313000; 2.浙江省現(xiàn)代農(nóng)業(yè)資源智慧管理與應用研究重點實驗室,浙江 湖州 313000)

0 引 言

在諸多的應用領域,如機器故障[1]、醫(yī)療診斷[2]、網(wǎng)絡安全[3]等,正常數(shù)據(jù)的獲取較容易,而異常數(shù)據(jù)的獲取則非常困難或代價昂貴,這使得在對該類問題建模時只有一類數(shù)據(jù)可供使用.支持向量數(shù)據(jù)描述(Support Vector Data Description,SVDD)[4]作為典型的一類分類方法,得到了研究者的廣泛關注,其目的是要在特征空間中找到一個能夠包含絕大多數(shù)正常樣本且半徑盡可能小的超球.一些改進算法也隨之提出.Wu等為增大超球的決策邊界與少量異常樣本之間的間隔,提出一種小球體大間隔的支持向量數(shù)據(jù)描述方法[5];胡文軍等為提高SVDD的決策速度,提出一種SVDD的快速實時決策方法[6],其將SVDD決策時間的復雜度降至O(1);Wang等為每個樣本設計基于位置的權重,提出位置正則的支持向量數(shù)據(jù)描述[7];Cha等為每個樣本設計基于密度的權重,提出基于密度加權的支持向量數(shù)據(jù)描述[8];為避免少量異常樣本數(shù)據(jù)對SVDD建模的影響,胡天杰等從高斯核空間正常樣本的全局分布出發(fā),提出分布熵懲罰的支持向量數(shù)據(jù)描述[9];Hu等則從高斯核空間綜合樣本的全局分布結構與局部分布結構,提出全局加局部聯(lián)合正則的支持向量數(shù)據(jù)方法[10].上述方法雖然在一類分類問題中取得了較好效果,但這些方法均要求訓練的數(shù)據(jù)來自同一模態(tài),即單模態(tài)數(shù)據(jù).

模態(tài)是指研究對象的信息來源方式.若對象的信息來源于一種方式,則對應的數(shù)據(jù)稱為單模態(tài)數(shù)據(jù),反之稱為多模態(tài)數(shù)據(jù).在現(xiàn)實中,多模態(tài)數(shù)據(jù)的應用場景十分廣泛.例如,結合視覺和聽覺的電影觀賞;綜合視覺、嗅覺、聽覺的化工環(huán)境監(jiān)測;綜合視頻信息、傳感信息的機器故障診斷等[11].由于多模態(tài)數(shù)據(jù)的來源并不唯一,其各模態(tài)的維度也不盡相同,故直觀的方法是先將所有的模態(tài)數(shù)據(jù)投影到同一低維子空間,再利用傳統(tǒng)的機器學習方法進行建模.例如:Li等從多模態(tài)數(shù)據(jù)抗噪角度出發(fā),提出一種稀疏子空間聚類方法[12];Wang等針對多模態(tài)數(shù)據(jù)存在的冗余問題,將子空間學習與特征選擇相結合,應用于跨模態(tài)檢索[13];針對多模態(tài)數(shù)據(jù)的一類分類問題,Sohrab等將多模態(tài)數(shù)據(jù)映射到低維子空間,在子空間考慮數(shù)據(jù)協(xié)方差,并實施SVDD建模.該方法稱為多模態(tài)子空間支持向量數(shù)據(jù)描述(Multimodal Subspace SVDD,MS-SVDD)[14].

MS-SVDD拓展傳統(tǒng)方法,以解決多模態(tài)分類問題,但其基于“一致性”假設為前提,即在低維子空間下的各模態(tài)是一致的.實際上,多模態(tài)數(shù)據(jù)之間既存在“一致性”,又存在“互補性”[15],這意味著各模態(tài)數(shù)據(jù)的特征間相互耦合,在多模態(tài)學習中勢必存在特征冗余和特征間相互干擾的問題.此外,MS-SVDD并沒有充分考慮模態(tài)內(nèi)與模態(tài)間的數(shù)據(jù)結構關系[16-17],使得隱藏在其中的潛在信息無法被充分利用.針對這兩個問題,本文分別設計稀疏投影矩陣正則項和多模態(tài)圖正則項,前者用來減小特征之間的相互耦合,后者用來保持模態(tài)內(nèi)和模態(tài)間的結構關系.本文將上述兩個正則項施加到SVDD上,提出耦合特征子空間正則的支持向量數(shù)據(jù)描述(Coupled Feature Subspace Regularized SVDD,CFSR-SVDD)方法.

1 相關工作

給定單模態(tài)數(shù)據(jù)集X=(x1,…,xN),其中xi∈d是第i個樣本,N和d分別是樣本數(shù)和特征維度.給定M個模態(tài)數(shù)據(jù)集其中Dm是第m個模態(tài)的第i個樣本,Nm和Dm分別是第m個模態(tài)的樣本數(shù)和特征維度,是投影到D維子空間后的表示,即其中Qm∈D×Dm是第m個模態(tài)的投影矩陣.

1.1 SVDD

SVDD針對單模態(tài)數(shù)據(jù)建模,其目的是尋找一個包含大部分正常樣本的超球.該問題可描述為:

(1)

其中,R、a分別為超球的半徑與球心,ξi為引入的松弛變量,C為懲罰參數(shù).利用拉格朗日技巧可得到上述問題的對偶形式:

(2)

其中,α=(α1,…,αN)T≥0為拉格朗日乘子向量,〈?,?〉為向量內(nèi)積.顯然,式(2)是標準的二次規(guī)劃問題(Quadratic Programming,QP).根據(jù)KKT(Karush-Kuhn-Tucker)[18]條件可知,當0<αi

(3)

對任意未知樣本z∈d,可通過式(4)決策:

(4)

當f(z)≤R2時,樣本z為正常樣本,反之為異常樣本.

1.2 多模態(tài)子空間SVDD

為推廣SVDD應用到多模態(tài)數(shù)據(jù),Sohrab等[14]先將所有模態(tài)的數(shù)據(jù)投影到同一個低維子空間,然后實施傳統(tǒng)的SVDD建模.該方法稱為MS-SVDD,其數(shù)學模型為:

(5)

(6)

第一步:固定Qm,求解αm.式(6)退化為式(7):

(7)

(8)

求解式(8)的標準QP問題,可得最優(yōu)解αm,并根據(jù)KKT條件可計算子空間超球半徑R.

(9)

為保持多模態(tài)數(shù)據(jù)之間的一致性,構建一個更合適的SVDD分類邊界.Sohrab等在模型優(yōu)化時引入多模態(tài)數(shù)據(jù)集的協(xié)方差ω,即式(9)轉化為式(10):

(10)

其中,λ為控制ω重要性的權重參數(shù).通過組合子空間的數(shù)據(jù),Sohrab等設計了7種協(xié)方差表示方法[14,19].式(10)采用梯度下降的方式迭代求解.

對含有m個模態(tài)的任意未知樣本z,在決策時,首先通過各自模態(tài)的投影矩陣Qm,將各模態(tài)投影到同一D維子空間,然后利用式(4)對子空間的各模態(tài)進行分類,最后依據(jù)決策策略對樣本z做最終決策.關于決策策略的內(nèi)容可參考文獻[14].

2 耦合特征子空間正則的SVDD

MS-SVDD不但忽略了數(shù)據(jù)間原始結構關系,而且忽略了多模態(tài)數(shù)據(jù)特征間相互耦合問題,從而導致數(shù)據(jù)間的潛在信息無法被充分挖掘.針對這些問題,本文將多模態(tài)圖的正則項引入傳統(tǒng)的SVDD中,以盡可能地挖掘蘊含在數(shù)據(jù)結構間的潛在信息[20],并將稀疏投影矩陣的正則項引入傳統(tǒng)的SVDD中,以減小特征耦合的影響.實際上,對投影矩陣施加L2,1范數(shù)是解決特征間耦合的一種常用做法[21].式(11)給出了CFSR-SVDD方法的理論模型:

(11)

2.1 多模態(tài)圖正則項

多模態(tài)數(shù)據(jù)包含模態(tài)內(nèi)和模態(tài)間兩種結構關系.單個模態(tài)內(nèi)的數(shù)據(jù)在映射到低維子空間時,應該保持原始樣本空間數(shù)據(jù)的鄰域關系,這就是模態(tài)內(nèi)的結構關系.模態(tài)間的結構關系是指當不同模態(tài)的數(shù)據(jù)表示相同的內(nèi)容或主題時,它們應該具有上層語義的相似關系.為保持多模態(tài)數(shù)據(jù)這兩種結構關系,本文提出多模態(tài)圖正則項,其由近鄰相似圖和語義相似圖構成.

2.1.1 近鄰相似圖

(12)

為保持所有模態(tài)內(nèi)的結構關系,最小化式(13):

(13)

2.1.2 語義相似圖

(14)

為保持所有模態(tài)間的結構關系,則最小化式(15):

(15)

為方便,本文利用近鄰相似圖矩陣Gmm和語義相似圖矩陣Gmp構建一個相似度矩陣G:

(16)

(17)

2.2 稀疏投影矩陣正則項

(18)

其中,Sm為對角矩陣.對角元素可由式(19)計算:

(19)

2.3 模型優(yōu)化

將多模態(tài)圖正則項的優(yōu)化式(17)與稀疏投影矩陣正則項的優(yōu)化式(18)代入目標函數(shù)式(11),得到CFSR-SVDD方法的優(yōu)化模型:

(20)

利用拉格朗日技巧構造以下拉格朗日函數(shù):

(21)

為求解式(21),本文采用兩步交替迭代的方法.

第一步:固定Qm,求解αm和Sm.由于Sm僅與Qm相關,當Qm固定時,Sm可通過式(20)計算.此時式(21)退化為式(22),即:

(22)

(23)

(24)

(25)

(26)

(27)

(28)

對式(28)求L7關于Qm的偏導,可得:

(29)

式(29)采用式(30)的梯度下降方式迭代求解:

(30)

其中,η為學習率.

2.4 模型決策

對未知樣本x,首先根據(jù)維度確定其可能隸屬的模態(tài),然后利用對應模態(tài)的投影矩陣將該樣本映射到D維子空間.在獲得其對應的子空間后,用y表示,通過式(31)對其進行分類:

(31)

當f(y)≤R2時,y為正常表示,反之為異常表示.由于一個未知樣本可能隸屬于多個模態(tài),即可能得到多個子空間表示.為決策未知樣本x的最終類別,本文設計兩種決策策略:①和策略.當且僅當該樣本點的所有表示都被分類為正常表示時,該樣本點被分類為正常樣本,反之為異常樣本;②或策略.當該樣本點有任意一個表示被分類為正常表示時,該樣本被分類為正常樣本,反之為異常樣本.

3 時間復雜度

CFSR-SVDD方法的時間復雜度主要由三部分組成:QP問題的求解、投影矩陣的更新、投影矩陣的正交化和單位化.

表1 時間復雜度對比

4 實 驗

4.1 數(shù)據(jù)集與預處理

為驗證CFSR-SVDD方法的有效性,本文在MSRC-v1圖像數(shù)據(jù)集和多個UCI數(shù)據(jù)集上進行實驗.數(shù)據(jù)集的簡介見表2,詳細信息可參見文獻[34]和https://archive.ics.uci.edu/ml/index.php.各數(shù)據(jù)集多模態(tài)的劃分見以下所述.

表2 數(shù)據(jù)集簡介

IRIS[30]數(shù)據(jù)集包含3個類,每類的樣本量均為50,每個樣本含有4個特征.本文將萼片的長度和寬度特征視為第一個模態(tài),將花瓣的長度和寬度特征視為第二個模態(tài).本文分別選取其中的一個類作為目標類,將另外兩個類視為異常類,從而得到3個子數(shù)據(jù)集IRIS1-3.Robot Execution Failures (REF)[31]數(shù)據(jù)集包含不同觸發(fā)事件的5個子數(shù)據(jù)集REF1-5,將所有子數(shù)據(jù)集整合在一起,得到子數(shù)據(jù)集REF0,對每個數(shù)據(jù)集,本文將力和力矩特征視為不同的2個模態(tài),并將機器正常運行下獲得的樣本視為正常樣本,其余視為異常樣本.MSRC-v1[32]圖像數(shù)據(jù)集包含240張圖片.根據(jù)文獻[33],本文分別挑選其中的7個類作為訓練集,從而得到7個子數(shù)據(jù)集MSRC1-7.本文將5種不同的視覺特征提取視為同一對象所對應的5種不同模態(tài).在實驗中,將每個類分別選擇為目標類,其余類視為異常類.IONOSPHERE[34]數(shù)據(jù)集包含2個類,分別包含225個樣本和126個樣本.本文將脈沖的2個狀態(tài)作為兩種不同的模態(tài),并將每個類分別選擇為目標類,其余類為異常類,從而得到2個子數(shù)據(jù)集IONO1-2.

4.2 實驗設置

實驗環(huán)境:Intel(R) Core(TM) i5-9400 CPU @ 2.90GHz8 GB RAM,64位Windows 10,MatlabR2020a.

參數(shù)設置:為統(tǒng)一實驗過程,消除奇異樣本對實驗的影響,本文首先將所有特征歸一化到[-1,1],再采用十折交叉驗證進行實驗,即每次選取正常樣本中不同的九部分作為訓練樣本,剩余一部分和所有的異常樣本作為測試樣本.懲罰參數(shù)C從{0.01k,0.1k},k=1,…,10中尋優(yōu);權重參數(shù)μ1、μ2均默認取1;平衡參數(shù)β從{10-3,10-2,10-1,10°,101,102}中尋優(yōu);近鄰相似圖矩陣核寬δ從{0.01,0.1,1,10}中尋優(yōu);子空間的維度D從{2,5,10,15,20}中尋優(yōu),其中D滿足D≤min{D1,…,DM,N1,…,NM};學習率η∈{0.01,0.1};最大迭代次數(shù)τ設置為20.為保證實驗的有效性和可對比性,有關對比方法的參數(shù)選擇與上述范圍一致.

(32)

(33)

4.3 實驗結果與分析

本文選取SVDD、OCSVM和MS-SVDD作為對比方法,由于MS-SVDD的7種協(xié)方差表述方法大同小異,因此在多次實驗后,選取具有代表性的第二、第四和第六種協(xié)方差表述方法進行展示,分別表示為MS-SVDDI-III.此外,所有方法在同一低維子空間中選取最優(yōu)的決策策略結果進行對比分析.表3展示了CFSR-SVDD在多個數(shù)據(jù)集上進行十折交叉驗證后GM的平均值和方差.

表3 GM實驗結果

CFSR-SVDD與對比方法的幾何精度對比見表3.由表3可見,本文所提出的CFSR-SVDD對上述多模態(tài)數(shù)據(jù)集的分類精度大多達83%以上.其中,在MSRC1和MSRC7數(shù)據(jù)集上,SVDD的分類精度最高,達到86.3%和87.2%;在REF4數(shù)據(jù)集上,MS-SVDDII的分類精度最高,達到95.4%;在其余數(shù)據(jù)集上,CFSR-SVDD都取得最好的效果,甚至在IRIS1上達到極致.

綜上所述,本文所提出的CFSR-SVDD,在一定程度上提高了多模態(tài)數(shù)據(jù)應用一類分類問題的準確率,這是因為CFSR-SVDD在數(shù)據(jù)投影到子空間時,不僅引入多模態(tài)圖正則項,以保持模態(tài)內(nèi)和模態(tài)間的結構關系,而且引入稀疏投影矩陣正則項,以降低特征間的相互干擾.表3的實驗結果也佐證了CFSR-SVDD的有效性.

5 結 論

本文提出一種新的多模態(tài)一類分類方法,該方法將所有模態(tài)的數(shù)據(jù)投影到同一個低維子空間,在投影過程中不僅利用多模態(tài)圖正則項,以保持模態(tài)內(nèi)和模態(tài)間的結構信息,而且結合稀疏投影矩陣正則項,從多模態(tài)數(shù)據(jù)中選擇有區(qū)別的特征,以減小特征之間的耦合,降低特征冗余的影響,使整體模型用于優(yōu)化多模態(tài)一類分類任務的數(shù)據(jù)描述.實驗結果顯示,CFSR-SVDD在絕大部分數(shù)據(jù)集上要優(yōu)于對比方法,且更加穩(wěn)定.但CFSR-SVDD方法也存在不足,如建模過程不包含異常樣本、決策過程較為簡單等問題.在今后的工作中,我們將嘗試解決這些問題,并考慮其他不同方向的改進.