基于自適應(yīng)權(quán)重融合的深度多視子空間聚類

劉 靜, 孫艷豐, 胡永利

(北京工業(yè)大學(xué)信息學(xué)部, 北京 100124)

子空間聚類方法[1-5]作為一種有效的無(wú)監(jiān)督學(xué)習(xí)方法,在數(shù)據(jù)挖掘、計(jì)算機(jī)視覺(jué)等領(lǐng)域引起了廣泛關(guān)注。該方法假設(shè)將高維數(shù)據(jù)嵌入在低維子空間中,并可由其描述表示,因此,子空間聚類的主要目標(biāo)是將一系列樣本分割成互不相干的簇,使每個(gè)簇內(nèi)的樣本屬于同一個(gè)子空間[6-7]。近年來(lái),基于自表示的子空間聚類方法[8-10]因其優(yōu)異的聚類性能備受關(guān)注。該方法的主要思想是將數(shù)據(jù)集自身作為字典使用,利用數(shù)據(jù)的表示矩陣構(gòu)建相似矩陣,從而進(jìn)行聚類任務(wù)?；谧员硎镜淖涌臻g聚類方法在圖像表示[11]、人臉聚類[12-13]、運(yùn)動(dòng)分割[14]、社交網(wǎng)絡(luò)中的社區(qū)聚類、生物信息學(xué)[15]、醫(yī)學(xué)圖像分析[16]等方面具有廣泛應(yīng)用。

隨著多媒體技術(shù)迅猛發(fā)展以及各種功能攝像機(jī)的普及,數(shù)據(jù)可以以不同形式被收集,從而產(chǎn)生多特征、多攝像角度、多模態(tài)等數(shù)據(jù),這些數(shù)據(jù)被統(tǒng)稱為多視數(shù)據(jù)。相較于單一視圖采樣的數(shù)據(jù),對(duì)同一事物從不同角度或按不同方式所得到的多視數(shù)據(jù)擁有更豐富的信息。多視數(shù)據(jù)不同視圖間存在一致性和互補(bǔ)性,一致性可理解為多視數(shù)據(jù)各視圖間具有一致的語(yǔ)義信息,也就是多個(gè)視圖的表示共享一套標(biāo)簽?；パa(bǔ)性是指多視數(shù)據(jù)的多個(gè)視圖之間信息互補(bǔ),這些信息是每個(gè)視圖獨(dú)有的特征,這些特征從不同的角度描述了該數(shù)據(jù)。因此,結(jié)合一致性和互補(bǔ)性可提升人們對(duì)多視數(shù)據(jù)的理解。有效利用這些信息可以克服光照變化、遮擋等問(wèn)題,有助于提高聚類性能。

多視子空間聚類旨在合并多視數(shù)據(jù)的特征以將相似的多視樣本分到相同的簇中,而將差異較大的多視樣本分到不同簇中。Zhang等[13]通過(guò)對(duì)多視特征的張量表示施加低秩約束來(lái)獲取不同視圖的一致性信息,將張量的低秩約束分解為多個(gè)矩陣的低秩約束。Zhang等[17]在多視子空間聚類方法中引入級(jí)聯(lián)的思想,提出潛在多視子空間聚類方法。首先,用多個(gè)投影矩陣將不同視圖數(shù)據(jù)投影到相同的低維空間以獲得多視數(shù)據(jù)的公共表示,并處理樣本中存在的噪聲;然后,將具有公共信息的表示矩陣用于聚類任務(wù)。Wang等[18]提出一種能夠融合多視間的一致性信息和互補(bǔ)性信息的多視子空間聚類模型,利用互補(bǔ)約束項(xiàng)挖掘不同視圖的互補(bǔ)信息,與此同時(shí),利用一致約束項(xiàng)挖掘不同視圖的一致信息。雖然上述方法存在顯著差異,但是它們均運(yùn)用一致性原則或互補(bǔ)性原則來(lái)確保多視子空間聚類任務(wù)的成功?？傮w而言,通過(guò)探索不同視圖之間的一致性和互補(bǔ)性,使得多視聚類比單視聚類更加有效且更具泛化能力,這使得多視聚類[19-21]在聚類任務(wù)中占據(jù)一席之地。

近幾年,關(guān)于子空間聚類的研究主要關(guān)注線性子空間的聚類,然而,實(shí)際中的數(shù)據(jù)不一定符合線性子空間聚類模型假設(shè)。例如:人臉圖像會(huì)受到反射率以及被拍攝者姿態(tài)等影響,在這些外部因素影響下,面部圖像往往位于一個(gè)非線性子空間中。因此,利用深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以一種無(wú)監(jiān)督的方式來(lái)學(xué)習(xí)數(shù)據(jù)的非線性映射,從而使其更好地適用于子空間聚類是有必要的。深度學(xué)習(xí)的發(fā)展將多視子空間聚類帶入了新的階段,Abavisani等[22]除了提出基于空間融合的各種方法之外,還提出一種基于相似性融合的網(wǎng)絡(luò)(將與不同模態(tài)相對(duì)應(yīng)的自表示層強(qiáng)制設(shè)置為相同),使得聚類性能獲得顯著提升。Zhu等[23]提出了一種多視深度子空間聚類網(wǎng)絡(luò),該網(wǎng)絡(luò)由2個(gè)子網(wǎng)組成,即分集網(wǎng)絡(luò)和通用網(wǎng)絡(luò)。分集網(wǎng)絡(luò)學(xué)習(xí)視圖特有的表示矩陣,而通用網(wǎng)絡(luò)則為所有視圖學(xué)習(xí)一個(gè)公共的表示矩陣。通過(guò)分集正則項(xiàng)利用多視圖表示的互補(bǔ)性,可以捕獲非線性和高階視圖間的關(guān)系。不同的視圖共享相同的標(biāo)簽空間,因此,每個(gè)視圖的表示矩陣都通過(guò)通用性正則項(xiàng)與公共視圖對(duì)齊。

然而,上述方法在為各視圖學(xué)習(xí)一個(gè)公共的表示矩陣時(shí)均未能甄別不同視圖的可靠性。當(dāng)存在一個(gè)不佳的視圖數(shù)據(jù)時(shí),聚類結(jié)果可能因此毀壞。因此,在聚類過(guò)程中為每一個(gè)視圖學(xué)習(xí)一個(gè)權(quán)重是有必要的。同時(shí),深度多視子空間聚類對(duì)將一致性信息與互補(bǔ)性信息相結(jié)合的研究還相對(duì)匱乏。如何在保證各視圖之間一致性的情況下,充分利用不同視圖的互補(bǔ)性信息來(lái)提高多視聚類性能,是多視聚類的一個(gè)重要問(wèn)題。

綜上所述,本文考慮到多視間共享一致性信息與不同視圖所具有的內(nèi)在個(gè)性化信息,提出了在獲得所有視圖的一致性信息基礎(chǔ)上強(qiáng)調(diào)互補(bǔ)性(個(gè)性化)信息的模型,即基于自適應(yīng)的權(quán)重融合深度多視子空間聚類模型(deep multi-view subspace clustering based on adaptive weight fusion,DMSC-AWF)。該模型通過(guò)各視圖共享同一個(gè)自表示層學(xué)習(xí)一個(gè)共享的子空間表示矩陣,同時(shí),又為各視圖分別學(xué)習(xí)各自的自表示層來(lái)確?；パa(bǔ)性信息。同時(shí),為了避免某視圖出現(xiàn)不可靠的信息從而影響最終聚類效果,引入注意力模塊來(lái)量化不同視圖的重要性,注意力模塊自適應(yīng)地為每種模態(tài)分配權(quán)重。注意力模塊的使用為相似度融合質(zhì)量提供了魯棒性保障,從而提升了聚類性能。

1 方法

圖1 DMSC-AWF網(wǎng)絡(luò)框架Fig.1 Framework of DMSC-AWF

1.1 注意力模塊

深度多模態(tài)聚類作為基于多視學(xué)習(xí)的無(wú)監(jiān)督子空間聚類方法,具有優(yōu)異的聚類性能。然而,對(duì)某些視圖數(shù)據(jù)進(jìn)行采集時(shí)可能存在噪聲干擾,會(huì)出現(xiàn)數(shù)據(jù)不可靠的情況,直接進(jìn)行視圖間融合會(huì)降低生成的相似度矩陣的有效性。針對(duì)這一問(wèn)題,通過(guò)引入注意力模塊為各視圖自適應(yīng)地分配融合權(quán)重。對(duì)于信息量損壞的視圖,網(wǎng)絡(luò)并不撤銷對(duì)這些信息的注意力,而是降低對(duì)其分配的權(quán)重。相反,網(wǎng)絡(luò)也能在訓(xùn)練過(guò)程中增加對(duì)干凈視圖的注意力。注意力模塊的權(quán)重均由網(wǎng)絡(luò)學(xué)習(xí)得出,不需要人為指定權(quán)重大小,這也符合本文為不同視圖自適應(yīng)匹配權(quán)重的特點(diǎn)。

注意力模塊以學(xué)習(xí)不同視圖的權(quán)重為目標(biāo),本模塊的輸入為潛在表示Fv(v=1,2,…,V)拼接而成的連接特征F,其輸出是V維向量w。通常,它由3個(gè)全連接層和1個(gè)Softmax層組成,通過(guò)求平均函數(shù)獲得輸出權(quán)重w。注意力模塊詳細(xì)網(wǎng)絡(luò)結(jié)構(gòu)見圖2。

圖2 注意力模塊結(jié)構(gòu)Fig.2 Structure of attention module

本文使用公式

F=concat(F1,F2,…,FV)

(1)

h=FCs(F)

(2)

e=Softmax(Sigmoid(h)/τ)

(3)

w=Mean(e,dim=0)

(4)

描述該過(guò)程。式中:concat(·)表示連接運(yùn)算符;FCs(·)表示3個(gè)全連接的層;h、e為隱含特征;τ為校準(zhǔn)因子;Sigmoid函數(shù)與校準(zhǔn)因子τ可以看作是一種技巧,用來(lái)避免為質(zhì)量最優(yōu)的視圖分配接近1的分?jǐn)?shù);Mean(e,dim=0)表示對(duì)e每一列求平均值。為了簡(jiǎn)單起見,將該模塊中的參數(shù)表示為Θa。

1.2 自表示模塊

因?yàn)閷?duì)于深度多模態(tài)聚類缺乏對(duì)互補(bǔ)性信息的研究,所以本文在深度子空間網(wǎng)絡(luò)的自表示層進(jìn)行改進(jìn)。傳統(tǒng)的模型假設(shè)各視圖共享學(xué)習(xí)一個(gè)公共的自表示層,自表示模塊的輸入為各視圖的潛在表示Fv,輸出為經(jīng)自表示的潛在表示FvZ,Z為公共自表示層系數(shù),即公共表示矩陣,同時(shí)FvZ也將作為后續(xù)解碼操作的輸入,這種傳統(tǒng)自表示模型可以用

(5)

本模塊為傳統(tǒng)自表示模型增加了視圖特定的自表示層,結(jié)構(gòu)上本模塊的輸入仍是各視圖的潛在表示Fv,而輸出除了經(jīng)公共自表示層自表示的潛在表示FvZ,還增加了FvZv。因此,本模塊可以分為一致性模塊和互補(bǔ)性模塊。解碼器的輸入變成了FvZ與FvZv之和,在數(shù)學(xué)上,模型可以表示為

(6)

式中Zv為各視圖特定的自表示層系數(shù),即個(gè)性表示矩陣,此處同樣要求Zv對(duì)角線元素為0。

最后,本文用網(wǎng)絡(luò)收斂后學(xué)習(xí)到的公共表示矩陣Z構(gòu)建相似度矩陣A(A=(|Z|+|ZT|)/2),對(duì)A執(zhí)行譜聚類。

1.3 損失函數(shù)

由于多視數(shù)據(jù)各視圖之間既有一致性又有互補(bǔ)性,通常用約束各視圖的個(gè)性表示矩陣與公共表示矩陣距離相近來(lái)約束各視圖一致性。Cao等[12]考慮到視圖間信息多樣性,引入希爾伯特-施密特獨(dú)立性準(zhǔn)則(Hilbert-Schmidt independence criterion,HSIC)[12,24]來(lái)學(xué)習(xí)多視圖間的互補(bǔ)性信息,如RGB信息和深度信息,主要目的是衡量2個(gè)變量的分布差異,因此,可以度量非線性和高階相關(guān)性。在此基礎(chǔ)上,將互補(bǔ)性正則化Rs定義為

(7)

式中Zi和Zj分別表示第i個(gè)和第j個(gè)視圖對(duì)應(yīng)的視特定表示矩陣。

式(7)利用HSIC確保學(xué)到的各視圖的個(gè)性表示矩陣具有足夠的差異性,從而達(dá)到有效利用來(lái)自多個(gè)視圖的互補(bǔ)信息的目的。

所有視圖共享相同標(biāo)簽,因此,各視圖特定表示矩陣應(yīng)該與公共表示矩陣對(duì)齊。本文將一致性正則化Rc定義為

(8)

結(jié)合注意力模塊和自表示模塊的權(quán)重和約束,基于權(quán)重融合的多視子空間聚類模型,最終可以表示為

(9)

式中:Xv為模型輸入數(shù)據(jù),v代表第v個(gè)視圖;v為重構(gòu)數(shù)據(jù);λ1、λ2、λ3、λ4為正則化項(xiàng)系數(shù)。式(9)第1項(xiàng)表示重構(gòu)損失;第2～4項(xiàng)表示帶權(quán)重的自表示損失及其正則項(xiàng);第5項(xiàng)表示一致性正則項(xiàng),約束各視圖個(gè)性表示矩陣向公共表示矩陣逼近;第6項(xiàng)表示互補(bǔ)性正則項(xiàng)保證視特定表示矩陣相互獨(dú)立,確保模型可以充分挖掘多視信息的多樣性。DMSC-AWF模型的詳細(xì)學(xué)習(xí)過(guò)程在算法1中給出。

2 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本模型的有效性,本文進(jìn)行了大量實(shí)驗(yàn),包括聚類實(shí)驗(yàn),注意力模塊、互補(bǔ)性模塊退化實(shí)驗(yàn)和具有噪聲數(shù)據(jù)的實(shí)驗(yàn)等,并將其與近年來(lái)的幾種方法進(jìn)行比較,以驗(yàn)證所提出模型的性能。此外,對(duì)實(shí)驗(yàn)中使用的數(shù)據(jù)集、對(duì)比方法、參數(shù)設(shè)置進(jìn)行了詳細(xì)說(shuō)明。本文實(shí)驗(yàn)將相似度矩陣A=(|Z|+|ZT|)/2用于4個(gè)多視數(shù)據(jù)集以實(shí)現(xiàn)聚類任務(wù)。

本文方法使用Python 3.7環(huán)境及采用Tensorflow框架編碼,操作系統(tǒng)為L(zhǎng)inux,顯卡為RTX 2080S×2,顯存為8 GB×2。

2.1 對(duì)比方法與數(shù)據(jù)集

在聚類實(shí)驗(yàn)中,將本文提出的DMSC-AWF與近年來(lái)性能較為優(yōu)異的子空間聚類算法進(jìn)行比較。對(duì)比方法包括單視傳統(tǒng)子空間聚類算法和深度子空間聚類算法,共4種。

1) 基于低秩表示的子空間結(jié)構(gòu)魯棒恢復(fù)(robust recovery of subspace structures by low-rank representation,LRR)[11]。在所有候選中尋求最低秩表示,這些候選可以將數(shù)據(jù)樣本表示為給定字典中具有最佳單視圖的基的線性組合。

2) 深度子空間聚類網(wǎng)絡(luò)(deep subspace clustering networks,DSCN)[25]。該算法將通過(guò)原始數(shù)據(jù)計(jì)算出的稀疏表示矩陣作為先驗(yàn)知識(shí),再結(jié)合自編碼器網(wǎng)絡(luò)將原始數(shù)據(jù)映射到潛在空間。該模型首次將子空間聚類用于深度自編碼器框架。

3) 對(duì)子空間聚類的深度認(rèn)知(deep cognitive subspace clustering,DCSC)[26]。該算法對(duì)損失施加一個(gè)自定速正則化,是一種魯棒的深度子空間聚類算法。

4) 無(wú)監(jiān)督學(xué)習(xí)視覺(jué)特征的深度聚類(deep clustering for unsupervised learning of visual features,DC)[27]。該算法使用k-means在聚類之間迭代,并通過(guò)將聚類分配預(yù)測(cè)為偽標(biāo)簽來(lái)更新其權(quán)值,從而產(chǎn)生判別損失,是一種可擴(kuò)展的無(wú)監(jiān)督聚類方法。

對(duì)比方法包括多視傳統(tǒng)子空間聚類算法和深度子空間聚類算法,共5種。

1) 共同規(guī)范化多視譜聚類(co-regularized multi-view spectral clustering,Co-Reg SPC)[28]。該算法通過(guò)譜聚類目標(biāo)函數(shù)隱式結(jié)合多個(gè)視圖的圖形,并進(jìn)行聚類,以實(shí)現(xiàn)更好的聚類結(jié)果。

2) 通過(guò)低秩稀疏分解實(shí)現(xiàn)魯棒的多視譜聚類(robust multi-view spectral clustering via low-rank and sparse decomposition,RMSC)[29]。為解決無(wú)甄別結(jié)合含有噪聲的多視數(shù)據(jù)影響聚類結(jié)果的問(wèn)題,該模型為單視圖構(gòu)造相應(yīng)轉(zhuǎn)移概率矩陣,并通過(guò)這些矩陣獲得一個(gè)共享的低秩轉(zhuǎn)移概率矩陣,并將其作為標(biāo)準(zhǔn)馬爾可夫鏈聚類方法的關(guān)鍵輸入,該模型具有低秩和稀疏性。

3) 通過(guò)深度矩陣分解進(jìn)行多視聚類(multi-view clustering via deep matrix factorization,DMF)[30]。該算法通過(guò)半非負(fù)矩陣分解學(xué)習(xí)多視數(shù)據(jù)的多層次語(yǔ)義信息。

4) 潛在的多視子空間聚類(latent multi-view subspace clustering,LMSC)[17]。該算法尋找原始數(shù)據(jù)的潛在表示,同時(shí),根據(jù)學(xué)習(xí)到的潛在表示進(jìn)行數(shù)據(jù)重構(gòu)。

5) 深度多模態(tài)子空間聚類(deep multimodal subspace clustering networks,MSCN)[22]。研究發(fā)現(xiàn),該模型在深度多模態(tài)子空間聚類任務(wù)中的空間融合方法依賴于模式之間的空間對(duì)應(yīng)。

為評(píng)估提出的基于權(quán)重融合的多視子空間聚類恢復(fù)算法性能,本研究在4個(gè)公共數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn),數(shù)據(jù)集簡(jiǎn)介如下。

1) ORL人臉數(shù)據(jù)集[31]。該數(shù)據(jù)集包含40個(gè)人的10張不同的圖像。對(duì)于每個(gè)受試者,圖像采集時(shí)的控制光照條件、面部表情和面部細(xì)節(jié)不同。對(duì)于ORL原始數(shù)據(jù)集,本實(shí)驗(yàn)調(diào)整圖像大小為48×48,提取3種類型的特征,即強(qiáng)度(4 096維)、局部二值模式(local binary pattern,LBP)(3 304維)和Gabor(6 750維)。標(biāo)準(zhǔn)的LBP特征是從72×80像素的圖像中提取的,直方圖大小為59～910個(gè)像素塊。Gabor特征是在4個(gè)方向θ=0°、45°、90°、135°的情況下以同一個(gè)尺度λ=4提取的,其分辨率為25×30像素的松散臉部裁剪。除了強(qiáng)度之外,所有描述符都縮放為單位范數(shù)。

2) Still DB數(shù)據(jù)集[23]。該數(shù)據(jù)集由467張行為動(dòng)作圖像構(gòu)成,主要包括6類:跑步、行走、接球、投擲、蹲下、蹋腿。由于行為動(dòng)作姿勢(shì)的相似和圖片有雜亂的背景,該數(shù)據(jù)集是具有挑戰(zhàn)性的行為圖像數(shù)據(jù)庫(kù)。

3) BBC Sport數(shù)據(jù)集[32]。該數(shù)據(jù)集包含544份來(lái)自BBC體育網(wǎng)站的體育新聞文章,這些文章在2004、2005年涉及5個(gè)主題領(lǐng)域的2個(gè)視圖。對(duì)于每個(gè)示例,第1個(gè)視圖有3 183個(gè)特征,第2個(gè)視圖有3 203個(gè)特征。BBC Sport的部分子集如圖3所示。

圖3 BBC Sport文本數(shù)據(jù)集的部分原始樣本Fig.3 Part of the original sample of the BBC Sport text dataset

4) RGB-D對(duì)象數(shù)據(jù)集[33]。該數(shù)據(jù)集包含從多個(gè)視圖中獲取的300個(gè)物理上(傳感器距離物體的實(shí)際距離)截然不同的對(duì)象的視覺(jué)和深度圖像,這些對(duì)象按照WordNet上下名關(guān)系(類似于ImageNet)被組織成51個(gè)類別。本實(shí)驗(yàn)中隨機(jī)選擇50個(gè)類,每類10個(gè)樣本。所有視覺(jué)圖像和深度圖像大小均為64×64像素。實(shí)驗(yàn)中使用遞歸中值濾波,直到所有缺失的值都被填滿。RGB圖像和深度圖像的子集如圖4所示。

圖4 RGB-D對(duì)象數(shù)據(jù)集的部分樣本Fig.4 Part of sample from the RGB-D object dataset

4個(gè)公開數(shù)據(jù)集ORL、Still DB、BBC Sport和 RGB-D在本文實(shí)驗(yàn)中的使用情況如表1所示。

表1 數(shù)據(jù)集情況統(tǒng)計(jì)Table 1 Statistics of datasets

2.2 參數(shù)設(shè)置與評(píng)估指標(biāo)

本文模型使用[64,32,16]通道的3層編碼器,相應(yīng)地使用[16,32,64]通道的3層解碼器。卷積層的卷積核大小都設(shè)置為3×3,而非線性激活函數(shù)為整流線性單元。然后,通過(guò)反卷積層將潛在特征返回到與輸入大小相同的空間。同時(shí),在所有實(shí)驗(yàn)中將lr設(shè)置為0.001。以RGB-D數(shù)據(jù)集為例,其輸入為2個(gè)視圖數(shù)據(jù):一個(gè)視圖數(shù)據(jù)為彩色視覺(jué)圖像(有3個(gè)通道),另一個(gè)視圖數(shù)據(jù)為深度圖像(有1個(gè)通道)。2個(gè)視圖的通道分別為3—64—32—16—32—64—3和1—64—32—16—32—64—1。橫向和縱向平移步長(zhǎng)為2,填充方式為same,迭代次數(shù)為40,λ1=1.00,λ2=1.00,λ3=0.10,λ4=0.10,τ=0.50。為確定上述關(guān)鍵參數(shù)(λ1、λ2、λ3、λ4、τ)取值對(duì)聚類性能的影響,本文固定其他4個(gè)參數(shù),依次分析各參數(shù)對(duì)聚類性能的影響。不同參數(shù)在RGB-D數(shù)據(jù)集的DMSC-AWF性能見圖5。圖5(a)～(d)中λ1、λ2、λ3、λ4的取值范圍設(shè)置為[0.01,0.10,1.00,10.00,100.00]。結(jié)果表明,當(dāng)λ1、λ2被設(shè)為1.00時(shí),本文方法在不同的性能指標(biāo)上均有良好的表現(xiàn)。同樣,可以觀察到,當(dāng)λ3、λ4設(shè)為0.10時(shí),本文提出的DMSC-AWF具有更好的性能。當(dāng)τ分別取0.1、0.5、1.0、10.0、20.0時(shí)進(jìn)行實(shí)驗(yàn),當(dāng)τ=0.5時(shí)效果最優(yōu)。

圖5 不同參數(shù)對(duì)DMSC-AWF性能的影響Fig.5 Effect of different parameters on DMSC-AWF performance

本實(shí)驗(yàn)使用4個(gè)流行的評(píng)價(jià)指標(biāo)來(lái)評(píng)估聚類效果,包括準(zhǔn)確度(accuracy,ACC)ACC、歸一化互信息(normalized mutual information,NMI)NMI、精確率和召回率的加權(quán)調(diào)和平均Fmeasure和可以綜合評(píng)價(jià)性能的調(diào)整蘭德指數(shù)(adjusted Rand index,ARI)IAR。其中,分?jǐn)?shù)越高,表示聚類性能越好。

ACC的計(jì)算公式為

(10)

式中:li為真實(shí)標(biāo)簽;yi為模型產(chǎn)生的聚類結(jié)果;m(yi)為置換映射函數(shù),將聚類標(biāo)簽映射到類標(biāo)簽;n為樣本數(shù)。置換映射函數(shù)的最佳映射可通過(guò)匈牙利算法獲得。

NMI是數(shù)據(jù)真實(shí)標(biāo)簽l和聚類標(biāo)簽k之間相似度的歸一化度量,計(jì)算公式為

(11)

式中:I(l;y)表示l和y之間的互信息;H(l)、H(y)分別表示l和y的熵。NMI的結(jié)果不因簇(類)的排列而改變,它們歸一化為[0,1],0表示沒(méi)有相關(guān)性,1表示完全相關(guān)。

IAR反映聚類標(biāo)簽與數(shù)據(jù)真實(shí)標(biāo)簽的重疊程度,具體計(jì)算公式見文獻(xiàn)[34]。

Fmeasure常用于衡量模型的有效性,取值范圍為[0,1],公式為

(12)

式中:P為精確率;R為召回率。

2.3 實(shí)驗(yàn)結(jié)果對(duì)比與分析

實(shí)驗(yàn)時(shí),將MSCN與本模型DMSC-AWF的迭代步數(shù)保持一致,并以最后一次迭代的結(jié)果作為最終結(jié)果。其他對(duì)比實(shí)驗(yàn)結(jié)果取自文獻(xiàn)[23]。在實(shí)驗(yàn)設(shè)置中,所有方法都使用k-means聚類方法來(lái)得到最終的聚類結(jié)果。解的初始化嚴(yán)重影響k-means的性能,因此,實(shí)驗(yàn)時(shí)把每個(gè)代碼均運(yùn)行30次,并給出了平均性能和標(biāo)準(zhǔn)偏差。為驗(yàn)證本模型及本模型提出的各個(gè)模塊的有效性,分別進(jìn)行了聚類實(shí)驗(yàn)、退化實(shí)驗(yàn)以及具有噪聲實(shí)驗(yàn)。

2.3.1 聚類實(shí)驗(yàn)

為驗(yàn)證本文模型的有效性,本實(shí)驗(yàn)將不同方法在ORL、Still DB、BBC Sport和RGB-D數(shù)據(jù)集上的聚類結(jié)果進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如表2～5所示。表中黑體數(shù)字為最佳結(jié)果。

表2 不同方法在ORL下的聚類性能對(duì)比Table 2 Comparison of the clustering performance of different methods under the ORL dataset

表3 不同方法在Still DB下的聚類性能對(duì)比Table 3 Comparison of the clustering performance of different methods under the Still DB dataset

表4 不同方法在BBC Sport下的聚類性能對(duì)比Table 4 Comparison of the clustering performance of different methods under the BBC Sport dataset

表5 不同方法在RGB-D下的聚類性能對(duì)比Table 5 Comparison of the clustering performance of different methods under the RGB-D dataset

根據(jù)聚類結(jié)果顯示,本文提出的方法在ORL、Still DB、BBC Sport和RGB-D數(shù)據(jù)集上明顯優(yōu)于其他對(duì)比方法的聚類性能。例如:對(duì)于RGB-D來(lái)說(shuō),本文提出的模型ACC提高了4.3%,NMI提高了2.0%,ARI提高了0.8%,Fmeasure提高了1.4%。這證明了所提出的DMSC-AWF模型在多視子空間聚類任務(wù)中的有效性。同時(shí),在聚類結(jié)果中可以看出:1) 無(wú)論是單視還是多視,使用深度網(wǎng)絡(luò)的方法相比于傳統(tǒng)方法具有較高的準(zhǔn)確度,這表明深度網(wǎng)絡(luò)具有更好地提取非線性數(shù)據(jù)特征的能力,有助于提高聚類效果。2) 在同樣使用深度網(wǎng)絡(luò)的情況下,多視聚類方法相較于單視聚類方法取得了更好的聚類性能,這表明有效利用多視角數(shù)據(jù),在大多數(shù)情況下可以獲得較為不錯(cuò)的聚類性能。

綜上可知,性能的提升主要體現(xiàn)在3個(gè)方面:一是在網(wǎng)絡(luò)中以端到端的方式學(xué)習(xí)相似度矩陣;二是將多視數(shù)據(jù)的一致性信息和互補(bǔ)性信息結(jié)合,并應(yīng)用到自表示中;三是做相似度融合時(shí)將注意力模塊應(yīng)用到網(wǎng)絡(luò)中,為不同質(zhì)量的視圖數(shù)據(jù)分配合適的權(quán)重。

2.3.2 注意力模塊及互補(bǔ)性模塊退化實(shí)驗(yàn)

為驗(yàn)證本文提出的模塊的有效性,以RGB-D數(shù)據(jù)集為例,對(duì)包含添加了互補(bǔ)性信息的自表示模塊和注意力模塊的模型DMSC-AWF、在DMSC-AWF模型基礎(chǔ)上去掉注意力模塊的模型DMSC-AWF/att以及在DMSC-AWF/att模型基礎(chǔ)上去掉互補(bǔ)性模塊的MSCN模型進(jìn)行實(shí)驗(yàn),最終聚類結(jié)果見表6。

表6 退化實(shí)驗(yàn)的聚類性能對(duì)比Table 6 Clustering performance of degraded experiments

由表6可以看出,DMSC-AWF相較MSCN和DMSC-AWF/att具有較為優(yōu)異的性能優(yōu)勢(shì)。因?yàn)镈MSC-AWF/att與MSCN的區(qū)別在于DMSC-AWF/att的自表示模塊中包含互補(bǔ)性模塊,所以由DMSC-AWF/att與MSCN的實(shí)驗(yàn)結(jié)果可知,在自表示模塊中添加互補(bǔ)性模塊是非常有必要的。DMSC-AWF在聚類性能上大致高于沒(méi)有添加注意力模塊的DMSC-AWF/att,同時(shí),DMSC-AWF聚類結(jié)果的標(biāo)準(zhǔn)差小于DMSC-AWF/att,這說(shuō)明添加注意力模塊有助于提高網(wǎng)絡(luò)的魯棒性,從而提升聚類穩(wěn)定性。本退化實(shí)驗(yàn)結(jié)果證實(shí)了注意力模塊及互補(bǔ)性模塊的有效性。

2.3.3 具有噪聲數(shù)據(jù)的聚類實(shí)驗(yàn)

以RGB-D數(shù)據(jù)集為例,在本數(shù)據(jù)集的某一視圖上添加高斯噪聲,從而獲得一組新的噪聲數(shù)據(jù)。將這組噪聲數(shù)據(jù)作為一個(gè)視圖同另一個(gè)視圖一起送入網(wǎng)絡(luò)中,并將本模型DMSC-AWF與MSCN的聚類結(jié)果進(jìn)行對(duì)比。將高斯噪聲均值設(shè)置為0,標(biāo)準(zhǔn)差設(shè)置為0.2。在本部分預(yù)訓(xùn)練實(shí)驗(yàn)中一個(gè)視圖的輸入數(shù)據(jù)為噪聲數(shù)據(jù)。具有噪聲數(shù)據(jù)的聚類結(jié)果如表7所示。表中黑體數(shù)字為最佳結(jié)果。

表7 標(biāo)準(zhǔn)差為0.2的噪聲數(shù)據(jù)的聚類性能Table 7 Clustering performance of noise data with standard deviation of 0.2

根據(jù)表7中展示的添加噪聲實(shí)驗(yàn)的聚類結(jié)果可以看出,如果原始圖像包含噪聲,則會(huì)降低聚類性能,但本文提出的方法依舊可以保持一個(gè)不錯(cuò)的聚類效果。相比于MSCN來(lái)說(shuō),本文模型ACC提高了3.8%,NMI提高了0.5%,ARI提高了1.7%,Fmeasure提高了1.7%。為進(jìn)一步直觀體現(xiàn)本模型面對(duì)噪聲數(shù)據(jù)的魯棒性,本文對(duì)不同視圖的權(quán)重進(jìn)行了可視化,展示了有噪聲的視圖和無(wú)噪聲的視圖之間的權(quán)重差異,實(shí)驗(yàn)結(jié)果如圖6所示。本噪聲實(shí)驗(yàn)驗(yàn)證了在面對(duì)不可靠數(shù)據(jù)時(shí),本文提出的基于權(quán)重融合的方法相對(duì)于各視圖直接融合的傳統(tǒng)方法具有更強(qiáng)的魯棒性,從而證實(shí)了融合時(shí)對(duì)各視圖分配不同權(quán)重是有必要的。

圖6 對(duì)噪聲實(shí)驗(yàn)權(quán)重可視化Fig.6 Visualization of experimental weight of noise

3 結(jié)論

1) DMSC-AWF方法強(qiáng)制各視圖共享自表示層(相似度融合)以確保一致性,并在此基礎(chǔ)上強(qiáng)調(diào)了各視圖獨(dú)立的互補(bǔ)性信息,即為各視圖分別學(xué)習(xí)一個(gè)自表示層。同時(shí),在多視信息融合時(shí)利用注意力模塊學(xué)習(xí)到各視圖的權(quán)重分配,為相似度融合質(zhì)量提供了魯棒性保障。

2) DMSC-AWF算法可以提升數(shù)據(jù)融合質(zhì)量,從而提升聚類性能。

3) DMSC-AWF的注意力模塊有助于提高網(wǎng)絡(luò)的魯棒性,使網(wǎng)絡(luò)具有一定抗噪聲能力,從而提升聚類穩(wěn)定性。