基于深度圖正則化矩陣分解的多視圖聚類算法

劉相男，丁世飛，王麗娟,2

（1.中國(guó)礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221116; 2.徐州工業(yè)職業(yè)技術(shù)學(xué)院 信息與電氣工程學(xué)院，江蘇 徐州 221400）

隨著多元化數(shù)據(jù)的產(chǎn)生與積累，傳統(tǒng)聚類算法只針對(duì)于單一視角進(jìn)行數(shù)據(jù)的相似性聚類對(duì)于現(xiàn)實(shí)中的很多數(shù)據(jù)不再適用?，F(xiàn)實(shí)社會(huì)中，數(shù)據(jù)集往往從多個(gè)數(shù)據(jù)源收集，或存在不同的表示形式和特征信息構(gòu)成多視圖數(shù)據(jù)[1-3]。例如，同一事件通過(guò)不同的內(nèi)容形式播報(bào)出來(lái)；同一文檔可以翻譯成多種語(yǔ)言；網(wǎng)頁(yè)數(shù)據(jù)可以通過(guò)文本或網(wǎng)頁(yè)鏈接獲取。相較于單一視角的數(shù)據(jù)，多視圖數(shù)據(jù)從多個(gè)視角呈現(xiàn)對(duì)象，使之特征信息更加完整。那么，如何利用多個(gè)視圖的完整信息發(fā)現(xiàn)不同視圖間存在的一致的潛在信息成為多視圖聚類算法的目標(biāo)[4-5]。

近年來(lái)，多視圖聚類算法獲得了越來(lái)越多的關(guān)注和發(fā)展。根據(jù)多視圖聚類算法的根本機(jī)制和原則，多視圖聚類算法主要包括基于K-means的算法、基于矩陣分解的算法、基于圖的算法以及基于子空間的算法[6]。例如，伍國(guó)鑫等[7]結(jié)合co-training的思想提出了一個(gè)改進(jìn)的多視圖K-means聚類算法。Xu等[8]提出了一種基于K-means處理高維數(shù)據(jù)的算法，將多視圖聚類和特征選擇集成到一個(gè)聯(lián)合框架中，選擇合適的視圖和重要的特征聚類。最近提出的FRMVK算法提出使用較小權(quán)重消除不相關(guān)特征，實(shí)現(xiàn)簡(jiǎn)化有效特征信息的目的[9]。Nie等[10]開發(fā)了一種基于圖的聚類算法，能夠同時(shí)學(xué)習(xí)多視圖聚類和局部結(jié)構(gòu)。之后，Nie等[11]又提出了一種基于圖的多視圖聚類算法，其基礎(chǔ)思想是從一系列低質(zhì)量的特定視圖中生成一個(gè)具備魯棒性的共有圖。Gao等[12]在早期考慮嘗試擴(kuò)展傳統(tǒng)的基于子空間的多視圖聚類算法，稱為多視圖子空間聚類算法(multi-view subspace clustering, MVSC) 。Zhang等[6]提出可以在隱藏公共空間中進(jìn)行子空間聚類。針對(duì)多個(gè)視圖在聚類性能上貢獻(xiàn)度的差異問(wèn)題，黃靜對(duì)每個(gè)視圖進(jìn)行了加權(quán)[13]；范瑞東等[14]則采用了更具魯棒性的自加權(quán)方式。Zheng等[15]提出使用l2,1范式解決融合的多視圖數(shù)據(jù)中特定樣本與特定簇之間的關(guān)聯(lián)性問(wèn)題，從而獲得多視圖數(shù)據(jù)的共有信息。

在眾多研究中，非負(fù)矩陣分解算法及其擴(kuò)展算法因其良好的聚類可解釋性而受到越來(lái)越多的關(guān)注[16]，如何通過(guò)非負(fù)矩陣分解獲取多視圖數(shù)據(jù)潛在的數(shù)據(jù)信息成為熱點(diǎn)研究方向之一[17]。半非負(fù)矩陣分解算法(semi-nonnegative matrix factorization, Semi-NMF)是為擴(kuò)展非負(fù)矩陣分解算法(nonnegative matrix factorization, NMF)的應(yīng)用范圍而提出的算法[18]?？紤]到特征表示矩陣與原始數(shù)據(jù)矩陣之間的映射矩陣存在隱藏的層次結(jié)構(gòu)信息，Trigeorgis等[19]提出一種深度半非負(fù)矩陣分解模型，通過(guò)逐層分解自動(dòng)學(xué)習(xí)數(shù)據(jù)點(diǎn)的層次屬性。從數(shù)據(jù)的幾何結(jié)構(gòu)出發(fā)，數(shù)據(jù)點(diǎn)往往是從嵌入在高維環(huán)境空間中的低維流形空間中采樣而得[20]，數(shù)據(jù)的固有幾何結(jié)構(gòu)在矩陣分解中并沒(méi)有得到充分的運(yùn)用。而現(xiàn)有的很多算法證明了圖正則化從樣本的相似性上保護(hù)了數(shù)據(jù)的幾何結(jié)構(gòu)[21]，例如，Zhao等[20]將深度矩陣分解模型應(yīng)用于多視圖，并在最后一層分解中加入圖正則化，有效提高模型性能。算法MMNMF將共識(shí)系數(shù)矩陣與多流形正則化相結(jié)合，在對(duì)數(shù)據(jù)進(jìn)行矩陣分解的同時(shí)保護(hù)數(shù)據(jù)的局部幾何結(jié)構(gòu)[22]。Zhang等[23]通過(guò)圖嵌入增強(qiáng)了有用的信息，并在每個(gè)視圖中使用正交約束進(jìn)行聚類，從而刪除多余信息。

考慮到深度半非負(fù)矩陣分解模型和圖正則化各自對(duì)于數(shù)據(jù)的層次屬性和固有幾何結(jié)構(gòu)的作用，同時(shí)從保護(hù)數(shù)據(jù)的局部結(jié)構(gòu)和全局結(jié)構(gòu)兩個(gè)方面出發(fā)，在深度分解模型中，對(duì)每一層的特征表示矩陣加入兩個(gè)圖正則化限制，從而充分挖掘出數(shù)據(jù)的層次屬性信息的同時(shí)保護(hù)數(shù)據(jù)的固有幾何結(jié)構(gòu)。換言之相較于現(xiàn)有的基于矩陣分解的多視圖聚類算法，本文提出的算法不僅使用了局部結(jié)構(gòu)的相似性而且加入了全局結(jié)構(gòu)的不相似性共同構(gòu)成圖正則化器，從而更全面的保護(hù)和使用數(shù)據(jù)的幾何結(jié)構(gòu)關(guān)系。與此同時(shí)，圖正則化器不只作為共識(shí)表示矩陣的調(diào)節(jié)器，同時(shí)將其加入每一層分解中，使得多視角的幾何結(jié)構(gòu)關(guān)系擴(kuò)展至每個(gè)視角的每一層的表示矩陣中，保持幾何關(guān)系的穩(wěn)定性，最大化視角間關(guān)系。除此之外，考慮到多視圖數(shù)據(jù)的差異性，對(duì)每個(gè)視圖加入一個(gè)權(quán)重值，調(diào)節(jié)每個(gè)視圖在共識(shí)表示矩陣中所占比重。本文針對(duì)所提出的模型采用相應(yīng)的迭代優(yōu)化算法，從理論上證明算法的收斂性。在多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與分析證實(shí)了算法的性能優(yōu)越性。

1 相關(guān)工作

1.1 半非負(fù)矩陣分解算法

非負(fù)矩陣分解(nonnegative matrix factorization, NMF)算法對(duì)基礎(chǔ)矩陣Z和特征矩陣H的非負(fù)限制使得算法本身更具備聚類易解釋性, 但與此同時(shí)數(shù)據(jù)矩陣X的適用性也受到了限制。為了擴(kuò)展矩陣分解的應(yīng)用范圍，Ding等[18]提出了一種半非負(fù)矩陣分解算法(semi-nonnegative matrix factorization, Semi-NMF)，改變了對(duì)數(shù)據(jù)矩陣X和基礎(chǔ)矩陣Z的限制條件，其優(yōu)化問(wèn)題為

式中： ‖ ·‖代表Frobenius范數(shù)；X∈ Rd×n是輸入的數(shù)據(jù)矩陣，包括n個(gè)樣本；Z∈ Rd×k是分解后的基礎(chǔ)矩陣；H∈ Rk×n是分解后的特征表示矩陣，它是非負(fù)的；k是數(shù)據(jù)矩陣經(jīng)過(guò)矩陣分解之后的維度。使用迭代的優(yōu)化算法，文獻(xiàn)[18]給出式(1)中基礎(chǔ)矩陣Z和特征表示矩陣H的更新策略為

式中：H?是指矩陣H的Moore-Penrose偽逆矩陣；矩陣M的 [M]pos表示矩陣的負(fù)數(shù)均用0代替，相似的 [M]neg表示矩陣中的正數(shù)均用0代替，兩者的計(jì)算公式如下：

1.2 深度矩陣分解算法

Semi-NMF是NMF算法的擴(kuò)展算法，從聚類的角度出發(fā)，分解之后產(chǎn)生的基礎(chǔ)矩陣Z可以看作是聚類質(zhì)心矩陣，特征矩陣H可以看作數(shù)據(jù)點(diǎn)聚類之后的成員關(guān)系矩陣[18,24]。那么，半非負(fù)矩陣分解產(chǎn)生的低維表示矩陣H與原始特征矩陣X之間的映射矩陣Z中很有可能包含更為復(fù)雜的層次結(jié)構(gòu)信息。因此，Trigeorgis等[19]提出一種深度矩陣分解模型(deep Semi-nonnegative matrix factorization, Deep Semi-NMF)。其算法結(jié)構(gòu)如圖1所示。

圖1 深度半非負(fù)矩陣分解Fig.1 Deep semi-nonnegative matrix factorization

從圖1中可以看出，深度矩陣分解算法使用多層分解的方式，將i層的分解矩陣Zi作為下一層分解的輸入矩陣，最后一層的特征表示矩陣將用于聚類獲得數(shù)據(jù)的類別信息。多層次分解的具體過(guò)程和優(yōu)化問(wèn)題如下列公式所示：

式中：Zi是第i層的映射矩陣；Hi是第i層的特征表示矩陣。

2 多視圖深度圖正則化矩陣分解聚類算法

深度半非負(fù)矩陣分解算法通過(guò)逐層分解的方式證實(shí)了原始數(shù)據(jù)與特征表示矩陣之間隱藏著低維特征屬性的層次屬性，但是在應(yīng)用于多視圖聚類時(shí)忽略了數(shù)據(jù)的固有幾何結(jié)構(gòu)。本文提出多視圖深度圖正則化矩陣分解聚類算法，通過(guò)對(duì)深度矩陣分解的各層加入兩個(gè)圖正則化的限制，保護(hù)數(shù)據(jù)的幾何結(jié)構(gòu)信息。

2.1 圖正則化

假如兩個(gè)數(shù)據(jù)點(diǎn)Xi和Xj在數(shù)據(jù)分布中有相近的內(nèi)部幾何關(guān)系，那么在新的基礎(chǔ)空間中對(duì)應(yīng)的表示矩陣Zi和Zj應(yīng)該擁有類似的關(guān)系，這就是流形假設(shè)[25-26]。這種幾何結(jié)構(gòu)信息可以通過(guò)構(gòu)建數(shù)據(jù)點(diǎn)的最近鄰圖進(jìn)行有效的建模[27]。Mikhail通過(guò)最近鄰圖對(duì)數(shù)據(jù)局部幾何結(jié)構(gòu)的保護(hù)提出降維算法?拉普拉斯特征映射(laplacian eigenmaps, LE)[28]。在此基礎(chǔ)上，SNE(stochastic neighbor embedding)算法加入數(shù)據(jù)幾何結(jié)構(gòu)的全局關(guān)系，認(rèn)為高維空間數(shù)據(jù)點(diǎn)之間的不相似性關(guān)系在低維空間中保持不變[29]。EE(elastic embedding)算法[30]沿用SNE的思想，改變?nèi)纸Y(jié)構(gòu)的計(jì)算方式，使得算法更簡(jiǎn)單，更易實(shí)現(xiàn)。EE算法的目標(biāo)函數(shù)為

2.2 多視圖深度圖正則化矩陣分解聚類算法的目標(biāo)函數(shù)

受到EE算法[30]對(duì)數(shù)據(jù)幾何結(jié)構(gòu)的保護(hù)以及數(shù)據(jù)隱藏的層次屬性的啟發(fā)，在深度矩陣分解的各層中加入局部幾何結(jié)構(gòu)和全局幾何結(jié)構(gòu)信息，將兩個(gè)圖正則化嵌入深度分解的各層，使得數(shù)據(jù)的幾何結(jié)構(gòu)對(duì)數(shù)據(jù)新的表示矩陣進(jìn)行微調(diào)。算法的目標(biāo)就是為了最小化下列問(wèn)題：

其中優(yōu)化問(wèn)題(式(2))中對(duì)數(shù)據(jù)的局部幾何結(jié)構(gòu)的計(jì)算可進(jìn)一步簡(jiǎn)化：

那么優(yōu)化問(wèn)題(2)可以改寫為：

根據(jù)對(duì)數(shù)據(jù)全局幾何結(jié)構(gòu)的計(jì)算方式，優(yōu)化問(wèn)題(3)可進(jìn)一步簡(jiǎn)化為

3 算法優(yōu)化

為優(yōu)化模型的性能，在對(duì)數(shù)據(jù)進(jìn)行深度圖正則化矩陣分解之前，需要對(duì)每個(gè)視角各層的基礎(chǔ)矩陣和特征表示矩陣進(jìn)行初始化。這里使用加入了圖正則化的半非負(fù)矩陣分解算法進(jìn)行各層的初始化。之后，使用迭代更新的方式優(yōu)化函數(shù)變量。算法的成本函數(shù)為

根據(jù)拉格朗日乘子法，對(duì)每個(gè)變量進(jìn)行求導(dǎo)更新計(jì)算。

2) 固定變量、 αv，優(yōu)化更新，HP。

當(dāng)l

定理1更新公式(6)的有限解滿足KKT條件。

證明有關(guān)的優(yōu)化問(wèn)題是含有不等式約束條件的拉格朗日函數(shù)：

其中參數(shù) ξ是為了滿足不等式約束條件≥0而產(chǎn)生的乘子。對(duì)式(7)進(jìn)行求導(dǎo)并使之為0，即根據(jù)對(duì)偶性定理，可以得到：

根據(jù)M=[M]pos?[M]neg，式(8)可以簡(jiǎn)化為

根據(jù)等式的收斂性，式(7)與式(8)等價(jià)。當(dāng)其中一個(gè)等式滿足時(shí)另一個(gè)等式也是滿足的，且具有可逆性。

當(dāng)l=P時(shí)，更新變量HP。HP是通過(guò)逐層分解獲得的視角間共有的特征表示矩陣，優(yōu)化問(wèn)題同樣滿足KKT條件，同時(shí)考慮到視角的互補(bǔ)性和差異性，在更新每個(gè)視角的最后一層時(shí)在式(5)的基礎(chǔ)上加入視角權(quán)重獲得共識(shí)表示矩陣。

多視圖深度圖正則化矩陣分解聚類算法的整體優(yōu)化過(guò)程如下：{}

輸入多視圖數(shù)據(jù)X=X1,X2,···,Xv，參數(shù)λ，γ，各層維度 = [l1,l2,···,lP]，最近鄰居數(shù)k；

輸出各層基礎(chǔ)矩陣和特征矩陣以及視角間的共識(shí)表示矩陣HP。

1) 使用加入圖正則化的Semi-NMF算法初始化每個(gè)視角各層的基礎(chǔ)矩陣和特征矩陣;視角權(quán)重 αv=1/V;構(gòu)建每個(gè)視角的全局圖和局部圖。

2)當(dāng)v= 1:V時(shí)

3) 當(dāng)l=P?1:1時(shí)，根據(jù)逐層分解的方式更新各層特征矩陣：

4)當(dāng)l=1:P時(shí)

5) 當(dāng)l

6) 當(dāng)l=P時(shí)，使用式(9)更新HP。

7) 使用式(10)更新視角權(quán)重 αv。

8) 重復(fù)2)~7)直至收斂。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)中選擇了5個(gè)數(shù)據(jù)集，包括3個(gè)面部基準(zhǔn)數(shù)據(jù)集和2個(gè)圖像數(shù)據(jù)集，面部數(shù)據(jù)集和圖像數(shù)據(jù)集均具備良好的結(jié)構(gòu)信息，能更顯著的表現(xiàn)逐層分解中加入圖正則化的效果。

Yale面部數(shù)據(jù)集由15個(gè)人在面部表情和配置信息不同的情況下產(chǎn)生的共165張GIF格式的灰度圖像。每個(gè)人有11張圖片，面部表情和配置信息包括表情、光照方向、情緒(快樂(lè)/悲傷)、有無(wú)眼鏡等[3]。

Extend Yale B面部數(shù)據(jù)集由38個(gè)人在將近64個(gè)不同光照條件下所得的面部圖像組成。在實(shí)驗(yàn)中，選擇了640張，10個(gè)子集的面部圖像進(jìn)行測(cè)試。

UMIST面部數(shù)據(jù)集包括20個(gè)人的564張圖像(混合種族、性別、外觀)。每個(gè)人都以一系列的姿勢(shì)顯示，從側(cè)面到正面，均已PGM的格式存在，大約220像素×220像素，256灰度，像素值用作特征表示[31]。

COIL-20(columbia university image library)圖像數(shù)據(jù)集包含了20個(gè)對(duì)象物體，每個(gè)物體在水平上旋轉(zhuǎn)360°，每隔5°拍攝一張照片，因此每個(gè)對(duì)象共72幅圖，圖片大小為64像素×64像素，總共1 440張圖像。

Caltech101數(shù)據(jù)集是圖像數(shù)據(jù)集，共包括了101種分類，每個(gè)分類包含了40張到800張不等的圖片，大多數(shù)類別有50張圖片。每一張圖片的大小為300像素 × 200像素。我們選擇了20個(gè)類別，共2 386張圖像。

本實(shí)驗(yàn)中選擇了9對(duì)比算法。

BestSC：在多視圖數(shù)據(jù)的每個(gè)視角數(shù)據(jù)采用標(biāo)準(zhǔn)的譜聚類算法[32]，記錄最好的實(shí)驗(yàn)結(jié)果。

ConcateFea：將所有視角的特征結(jié)合起來(lái)，使用譜聚類算法獲得實(shí)驗(yàn)結(jié)果。

ConcatePCA：將所有視角的特征結(jié)合起來(lái)，使用PCA將特征矩陣映射到低維子空間，使用譜聚類算法獲得聚類結(jié)果。

Co-Reg SPC：通過(guò)共正則化聚類假設(shè)的方式使得數(shù)據(jù)點(diǎn)在不同視角中擁有相同的聚類成員關(guān)系[33]。

Co-Train SPC：基于潛在聚類為同一類別分配一個(gè)數(shù)據(jù)點(diǎn)，無(wú)關(guān)視角的假設(shè)，通過(guò)協(xié)同訓(xùn)練的方式獲得視角之間一致的聚類[34]。

Min-Disagreement SPC：該算法以最小化不一致性為標(biāo)準(zhǔn)構(gòu)建二分圖，使用譜聚類算法進(jìn)行聚類[35]。

DiMSC：在子空間聚類的背景下，使用希爾伯特施密特獨(dú)立標(biāo)準(zhǔn)(HSIC)探索多視圖數(shù)據(jù)的完整性信息[36]。

GMVNMF：將PVC算法[37]從雙視圖擴(kuò)展到多視圖聚類，同時(shí)加入視角圖拉普拉斯規(guī)則化探索每個(gè)視角中數(shù)據(jù)分布的內(nèi)部幾何結(jié)構(gòu)[38]。

DMF_MVC：將 deep semi-nmf model[19]應(yīng)用于多視圖數(shù)據(jù)，同時(shí)對(duì)最終獲得的特征表示矩陣加入視角的圖拉普拉斯矩陣進(jìn)行微調(diào)[20]。

為更加全面的比較算法性能，本文中選擇了6種不同的度量指標(biāo)，包括標(biāo)準(zhǔn)化互信息(normalized mutual information, NMI)，準(zhǔn)確率 (accuracy,ACC)，調(diào)整蘭德指數(shù) (adjusted rand index, AR)，綜合評(píng)價(jià)指標(biāo)(f-score)，精確率(precision)，召回率(recall)。這些指標(biāo)都是數(shù)值越大，性能越好。在實(shí)驗(yàn)中，每個(gè)算法都采用其原算法中最佳的參數(shù)設(shè)置并運(yùn)行10次以上，最終結(jié)果以均值和標(biāo)準(zhǔn)差的方式呈現(xiàn)。

4.2 實(shí)驗(yàn)結(jié)果與分析

表1是本文算法與其他對(duì)比算法在Yale面部數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。從實(shí)驗(yàn)結(jié)果可以看出，本文提出的算法相較于其他對(duì)比算法性能均良好，其中NMI和ACC兩個(gè)指標(biāo)提高了10%以上，其余指標(biāo)均在15%以上。表2是算法在Extend Yale B面部數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。在該數(shù)據(jù)集上，本文提出的算法在各項(xiàng)指標(biāo)上均有所提高。將其與各項(xiàng)指標(biāo)的最佳數(shù)值對(duì)比，在NMI上提高了4.4%，在ACC上提高了3.4%，在AR上提高了4.9%，在F-Measure上提高了5.2%，在精確率和召回率上各提高了2.1%和1.3%，均值保持在3.5%。表3是算法在面部數(shù)據(jù)集UMIST上的實(shí)驗(yàn)結(jié)果。從實(shí)驗(yàn)結(jié)果上看，本文提出的算法比其他算法擁有5個(gè)指標(biāo)的提高，且均在2%~5%以上。在召回率上，本文算法性能并沒(méi)有達(dá)到最好，但是總體來(lái)看，本文的算法性能更加穩(wěn)定。表4是算法在圖像數(shù)據(jù)集COIL-20上的實(shí)驗(yàn)結(jié)果。從表中可以看出，本文提出的算法較之其他算法表現(xiàn)良好。同時(shí)，各項(xiàng)指標(biāo)的提高均值來(lái)看，本文算法與基于譜聚類的算法性能相近，尤其是BestSC算法，這就說(shuō)明本文算法能夠捕捉最佳視角信息并使用圖規(guī)則化改善聚類性能。表5是各算法在Caltech101-20圖像數(shù)據(jù)集上的性能表現(xiàn)。從數(shù)據(jù)中可以看出，Co-Train SPC算法因其協(xié)同訓(xùn)練的方式能夠最大化視角間的標(biāo)準(zhǔn)化互信息。雖然在某些指標(biāo)上，本文提出的算法并未達(dá)到最優(yōu)，但是在其他指標(biāo)上表現(xiàn)良好，且比協(xié)同訓(xùn)練的兩種算法提高了10%以上。

表1 不同算法在Yale面部數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(均值±標(biāo)準(zhǔn)差)Table 1 Experimental results of different algorithms on the Yale face dataset (mean ± standard deviation)

表2 不同算法在Extend Yale B面部數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(均值±標(biāo)準(zhǔn)差)Table 2 Experimental results of different algorithms on the Extend Yale B face dataset (mean ± standard deviation)

表3 不同算法在UMIST面部數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(均值±標(biāo)準(zhǔn)差)Table 3 Experimental results of different algorithms on the UMIST face dataset (mean ± standard deviation)

表4 不同算法在COIL-20數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(均值±標(biāo)準(zhǔn)差)Table 4 Experimental results of different algorithms on the COIL-20 dataset (mean ± standard deviation)

表5 不同算法在Caltech101-20數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(均值±標(biāo)準(zhǔn)差)Table 5 Experimental results of different algorithms on the Caltech101-20 dataset (mean ± standard deviation)

值得注意的是，本文的算法是基于矩陣分解的。在對(duì)比算法中，算法GMVNMF和DMF_MVC也是建立在矩陣分解之上的，且均加入了圖正則化。從實(shí)驗(yàn)結(jié)果中可以看出，本文提出的算法在4個(gè)數(shù)據(jù)集上的表現(xiàn)比兩種算法都好。其中，在Yale面部數(shù)據(jù)集上，本文算法相較于兩種算法在各項(xiàng)指標(biāo)上平均提高了43.1%和18.7%；在Extend Yale B面部數(shù)據(jù)集上分別平均提高了27.8%和6.6%；在UMIST面部數(shù)據(jù)集上，本文提出的算法在與算法GMVNMF進(jìn)行比較時(shí)雖然在召回率上表現(xiàn)略低，但是在NMI上提高了9.3%，在ACC上提高了20.7%，在AR上提高了20.8%，在F-Measure上提高了18.5%，在精確率上提高了30%，均值仍能保持在14.5%，并且本文提出的算法在各項(xiàng)指標(biāo)上表現(xiàn)更加穩(wěn)定；在與算法DMF_MVC進(jìn)行比較時(shí)，本文的算法在各項(xiàng)指標(biāo)上分別提高了8.2%、11.8%、13.7%、12.9%、13.5%和16.3%，均值達(dá)在12.7%。在COIL-20圖像數(shù)據(jù)集上則平均提高了30.6%和7.3%；在Caltech101-20圖像數(shù)據(jù)集上平均提高了12.9%和11.2%。由此可見，本文算法使用的圖正則化計(jì)算方式和逐層加入視角圖正則化對(duì)于聚類有顯著的改善效果。

4.3 算法分析

4.3.1 參數(shù)分析

算法中包括了視角權(quán)重和圖正則化使用的平衡參數(shù)γ、λ，深度矩陣分解的各層維度以及計(jì)算局部圖和全局圖使用的最近鄰值k，兩者結(jié)合計(jì)算圖矩陣的平衡參數(shù)η，其中λ與η有計(jì)算關(guān)聯(lián)性?？紤]到數(shù)據(jù)中局部關(guān)系和全局關(guān)系的等價(jià)值性，實(shí)驗(yàn)中固定設(shè)置 η =1。參數(shù)，參數(shù)最近鄰值k的選擇在KNN算法中是一個(gè)開放性的問(wèn)題，這里選擇 {5 ,10,15}3個(gè)值進(jìn)行測(cè)試。

圖2和圖3是在參數(shù)γ、λ和各層維度{[100 50],[150 50],[150 100]}影響下，算法生成的NMI和ACC的變化曲線。首先，從圖2中可以看出，當(dāng)γ變化時(shí)，NMI和ACC的各3條曲線變化幅度并不大，均控制在0.03以下，這就說(shuō)明γ的變化對(duì)算法的性能影響不大。其次，從圖3中NMI和ACC的變化曲線中可以看出，只有在分解維度為[150 100]時(shí)，參數(shù)λ的變化對(duì)于性能的影響才是最大的，同時(shí)，當(dāng)λ=0.01時(shí)兩項(xiàng)指標(biāo)均達(dá)到最大且變化明顯。最后從圖2和圖3中可以看出算法在分解維度為[100 50]時(shí)效果最好，且最為穩(wěn)定；在分解維度為[150 100]時(shí)效果最差，同時(shí)曲線波動(dòng)也最大。

圖2 不同參數(shù)γ和各層維度下算法在Yale面部數(shù)據(jù)集上的性能變化（k=5，λ=0.01）Fig.2 Performance changes of the algorithm on the Yale face dataset under different parameters γ and each layer dimension (k=5，λ=0.01)

圖3 不同參數(shù)λ和各層維度下算法在Yale面部數(shù)據(jù)集上的性能變化（k=5，γ=0.1）Fig.3 Performance changes of the algorithm on the Yale face dataset under different parameters λ and each layer dimension (k=5，γ=0.1)

圖4是算法在參數(shù)γ和最近鄰k兩者影響下生成的NMI和ACC數(shù)值折線圖。從圖中可以看出，NMI和ACC在k=10時(shí)達(dá)到最大值，在k=15時(shí)值最小，同時(shí)k=10與k=5對(duì)算法的影響控制在0.03之內(nèi)；再結(jié)合圖2可以進(jìn)一步看出，參數(shù)γ在取中的值時(shí)，效果能夠達(dá)到最優(yōu)。

圖4 不同參數(shù)γ和最近鄰k下算法在Yale面部數(shù)據(jù)集上的性能變化（λ=0.01，各層維度=[100 50]）Fig.4 Performance changes of the algorithm on the Yale face dataset under different parameters γ and the nearest neighbors k (λ=0.01，各層維度=[100 50])

4.3.2 收斂性分析

關(guān)于算法的收斂性問(wèn)題，從理論上來(lái)說(shuō)，定理1說(shuō)明了算法模型在每個(gè)視角的特征表示矩陣和共識(shí)表示矩陣優(yōu)化問(wèn)題上均落在一個(gè)固定點(diǎn)上。如圖5是在實(shí)驗(yàn)中，設(shè)定參數(shù)值γ=10，λ=0.01，k=10，各層維度=[100 50]，優(yōu)化問(wèn)題 (4)與NMI隨著迭代次數(shù)不斷增加而產(chǎn)生的變化曲線。從圖5中可以明確看出，隨著迭代次數(shù)的增加，目標(biāo)函數(shù)值逐漸降低，NMI增加并逐漸保持穩(wěn)定。當(dāng)?shù)螖?shù)在1~15時(shí)，目標(biāo)函數(shù)值下降迅速；當(dāng)達(dá)到20次或保持在50~67次時(shí)，NMI一直穩(wěn)定在最高值，之后逐漸保持穩(wěn)定，且目標(biāo)函數(shù)值下降緩慢。為保證實(shí)驗(yàn)數(shù)據(jù)的穩(wěn)定性，實(shí)驗(yàn)中迭代次數(shù)設(shè)定為100次。

圖5 迭代更新時(shí)算法的目標(biāo)函數(shù)值和性能變化(γ=10,λ=0.01, k=10,各層維度=[100 50])Fig.5 The objective function value and performance change of the algorithm during iterative update(γ=10, λ=0.01, k=10, layer dimension=[100 50])

4.3.3 聚類可視化分析

為更形象的展示本文算法聚類過(guò)程，我們可視化了聚類結(jié)果，如圖6所示。我們選擇了每個(gè)數(shù)據(jù)集中的3個(gè)類別，每個(gè)類中包含隨機(jī)的10張圖片。從圖中可以看出每個(gè)類中均包含非本類別中的圖片對(duì)象。從圖6(a)中可以看出，每個(gè)類中包含少量的錯(cuò)誤對(duì)象，證明了算法的高準(zhǔn)確率，同樣的效果也可以從圖6(d)中看到。在Extend YaleB數(shù)據(jù)集的3個(gè)類別中，算法的準(zhǔn)確率并沒(méi)有達(dá)到最優(yōu)，如圖6(c)中所示，算法在第3個(gè)類別中存在一定的錯(cuò)誤。在圖像數(shù)據(jù)集中，算法在COIL-20數(shù)據(jù)集上的表現(xiàn)良好(圖6(b))，每個(gè)類別從上到下的準(zhǔn)確率可以達(dá)到90%，90%，80%。對(duì)于圖像構(gòu)成更為復(fù)雜的Caltech101-20數(shù)據(jù)集，算法的準(zhǔn)確度還有一定的進(jìn)步空間(圖6(e))。

圖6 算法在各數(shù)據(jù)集上的聚類可視化Fig.6 Cluster visualization of the algorithm on each dataset

4.3.4 復(fù)雜度分析

圖7展示了所有算法在5個(gè)數(shù)據(jù)集上的運(yùn)行時(shí)間變化。本文所使用的實(shí)驗(yàn)環(huán)境是Inter Core i7 8 500 8 GB內(nèi)存，Matlab R2018a版本。為保證數(shù)據(jù)的穩(wěn)定性，大多數(shù)算法均運(yùn)行了10次以上。結(jié)合運(yùn)行時(shí)間和實(shí)驗(yàn)數(shù)據(jù)集兩個(gè)內(nèi)容可以看出大多數(shù)算法的時(shí)間復(fù)雜度與數(shù)據(jù)點(diǎn)的量級(jí)有直接聯(lián)系。數(shù)據(jù)點(diǎn)越多，算法中涉及的計(jì)算和處理所消耗的時(shí)間越多。在時(shí)間復(fù)雜度上，基于矩陣分解的算法所需要的時(shí)間復(fù)雜度為。同時(shí)，通過(guò)上述對(duì)算法收斂性的內(nèi)容可以看出，基于矩陣分解的算法需要100次以上的迭代才能保持性能穩(wěn)定，因此，基于矩陣分解的算法比其他大多數(shù)算法都需要消耗更長(zhǎng)的時(shí)間。值得注意的是，相較于相近的DMF_MVC算法，本文提出的算法在時(shí)間復(fù)雜度上并沒(méi)有明顯的提高。這就說(shuō)明本文的算法在保證性能提高的同時(shí)并沒(méi)有增加時(shí)間消耗。

圖7 各算法在數(shù)據(jù)集上的運(yùn)行時(shí)間Fig.7 Running time of each algorithm on the dataset

5 結(jié)束語(yǔ)

本文中提出一種基于深度圖正則化矩陣分解的多視圖聚類算法，該算法使用深度非負(fù)矩陣分解模型并逐層加入圖正則化限制，獲取數(shù)據(jù)層次信息的同時(shí)保護(hù)數(shù)據(jù)的幾何結(jié)構(gòu)。權(quán)重的使用和共識(shí)表示矩陣的生成確保數(shù)據(jù)的一致性和差異性。實(shí)驗(yàn)數(shù)據(jù)表明，該算法在含有豐富幾何結(jié)構(gòu)的數(shù)據(jù)集上能夠達(dá)到較高的準(zhǔn)確率和穩(wěn)定性。今后，需要加強(qiáng)對(duì)數(shù)據(jù)幾何結(jié)構(gòu)信息以及多視圖數(shù)據(jù)表示學(xué)習(xí)的研究，提高多視圖聚類的性能。