改進的多樣性驅(qū)動的多視圖子空間聚類算法

劉金花 王洋 賀瀟磊

摘要：為了解決目前基于子空間的多視圖聚類模型存在的兩個問題，即：只考慮各視圖間的互補信息或一致性來進行聚類;通常采取兩步方式，提出了一種改進的多樣性驅(qū)動的多視圖子空間聚類算法。綜合利用各視圖的多樣性表示來獲得互補信息，同時通過引入概率單純形約束和秩約束從子空間系數(shù)矩陣中自動學習用于聚類的共同親鄰圖和一致類簇指標矩陣，以提高聚類性能。在真實數(shù)據(jù)集上的實驗證明了所提方法的有效性和優(yōu)越性。

關鍵詞：子空間聚類;多視圖數(shù)據(jù);概率單純形約束;秩約束

中圖分類號：TP312

文獻標識碼：A

文章編號：1006-8228（2020）09-91-04

Improved multi-view subspace clustering with diversify driven

Liu Jinhua1， Wang Yang2， He Xiaolei2

（1 Fenyang College of Shanxi Medical University， Fenyang， Shanxi 032200. China; 2 Nnrth Automatic Control Technology Institute）

Abstract： In order to solve the two problems existing in the current subspace based multi-view clustering model， i.e.. onlyconsidering the clustering of complementary information or consistency information from the multiple views; usually adopting two-step framework， an improved multi-view subspace clustering algorithm with diversity driven is proposed. It obtains complementaryinformation by using diversity representation of each view. meanwhile learns the common affinity matrix and class indicator matrixautomatically by introducing probabilistic simplex constraint and rank constraint. Experiments on real-world dataset have validatedthe effectiveness and superiority of the proposed method.

Key words： subspace clustering; multi-view data; probabilistic simplex constraint; rank constraint

0引言

隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)的采集方式和設備都發(fā)生了巨大變化，呈現(xiàn)出大量的多視圖數(shù)據(jù)。多視圖數(shù)據(jù)是對同一對象的不同視角的表征和描述[1]，含有比單視圖數(shù)據(jù)更多樣的信息，在數(shù)據(jù)挖掘、計算機視覺等領域經(jīng)常出現(xiàn)。比如，同一段文本被不同的語言來表達，同一張照片被不同的沒備采集和抓取。多視圖數(shù)據(jù)挖掘的主要挑戰(zhàn)就是如何在探索潛在一致結構時綜合利用多樣的特征信息來完成類簇的劃分。

由于其有效性和理論保證，基于子空間聚類的方法成為了多視圖研究的主流。文獻[2]將子空間聚類擴展到多視圖聚類任務中，通過學習共同的聚類結構來增強多視圖之間的一致性。文獻[3]提出的DiMSC模型和文獻[4]提出的ECMSC模型，它們的主要思想是通過探索不同視圖的多樣性特征來提高聚類性能。文獻[5]將每個視圖的自表示系數(shù)矩陣分為一致性（低秩結構，由不同視圖共享）和特異性（表征每個視圖的固有差異），提出了一致性一特異性多視圖子空間聚類模型（CSMSC）。

盡管上面提到的模型已經(jīng)被證明具有很好的聚類性能，但由于采用兩步策略，給聚類性能造成一定的影響。為此，本文提出了一種改進的多樣性驅(qū)動的多視圖子空間聚類模型，該模型不僅利用學習到的各視圖的多樣性表示來獲得數(shù)據(jù)的互補信息，而且引入概率單純形約束和秩約束從子空間系數(shù)矩陣中自動學習用于聚類的共同親鄰圖和一致類簇指標矩陣，提高了聚類的性能。

1本文方法

1.1基礎模型

受文獻[5]的啟發(fā)，我們使用的基礎模型如式（1），為避免各樣本由自己表示，增加了等式約束。

（1）

上述基礎模型在獲得了各視圖的潛在系數(shù)表示Z后，通過式（2）來獲得一致親鄰圖S。然而，這樣做會帶來兩個問題：①完全忽略掉各視圖之間的一致信息;②通過絕對值操作強制使Z（v）中的負值變?yōu)檎?，會破壞樣本之間固有的聯(lián)系。因此簡單組合各視圖的潛在系數(shù)矩陣會得到一個質(zhì)量較差的親鄰圖，影響后續(xù)聚類性能。

s=

（2）

1.2一致親鄰圖與類簇標識矩陣

為獲得一個有效的、能為各視圖共享的親鄰圖，受文獻[6]啟發(fā)，我們采用自動方式來學習一致親鄰圖S，并且引入概率單純形約束，使系數(shù)表示矩陣Z與親鄰圖中的元素都在同一范圍內(nèi)。

（3）

另外，為了使一致親鄰圖S有k個連通分量，我們對S的進行了秩約束。根據(jù)文獻[7]中的理論，如果拉普拉斯矩陣滿足rank（L） =n-k，那么親鄰圖S恰好包含k個連通分量。又據(jù)文獻[8]的研究，rank（L）=n-k等價于=0，根據(jù)Ky Fan的理論[9]，得到下式：

（4）其中F是類簇指標矩陣，Ls為拉普拉斯矩陣，Ls=D-（S+ST）/2，D為對角矩陣，其第j個對角元素為。

綜合式（1）（3）（4）得到本文模型的目標函數(shù)，如公式（5）：

（5）

目標函數(shù)包含三部分，第一部分為視圖內(nèi)部的結構學習，其中第一項是自表示學習項，第二項是流形學習項;第二部分是視圖間多樣性學習;第三部分用來學習各視圖的一致性親鄰圖S和類別一致指標矩陣F，用于后續(xù)的聚類操作。

2優(yōu)化

利用交替方向乘子法（ADMM）優(yōu)化上述模型，引入輔助變量C（v），相應的增廣拉格朗日函數(shù)如式（6）。其中Y（v）為拉格朗日乘子，u是懲罰因子。

（6）

2.1求解Z（v）-子問題

只考慮變量Z而忽略其他變量，得到式（7）。

（7）

上述方程有閉形式的解。

（8）

（9）

公式（8）是典型的西爾韋斯特方程，存在唯一解Z（v）求得Z（v）后，據(jù)式（9）就可以得到Z（v）。

2.2 C-子問題

通過求解下面的問題，便可以對C進行優(yōu)化

（10）

上述問題可以通過算法1求得有效解。

2.3求解S-子問題

通過求解下面的問題，便可以對S進行優(yōu)化。

（11）

引入輔助變量，那么式（11）等價于求解下式的最小值。

（12）

通過算法1可以得到公式（12）的惟一解。

2.4求解F-子問題

通過求解下面的問題，便可以對F進行優(yōu)化。

O（F）=mintr（FTLsF）

s.t.FTF=I

（13）

F的優(yōu)化解為拉普拉斯矩陣Ls的k個最小的特征值對應的特征向量（k為給定的類簇數(shù)）。

詳細的優(yōu)化過程如算法2所示。

3實驗

3.1實驗數(shù)據(jù)及評價指標

為了驗證本文方法的有效性，在Caltech101-7，MSRC-v1、Reuters、BBCSport公開的多視圖數(shù)據(jù)集上進行實驗。另外，通過準確率（ACC），NMI和F-score三個通用的指標來評價聚類性能。

3.2比較實驗

將所提模型與現(xiàn)有的相關模型進行比較，包括經(jīng)典的k-means算法、一個單視圖的子空間聚類方法（LRR）和三個多視圖的聚類方法（Co-Reg SPC、DiMSC、ECMSCC）。將k-means方法作為本文的基準方法。具體地，我們使用k-means在每個視圖的數(shù)據(jù)上進行聚類，并且挑選聚類性能最好的結果KM_best，另外，我們還將所有視圖的特征進行拼接后，再用k-mean聚類，得到的聚類結果為KM_all。對于算法LRR，同樣也將各視圖的特征進行拼接后，再在這些數(shù)據(jù)上執(zhí)行LRR聚類。對于各個對比模型，我們下載其作者公開的代碼，參數(shù)的設置都遵循相關論文中的建議。為了避免隨機初始化造成的誤差，我們在每個數(shù)據(jù)集上都進行30次重復實驗，然后取平均作為最后的聚類結果。表1-表3展示了各模型在公開數(shù)據(jù)集上的聚類準確率、NMI和F-score值。

從上述表中可以看出本文所提模型除了在數(shù)據(jù)集Reuters我們的模型沒有達到應有的效果，在其他三個數(shù)據(jù)集上均優(yōu)于其他的模型，需要重點觀察的是與本文模型最相關的DiMSC模型，我們的模型的三個評價指標在三個數(shù)據(jù)集上都比DiMSC要高，這也很好的證明了通過自動學習一致親鄰圖和類簇指標矩陣可以有效提高子空間的聚類性能。另外，與模型ECMSC相比，因為該模型中也用到了類簇指標一致項，是直接用Z來代替親鄰圖進行圖的秩約束，其本質(zhì)上還是使用了前面公式（2）來代替親鄰圖S，聚類性能還是受到了影響。

4總結

本文提出的模型結合了視圖內(nèi)部的結構學習和視圖間的多樣性與一致性學習來提高聚類的性能。通過引入單純形概率約束和秩約束來自動學習用于聚類任務的共同親鄰圖與類指標矩陣，避免了兩步聚類策略帶來的次優(yōu)化問題，在真實的數(shù)據(jù)集上實驗，驗證了所提模型的有效性。但所提模型也存在一定的缺陷，如參數(shù)的調(diào)試很費時，實現(xiàn)一個無參的多視圖聚類模型是未來研究的重點。

參考文獻（References）：

[1]何夢嬌.基于非負矩陣分解的多視圖聚類研究[D]，面南交通大學，2017.

[2]Gao H，Nie F，Li X，et al.Multi-view Subspace Clustering[CI//IEEE International Conference on Computer Vision.IEEE.2015.

[3]X. Cao，C.Zhang，H.Fu，S.Liu，H.Zhang， Diversity-induced multi-view subspace clustering[C]， in： Proceed-ings of the IEEE Conference on Computer Vision andPattern Recognition，2015：586-594

[4] X. Wang， Z. Lei， X. Guo， C. Zhang， H. Shi， S.Z. Li， Multi-view subspace clustering with intactness-aware similari-ty[J].Pattern Recognit， 2019.88： 50-63

[5]S. Luo， C. Zhang， W. Zhang， and X. Cao， Consistent andspecificmultiview subspace clustering[C]， in Proc. Int.30th AAAI Conf. Artif. Intell.，2018：3730-3737

[6] X. Zhu， S. Zhang， R. Hu， W. He， C. Lei， P. Zhu， One-stepmulti-view spectral clustering[J]， IEEE Trans. Knowl.Data Eng，2018.31：2022-2034

[7] F. Nie， X. Wang， H. Huang， Clustering and projectedclustering with adaptive neighbors[C]， in： Proceedingsof the 20th ACM SIGKDD International Conferenceon Knowledge DiscoveW and Data Mining， ACM，2014：977-986

[8] K. Zhan， C. Niu， C. Chen， F. Nie， C. Zhang， Y. Yang，Graph structure fusion for multiview clustering[J].IEEETrans. Knowl. Data Eng，2018.31：1984-1993

[9] K. Fan， On a theorem of weyl concerning eigenvalues oflinear transformations[Cl. in， Proc. Natl. Acad. Sci，1949.35（11）：652-655

收稿日期：2020-05-22

*基金項目：山西醫(yī)科大學汾陽學院人才引進啟動基金（2018D06）

作者簡介：劉金花（1987-），女，山西省汾陽人，碩士，講師，CCF會員，主要研究方向：機器學習、數(shù)據(jù)挖掘。