基于交叉分布對(duì)齊的深度自監(jiān)督多視圖聚類方法

陳泓達(dá) 陳培欽

學(xué)術(shù)研究

基于交叉分布對(duì)齊的深度自監(jiān)督多視圖聚類方法

陳泓達(dá) 陳培欽

（廣東工業(yè)大學(xué)，廣東 廣州 510006）

為高效利用多視圖數(shù)據(jù)的一致性和互補(bǔ)性信息，提高多視圖聚類效果，提出一種基于交叉分布對(duì)齊的深度自監(jiān)督多視圖聚類方法。首先，采用交叉對(duì)齊策略學(xué)習(xí)視圖間的潛在聯(lián)系，得到多視圖共享潛在表示；然后，執(zhí)行聚類操作，并將聚類結(jié)果作為偽標(biāo)簽信息，建立一條自監(jiān)督路徑；接著，在統(tǒng)一的框架中聯(lián)合學(xué)習(xí)優(yōu)化；最后，在3個(gè)公共多視圖數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，本文提出方法的聚類評(píng)價(jià)指標(biāo)均表現(xiàn)出較好性能。

多視圖聚類；變分自編碼器；交叉分布對(duì)齊；自監(jiān)督

0　引言

聚類作為一種無監(jiān)督學(xué)習(xí)方法備受研究者關(guān)注，并在計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)等領(lǐng)域被廣泛研究[1-2]。隨著互聯(lián)網(wǎng)和傳感器技術(shù)的迅速發(fā)展，相關(guān)領(lǐng)域的數(shù)據(jù)每天都呈指數(shù)增長(zhǎng)，且這些數(shù)據(jù)已從單一視圖描述演變成各種類型的多視圖描述，從而形成多視圖數(shù)據(jù)。多視圖數(shù)據(jù)從不同角度描述同一對(duì)象的多種信息，提供豐富互補(bǔ)信息，使不同視圖之間既存在聯(lián)系又存在差異。

多視圖聚類（multi-view clustering, MVC）是將多視圖特征信息相似的對(duì)象分到同一類，不相似的對(duì)象分到不同類，且可跨不同視圖搜索其一致性的集群。自1967年以來，研究人員已提出許多聚類算法，如K-means[3]、譜聚類[4]和子空間聚類[5-8]等。但這些算法僅適用于單視圖數(shù)據(jù)，無法擴(kuò)展應(yīng)用于多視圖數(shù)據(jù)。

從21世紀(jì)初開始，多視圖聚類方法得到多方面研究。NGIAM等[9]通過訓(xùn)練雙峰深度自動(dòng)編碼器獲取視圖共享表示；WANG等[10]擴(kuò)展典型相關(guān)性分析，引入自編碼器正則化，提出一種深度典型性相關(guān)自動(dòng)編碼器（deep canonically correlation autoencoder, DCCAE），但上述方法僅適用于2個(gè)視圖的情況。2012年，HUANG等[11]提出譜聚類的親和度聚合（affinity aggregation for spectral clustering, AASC）算法，將譜聚類擴(kuò)展應(yīng)用于多視圖數(shù)據(jù)，并取得較好效果。2014年，XIA等[12]利用各視圖轉(zhuǎn)移概率矩陣獲取共享低秩轉(zhuǎn)移概率矩陣，并通過低秩和稀疏分解的魯棒多視圖光譜聚類（robust multiview spectral clustering, RMSC）方法，取得令人滿意的聚類效果?？紤]到不同視圖對(duì)全局聚類能力的差異，NIE等[13]提出多視圖自適應(yīng)Procrustes加權(quán)（adaptively weighted Procrustes, AWP）方法，對(duì)Procrustes均值進(jìn)行加權(quán)改進(jìn)，并應(yīng)用于多視圖數(shù)據(jù)。隨著圖學(xué)習(xí)的快速興起，許多研究者將圖學(xué)習(xí)應(yīng)用于多視圖聚類。ZHAN等[14]提出的多視圖共識(shí)圖聚類（multiview consensus graph clustering, MCGC），通過多視圖學(xué)習(xí)具有個(gè)連通分量的共識(shí)圖，可直接從共識(shí)圖中獲取聚類結(jié)果。LIANG等[15]在統(tǒng)一的目標(biāo)函數(shù)中，同時(shí)對(duì)多視圖一致性和不一致性進(jìn)行建模，提出相似圖融合（similarity graph fusion, SGF）和相異圖融合（dissimilarity graph fusion, DFG）2種方法，前者通過相似圖對(duì)多個(gè)視圖信息進(jìn)行融合，后者利用距離進(jìn)行視圖信息融合。

雖然現(xiàn)有的多視圖聚類研究取得了一些進(jìn)展，但多視圖數(shù)據(jù)內(nèi)在的有用信息尚未被充分利用，主要難點(diǎn)在于如何挖掘多視圖數(shù)據(jù)的一致性和互補(bǔ)性信息來提升聚類效果。為此，本文將深度學(xué)習(xí)應(yīng)用于多視圖學(xué)習(xí)，并受自監(jiān)督思想啟發(fā)，提出一種基于交叉分布對(duì)齊的深度自監(jiān)督多視圖聚類（deep self- supervision multi-view clustering based on cross- distribution alignment, DSMVCCDA）方法，可有效提升多視圖數(shù)據(jù)聚類效果。

1 基本架構(gòu)

本文提出的基于交叉分布對(duì)齊的深度自監(jiān)督多視圖聚類（DSMVCCDA）網(wǎng)絡(luò)架構(gòu)如圖1所示。

圖1 基于交叉分布對(duì)齊的深度自監(jiān)督多視圖聚類網(wǎng)絡(luò)架構(gòu)

由圖1可知，DSMVCCDA主要由3部分構(gòu)成：

1.1 交叉分布對(duì)齊

交叉分布對(duì)齊是指利用VAE網(wǎng)絡(luò)中編碼器（encoder）對(duì)視圖潛在分布進(jìn)行對(duì)齊，同時(shí)為減少分布對(duì)齊損失的信息，在解碼器（decoder）重構(gòu)過程中引入交叉對(duì)齊來平衡多視圖數(shù)據(jù)的學(xué)習(xí)。

由于DSMVCCDA的目標(biāo)是學(xué)習(xí)多個(gè)視圖間的交叉互補(bǔ)信息的組合形式，故VAE網(wǎng)絡(luò)結(jié)構(gòu)包含個(gè)視圖編碼器，且每一個(gè)視圖編碼器對(duì)應(yīng)一個(gè)解碼器，以映射到潛在表示空間。為使VAE網(wǎng)絡(luò)在學(xué)習(xí)多個(gè)視圖交叉互補(bǔ)信息的同時(shí)，能最大限度地減少信息丟失，需通過解碼器網(wǎng)絡(luò)重建原始數(shù)據(jù)，所以DSMVCCDA模型的基本VAE損失是個(gè)視圖的VAE損失之和：

式中：

對(duì)具有組分布對(duì)齊的多視圖數(shù)據(jù)，分布對(duì)齊損失函數(shù)可表示為

考慮到分布對(duì)齊給學(xué)習(xí)多視圖一致性信息帶來的較強(qiáng)約束，引入交叉對(duì)齊可以平衡DSMVCCDA模型對(duì)多視圖一致性和互補(bǔ)性信息的學(xué)習(xí)。交叉對(duì)齊利用其他視圖在VAE學(xué)習(xí)到的潛在表示，加入自身視圖特定的解碼器進(jìn)行交叉學(xué)習(xí)，可以在保留特定視圖信息的情況下，利用其他視圖信息提高模型的學(xué)習(xí)能力。交叉對(duì)齊損失函數(shù)為

式中：

1.2 共享潛在表示

式中：

式中：

1.3 自監(jiān)督聚類

式中：

式中：

上述目標(biāo)分布可通過提高軟分配的高置信度得分來指導(dǎo)聚類[19]，故聚類損失為

由于多視圖聚類是不受監(jiān)督學(xué)習(xí)的過程，無法得知學(xué)習(xí)的多視圖特征信息的有效貢獻(xiàn)程度。因此，為進(jìn)一步挖掘多視圖數(shù)據(jù)內(nèi)在信息，提出了自監(jiān)督學(xué)習(xí)方法。與無監(jiān)督學(xué)習(xí)相比，自監(jiān)督學(xué)習(xí)可利用數(shù)據(jù)集本身信息構(gòu)造偽標(biāo)簽信息，監(jiān)督網(wǎng)絡(luò)的訓(xùn)練過程。本文提出的DSMVCCDA，將VAE網(wǎng)絡(luò)學(xué)習(xí)到的多視圖共享潛在表示執(zhí)行聚類操作后得到的具有標(biāo)簽信息的分布作為偽標(biāo)簽，設(shè)計(jì)一個(gè)具有兩層全連接層的分類器作為下游任務(wù)，該分類器的輸入由所有視圖的潛在表示和共享潛在表示組合而成，輸出層則使用Softmax函數(shù)得到預(yù)測(cè)分類的概率分布。

本文采用KL散度來衡量2個(gè)概率分布的差異，并將其作為損失函數(shù)來優(yōu)化分類器網(wǎng)絡(luò)參數(shù)。自監(jiān)督分類器損失函數(shù)為

式中：

結(jié)合多視圖特征學(xué)習(xí)和聚類損失，DSMVCCDA模型的總體目標(biāo)損失函數(shù)為

式中：

2　數(shù)據(jù)集與參數(shù)設(shè)置

為驗(yàn)證本文提出DSMVCCDA方法的有效性，選取3個(gè)公開數(shù)據(jù)集MSRC-v1[20]、NUS-WIDE[21]和Caltech101進(jìn)行對(duì)比實(shí)驗(yàn)，數(shù)據(jù)集統(tǒng)計(jì)信息如表1所示。

表1 3個(gè)數(shù)據(jù)集統(tǒng)計(jì)信息

表2 3個(gè)數(shù)據(jù)集的最優(yōu)參數(shù)設(shè)置

3　實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境配置

本文實(shí)驗(yàn)基于Python3.6編程語言，采用深度學(xué)習(xí)框架Pytorch1.1.0搭建環(huán)境，顯卡配置為GTX 1080Ti和CUDA10.0。

3.2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)選用AASC、RMSC、AWP、MCGC、SGF、DFG等多視圖聚類算法，在3個(gè)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)。聚類評(píng)價(jià)指標(biāo)使用聚類準(zhǔn)確性（accuracy，ACC）和純度（purity）。其中，ACC用于測(cè)量聚類算法獲得的實(shí)際標(biāo)簽和預(yù)測(cè)標(biāo)簽之間的準(zhǔn)確性；purity則計(jì)算正確聚類數(shù)占總數(shù)的比例。2個(gè)指標(biāo)值越大說明聚類算法性能越好。ACC和purity結(jié)果取10次實(shí)驗(yàn)平均值和標(biāo)準(zhǔn)差作為最終的聚類結(jié)果，結(jié)果分別如表3和表4所示。

表3 多視圖聚類算法在不同數(shù)據(jù)集上的ACC值 %

表4 多視圖聚類算法在不同數(shù)據(jù)集上的purity值 %

由表3、表4可知：DSMVCCDA方法在聚類指標(biāo)ACC上，數(shù)據(jù)集MSRC-v1、NUS-WIDE和Caltech101分別比次優(yōu)值高7.15%、4.5%和3.86%；在聚類指標(biāo)purity上，數(shù)據(jù)集MSRC-v1、NUS-WIDE和Caltech101分別比次優(yōu)值高7.15%、2.78%和4.07%。

從不同數(shù)據(jù)集聚類效果的數(shù)值和穩(wěn)定性來看，同一種多視圖聚類方法在3個(gè)數(shù)據(jù)集上表現(xiàn)不盡相同，主要原因是多視圖數(shù)據(jù)集本身結(jié)構(gòu)的復(fù)雜性。主要表現(xiàn)在：

1）視圖間相關(guān)性不強(qiáng)，如NUS-WIDE是由5個(gè)低級(jí)特征組成的多視圖，其中顏色直方圖（color histogram, CH）、塊方式顏色矩（color moment of block mode, CM）和顏色相關(guān)圖（color correlation, CORR）具有一定的相關(guān)性，而與邊緣方向直方圖（edge direction histogram, EDH）和小波紋理（wavelet texture, WT）相關(guān)性不強(qiáng)，可能造成聚類結(jié)果偏低；

2）低質(zhì)量分類，數(shù)據(jù)集需要聚類的類別數(shù)量是按照人為擬定的標(biāo)準(zhǔn)給定，標(biāo)準(zhǔn)可能過于苛刻，且由于網(wǎng)絡(luò)沒有監(jiān)督信息，也可能造成聚類結(jié)果偏低；

3）不平衡分類，即數(shù)據(jù)集的聚類類別數(shù)量和樣本數(shù)不平衡，給網(wǎng)絡(luò)訓(xùn)練帶來一定的學(xué)習(xí)偏差。

得益于深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的擬合非線性能力，本文提出的DSMVCCDA方法采用深度生成式模型變分自編碼器，可通過學(xué)習(xí)共享潛在表示來挖掘視圖間的潛在相關(guān)性，且引入自監(jiān)督學(xué)習(xí)方法可使網(wǎng)絡(luò)減弱數(shù)據(jù)集本身結(jié)構(gòu)帶來的影響，充分挖掘多視圖數(shù)據(jù)集內(nèi)在信息，因此，本文方法在3個(gè)數(shù)據(jù)集上表現(xiàn)穩(wěn)定且優(yōu)異。

4　結(jié)語

為高效挖掘多視圖數(shù)據(jù)的一致性和互補(bǔ)性信息，本文提出一種基于交叉分布對(duì)齊的深度自監(jiān)督多視圖聚類方法。該方法在變分自編碼器中使用交叉分布對(duì)齊策略學(xué)習(xí)多視圖共享潛在表示，執(zhí)行聚類操作，并將聚類結(jié)果標(biāo)簽信息作為偽標(biāo)簽來監(jiān)督網(wǎng)絡(luò)的學(xué)習(xí)，共同優(yōu)化網(wǎng)絡(luò)參數(shù)。實(shí)驗(yàn)結(jié)果表明，本文方法在3個(gè)公共數(shù)據(jù)集上的聚類效果比其他多視圖聚類方法表現(xiàn)更優(yōu)異穩(wěn)定，證明了該方法的有效性。

[1] CARON M, BOJANOWSKI P, JOULIN A et al. Deep clustering for unsupervised learning of visual features[C]// Proceedings of the European conference on computer vision (ECCV), 2018:132-149.

[2] CHANG J, WANG L, MENG G, et al. Deep adaptive image clustering[C]//Proceedings of the IEEE International Confe- rence on Computer Vision, 2017:5879-5887.

[3] HARTIGAN J A, WONG M A. A K-means clustering algorithm[J]. Journal of the Royal Statistical Society(Applied Statistics), 1979,28(1):100-108.

[4] GUO C, ZHENG S, XIE Y, et al. A survey on spectral clustering[C]//World Automation Congress. IEEE, 2012:53-56.

[5] VIDAL R. Subspace clustering[J]. IEEE Signal Processing Magazine, 2011,28(2):52-68.

[6] GAO H, NIE F, LI X, et al. Multi-view subspace clustering [C]//IEEE International Conference on Computer Vision. IEEE, 2015:4238-4246.

[7] ZHANG C, FU H, LIU S, et al. Low-rank tensor constrained multiview subspace clustering[C]//IEEE International Conference on Computer Vision. IEEE, 2015:1582-1590.

[8] YIN M, GAO J, XIE S, et al. Multiview subspace clustering via tensorial t-product representation[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018,30(3):851-864.

[9] NGIAM J, KHOSLA A, KIM M, et al. Multimodal deep learning[C]//ICML, 2011.

[10] WANG W, ARORA R, LIVESCU K, et al. On deep multi- view representation learning[C]//International Conference on Machine Learning. PMLR, 2015:1083-1092.

[11] HUANG H C, CHUANG Y Y, CHEN C S. Affinity aggregation for spectral clustering[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2012: 773-780.

[12] XIA R, PAN Y, Du L, et al. Robust multi-view spectral clustering via low-rank and sparse decomposition[C]//Procee- dings of the AAAI conference on artificial intelligence, 2014, 28(1).

[13] NIE F, TIAN L, LI X. Multiview clustering via adaptively weighted Procrustes[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining, 2018:2022-2030.

[14] ZHAN K, NIE F, WANG J, et al. Multiview consensus graph clustering[J]. IEEE Transactions on Image Processing, 2018, 28(3):1261-1270.

[15] LIANG Y, HUANG D, WANG C D, et al. Multi-view graph learning by joint modeling of consistency and inconsistency [J]. arXiv preprint arXiv, 2008:10208,2020.

[16] KINGMA D P, WELLING M. Auto-encoding variational bayes y[J]. arXiv preprint arXiv;1312.6114,2013.

[17] GIVENS C R, SHORTT R M. A class of Wasserstein metrics for probability distributions[J]. The Michigan Mathematical Journal,1984,31(2):231-240.

[18] RUMELHART D E, HINTON G E, WILLIAMS R J. Learning representations by back-propagating errors[J]. Na- ture, 1986,323(6088):533-536.

[19] XIE J, GIRSHICK R, FARHADI A. Unsupervised deepembedding for clustering analysis[C]//Proceedings of the 33rd International Conference on International Conference on Ma- chine Learning-Volume 48, 2016:478-487.

[20] WINN J, JOJIC N. LOCUS: learning object classes with unsupervised segmentation[C]//Tenth IEEE International Conference on Computer Vision (ICCV'05), 2005,1:756-763.

[21] CHUA T S, TANG J, HONG R, et al. Nus-wide: a real-world web image database from national university of Singapore [C]//Proceedings of the ACM international conference on image and video retrieval, 2009:1-9.

Deep Self Supervision Multi View Clustering Based on Cross Distribution Alignment

CHEN Hongda CHEN Peiqin

(Guangdong University of Technology, Guangzhou 510006, China)

In order to efficiently use the consistency and complementarity information of multi view data to improve the multi view clustering effect, a deep self supervised multi view clustering method based on cross distribution alignment is proposed. First, the cross alignment strategy is used to learn the potential relationship between views and obtain the potential representation shared by multiple views; Then, the clustering operation is performed, and the clustering result is taken as pseudo label information to establish a self supervised path; Then, joint learning optimization in a unified framework; Finally, experiments are carried out on three public multi view data, and the results show that the clustering evaluation indexes of the proposed method show good performance.

multi view clustering; variational autoencoder; cross distribution alignment; self supervision

TP391

A

1674-2605(2022)04-0003-06

10.3969/j.issn.1674-2605.2022.04.003

陳泓達(dá),陳培欽.基于交叉分布對(duì)齊的深度自監(jiān)督多視圖聚類方法[J].自動(dòng)化與信息工程,2022,43(4):12-17.

CHEN Hongda, CHEN Peiqin. Deep self supervision multi view clustering based on cross distribution alignment[J]. Automation & Information Engineering, 2022,43(4):12-17.

陳泓達(dá)，男，1995年生，碩士研究生，主要研究方向：深度多視圖聚類、機(jī)器視覺等。E-mail: chenhongdaCHD@163.com

陳培欽，男，1996年生，碩士研究生，主要研究方向：模式識(shí)別、機(jī)器視覺等。