基于余弦相似自適應(yīng)加權(quán)視圖重構(gòu)的不完全多視圖聚類算法

中圖分類號：TP18文獻(xiàn)標(biāo)志碼：A

Incomplete Multi-view Clustering Algorthm Based on Adaptive Weighing View Reconstruction with Cosine Similarity

CHEN Yongtaia，QIU Ye?，WAN Minghua?，YANG Guowei? （a.ScholofEngineringAudit，b.SchoolofComputerScience，NanjingAuditUniversity，Nanjing815，Jiangsu，Cina

Abstract：To solvetheproblems thatmulti-view dataoften contained mising or abnormal information inpractical applicationsandtheexisting incompletemulti-viewclustering methodsfailedtoadequatelyrepresenttheoriginaldatasimilarity intheprocessofdatasimilaritymatrixoptimization，increasedthecomputationalcomplexityandignoredthediferenceof discriminant infor-mation between views，an incomplete multi-view clustering algorithmbasedonadaptive weighting view reconstruction with cosine similarity was proposed.Natural alignmentof mising views was achieved by introducing alocal preservation reconstructionterm，which avoided negativeeffectsthat might be caused by filing missing views with mean values.Inthe initializationphase，the preservation of manifold structure of original multi-view data was enhanced by computing cosine similarityinthe original multi-viewspace，andanadaptive weighting strategy was employed to capture the importance of diferent views during thecomplete viewconstruction process.The clustering experiments were caried outin4benchmark datasetsand compared with theoptimal resultsof9existing repre-sentative algorithms.Theresults showthat theaverage clusteringaccuracy，normalizedmutual informationandpurityof theproposedalgorithmare improved by 5.52% ， 8.78% and 4.77% respectively，which fully reflects the excellent incomplete multi-view clustering performance of the proposed algorithm.

Keywords：incomplete multi-viewclustering；adaptive weighting；cosine similarity；manifold structure；viewreconstruction

在現(xiàn)實世界中，我們經(jīng)常面對的是多個來源或由多個特征描述的數(shù)據(jù)，這種數(shù)據(jù)被稱為多視圖數(shù)據(jù)[1]。以社交網(wǎng)絡(luò)分析為例，我們可能會獲得用戶的社交關(guān)系、行為數(shù)據(jù)以及個人資料信息等不同視角的數(shù)據(jù)。這些數(shù)據(jù)可能包含了豐富的信息，但同時也反映了數(shù)據(jù)的多樣性和復(fù)雜性。如何更好地利用這些多視圖數(shù)據(jù)帶來實際價值，引起了人們的思考[2]。多視圖學(xué)習(xí)旨在有效地整合這些來自多個視角的信息，提高對數(shù)據(jù)的理解和分析能力。與單一視圖特征相比，多視圖數(shù)據(jù)可以提供更豐富、更多樣的特征信息[3]，通過綜合利用不同視圖的信息，多視圖學(xué)習(xí)可以更全面地揭示數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和關(guān)系，從而為后續(xù)的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)任務(wù)奠定基礎(chǔ)。

在多視圖學(xué)習(xí)的框架下，多視圖聚類是其中一項重要的任務(wù)。多視圖聚類旨在根據(jù)來自不同視圖的信息對數(shù)據(jù)分組或聚類，以發(fā)現(xiàn)數(shù)據(jù)中的潛在模式和結(jié)構(gòu)[4」，例如每個視圖都封裝了數(shù)據(jù)集的不同特征或維度，多視圖聚類的任務(wù)就是揭示數(shù)據(jù)中更復(fù)雜、更全面的固有模式或結(jié)構(gòu)[5]。通過整合來自不同視圖的信息，人們可以更深人地剖析數(shù)據(jù)的固有結(jié)構(gòu)和相互關(guān)系，從而提高聚類過程的準(zhǔn)確性和穩(wěn)健性。在實際場景中，多視圖聚類在各個領(lǐng)域表現(xiàn)出廣泛的適用性，包括但不限于圖像處理、社交網(wǎng)絡(luò)分析和推薦系統(tǒng)[6-7]

在實際應(yīng)用中，疾病診斷、多媒體分析和推薦系統(tǒng)[8-10]經(jīng)常遇到并非所有樣本都具備完整視圖的情況，給傳統(tǒng)的多視圖聚類方法帶來了挑戰(zhàn)，導(dǎo)致其在許多情況下無法處理不完整的多視圖數(shù)據(jù)。其中特別突出的是在多視圖聚類分析中出現(xiàn)的不完全學(xué)習(xí)問題，即樣本可能缺乏部分或所有原始視圖的信息，引發(fā)了視圖缺失的問題。舉例來說，在文檔聚類中，不同語言的文檔翻譯可以被視為來自多個視圖的特征，但某些文檔可能缺乏所有語言版本的翻譯。在視聽數(shù)據(jù)中，說話者在某些情況下可能只有來自音頻或視頻的樣本。數(shù)據(jù)丟失或傳感器故障等因素可能導(dǎo)致特定視圖下的數(shù)據(jù)丟失，從而嚴(yán)重破壞了多個視圖的自然對齊特性，因此極大地降低了先驗假設(shè)數(shù)據(jù)具有完整性的多視圖聚類算法的有效性，最終導(dǎo)致聚類任務(wù)的失敗

由于不同視圖的數(shù)據(jù)可以共享某種一致性信息并相互補(bǔ)充[11]，因此，多視圖聚類分析的性能通常優(yōu)于單視圖聚類分析[12]。當(dāng)某些視圖缺失時，視圖間的自然對齊特性會被嚴(yán)重破壞，不僅妨礙了一致信息和互補(bǔ)信息的挖掘，而且使得在不完整的多視圖數(shù)據(jù)中直接獲取樣本的鄰域關(guān)系變得困難。傳統(tǒng)多視圖聚類方法通常依賴完整數(shù)據(jù)視圖來構(gòu)建相似矩陣，但視圖缺失會導(dǎo)致相似矩陣的不準(zhǔn)確性，進(jìn)而引發(fā)信息丟失和視圖間的信息不平衡，顯著影響聚類效果。為了解決這些問題，不完全多視圖聚類（IMC）的概念應(yīng)運(yùn)而生。

近年來，研究者提出了多種創(chuàng)新方法來解決這一問題。針對不完全多視圖聚類問題，目前主要研究方法可以分為以下幾類：第一類方法是基于多核學(xué)習(xí)，通過為所有視圖定義核矩陣來處理數(shù)據(jù)。例如，Trivedi等[13]利用拉普拉斯正則化構(gòu)建不完整視圖的核矩陣，但這一方法只能應(yīng)用于不完整的雙視圖數(shù)據(jù)，且其中一個視圖必須是完整的。第二類方法與光譜聚類相關(guān)。Wang等[14通過將缺失問題從數(shù)據(jù)矩陣轉(zhuǎn)移到相似矩陣，降低視圖間的譜擾動風(fēng)險，從而學(xué)習(xí)公共潛在表示。這種方法有效減少了視圖缺失帶來的負(fù)面影響。第三類方法基于矩陣分解技術(shù)。Zhao 等[15]通過矩陣分解結(jié)合Frobenius范數(shù)正則化學(xué)習(xí)潛在表示，并采用圖拉普拉斯算子保持潛在表示的全局特性。Hu等[16]提出了基于半非負(fù)矩陣分解的方法，通過建立共識基矩陣減少缺失數(shù)據(jù)的影響。Wen 等[17]提出了一種統(tǒng)一嵌人對齊和缺失視圖推斷的不完整多視圖聚類方法，利用矩陣分解重建缺失視圖，同時通過圖拉普拉斯算子保留多視圖數(shù)據(jù)的局部結(jié)構(gòu)，并設(shè)計自適應(yīng)加權(quán)策略捕捉不同視圖的重要性。Yin等[18結(jié)合矩陣分解方法，通過計算原始多視圖空間的余弦相似性增強(qiáng)數(shù)據(jù)的流形結(jié)構(gòu)保持能力。第四類方法基于深度學(xué)習(xí)。深度神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于不完全多視圖聚類問題中。例如， Xu 等[19通過元素重構(gòu)和生成對抗網(wǎng)絡(luò)捕獲缺失視圖的潛在信息。Wang等[20]訓(xùn)練多視圖編碼器網(wǎng)絡(luò)學(xué)習(xí)公共潛在表示，并開發(fā)特定于視圖的生成對抗網(wǎng)絡(luò)生成缺失數(shù)據(jù)。

現(xiàn)有的IMC方法通常只專注于挖掘可用視圖中的部分信息，因此忽略了缺失視圖的潛在信息和不同視圖間的信息差異[21]。具體而言，現(xiàn)階段，對于不完全多視圖數(shù)據(jù)的處理方法大多數(shù)集中在優(yōu)化數(shù)據(jù)相似性矩陣的流形結(jié)構(gòu)上，將在流形結(jié)構(gòu)保持項中優(yōu)化的數(shù)據(jù)相似性矩陣作為一個未知變量，可能會導(dǎo)致對缺失視圖的底層語義信息挖掘不充分，未能維持?jǐn)?shù)據(jù)的局部結(jié)構(gòu)，有時甚至可能改變原始數(shù)據(jù)視圖之間天然存在的關(guān)系的問題。而對于圖像或文本來說，底層語義信息通常是指對圖像或文本表面特征的描述，這些特征和含義對于識別數(shù)據(jù)的相似性和差異性至關(guān)重要。

現(xiàn)有基于矩陣分解的方法中，相似矩陣的構(gòu)造可能存在過擬合現(xiàn)象，且缺乏與原始多視圖數(shù)據(jù)的直接聯(lián)系，削弱了流形結(jié)構(gòu)保持能力。針對這一問題，本文中通過計算原始空間中具有余弦相似性的樣本相似矩陣，直接連接原始多視圖數(shù)據(jù)，使得相似矩陣能夠更好地保持原始空間的流形結(jié)構(gòu)。

為了成功計算具有缺失視圖的樣本的余弦相似性，本文中在重建缺失視圖的過程中引入了自適應(yīng)加權(quán)策略，用于衡量重建后各視圖的重要性。這樣做的目的是區(qū)分原始信息與重建信息，因為兩者對樣本的影響不同。當(dāng)某樣本缺失大量視圖信息時，即使重建后補(bǔ)全了部分視圖，其權(quán)重分配也不應(yīng)超過原始信息的重要性。

綜上所述，本文中提出一種基于余弦相似自適應(yīng)加權(quán)視圖重構(gòu)的不完全多視圖聚類算法（本文算法），該算法的創(chuàng)新點(diǎn)主要體現(xiàn)在以下幾個方面：

1）引入局部保留重建項。通過引人局部保留重建項，推斷缺失視圖，使所有視圖能夠自然對齊，有助于避免使用平均值或零值填充缺失視圖可能帶來的負(fù)面影響，提高了數(shù)據(jù)的完整性。

2）計算原始多視圖空間余弦相似度。在初始化階段，采用余弦相似度計算原始多視圖空間中的相似性，有助于增強(qiáng)原始多視圖數(shù)據(jù)流形結(jié)構(gòu)的保持能力，減少計算難度，為后續(xù)處理提供更準(zhǔn)確的方法。

3）采用自適應(yīng)加權(quán)策略。為了捕捉不同視圖的可用判別信息差異，引入自適應(yīng)加權(quán)策略，使得算法在處理不同視圖時能夠更靈活地調(diào)整權(quán)重，更好地反映各視圖對聚類結(jié)果的貢獻(xiàn)，提高算法的靈活性和適應(yīng)性。

1 理論基礎(chǔ)

IMC為解決多視圖聚類的不完全問題提供了一個靈活的框架。Shao等[22]提出的多不完整視圖聚類算法（MIC）的目標(biāo)函數(shù)設(shè)計如下： （1）式中： ∥?∥_F² 表示Frobenius范數(shù)； β_v，α_v 為第 σ_v 個視圖的懲罰參數(shù)； 為第 v 個視圖的基矩陣，m_v 為第 σ_v 個視圖的特征維數(shù)， c 為潛在表示的聚類或維數(shù)； l 為視圖總數(shù)；在MIC中，所有缺失的視圖都被填充到相應(yīng)視圖中樣本的平均向量中，則 X_v∈ （20號 為第 v 個視圖的缺失實例和未缺失實例， n 為第 v 個視圖的樣本數(shù)； 為第 v 個視圖的潛在特征矩陣； 為所有視圖共享的所有樣本的共同表示；權(quán)重矩陣 定義為，如果第 v 個視圖不包含第 i 個樣本W(wǎng)e，=S，其他， （2）其中： δ_v=n_v/n，n_v 為第 σ_v 個視圖的非缺失實例數(shù)通過引入加權(quán)矩陣 W_v ，MIC可以利用所有視圖的非缺失實例來學(xué)習(xí)公共表示。

將式（1）作為基礎(chǔ)算法框架，結(jié)合重建缺失視圖、計算余弦相似度以及采用自適應(yīng)加權(quán)策略來完成本文后續(xù)工作。

2本文算法

本節(jié)中將按模塊介紹所提出方法的各個組成部分以及最終的總體目標(biāo)函數(shù)。本文算法主要由共識表示學(xué)習(xí)、反向圖正則化和自適應(yīng)加權(quán)不完全多視圖學(xué)習(xí)3個子模型組成。

2.1 推斷恢復(fù)缺失視圖

學(xué)習(xí)所有視圖的一致表示是不完全多視圖聚類最有利的方法之一，然而，現(xiàn)有的研究都是利用現(xiàn)有的非缺失視圖來學(xué)習(xí)共同的潛在表示，忽略了缺失視圖的底層信息。本文中提出以下模型，同時利用非缺失視圖的可用信息和缺失視圖的隱藏信息進(jìn)行公共表示學(xué)習(xí)：

式中： λ₁ 為正懲罰參數(shù)；對于每個集合 X_v ，所有缺失實例的元素都被填充為 為誤差矩陣，用于對第 v 個視圖的缺失實例進(jìn)行建模， n_v，m 為第 v 個視圖的缺失實例數(shù)； E_{v，i，：}?E_{v，j，?} 分別為矩陣E_v 的第 χ_i 行和第 j 行向量; I 為是單位矩陣; R\"，m 為第 v 個視圖的索引矩陣，其中元素為 ，第 j 個實例為第 v 個視圖缺失的第 i 個實例，，其他；

（204號 為來自第 σ_v 個視圖的特征的鄰接圖，其中元素為

其中， 、 分別為第 v 個視圖實例的第 i，j 個特征向量， ）， 分別為 、 的k 近鄰集合。

模型（3）可以轉(zhuǎn)化為以下等價公式： （6）式中： 為圖 的拉普拉斯矩陣， ， D_v 為對角矩陣，其第i個對角元素為D，i，= 在式（6）中引入正交約束 ，使基矩陣獨(dú)立。由式（6）可知，每個視圖的完整實例為 X_v+ 。通過恢復(fù)缺失的視圖，所有不完整的視圖能夠自然對齊以學(xué)習(xí)共識表示。重要的是，通過引入圖正則化項，可以獲得更合理的缺失實例，進(jìn)一步有效地指導(dǎo)模型學(xué)習(xí)所有視圖的一致表示。

2.2 計算余弦相似度

為了獲得更好的聚類性能，不完整的多模態(tài)視覺數(shù)據(jù)分組（IMVDG）和統(tǒng)一嵌人對齊與缺失視圖推斷不完整的多視圖聚類（UEAF）采用圖拉普拉斯算子來保持多視圖數(shù)據(jù)的流形結(jié)構(gòu)。以上2種方法都將相似度矩陣作為目標(biāo)函數(shù)的未知變量，通過優(yōu)化求解?？紤]到該相似度矩陣與原始多視圖數(shù)據(jù)缺乏直接聯(lián)系，本文中利用余弦相似度來保持流形結(jié)構(gòu)。流形模型被公式化為

式中： P_i?P_j 分別是第 i，j 個實例的潛在表示; X_v，i 、X_v，j 是第 i，j 個實例在視圖 v 的數(shù)據(jù)表示； N 為樣本數(shù)量； 為最近鄰圖，每個元素代表對應(yīng)2個實例之間的相似程度，即相似性S.由 X_v，i 和 X_v，j 的余弦值計算。由于缺少視圖， X_v，i 或X_v，j 可能未知，因此，它們可以通過式（6）重建。如果它們在原始多視圖空間中具有高相似性，則通過式（7）可使2個實例在潛在子空間中彼此接近，較好地保留了原空間的流形結(jié)構(gòu)，符合聚類的準(zhǔn)則

2.3 自適應(yīng)加權(quán)

對于多視圖數(shù)據(jù)而言，不同的視圖通常具有不同的物理含義和判別能力，特別是在不完全多視圖的情況下，由于多視圖可用實例的特征維度和數(shù)量不同，不同視圖的可用判別信息存在很大差異，因此，本文中利用以下自適應(yīng)加權(quán)策略來平衡不同視圖的重要性：

式中： T_v 為第 v 個視圖的目標(biāo)學(xué)習(xí)模型； α_v 為一個正權(quán)重來平衡視圖 v 的重要性；參數(shù) rgt;1 用于控制權(quán)值分布的平滑度?；谑剑?），整體模型就可以自適應(yīng)地以不同的判別能力找出不同視圖的互補(bǔ)效果，有利于下一步的模型訓(xùn)練。

2.4 總體目標(biāo)函數(shù)

在自適應(yīng)加權(quán)模型中加入推斷恢復(fù)缺失視圖和余弦相似度計算，即對式（6）一（8）進(jìn)行梳理，得到最終的IMC 模型如下：

rank（L_s）=n-c，P?0，rgt;1，

式中： λ₂ 為正懲罰參數(shù)； 為要計算的變量集； 為圖 s 的拉普拉斯矩陣。

所提出方法的整體學(xué)習(xí)框架如圖1所示。圖中展示了面向 l 個不完整多視圖數(shù)據(jù) X_v 的聚類算法框架。算法首先通過矩陣分解并引入余弦相似度約束來保持流形結(jié)構(gòu)，獲得公共表示 P 和各視圖基矩陣 ，隨后利用局部保留重建項恢復(fù)各視圖缺失部分 。基于重建部分的可靠性進(jìn)行自適應(yīng)加權(quán)融合后，將得到的完整數(shù)據(jù)視圖重新輸人矩陣分解與流形保持模塊，該過程迭代至收斂。在整個優(yōu)化過程中，原始數(shù)據(jù)的已知部分保持不變。

3求解

3.1 計算 P ，固定其他變量

由于式（9）為非凸問題，因此采用交替優(yōu)化策略求解。通過最小化以下函數(shù)來計算 P

轉(zhuǎn)換為

式中 為 S_v 的拉普拉斯矩陣， S_v 為具有元 的相似性矩陣， D_v 為對角矩陣，元素為

目標(biāo)函數(shù)對 P 求偏導(dǎo)，得

2λ₂P（D_v-S_v）]，

式中 。根據(jù)具有乘法更新規(guī)則的梯度下降算法，在第 _t+1 次迭代中， P 迭代更新為

3.2 計算 U_v ，固定其他變量

將變量 的子問題重新表述為

令 ，可以得到 U_v=LR^T 的最優(yōu)解，

其中 L 和 分別是矩陣 的左、右奇異矩陣。

3.3計算 E_v ，固定所有與 E_v 無關(guān)的其他變量

由于 E_v 對應(yīng)的 X_v 的所有實例都為0，因此式（15）可以重寫為

通過設(shè)置偏導(dǎo)數(shù) ，可以得到 E_v 的最優(yōu)解如下：

E_v=（I+λ₁L_v）^-1U_vPW_v^Tc

3.4計算 α_v ，固定其他無關(guān)變量

求解以下問題可得 α_v ：

式中 的最優(yōu)解由上述求解過程給出，并根據(jù) Ma 等[23]引入拉格朗日乘數(shù)，最終得到

算法1總結(jié)了本文算法的迭代求解過程，可以采用隨機(jī)矩陣來初始化 和 P O

算法1：本文算法總體目標(biāo)函數(shù)求解過程

輸入：不完全多視圖數(shù)據(jù) ，缺失視圖的索引矩陣 ，參數(shù) λ₁，λ₂，′ r 和最近鄰圖 表示特征

輸出：完整多視圖數(shù)據(jù) Y_v∣_v=1^l 、基矩陣 、公共潛在表示 P

初始化：不完整多視圖數(shù)據(jù) X_v∣_v=1^l 、具有隨機(jī)值的正交矩陣 、隨機(jī)矩陣 E_v ！ α_v=1/l

while不聚合do① 使用式（13）更新 P for v 從1到 l

② 通過式（14）更新 ③ 使用式（15）更新 E_v end④ 使用式（19）更新 α_v end while

4實驗設(shè)置與結(jié)果分析

4.1 實驗設(shè)置

4.1.1 數(shù)據(jù)集

1）Handwritten數(shù)據(jù)集[24]。該數(shù)據(jù)集包含2000個手寫10位數(shù)字樣本。提取240維的平均像素特征和76維的傅里葉系數(shù)特征作為2個視圖用于評價。

2）100Leaves數(shù)據(jù)集[25]。該數(shù)據(jù)集由100 種植物葉片的1600個樣本組成。對于每個樣本，提取形狀描述符、精細(xì)尺度邊距和紋理直方圖。

3）BBCSport 數(shù)據(jù)集[26]。最初的 BBCSport 數(shù)據(jù)庫包含從BBCSport網(wǎng)站收集的關(guān)于體育新聞文章的737個文檔。這些文檔由2＼～4個視圖描述，并分為5類。本文中選擇一個由所有4個視圖描述的116個樣本的子集即利用BBCSport數(shù)據(jù)集包含5類的116個樣本，每個樣本由4個視圖表示。

4）EYaleB10數(shù)據(jù)集[27]。該數(shù)據(jù)集包含10個不同的個體，每個個體由64幅在不同光線條件下拍攝的分辨率為192像素 ×148 像素的正面圖像組成，為了降低計算成本和內(nèi)存，這些圖像被下采樣到分辨率為48像素 ×42 像素。

上述基準(zhǔn)數(shù)據(jù)的詳細(xì)參數(shù)描述如表1所示。

4.1.2 對比方法

將本文算法的聚類性能與9種現(xiàn)有的不完全多視圖聚類方法的性能相比較，包括最佳單視圖（BSV）、雙對齊不完全多視圖聚類（DAIMC）[18]UEAF[19]、具有余弦相似度的不完全多視圖聚類（IMCCS）[20]、MIC[22]、特征串聯(lián)（Concat）[28]、單程不完全多視圖聚類（OPIMC）[29]、具有自適應(yīng)圖學(xué)習(xí)的不完整多視圖譜聚類（IMSC-AGL）[30]和選擇高階相關(guān)保持的不完全多視圖子空間聚類（HCP-IMSC）[31]。其中經(jīng)典方法 BSV 和Concat 具有特殊性：BSV用相應(yīng)視圖的平均實例填充缺失的視圖，然后對每個視圖獨(dú)立執(zhí)行 k 均值聚類，并給出這些視圖中最優(yōu)的結(jié)果；Concat是處理多模態(tài)數(shù)據(jù)的一種直接方法，利用與BSV相同的方法來填充缺失的視圖，然后將所有視圖連接到一個視圖中，然后執(zhí)行k 均值聚類。

4.1.3 評價指標(biāo)

本文中使用了3種廣泛使用的聚類度量指標(biāo)，包括精度、歸一化互信息（NMI）和純度，這些指標(biāo)的數(shù)值越大表示聚類性能越好。

4.1.4 實驗設(shè)置

1）本文中利用網(wǎng)格搜索策略[20找到除BSV和Concat之外的其他算法的最優(yōu)懲罰參數(shù)，并給出它們的最佳聚類結(jié)果。

2）由于基準(zhǔn)數(shù)據(jù)集都是完整的多視圖數(shù)據(jù)集，因此須要提前構(gòu)造成不完整多視圖數(shù)據(jù)集，具體構(gòu)造方法如下：對于Handwritten、BBCSport數(shù)據(jù)集，隨機(jī)刪除每個視圖的 10% 、 30% 和 50% 的實例；對于100Leaves、EYaleB10數(shù)據(jù)集，隨機(jī)刪除每個視圖的10% 、 30% 、 50% 、 70% 和 90% 的實例，最終形成4個不完整的多視圖數(shù)據(jù)

3）所有涉及的IMC算法都是在相同的4個隨機(jī)生成的不完整的數(shù)據(jù)集中進(jìn)行實驗，考慮到 k 均值聚類的結(jié)果隨著不同的初始化而變化，本文中執(zhí)行 k 均值聚類處理10次，并給出3個聚類性能指標(biāo)平均值。

4.2 結(jié)果與分析

4.2.1 結(jié)果分析

不同方法在Handwritten、BBCSport數(shù)據(jù)集的聚類性能如表2、3所示。由表可知，在大多數(shù)情況下，本文算法的3個聚類指標(biāo)均優(yōu)于其他算法的。在個別情況下，雖然本文算法的聚類性能指標(biāo)不是最好的；但是次優(yōu)的，并且聚類性能非常接近最優(yōu)者。

注： ①BSV 為最佳單視圖方法。 ②Concat 為特征串聯(lián)方法。 ③ MIC為多不完整視圖聚類。 ④ DAIMC為雙對齊不完全多視圖聚類。 ⑤ OPIMC為單程不完全多視圖聚類。 ⑥ UEAF為統(tǒng)一嵌入對齊與缺失視圖推斷不完整的多視圖聚類。 ⑦ IMCCS為具有余弦相似度的不完全多視圖聚類。 ⑧ HCP-IMSC為選擇高階相關(guān)保持的不完全多視圖子空間聚類。 ⑨ IMSC-AGL為具有自適應(yīng)圖學(xué)習(xí)的不完整多視圖譜聚類。 ⑩ 本文算法為基于余弦相似自適應(yīng)加權(quán)視圖重構(gòu)的不完全多視圖聚類算法。

注： ①BSV 為最佳單視圖方法。 ② Concat為特征串聯(lián)方法。 ③MIC 為多不完整視圖聚類。 ④ DAIMC為雙對齊不完全多視圖聚類。 ⑤ OPIMC為單程不完全多視圖聚類。 ⑥ UEAF為統(tǒng)一嵌入對齊與缺失視圖推斷不完整的多視圖聚類。 ⑦ IMCCS為具有余弦相似度的不完全多視圖聚類。 ⑧ HCP-IMSC為選擇高階相關(guān)保持的不完全多視圖子空間聚類。 ⑨ IMSC-AGL為具有自適應(yīng)圖學(xué)習(xí)的不完整多視圖譜聚類。 ⑩ 本文算法為基于余弦相似自適應(yīng)加權(quán)視圖重構(gòu)的不完全多視圖聚類算法。

從表2、3可以看出，隨著缺失率的增加，所有方法的精度、歸一化互信息率和純度指標(biāo)都顯著減小。相較于其他方法，BSV和Concat的性能最差，尤其是在視圖缺失率較高時，表明簡單地用平均向量填充缺失視圖對聚類效果不利。相比BSV和Concat，其他方法能夠更有效地從不完整數(shù)據(jù)中提取多視圖互補(bǔ)信息。其中，UEAF與本文算法具有相同框架結(jié)構(gòu)，但UEAF主要利用反向圖正則化在不同視圖之間共享一些公共信息，例如公共表示和公共局部結(jié)構(gòu)。相比之下，本文算法直接計算原始多視空間中的余弦相似度，增強(qiáng)了保持原始多視數(shù)據(jù)流形結(jié)構(gòu)的能力，并獲得更高的精度和歸一化互信息率，表明該方法可以更好地保留數(shù)據(jù)的流形結(jié)構(gòu)。

從表2可以看出，本文算法在聚類精度、歸一化互信息率和純度方面均優(yōu)于MIC的。與MIC不同，本文算法不僅考慮了不同視圖的重要性，而且通過重建缺失視圖的隱藏信息來學(xué)習(xí)潛在的表示，證明了這2個組成部分的不可或缺性。UEAF和DAIMC的聚類性能通常比MIC和OPIMC的好得多，表明UEAF和DAIMC可以從不完整的多視圖中捕獲更多的互補(bǔ)信息。此外，與DAIMC相比，本文算法的聚類性能優(yōu)異，表明重建有效的缺失視圖可以極大地提高IMC算法的性能。

從表3可以看出，本文算法和HCP-IMSC的聚類性能普遍優(yōu)于MIC的，說明這2種方法可以從不完整的多視圖中捕獲更多的互補(bǔ)信息。此外，與HCP-IMSC相比，本文算法在聚類純度指標(biāo)上更加優(yōu)越，表明該法能夠更好地將同類樣本聚集在一起，減少了不同類別樣本的混雜，也再次佐證重建有效的缺失視圖可以顯著提高IMC算法的性能。相較于IMCCS算法，同樣是在利用基于計算數(shù)據(jù)空間的余弦相似度的情況下，本文算法額外引入了局部保留重建項和自適應(yīng)加權(quán)策略，在重建部分缺失視圖的基礎(chǔ)上更好地捕捉了不同視圖的重要性。

BSV為最佳單視圖方法；Concat為特征串聯(lián)方法；DAIMC為

雙對齊不完全多視圖聚類；UEAF為統(tǒng)一嵌入對齊與缺失視圖

當(dāng)缺失率為 10% 、 30% 、 50% 、 70% 和 90% 時不同方法在100Leaves、EYaleB10數(shù)據(jù)集的聚類精度如圖2所示。由圖可以看出，本文算法的聚類精推斷不完整的多視圖聚類；IMCCS為具有余弦相似度的不完全多視圖聚類；IMSC-AGL為具有自適應(yīng)圖學(xué)習(xí)的不完整多視圖譜聚類；HCP-IMSC為選擇高階相關(guān)保持的不完全多視圖子空間聚類；本文算法為基于余弦相似自適應(yīng)加權(quán)視圖重構(gòu)的不完全多視圖聚類算法。

（b）EYaleB10數(shù)據(jù)集

度顯著優(yōu)于其他方法的，其原因在于：一方面，本文算法同時利用非缺失視圖的可用信息和缺失視圖的隱藏信息學(xué)習(xí)公共表示，并在推斷學(xué)習(xí)過程中處理缺失實例，而非采用平均值或零值插補(bǔ);另一方面，通過采用余弦相似度計算原始多視圖空間中的相似性，增強(qiáng)了對原始多視圖數(shù)據(jù)流形結(jié)構(gòu)的保持能力。

4.2.2 參數(shù)敏感性分析

本文中在BBCSport數(shù)據(jù)集進(jìn)行參數(shù)敏感性分析。首先固定權(quán)重分布平滑系數(shù) r=5 ，分析超參數(shù)λ₁ 和 λ₂ 對本文算法聚類精度的影響，結(jié)果如圖3（a）所示。由圖可知，當(dāng) 1 000 時，本文算法均具有較高的聚類精度。在實際應(yīng)用中，參數(shù) （r，λ₁，λ₂） 可通過網(wǎng)格搜索策略確定最優(yōu)值。

權(quán)重分布平滑系數(shù) r 對本文算法聚類精度的影響如圖3（b）所示。結(jié)果表明，當(dāng) rlt;9 時，本文算法的聚類精度均大于 92% ，且較為穩(wěn)定。由于 r 取值過小可能使模型無法充分挖掘數(shù)據(jù)特征，取值過大又會增加計算復(fù)雜度，因此在實驗中將 r 取為5。

（a）平滑系數(shù) r 為5時，聚類精度隨 λ₁ 和 λ₂ 的變化

5 結(jié)語

本文中提出一種基于余弦相似自適應(yīng)加權(quán)視圖重構(gòu)的不完全多視圖聚類算法。該算法利用缺失視圖重建并直接計算原始多視圖空間余弦相似度的框架，通過重構(gòu)缺失視圖的隱藏信息，直接計算原始空間的余弦相似度，以保留多視圖數(shù)據(jù)的局部結(jié)構(gòu)，并自適應(yīng)地評估不同視圖的重要性。相較于當(dāng)前先進(jìn)的聚類方法，該算法的聚類性能顯著提升。

本文中超參數(shù)是基于參數(shù)研究所得的最佳范圍經(jīng)驗設(shè)定的。如能在理論上確定超參數(shù)，將使所提方法更具實用性，因此，如何從理論上獲得最優(yōu)超參數(shù)是一個重要的研究方向。此外，當(dāng)缺失視圖信息過多或重建質(zhì)量不高時，所提算法的聚類性能可能會顯著下降，限制了該算法在真實數(shù)據(jù)集上的可靠性和魯棒性。隨著多模態(tài)相關(guān)技術(shù)和擴(kuò)散模型的快速發(fā)展，若能利用這些技術(shù)優(yōu)化缺失視圖重建算法，提高其重建質(zhì)量，將是一個值得深入探索的方向。

參考文獻(xiàn)：

[1] GUAN Z Y，ZHANG LJ，PENG JY，et al.Multi-view concept learning for data representation[J]. IEEE Transactions onKnowledge and Data Engineering，2015，27（11）：3016.

[2] GOLALIPOUR K，AKBARI E，HAMIDI S S，et al. From clustering to clustering ensemble selection：a review[J]. Engineering Applications of Artificial Intelligence，2021，104：104388.

[3] 梁新彥，錢宇華，郭倩，等．多粒度融合驅(qū)動的超多視圖分類 方法［J]．計算機(jī)研究與發(fā)展，2022，59（8）：1653.

[4] BICKELS，SCHEFFERT.Multi-viewclustering[C]//Fourth IEEE International Conference on Data Mining（ICDM’04）， November O1-O4，2024，Brighton，England．New York：IEEE， 2004：19.

[5] CHAO GQ，SUN SL，BI JB. A survey on multiview clustering [J].IEEE Transactions on Artificial Intelligence，2021，2（2）： 146.

[6] ZHAO J，XIE XJ，XU X，et al. Multi-view learning overview： recent progress and new challenges[J].Information Fusion， 2017，38：43.

[7] SUNS L.A survey of multi-view machine learning[J].Neural Computing and Applications，2013，23（7/8）：2031.

[8] JACKCR，Jr，BERNSTEINMA，F(xiàn)OXNC，etal.The Alzheimer's disease neuroimaging initiative（ADNI）：MRI methods[J]. Journal of Magnetic Resonance Imaging，2008，27（4） ： 685.

[9] YANK，F(xiàn)ANGXZ，XUY，etal.Proteinfold recognitionbased on multi-view modeling[J].Bioinformatics，2019，35（17）： 2982.

[10] BHADRAT，MALLIKS，BANDYOPADHYAYS.Identification ofmultiview gene modules using mutual information-based hypograph mining[J]. IEEE Transactions on Systems，Man，and Cybermetics：Systems，2019，49（6）：1119.

[11]WEN J，ZHANG Z，F(xiàn)EI L K，et al. A survey on incomplete multiview clustering[J]. IEEE Transactions on Systems，Man， and Cybernetics：Systems，2023，53（2）：1136.

[12] XU C， TAO D C， XU C. A survey on multi-view learning[EB/ OL].（2013-04-20）[2024-06-01]. htps：//doi.org/10. 48550/arXiv.1304.5634.

[13]TRIVEDI A， RAI P，DAUME H， et al. Multiview clustering with incomplete views[ C]//Proceedings of International Conference on Neural Information Process System（NIPS2O1O） ： Machine Learning for Social Computing Workshop，December 11，2010，Whilster， Canada. San Diego： NeurIPS，2010：1.

[14]WANG H， ZONG LL，LIU B，et al. Spectral perturbation meets incomplete multi-view data[EB/OL]. （2019-05-31）[2024- 06-01]. https：//doi.org/10.48550/arXiv.1906.00098.

[15]ZHAO HD，LIU HF，F(xiàn)U Y. Incomplete multi-modal visual data grouping[ C]//BREWKA G. IJCAI’16： Proceedings of the Twenty-fifth International Joint Conference on Artificial Inteligence. Menlo Park： AAAI Press，2016： 2392-2398.

[16] HU M L，CHEN S C. Doubly aligned incomplete multi-view clustering[EB/OL].（2019-03-07）[2024-06-01]. https：//doi. org/10.48550/arXiv. 1903. 02785.

[17]WEN J， ZHANG Z， XU Y，et al. Unified embedding alignment with missing views inferring for incomplete multi-view clustering [J].Proceedings of the AAAI Conference on Artificial Intellgence，2019，33（1）：5393-5400.

[18]YIN J，SUN S L. Incomplete multi-view clustering with cosine similarity[J]. Pattern Recognition，2022，123：108371.

[19]XU C，GUAN Z Y， ZHAO W，et al. Adversarial incomplete multi-view clustering[C]/KRAUS S. IJCAI’19： Proceedings of the 28th International Joint Conference on Artificial Intelligence.Menlo Park：AAAI Press，2019：3933.

[20]WANG Q Q，DING Z M，TAO Z Q，et al. Generative partial multi-view clustering[EB/OL]. （2020-03-19）[2024-06-01]. https：//doi.org/10.48550/arXiv.2003.13088.

[21]YIN J， SUN S L. Incomplete multi-view clustering with reconstructed views[J]. IEEE Transactions on Knowledge and Data Engineering，2021，35（3）：2671.

[22]SHAO W X，HE L F， YU P S. Multiple incomplete views clustering via weighted nonnegative matrix factorization with L2，1 regularization[ C]//APPICE A， RODRIGUES P P， SANTOS COSTA V， et al. Proceedings of the 2O15th European Conference on Machine Learning and Knowledge Discovery in Databases：Volume Part I. Cham：Springer，2015：318.

[23]MAZQ， WONG W K， ZHANG LY. Binary multi-view clustering with spectral embedding[J]. Neurocomputing，2023，557： 126733.

[24]LI YQ，NIE F P，HUANG H，et al. Large-scale multi-view spectral clustering via bipartite graph[J]. Proceedings of the AAAI Conference on Artificial Intelligence，2015，29（1） ： 2750.