基于圖形正則化低秩表示張量與親和矩陣的多視圖聚類

程學(xué)軍, 王建平

(1. 河南工業(yè)大學(xué) 漯河工學(xué)院, 河南 漯河 462000; 2. 河南科技學(xué)院 信息工程學(xué)院, 河南 新鄉(xiāng) 453003)

子空間聚類由于其高效性在模式識(shí)別和機(jī)器學(xué)習(xí)領(lǐng)域得到廣泛關(guān)注[1]. 由于每個(gè)視圖通常都描述原始對(duì)象或數(shù)據(jù)的部分知識(shí), 因此多視圖聚類方法比單視圖聚類方法更能挖掘數(shù)據(jù)的潛在信息, 從而聚類效果更好[2]. 多視圖聚類算法(multiple view clustering, MVC)目前已有許多研究成果, 如多視圖k-means聚類、 共正則化MVC、 基于規(guī)范化相關(guān)分析的聚類以及基于低秩表示MVC[3-6]等. 上述方法首先都使用不同的子空間學(xué)習(xí)方法學(xué)習(xí)表示矩陣或張量; 然后通過(guò)對(duì)所有表示矩陣求平均構(gòu)造屬性矩陣, 其中親和矩陣旨在測(cè)量?jī)蓚€(gè)數(shù)據(jù)點(diǎn)之間的相似性； 最后使用具有親和矩陣的譜聚類算法獲得聚類結(jié)果. 聚類的核心是構(gòu)造一個(gè)信息親和矩陣, 但該矩陣的構(gòu)造依賴于先驗(yàn)知識(shí). 因此, 很多研究都集中在如何直接學(xué)習(xí)一個(gè)設(shè)計(jì)良好的表示矩陣或張量構(gòu)造親和力矩陣. 如夏菁等[7]提出了學(xué)習(xí)低秩稀疏表示矩陣; 李杏峰等[8]使用完整的空間學(xué)習(xí)技術(shù)學(xué)習(xí)信息完整性感知表示矩陣; 于茜茜[9]提出了一種結(jié)構(gòu)化的多視點(diǎn)子空間聚類方法學(xué)習(xí)表示矩陣. 盡管上述基于低秩矩陣或張量表示的MVC方法已取得了較好的性能, 但其仍存在以下局限性： 1) 這些方法常忽略局部結(jié)構(gòu), 即僅考慮表示矩陣或張量的全局低秩性, 在學(xué)習(xí)過(guò)程中忽略了樣本的局部性和相似性信息; 2) 分別學(xué)習(xí)低秩表示和親和矩陣, 忽略了兩者之間的高度依賴性.

為解決上述問(wèn)題, 本文提出一種基于圖形正則化低秩表示張量與親和矩陣的多視圖聚類算法(multi view clustering algorithm based on graph regularized low rank representation tensor and affinity matrix, GRLRTAM-MVC), 該算法不僅可以同時(shí)學(xué)習(xí)低秩表示張量和親和矩陣, 而且可以將局部結(jié)構(gòu)統(tǒng)一集成, 有效增強(qiáng)信息挖掘的深度, 提升聚類性能. 在7個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了該方法的有效性.

1 預(yù)備知識(shí)

參考文獻(xiàn)[8], 設(shè)χ,X,x分別表示張量、 矩陣和向量.在N1×N2×N3中,χ和y的內(nèi)積定義為〈χ,y〉=vec(χ)Tvec(y)T,χ的Frobenius范數(shù)定義為表示將矩陣X的所有列堆疊為一個(gè)向量.χ的L1范數(shù)表示為‖χ‖1=‖vec(χ)‖1,χ的無(wú)窮范數(shù)表示為張量χ的第k個(gè)切片表示為χ(k).沿χ的方向進(jìn)行快速Fouier變換(FFT), 表示為同理, 可通過(guò)逆FFT由得到χ, 即對(duì)于張量χ∈N1×N2×N3, 其分塊循環(huán)矩陣bcirc(χ)和塊對(duì)角矩陣bdiag(χ)定義為

(1)

(2)

塊矢量化定義為bvec(χ)=(χ(1),…,χ(N3)), bvec和bdiag的逆運(yùn)算分別定義為bvfold(bvec(χ))=χ, bdfold(bdiag(χ))=χ.令y∈N2×N4×N3,t-productχ×y是N1×N4×N3張量,χ×y=bvfold(bcirc(χ)×bvec(y)).χ的轉(zhuǎn)置為χT∈N2×N1×N3, 是通過(guò)將每個(gè)切片進(jìn)行轉(zhuǎn)置, 然后將轉(zhuǎn)置后的切片通過(guò)N3將順序顛倒.單位張量L∈N1×N1×N3是一個(gè)第一個(gè)切片為N1×N1的單位矩陣張量, 其余切片為零.如果滿足條件χTχ=χχT=L, 則張量χ∈N1×N1×N3是正交的.

定義1(t-SVD) 對(duì)于χ∈N1×N2×N3, 其t-SVD為χ=u×s×vT, 其中u∈N1×N1×N3,v∈N2×N2×N3, 二者是正交向量,s∈N1×N2×N3是f的對(duì)角張量, 其每個(gè)切片都是對(duì)角矩陣.三階張量的t-SVD如圖1所示.t-SVD可通過(guò)Fourier域中的矩陣SVD進(jìn)行計(jì)算.

圖1 三階張量的t-SVDFig.1 t-SVD of third-order tensor

定義2(張量多秩) 張量χ∈N1×N2×N3的張量多秩是向量r∈N3×1, 其第i個(gè)元素是的第i個(gè)切片的秩.

定義3(t-SVD-TNN) 張量χ∈N1×N2×N3的t-SVD-TNN表示為‖χ‖?, 定義為所有切片的奇異值之和, 即

(3)

2 算法設(shè)計(jì)

2.1 聚類算法

根據(jù)自表示特性, 其他點(diǎn)的線性組合可用第v個(gè)視圖中的每個(gè)數(shù)據(jù)點(diǎn)表示, 即

X(v)=X(v)Z(v)+E(v),

其中E(v)表示噪聲.顯然, 由X(v)得到表示矩陣Z(v)和噪聲E(v), 適用性較差.因此引入低秩張量, 近似研究多視圖之間的高階關(guān)聯(lián)性.

(4)

(5)

其中‖·‖2,1是l2,1范數(shù), 用于去除特定樣本的損失；E=(E(1),E(2),…,E(V)); 利用Φ(·)將所有表示矩陣Z(V)合并, 構(gòu)造一個(gè)3階表示張量Z(V)∈n×n×V; 正則化ψ(Z)描述了Z的低秩性質(zhì);S為最終要學(xué)習(xí)的相似矩陣;λ1,λ2,λ3和γ為非負(fù)參數(shù)；ω=(ω1,ω2,…,ωV)為權(quán)重向量,ωv是第v個(gè)視圖的相對(duì)權(quán)重.由式(5)可知, 可以在同一個(gè)框架內(nèi)同時(shí)訓(xùn)練學(xué)習(xí)低秩表示張量Z和相似矩陣S, 從而得到一個(gè)相似矩陣作為譜聚類算法的輸入, 進(jìn)而得到聚類結(jié)果.式(5)中的第一項(xiàng)描述了表示張量Z的低秩性; 第二項(xiàng)可以模擬特定樣本的損失； 使用流形正則化, 即式(5)中的第三項(xiàng), 可保持多視圖數(shù)據(jù)的局部結(jié)構(gòu), 使在原始空間中距離近的數(shù)據(jù)點(diǎn)仍具有相似的表示； 式(5)中的最后一項(xiàng)對(duì)不同的視圖施加不同的權(quán)重, 以獲得信息豐富的相似矩陣.為克服權(quán)重分配的困難, 式(5)可通過(guò)約束二次規(guī)劃方法, 對(duì)不同特征進(jìn)行自適應(yīng)權(quán)重分配.

文獻(xiàn)[10]研究表明,t-SVD-TNN在計(jì)算機(jī)視覺(jué)中的性能優(yōu)于其他張量分解形式, 包括CANDECOMP/PARAFAC分解和Tucker分解. 受此啟發(fā), 本文利用t-SVD-TNN對(duì)Z的低秩張量性質(zhì)進(jìn)行編碼.

2.2 GRLRTAM的優(yōu)化

利用式(3)中t-SVD-TNN的定義, 即ψ(Z)=‖Z‖?, 式(5)中的模型可表示為

(6)

由于在Z上同時(shí)施加了全局低秩性和局部結(jié)構(gòu)優(yōu)先性, 所以式(6)與Z相耦合, 為使Z可分解, 引入變量分裂技術(shù), 并引入一個(gè)輔助張量變量y, 則式(6)可轉(zhuǎn)化為以下優(yōu)化問(wèn)題：

(7)

式(7)對(duì)應(yīng)的增廣Lagrange函數(shù)為

其中Θ(v)∈dv×π和Π∈π×π×V分別是關(guān)于兩個(gè)等式約束的Lagrange乘子;ρ>0是懲罰參數(shù).式(8)可分為下列6個(gè)子問(wèn)題.

1) 更新y.給定上述迭代中的其他變量, 可通過(guò)解決以下問(wèn)題更新y：

式(9)可分為V個(gè)獨(dú)立的極小化問(wèn)題, 第v個(gè)極小化問(wèn)題為

(10)

式中

將式(10)對(duì)Y(v)求導(dǎo), 并令導(dǎo)數(shù)為零, 可得Sylvester方程

MY(v)+Y(v)N=C,

其中

2) 更新Z.修正其他變量,Z可更新為

(11)

式(11)的閉合形式解為

Zt+1=Cv/ρ(Ft)=uCv/ρ(S)VT,

(12)

算法1基于t-SVD更新Z.

輸入： 張量Ft∈n×V×v； 參數(shù)

Ft=fft(χ,[ ],3)；

fork=1到k=ndo

Σ(k)=S(k)J(k)；

end for

輸出： 張量Zt+1.

3) 更新E.最小化式(8)中E的增廣Lagrange函數(shù), 可得

(13)

其中

Et+1的第j列可表示為

(14)

4) 更新S.為得到St+1的最優(yōu)解, 將式(8)中關(guān)于S的增廣Lagrange函數(shù)最小化為

(15)

關(guān)于式(15)對(duì)S的導(dǎo)數(shù), 其閉式解St+1為

(16)

5) 更新ω.將ω的優(yōu)化問(wèn)題轉(zhuǎn)化為

(17)

(18)

6) 更新Θ(v),Π,ρ.Lagrange乘子Θ(v),Π和懲罰參數(shù)ρ可更新表示為

(19)

其中β>1是為加快收斂速度,ρmax是懲罰參數(shù)ρ的最大值.下列算法給出了求解式(7)的過(guò)程, 其中停止循環(huán)條件定義為

(20)

算法2GRLRTAM多視圖子空間聚類算法.

輸入： 多視圖特征X(v)； 參數(shù)λ1,λ2,λ3,γ=10； 最近鄰域個(gè)數(shù)為5； 圖像Laplace矩陣L(v)； 簇的個(gè)數(shù)為K；

While不收斂do

forv=1到Vdo

end for

根據(jù)算法1更新Zt+1;

根據(jù)式(14)更新Et+1;

根據(jù)式(16)更新St+1;

根據(jù)式(18)更新ωt+1;

檢查式(20)的收斂條件;

end while.

輸出： 相似矩陣St+1.

2.3 計(jì)算復(fù)雜度

算法2的計(jì)算量主要通過(guò)更新y,Z,E決定, 求解Sylvester方程的計(jì)算量為O(n3), 更新Z的計(jì)算量為O(2Vn2log(n)), 通過(guò)更新Z計(jì)算三維Fourier變換和逆Fourier變換, 并用計(jì)算量為O(V2n2)對(duì)V個(gè)n×V矩陣執(zhí)行SVD, 其他更新的計(jì)算量為O(Vn2).其余計(jì)算步驟的計(jì)算成本可忽略不計(jì), 因?yàn)槠渲话具\(yùn)算, 如矩陣加法、 減法和乘法.因此, 算法2的計(jì)算復(fù)雜度為

O(T(Vn3+2Vn2log(n)+V2n2)),

其中T是迭代次數(shù).

3 實(shí) 驗(yàn)

下面實(shí)驗(yàn)評(píng)估GRLRTMA在7個(gè)具有代表性的多視圖數(shù)據(jù)集上的性能.

3.1 數(shù)據(jù)集

BBC4view數(shù)據(jù)集和BBCSport數(shù)據(jù)集: BBC4view和BBCSport數(shù)據(jù)集主要包括新聞報(bào)道數(shù)據(jù), 其包含了來(lái)自英國(guó)廣播公司(BBC)體育網(wǎng)站的685份和544份關(guān)于體育新聞的5個(gè)主題文件, 對(duì)于每個(gè)文件, 提取BBC4view中4種不同類型的特征, 提取BBCSport中2種不同類型的特征.

3個(gè)新聞數(shù)據(jù)集： 該數(shù)據(jù)集的內(nèi)容是新聞故事, 來(lái)自3個(gè)在線新聞, 其包含6類416個(gè)不同的新聞故事, 這3個(gè)數(shù)據(jù)集共包含了169篇新聞, 每個(gè)數(shù)據(jù)集都有各自的觀點(diǎn).

MSRC-V1數(shù)據(jù)集： 包含樹、 建筑、 飛機(jī)、 奶牛、 人臉、 汽車、 自行車等7類210張圖像, 本文提取了5個(gè)視圖特征, 包括24維顏色矩、 576維定向梯度直方圖(HOG)、 512維 GIST、 254維中心特征和256維局部二值模式(LBP). Scene-15數(shù)據(jù)集： 包含15類4 485張室外和室內(nèi)場(chǎng)景圖像, 本文提取了1 800維光照、 1 180維PRI-CoLBP和1 240維中心點(diǎn)3種圖像特征表示Scene-15. MITIndoor-67數(shù)據(jù)集： 包含1.5萬(wàn)張室內(nèi)圖片, 涵蓋67個(gè)不同類別, 本文選取一個(gè)包含5 360張圖像的子集進(jìn)行訓(xùn)練聚類. COIL-20數(shù)據(jù)集： 有20個(gè)類別和1 440張像素大小為32×32的通用對(duì)象圖像, 此外還提取了1 024維強(qiáng)度、 3 304維LBP和6 750維Gabor三種視圖特征. 表1列出了這些數(shù)據(jù)集的統(tǒng)計(jì)特征.

表1 7個(gè)代表性多視圖數(shù)據(jù)集的統(tǒng)計(jì)特征

3.2 不同方法的對(duì)比分析

將GRLRTMA與目前最新的方法進(jìn)行比較, 包括SSCbest[3]： 通過(guò)L1范數(shù)正則化表示矩陣構(gòu)造的單視圖聚類； LRRbest[4]： 通過(guò)核范數(shù)正則化表示矩陣構(gòu)造的單視圖聚類； RSSbest[5]: 通過(guò)同時(shí)學(xué)習(xí)數(shù)據(jù)表示和相似性矩陣實(shí)現(xiàn)單視圖聚類; MLAP[8]: 通過(guò)連接不同視圖的子空間表示并施加低秩約束探索具有互補(bǔ)性的MVC； DiMSC[9]： 具有Hilbert-Schmidt獨(dú)立性的MVC； LT-MSC[11]： 具有低秩張量約束的MVC； MVCC[12]： 基于局部流形正則化分散式概念的MVC； ECMSC[13]： 具有一致排外性的正則化MVC； MLAN[14]： 具有自適應(yīng)鄰域的MVC；t-SVD MSC[15]： 張量多秩極小化的MVC； MLRSSC[16]： 基于低秩稀疏子空間聚類的MVC； MSC_IAS[17]： 具有完整感知相似性的MVC. 其中前3種方法屬于單視圖聚類方法, 其他方法屬于多視圖聚類方法. 上述方法均按其實(shí)驗(yàn)參數(shù)值進(jìn)行設(shè)置, 以便進(jìn)行公平的比較. 此外, 在MITIndoor-67數(shù)據(jù)集上加入了深度特征, 并將GRLRTMA與GSNMF-CNN[18]進(jìn)行比較. 對(duì)于SSCbest,LRRbest和RSSbest, 每個(gè)特征獨(dú)立使用, 并展示最佳聚類結(jié)果. 為進(jìn)行全面比較, 使用由所有特征聯(lián)合在一起的聯(lián)合視圖進(jìn)行了SSC,LRR和RSS, 其分別表示為SSCCon,LRRCon和RSSCon. 由于MLAN中存在一個(gè)隨機(jī)參數(shù), 將MLAN執(zhí)行10次, 并展現(xiàn)其最佳的聚類結(jié)果. 對(duì)于DiMSC,LT-MSC,t-SVD-MSC,MLRSSC和MSC-IAS, 它們都首先學(xué)習(xí)表示矩陣或張量, 然后構(gòu)造相似性矩陣. 文獻(xiàn)[17]使用Tucker分解對(duì)低秩性進(jìn)行編碼, 用GLTA_Tucker表示. 對(duì)于除MLAN外的所有方法, 均使用譜聚類算法計(jì)算聚類結(jié)果.

根據(jù)文獻(xiàn)[15], 本文利用6種常用的聚類指標(biāo), 即準(zhǔn)確度(ACC)、 歸一化互信息(NMI)、 調(diào)整后的秩指數(shù)(AR)、F-score、 精確度和召回率評(píng)估聚類性能. 通常這6個(gè)指標(biāo)值越高, 聚類效果越好. 由于所有方法的譜聚類都是基于k均值的, 不同的初始化設(shè)置可能會(huì)產(chǎn)生不同結(jié)果, 因此本文對(duì)每個(gè)實(shí)驗(yàn)均進(jìn)行10次試驗(yàn), 并計(jì)算其平均性能和標(biāo)準(zhǔn)差.

3.3 聚類效果比較

表2～表8分別列出了7個(gè)數(shù)據(jù)集的所有聚類結(jié)果. 由表2～表8可見, 多數(shù)情況下, GRLRTMA的性能優(yōu)于其他方法, 尤其是在BBC4view,Scene-15,MITIndoor-67和COIL-20數(shù)據(jù)集上.t-SVD-NN的GRLRTMA在所有情況下都優(yōu)于GLTA-Tucker, 表明基于奇異值分解的張量核范數(shù)可能比Tucker分解更適合于表示張量的低秩性. 在Scene-15數(shù)據(jù)集上, 相對(duì)于次優(yōu)方法t-SVD-MSC, 對(duì)于6個(gè)指標(biāo), 本文GRLRTMA的精度分別提高16.7%,11.6%,19.6%,18.1%,22.7%和12.9%, 而在MITIndoor-67數(shù)據(jù)集上, GRLRTMA的精度分別提高23.8%,22.3%,36.1%,35.6%,34.9%和36.3%. 這主要是因?yàn)镈iMSC,LT-MSC,t-SVD-MSC-MLRSSC和MSC_IAS分兩步構(gòu)造表示矩陣或張量相似性矩陣, 并未考慮不同特征的不同貢獻(xiàn)度. 但GRLRTMA同時(shí)學(xué)習(xí)表示張量和相似性矩陣, 很好地利用了它們之間的高度依賴性, 且其良好性能還得益于局部幾何結(jié)構(gòu)的保留.

表2 數(shù)據(jù)集BBC4view的聚類結(jié)果(平均值±標(biāo)準(zhǔn)差)

表3 基于BBCSport數(shù)據(jù)集的聚類結(jié)果(平均值±標(biāo)準(zhǔn)差)

表4 基于3Sources數(shù)據(jù)集的聚類結(jié)果(平均值±標(biāo)準(zhǔn)差)

表5 基于MSRC-V1數(shù)據(jù)集的聚類結(jié)果(平均值±標(biāo)準(zhǔn)差)

表6 基于COIL-20數(shù)據(jù)集的聚類結(jié)果(平均值±標(biāo)準(zhǔn)差)

續(xù)表6

表7 基于Scene-15數(shù)據(jù)集的聚類結(jié)果(平均值±標(biāo)準(zhǔn)差)

表8 基于MITIndoor-67數(shù)據(jù)集的聚類結(jié)果(平均值±標(biāo)準(zhǔn)差)

通常多視圖聚類方法比單視圖聚類方法SSCbest,LRRbest和RSSbest具有更好的聚類性能. 這主要是因?yàn)閱我晥D聚類方法關(guān)注特定的視圖特征, 而多視圖聚類方法能很好地捕捉到多視圖之間的高階交叉信息； LT-MSC在前兩個(gè)數(shù)據(jù)集上的結(jié)果不理想, 可能是因?yàn)榛谡归_的張量核范數(shù)是Tucker階數(shù)的稀疏替代. 此外,t-SVD-MSC的性能比LT-MSC更好, 主要是因?yàn)閠-SVD-TNN比基于展開的張量核范數(shù)能更好地揭示表示張量的整體結(jié)構(gòu)； MLAN在BBCSport和Scene-15數(shù)據(jù)集上的性能比3種單視圖聚類方法差, 主要是因?yàn)榭赡苡蒑LAN得到的相似性矩陣是直接從含有噪聲和離群值的原始數(shù)據(jù)中學(xué)習(xí)得到的； 基于低秩矩陣的多視圖子空間聚類方法MLRSSC和MSC_IAS性能不穩(wěn)定, 例如, 在BBC4view,BBCSport和COIL-20數(shù)據(jù)集上, 其性能優(yōu)于其他方法, 但在MITIndoor-67數(shù)據(jù)集上的性能卻比SSC和LRR差. 實(shí)驗(yàn)結(jié)果表明, 同步學(xué)習(xí)表示張量和相似性矩陣有助于提高聚類性能.

3.4 性能分析

3.4.1 參數(shù)選擇

本文將所有實(shí)驗(yàn)的最近鄰域個(gè)數(shù)設(shè)為5,γ=10. 將GRLRTMA中的3個(gè)自由參數(shù)λ1,λ2,λ3進(jìn)行微調(diào), 即分別從集合{0.001,0.005,0.01,0.05,0.1,0.2,0.4,0.5}, {0.001,0.005,0.01,0.05,0.1,0.2,0.4,0.5,1,2,5,10,50,100,500}, {0.01,0.1,0.5,1,3,5,7,10,50 100}中取值.本文僅給出BBCSport和MSRC-V1數(shù)據(jù)集中不同組合λ1,λ2,λ3的GRLRTMA的ACC值. 由于誤差項(xiàng)對(duì)目標(biāo)函數(shù)的影響可能較小, 因此首先將λ1固定為相對(duì)較小的常數(shù), 然后將λ2和λ3設(shè)為不同值, 結(jié)果如圖2所示. 由圖2可見, GRLRTMA和參數(shù)λ2,λ3的關(guān)聯(lián)度較小.最后, 確定λ2和λ3參數(shù)值, 并考察λ1對(duì)模型性能的影響.當(dāng)λ1較小時(shí), GRLRTMA得到的結(jié)果較好. 因此, 與GRLRTMA的相關(guān)參數(shù)λ1,λ2,λ3可分別從區(qū)間[0.005,0.2],[0.05,0.2],[0.01,1]中取值.

圖2 不同參數(shù)值的ACC值Fig.2 ACC values of different parameter values

3.4.2 收斂性分析

推導(dǎo)GRLRTMA的收斂性有一定困難. 因此本文分析了如圖2(A)所示的2個(gè)數(shù)據(jù)集的經(jīng)驗(yàn)收斂性, 其中縱軸表示

的誤差. 經(jīng)過(guò)15次迭代后, 產(chǎn)生一個(gè)穩(wěn)定的誤差值, 表明GRLRTMA可以在有限次數(shù)迭代后收斂. 如圖2(B)所示, 給出了每次迭代的ACC和NMI值, 因?yàn)檫@兩個(gè)指標(biāo)在一定程度上反映了聚類性能. 由圖2(B)可見, 當(dāng)?shù)螖?shù)增加時(shí), ACC和NMI值也增加, 直到逼近最優(yōu)值. 從而證明了GRLRTMA在以上真實(shí)數(shù)據(jù)上的收斂性.

3.4.3 特征權(quán)重

表9列出了SSC和LRR對(duì)每個(gè)視圖特征的聚類結(jié)果. 由表9可見, 對(duì)于同一個(gè)數(shù)據(jù)集, 不同特征可能會(huì)產(chǎn)生不同的聚類結(jié)果. 如SSC在BBC4view上的ACC和NMI值分別為0.414～0.660和0.236～0.494. 對(duì)于3Sources數(shù)據(jù)集, SSC在3種視圖的ACC和NMI的差異分別為0.101和0.126. 此外, 在3Sources和MSRC-V1數(shù)據(jù)集上, SSCCon和LRRCon的性能比SSC和LRR差. 因此, 不同特征對(duì)聚類結(jié)果有不同的影響度. 在多視圖聚類過(guò)程中, 充分考慮不同特征對(duì)聚類結(jié)果的不同影響程度至關(guān)重要.

表9 不同視圖特征的對(duì)比

3.5 分塊研究

由上述實(shí)驗(yàn)結(jié)果可見, 僅考慮低階張量表示(如LT-MSC和t-SVD-MSC)或局部結(jié)構(gòu)(如MLAN)都不能獲得滿意的性能結(jié)果. 現(xiàn)有的方法, 包括DiMSC,LT-MSC和t-SVD-MSC, 都是學(xué)習(xí)表示張量, 然后構(gòu)造相似性矩陣, 未考慮不同特征的不同貢獻(xiàn)度和特征之間的依賴性. 為解決這些問(wèn)題, 本文提出的GRLRTMA分兩個(gè)階段改進(jìn)現(xiàn)有的方法： 1) 同時(shí)學(xué)習(xí)表示張量和相似性矩陣； 2) 將局部幾何結(jié)構(gòu)整合到一個(gè)統(tǒng)一的框架中. 為分別統(tǒng)計(jì)上述兩個(gè)因素的貢獻(xiàn)程度, 進(jìn)行了兩種測(cè)試. 測(cè)試1令λ2,λ3=0, 并調(diào)整其他參數(shù), 而測(cè)試2僅令λ3=0.

測(cè)試1表示為GRLRTMA-p1, 令λ2,λ3=0, 驗(yàn)證λ1的貢獻(xiàn).在GRLRTMA-p1中, 當(dāng)局部結(jié)構(gòu)丟失時(shí), 同時(shí)學(xué)習(xí)Z和S.測(cè)試2表示為GRLRTMA-p2, 令λ1,λ3=0, 驗(yàn)證λ2的貢獻(xiàn). 這兩個(gè)測(cè)試均使用BBC4view,BBCSport,3Sources,MSRC-V1,Scene15和COIL-20數(shù)據(jù)集. 表10列出了GRLRTMA,GRLRTMA-p1和GRLRTMA-p2的聚類結(jié)果. 由表10可見, GRLRTMA-p1和GRLRTMA在所有情況下表現(xiàn)都較出色. 對(duì)于ACC的平均值, GRLRTMA比GRLRTMA-p1和GRLRTMA-p2分別提高了21.85%,6.25%, NMI提高了23.57%,7.27%. 實(shí)驗(yàn)結(jié)果證明了GRLRTMA的優(yōu)越性, 并說(shuō)明同步構(gòu)造表示張量和相似性矩陣并維持局部幾何結(jié)構(gòu)可明顯提高聚類性能. 不同多視圖聚類方法的平均運(yùn)行時(shí)間列于表11.

表10 不同方法的ACC,NMI比較

表11 所有數(shù)據(jù)集上的平均運(yùn)行時(shí)間

所有實(shí)驗(yàn)均采用MATLAB2016a編譯器, 硬件配置為3.50 GHz的CPU和16 GB的RAM. 在所有方法中, MLAN和MSC_IAS的運(yùn)行時(shí)間最短, 尤其是在處理大規(guī)模數(shù)據(jù)集時(shí). MLAP和DiMSC的運(yùn)行時(shí)間與GRLRTMA相當(dāng). 基于低秩張量的多視圖聚類方法(LT-MSC,t-SVD-MSC,GRLRTMA)的計(jì)算量較大, 但其性能優(yōu)于其他同類方法. 其根本原因是LT-MSC,t-SVD-MSC和GRLRTMA通過(guò)低秩張量在全局視圖中盡力找到表示矩陣的相關(guān)性. 為進(jìn)一步研究該算法的計(jì)算復(fù)雜度, 基于BBC4view數(shù)據(jù)集, 進(jìn)行不同組合(λ1,λ2,λ3)的實(shí)驗(yàn), 結(jié)果列于表12.由表12可見, 不同參數(shù)(λ1,λ2,λ3)的設(shè)置對(duì)GRLRTMA的運(yùn)行時(shí)間影響較小.

表12 基于數(shù)據(jù)集BBC4view不同參數(shù)組合(λ1,λ2,λ3)的平均運(yùn)行時(shí)間

綜上所述, 針對(duì)現(xiàn)有多視圖聚類方法存在的忽略信息挖掘深度的問(wèn)題, 本文提出了一種基于圖形正則化低秩表示張量與親和矩陣的多視圖聚類方法. 通過(guò)7個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)可得如下結(jié)論：

1) GRLRTMA相對(duì)于其他多視圖聚類算法具有更好的聚類精度, 并且在多個(gè)數(shù)據(jù)集上均能保持良好的聚類效果, 證明該方法具有良好的穩(wěn)定性和泛化能力；

2) 同步構(gòu)造表示張量和相似性矩陣, 并維持局部幾何結(jié)構(gòu)對(duì)于提升聚類精度具有顯著作用, 并考慮了不同特征的影響, 自適應(yīng)分配權(quán)值, 對(duì)聚類性能的提升具有重要作用；

3) 該方法運(yùn)行時(shí)間較長(zhǎng), 但其精度提升效果明顯, 在不要求實(shí)時(shí)性的領(lǐng)域有一定的應(yīng)用價(jià)值, 并且不同參數(shù)設(shè)置對(duì)GRLRTMA的運(yùn)行時(shí)間影響較小.