混合高斯變分自編碼器的聚類網(wǎng)絡

陳華華，陳哲，郭春生，應娜，葉學義

杭州電子科技大學通信工程學院，杭州 310018

0 引 言

隨著科學技術的發(fā)展，數(shù)據(jù)的規(guī)模呈指數(shù)型增長，這些海量數(shù)據(jù)往往蘊含著許多極具價值的潛在信息，如何捕獲并挖掘這些隱藏的潛在信息是一個亟需解決的問題，具有重要的現(xiàn)實意義。

聚類分析是數(shù)據(jù)挖掘領域的一種研究方法，也是目前用于發(fā)現(xiàn)數(shù)據(jù)間潛在信息的主要方法之一。聚類分析旨在發(fā)現(xiàn)數(shù)據(jù)間潛在的關系，并根據(jù)數(shù)據(jù)的特征等將數(shù)據(jù)聚為不同的類別，也稱為簇，使得簇內(nèi)的數(shù)據(jù)具有較小的差異性，簇間的數(shù)據(jù)具有較大的差異性。聚類分析已廣泛應用于用戶畫像(張海濤 等，2018)、協(xié)同過濾推薦系統(tǒng)(吳湖 等，2010)、基因分析(岳峰 等，2008)、異常檢測(成寶芝 等，2017)和文本聚類(路榮 等，2012)等領域，吸引了越來越多的學者加入到聚類分析的研究隊伍中。

1 相關工作

MacQueen(1967)提出的K-means聚類算法和Ester等人(1996)提出的DBSCAN(density-based spatial clustering of applications with noise)聚類算法是兩個經(jīng)典的聚類方法。K-means算法的基本思想是將數(shù)據(jù)分為不同的類別，每一個類別具有一個聚類中心，根據(jù)數(shù)據(jù)到各聚類中心的距離更新優(yōu)化聚類劃分，反復迭代得到一個最佳的聚類結果。DBSCAN是一種基于密度的聚類算法，根據(jù)鄰域內(nèi)的點數(shù)判斷該區(qū)域是否屬于密集區(qū)域并形成臨時聚簇，將相連的臨時聚簇進行合并得到更合理的聚簇分配。

然而，隨著數(shù)據(jù)維度的提高，經(jīng)典的聚類算法在應對高維數(shù)據(jù)時往往存在維數(shù)災難等問題，使得計算成本大幅增加并且效果不佳。近年來，深度神經(jīng)網(wǎng)絡得到了飛速的發(fā)展。因此，越來越多的研究人員將目光轉向利用深度學習進行聚類分析。相比于傳統(tǒng)方法，深度學習能夠更好地得到數(shù)據(jù)特征的低維表示，提高聚類效果。Yang等人(2017)提出了DCN(deep clustering network)模型，該模型訓練一個自編碼器AE(autoencoder),得到數(shù)據(jù)特征的低維表示，然后結合K-means聚類算法，將重構損失和K-means聚類損失進行聯(lián)合優(yōu)化，該模型聚類效果高于同時期的傳統(tǒng)算法。Xie等人(2016)提出了DEC(deep embedded clustering)模型，模型訓練一個堆疊的自編碼器得到數(shù)據(jù)特征的低維表示，然后在此基礎上構建聚類網(wǎng)絡。Opochinsky等人(2020)和Chazan等人(2019)用多個自編碼器建立深度聚類網(wǎng)絡，每個自編碼器表示一個簇，取得了更好的聚類效果。Duan等人(2019)采用自編碼生成一個深度嵌入網(wǎng)用于數(shù)據(jù)降維，學習一個softmax自編碼器用于估計簇的數(shù)目，獲得了較好的實驗結果。但是自編碼器的目的主要是為了降維，網(wǎng)絡訓練目標是使解碼器輸出和輸入盡可能逼近，當訓練樣本與預測樣本不符合相同分布時，提取的特征往往比較差。與自編碼器相關的另一種編碼器是變分自編碼器(variational autoencoder，VAE)，Jiang等人(2017)和Lim等人(2020)提出了變分自編碼器用于聚類，先用VAE生成隱層特征，然后用混合高斯分布擬合隱層特征，聚類效果優(yōu)于經(jīng)典的聚類方法和一些生成式聚類方法。變分自編碼器采用標準正態(tài)分布作為先驗，容易導致后驗塌陷(Guo等，2020)，對不同類別數(shù)據(jù)的分布不能較好地逼近，影響編碼和解碼結果。為此，本文引入混合高斯分布作為先驗，構建混合高斯自編碼器生成隱層特征，學習數(shù)據(jù)的特征分布，并以此編碼器與聚類層結合形成聚類網(wǎng)絡，通過優(yōu)化編碼器隱層特征的軟分配分布與軟分配概率輔助目標分布之間的KL散度(Kullback-Leibler divergence)對聚類網(wǎng)絡進行訓練。在基準數(shù)據(jù)集MNIST(Modified National Institute of Standards and Technology Database)和Fashion-MNIST上的實驗結果表明，本文網(wǎng)絡取得了較好的聚類效果，且優(yōu)于當前多種流行的聚類方法。

2 聚類模型

2.1 混合高斯變分自編碼器

變分自編碼器(Kingma和Welling，2014)是深度學習領域一種近似推理的有向模型，它利用變分推斷與深度學習相結合，能夠?qū)W習到數(shù)據(jù)結構化的特征表示或分布，是生成式建模中的一種重要方法。標準變分自編碼器的目標函數(shù)可表示為

L(θ,φ;x)=-DKL[qφ(z|x)‖pθ(z)]+
Eqφ(z|x)[logpθ(x|z)]

(1)

式中，當近似后驗分布與假設先驗分布之間的KL散度DKL[qφ(z|x)‖pθ(z)]最小時，目標函數(shù)L(θ,φ;x)下限最大，從而使模型達到最優(yōu)。其中，E表示求期望，θ和φ分別是先驗分布p和后驗分布q的參數(shù)，x和z分別是變分自編碼器的輸入和隱層特征。但是，標準變分自編碼器中采用標準正態(tài)分布作為先驗，可能引起后驗塌陷(Guo等，2020)，并且容易忽略一些潛在的變量約束，導致對不同類別數(shù)據(jù)的分布不能較好地逼近，影響自編碼網(wǎng)絡的編碼和解碼結果。在這里，本文引入混合高斯分布作為先驗，構建變分自編碼器?；旌细咚瓜闰灴杀硎緸?/p>

(2)

(3)

(4)

(5)

式中，ωi是第i個單高斯分布的系數(shù)，μ(i)和σ(i)2代表第i個單高斯分布的均值和方差。式(1)中等號右側的第1項是混合高斯分布近似后驗與先驗之間的KL散度，目前尚無高效的算法可以獲得它的解析解。為此，Hershey和Olsen(2007)提出了一種近似解法，采用變分推斷獲得KL 散度的上界。于是最小化KL 散度轉換為最小化其近似上界，該算法簡述如下：

設數(shù)據(jù)x的混合高斯分布f(x)和g(x)分別可表示為

(6)

(7)

(8)

式中，fi(x)和gi(x)分別代表f(x)和g(x)中等號右側第i個單高斯分布。

因此，式(1)中等號右側第1項可以表示為

(9)

式(1)中等號右側的第2項是重構項，它的計算方式與標準變分自編碼器類似，具體為

(10)

式中，L是采樣的數(shù)量，zl的下標l表示第l次采樣。由式(9)和式(10)可得到混合高斯分布后驗與先驗的變分下界，即

(11)

式(11)即為混合高斯分布自編碼器的目標函數(shù)。

2.2 聚類網(wǎng)絡

本文在混合高斯變分自編碼器的基礎上，使用編碼器部分作為數(shù)據(jù)空間和特征空間之間的初始映射，將編碼器和聚類層組合成聚類網(wǎng)絡，如圖1所示。圖1中，以學習獲得的混合高斯分布自編碼器部分作為聚類網(wǎng)絡的編碼器部分，結合聚類層通過最小化輔助目標分布和軟分配分布之間的KL散度學習聚類網(wǎng)絡。具體過程如下：

圖1 聚類網(wǎng)絡結構圖Fig.1 Structure of the clustering network

假設存在數(shù)據(jù)集{x(1),x(2),…,x(N)}，N為數(shù)據(jù)樣本的數(shù)量，輸入數(shù)據(jù)x(i)到混合高斯變分自編碼器中得到隱層特征z(i)，使用歐氏距離計算隱層特征z(i)到聚類中心c(t)的距離，c(t)表示第t個聚類中心，并使用t分布(van der Maaten和Hinton，2008)衡量隱層特征z(i)到聚類中心c(t)之間的相似度sit，也即特征z(i)分配到聚類類別t的軟分配概率(Dempster等，1977)，sit計算為

(12)

式中，χ代表t分布的自由度，由于聚類屬于無監(jiān)督學習，無法交叉驗證χ的取值，因此本文取χ=1。將數(shù)據(jù)輸入到訓練獲得的混合高斯變分自編碼器得到隱層特征，然后在特征空間采用混合高斯模型進行聚類，得到T個聚類中心{c(1),c(2),…,c(T)}作為初始化的聚類中心。

本文采用最小化輔助目標分布和軟分配之間的KL散度實現(xiàn)對模型的優(yōu)化，因此輔助目標分布的選擇對聚類效果至關重要。Xie等人(2016)提出輔助目標分布應該更加注重高置信度的數(shù)據(jù)點，以提高聚類的準確性。同時，需要歸一化代價函數(shù)對每個聚類中心的貢獻，防止出現(xiàn)過大的聚簇導致隱層的特征空間扭曲。因此，將軟分配概率的輔助目標分布pit定義為

(13)

由此，得到聚類層的損失Lcluster，定義為軟分配分布s與輔助目標分布p之間的KL散度，采用隨機梯度下降法優(yōu)化損失函數(shù)。具體為

(14)

2.3 網(wǎng)絡結構

本文中的變分自編碼器采用卷積神經(jīng)網(wǎng)絡實現(xiàn)，實現(xiàn)的網(wǎng)絡結構如圖1所示。網(wǎng)絡的編碼器部分，首先是核大小為3×3、步長為2、通道數(shù)為64的卷積層，激活函數(shù)采用ReLU(rectified linear unit)函數(shù)。考慮到池化層在實現(xiàn)下采樣時存在丟失有用信息的不足(Sabour等，2017)，本文采用核大小為3×3、步長為2的卷積層實現(xiàn)下采樣以保留重要信息。然后級聯(lián)大小為3 × 3、步長為2、通道數(shù)為128的卷積層，再級聯(lián)大小為3 × 3、步長為2、通道數(shù)為256的卷積層，然后連接兩個全連接層，維數(shù)分別是2 304和10。

解碼器部分在結構上與編碼器部分是對稱的，首先是兩個級聯(lián)的全連接層，它們的維數(shù)分別是10和2 304，然后級聯(lián)一個維數(shù)變形層(reshape層)，將數(shù)據(jù)維度從2 304轉換為3 × 3 × 256，然后級聯(lián)3個卷積核大小為3 × 3的反卷積層，它們分別具有128通道、64通道、1通道。與編碼器類似，解碼器采用步長為2的反卷積層實現(xiàn)上采樣。解碼器在最后一層的反卷積層使用sigmoid函數(shù)作為激活函數(shù)，其余卷積層、反卷積層的激活函數(shù)都采用ReLU函數(shù)。

聚類網(wǎng)絡中，自編碼器的結構直接采用混合高斯分布自編碼器的編碼部分，并以學習獲得的編碼器參數(shù)作為初始值，進一步按式(14)所示目標函數(shù)優(yōu)化學習聚類網(wǎng)絡。

3 實驗結果分析

3.1 實驗配置

實驗采用的計算機配置如下：Intel(R)Core(TM)i5-7300HQ@2.50 GHz CPU，Windows 10，編譯器Python3.6，內(nèi)存為8 GB，編程環(huán)境為TensorFlow和Keras，編程語言為Python。網(wǎng)絡訓練參數(shù)值采用正態(tài)分布隨機初始化，batch size為100，優(yōu)化方法為Adam優(yōu)化器，學習率為0.000 1。

為評估本文方法的有效性，采用了聚類分析中常用的MNIST(LeCun等，1998)數(shù)據(jù)集和Fashion-MNIST(Xiao等，2017)數(shù)據(jù)集分別進行實驗評測。MNIST數(shù)據(jù)集是LeCun等人(1998)在美國國家標準與技術研究院提供的手寫數(shù)據(jù)集的基礎上篩選，并進行了尺寸標準化及數(shù)字中心化等處理的標準數(shù)據(jù)集，由60 000個訓練樣本和10 000個測試樣本組成，每個樣本都是28 × 28像素的灰度圖像；Fashion-MNIST是一個替代MNIST手寫數(shù)字集的圖像數(shù)據(jù)集，由德國科技公司Zalando旗下的研究部門提供，涵蓋了10種類別共70 000個不同時尚商品的正面灰度圖像，圖像大小為28 × 28像素，包括T恤、褲子、套衫、裙子、外套、涼鞋、襯衫、運動鞋、包和靴子等10類商品。為簡化問題求解，實驗中使用的混合高斯中高斯分量的個數(shù)M= 10，各分量的混合系數(shù)取經(jīng)驗值為1/10，初始化聚類中心的個數(shù)T= 10。

3.2 評價指標

采用聚類精度(accuracy，ACC)和標準互信息(normalized mutual information，NMI)作為評估指標。

聚類精度ACC用于衡量算法得到的聚類標簽準確性，計算為

(15)

標準化互信息NMI是衡量兩個隨機事件之間相關性的重要指標，也是常用的聚類評估指標之一，這里用做衡量聚類標簽與真實數(shù)據(jù)類別標簽的契合程度。標準化互信息計算為

(16)

3.3 實驗結果

本文模型分別在MNIST和Fashion-MNIST數(shù)據(jù)集上進行了聚類實驗。為了進一步驗證本文方法的有效性，與高斯混合模型(Gaussian mixture model，GMM)(Fraley和Raftery，1998)、VAE+K-means(Kingma和Welling，2014)、DEC(deep embedded clustering)(Xie等，2016)、IDEC(improved DEC)(Guo等，2017)、GMVAE(Dilokthanakul等，2017)、KADC (K-autoencoders deep clustering)(Opochinsky等，2020)、VaDE(variational deep embedding)(Jiang等，2017)、DCVA(deep clustering with VAE)(Lim等，2020)和ClusterGAN(clustering in generative adversarial networks)(Mukherjee等，2019)等算法進行對比，對比結果如表1和表2所示。

從表1和表2可以看出，本文模型與GMM、VAE + K-means、DEC、IDEC、GMVAE、VaDE和DCVA相比，在MNIST和Fashion-MNIST數(shù)據(jù)集上的聚類精度ACC和標準互信息NMI均有較大提升。與KADC相比，本文方法在Fashion-MNIST數(shù)據(jù)集上的標準互信息NMI低于KADC。與ClusterGAN算法相比，本文算法在MNST數(shù)據(jù)集上的聚類ACC和標準互信息NMI優(yōu)于ClusterGAN，但在Fashion-MNIST數(shù)據(jù)集上略遜于ClusterGAN算法。除了GMM和ClusterGAN方法，其他方法都是從AE或VAE基礎上發(fā)展起來的，其中性能最好的VaDE方法對聚簇采用單個質(zhì)心表示嵌入空間中的向量，而本文方法采用一個混合高斯自動編碼器網(wǎng)絡表示嵌入空間中的向量，這樣對每個聚簇可以實現(xiàn)更豐富的表示，同時輔助目標分布的引入提高了聚類的準確性，防止了隱層的特征空間扭曲，使得算法具有良好的聚類表現(xiàn)；ClusterGAN和本文方法雖然都屬于生成式聚類方法，但是兩者無論是從網(wǎng)絡結構還是實現(xiàn)思路上屬于兩個不同的方法類別，ClusterGAN是目前聚類性能最好的生成對抗網(wǎng)絡，本文方法與該方法的性能相當?？傮w而言，本文算法具有較好的聚類結果。

表1 不同算法在MNIST和Fashion-MNIST數(shù)據(jù)集上的ACC比較Table 1 Comparison of ACC among different algorithms on MNIST and Fashion-MNIST datasets /%

表2 不同算法在MNIST和Fashion-MNIST數(shù)據(jù)集上的NMI比較Table 2 Comparison of NMI among different algorithms on MNIST and Fashion-MNIST datasets /%

此外，由表1和表2還可知，盡管MNIST和Fashion-MNIST都是28 × 28像素的高維圖像數(shù)據(jù)，具有相同的數(shù)據(jù)維度，但是無論是ACC指標還是NMI指標，各方法除了GMM方法在改變數(shù)據(jù)集時指標下降比較小，其他方法都出現(xiàn)了大幅度下降，這是因為MNIST數(shù)據(jù)集由灰度變化范圍小的圖像組成，紋理特征信息比較單一，主要是字符的邊界信息，在描述數(shù)據(jù)特征時對各模型的特征表述能力要求相對較低，而Fashion-MNIST數(shù)據(jù)集由灰度變化范圍大的圖像組成，紋理特征信息比較豐富，如衣服、鞋子和包等豐富的內(nèi)部紋理和邊緣，在描述數(shù)據(jù)特征時對各模型的特征表述能力要求較高，而目前的方法對Fashion-MNIST數(shù)據(jù)集的特征信息表達均不是很強，導致聚類性能明顯劣于MNIST數(shù)據(jù)集。

圖2列出了本文模型在MNIST和Fashion-MNIST數(shù)據(jù)集中每個類的10幅圖像，其中每一行對應一個聚簇。由圖2(a)可知，本文模型對MNIST數(shù)據(jù)集的聚類結果較為準確，但出現(xiàn)了若干“4”和“9”混淆的情況，這一結果與“4”和“9”的外觀特征相似有關。由圖2(b)可知，F(xiàn)ashion-MNIST數(shù)據(jù)集下的每個聚類依次為涼鞋、外套、靴子、套衫、褲子、運動鞋、T恤、襯衫、包和裙子。聚類結果中的涼鞋、靴子、褲子、運動鞋、T恤衫、包和裙子等類別的聚類較為準確，在外套、套衫和襯衫這3類中出現(xiàn)了若干次混淆的情況，這一結果的產(chǎn)生與這3類物體的外觀較為相似有關，區(qū)分這3類物品更依賴于內(nèi)部紋理特征的差異。

圖2 MNIST和Fashion-MNIST數(shù)據(jù)集的聚類結果Fig.2 Clustering results on MNIST and Fashion-MNIST datasets ((a) MNIST；(b) Fashion-MNIST)

圖3列出了本文模型與ClusterGAN算法在Fashion-MNIST數(shù)據(jù)集下的重建結果。由圖3可知，ClusterGAN算法重建得到圖像的紋理特征較本文模型清晰，其在紋理特征的提取與重建上優(yōu)于本文方法。因此，ClusterGAN的聚類效果在Fashion-MNIST數(shù)據(jù)集上略優(yōu)于本文算法。

圖3 本文模型與ClusterGAN算法的重建結果Fig.3 Reconstruction of the proposed network and ClusterGAN((a) ours；(b) ClusterGAN)

3.4 結構復雜度分析

本文模型在Fashion-MNIST數(shù)據(jù)集上的聚類指標略低于ClusterGAN算法。本文模型和ClusterGAN算法都屬于生成式聚類方法，不同的是ClusterGAN采用生成對抗網(wǎng)絡用于聚類，而本文采用混合高斯分布的變分自編碼器。對這兩種算法的模型參數(shù)量進行了比較分析，如表3所示。

表3 本文模型與ClusterGAN算法的模型參數(shù)量比較Table 3 Comparison of the number of parameters in the proposed network and ClusterGAN

由表3可知，本文模型參數(shù)量不及ClusterGAN算法的1/10，遠小于ClusterGAN算法，是一個更輕量級的網(wǎng)絡模型，這使得本文模型占用更小的存儲空間，降低了對內(nèi)存的需求，同時能夠?qū)崿F(xiàn)更快的運行速度，在Fashion-MNIST數(shù)據(jù)集上的性能差異小于2%。

4 結 論

本文提出了一種基于混合高斯變分自編碼器的聚類網(wǎng)絡模型，以混合高斯分布為先驗建立變分自編碼器，學習數(shù)據(jù)的特征分布，然后將編碼器與聚類層結合構建聚類網(wǎng)絡，采用編碼器隱層特征的軟分配分布與軟分配概率輔助目標分布之間的KL散度作為目標函數(shù)，對網(wǎng)絡進行訓練和優(yōu)化。在基準數(shù)據(jù)集MNIST和Fashion-MNIST上進行了評價和比較，對比實驗結果表明，采用混合高斯自動編碼器網(wǎng)絡對每個聚簇可以實現(xiàn)更豐富的表示，輔助目標分布的引入使得算法具有良好的聚類表現(xiàn)，使得本文方法在聚類ACC和標準互信息NMI指標都優(yōu)于當前的一些聚類算法，取得了較好的聚類效果。

但是本文算法也存在兩個不足：1)在模型建立上，先驗和后驗中的高斯分量個數(shù)設為相同，雖然實驗結果優(yōu)于當前的一些聚類算法，但是處理方法只是對實際情況的簡化處理，與實際情況存在一些差別，實際更一般的情況中，先驗和后驗中的高斯分量個數(shù)并不相同，如何優(yōu)化求解這個問題是個難題；同時，本文中各高斯分量的混合系數(shù)不是通過數(shù)學優(yōu)化求得的最佳混合系數(shù)，而是根據(jù)經(jīng)驗設定為等概率混合的，缺乏完善的理論支持。2)在模型對信息的表達能力上，當處理復雜紋理特征時，紋理特征的重建效果有待提高。上述問題將是下一步研究的重點。