L1正則化的深度譜聚類算法

李文博，劉波*，陶玲玲，羅棻，張航

L1正則化的深度譜聚類算法

李文博1，2，劉波1，2*，陶玲玲1，2，羅棻1，2，張航1，2

（1.重慶工商大學(xué) 人工智能學(xué)院，重慶 400067； 2.智能感知與區(qū)塊鏈技術(shù)重慶市重點實驗室（重慶工商大學(xué)），重慶 400067）（?通信作者電子郵箱liubo7971@163.com）

針對深度譜聚類模型訓(xùn)練不穩(wěn)定和泛化能力弱等問題，提出L1正則化的深度譜聚類算法（DSCLR）。首先，在深度譜聚類的目標(biāo)函數(shù)中引入L1正則化，使深度神經(jīng)網(wǎng)絡(luò)模型生成的拉普拉斯矩陣的特征向量稀疏化，并提升模型的泛化能力；其次，通過利用參數(shù)化修正線性單元激活函數(shù)（PReLU）改進基于深度神經(jīng)網(wǎng)絡(luò)的譜聚類算法的網(wǎng)絡(luò)結(jié)構(gòu)，解決模型訓(xùn)練不穩(wěn)定和欠擬合問題。在MNIST數(shù)據(jù)集上的實驗結(jié)果表明，所提算法在聚類精度（CA）、歸一化互信息（NMI）指數(shù)和調(diào)整蘭德系數(shù)（ARI）這3個評價指標(biāo)上，相較于深度譜聚類算法分別提升了11.85、7.75和17.19個百分點。此外，所提算法相較于深度嵌入聚類（DEC）和基于對偶自編碼器網(wǎng)絡(luò)的深度譜聚類（DSCDAN）等算法，在CA、NMI和ARI這3個評價指標(biāo)上也有大幅提升。

深度聚類；譜聚類；L1正則化；深度學(xué)習(xí)；無監(jiān)督學(xué)習(xí)

0 引言

計算機技術(shù)的廣泛應(yīng)用產(chǎn)生了海量的數(shù)據(jù)［1］，如視頻數(shù)據(jù)、音頻數(shù)據(jù)和文本數(shù)據(jù)等，而這些數(shù)據(jù)大多數(shù)都沒有標(biāo)記。如何處理這些無標(biāo)記數(shù)據(jù)是目前機器學(xué)習(xí)面臨的巨大挑戰(zhàn)之一。聚類是無監(jiān)督機器學(xué)習(xí)領(lǐng)域中最重要的方法。聚類通過某種度量方法將相似的數(shù)據(jù)分配到同一個聚簇，不相似的數(shù)據(jù)分配到其他聚簇［2］。

目前，聚類已經(jīng)被廣泛應(yīng)用于航路發(fā)現(xiàn)［3］、醫(yī)學(xué)圖像分析［4］、缺陷檢測［5］和左右軌道線檢測［6］等。聚類方法大致分為兩類：1）傳統(tǒng)的聚類方法。利用經(jīng)典的機器學(xué)習(xí)理論進行研究，如基于分區(qū)的均值聚類（-means clustering，-means）［7］、譜聚類（Spectral Clustering，SC）［8］、基于層次的凝聚聚類（analysis of Agglomerative Clustering，AC）［9］和具有噪聲的基于密度的聚類方法DBSCAN（Density-Based Spatial Clustering of Applications with Noise）［10］等。2）深度聚類方法。這類方法利用深度神經(jīng)網(wǎng)絡(luò)理論進行研究，如利用自編碼器實現(xiàn)聚類［11］，將深度學(xué)習(xí)與-means結(jié)合提升聚類性能［12］和將深度神經(jīng)網(wǎng)絡(luò)與譜聚類結(jié)合的方法［13-14］等。相較于傳統(tǒng)聚類算法，深度聚類算法性能良好，但仍舊面臨很多問題，例如聚類結(jié)果不穩(wěn)定和泛化性能差等問題。

針對上述問題，本文提出L1正則化的深度譜聚類算法（Deep Spectral Clustering algorithm with L1 Regularization，DSCLR）。首先，在深度譜聚類算法SpectralNet（Spectral Clustering using Deep Neural Network）算法［13］損失函數(shù)中加入L1正則化使拉普拉斯矩陣的特征向量稀疏化，從而增強模型的魯棒性和泛化性；其次，針對SpectralNet網(wǎng)絡(luò)結(jié)構(gòu)容易過擬合的問題，將神經(jīng)網(wǎng)絡(luò)模型的激活函數(shù)修改為參數(shù)化修正線性單元激活函數(shù)（Parametric Rectified Linear Unit， PReLU）［15］，使得深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練更穩(wěn)定；最后，在多個數(shù)據(jù)集上利用聚類評價指標(biāo)與基準(zhǔn)方法對實驗結(jié)果進行對比分析和可視化，驗證了所提算法的有效性。

1 相關(guān)工作

1.1　深度聚類

聚類是目前機器學(xué)習(xí)、數(shù)據(jù)挖掘領(lǐng)域研究的主要方法之一?；趧澐郑?-8］、層次［9］和密度［10］聚類等傳統(tǒng)聚類方法雖然應(yīng)用廣泛，但在聚類高維復(fù)雜的大規(guī)模數(shù)據(jù)時，性能都較差。近年，深度神經(jīng)網(wǎng)絡(luò)因具有強大的表示學(xué)習(xí)能力而被應(yīng)用到各個領(lǐng)域。深度學(xué)習(xí)與聚類結(jié)合（即深度聚類）使聚類性能大幅提升，如文獻［11-12］中使用自編碼器作為特征學(xué)習(xí)模塊，并通過同時最小化自編碼器和-means的損失函數(shù)實現(xiàn)聚類。文獻［13］中提出通過深度神經(jīng)網(wǎng)絡(luò)模型獲得拉普拉斯矩陣的特征向量，并稱這種算法為SpectralNet；雖然這種模型簡單有效，但訓(xùn)練過程不穩(wěn)定、模型泛化性差。文獻［14］中利用對偶自編碼器模型生成具體判斷性和魯棒性的特征，并將這些特征作為深度譜聚類模型的輸入，從而構(gòu)建更穩(wěn)定的拉普拉斯矩陣。與之類似，文獻［16］中提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的譜聚類算法，通過利用預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)提取圖像邊緣并進行特征融合，以減輕算法對相似矩陣的依賴。文獻［17］中結(jié)合譜聚類、生成對抗網(wǎng)絡(luò)和貝葉斯框架，通過低秩模型估計聚類數(shù)，用譜聚類獲取隱藏空間結(jié)構(gòu)，在此基礎(chǔ)上利用對抗學(xué)習(xí)完成聚類。這些模型的聚類效果通常較好，但它們的結(jié)構(gòu)非常復(fù)雜，較難訓(xùn)練。文獻［18-19］中結(jié)合自編碼器與子空間聚類提高樣本的非線性表達，以提升聚類效果。這類方法對噪聲較敏感且無法很好地表示樣本之間的關(guān)系。文獻［20］中提出將SpectralNet擴展到多視圖場景，每個視圖都用一個SpectralNet進行深度聚類；這種方法的缺點是計算量較大。文獻［21］中提出一種解決譜聚類局限的圖聚類方法，通過制定歸一化最小切問題的連續(xù)松弛并通過訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)使得該目標(biāo)最小化；但是該方法無法得到高階的連通性，并且經(jīng)常無法恢復(fù)聚簇的結(jié)構(gòu)。

1.2　L1正則化

特征選擇相關(guān)研究最先引入L1正則化，具體地，在特征選擇的損失函數(shù)中添加L1范數(shù)，讓學(xué)習(xí)到的模型具有稀疏解，以提高特征選擇的可解釋性［22］。文獻［23］中提出一種在回歸系數(shù)的絕對值之和小于一個常數(shù)的約束條件下，使殘差平方和最小化從而產(chǎn)生某些嚴(yán)格等于零的回歸系數(shù)，最后得到更具可解釋性的模型。文獻［24］中提出L1正則化的支持向量機（Support Vector Machine， SVM）聚類算法，實現(xiàn)了同時聚類和特征選擇功能。文獻［25］中提出了一種約束的譜聚類算法，通過引入L1正則化使模型具有稀疏性。文獻［26］中提出了一種具用全局特征選擇的神經(jīng)模型，將L1正則化線性回歸的特征引入深度神經(jīng)網(wǎng)絡(luò)模型，以實現(xiàn)深度神經(jīng)網(wǎng)絡(luò)模型稀疏化。文獻［27］中提出了一種L1正則化對稱非負矩陣因子分解算法，解決高階協(xié)同聚類（High-Order Co-Clustering， HOCC）問題。文獻［28］中通過引入L1正則化減少噪聲，使模型更具魯棒性。文獻［29］中設(shè)計了一種平滑優(yōu)化算法求解基于L1正則化的聚類目標(biāo)函數(shù)，能夠得到較好的近似解。綜上所述，基于L1正則化的模型受到了廣泛的研究并取得了較好的應(yīng)用。

2 DSCLR

2.1　SpectralNet算法

研究表明，SpectralNet在聚類時容易出現(xiàn)結(jié)果不穩(wěn)定和泛化性差等問題。為了解決此類問題，本文提出了DSCLR。

2.2　本文算法的模型結(jié)構(gòu)

DSCLR的模型整體框架主要由自編碼器模塊、正交模塊和特征映射（Feature Map）模塊這3個模塊組成，如圖1所示。由于正交模塊和特征映射模塊是共用網(wǎng)絡(luò)結(jié)構(gòu)，因此在圖1中正交和特征映射模塊對應(yīng)一個網(wǎng)絡(luò)結(jié)構(gòu)。

圖1　DSCLR的模型整體框架

圖1中的自編碼器模塊用于從樣本中提取特征，然后利用這些特征構(gòu)造拉普拉斯矩陣；正交模塊用于保證學(xué)習(xí)到的特征向量的正交性；特征映射模塊用于學(xué)習(xí)如何將樣本構(gòu)成拉普拉斯矩陣的特征向量。

此外，為了得到聚類結(jié)果更穩(wěn)定和擬合能力更好的模型，本文通過將深度神經(jīng)網(wǎng)絡(luò)模型的激活函數(shù)改為PReLU激活函數(shù)［15］在幾乎不增加額外參數(shù)的前提下提升模型訓(xùn)練的穩(wěn)定性并減少模型的過擬合。具體各模塊詳細網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計如表1所示。

表1DSCLR的網(wǎng)絡(luò)結(jié)構(gòu)

Tab.1　Network architecture of DSCLR

2.3　DSCLR

為了提高本文算法模型的穩(wěn)定性和泛化能力，進一步在式（1）中引入L1正則化，從而得到如下的損失函數(shù)：

算法1 L1正則化的深度譜聚類算法。

5）重復(fù)執(zhí)行步驟3）～6），直到算法收斂；

3 實驗與結(jié)果分析

3.1　實驗設(shè)置

3.1.1基準(zhǔn)數(shù)據(jù)集

表2匯總了本實驗所用到的數(shù)據(jù)集的基本信息。

圖2　COIL20數(shù)據(jù)集的部分圖像

表2數(shù)據(jù)集詳情

Tab.2　Dataset details

3.1.2基準(zhǔn)算法

將本文算法分別與以下6種具有代表性的傳統(tǒng)聚類算法和深度聚類算法進行比較。

2）AC算法［9］使用自下而上的方法進行層次聚類，最初每一個樣本都被認(rèn)為是一個聚簇，然后根據(jù)度量策略合并這些聚簇，最后完成聚類。

3）DBSCAN算法［10］是一種基于密度的聚類算法，它將聚簇定義為密度相連的點的最大集合，能夠把具有足夠高密度的區(qū)域劃分為聚簇。

4）SC算法［8］是一種譜聚類算法。通過將樣本看作空間中的點，用邊連接這些點并給每條邊定義一個權(quán)值，權(quán)值大小與樣本之間的距離相關(guān)，距離較近的兩個樣本權(quán)值高，反之則低，從而構(gòu)成了無向加權(quán)圖，然后通過對圖的劃分實現(xiàn)聚類。

5）DEC（Deep Embedding Clustering）算法［11］通過學(xué)習(xí)數(shù)據(jù)到潛空間的映射，然后通過優(yōu)化目標(biāo)對潛空間數(shù)據(jù)進行聚類。

6）SpectralNet算法［13］通過深度神經(jīng)網(wǎng)絡(luò)顯式學(xué)習(xí)樣本與拉普拉斯特征向量之間的映射，然后用-means對這些特征向量進行聚類。

7）基于對偶自編碼器網(wǎng)絡(luò)的深度譜聚類（Deep Spectral Clustering using Dual Autoencoder Network，DSCDAN）算法［14］首先通過設(shè)計雙自動編碼器網(wǎng)絡(luò)，對潛在表示及其噪聲版本施加重構(gòu)約束，將輸入嵌入潛在空間進行聚類，其次利用互信息估計，從輸入中提取更多的鑒別信息，最后采用深度譜聚類方法將潛在表示嵌入特征空間，并對它進行聚類。

8）深度嵌入譜聚類（Spectral Clustering with Deep Embedding， SCDE）算法［35］通過學(xué)習(xí)一個自編碼器估計聚簇的類別數(shù)并對它進行聚類。

3.1.3評價指標(biāo)

為了評估聚類的效果，本文采用了3種常用的聚類評價指標(biāo)，分別是聚類準(zhǔn)確率（Clustering Accuracy， CA）［36］、歸一化互信息（Normalized Mutual Information， NMI）指數(shù)［37］和調(diào)整蘭德系數(shù)（Adjusted Rand Index， ARI）［38］。

3.1.4實驗環(huán)境與參數(shù)設(shè)置

1）實驗環(huán)境。

本文實驗在以下環(huán)境進行：Intel Xeon Platinum 8358 CPU@2.60 GB處理器、NVIDIA Corporation A100 80 GB顯卡，Ubuntu 18.04.1 LTS操作系統(tǒng)，PyTorch 1.10.0，Python 3.7.12。

2）參數(shù)設(shè)置。

3.2　實驗結(jié)果

為了驗證本文算法的有效性，在5個真實數(shù)據(jù)集上分別通過CA、NMI和ARI這3個聚類評價指標(biāo)比較DSCLR與其他聚類算法的性能。在實驗中通過隨機將基準(zhǔn)數(shù)據(jù)集按照8∶2劃分為訓(xùn)練集和測試集進行訓(xùn)練以評估所有算法的性能。

3.2.1聚類結(jié)果分析

由表3的CA評價指標(biāo)可知，本文算法在MNIST、DIGISTS和FASHION數(shù)據(jù)集的聚類精度獲得最好的結(jié)果。在5個實驗數(shù)據(jù)集上，相較于SpectralNet，本文算法的CA分別提高了11.85、6.86、2.44、18.97和7.47個百分點；此外，在MNIST、DIGITS和COIL20這3個數(shù)據(jù)集上，本文算法的CA相較于DEC分別提高了1.20、12.57和8.44個百分點，相較于DSCDAN分別提升了8.00、5.57和21.84個百分點。

由表3的NMI評價指標(biāo)可知，本文算法在DIGISTS、USPS、COIL20和FASHION數(shù)據(jù)集上的NMI指數(shù)獲得了最好結(jié)果，在MNIST數(shù)據(jù)集上僅比最優(yōu)的DEC低1.68個百分點。在5個實驗數(shù)據(jù)集上，相較于SpectralNet，本文算法的NMI分別提高了7.75、0.59、0.74、23.31和0.76個百分點。在MNIST、DIGITS和COIL20這3個數(shù)據(jù)集上，相較于DEC和DSCDAN，本文算法同樣展現(xiàn)了顯著的提升。

由表3的ARI評價指標(biāo)可知，本文算法在DIGISTS和COIL20數(shù)據(jù)集上的ARI達到了最好結(jié)果，在USPS數(shù)據(jù)集上僅比DEC低2.24個百分點。在MNIST、DIGITS和COIL20這3個實驗數(shù)據(jù)集上，相較于SpectralNet，本文算法的ARI分別提高了17.19、4.66、12.05百分點；相較于DEC，本文算法的ARI分別提高了1.32、10.8和5.93個百分點。

綜上所述，本文算法具有更好的聚類性能。其中在對比的基準(zhǔn)數(shù)據(jù)集上本文算法明顯優(yōu)于SpectralNet、DEC和DSCDA等深度聚類算法，這也驗證了L1正則化和PReLU激活函數(shù)對拉普拉斯特征稀疏化和模型訓(xùn)練的穩(wěn)定性起到了重要的作用。

表3各算法在不同數(shù)據(jù)集上的CA、NMI和ARI值 單位：%

Tab.3　CA，NMI and ARI values of different algorithms on different datasets unit：%

注：加粗?jǐn)?shù)據(jù)為最優(yōu)結(jié)果。

3.2.2T-SNE可視化分析

本文針對MNIST數(shù)據(jù)集利用t分布隨機鄰域嵌入（t-distributed Stochastic Neighbor Embedding，t-SNE）算法［38］分別對原始數(shù)據(jù)、自編碼器提取特征之后的數(shù)據(jù)、表3的SpectralNet算法的拉普拉斯矩陣數(shù)據(jù)和本文算法的拉普拉斯特征矩陣數(shù)據(jù)進行降維可視化操作。可視化結(jié)果如圖3所示。

圖3（a）為MNIST原始數(shù)據(jù)的可視化結(jié)果，圖3（b）為自編編碼器對MNIST提取特征之后的可視化結(jié)果，圖3（c）為SpectralNet聚類結(jié)果的可視化，圖3（d）為本文算法對MNIST數(shù)據(jù)集的可視化結(jié)果。從圖3可以看出，本文算法的聚類效果最優(yōu)。具體地，SpectralNet明顯有3個聚簇邊緣是混合在一起的，本文算法聚簇之間都能較好地分開。

綜上所述，本文算法能夠通過深度神經(jīng)網(wǎng)絡(luò)模型計算更稀疏的拉普拉斯矩陣的特征向量，稀疏的特征向量在聚類時表現(xiàn)了更好的魯棒性，從而得到更好的聚類結(jié)果。

圖3　MNIST數(shù)據(jù)集的t-SNE可視化結(jié)果

3.3　超參數(shù)分析實驗

圖4　MNIST數(shù)據(jù)集上不同的值對評價指標(biāo)的影響

3.4　L1正則化與PReLU激活函數(shù)消融實驗

由圖5可知，采用PReLU激活函數(shù)策略的模型在聚類精度和訓(xùn)練穩(wěn)定性上顯著優(yōu)于其他策略；未采用L1正則化算法的模型在聚類精度上明顯不如采用L1正則化的策略。

以上實驗結(jié)果充分驗證了L1正則化和PReLU對本文算法的有效性。

圖5　不同訓(xùn)練策略對算法性能的影響

4 結(jié)語

本文提出了一種L1正則化的深度譜聚類算法，該算法通過L1正則化使學(xué)習(xí)到的拉普拉斯矩陣的特征向量稀疏化，通過調(diào)整深度譜聚類網(wǎng)絡(luò)結(jié)構(gòu)和激活函數(shù)，使所提算法具有更好的泛化能力和更加穩(wěn)定的聚類性能。今后的工作中，將進一步設(shè)計新的目標(biāo)函數(shù)，強化特征向量的稀疏性，從而提升深度譜聚類的性能；同時考慮針對不同模態(tài)的數(shù)據(jù)引入新的網(wǎng)絡(luò)結(jié)構(gòu)改進深度譜聚類模型。

[1] GUO X， LIU X， ZHU E， et al. Adaptive self-paced deep clustering with data augmentation［J］. IEEE Transactions on Knowledge and Data Engineering， 2019， 32（9）： 1680-1693.

[2] JAIN A K， MURTY M N， FLYNN P J. Data clustering： a review［J］. ACM Computing Surveys （CSUR）， 1999， 31（3）： 264-323.

[3] 劉海楊，孟令航，林仲航，等.基于軌跡點聚類的航路發(fā)現(xiàn)方法［J］. 計算機應(yīng)用， 2022， 42（3）： 890-894.（LIU H Y， MENG L H， LIN Z H， et al. GU. Route discovery method based on trajectory point clustering［J］. Journal of Computer Applications， 2022， 42（3）： 890-894.）

[4] 祝承，趙曉琦，趙麗萍，等. 基于譜聚類半監(jiān)督特征選擇的功能磁共振成像數(shù)據(jù)分類［J］. 計算機應(yīng)用， 2021， 41（8）： 2288-2293.（ZHU C， ZHAO X Q， ZHAO L P， et al. Classification of functional magnetic resonance imaging data based on semi-supervised feature selection by spectral clustering［J］. Journal of Computer Applications， 2021， 41（8）： 2288-2293.）

[5] 袁野，譚曉陽. 復(fù)雜環(huán)境下的冰箱金屬表面缺陷檢測［J］. 計算機應(yīng)用， 2021， 41（1）： 270-274.（YUAN Y， TAN X Y. Defect detection of refrigerator metal surface in complex environment［J］. Journal of Computer Applications， 2021， 41（1）： 270-274.）

[6] 曾祥銀，鄭伯川，劉丹. 基于深度卷積神經(jīng)網(wǎng)絡(luò)和聚類的左右軌道線檢測［J］. 計算機應(yīng)用， 2021， 41（8）： 2324-2329.（ZENG X Y， ZHENG B C， LIU D. Detection of left and right railway tracks based on deep convolutional neural network and clustering［J］. Journal of Computer Applications， 2021， 41（8）： 2324-2329.）

[7] KANUNGO T， MOUNT D M， NETANYAHU N S， et al. An efficient-means clustering algorithm： analysis and implementation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）： 881-892.

[8] VON L U. A tutorial on spectral clustering［J］. Statistics and Computing， 2007， 17（4）： 395-416.

[9] ACKERMANN M R， BL?MER J， KUNTZE D， et al. Analysis of agglomerative clustering［J］. Algorithmica， 2014， 69（1）： 184-215.

[10] ESTER M， KRIEGEL H P， SANDER J， et al. A density-based algorithm for discovering clusters in large spatial databases with noise ［EB/OL］. ［2022-10-20］. https：//cdn.aaai.org/KDD/1996/KDD96-037.pdf.

[11] XIE J， GIRSHICK R， FARHADI A. Unsupervised deep embedding for clustering analysis［C］// Proceedings of the 33th International Conference on Machine Learning. ［S.l.］： PMLR， 2016： 478-487.

[12] YANG B， FU X， SIDIROPOULOS N D， et al. Towards K-means-friendly spaces： simultaneous deep learning and clustering［C］// Proceedings of the 34th International Conference on Machine Learning. ［S.l.］： PMLR， 2017： 3861-3870.

[13] SHAHAM U， STANTON K， LI H， et al. SpectralNet： spectral clustering using deep neural networks ［C］// Proceedings of the 6th International Conference on Learning Representations. Vancouver： OpenReview.net， 2018， 1050： 10.

[14] YANG X， DENG C， ZHENG F， et al. Deep spectral clustering using dual autoencoder network［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4066-4075.

[15] HE K， ZHANG X， REN S， et al. Delving deep into rectifiers： surpassing human-level performance on ImageNet classification ［C］// Proceedings of the 2015 IEEE/CVF International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2015： 1026-1034.

[16] 蘇常保，龔世才.一種基于卷積神經(jīng)網(wǎng)絡(luò)的譜聚類算法［J］.安徽大學(xué)學(xué)報（自然科學(xué)版），2022，46（5）：20-26.（SU C B， GONG S C. A spectral clustering algorithm based on convolutional neural network［J］. Journal of Anhui University（Natural Sciences）， 2022，46（5）：20-26.）

[17] YE X， ZHAO J， CHEN Y， et al. Bayesian adversarial spectral clustering with unknown cluster number ［J］. IEEE Transactions on Image Processing， 2020， 29： 8506-8518.

[18] JI P，ZHANG T，LI H，et al.Deep subspace clustering networks［C］// Proceedings of the 30th Advances in Neural Information Processing Systems. Long Beach： Curran Associates Inc.， 2017：24-33.

[19] ZHOU L，WANG S，BAI X，et al.Iterative deep subspace clustering［C］// Proceedings of the 2018 Joint IAPR International Workshop Structural，Syntactic，and Statistical Pattern Recognition. Cham： Springer， 2018：42-51.

[20] HUANG S， OTA K， DONG M， et al. MultiSpectralNet： spectral clustering using deep neural network for multi-view data［J］. IEEE Transactions on Computational Social Systems， 2019， 6（4）： 749-760.

[21] BIANCHIF M， GRATTAROLA D， ALIPPI C. Spectral clustering with graph neural networks for graph pooling ［C］// Proceedings of the 37th International Conference on Machine Learning. ［S.l.］： PMLR， 2020： 874-883.

[22] TIBSHIRANI R. Regression shrinkage and selection via the lasso： a retrospective［J］. Journal of the Royal Statistical Society： Series B （Statistical Methodology）， 2011， 73（3）： 273-282.

[23] TIBSHIRANI R. Regression shrinkage and selection via the lasso［J］. Journal of the Royal Statistical Society： Series B （Methodological）， 1996， 58（1）： 267-288.

[24] 劉建偉，李雙成，付捷，等.L1范數(shù)正則化SVM聚類算法［J］.計算機工程，2012，38（12）：185-187.（LIU J W， LI S C， FU J， et al. L1-norm regularized SVM clustering algorithm［J］. Computer Engineering， 2012，38（12）：185-187.）

[25] KAWALE J， BOLEY D. Constrained spectral clustering using L1 regularization［C］// Proceedings of the 2013 SIAM International Conference on Data Mining. Philadelphia，PA： SIAM， 2013： 103-111.

[26] LEMHADRI I， RUAN F， TIBSHIRANI R. LassoNet： neural networks with feature sparsity［C］// Proceedings of the 24th International Conference on Artificial Intelligence and Statistics. ［S.l.］： PMLR， 2021： 10-18.

[27] LIU K， WANG H. High-order co-clustering via strictly orthogonal and symmetric L1-norm nonnegative matrix tri-factorization［C］//Proceedings of the 27th International Joint Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press ， 2018： 2454-2460.

[28] ZHAO M， LIU J. Robust clustering with sparse corruption via ?2， 1， ?1 norm constraint and Laplacian regularization［J］. Expert Systems with Applications， 2021， 186： 115704.

[29] BAGIROV A M， MOHEBI E. An algorithm for clustering using L1-norm based on hyperbolic smoothing technique［J］. Computational Intelligence， 2016， 32（3）： 439-457.

[30] DENG L. The MNIST database of handwritten digit images for machine learning research ［J］. IEEE Signal Processing Magazine， 2012， 29（6）：141-142..

[31] HULL J J. A database for handwritten text recognition research［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1994， 16（5）： 550-554.

[32] COHEN G， AFSHAR S， TAPSON J， et al. EMNIST： extending MNIST to handwritten letters［C］// Proceedings of the 13th International Joint Conference on Neural Networks. Piscataway： IEEE， 2017： 2921-2926.

[33] XIAO H， RASUL K， VOLLGRAF R. Fashion-MNIST： a novel image dataset for benchmarking machine learning algorithms ［EB/OL］. ［2022-10-20］. https：//arxiv.org/pdf/1708.07747v1.pdf.

[34] NENE S A. Columbia object image library ［DB/OL］. ［2022-10-20］. https：//www1.cs.columbia.edu/CAVE/publications/pdfs/Nene_TR96.pdf.

[35] DUAN L， MA S， AGGARWAL C， et al. Improving spectral clustering with deep embedding， cluster estimation and metric learning［J］. Knowledge and Information Systems， 2021， 63（3）： 675-694.

[36] CAI D， HE X， HAN J. Locally consistent concept factorization for document clustering［J］. IEEE Transactions on Knowledge and Data Engineering， 2010， 23（6）： 902-913.

[37] VINH N， EPPS J， BAILEY J. Information theoretic measures for clusterings comparison： is a correction for chance necessary？［C］//Proceedings of the 26th Annual International Conference on Machine Learning. New York： ACM， 2009： 1073-1080.

[38] VAN DER MAATEN L， HINTON G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research， 2008， 9（11）： 2579-2605.

Deep spectral clustering algorithm with L1 regularization

LI Wenbo1，2， LIU Bo1，2*， TAO Lingling1，2， LUO Fen1，2， ZHANG Hang1，2

（1，，400067，；2（），400067，）

Aiming at the problems that the deep spectral clustering models perform poorly in training stability and generalization capability， a Deep Spectral Clustering algorithm with L1 Regularization （DSCLR） was proposed. Firstly， L1 regularization was introduced into the objective function of deep spectral clustering to sparsify the eigen vectors of the Laplacian matrix generated by the deep neural network model. And the generalization capability of the model was enhanced. Secondly， the network structure of the spectral clustering algorithm based on deep neural network was improved by using the Parametric Rectified Linear Unit activation function （PReLU） to solve the problems of model training instability and underfitting. Experimental results on MNIST dataset show that the proposed algorithm improves Clustering Accuracy （CA）， Normalized Mutual Information （NMI） index， and Adjusted Rand Index （ARI） by 11.85， 7.75， and 17.19 percentage points compared to the deep spectral clustering algorithm， respectively. Furthermore， the proposed algorithm also significantly improves the three evaluation metrics， CA， NMI and ARI， compared to algorithms such as Deep Embedded Clustering （DEC） and Deep Spectral Clustering using Dual Autoencoder Network （DSCDAN）.

deep clustering; spectral clustering; L1 regularization; deep learning; unsupervised learning

This work is partially supported by Science and Technology Research Program of Chongqing Municipal Education Commission （KJZD-K202200803）， Chongqing Natural Science Foundation （cstc2018jcyjAX0057）， Graduate Innovative Scientific Research Project of Chongqing Technology and Business University （yjscxx2022-112-68）.

LI Wenbo， born in 1998， M. S. candidate. His research interests include deep clustering， unsupervised learning， computer vision.

LIU Bo， born in 1977， Ph. D.， associate professor. His research interests include graph neural network， generative adversarial network， interpretability of deep learning， video analysis and understanding.

TAO Lingling， born in 1998， M. S. candidate. Her research interests include computer vision， image processing， generative adversarial network.

LUO Fen， born in 1975， M. S.，lecturer. His research interests include computer vision， medical image processing.

ZHANG Hang， born in 1998， M. S. candidate. His research interests include machine learning， computer vision， deep clustering.

TP311.5

A

1001-9081（2023）12-3662-06

10.11772/j.issn.1001-9081.2022121822

2022?12?06；

2023?02?20；

2023?02?27。

重慶市教委科學(xué)技術(shù)研究項目（KJZD?K202200803）；重慶市自然科學(xué)基金資助項目（cstc2018jcyjAX0057）；重慶工商大學(xué)研究生“創(chuàng)新型科研項目”（yjscxx2022?112?68）。

李文博（1998—），男，重慶人，碩士研究生，主要研究方向：深度聚類、無監(jiān)督學(xué)習(xí)、計算機視覺；劉波（1977—），男，重慶人，副教授，博士，主要研究方向：圖神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)、深度學(xué)習(xí)的可解釋性、視頻分析與理解；陶玲玲（1998—），女，重慶人，碩士研究生，主要研究方向：計算機視覺、圖像處理、生成對抗網(wǎng)絡(luò)；羅棻（1975—），男，重慶人，講師，碩士，主要研究方向：計算機視覺、醫(yī)學(xué)圖像處理；張航（1998—），男，重慶人，碩士研究生，主要研究方向：機器學(xué)習(xí)、計算機視覺、深度聚類。