一種基于對抗MSE度量的自編碼網(wǎng)絡(luò)優(yōu)化方法

柳 偉，孟凡陽，譚 旭

（1.深圳信息職業(yè)技術(shù)學(xué)院 廣東省智能視覺工程技術(shù)研究中心，廣東 深圳 518172；2.鵬城實(shí)驗(yàn)室，廣東 深圳 518055）

1 概述

自編碼網(wǎng)絡(luò)是一種常用的無監(jiān)督圖像特征提取網(wǎng)絡(luò)，其目的是盡可能重現(xiàn)輸入圖像的神經(jīng)網(wǎng)絡(luò)，假定輸入和輸出是相同的，通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)參數(shù)得到每一層的權(quán)重，隱含層就是原始信號的近似表達(dá)[1]。由于自編碼網(wǎng)絡(luò)能夠以無監(jiān)督的方式提取圖像特征和重構(gòu)圖像，因此在數(shù)據(jù)壓縮、聚類和降噪等方面得到了廣泛的應(yīng)用。

自編碼網(wǎng)絡(luò)中常用的損失度量是計(jì)算輸入圖像與重構(gòu)圖像之間的MSE。然而，由于自然圖像區(qū)域分布具有類別不平衡性，例如，圖像中大部分為沒有區(qū)分性的平滑區(qū)域，有區(qū)分性特征的非平滑區(qū)域相對較少，影響了基于MSE度量的自編碼優(yōu)化方法的性能，不僅導(dǎo)致重構(gòu)的圖像比較模糊，而且提取的特征區(qū)分性較差。因此，如何引入圖像的分布特性，設(shè)計(jì)一個(gè)有效的損失函數(shù)，使其既能夠有效提升圖像的重構(gòu)質(zhì)量，又能夠?qū)W習(xí)到有區(qū)分性的特征表達(dá)，成為自編碼網(wǎng)絡(luò)損失函數(shù)優(yōu)化的難點(diǎn)。

目前解決類別不平衡問題的方法可以分為兩類：一種方法是根據(jù)數(shù)據(jù)集分布的不均衡性調(diào)整數(shù)據(jù)的比例，例如過采樣和欠采樣方法[2，3]，但是過采樣會引入噪聲，欠采樣會導(dǎo)致多數(shù)類原始信息消失；另一種方法是代價(jià)敏感（Cost Sensitive）學(xué)習(xí)[4]，通過引入類別權(quán)重改變算法的性能，對少數(shù)類樣本分配較高的權(quán)重，對多數(shù)類樣本分配較低的權(quán)重，使網(wǎng)絡(luò)在學(xué)習(xí)樣本時(shí)對高代價(jià)的少數(shù)類更加敏感。其中，第二類方法在實(shí)際應(yīng)用中更為廣泛。

引入加權(quán)均方誤差（Weightel Mea Sqare Erron ，WMSE）可以改進(jìn)自編碼網(wǎng)絡(luò)的損失函數(shù)，提升自編碼網(wǎng)絡(luò)的性能。如何根據(jù)圖像中不平衡的區(qū)域類別學(xué)習(xí)權(quán)重，成為構(gòu)造加權(quán)MSE損失函數(shù)的核心問題。一種權(quán)值計(jì)算方法通過分析圖像特征（例如邊緣、紋理等）得到相應(yīng)的權(quán)重[5]。文獻(xiàn)[6]將圖像元素映射為不同尺度的特征表達(dá)，無需建立清晰的結(jié)構(gòu)預(yù)測機(jī)制即可抽取圖像在統(tǒng)計(jì)意義上的結(jié)構(gòu)信息。針對圖像中區(qū)域重疊、類別不平衡等問題，文獻(xiàn)[7]提出一種聯(lián)合校正方法，通過優(yōu)化多分類損失函數(shù)替換簡單區(qū)域分類。另一種權(quán)值計(jì)算方法采用貪婪啟發(fā)式算法，文獻(xiàn)[8]在反向傳播過程中，限定需要更新的像素?cái)?shù)量。文獻(xiàn)[9]介紹了一種截?cái)嗨惴?，先將每個(gè)像素的損失排序，然后只有前K個(gè)損失的位置更新。第三種研究思路是直接優(yōu)化目標(biāo)度量，例如曲線下面積[10]，重疊區(qū)域[11，12]和平均分類

[13]。這些方法通過不同的方式計(jì)算權(quán)值，構(gòu)造的加權(quán)損失函數(shù)能夠在一定程度上提升自編碼網(wǎng)絡(luò)的性能。但是，這些方法存在兩個(gè)缺陷：一是權(quán)重計(jì)算過程與自編碼網(wǎng)絡(luò)無關(guān)，無法進(jìn)行端到端訓(xùn)練；二是權(quán)重計(jì)算過程與數(shù)據(jù)集無關(guān)，不能有效地處理由于圖像類別不均衡導(dǎo)致的問題，如重構(gòu)質(zhì)量和特征區(qū)分度不高等。

2 基于對抗網(wǎng)絡(luò)的WMSE

2.1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)（Generative Adversarial Nets， GAN）提供了一種新的無監(jiān)督學(xué)習(xí)方法[14]。近年來，一些工作逐漸將對抗思想引入到自編碼網(wǎng)絡(luò)中[15-16]。GAN由兩個(gè)競爭的神經(jīng)網(wǎng)絡(luò)模型組成，即生成器和判別器，如圖1所示。

圖1 生成對抗模型

生成器G不斷捕捉訓(xùn)練庫里樣本的概率分布，將輸入的隨機(jī)噪聲轉(zhuǎn)變?yōu)樾碌臉颖?。判別器D觀察真實(shí)和假造的數(shù)據(jù)，判斷數(shù)據(jù)的真?zhèn)巍＿@兩個(gè)網(wǎng)絡(luò)進(jìn)行連續(xù)的博弈，生成器學(xué)習(xí)如何產(chǎn)生越來越接近真實(shí)數(shù)據(jù)的樣本，判別器學(xué)習(xí)越來越好地區(qū)分生成數(shù)據(jù)和真實(shí)數(shù)據(jù)，訓(xùn)練的目標(biāo)是使生成器生成的樣本與真實(shí)數(shù)據(jù)不可區(qū)分。

2.2 對抗網(wǎng)絡(luò)應(yīng)用于WMSE的原理分析

一般情況下，圖像中的平滑區(qū)域遠(yuǎn)多于非平滑區(qū)域，但其特征區(qū)分性低于非平滑區(qū)域。一方面，為了提高收斂性，自編碼網(wǎng)絡(luò)偏向?qū)W習(xí)平滑區(qū)域的特征，會造成特征區(qū)分性較差；另一方面，為了提高提取特征的區(qū)分性，自編碼網(wǎng)絡(luò)偏向?qū)W習(xí)非平滑區(qū)域的特征，會造成收斂性較差，這兩個(gè)對抗目標(biāo)和GAN模型的原理是一致的。受到GAN模型中生成對抗思想的啟發(fā)，以WMSE度量為損失函數(shù)，提出一種基于對抗網(wǎng)絡(luò)的自編碼網(wǎng)絡(luò)損失函數(shù)優(yōu)化方法。如圖2所示，在原有的自編碼網(wǎng)絡(luò)基礎(chǔ)上，增加權(quán)重生成網(wǎng)絡(luò)組成對抗網(wǎng)絡(luò)，通過對抗訓(xùn)練生成WMSE的權(quán)重。對于給定的圖像，首先利用自編碼網(wǎng)絡(luò)得到對應(yīng)的重構(gòu)圖像；然后將送入權(quán)重生成網(wǎng)絡(luò)，得到圖像中各個(gè)像素點(diǎn)對應(yīng)的權(quán)重；最后，采用反向傳播的方式訓(xùn)練自編碼網(wǎng)絡(luò)和權(quán)重生成網(wǎng)絡(luò)。具體訓(xùn)練過程為：先固定權(quán)重生成網(wǎng)絡(luò)輸出的權(quán)重，用WMSE計(jì)算得到的重構(gòu)誤差訓(xùn)練自編碼網(wǎng)絡(luò)，隨即固定自編碼網(wǎng)絡(luò)輸出的重構(gòu)誤差，用WMSE計(jì)算得到的重構(gòu)誤差訓(xùn)練權(quán)重生成網(wǎng)絡(luò)。

圖2 權(quán)重網(wǎng)絡(luò)和自編碼網(wǎng)絡(luò)組成的對抗網(wǎng)絡(luò)

通過對抗訓(xùn)練得到權(quán)重，既解決了端到端訓(xùn)練的問題，又可以使權(quán)重反映輸入圖像的分布特性，達(dá)到優(yōu)化損失函數(shù)的目的。實(shí)驗(yàn)表明，采用優(yōu)化損失函數(shù)的自編碼網(wǎng)絡(luò)在圖像重構(gòu)和聚類任務(wù)中獲得顯著的性能提升。

3 自編碼網(wǎng)絡(luò)損失函數(shù)優(yōu)化算法

3.1 基于Densenet的權(quán)重生成網(wǎng)絡(luò)

隨著網(wǎng)絡(luò)層數(shù)的增加，自編碼網(wǎng)絡(luò)會出現(xiàn)梯度消失問題，導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練過程中難以收斂。在計(jì)算權(quán)重過程中，不僅要考慮到圖像的低層細(xì)節(jié)特征，還要考慮到圖像的高層語義特征。因此，權(quán)重生成網(wǎng)絡(luò)采用Densenet網(wǎng)絡(luò)結(jié)構(gòu)[17]。Densenet將網(wǎng)絡(luò)中的所有層兩兩連接，使網(wǎng)絡(luò)中每一層都接受它前面所有層的特征作為輸入，實(shí)現(xiàn)了網(wǎng)絡(luò)中所有層之間的信息流最大化，如圖3所示。以圖像大小為128×128為例，權(quán)重生成網(wǎng)絡(luò)對應(yīng)的卷積核和激活函數(shù)如表1所示。

圖3基于Densenet的權(quán)重生成網(wǎng)絡(luò)

表1 權(quán)重生成網(wǎng)絡(luò)具體設(shè)置參數(shù)

3.2 基于對抗網(wǎng)絡(luò)的WMSE算法過程

以圖像重構(gòu)應(yīng)用為例，加權(quán)均方誤差（WMSE）的定義如下：

如前所述，自編碼網(wǎng)絡(luò)的損失函數(shù)采用基于對抗網(wǎng)絡(luò)的WMSE，核心問題是合理定義兩個(gè)對抗的目標(biāo)函數(shù)和對抗損失，通過對抗訓(xùn)練生成權(quán)重。對于圖像和對應(yīng)的自編碼重構(gòu)圖像，對抗損失定義為：其中，為權(quán)重生成網(wǎng)絡(luò)得到的權(quán)重。和為原始圖像和重構(gòu)圖像在位置的像素值，和為圖像的行數(shù)和列數(shù)。由公式（6）和公式（7）可以看出，對抗網(wǎng)絡(luò)共包含兩個(gè)基于WMSE的損失函數(shù)。第一項(xiàng)為自編碼網(wǎng)絡(luò)在更新過程中的損失函數(shù)，其目標(biāo)是優(yōu)化自編碼網(wǎng)絡(luò)，最小化在給定權(quán)重網(wǎng)絡(luò)下的重構(gòu)損失。在使用訓(xùn)練自編碼網(wǎng)絡(luò)的過程中，從權(quán)重生成網(wǎng)絡(luò)得到的權(quán)重不變化。從公式（6）可以看出，權(quán)重越大的位置對應(yīng)的損失在中所占的比重越大，為了最小化，在權(quán)重越大的位置要盡可能減少。反之，第二項(xiàng)為權(quán)重生成網(wǎng)絡(luò)在更新過程中的損失函數(shù)，其目標(biāo)是優(yōu)化權(quán)重網(wǎng)絡(luò)，最大化在給定自編碼網(wǎng)絡(luò)下的重構(gòu)損失。在使用訓(xùn)練權(quán)重生成網(wǎng)絡(luò)過程中，從自編碼網(wǎng)絡(luò)得到的重構(gòu)誤差不變化。同樣，由公式（7）可以看出，重構(gòu)誤差越大，對應(yīng)的損失在中所占的比重越大。為了最大化，在重構(gòu)誤差越大的位置要盡可能增大權(quán)重。綜合以上分析， 的目標(biāo)是減少重構(gòu)誤差，而的目標(biāo)是增大權(quán)重，兩者構(gòu)成對抗的兩個(gè)目標(biāo)函數(shù)。由于權(quán)重生成網(wǎng)絡(luò)和自編碼網(wǎng)絡(luò)聯(lián)合訓(xùn)練，解決了權(quán)重計(jì)算與自編碼網(wǎng)絡(luò)無關(guān)的問題。一般情況下，圖像的非平滑區(qū)域重構(gòu)誤差較大，隨著對抗網(wǎng)絡(luò)的訓(xùn)練，非平滑區(qū)域的權(quán)重會逐漸增大，按照圖像分布特性為平滑區(qū)域和非平滑區(qū)域分配權(quán)重，解決了圖像平滑區(qū)域與非平滑區(qū)域不均衡導(dǎo)致的特征區(qū)分度不高問題。

在實(shí)際應(yīng)用中，由于噪聲等因素的影響，圖像重構(gòu)過程中會出現(xiàn)噪聲區(qū)域的重構(gòu)誤差較大的情況。在這種情況下，權(quán)重生成網(wǎng)絡(luò)得到的權(quán)重值在該區(qū)域較大，這不僅造成生成的權(quán)重會受到噪聲的干擾而出現(xiàn)較大的隨機(jī)性，而且會導(dǎo)致自編碼網(wǎng)絡(luò)無法收斂。另一方面，盡管平滑區(qū)域的權(quán)重相對較少，但是仍然包含圖像中的有用信息，對重構(gòu)結(jié)果具有一定的影響。為了避免上述兩種情況，本文在對抗網(wǎng)絡(luò)的損失函數(shù)基礎(chǔ)上增加了一個(gè)權(quán)重約束參數(shù)，將原來的權(quán)重替換為可以理解為圖2中權(quán)重生成網(wǎng)絡(luò)對自編碼網(wǎng)絡(luò)的影響因子，即不考慮權(quán)重生成網(wǎng)絡(luò)，只使用自編碼網(wǎng)絡(luò)。令，新的對抗損失定義為：

圖4和的關(guān)系

4 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證提出的基于對抗網(wǎng)絡(luò)的WMSE的性能，在不同的測試數(shù)據(jù)集上應(yīng)用不同的評測指標(biāo)進(jìn)行實(shí)驗(yàn)分析。為了保證實(shí)驗(yàn)結(jié)果的公平性，所有算法將在相同或者相似的條件下進(jìn)行，用PSNR和SSIM評價(jià)基于自編碼網(wǎng)絡(luò)的圖像重構(gòu)效果；用均一性（Homogeneity score， Homo），完整性（Completeness score， Compl），調(diào)整蘭德系數(shù)（Adjusted Rand Index， ARI）和調(diào)整互信息（Adjusted Mutual Information， AMI）等四個(gè)聚類指標(biāo)評價(jià)自編碼網(wǎng)絡(luò)所提取特征的聚類性能。其中，Homo表示同類樣本被歸類到同一類的概率，Compl表示無監(jiān)督聚類后每類只包含一類樣本的概率，ARI表示與真實(shí)類別的相似度，AMI類似于ARI，從信息熵的角度度量相似度。

實(shí)驗(yàn)環(huán)境如下：CPU為主頻2.66G的Intel Xeon X5550，內(nèi)存256G，GPU為2塊NVIDIA Tesla K80計(jì)算卡。在網(wǎng)絡(luò)訓(xùn)練過程中，batchsize設(shè)置為32，迭代次數(shù)設(shè)置為100，采用Adam優(yōu)化器對網(wǎng)絡(luò)進(jìn)行優(yōu)化，學(xué)習(xí)速率在前80代設(shè)置為0.001，后20代設(shè)置為0.0001。

4.1 權(quán)重約束參數(shù)分析

在基于對抗網(wǎng)絡(luò)計(jì)算加權(quán)MSE的權(quán)重過程中，優(yōu)化結(jié)果與權(quán)重約束參數(shù)有關(guān)。選擇coil-20數(shù)據(jù)集，分析在不同權(quán)重約束參數(shù)下自編碼網(wǎng)絡(luò)的性能變化，表2給出了相應(yīng)的實(shí)驗(yàn)結(jié)果。由表2可以看出：

（1）對于圖像重構(gòu)應(yīng)用，PSNR和SSIM沒有隨著權(quán)重約束參數(shù)的增加而提升，主要原因是隨著權(quán)重約束參數(shù)的增加，非平滑區(qū)域?qū)τ趫D像重構(gòu)質(zhì)量的影響逐漸加大，訓(xùn)練樣本越來越反映圖像的真實(shí)分布特性，從而提高了自編碼網(wǎng)絡(luò)的重構(gòu)性能。當(dāng)平滑區(qū)域與非平滑區(qū)域權(quán)重相同時(shí)，意味著訓(xùn)練樣本達(dá)到均衡，自編碼網(wǎng)絡(luò)的重構(gòu)性能達(dá)到最大。當(dāng)平滑區(qū)域權(quán)重小于非平滑區(qū)域權(quán)重時(shí)，隨著權(quán)重約束參數(shù)的增大，訓(xùn)練樣本又遠(yuǎn)離均衡，自編碼網(wǎng)絡(luò)的重構(gòu)性能隨著權(quán)重約束參數(shù)的增大而降低。

表2 權(quán)重網(wǎng)絡(luò)在不同權(quán)重約束下性能

（2）對于圖像聚類應(yīng)用，自編碼網(wǎng)絡(luò)學(xué)習(xí)到的特征越具有區(qū)分性，聚類效果越好。一般情況下，圖像非平滑區(qū)域?qū)?yīng)的重構(gòu)誤差比較大，對應(yīng)的特征具有較強(qiáng)的區(qū)分性。從圖2和公式（9）可以看出，在對抗網(wǎng)絡(luò)中，自編碼網(wǎng)絡(luò)的損失函數(shù)為，為了最小化，在重構(gòu)誤差大的位置放置較小的權(quán)重，由于和是反相關(guān)關(guān)系，增大權(quán)重約束參數(shù)有利于自編碼網(wǎng)絡(luò)更加關(guān)注圖像中的非平滑區(qū)域，更容易學(xué)習(xí)到有區(qū)分性的特征，所以聚類指標(biāo)隨著權(quán)重約束參數(shù)的增加而提升。

4.2 權(quán)重生成網(wǎng)絡(luò)結(jié)構(gòu)分析

為了驗(yàn)證不同的權(quán)重生成網(wǎng)絡(luò)結(jié)構(gòu)對算法的影響，分別采用卷積網(wǎng)絡(luò)（CNN）、殘差CNN網(wǎng)絡(luò)[18]（Resnet）和稠密連接網(wǎng)絡(luò)CNN（Densenet）作為權(quán)重生成網(wǎng)絡(luò)，權(quán)重約束參數(shù)設(shè)置為。實(shí)驗(yàn)結(jié)果如表3所示：隨著權(quán)重網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)，基于對抗網(wǎng)絡(luò)優(yōu)化的自編碼網(wǎng)絡(luò)無論是在特征提取還是在圖像重構(gòu)上，都能取得明顯的改進(jìn)。采用Densenet網(wǎng)絡(luò)作為對抗網(wǎng)絡(luò)中的權(quán)重網(wǎng)絡(luò)，能夠綜合不同層級特征的權(quán)重，更好地反映訓(xùn)練樣本中不同層級數(shù)據(jù)的不均衡性。

表3 權(quán)重網(wǎng)絡(luò)采用不同結(jié)構(gòu)的性能比較

為了進(jìn)一步分析基于對抗網(wǎng)絡(luò)的WMSE的自編碼網(wǎng)絡(luò)性能，圖5給出了權(quán)重生成網(wǎng)絡(luò)得到的權(quán)重圖。可以看出，權(quán)重圖不僅能夠表征圖像中平滑區(qū)域和非平滑區(qū)域的分布情況，而且能夠在一定程度上反映重構(gòu)結(jié)果。例如，Baboon圖像對應(yīng)的權(quán)重圖中的大部分區(qū)域權(quán)重較大，對應(yīng)加權(quán)以后的圖像重構(gòu)誤差就相應(yīng)增大，因此整體重構(gòu)結(jié)果較差，而Lena圖像則與之相反。

圖5 基于Densenet的權(quán)重網(wǎng)絡(luò)生成的權(quán)重圖

4.3 在不同圖像數(shù)據(jù)庫上的對比實(shí)驗(yàn)

為了驗(yàn)證基于對抗網(wǎng)絡(luò)的WMSE作為自編碼網(wǎng)絡(luò)損失函數(shù)的有效性，在不同的測試數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)分析，并與MSE和基于梯度加權(quán)的MSE等常用度量方法對比。針對自編碼網(wǎng)絡(luò)能夠提取不同層級特征的特性，采用了兩種對比方式：一是像素級重構(gòu)誤差，即在自編碼網(wǎng)絡(luò)輸出的圖像上選擇三種指標(biāo)作為損失函數(shù)，用表示以MSE為損失函數(shù)，表示基于梯度的WMSE作為損失函數(shù)，表示以基于對抗網(wǎng)絡(luò)的WMSE作為損失函數(shù)，表示與MSE相比性能提升的百分比；二是特征級重構(gòu)誤差，采用文獻(xiàn)[19]中的方法，先用VGG網(wǎng)絡(luò)提取輸入圖像和重構(gòu)圖像在相同層級的特征圖，然后分別以MSE和基于對抗網(wǎng)絡(luò)的WMSE作為損失函數(shù)。由于基于梯度的WMSE用于度量像素級重構(gòu)誤差，所以不使用它度量特征級重構(gòu)誤差。和表示用VGG網(wǎng)絡(luò)提取特征圖，用MSE和A_MSE計(jì)算特征圖之間的誤差作為損失函數(shù)，表示與MSE相比性能提升的百分比。實(shí)驗(yàn)結(jié)果如表4-表6所示，由表4-表6可以看出：

（1）無論是在圖像重構(gòu)還是無監(jiān)督聚類等任務(wù)上，基于對抗網(wǎng)絡(luò)的加權(quán)均方誤差A(yù)_MSE優(yōu)于MSE和基于梯度的加權(quán)均方誤差G_MSE。在PSNR指標(biāo)上，A_MSE比MSE平均提升9.8%；在SSIM指標(biāo)上平均提升10.3%；在Homo指標(biāo)上平均提升6.2%。說明根據(jù)圖像內(nèi)容對不同位置的重構(gòu)誤差進(jìn)行加權(quán)，能夠有效提高自編碼網(wǎng)絡(luò)的性能。

（2）從重構(gòu)和聚類的結(jié)果來看，特征級損失度量比像素級損失度量更具魯棒性。無論采用哪種損失度量，A_MSE整體性能都優(yōu)于MSE，說明以A_MSE作為損失度量不會受到自編碼器不同級別的重構(gòu)誤差影響。

圖6對比了采用不同損失函數(shù)的自編碼網(wǎng)絡(luò)在不同圖像上的重構(gòu)性能，從主觀評價(jià)方面進(jìn)一步驗(yàn)證了A_MSE度量的有效性。

圖6 采用不同損失函數(shù)的自編碼網(wǎng)絡(luò)的重構(gòu)性能對比

表4 coil-20數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果

表5 在coil-100數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果

表6 在OBJ101數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果

5 結(jié)語

自編碼網(wǎng)絡(luò)采用MSE作為損失函數(shù)，容易受到訓(xùn)練樣本中平滑區(qū)域與非平滑區(qū)域不均衡的影響，影響了重構(gòu)質(zhì)量并導(dǎo)致不能有效提取具有區(qū)分性的特征。針對這個(gè)問題，提出了一種基于對抗網(wǎng)絡(luò)的WMSE作為損失函數(shù)，借鑒生成對抗網(wǎng)絡(luò)的思想，學(xué)習(xí)圖像不同區(qū)域的權(quán)重。實(shí)驗(yàn)表明，與MSE相比，基于對抗MSE度量的自編碼網(wǎng)絡(luò)圖像重構(gòu)峰值信噪比（Peak Signal to Noise Ratio， PSNR）平均提升9.8%，結(jié)構(gòu)相似度（Structural Similarity Index，SSIM）平均提升10.3%，聚類準(zhǔn)確性平均提升6.2%。提出的優(yōu)化算法不僅能夠提升自編碼網(wǎng)絡(luò)在圖像重構(gòu)和聚類上的性能，而且在不同的測試數(shù)據(jù)集上都具有良好的魯棒性。研究成果為解決樣本類別不平衡問題和難例挖掘問題提供了新的思路。