基于聯(lián)合子空間對齊與極限學習機的無監(jiān)督領(lǐng)域自適應(yīng)平臺研究

陶 洋，胡 昊，鮑靈浪

(重慶郵電大學 通信與信息工程學院，重慶 400065)

0 引言

傳統(tǒng)分類方法一般是從訓練樣本中學習分類模型，然后直接將其應(yīng)用于測試樣本分類。當訓練樣本和測試樣本滿足獨立同分布基本假設(shè)時，分類模型可以獲得很好的分類效果[1]。但是，在實際應(yīng)用中，由于各種因素（例如不同的視覺分辨率和照度）不可能保證訓練樣本始終與測試樣本具有相同的分布。當它們具有不同的分布時，獲得的模型通常會失效[2]。如圖 2顯示了不同領(lǐng)域下圖像之間的差異。

本文重點研究無監(jiān)督領(lǐng)域自適應(yīng)學習，更符合現(xiàn)實場景應(yīng)用。在解決源數(shù)據(jù)與目標數(shù)據(jù)分布不均的問題方面，具體分為更改數(shù)據(jù)表示形式和修改訓練分類器方式。這兩類方式的遷移學習單獨執(zhí)行的效果并不是非常理想，這是因為數(shù)據(jù)分布不同而導致的。同時在現(xiàn)實應(yīng)用過程中的噪聲會影響分類器和遷移學習算法的穩(wěn)定性，導致分類器魯棒性不佳。而且傳統(tǒng)的遷移學習算法僅僅是從單純的改變數(shù)據(jù)表示進行遷移進行的，而忽略了結(jié)合分類器設(shè)計，不能使得分類器參數(shù)適合領(lǐng)域自適應(yīng)，提升遷移學習的效果。

為了克服傳統(tǒng)領(lǐng)域自適應(yīng)方法的弊端，提出了一種分類器聯(lián)合子空間學習方法，該方法將數(shù)據(jù)表示遷移方法和分類器設(shè)計相結(jié)合。具體來說，首先分解極限學習機分類器輸出層權(quán)重，設(shè)計一個靈活的極限學習機分類器。然后使得輸入層具備提取共有特征的能力，在分類器的隱含層中利用子空間對齊方法將源數(shù)據(jù)和目標數(shù)據(jù)被轉(zhuǎn)換為一個公共子空間，其中每個目標數(shù)據(jù)都可以通過源域中的數(shù)據(jù)線性地重構(gòu)。本文在重建矩陣上施加低秩約束，以便可以保留數(shù)據(jù)的全局結(jié)構(gòu)。低秩約束的設(shè)計還確保了來自不同域的數(shù)據(jù)可以很好地交織，這有助于顯著減小域分布的差異[3]。本文同時對噪聲進行建模，用來消除噪聲對模型產(chǎn)生的負面影響，過濾噪聲信息[4]。所提出的方法如圖1所示。該方法稱為聯(lián)合子空間對齊與極限學習機無監(jiān)督領(lǐng)域自適應(yīng)（Joint Suspace Alignment and Extreme Learning Machine，JSAELM）。

1 極限學習機

式（1）中H∈R，g(·)為激活函數(shù)。根據(jù)最小二乘法求解極限學習機輸出層權(quán)重β的目標函數(shù)為：

式（2）中C為預測誤差項的懲罰系數(shù)，同時為避免參數(shù)過擬合對參數(shù)β施加正則項，式（3）是經(jīng)典的嶺回歸正則化最小二乘優(yōu)化問題，令目標函數(shù)對β的梯度為0，可得：

式（4）中的β可以根據(jù)Moore-Penrose廣義逆矩陣的方法得到最優(yōu)解。當訓練樣本數(shù)n與隱含層神經(jīng)元個數(shù)L大小不同時，求解β存在兩種情況：

2 聯(lián)合子空間對齊與極限學習機無監(jiān)督領(lǐng)域自適應(yīng)

2.1 模型結(jié)構(gòu)

圖1 JSA-ELM模型結(jié)構(gòu)圖Fig.1 Structure of JSA-ELM mode

2.2 ELM的領(lǐng)域不變隱含層權(quán)重學習

2.3 具有遷移能力的 ELM 輸出層權(quán)重學習

根據(jù)第2.2節(jié)求得的ELM的領(lǐng)域不變隱含層權(quán)重W可計算出源域和目標域相應(yīng)的隱含層特征：

其中，g(·)表示隱含層激活函數(shù)。為進一步提升 ELM 分類器的跨領(lǐng)域知識遷移能力，JSA-ELM 將輸出層權(quán)重的學習過程中聯(lián)合子空間對齊方法，使得輸出層權(quán)重具有較好的遷移能力。

2.3.1 極限學習機源域分類損失

在極限學習機源域分類器學習過程中，僅有源域樣本包含標簽信息。因此，跨領(lǐng)域分類器參數(shù)通過帶標簽的源域樣本進行訓練。定義源域樣本數(shù)據(jù)與數(shù)據(jù)標簽為{xs, ys} ，根據(jù)第1節(jié)中的極限學習機算法，分類器輸出層權(quán)重的損失函數(shù)可表示為：

其中，Hs為源域的隱含層特征表達。為了有效的聯(lián)合子空間學習，本文采用一種更靈活方法，將輸出權(quán)重矩陣β分解為兩個矩陣β和R。因此，將式（7）轉(zhuǎn)換得到優(yōu)化模型：

2.3.2 子空間領(lǐng)域?qū)R

本文使用低秩約束來強制 Z具有這樣的結(jié)構(gòu)。因此本文可以得到：

式（9）有利于獲得xs和xt的一致表示，以便源數(shù)據(jù)和目標數(shù)據(jù)很好地對齊。由于秩最小化問題是非凸問題，因此式（9）中的問題是 NP-難問題。如果Z的秩不太大，則式（9）等效于：

其中Z*是矩陣的核范數(shù)。為了減輕噪聲的影響，本文引入矩陣E對噪聲進行建模，并對E施加稀疏約束，然后將式（10）更改為：

2.3.3 目標函數(shù)求解優(yōu)化

聯(lián)合分類器式（8）和子空間對齊式（11），得到求解跨領(lǐng)域分類器輸出層權(quán)重的目標函數(shù)：

其中α,C,λ為懲罰系數(shù)。解決式（12）需要通過固定其他變量來迭代更新每個變量。對目標函數(shù)式（12）加入輔助變量Z1轉(zhuǎn)換為：

式（13）的增廣拉格朗日函數(shù)L為：

其中Y1，Y2和Y3是拉格朗日乘數(shù)，而μ＞0是懲罰參數(shù)。通過交替更新變量，并固定其他變量來最小化拉格朗日函數(shù)L。滿足收斂條件后，迭代將停止。解決式（14）的主要步驟如下：

Step.1更新Q，解決式（15）更新參數(shù)Q：

式（17）為西爾維斯特方程（Sylvester Equation），可以采用文獻[7]中的求解方式對式（17）進行求解獲得Q。

Step.2更新Z，解決式（18）更新參數(shù)Z

式（16）可進一步轉(zhuǎn)化為：

則：

Step.3更新Z1，解決式（22）更新參數(shù)Z1：

式（22）的閉式解為：

Step.4更新E，解決式（24）更新參數(shù)E：

Step.5更新R，解決式（27）更新參數(shù)R：

Step.6更新β，解決式（30）更新參數(shù)β：

聯(lián)合子空間對齊與極限學習機無監(jiān)督領(lǐng)域自適應(yīng)算法如算法1所示。

算法1 JSA-ELM執(zhí)行流程

輸入：

隱藏層輸出矩陣Hs,Ht；標簽矩陣 ys；

平衡參數(shù)α,λ,C,； 隱藏子空間? 的尺寸。

初始化：

循環(huán)執(zhí)行：

更新參數(shù)Q，根據(jù)式（17）

更新參數(shù)Z，根據(jù)式（21）

更新參數(shù)Z1，根據(jù)式（23）

更新參數(shù)E，根據(jù)式（26）

更新參數(shù)R，根據(jù)式（29）

更新參數(shù)β，根據(jù)式（32）

收斂則停止

輸出：

輸出具有遷移能力的權(quán)重矩陣β

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)集及設(shè)置

為了驗證 JSA-ELM 方法的性能及其泛化能力，在4個公開數(shù)據(jù)集上對JSA-ELM進行驗證。這些數(shù)據(jù)集已被大多數(shù)領(lǐng)域自適應(yīng)研究學者廣泛采用。表1列出了各個基準數(shù)據(jù)集的統(tǒng)計數(shù)據(jù)。

表1 JSA-ELM實驗數(shù)據(jù)集Tab.1 Experimental dataset

Office數(shù)據(jù)集是視覺自適應(yīng)領(lǐng)域中通用的基準數(shù)據(jù)集，由三個不同對象域組成：Amazon在線商家下載的圖像，Webcam網(wǎng)絡(luò)攝像頭拍攝的低分辨率圖像和DSLR高分辨率圖像，共包含31個類，4,652張圖像[8]。

Caltech-256是用于對象識別的標準數(shù)據(jù)集，包含256個類別的30,607張圖像[9]。在實驗中，本章使用了Gong等人提供的Office和Caltech數(shù)據(jù)集，該數(shù)據(jù)集是由三個 Office數(shù)據(jù)集和一個Caltech數(shù)據(jù)集中相同的十個對象類別組成的[8]。將四個不同的域命名為 C(Caltech-256)，A(Amazon)，W(Webcam)和 D(DSLR)。通過源域和目標域的組合，構(gòu)造了4×3=12個跨域?qū)ο髷?shù)據(jù)集C→A，C→W，C→D，A→C，……，D→W。

USPS數(shù)據(jù)集包含7,291個訓練樣本和2,007個測試樣本，大小為16×16像素。MNIST數(shù)據(jù)集由 60,000個訓練樣本和 10,000個測試樣本組成，大小為28×28像素[10]。從圖3可以看出USPS和MNIST數(shù)據(jù)集中樣本之間的分布不同，它們共享10種類型的數(shù)字樣本。按照文獻[11]的實驗設(shè)置，我們通過隨機選擇 1,800個樣本作為 USPS中的源數(shù)據(jù)并隨機選擇2,000個樣本作為MNIST中的目標數(shù)據(jù)來構(gòu)建 USPS(U)→MNIST(M)數(shù)據(jù)集。并通過切換源/目標對獲得另一個數(shù)據(jù)集MNIST(M)→USPS(U)。為了在源數(shù)據(jù)和目標數(shù)據(jù)之間共享相同的特征空間，我們將 USPS和MNIST數(shù)據(jù)集的所有圖像縮放為16×16大小，并且每個圖像都由一個256維特征向量表示，該向量對灰度像素值進行編碼。數(shù)據(jù)集的示例樣本如圖3所示。

圖2 數(shù)據(jù)集示例圖Fig.2 Example samples of datasets

3.2 實驗結(jié)果分析

3.2.1 物體目標識別

表2 Offce+Caltech10數(shù)據(jù)集的分類準確率（%）Tab.2 Classification accuracy of Offce+Caltech10 datasets

圖3 JSA-ELM參數(shù)敏感度分析Fig.3 Parameter sensitivity analysis of JSA-ELM

為了驗證本章提出方法的有效性，本文在物體圖像數(shù)據(jù)集上做了9個自適應(yīng)分類實驗。包括經(jīng)典的主成分分析算法（PCA）；遷移成分分析算法（TCA）和聯(lián)合分布適配法（JDA）的概率分布適配法；遷移聯(lián)合匹配算法（TJM）為代表的特征選擇的方法；子空間學習法則選擇子空間對齊法（SA）和測地線流式核算法（GFK）算法進行實驗；同時還對比了基礎(chǔ)的極限學習機（ELM）和最新的極限學習機領(lǐng)域自適應(yīng)模型（UDACELM）[12]。

實驗中所有比較方法的最佳參數(shù)都是根據(jù)其原始論文來設(shè)置。對于本章提出的方法，本文設(shè)置了隱含層維度為 256，C為 0.1，μ為 0.1。選擇全部源域作為訓練數(shù)據(jù)，在訓練前做相應(yīng)歸一化處理。選擇所有目標域樣本作為測試數(shù)據(jù)，重復進行10次實驗并取平均值，實驗結(jié)果如表3所示。

從表3可以看出，本章提出的聯(lián)合子空間對齊與極限學習機方法（JSA-ELM）平均分類準確率優(yōu)于其他對比方法。JSA-ELM 的平均分類準確率為52.06%，與其基本的ELM和SA相比平均精度提高了5.12%和7.24%。單純的ELM分類器算法、分布對齊方法（TCA、JDA和TJM）和子空間學習方法（SA和GFK）的性能普遍比JSA-ELM差。這表明參與對比的傳統(tǒng)分類器和領(lǐng)域自適應(yīng)方法都有一定的局限性，導致領(lǐng)域偏差對分類器影響較大。UDAC-ELM在流形學習之后，仍然存在較大的域偏移。在不同圖像數(shù)據(jù)集上進行驗證表明 JSA-ELM 能夠顯著減少領(lǐng)域自適應(yīng)問題中的分布差異。

3.2.2 手寫數(shù)字識別

在手寫體數(shù)字識別實驗中，本文選擇極限學習機（ELM）、遷移成分分析算法（TCA）、聯(lián)合匹配算法（TJM）、子空間對齊法（SA）、測地線流式核算法（GFK）和無監(jiān)督域自適應(yīng)極限學習機（UDAC-ELM）作為對比方法。所有對比算法都是根據(jù)其原始論文來設(shè)置的最佳參數(shù)。對于本章提出的方法，設(shè)置隱含層維度為32，C為0.1，μ為0.1，選擇全部源域圖像作為訓練數(shù)據(jù)，并做相應(yīng)歸一化處理。選擇所有目標域樣本作為測試數(shù)據(jù)，重復進行10次實驗并取平均值，實驗結(jié)果如表3所示。

表3 USPS和MNIST數(shù)據(jù)集的分類準確率（%）Tab.3 Classification accuracy of digital datasets

從表 2中可以看出，本章提出聯(lián)合極限學習機和子空間對齊（JSA-ELM）在平均分類準確率上優(yōu)于其他對比方法。JSA-ELM在分類性能上遠遠高于SA和ELM算法，比最新的UDAC-ELM提高了2.01%。這表明SA-ELM能充分利用子空間對齊方法提升分類器對領(lǐng)域偏差的魯棒性，有效地減小領(lǐng)域間的分布差異，提高算法的分類性能。

3.3 參數(shù)分析

本節(jié)分析 JSA-ELM 在不同類型數(shù)據(jù)集上的參數(shù)敏感性。在不同類型的數(shù)據(jù)集上的結(jié)果已證實，固定的C=0.1和μ=0.1并將所有學習率設(shè)置為0.001，對于所有任務(wù)都是足夠的。因此，我們僅評估其他三個參數(shù)α，λ和隱藏層數(shù)。我們在USPS→MNIST和 A→D數(shù)據(jù)集上進行實驗，如圖3所示。實線是使用不同參數(shù)在JSA-ELM上的準確度，虛線表示在每個數(shù)據(jù)集上通過最佳基線方法獲得的結(jié)果。在其他數(shù)據(jù)集上也觀察到類似趨勢。從圖 3（a）和（b）可以看出，與最佳基準方法相比，可以選擇大范圍的α和λ獲得更好的結(jié)果。圖 3（c）顯示出了隱藏層參數(shù)h與精度之間的關(guān)系，可以看出本模型僅需較少的隱藏層數(shù)就可以達到較好的效果，表示只需較少的計算資源消耗。

4 總結(jié)

本文主要針對領(lǐng)域自適應(yīng)問題進行了深入研究，并結(jié)合子空間學習、極限學習機提出了聯(lián)合極限學習機和子空間對齊的無監(jiān)督領(lǐng)域自適應(yīng)方法。該方法將更改數(shù)據(jù)表示方法和分類器設(shè)計相結(jié)合。針對 ELM 的輸出層參數(shù)進行了自適應(yīng)學習，進一步增強其遷移能力。首先通過利用ELM-AE獲取用于提取域不變性特征權(quán)重替代ELM初始化隨機權(quán)重；然后拆分ELM輸出層權(quán)重使其更加的靈活；聯(lián)合極限學習機分類器拆分后的輸出層中利用子空間對齊方法將源數(shù)據(jù)和目標數(shù)據(jù)轉(zhuǎn)換為一個公共子空間，其中每個目標數(shù)據(jù)都可以通過源域中的數(shù)據(jù)線性地重構(gòu)。在重建矩陣上施加低秩約束，以便可以保留數(shù)據(jù)的全局結(jié)構(gòu)，同時低秩約束的設(shè)計還確保了來自不同域的數(shù)據(jù)可以很好相互表示，這有助于顯著減小域分布的差異。并且在公開數(shù)據(jù)集上的實驗驗證了該算法的可行性。