一種改進的增強組合特征判別性的典型相關(guān)分析

高玉森，朱昌明，岳聞

上海海事大學(xué) 信息工程學(xué)院，上海 201306

多視角學(xué)習(xí)[1-2]是當(dāng)前模式識別領(lǐng)域中的一個熱點，吸引了許多學(xué)者進行研究。多視角學(xué)習(xí)旨在學(xué)習(xí)由多視角數(shù)據(jù)組成的多視角數(shù)據(jù)集的特征，并設(shè)計可行的分類器以對這些數(shù)據(jù)集進行分類。比較知名的多視角學(xué)習(xí)算法有協(xié)同訓(xùn)練、多核學(xué)習(xí)以及子空間學(xué)習(xí)等。假設(shè)有一個多視角數(shù)據(jù)集D，其中每個數(shù)據(jù)均包含來自2 個視角的特征，即 {(x1,y1),(x2,y2),···,(xn,yn)} 。 特征{(x1,y1),(x2,y2),···,(xn,yn)} 來 自 特 征 集X， 特 征{(x1,y1),(x2,y2),···,(xn,yn)}來自特征集Y。這里，X和Y也代表此數(shù)據(jù)集的2 個視角。多視角學(xué)習(xí)旨在從X和Y中學(xué)習(xí)并獲得特征，從而設(shè)計一種可行的分類器。為了更好地學(xué)習(xí)特征，特征提取成為一種很好的方法，經(jīng)典的特征提取方法是典型相關(guān)分析(CCA)[3-4]。CCA 旨在從2 個視角中尋找特征集之間的線性相關(guān)關(guān)系，處理分類任務(wù)時，CCA 首先提取出2 組典型相關(guān)變量，使得2 組數(shù)據(jù)間相關(guān)性最大；接著再利用這2 組典型相關(guān)變量的組合（串行或并行）進行后續(xù)分類，能夠獲得比只使用單組特征進行操作的更優(yōu)的分類效果。在過去的幾十年中，CCA 及其變體已成功應(yīng)用于許多領(lǐng)域，例如圖像處理[5-6]、模式識別[7-8]以及腦電分析[9-10]等。

盡管CCA 在特征提取方面具有不錯的性能，但CCA 本身是一種無監(jiān)督降維方法，沒有利用樣本的類別信息。為了解決這個問題，首先提出了判別典型相關(guān)分析(Discriminative CCA, DCCA)[11]，DCCA 在CCA 的基礎(chǔ)上既考慮了2 個視角間的相關(guān)關(guān)系，又考慮了視角內(nèi)數(shù)據(jù)的相關(guān)關(guān)系。在最小化視角類內(nèi)相似度的同時最大化視角類間相似度，提取出了比CCA 更有判別性的相關(guān)特征。但DCCA 依舊采用對各視角提取的特征本身直接進行組合及分類輸入，并沒有針對分類任務(wù)來直接優(yōu)化組合特征本身。針對這個問題，周旭東等[12-13]提出了一種優(yōu)化組合特征的有監(jiān)督降維方法：增強組合特征判別性的CCA(CECCA)，CECCA 通過結(jié)合判別分析，優(yōu)化組合特征本身及其組成部分，獲得了更利于分類的組合特征。

CCA、DCCA 和CECCA 等算法在處理分類任務(wù)時，僅關(guān)注于隱藏在“干凈”數(shù)據(jù)中的信息，這些信息完全屬于學(xué)習(xí)任務(wù)中存在的任何類別，稱其為目標(biāo)數(shù)據(jù)。Universum 學(xué)習(xí)提出了將關(guān)于應(yīng)用領(lǐng)域的先驗知識融入到學(xué)習(xí)過程中，這些知識與目標(biāo)數(shù)據(jù)具有相同域但不屬于任務(wù)目標(biāo)類，被稱為Universum 數(shù)據(jù)。已經(jīng)提出了許多具有Universum 學(xué)習(xí)的學(xué)習(xí)機，例如陳曉紅等[14]提出了一種改進的CCA(ICCA)。在ICCA 中，必須同時考慮目標(biāo)數(shù)據(jù)之間的相關(guān)性和Universum 數(shù)據(jù)之間的相關(guān)性。這意味著在使用ICCA 時，特征提取會使用更多先驗信息。ICCA 通過執(zhí)行相關(guān)性分析，使目標(biāo)數(shù)據(jù)上的相關(guān)性盡可能大，而Universum 數(shù)據(jù)上的相關(guān)性盡可能小。它可以獲得具有與目標(biāo)數(shù)據(jù)最大相關(guān)性和與Universum 數(shù)據(jù)最小相關(guān)性的理想方向。

CECCA 和ICCA 在特征提取方面都比CCA具有更好的性能，但是ICCA 和CECCA 都沒有利用彼此的優(yōu)勢。故將Universum 學(xué)習(xí)引入到CECCA 中，通過結(jié)合判別分析與Universum 學(xué)習(xí)提出了一種改進的增強組合特征判別性的典型相關(guān)分析(ICECCA), ICECCA 在CECCA 的基礎(chǔ)上，通過結(jié)合Universum 學(xué)習(xí)，實現(xiàn)在利用訓(xùn)練數(shù)據(jù)與Universum 數(shù)據(jù)獲得更多先驗信息的同時，做到對組合特征相關(guān)性與判別性的聯(lián)合優(yōu)化。

1 相關(guān)工作

1.1 典型相關(guān)分析

1.2 增強組合特征判別性典型相關(guān)分析

CCA 是一種無監(jiān)督學(xué)習(xí)方法，做分類任務(wù)時直接利用提取出的特征，并沒有利用樣本的類別信息，缺少良好的判別性。CECCA 在CCA 基礎(chǔ)上加入了一種判別性懲罰項，通過結(jié)合判別信息，使得抽取的特征更利于分類。

1.3 改進的典型相關(guān)分析

2 改進的增強組合特征判別性的典型相關(guān)分析

由于ICCA 和CECCA 具有彼此所沒有的優(yōu)勢，ICCA 引入了Universum 學(xué)習(xí)，獲得了更多的先驗知識；CECCA 利用判別分析，實現(xiàn)對雙視角特征相關(guān)性與判別性的同時優(yōu)化。二者相比于CCA 都能更好地處理分類問題，但是它們都沒有利用彼此的優(yōu)勢。因此在這里可將Universum學(xué)習(xí)與CECCA 結(jié)合，提出一種改進的增強組合特征判別性的典型相關(guān)分析(ICECCA)，以便能夠同時利用Universum 學(xué)習(xí)以及判別分析。ICECCA 在ICCA 和CECCA 的基礎(chǔ)上，通過結(jié)合二者優(yōu)勢，實現(xiàn)在獲得更多先驗信息的同時，做到了對目標(biāo)樣本特征相關(guān)性與判別性優(yōu)化。

3 實驗

在本節(jié)中，為了評估所提出的ICECCA 的性能，在多個數(shù)據(jù)集上進行了對比實驗，比較的方法包括CCA[3]，ICCA[14]和CECCA[12]。使用的數(shù)據(jù)集包括人工數(shù)據(jù)集以及多特征數(shù)據(jù)集。

3.1 在人工數(shù)據(jù)集上的性能比較

為了公平起見，在本實驗中采用和文獻[14]中相同的人工數(shù)據(jù)集分布（分布是相同的，但是數(shù)據(jù)的生成是隨機的），生成一個具有2 個目標(biāo)類的雙視角（X視 角和Y視角）數(shù)據(jù)集，每個類包含100 個二維樣本，Universum 數(shù)據(jù)集包含200 個樣本。X=[X1,X2]表 示為目標(biāo)樣本的X視角，其中Xi(i=1,2)是 第i類的樣本矩陣。它們均通過高斯

圖1 訓(xùn)練樣本分布

圖2 測試樣本分布

在實驗中，參數(shù) η的設(shè)置參考文獻[14]，即η=2-4。圖3 和圖4 分別展示了從訓(xùn)練和測試樣本中提取的第一對特征的分布。

圖3 X 視角和Y 視角的一維特征（訓(xùn)練樣本）

從圖3 和圖4 中可以看出，CCA 雖然揭示特征間的線性相關(guān)關(guān)系，但2 類間存在嚴重重疊；ICCA 引入了Universum 學(xué)習(xí)，獲得了更多的先驗信息，取得了比CCA 更優(yōu)的結(jié)果，但依舊存在重疊。CECCA 與ICECCA均引入類信息，2 類在第一對特征上的分布基本無重疊；并且ICECCA 還引入了Universum 學(xué)習(xí)，相比于CECCA，ICECCA得到的結(jié)果類內(nèi)更緊湊，類間距更大，這說明ICECCA 所獲取的組合特征更優(yōu)。

3.2 在多特征數(shù)據(jù)數(shù)據(jù)集上的性能比較

在多特征數(shù)據(jù)集方面，采用從UCI 機器學(xué)習(xí)存儲庫中選擇的多特征數(shù)據(jù)集(multiple features data set，MFD)[15]，該數(shù)據(jù)集由“0”-“9”的手寫數(shù)字組成，每類200 個樣本，共2 000 個。MFD 具有6 個特征，分別是輪廓相關(guān)性、字符形狀的傅里葉系數(shù)、Karhunen-Love 系數(shù)、2×3 窗口中的像素平均、Zernike 矩特征以及形態(tài)學(xué)特征。這些特征的名稱和維度分別為（fac，216），（fou，76），（kar，64），（pix，240），（zer，47）和（mor，6）。對于此數(shù)據(jù)集通常從6 個特征中隨機選擇2 組作為X視角和Y視角，因此共有15 種雙視角組合。

根據(jù)表1 的結(jié)果可以發(fā)現(xiàn)，與CCA 相比，ICCA 和CECCA 的優(yōu)越性分別表明了Universum數(shù)據(jù)的先驗信息以及增強組合特征的判別信息對于提取多視角數(shù)據(jù)的特征都具有很好的意義。ICECCA 明顯超過CCA，從4%～20%不等。ICECCA在15 種組合中的10 種上勝過CECCA。準(zhǔn)確性的提高證明，同時利用Universum 數(shù)據(jù)編碼的先驗信息以及增強組合特征的判別信息對于多視角特征提取更有意義。ICECCA 的性能并不總是優(yōu)于CECCA，原因可能是有些Universum 樣本提供的先驗信息不足，算法的性能受Universum 數(shù)據(jù)和目標(biāo)樣本的組合影響。

表1 在多特征數(shù)據(jù)集上識別準(zhǔn)確率

3.3 在UCI 數(shù)據(jù)集上的性能比較

在本節(jié)中，從UCI 機器學(xué)習(xí)存儲庫中選擇5 種常見的多類別單視角數(shù)據(jù)集作為實驗數(shù)據(jù)。有關(guān)使用的數(shù)據(jù)集的詳細信息見表2。

表2 UCI 數(shù)據(jù)集

由于每個數(shù)據(jù)集都是單視角，因此將它們本身視為X視角的數(shù)據(jù)，而對于Y視角的數(shù)據(jù)，根據(jù)文獻[14] 中所述的方法來生成。例如對于Iris 鳶尾花數(shù)據(jù)集，它具有3 個類別xi,i=1,2,3。如果xi屬于第1 類，則Y視角中的對應(yīng)樣本表示為yi=(1,0,0)T；如果xi屬于第2 類，則yi=(0,1,0)T；如果xi屬 于類別3，則yi=(0,0,3)T。其他數(shù)據(jù)集的Y視角根據(jù)其類別數(shù)進行相應(yīng)的設(shè)置。

顯然，不同的Universum 數(shù)據(jù)包含不同程度的域信息。假設(shè)目標(biāo)數(shù)據(jù)集具有n個類別，采用2 種不同的方法來生成Universum 數(shù)據(jù)：1）將前n-1 類作為目標(biāo)樣本，將最后一個類作為Universum數(shù)據(jù)；2）選擇與上述相同的目標(biāo)樣本，并根據(jù)高斯噪聲生成具有與目標(biāo)樣本相同的數(shù)量和維度的的Universum 樣本, 例如Iris 數(shù)據(jù)集的高斯噪聲Universum 數(shù)據(jù)，如圖5 所示。

圖5 通過高斯噪聲生成的Universum 數(shù)據(jù)

對于這些數(shù)據(jù)集，仍然先采用CCA、ICCA、CECCA 和ICECCA 來 提 取 特 征， 接 著 使用SVM 根據(jù)提取的特征進行分類。參數(shù) η=2-20，對于每個目標(biāo)樣本，隨機選擇每個類的一半作為訓(xùn)練，其余部分進行測試，并重復(fù)進行10 次實驗。平均結(jié)果如表3 所示。其中ICCA_A 和ICCA_B分別表示將最后一類作為Universum 數(shù)據(jù)以及使用高斯 噪 聲 作 為Universum 數(shù) 據(jù)，ICECCA_A 和ICECCA_B 同理。

表3 在UCI 數(shù)據(jù)集上識別準(zhǔn)確率

從表3 結(jié)果可以發(fā)現(xiàn)：1）幾乎所有情況下，ICECCA 的 分 類 準(zhǔn) 確 率 都 高 于CCA、ICCA 和CECCA，達到了最佳性能（以粗體顯示）。結(jié)果驗證了Universum 學(xué)習(xí)與樣本判別信息的結(jié)合在降維中的有效性，Universum 學(xué)習(xí)提高了低維空間中不同類別樣本的可分離性；2）ICCA_A 與ICCA_B、ICECCA_A 與ICECCA_B 識別結(jié)果的差異表明，并非所有種類的Universum 數(shù)據(jù)都包含針對即將完成的任務(wù)的有意義的信息，而同種類不同數(shù)量的Universum 樣本也會對分類結(jié)果產(chǎn)生影響。因此，當(dāng)Universum 與目標(biāo)樣本無關(guān)或Universum 樣本數(shù)量過少，也即Universum 數(shù)據(jù)包含的先驗信息過少時，基于Universum 的學(xué)習(xí)效果會很差。

4 結(jié)論

本文通過將ICCA 的先驗知識與CECCA 的優(yōu)化組合特征結(jié)合在一起，提出了一種改進的增強組合特征判別性的典型相關(guān)分析ICECCA，為了驗證所提出方法的有效性，對包括人工、多特征數(shù)據(jù)集以及經(jīng)典的UCI 數(shù)據(jù)集進行了實驗，并采用現(xiàn)有的多視角特征提取算法進行了對比。相關(guān)實驗驗證了本文提出的算法的有效性.

本文為了減少時間開銷使用Universum 學(xué)習(xí)來進行信息增強，但目前已經(jīng)有很多其他方法可以生成額外的無標(biāo)簽樣本，如對抗網(wǎng)絡(luò)等，未來可以采用對抗網(wǎng)絡(luò)等方式更好地增強樣本信息。

目前深度學(xué)習(xí)是一個非常熱門的研究領(lǐng)域，提出了許多與深度學(xué)習(xí)相關(guān)的特征提取算法，如深度典型相關(guān)分析(Deep CCA)[16]，相關(guān)實驗已經(jīng)驗證了Deep CCA 可以很好地解決多視角特征提取問題，受此啟發(fā)，未來將嘗試把Universum 學(xué)習(xí)與Deep CCA 相關(guān)算法相結(jié)合，更好地解決多視角特征提取問題。