核函數(shù)在主成分分析中的應(yīng)用

摘要：主成分分析在對線性數(shù)據(jù)進(jìn)行降維時(shí)非常有效，核函數(shù)能夠?qū)⒕€性不可分的數(shù)據(jù)映射到高維希爾伯特空間中可能可分。將核函數(shù)應(yīng)用到主成分分析中成為核主成分分析。從核函數(shù)的性質(zhì)、核函數(shù)的參數(shù)調(diào)整、核函數(shù)的構(gòu)造等方面對核主成分分析進(jìn)行應(yīng)用與實(shí)現(xiàn)，并結(jié)合核Fisher判別分析，對樣例數(shù)據(jù)進(jìn)行核主成分分析，結(jié)論表明，效果良好，但執(zhí)行速度較慢，需要后續(xù)改進(jìn)。

關(guān)鍵詞：核函數(shù)；主成分分析；特征提??；協(xié)方差矩陣；Gram矩陣

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2014）28-6659-04

智能時(shí)代的到來，模式識別得到了廣泛的重視和應(yīng)用。支持向量機(jī)（SVM）由于有著堅(jiān)實(shí)的統(tǒng)計(jì)學(xué)理論基礎(chǔ)，能夠?qū)崿F(xiàn)結(jié)構(gòu)風(fēng)險(xiǎn)最小化，特別是能夠克服機(jī)器學(xué)習(xí)中經(jīng)常遇到的“維數(shù)災(zāi)難”問題，并且在二類分類中表現(xiàn)出優(yōu)異的性能，從而在分類中占有重要地位。SVM不僅能夠進(jìn)行線性分類，而且在非線性分類中也表現(xiàn)出良好的性能。這歸因于SVM中成功應(yīng)用了核函數(shù)的思想，把在低維空間中不可分的輸入數(shù)據(jù)映射到高維的特征空間（也叫希爾伯特空間）中去，在高維空間中就有可能可分。核函數(shù)思想在SVM中的成功應(yīng)用，打開了核函數(shù)的應(yīng)用領(lǐng)域，從本質(zhì)上來說，只要一個(gè)應(yīng)用中直接或間接地需要用到兩個(gè)向量內(nèi)積的運(yùn)算，核函數(shù)都有可能在該領(lǐng)域有所作為。這樣，核函數(shù)的應(yīng)用，并沒有改變本來應(yīng)用的思路，同時(shí)，核函數(shù)注重的是兩個(gè)向量之間的內(nèi)積結(jié)果，使得在應(yīng)用中并不需要知道真正的變換函數(shù)是什么，從而方便了分類或聚類等應(yīng)用。主成分分析（Principal component analysis，PCA）在模式識別中得到了廣泛的應(yīng)用，是一個(gè)對線性輸入空間進(jìn)行降維的有效方法，但實(shí)際工程應(yīng)用中的數(shù)據(jù)空間往往不是線性的，如果能夠?qū)⒑撕瘮?shù)的思想應(yīng)用到PCA中，就能夠使得PCA對非線性的數(shù)據(jù)空間也能夠進(jìn)行有效降維，能夠有效改進(jìn)模式識別的算法效率，降低對存儲空間的要求。

當(dāng)前對核主成分分析的研究取得了很多成果，在應(yīng)用中也得到了有效應(yīng)用。但是，核主成分分析的具體實(shí)現(xiàn)過程、核函數(shù)的參數(shù)選擇、核函數(shù)的直接構(gòu)造、由函數(shù)產(chǎn)生核以及主成分分析不考慮分類類別的改進(jìn)上，還有很多工作需要做，該文在以上幾方面予以分析，并在應(yīng)用中予以實(shí)驗(yàn)驗(yàn)證。

1 核函數(shù)

核函數(shù)的研究起源于1909年，Mercer提出了核的定理與條件，1940年后，再生核得到研究，1964年Aizermann等人將核的思想運(yùn)用到機(jī)器學(xué)習(xí)領(lǐng)域，1992年Vapnik等人在SVM中成功應(yīng)用了核函數(shù)，從此核函數(shù)得到了深入的研究與應(yīng)用。

核函數(shù)是一個(gè)n維歐氏空間Rn到希爾伯特空間H的變換上的內(nèi)積函數(shù)，即K（x1，x2）= （Φ（x1）Φ（x2） ）。

核函數(shù)具有一個(gè)重要特性：一個(gè)對稱函數(shù)K（x1，x2）是核函數(shù)，那么K（x1，x2）對應(yīng)于x1，x2…xn的Gram矩陣非負(fù)定；反過來，若K（x1，x2）對應(yīng)于x1，x2…xn的Gram矩陣非負(fù)定，則K（x1，x2）是核函數(shù)。

因此尋找核函數(shù)可以利用以上性質(zhì)，只要找到一個(gè)對稱函數(shù)K（x1，x2），做出其對應(yīng)的Gram矩陣，判斷該矩陣的正定性就可以得出K（x1，x2）是否是核函數(shù)。當(dāng)前較為廣泛使用并有效的核函數(shù)有高斯徑向基核函數(shù)[K（x1，x2）=exp（-||x1-x2||2/（2σ）2））]、多項(xiàng)式函數(shù)K（x1，x2）=（（x1x2）+1）d。

但是，在實(shí)際工程應(yīng)用中，有些應(yīng)用場合，數(shù)據(jù)分布具有一定的特殊形式，通過多項(xiàng)式核函數(shù)或高斯徑向基核函數(shù)并不能達(dá)到最佳效果，即使通過大量的實(shí)驗(yàn)，也很難找到最恰當(dāng)?shù)暮撕瘮?shù)參數(shù)。這時(shí)，可以根據(jù)數(shù)據(jù)分布的特點(diǎn)，進(jìn)行核函數(shù)構(gòu)造，這樣構(gòu)造出的核函數(shù)在數(shù)據(jù)處理上有可能達(dá)到很高的效率。

另外，還可以根據(jù)某些不是核函數(shù)的函數(shù)，通過一定的方式，構(gòu)造出核函數(shù)。因?yàn)椋鶕?jù)核函數(shù)的性質(zhì)，一個(gè)函數(shù)若是核函數(shù)，它對應(yīng)的Gram矩陣必是非負(fù)定的。那么，若一個(gè)函數(shù)不滿足這個(gè)特性，則可以通過一個(gè)過渡函數(shù)，運(yùn)用以下公式將它改造為核函數(shù)：

[K（x1，x2）=i=1Ntrans（xi，x1）trans（xi，x2）]

其中，N為輸入空間中樣本的個(gè)數(shù)，x1、x2是輸入空間的向量，trans（）是一個(gè)過渡函數(shù)。實(shí)際上，Sigmoid核函數(shù)f（x）=1/（1+e-x）在手寫數(shù)字識別領(lǐng)域得到了應(yīng)用并取得較好效果，但是Sigmoid函數(shù)對應(yīng)的Gram矩陣不具有非負(fù)定特性，因此，嚴(yán)格意義上來說Sigmoid函數(shù)不是一個(gè)真正的核函數(shù)，而是一個(gè)經(jīng)過某個(gè)過渡函數(shù)改造成的核函數(shù)。[1]

2 主成分分析

2.1 主成分分析（PCA）

在對輸入數(shù)據(jù)進(jìn)行模式識別時(shí)，經(jīng)常會發(fā)現(xiàn)樣本數(shù)和輸入的向量的維數(shù)很大的情況，這對處理時(shí)間和所占用的空間有很高的要求，處理得不好，會導(dǎo)致主存溢出的情況。因此，對于很大的維數(shù)，往往需要通過某種手段，將維數(shù)降低。實(shí)際上，這種情況是可行的。因?yàn)?，在采集的?shù)據(jù)樣本中，很多屬性之間有著關(guān)聯(lián)。例如對學(xué)生考試進(jìn)行分析，若有七門功課：語文、數(shù)學(xué)、英語、政治、生物、物理、化學(xué)，這些科目的成績中很多科目成績之間是相關(guān)的；再如，在定制襯衣時(shí)，需要身高、胸圍、坐高、臂長、腰圍、肋圍等六項(xiàng)數(shù)據(jù)，但這些數(shù)據(jù)往往是相關(guān)的，實(shí)際中只要身高、胸圍、腰圍幾項(xiàng)即可。

主成分分析（PCA）是數(shù)據(jù)降維的有效手段，特別是對于線性數(shù)據(jù)。PCA通過變換使得結(jié)果具有最大的均方差，在二維空間中，能夠?qū)⒚總€(gè)樣本投影到一個(gè)一維空間中。對于n維空間，可以將輸入數(shù)據(jù)樣本的協(xié)方差矩陣求出。協(xié)方差矩陣cov為：

[cov（A）pXp=1N-1i=1p（xi-x）（xj-x）] A為nXp數(shù)據(jù)輸入矩陣

協(xié)方差矩陣是個(gè)對稱矩陣，對角線上diag（cov（A））的元素即為對應(yīng)向量的標(biāo)準(zhǔn)差。協(xié)方差矩陣保持了原始輸入空間的信息，特別是，若原始輸入空間數(shù)據(jù)滿足高斯分布，則該輸入數(shù)據(jù)的所有信息都在協(xié)方差矩陣中反映出來。

將協(xié)方差矩陣cov（A）求出特征值和特征向量，并將這些向量按照特征值的大小按降序排列。根據(jù)應(yīng)用的需要，對特征值進(jìn)行分析。將特征值的累計(jì)貢獻(xiàn)率計(jì)算出來，并根據(jù)應(yīng)用的要求，若一般應(yīng)用環(huán)境，累計(jì)貢獻(xiàn)率取85%即可；對于一些精度要求高的應(yīng)用，累計(jì)貢獻(xiàn)率取95%甚至以上。這樣，將大于累計(jì)貢獻(xiàn)率的特征值取出，將對應(yīng)的特征向量排列成矩陣，將輸入空間的數(shù)據(jù)通過該特征向量矩陣進(jìn)行轉(zhuǎn)換，就得到降維后的輸入數(shù)據(jù)。

例如，當(dāng)一個(gè)輸入空間有30個(gè)數(shù)據(jù)，每個(gè)數(shù)據(jù)7個(gè)特征，經(jīng)過計(jì)算得到7X7的協(xié)方差矩陣，對此協(xié)方差矩陣求特征值、特征向量，假設(shè)根據(jù)累計(jì)貢獻(xiàn)率的要求，只需要4個(gè)主特征，得到一個(gè)7X4的特征向量矩陣。用輸入樣本數(shù)據(jù)或測試樣本乘以這個(gè)矩陣，就得到降維后的數(shù)據(jù)。當(dāng)然，數(shù)據(jù)原始信息會有一定的損失，但很小，一般不影響分類結(jié)果。

經(jīng)過PCA降維后的數(shù)據(jù)，可以通過降維過程的逆操作，恢復(fù)成原來的數(shù)據(jù)。累計(jì)貢獻(xiàn)率閾值越大，恢復(fù)數(shù)據(jù)的精度也就越高。注意降維過程減去了均值，恢復(fù)數(shù)據(jù)要加上這個(gè)均值。

2.2 Fisher判別分析（FDA）

PCA主要應(yīng)用在線性數(shù)據(jù)降維上，在降維的過程中，可以發(fā)現(xiàn)主要通過協(xié)方差矩陣，對原始輸入數(shù)據(jù)進(jìn)行處理，并沒有用到類別的信息，因此PCA是一種無監(jiān)督的線性降維方式，這種降維方式對于有些分類，對導(dǎo)致較大偏差。

Fisher判別分析（FDA）在對主要成分進(jìn)行分析時(shí)，不僅要進(jìn)行原始數(shù)據(jù)的處理，同時(shí)要關(guān)注類別信息，因此，被稱為有監(jiān)督的主成分分析。FDA采用類間散布矩陣和類內(nèi)散布矩陣，然后計(jì)算特征值和對應(yīng)的特征向量。

Fisher判別分析（FDA）采用類內(nèi)聚集程度與類間離散程度的比值也決定，該比值越大，說明對分類的貢獻(xiàn)越大，該成分就有可能成為是主成分。

2.3 核主成分分析與核Fisher判別分析

主成分分析（PCA）對線性輸入空間數(shù)據(jù)有良好的降維效果，采用核函數(shù)的思想，將核函數(shù)應(yīng)用到PCA中，形成核主成分分析，這樣，將在低維空間非線性很難降維的數(shù)據(jù)通過核函數(shù)映射到高維特征空間（希爾伯特空間）中，通過選擇適當(dāng)?shù)暮撕瘮?shù)與參數(shù)，就有可能在高維空間中進(jìn)行有效降維。FDA也可以采用核函數(shù)思想改進(jìn)為核Fisher判別分析。

在分類中，有了降維后的數(shù)據(jù)，時(shí)間和空間效率能夠提升，但在核主成分分析時(shí)沒有對類別信息加以利用，因此在實(shí)際的分類中，可以采用核主成分分析結(jié)合核Fisher判別分析進(jìn)行，這樣對有些難以分類的數(shù)據(jù)集能夠有效進(jìn)行分類。

3 核主成分分析及其應(yīng)用

3.1 核主成分分析的過程

傳統(tǒng)PCA中，首先需要計(jì)算協(xié)方差矩陣：

[cov（A）pXp=1N-1i=1p（xi-x）（xj-x）]

采用核函數(shù)的特征空間的協(xié)方差矩陣為：

[cov（A）pXp=1N-1i=1p（?（xi）-?（x））（?（xj）-?（x））]，其中[K（xi，xj）=?（xi）?（xj）]

若輸入空間數(shù)據(jù)滿足“中心化”，即[?（x）]=0，則上式可簡化為：

[cov（A）pXp=1N-1i=1p（?（xi）（?（xj）]

根據(jù)PCA的特點(diǎn)及再生核理論，最優(yōu)投影軸應(yīng)該是特征空間中的樣本的線性組合，寫成拉格朗日函數(shù)形式并對線性相關(guān)系數(shù)求導(dǎo)，得：

[Kα=λα]，其中[α]為特征空間的樣本之間線性組合的系數(shù)。到了這一步，就可以對K矩陣求特征值和特征向量即可。

以上核主成分分析是假設(shè)數(shù)據(jù)的中心化即均值為零的情況。若不滿足此條件，可以通過對特征空間的所有數(shù)據(jù)在希爾伯特空間平移一個(gè)均值的距離，這樣的平移不改變特征數(shù)據(jù)的形狀。

在進(jìn)行核主成分分析時(shí)，也可以通過以下公式進(jìn)行核矩陣K的中心化（標(biāo)準(zhǔn)化）：

[K_new=K-U*K-K*U+U*K*U，其中U=（1）N*N/N（N是樣本的個(gè)數(shù)）]

3.2 核主成分分析的應(yīng)用與實(shí)現(xiàn)要點(diǎn)

Matlab在模式識別上具有直觀、有強(qiáng)大的計(jì)算能力以及繪圖能力，下面以Matlab 7.1作為平臺，對核主成分分析進(jìn)行實(shí)現(xiàn)。

3.2.1 傳統(tǒng)PCA在Matlab上的實(shí)現(xiàn)

傳統(tǒng)PCA在Matlab中有兩個(gè)函數(shù)可以完成數(shù)據(jù)降維。

若輸入數(shù)據(jù)的協(xié)方差矩陣已知，則可以通過pcacov（）函數(shù)進(jìn)行PCA降維。設(shè)協(xié)方差矩陣為V，則通過[c，l，e]=pcacov（V）就能得到V的所有特征值的降序排列l(wèi)，每個(gè)主成分的貢獻(xiàn)率e以及主成分系數(shù)c?？梢酝ㄟ^函數(shù)barttest（）進(jìn)行Bartlett維數(shù)校驗(yàn)，通過pcares（）函數(shù)進(jìn)行主成分的殘差分析。

最常用的做PCA分析的函數(shù)是pcacomp（），只需要輸入數(shù)據(jù)矩陣X，就可以通過：

[c，s，l ，t2]=princomp進(jìn)行PCA降維分析。C代表主成分的系數(shù)矩陣，s代表主成分矩陣，l代表降序排列的樣本協(xié)方差矩陣的特征值，t2代表某個(gè)樣品對應(yīng)的霍特林（Hotelling） T2的統(tǒng)計(jì)量，這個(gè)統(tǒng)計(jì)量可以用來進(jìn)行設(shè)備運(yùn)行的故障檢測，用來表示某個(gè)觀測值與觀測數(shù)據(jù)中心的距離，可以用作異常點(diǎn)分析。

在對輸入數(shù)據(jù)矩陣計(jì)算協(xié)方差矩陣時(shí)，需要進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化?？梢杂萌N方法進(jìn)行標(biāo)準(zhǔn)化（設(shè)輸入數(shù)據(jù)矩陣為X，是一個(gè)nXp矩陣）：

1） s=std（X）

stds=X./s（ones（n，1），：）

[c，s，l ，t2]=princomp（stds）

2） s=std（X）

stds=X./repmat（s，n，1）

[c，s，l ，t2]=princomp（stds）

3） s=zscore（X）

[c，s，l ，t2]=princomp（stds）

此外，在協(xié)方差的計(jì)算上，計(jì)算的順序?qū)蟠笥绊懽罱K的結(jié)果。如100個(gè)樣本30維特征，應(yīng)該計(jì)算出的協(xié)方差矩陣是30X30，若沒有注意到這一點(diǎn)，最終可能算出的協(xié)方差矩陣是100X100。

3.2.2 核主成分分析在Matlab上的實(shí)現(xiàn)

Matlab在模式識別工具箱stprtool里提供了進(jìn)行核主成分分析的kpca（）函數(shù)。stprtool工具箱不是Matlab 7.1的標(biāo)準(zhǔn)工具箱，需要下載后并設(shè)置到Matlab路徑下。

%X是數(shù)據(jù)輸入矩陣，數(shù)據(jù)分布可以不是線性，可以是圓狀、橢圓狀等

opt.ker=rbf%opt是結(jié)構(gòu)變量，ker分量指出核函數(shù)類型，arg是參數(shù)

opt.arg=5

opt.new_dim=2 %new_dim是輸出維數(shù)

Y=kpca（X，opt）

采用kpca函數(shù)很簡單，但并不靈活。下面采用類Matlab來進(jìn)行核主成分分析的算法實(shí)現(xiàn)。由于很多場合下的數(shù)據(jù)分布接近高斯分布，并且高斯分布的協(xié)方差矩陣對原始信息無丟失，下面核函數(shù)采用高斯徑向基函數(shù)，高斯徑向基函數(shù)需要輸入一個(gè)參數(shù)。步驟如下：

1） 準(zhǔn)備好訓(xùn)練數(shù)據(jù)T，測試數(shù)據(jù)TT，并設(shè)置高斯徑向基函數(shù)的參數(shù)rbf，累計(jì)貢獻(xiàn)率大小為thres；

2） 訓(xùn)練數(shù)據(jù)T、測試數(shù)據(jù)TT標(biāo)準(zhǔn)化；

3） 運(yùn)用高斯核函數(shù)計(jì)算核矩陣，由于核矩陣是對稱的，只需要計(jì)算出上三角矩陣即可，另一半元素用賦值完成，可以提高運(yùn)算效率；

K（i，j）=exp（-norm（T（i，：）-T（j，：））^2/rbf）；

4） 運(yùn)用K_new=K-U*K-K*U+U*K*U中心化高斯核矩陣；

5） 對K_new進(jìn)行特征值及特征向量的計(jì)算：[ev，evalues]=eig（K_new）；

6） 計(jì)算累計(jì)貢獻(xiàn)率；

7） 找出累計(jì)貢獻(xiàn)率大于或等于thres的特征值，將對應(yīng)的特征向量組成矩陣；

8） 對測試數(shù)據(jù)TT進(jìn)行測試。

上述算法可以看出，采用了核函數(shù)，PCA成為核主成分分析，但具體的實(shí)現(xiàn)過程與傳統(tǒng)的PCA很類似，但帶來的效果是可以進(jìn)行非線性降維。并且采用了核函數(shù)，從線性空間向高維空間的轉(zhuǎn)換并不需要具體關(guān)心轉(zhuǎn)換函數(shù)的形式。

3.3 核主成分分析的效果

下面用上述的核主成分分析算法對Matlab 7.1自帶的cities.mat數(shù)據(jù)進(jìn)行分析。cities.mat共收集了美國329個(gè)城市在歷史上一段時(shí)期內(nèi)城市生活質(zhì)量的數(shù)據(jù)統(tǒng)計(jì)，共有9個(gè)指標(biāo)：藝術(shù)、住房、健康、氣候、娛樂、犯罪率、經(jīng)濟(jì)、交通和教育。

不同指標(biāo)的數(shù)據(jù)值相差很大，需要進(jìn)行標(biāo)準(zhǔn)化處理。

圖1 核主成分分析后的第1主成分和第3主成分

圖2 cities的主成分pareto圖

從運(yùn)行的結(jié)果看，核主成分分析能夠?qū)ities.mat的數(shù)據(jù)進(jìn)行降維，效果與傳統(tǒng)PCA精度相當(dāng)，運(yùn)用tic、toc指令進(jìn)行計(jì)時(shí)，傳統(tǒng)PCA執(zhí)行時(shí)間約 2.6秒，核主成分分析需時(shí)4.6秒，這是因?yàn)楹酥鞒煞址治鲂枰?jì)算核矩陣，高斯核需要計(jì)算二范數(shù)以及exp運(yùn)算。但核主成分分析由于采用了核，計(jì)算量上有所增加，但對線性、非線性輸入空間都能進(jìn)行有效降維。

4 結(jié)束語

核主成分分析在傳統(tǒng)的主成分分析的基礎(chǔ)上，有機(jī)地結(jié)合了核函數(shù)的思想，從而使得核主成分分析能夠有效處理非線性的輸入空間數(shù)據(jù)的降維。核主成分分析如果結(jié)合核聚類、核Fisher判別分析，充分利用輸入數(shù)據(jù)的特點(diǎn)和分類類別，進(jìn)行數(shù)據(jù)維度的降低，不僅能夠加速分類的效率，而且能夠提高精度。由于核函數(shù)的引入，因此，對于核函數(shù)的參數(shù)選擇，核函數(shù)根據(jù)數(shù)據(jù)輸入特點(diǎn)的直接構(gòu)造，或從任一函數(shù)生成一個(gè)核函數(shù)就顯得至關(guān)重要。未來的進(jìn)一步應(yīng)用將會在核函數(shù)的生成與核主成分分析、核Fisher判別分析的結(jié)合上，作為模式識別的預(yù)處理，將做深入的探討。

參考文獻(xiàn)：

[1] 徐勇，張大鵬，楊健.模式識別中的核方法及其應(yīng)用[M].北京：國防工業(yè)出版社，2010：27-39，138-142.

[2] 鄧乃揚(yáng)，田英杰.支持向量機(jī)-理論、算法與拓展[M].北京：科學(xué)出版社，2009：92-96，105-114.

[3] 萬家強(qiáng)，王越，劉羽.改進(jìn)KPCA對分類數(shù)據(jù)的特征提取[J].計(jì)算機(jī)工程與設(shè)計(jì)，2010，31（18）：4085-4092.

[4] 汪司飛，黃斐.基于K-均值聚類的KPCA在故障診斷中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件，2013，3（4）：120-130.

[5] 鄧貌，陳旭，陳天翔，等.采用核聚類分析的KPCA改進(jìn)算法[J].智能系統(tǒng)學(xué)報(bào)，2010，5（3）：221-226.

[6] 杜卓明，屠宏，耿國華.KPCA方法過程研究與應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2010，46（7） ：8-10.

[7] 周品.MATLAB概率與數(shù)理統(tǒng)計(jì)[M].北京：清華大學(xué)出版社，2012：373-382.