主成分分析方法綜述

摘 要：主成分分析是一種非常有效的數(shù)據(jù)分析處理的技術(shù)，具有非常廣泛的應(yīng)用前景。本文首先概述了主成分分析方法，然后介紹了PCA的定義、模型、算法及選取主成分個(gè)數(shù)的標(biāo)準(zhǔn)，對(duì)PCA技術(shù)的優(yōu)勢(shì)和缺陷分別進(jìn)行了剖析和總結(jié)，對(duì)PCA在評(píng)價(jià)排序、特征提取、模式識(shí)別、圖像處理、圖像分類和圖像壓縮等領(lǐng)域的實(shí)際應(yīng)用進(jìn)行了討論，對(duì)主成分分析方法的發(fā)展趨勢(shì)和應(yīng)用前景做了展望。

關(guān)鍵詞：主成分分析；PCA模型；特征提取；圖像處理

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2096-1472（2016）-06-01-03

Abstract：PCA（Principal Component Analysis）is an effective data analysis technique with a bright future of extensive application.The paper summarizes PCA in the first place，and then introduces its definition，data model，algorithm and the standards to determine the number of selected principal components.Moreover，the paper analyzes and summarizes the advantages and disadvantages of the PCA technique，and discusses its practical application in different fields，like evaluation and sorting，feature extraction，patter recognition，image processing，image classification and image compression.Finally，the paper makes expectation about the development trend and application prospect.

Keywords：PCA；PCA model；feature extraction；image processing

1 引言（Introduction）

PCA（Principal Component Analysis），主成分分析，是一種數(shù)據(jù)分析的技術(shù)，主要思想是將高維數(shù)據(jù)投影到較低維空間，提取多元事物的主要因素，揭示其本質(zhì)特征。主成分分析的應(yīng)用范圍非常廣泛，經(jīng)常和分類、聚類，以及與其他方法連用進(jìn)行數(shù)據(jù)處理。它可以高效地找出數(shù)據(jù)中的主要部分，將原有的復(fù)雜數(shù)據(jù)降維，去除整個(gè)數(shù)據(jù)中的噪音和冗余。

PCA是一種統(tǒng)計(jì)分析方法，它將原來眾多具有一定相關(guān)性的多個(gè)指標(biāo)，重新組合成一組新的互相無關(guān)的綜合指標(biāo)[1]。它是一種最小均方意義上的最優(yōu)變換，目的是去除輸入隨機(jī)向量之間的相關(guān)性，突出原始數(shù)據(jù)中的隱含特性[2]。PCA方法的優(yōu)勢(shì)在于數(shù)據(jù)壓縮以及對(duì)多維數(shù)據(jù)進(jìn)行降維，它操作簡單，且沒有參數(shù)限制，可以方便的應(yīng)用于各個(gè)場(chǎng)合。它經(jīng)常被用于人臉識(shí)別和圖像壓縮、特征提取等領(lǐng)域，是在高維數(shù)據(jù)中尋找模式的一種技術(shù)[3]。

2 主成分分析方法（Principal component analysis ）

2.1 主成分分析方法的目標(biāo)

由于原始數(shù)據(jù)的變量基數(shù)比較復(fù)雜，難以描述其特征，主成分分析提出了一種簡單解決問題的思想，從事物的主要方面進(jìn)行重點(diǎn)分析。該方法認(rèn)為某個(gè)事物的特征集中在幾個(gè)主要變量上，只需要將這幾個(gè)變量分離出來，對(duì)這幾個(gè)變量進(jìn)行重點(diǎn)分析，用它們的線性組合表示事物的主要特征。因此，主成分分析方法的目標(biāo)就是尋找x（x

2.2 PCA模型

PCA是一種正交變換，利用二階的統(tǒng)計(jì)信息進(jìn)行計(jì)算。它強(qiáng)調(diào)數(shù)據(jù)之間的相似和不同，是一種在高維數(shù)據(jù)中尋找模式的技術(shù)[2]。對(duì)于原始數(shù)據(jù)，我們可以通過一些變換來提取數(shù)據(jù)間的內(nèi)在特征，其中一種方法就是通過線性變換去實(shí)現(xiàn)[4]。這個(gè)過程可以表示為：

這里是一個(gè)變換值，可以把它當(dāng)作基本的變換矩陣，通過此變換來提取原始數(shù)據(jù)的特征。令為表示環(huán)境的維隨機(jī)向量。假設(shè)均值為零，即：

令表示為維單位向量，在其上投影。這個(gè)投影被定義為向量和的內(nèi)積，表示為：

在上式中，需滿足以下約束條件：

主成分分析方法就是尋找一個(gè)權(quán)值向量，它能夠使表達(dá)式 取最大值[4]。

2.3 特征值求解

PCA特征根求解的步驟如下：

（1）將原始數(shù)據(jù)表示為m*n的矩陣。n為原始數(shù)據(jù)的個(gè)數(shù)，m為變量個(gè)數(shù)。

（2）計(jì)算原始數(shù)據(jù)的均值。

（3）用原始數(shù)據(jù)減去均值，得到矩陣X。

（4）對(duì)XXT進(jìn)行特征根分解，求特征向量及其對(duì)應(yīng)的特征值。

（5）選取最大的若干個(gè)特征值對(duì)應(yīng)的特征向量，即為求得的主成分。

PCA方法用線形代數(shù)可以描述為：尋找一組正交基組成的矩陣P，定義Y=PX，使得CY=MYYT是對(duì)角陣。P的行向量，就是數(shù)據(jù)X的主成分，也就是XXT的特征向量，矩陣CY對(duì)角線上第i個(gè)元素是數(shù)據(jù)X在方向Pi的方差[4]。

2.4 主成分?jǐn)?shù)量的選取

主成分是n個(gè)原始變量的線性組合，各主成分之間互不相關(guān)。每個(gè)主成分對(duì)應(yīng)一個(gè)方差，該方差為協(xié)方差陣對(duì)應(yīng)的特征值，各主成分特征值之和為1。將主成分按照其對(duì)應(yīng)的方差值從大到小依次排列，則最大的方差對(duì)應(yīng)第一主成分，以此類推。

選擇主成分的數(shù)量取決于保留部分的累積方差在總方差中所占的百分比。由于所有主成分的總方差值是確定的，前面變量的方差較大，則后面的變量方差就較小。只有前幾個(gè)綜合變量才稱得上是主成分，后幾個(gè)綜合變量為次成分。一般情況下，可根據(jù)問題的實(shí)際需要，主觀地確定一個(gè)百分比值，當(dāng)前x項(xiàng)的方差之和大于此百分比值時(shí)，就可以決定保留前x個(gè)主成分，而忽略后面的次成分[5]。

3 主成分分析的特點(diǎn)（Characteristic of PCA）

綜上所述，主成分分析方法有很多優(yōu)點(diǎn)，可將其歸納如下：

（1）在數(shù)據(jù)處理時(shí)，舍棄了一部分主成分，只取前幾個(gè)方差較大的幾個(gè)主成分來表示原始數(shù)據(jù)，可減少計(jì)算量。

（2）主成分之間是互不相關(guān)的，消除了原始數(shù)據(jù)之間的相關(guān)影響。在選取評(píng)價(jià)指標(biāo)時(shí)，消除了指標(biāo)之間的相關(guān)影響，因此更容易選擇指標(biāo)。而且實(shí)踐證明指標(biāo)之間相關(guān)程度越高，主成分分析效果越好。

（3）在綜合評(píng)價(jià)函數(shù)中，主成分的權(quán)數(shù)為各個(gè)主成分的貢獻(xiàn)率，反映了該主成分包含原始數(shù)據(jù)的信息量占全部信息量的比重，這樣確定地權(quán)數(shù)比較客觀、合理，克服了某些評(píng)價(jià)方法中人為確定權(quán)數(shù)的缺陷。

（4）主成分分析的計(jì)算方法比較規(guī)范，便于在計(jì)算機(jī)上實(shí)現(xiàn)。

主成分分析方法的不足主要體現(xiàn)在兩個(gè)方面：

（1）所得到的主成分實(shí)際含義模糊，沒有原始數(shù)據(jù)的含義確切、清楚。

（2）主成分分析方法只考慮了數(shù)據(jù)的二階統(tǒng)計(jì)量（自相關(guān)），這對(duì)于高斯分布是足夠的，但對(duì)于非高斯分布，由于高級(jí)統(tǒng)計(jì)量中含有附加的信息，因此PCA對(duì)其表示不夠充分。

PCA方法算法比較簡單，且具有一定的局限性。因此，越來越多的研究都集中在PCA和其它方法如LDA、K-means方法、核函數(shù)、SVM、粗糙集、專家模型、GMM等方法相結(jié)合的應(yīng)用，并取得了很好的效果。

4 主成分分析的應(yīng)用（Application of PCA）

主成分分析主要應(yīng)用是評(píng)價(jià)排序、特征提取、圖像處理、圖像分類、模式識(shí)別、圖像壓縮等方面。下面將綜述PCA的主要應(yīng)用范例。

（1）評(píng)價(jià)排序

現(xiàn)實(shí)生活中人們經(jīng)常要對(duì)事物進(jìn)行評(píng)價(jià)和排序，但事物本身往往是由多元數(shù)據(jù)構(gòu)成，且數(shù)據(jù)之間具有某些內(nèi)在的聯(lián)系。使用PCA進(jìn)行數(shù)據(jù)處理，可以去除數(shù)據(jù)之間的相關(guān)性，又減少了工作量。在文獻(xiàn)[6]中，作者介紹了一種基于PCA的教學(xué)質(zhì)量評(píng)價(jià)方法，該方法消除了文中所確定的16個(gè)教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)之間的相關(guān)性，將原來的16個(gè)指標(biāo)簡化為5個(gè)主成分，對(duì)這5個(gè)主成分的載荷進(jìn)行分析，進(jìn)而評(píng)價(jià)課堂教學(xué)質(zhì)量。實(shí)驗(yàn)結(jié)果證明，主成分分析所得的結(jié)果與實(shí)際資料反映的情況相符，詳細(xì)內(nèi)容見參考文獻(xiàn)[6]。

現(xiàn)在，越來越多的基于PCA的評(píng)價(jià)方法正不斷地應(yīng)用于各個(gè)領(lǐng)域，比如文化符號(hào)歸因分析、軟件質(zhì)量評(píng)價(jià)、性能評(píng)估、可持續(xù)發(fā)展評(píng)價(jià)、城市交通擁擠評(píng)價(jià)、風(fēng)險(xiǎn)評(píng)價(jià)等。這些方法中，PCA都被用于降低維數(shù)并去除數(shù)據(jù)之間的相關(guān)性。評(píng)價(jià)指標(biāo)的選取、層次權(quán)重如何分配是此類問題的研究重點(diǎn)。隨著大數(shù)據(jù)時(shí)代到來，PCA在該領(lǐng)域?qū)?huì)有更加廣泛的應(yīng)用。

（2）特征提取

在特征提取領(lǐng)域應(yīng)用最為廣泛、提取特征效果較好的就是PCA方法。該方法提取了事物的主要特征元素，同時(shí)達(dá)到了降維的目的，簡化了復(fù)雜模型。在文獻(xiàn)[7]中，作者提出了一種基于多重組合特征提取算法（PCA-CFEA）的文本分類方法，首先用正交變換將文本空間降維，再通過多重組合特征提取算法在降維后的特征空間快速提取代表性強(qiáng)的特征項(xiàng)，過濾掉那些代表性弱的特征項(xiàng)，隨后使用SVM分類器對(duì)文本進(jìn)行分類，詳細(xì)內(nèi)容見參考文獻(xiàn)[7]。

使用PCA進(jìn)行特征提取已經(jīng)成為該領(lǐng)域的熱點(diǎn)問題之一。目前，很多基于PCA的特征提方法僅提取了事物的某些特征，根據(jù)提取的特征對(duì)事物進(jìn)行檢索和分類，則是該領(lǐng)域的應(yīng)用要深入研究的內(nèi)容。

（3）模式識(shí)別

模式識(shí)別是PCA的一個(gè)重要應(yīng)用。由于高維數(shù)據(jù)對(duì)模式識(shí)別是不利的，解決這一問題的方法就是降維。以人臉識(shí)別為例，數(shù)據(jù)源是M幅不同的人臉圖像，可使用PCA方法提取出人臉的內(nèi)部結(jié)構(gòu)特征，即所謂“模式”[8]。當(dāng)有新的圖像需要識(shí)別，只需要在主成分空間對(duì)該圖像進(jìn)行分析，就可得到新圖像與原人臉圖像集的相似度差異，從而實(shí)現(xiàn)人臉識(shí)別。在文獻(xiàn)[8]中，作者提出一種方法，將PCA和LDA方法相結(jié)合進(jìn)行性別鑒別。

隨著“互聯(lián)網(wǎng)+”的到來和可穿戴電子設(shè)備的普及，越來越多的人習(xí)慣于快捷交易、快捷支付，而這都有賴于身份認(rèn)證，比如人臉識(shí)別、指紋識(shí)別。在此應(yīng)用領(lǐng)域，PCA因?yàn)槠浣稻S的特點(diǎn)，將會(huì)有更加廣泛的應(yīng)用。但由于同一人臉會(huì)因?yàn)楣庹?、表情和姿態(tài)不同而有較大的差異，因此，如何克服光照的影響以及由于表情和姿態(tài)不同造成的差異，是該類方法需要深入研究的問題。

（4）圖像處理

PCA在圖像邊緣檢測(cè)、圖像融合等方面被廣泛應(yīng)用。在文獻(xiàn)[9]中，作者提出一種基于多專家的PCA邊緣檢測(cè)模型，該方法將一個(gè)邊緣檢測(cè)法視為一個(gè)專家，首先采用Sobel算子、Canny算子等五種算子建立統(tǒng)計(jì)模型，然后利用PCA方法對(duì)五個(gè)專家的檢測(cè)結(jié)果進(jìn)行分析，最后利用提出的多個(gè)專家的檢測(cè)模型融合多個(gè)專家的檢測(cè)信息，得到綜合的檢測(cè)結(jié)果，實(shí)驗(yàn)結(jié)果證明，該方法可以獲得很好的邊緣檢測(cè)結(jié)果，詳細(xì)內(nèi)容見參考文獻(xiàn)[9]。在文獻(xiàn)[10]中，作者提出一種基于PCA和總方差模型的圖像融合框架，首先用PCA對(duì)源圖像處理，根據(jù)提取的前幾個(gè)主成分重建圖像，再經(jīng)下采樣過程得到近似圖像，然后通過上采樣得到細(xì)節(jié)圖像，最后將近似圖像和各個(gè)細(xì)節(jié)圖像累加，完成圖像重構(gòu)，將該框架納入總方差模型后形成一種新的框架。實(shí)驗(yàn)結(jié)果證明，該方法不僅可以獲得較好的融合效果，還可去噪，而且能夠保持全色圖像和多光譜圖像的光譜信息和空間信息，詳細(xì)內(nèi)容見參考文獻(xiàn)[10]。

PCA是圖像處理領(lǐng)域中很有研究價(jià)值的成果之一。由于PCA具有降維的特性，而圖像本身又是多維數(shù)據(jù)，因此PCA在圖像處理領(lǐng)域有著非常廣泛的應(yīng)用。鑒于PCA本身的局限性，在這些應(yīng)用中，需要將PCA和其他的方法相互結(jié)合。

（5）圖像分類

圖像的顏色使圖像的主要特征之一。我們?cè)捎肞CA和LDA進(jìn)行了對(duì)衛(wèi)星遙感圖像進(jìn)行分類，首先獲得圖像的PCA顏色特征子空間，計(jì)算圖像的LDA顏色特征子空間，將PCA算法和LDA算法的特征空間相融合，將原始衛(wèi)星圖像投影到PCA-LDA算法的融合顏色特征空間中，進(jìn)行圖像分類。該方法去除了圖像的R、G、B間的相關(guān)性，去掉了原始圖像中大量冗余信息，改善了光照敏感性，在該方法中了采用基于區(qū)域分類的空間一致性原則來合并空間信息。實(shí)驗(yàn)表明，該方法能高效的描述衛(wèi)星圖像的顏色特征，分類準(zhǔn)確度高，詳細(xì)內(nèi)容見參考文獻(xiàn)[11]。在文獻(xiàn)[12]中，作者提出一種基于PCA和GMM的圖像分類算法。

圖像分類會(huì)使用分類器，通常使用的分類器有Euclid Distance法、Maximum Likelihood法和K均值聚類算法（K-means），前兩個(gè)屬于監(jiān)督分類法，后者屬于非監(jiān)督分類法，是一種動(dòng)態(tài)聚類方法算法。如何選取合適的分類器，并在分類算法中結(jié)合圖像的其他信息比如的紋理信息來提高分類效果，對(duì)圖像分類方法深入研究近一步提出基于圖像特征的圖像檢索方法，是基于PCA的圖像分類算法需要深入探討的問題。

（6）圖像壓縮

PCA的另一個(gè)廣泛應(yīng)用是圖像壓縮。假設(shè)有20幅圖像，使用PCA方法處理該圖像集，將得到20個(gè)特征向量，提取其中15個(gè)主成分。使用這15個(gè)特征向量進(jìn)行圖像復(fù)原變換，就得到一個(gè)只有15維的數(shù)據(jù)。數(shù)據(jù)維數(shù)從原來的20降到了15，圖像壓縮了四分之一。該方法是一種有損壓縮，但保持了原始圖像中最“重要”的信息，是一種非常重要且有效的方法[5]。

6 結(jié)論（Conclusion）

主成分分析的應(yīng)用范圍非常廣泛，經(jīng)常和分類、聚類算法及與其他方法連用進(jìn)行數(shù)據(jù)處理。其最大優(yōu)勢(shì)就是對(duì)原有數(shù)據(jù)進(jìn)行簡化，去除了噪音和冗余，對(duì)數(shù)據(jù)進(jìn)行降維處理，揭示隱藏在復(fù)雜數(shù)據(jù)背后的簡單結(jié)構(gòu)。當(dāng)然PCA方法也存在一定的不足，為了得到更好的效果，需要對(duì)PCA進(jìn)一步深入研究，結(jié)合其他算法對(duì)PCA進(jìn)行改進(jìn)。相信隨著PCA為越來越多的人所認(rèn)知，該方法會(huì)得到更加廣泛的應(yīng)用。

參考文獻(xiàn)（References）

[1] M.P.Dubuisson-Jolly & A.Gupta.Color and Texture Fusion： Application to Image Segmentation and GIS Updating[J].Image and Vision Computing，2012（18）：823-831.

[2] Kwitt.R.Meerwald & Uhl.A.Lightweight detection of additive watermarking in the DWT domain[J].IEEE Transactions on Image Processing，2013（2）：474-484.

[3] Luo.M & Bors.A.G.Principal Component Analysis of spectral coefficients for mesh watermarking[J].Signal Processing，2011 （9）：625-634.

[4] 魯晨.主元分析（PCA）理論分析及應(yīng)用[J].圖像處理學(xué)報(bào)，2007 （8）：38-41.

[5] 高琪.主成分分析方法在圖像處理中的應(yīng)用[J].計(jì)算機(jī)學(xué)報(bào)， 2011（3）：98-100.

[6] 李宏明.基于多元統(tǒng)計(jì)分析的地方高校課堂教學(xué)質(zhì)量評(píng)價(jià)[J]. 臺(tái)州學(xué)院學(xué)報(bào)，2010，32（3）：77-80.

[7] 李建林.一種基于PCA的組合特性提取文本分類方法[J].計(jì)算 機(jī)應(yīng)用研究，2011（8）：2399-2401.

[8] 何國輝，甘俊英.PCA-LDA算法在性別鑒別中的作用[J].計(jì)算 機(jī)工程，2006，32（19）：208-210.

[9] 李建軍，韋志輝，張正軍.多專家的PCA邊緣檢測(cè)模型[J].哈爾 濱工業(yè)大學(xué)學(xué)報(bào)，2012，44（12）：92-95.

[10] 潘瑜，等.基于PCA和總方差模型的圖像融合框架[J].計(jì)算機(jī) 輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2011，23（7）：1200-1210.

[11] 趙薔，等.一種基于PCA-LDA的衛(wèi)星遙感圖像的分類方法 [J].計(jì)算機(jī)應(yīng)用與軟件，2013，30（2）：198-204.

[12] 肖政宏，等.基于PCA和GMM的圖像分類算法[J].計(jì)算機(jī)工 程與設(shè)計(jì)，2009（5）：93-107.