數(shù)據(jù)降維的常用方法分析

趙玉娟

摘 ? 要：數(shù)據(jù)降維一直是科學(xué)研究和工程應(yīng)用的一個重要課題，降維方法主要有特征選擇和特征變換兩類，而特征變換又分為線性降維和非線性降維兩類。線性降維算法實現(xiàn)起來較為簡單快速，在現(xiàn)今的科學(xué)研究和工程實踐中仍有應(yīng)用。本文主要分析了線性降維方法中的主成分分析和線性判別分析，對它們的算法原理進行了較為詳細的分析，并比較了它們在數(shù)據(jù)降維方面的異同。

關(guān)鍵詞：數(shù)據(jù)降維 ?主成分分析 ?線性判別分析

中圖分類號：TP311.1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2019）11（b）-0118-02

1 ?降維方法概述

隨著科學(xué)技術(shù)的進步，特別是物聯(lián)網(wǎng)和大數(shù)據(jù)的快速發(fā)展，當今社會對數(shù)據(jù)處理能力的要求越來越高，隨著數(shù)據(jù)維數(shù)的增大，高維數(shù)據(jù)通常存在較大的相干性和冗余度，并且數(shù)據(jù)本身的信息量增長往往比數(shù)據(jù)維度的增長要慢，從而信號維度越高，數(shù)據(jù)冗余度就會越大，如視頻圖像比單幅靜止圖像的可壓縮性要大得多。研究如何充分利用高維數(shù)據(jù)間的稀疏性和冗余性進行數(shù)據(jù)降維，是對高維數(shù)據(jù)進行有效采集、處理和重構(gòu)的重要前提。

降維方法主要分為特征選擇和特征變換兩種，特征選擇是從給定的特征中選擇提取若干重要特征，典型的特征提取算法有窮舉法，啟發(fā)式，隨機方法和智能優(yōu)化等。特征變換是通過某種變換將原始的輸入空間數(shù)據(jù)映射到一個新的空間中。特征變換通過移除原特征集中的相關(guān)性與冗余性，可以減輕維數(shù)災(zāi)難，增強模型的泛化能力。特征變換主要有線性降維和非線性降維兩類，其中線性降維方法有主成分分析，線性判別分析，非負矩陣分解，因子分析，奇異值分解和獨立成分分析等;非線性降維方法有局部線性嵌入法，拉普拉斯本征映射，等距映射和核主成分分析等;本文主要討論了線性降維中的主成分分析（Principal Component Analysis，PCA）和線性判別分析（Linear Discriminant Analysis，LDA）。

2 ?主成分分析和線性判別分析

2.1 主成分分析

主成分分析（PCA）[1]源于K-L變換（Karhunen-Loeve Transform），是將高維空間中的數(shù)據(jù)投影到低維仿射子空間的一種線性降維方法。設(shè)數(shù)據(jù)集，存在RD的一個仿射子空間Sd（d

其中，U為D×d維矩陣，它的列向量為子空間S的一組基，為在子空間S中的對應(yīng)坐標。

設(shè)，它的奇異值分解（Singular Value Decomposition，SVD）為

其中X的奇異值矩陣ΣX的元素按從大到小排列，則由ΣX的每一個元素σi及其對應(yīng)的左右奇異值向量和就構(gòu)成了矩陣X的每一個主成分，這些主成分之間相互正交，通過截斷后面對表征矩陣X貢獻較小的主成分，可以達到降維的目的。

PCA是無監(jiān)督的線性降維方式，它對異常值（outlier）非常敏感，觀測數(shù)據(jù)中的元素一旦受到破壞，PCA的精確性會受到很大打擊。但現(xiàn)實中數(shù)據(jù)常常會不可避免的受到污染，比如傳感器失效，數(shù)據(jù)被惡意修改等等，當異常值存在時計算主成分的算法稱為魯棒主成分分析（Robust Principal Component Analysis，RPCA）[2]。

2.2 線性判別分析

線性判別分析（Linear Discriminant Analysis，LDA）[3]是另一種常用的線性降維方法，也稱為費舍爾（Fisher）線性判別，是模式識別的經(jīng)典算法。LDA把較高維度的樣本投影到最佳鑒別向量空間，從而達到能夠抽取分類信息和壓縮樣本特征空間維數(shù)的目的。設(shè)原始數(shù)據(jù)中含有兩個不同類的樣本A和B，它們各自的均值分別為

PCA和LDA是線性降維中兩種經(jīng)典的算法，但兩者的關(guān)注重點不同，PCA是將樣本空間作為一個整體，期望對數(shù)據(jù)降維后還能夠最大化保持原始數(shù)據(jù)集的內(nèi)在信息;而LDA不僅可以進行數(shù)據(jù)的降維，還能夠?qū)υ紨?shù)據(jù)進行分類，使得原始的數(shù)據(jù)集在降維后能將不同類的數(shù)據(jù)區(qū)分開。從機器學(xué)習的角度來看，PCA是無監(jiān)督的降維方法（降維過程中對原始數(shù)據(jù)沒有使用標簽），而LDA是有監(jiān)督的降維（在求類內(nèi)散度和類間散度時應(yīng)用了原始數(shù)據(jù)的標簽）。

3 ?結(jié)語

現(xiàn)實中的數(shù)據(jù)符合線性要求的只有很少的一部分，大部分數(shù)據(jù)都是非線性的，對這些非線性的數(shù)據(jù)運用線性降維手段的話，效果并不理想。由之，研究非線性的降維方法是非常有必要的，現(xiàn)有的非線性降維算法主要有核PCA，局部線性嵌入（Locally Linear Embedding，LLE），等距特征映射（Isometric Feature Mapping，ISOMP），多維尺度法（Multidimensional Scaling，MDS）等等。但當數(shù)據(jù)并不是存在于單一子空間或子流形時，比如同時存在于多個低維結(jié)構(gòu)中時[4]，非線性降維方法也將失效，研究復(fù)雜情況下的數(shù)據(jù)降維問題一直是科研和工程應(yīng)用的一個重要領(lǐng)域。

參考文獻

[1] Candès E J， Li X D， Ma Y， et al. Robust principal component analysis？ [J]. Journal of the ACM. 2011， 58（3）： 37.

[2] Qiu C L， Vaswani N， Lois B， et al. Recursive robust PCA or recursive sparse recovery in large but structured noise[J]. IEEE Transaction on Information Theory. 2014， 60（8）： 5007–5039.

[3] S.B. Kotsiantis. Supervised Machine Learning： A Review of Classification Technique [M]. Artificial Intelligence Applications in Computer Engineering， 2007.

[4] René Vidal， Yi Ma， S. Shankar Sastry. Generalized Principal Component Analysis [M]. Interdisciplinary Applied Mathematics， 2016.