基于無(wú)監(jiān)督特征提取的局部相似度保序投影方法

趙俊濤, 盧志翔,2*, 李陶深,2

(1.廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院, 廣西南寧530004;2.南寧學(xué)院人工智能學(xué)院, 廣西南寧530299)

0 引言

近年來(lái),隨著計(jì)算機(jī)采集技術(shù)的發(fā)展,在機(jī)器學(xué)習(xí)和模式識(shí)別[1]等領(lǐng)域中的數(shù)據(jù)呈現(xiàn)出海量、高維的特點(diǎn)。從理論上來(lái)講,對(duì)于同一個(gè)圖像樣本,其包含的數(shù)值特征維度越高,意味著計(jì)算機(jī)從該圖像中可以獲得更加豐富的信息,從而有助于圖像的識(shí)別分類,然而在實(shí)際應(yīng)用中,過(guò)高的特征維度除了會(huì)造成儲(chǔ)存成本和訓(xùn)練時(shí)間的浪費(fèi)以外,還會(huì)產(chǎn)生“維數(shù)災(zāi)難”。特征提取[2-3]將原始樣本的特征通過(guò)線性或非線性變換投影到一個(gè)更低維度的子空間中,是解決上述問(wèn)題的一種有效手段。盡管特征提取比深度學(xué)習(xí)方法[4]在效果上略差一些;但是,由于它具有強(qiáng)解釋性和設(shè)備友好性,因此也吸引著國(guó)內(nèi)外研究者的廣泛關(guān)注。在現(xiàn)實(shí)世界中,對(duì)樣本進(jìn)行標(biāo)注比較困難或代價(jià)較高,所以對(duì)于如何更有效地提取無(wú)監(jiān)督數(shù)據(jù)子空間判別特征是一個(gè)研究的熱點(diǎn)。

目前國(guó)內(nèi)外已經(jīng)提出了許多基于圖像數(shù)據(jù)的無(wú)監(jiān)督特征提取方法。主成分分析方法(principal component analysis,PCA)[5]作為最經(jīng)典的特征提取方法已被廣泛應(yīng)用于圖像數(shù)據(jù)的預(yù)處理。PCA通過(guò)最大化樣本的離散程度(即樣本方差),得到一組相互正交的投影方向,依次取其中貢獻(xiàn)度最大的若干主方向,然后將樣本點(diǎn)投影到這組主方向所組成的低維子空間。PCA從樣本的整體結(jié)構(gòu)角度考慮問(wèn)題,有效地篩選了主成分,同時(shí)刪除了那些非主成分的干擾信息,使算法能夠提取有判別力的特征,然而,PCA只適用于處理線性數(shù)據(jù),對(duì)于非線性數(shù)據(jù)并沒有較好的降維效果。隨著流型學(xué)習(xí)的發(fā)展,大量的用于處理非線性數(shù)據(jù)的特征提取方法被提出,例如等距特征映射(isometric feature mapping,ISOMAP)[6]、Laplacian特征映射(Laplacian eigenmap,LE)[7]、局部線性嵌入(local linear embedding, LLE)[8]等;然而,這些非線性特征提取方法直接獲得樣本的低維表示而不使用投影矩陣,因此它們不能應(yīng)用于擴(kuò)展樣本。在LE、LLE和ISOMAP的基礎(chǔ)上,學(xué)者們先后提出了局部保持投影(locality preserving projections,LPP)[9]、近鄰保持嵌入(neighborhood preserving embedding,NPE)[10]和等距投影(isometric projection, IsoP)[11]等方法用以學(xué)習(xí)投影矩陣。盡管這些特征提取方法都保持了子空間中的局部結(jié)構(gòu),但對(duì)流形的學(xué)習(xí)也提出了不同的要求。例如：LPP需要事先獲得原始數(shù)據(jù)的近鄰圖,繼而尋求子空間樣本保持相同的近鄰關(guān)系;NPE假設(shè)原始空間的線性重構(gòu)關(guān)系可以在特征提取后的樣本和近鄰樣本之間得以保持。上述圖基方法只考慮數(shù)據(jù)的局部結(jié)構(gòu),忽略了全局結(jié)構(gòu)。為了考慮和保持?jǐn)?shù)據(jù)的全局結(jié)構(gòu),學(xué)者們又提出了稀疏保持的投影(sparsity preserving projections,SPP)[12]、協(xié)同表示投影(collaborative representation-based projections,CRP)[13],以及低秩保持嵌入(low-rank preserving embedding,LRPE)[14]等特征提取方法,分別在原始空間中獲得樣本的系數(shù)表示、協(xié)同表示和低秩表示關(guān)系,然后尋求子空間樣本可以保持這些圖結(jié)構(gòu)的投影矩陣。除此之外,Wang等[15]提出了局部自適應(yīng)保持投影(locality adaptive preserving projections,LAPP)方法,通過(guò)不斷迭代地尋找最優(yōu)的近鄰結(jié)構(gòu)以求獲得最優(yōu)的投影矩陣。Ran等[16]提出了基于函數(shù)矩陣的局部保持投影(function preserving projections,FLPP),通過(guò)利用逆雙曲切函數(shù)和線性函數(shù),設(shè)計(jì)出一種新的矩陣函數(shù)降維方法來(lái)解決LPP的小樣本問(wèn)題。

總的來(lái)說(shuō),上述方法僅探索原始空間樣本的相似關(guān)系,這種原始空間的相似關(guān)系易受噪聲和冗余特征的干擾,獲取的信息不真實(shí)、不準(zhǔn)確,影響判別特征的提取。為了減少噪聲和冗余特征的影響,需要提高特征提取的準(zhǔn)確性和有效性,為此,本文中提出了一種新穎的無(wú)監(jiān)督特征提取的局部相似度保序投影方法(locality similarity order preserving projections,LSOPP)。

1 相關(guān)的工作

1.1 研究的問(wèn)題

特征提取的數(shù)學(xué)形式描述如下：已知矩陣X=(x1,x2,…,xn)∈Rd×n為樣本的集合,其中n為樣本數(shù),d為樣本的原始維度。特征提取的目標(biāo)是尋找投影矩陣A,以Y=ATX的方式進(jìn)行樣本特征提取,其中Y={y1,y2,…,yn}∈Rd1×n,d1為降維投影后的維度,d1?d,AT是A的轉(zhuǎn)置矩陣。

1.2 局部保持投影方法(LPP)

局部保持投影方法(LPP)是一個(gè)經(jīng)典的無(wú)監(jiān)督結(jié)構(gòu)基的特征提取方法,其目標(biāo)是尋求一個(gè)投影矩陣A來(lái)盡可能保持原始數(shù)據(jù)樣本的局部近鄰結(jié)構(gòu)。LPP算法的思想是希望在原始特征空間中離得近的樣本經(jīng)特征提取后在低維子空間中依然相近,其優(yōu)化問(wèn)題為

(1)

式中：xi、xj分別為原始空間中的樣本點(diǎn);Sij是樣本點(diǎn)xi與xj之間的權(quán)重系數(shù)。

對(duì)于Sij,可以定義為

(2)

式中：xi∈Nk(xj)表示樣本xi屬于xj的k近鄰樣本;t為熱核參數(shù)用于調(diào)整Sij的取值范圍。

LPP優(yōu)化問(wèn)題可經(jīng)過(guò)代數(shù)展開進(jìn)行如下化簡(jiǎn)為

(3)

LPP優(yōu)化問(wèn)題最終可表示為

(4)

2 基于近鄰相似度保序的局部保持投影方法

為了解決高維數(shù)據(jù)在降維投影后局部結(jié)構(gòu)描述不準(zhǔn)確的問(wèn)題,基于LPP,提出基于無(wú)監(jiān)督特征提取的局部相似度保序投影方法(LSOPP)。方法的設(shè)計(jì)思想是：使用低階與高階的局部關(guān)系來(lái)更精確地描述合適的局部結(jié)構(gòu),以提高算法的性能;引入平衡參數(shù)調(diào)整低階與高階局部結(jié)構(gòu)的重要程度,通過(guò)特征值分解得到了最優(yōu)的子空間投影矩陣,以增加模型的泛化能力。

2.1 約束高階局部樣本分布關(guān)系

在投影空間中,LSOPP為了保持上述高階局部樣本分布關(guān)系,以下提出優(yōu)化問(wèn)題為

(5)

式(5)的優(yōu)化目標(biāo)：在原始空間中與樣本點(diǎn)xi離得近的樣本點(diǎn)xj和xk,若xj與xi的距離較xk與xi的距離近,在投影后仍保持這種關(guān)系。該優(yōu)化問(wèn)題可以進(jìn)行轉(zhuǎn)化為

(6)

為了簡(jiǎn)化式(6),定義了一個(gè)新的樣本高階局部權(quán)重系數(shù)Wij如下：

(7)

Wij的含義是：為了保證樣本的全局相似性,用來(lái)表示樣本的近鄰點(diǎn)與樣本之間的遠(yuǎn)近程度。利用式(6)、(7)可以進(jìn)行如下轉(zhuǎn)化：

(8)

為了方便求解,將式(8)進(jìn)行如下轉(zhuǎn)化：

(9)

2.2 LSOPP的優(yōu)化問(wèn)題模型

在明確了高階局部樣本分布關(guān)系后,可以將上述約束引入到LPP中。為了同時(shí)保持低階與高階局部關(guān)系,引入了一個(gè)平衡參數(shù)λ來(lái)調(diào)整2部分的重要程度。于是,LSOPP的優(yōu)化問(wèn)題為

(10)

式中：Hij=Sij+λWij,Hij為L(zhǎng)SOPP優(yōu)化問(wèn)題中的整體權(quán)重系數(shù),由傳統(tǒng)的樣本相似度系數(shù)Sij和LSOPP引入的樣本高階局部權(quán)重系數(shù)Wij組成;平衡參數(shù)λ的用于調(diào)整Wij在整體權(quán)重中的占比。

2.3 優(yōu)化問(wèn)題模型的求解

對(duì)于式(10),可以進(jìn)行以下的推導(dǎo)求解：

=tr(YDhYT)-tr(YHYT)=tr(Y(Dh-H)YT)=tr(YLhYT),

(11)

(12)

式中：s.t.tr(YDhYT)=I保證優(yōu)化問(wèn)題有唯一解。

采用拉格朗日乘子法,可以求解優(yōu)化問(wèn)題(12),過(guò)程如下：

(13)

根據(jù)式(13)可得,投影矩陣A由(XDhXT)-1XLhXTA的特征向量作為列向量構(gòu)成,且為了最小化優(yōu)化問(wèn)題,選取的特征向量應(yīng)該是最小d1個(gè)特征值對(duì)應(yīng)的特征向量。

2.4 LSOPP相應(yīng)算法的描述

根據(jù)2.3節(jié)的優(yōu)化問(wèn)題相關(guān)求解公式的推導(dǎo),LSOPP算法步驟如下：

輸入：訓(xùn)練樣本矩陣X=(x1,x2,…,xn)∈Rd×n,參數(shù)k、λ、d1

輸出：投影矩陣A

步驟1：根據(jù)式(2)計(jì)算原始相似度矩陣S。

步驟2：根據(jù)式(7)計(jì)算局部相似階矩陣W。

步驟3：根據(jù)Hij=Sij+λWij計(jì)算整體權(quán)重系數(shù)Hij。

步驟5：根據(jù)式Lh=Dh-H計(jì)算拉普拉斯映射矩陣Lh。

步驟6：根據(jù)式(13)求解得到投影矩陣A。

LSOPP算法過(guò)程首先是計(jì)算數(shù)據(jù)的樣本原始相似度矩陣S,樣本的局部相似階矩陣W,然后綜合計(jì)算整體權(quán)重系數(shù)Hij,根據(jù)得到的整體權(quán)重矩陣,計(jì)算對(duì)角矩陣Dh、拉普拉斯映射矩陣Lh,最后根據(jù)拉格朗日乘子法求解矩陣的特征值,根據(jù)降維的目標(biāo)維度d1,選取對(duì)應(yīng)的最小d1個(gè)特征值對(duì)應(yīng)的特征向量,得到投影矩陣A。以上算法的復(fù)雜度主要在計(jì)算相似度矩陣S、相似階矩陣W和求解投影矩陣A上,時(shí)間復(fù)雜度分別為O(n2)、O(n3)和O(n3),所以算法的時(shí)間復(fù)雜度為O(n3)。

3 仿真實(shí)驗(yàn)與性能分析

3.1 實(shí)驗(yàn)準(zhǔn)備

本文中實(shí)驗(yàn)以MATLAB 2020b作為仿真平臺(tái),在Windows 11上進(jìn)行,硬件配置為Intel (R) Core i7 CPU @ 2.6 GHz,16 GB內(nèi)存,1 TB硬盤。采用最近鄰分類器進(jìn)行五折交叉驗(yàn)證LSOPP算法在分類任務(wù)上的優(yōu)勢(shì)。

3.1.1 對(duì)比算法與參數(shù)設(shè)置

為了驗(yàn)證本文中提出的LSOPP方法的有效性和優(yōu)越性,將LSOPP算法與LPP、LAPP、FLPP、AFOG等4種相關(guān)的特征提取算法進(jìn)行對(duì)比,其中：

①LPP是一個(gè)經(jīng)典的局部保持投影算法,被視為PCA的替代方法。LPP通過(guò)約束原始空間中樣本近鄰點(diǎn)的局部關(guān)系,尋找流形上拉普拉斯貝爾特拉米算子的特征函數(shù)的最優(yōu)線性逼近,得到了局部性保持投影,因此,LPP具有許多非線性技術(shù)的數(shù)據(jù)表示特性。

②LAPP是一個(gè)最新的基于迭代的局部保持投影算法。LAPP認(rèn)為L(zhǎng)PP是基于原始特征空間來(lái)確定樣本局部結(jié)構(gòu),而原始特征空間中可能包含有噪聲和不相關(guān)的特征,因此推導(dǎo)出的近鄰樣本之間的相似度是不可靠的,相應(yīng)的局部數(shù)據(jù)流形往往容易出錯(cuò),導(dǎo)致后續(xù)數(shù)據(jù)分析性能下降。LAPP采用從粗到細(xì)的策略迭代更新投影低維子空間,優(yōu)化數(shù)據(jù)局部結(jié)構(gòu)。

③FLPP是一個(gè)最新的基于矩陣函數(shù)的局部保持投影方法。FLPP認(rèn)為在小樣本問(wèn)題上,采用PCA與LPP的混合方法存在著信息丟失的風(fēng)險(xiǎn)。FLPP利用逆雙曲切函數(shù)和線性函數(shù),提出了一種新的基于矩陣函數(shù)的降維方法,與現(xiàn)有方法相比具有更好的模式分類能力和更低的計(jì)算復(fù)雜度。

④AFOG是一個(gè)最新的基于圖嵌入的無(wú)監(jiān)督降維方法[17]。AFOG認(rèn)為現(xiàn)有的一些方法雖然可以通過(guò)結(jié)合流形學(xué)習(xí)和在單一框架中的圖構(gòu)造來(lái)同時(shí)得到自適應(yīng)圖和投影矩陣,但在流形學(xué)習(xí)中使用線性約束比較困難。為了解決這一問(wèn)題,AFOG提出了一種新的自適應(yīng)柔性最優(yōu)圖的無(wú)監(jiān)督降維方法。在低維流形映射過(guò)程中,AFOG可以通過(guò)放寬線性約束得到一個(gè)自適應(yīng)的最優(yōu)圖。同時(shí),利用最大可分性原理,AFOG也可以得到一個(gè)最優(yōu)的投影矩陣。

實(shí)驗(yàn)時(shí),LPP、LAPP、FLPP、AFOG等4種對(duì)比算法的參數(shù)設(shè)置分別見文獻(xiàn)[9,15-17]。LSOPP算法的參數(shù)k取值范圍為{2,4,6,8},平衡參數(shù)λ取值范圍為{0.001,0.01,0.1,1,10, 100, 1000},降維維度d1的取值范圍為{10,20,30,40,50}。

3.1.2 實(shí)驗(yàn)數(shù)據(jù)集

仿真實(shí)驗(yàn)中,本文使用Yale、ORL、FERET這3個(gè)真實(shí)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)對(duì)比。其中：

①Yale數(shù)據(jù)集包括15個(gè)人的165張圖像。每個(gè)人都有11張圖像,包括不同的光照或面部表情：愉快、困乏、驚訝、沮喪、眨眼、正常、戴眼鏡、不戴眼鏡、中心光、左光和右光。

②ORL數(shù)據(jù)集包含了40個(gè)人的400張圖像。每一類的圖像數(shù)為10,均包含不同的面部表情和不同的光照、面部細(xì)節(jié)及拍攝角度,所有圖片均在深色背景下拍攝。

③FERET數(shù)據(jù)集包含了來(lái)自50個(gè)人的350張圖像。每一類的圖像數(shù)為7,圖像包含有不同表情、光照、姿態(tài)和年齡的變化。

實(shí)驗(yàn)數(shù)據(jù)集設(shè)置見表1。

表1 數(shù)據(jù)集設(shè)置Tab1 Description of the data set

3.2 實(shí)驗(yàn)結(jié)果與性能比較

①Yale數(shù)據(jù)集上的實(shí)驗(yàn)。

Yale數(shù)據(jù)集實(shí)驗(yàn)結(jié)果(準(zhǔn)確率±標(biāo)準(zhǔn)差)見表2。從表2可見,分別在每一類樣本中隨機(jī)選取7個(gè)樣本作為訓(xùn)練集,剩余的樣本作為測(cè)試集。本文提出的LSOPP算法在Yale數(shù)據(jù)集上的最高分類準(zhǔn)確率為79.33%,最高召回率為86.65%,均明顯高于其他4種算法,說(shuō)明LSOPP算法的表現(xiàn)也優(yōu)于其他基于LPP的改進(jìn)算法。隨著降維維度的提高,LAPP、FLPP的分類準(zhǔn)確率有所增大,LPP、AFOG的分類準(zhǔn)確率先升后降,LSOPP的分類準(zhǔn)確率有所降低,但仍好于其他對(duì)比算法。其中的原因是LAPP、FLPP算法在有限的投影維度下并不能很好地反映原始數(shù)據(jù)的內(nèi)在結(jié)構(gòu),而LSOPP同時(shí)約束樣本局部低階結(jié)構(gòu)和高階結(jié)構(gòu),從2個(gè)角度描述樣本的局部結(jié)構(gòu),因而能夠在低維情況下準(zhǔn)確地尋找到原始數(shù)據(jù)的低維表示,但是投影維度的增大,將增加冗余信息,破壞了原有低維投影結(jié)構(gòu)的穩(wěn)定性。

表2 Yale數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of Yale dataset %

②ORL數(shù)據(jù)集上的實(shí)驗(yàn)。

ORL數(shù)據(jù)集實(shí)驗(yàn)結(jié)果(準(zhǔn)確率±標(biāo)準(zhǔn)差)見表3。從表3可見,從每一類樣本中隨機(jī)選取6個(gè)樣本作為訓(xùn)練集,剩余的樣本作為測(cè)試集。本文的LSOPP算法在所有投影維度上的分類準(zhǔn)確率均高于其他4種算法,同時(shí),在降維維度為30時(shí),相比于傳統(tǒng)的LPP算法,LSOPP的分類準(zhǔn)確率提升高達(dá)14.50%;與其他改進(jìn)的LPP算法相比,LSOPP的分類準(zhǔn)確率有一定的提升。在實(shí)驗(yàn)維度下的分類準(zhǔn)確率標(biāo)準(zhǔn)差上,本文的LSOPP是所有對(duì)比算法中最低的?；贠RL數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明,LSOPP在低維投影時(shí)能夠得到更好的分類準(zhǔn)確率和穩(wěn)定性。

表3 ORL數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of ORL dataset %

③FERET數(shù)據(jù)集上的實(shí)驗(yàn)。

FERET數(shù)據(jù)集實(shí)驗(yàn)結(jié)果(準(zhǔn)確率±標(biāo)準(zhǔn)差)見表4。從表4可見,分別在每一類樣本中隨機(jī)選取3個(gè)樣本作為訓(xùn)練集,剩余的樣本作為測(cè)試集。在僅有3個(gè)訓(xùn)練樣本的情況下,LPP及其改進(jìn)算法LAPP和FLPP的分類準(zhǔn)確率均在50%左右,而LSOPP算法的分類準(zhǔn)確率達(dá)到了58.70%,領(lǐng)先其他對(duì)比算法。對(duì)比實(shí)驗(yàn)結(jié)果顯示,在訓(xùn)練樣本較少的情況下,LSOPP通過(guò)同時(shí)探索數(shù)據(jù)的低階結(jié)構(gòu)和高階結(jié)構(gòu),在降維投影后得到的低維數(shù)據(jù),能夠更好地反映原始數(shù)據(jù)的本質(zhì)特征,在后續(xù)的分類任務(wù)中能夠獲得更好的性能。

表4 FERET數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Tab.4 Experimental results of FERET dataset %

3個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,本文中提出的LSOPP算法都有更好的性能,原因主要是LSOPP使用高階分布結(jié)構(gòu)去協(xié)助原始局部結(jié)構(gòu)獲得更真實(shí)的相似度關(guān)系,能夠準(zhǔn)確提取樣本的判別特征,提高了模型的分類準(zhǔn)確率,并且引入平衡參數(shù)調(diào)整樣本高階分布結(jié)構(gòu)在算法模型中的參與程度,增強(qiáng)了算法的泛化能力。

3.3 參數(shù)敏感性分析

為了探索本模型對(duì)于參數(shù)的敏感性,分析各個(gè)參數(shù)對(duì)模型性能的影響變化,分別繪制LSOPP算法在Yale、ORL和FERET數(shù)據(jù)集上的參數(shù)調(diào)整對(duì)模型準(zhǔn)確率的影響變化情況三維圖像,得到的LSOPP算法準(zhǔn)確率隨參數(shù)改變的變化情況如圖1所示。參數(shù)k的作用是決定參與構(gòu)建數(shù)據(jù)局部結(jié)構(gòu)的樣本點(diǎn)數(shù)目,平衡參數(shù)λ的作用是調(diào)整數(shù)據(jù)低階結(jié)構(gòu)和高階結(jié)構(gòu)的重要程度。

(a) Yale數(shù)據(jù)集

由實(shí)驗(yàn)結(jié)果可以看出,在3個(gè)數(shù)據(jù)集中,當(dāng)參數(shù)k保持不變時(shí),平衡參數(shù)λ的變化對(duì)模型的分類準(zhǔn)確率能夠產(chǎn)生比較大的影響,即隨著λ的增大,分類準(zhǔn)確率也有明顯的增大。當(dāng)平衡參數(shù)λ保持不變,參數(shù)k的取值在2～6時(shí)模型取得較好的效果,表明在構(gòu)建局部結(jié)構(gòu)關(guān)系時(shí),選取的樣本近鄰點(diǎn)數(shù)量需要控制在一個(gè)合理地范圍內(nèi),原因是樣本近鄰點(diǎn)選取太少,無(wú)法提取足夠的有效信息,近鄰點(diǎn)選取得太多,冗余信息也隨之增多。從整體來(lái)看,當(dāng)平衡參數(shù)λ和參數(shù)k同時(shí)變化時(shí),模型的分類準(zhǔn)確率沿著λ變化的方向波動(dòng)較大,說(shuō)明在優(yōu)化問(wèn)題中,λ所對(duì)應(yīng)的項(xiàng)在整個(gè)模型中起到關(guān)鍵作用,也說(shuō)明了數(shù)據(jù)低階結(jié)構(gòu)與高階結(jié)構(gòu)存在相關(guān)性,通過(guò)探索二者的關(guān)系可有效提升模型效果。在選定k值后,平衡參數(shù)λ在1～103內(nèi)變化,模型都能夠獲得較高的分類準(zhǔn)確率,表明模型具有較好的魯棒性,受冗余信息的影響較小。

4 結(jié)論

針對(duì)現(xiàn)有的特征提取方法僅關(guān)注樣本的低階結(jié)構(gòu),不能全面地反映樣本的局部結(jié)構(gòu)特征,本文中提出了一種基于無(wú)監(jiān)督特征提取的局部相似度保序投影方法。該方法通過(guò)同時(shí)探索原始樣本的低階相似關(guān)系和高階局部樣本分布關(guān)系,在進(jìn)行原始數(shù)據(jù)降維投影時(shí),同時(shí)約束樣本的局部低階結(jié)構(gòu)和高階結(jié)構(gòu),以更好地反映數(shù)據(jù)的本質(zhì)結(jié)構(gòu)特征,最大化保留數(shù)據(jù)的有效信息。最后引入平衡參數(shù),使LSOPP能夠在不同情況下靈活調(diào)整低階結(jié)構(gòu)和高階結(jié)構(gòu)的重要程度,提高算法的性能表現(xiàn)。在3個(gè)常用的數(shù)據(jù)集的仿真實(shí)驗(yàn)結(jié)果驗(yàn)證了LSOPP的有效性,并表明LSOPP相對(duì)于現(xiàn)有的方法擁有更好的降維效果,但是,在面對(duì)新的數(shù)據(jù)集時(shí),算法的平衡參數(shù)需要事先測(cè)試后才能選擇最佳的數(shù)值進(jìn)行降維,算法的復(fù)雜性較傳統(tǒng)的LPP有所上升。同時(shí),算法在考慮多個(gè)近鄰樣本之間的關(guān)系時(shí)導(dǎo)致算法的時(shí)間復(fù)雜度較高,如何在實(shí)際應(yīng)用中提升降維效果的同時(shí)保證一定的時(shí)間復(fù)雜度仍有待進(jìn)一步的研究。