高斯過程及其在高光譜圖像分類中的應(yīng)用

姚伏天，錢沄濤

(1.浙江大學(xué)計算機(jī)學(xué)院，浙江杭州 310027;2.浙江大學(xué)人工智能研究所，浙江 杭州 310027)

高斯過程及其在高光譜圖像分類中的應(yīng)用

姚伏天1，2，錢沄濤1，2

(1.浙江大學(xué)計算機(jī)學(xué)院，浙江杭州 310027;2.浙江大學(xué)人工智能研究所，浙江 杭州 310027)

高光譜遙感圖像分類是高光譜成像信息處理的研究熱點(diǎn)，高光譜成像的內(nèi)在特點(diǎn)對于分類器設(shè)計具有直接影響.高斯過程是近年來發(fā)展迅速的一種新的機(jī)器學(xué)習(xí)方法，具備容易實(shí)現(xiàn)、超參數(shù)可自適應(yīng)獲取以及預(yù)測輸出具有概率意義等優(yōu)點(diǎn)，比較適合于處理圖像分類問題.首先對高斯過程的基本概念及其主要的分類算法進(jìn)行了簡要介紹，然后在對高光譜圖像分類的特點(diǎn)和高光譜圖像分類的研究現(xiàn)狀的分析基礎(chǔ)上，討論了基于高斯過程的高光譜圖像分類的基本思想，提出了基于空間約束的高斯過程分類和基于半監(jiān)督高斯過程分類等適合高光譜圖像分類的新方法.最后對基于高斯過程的高光譜圖像分類研究的發(fā)展趨勢進(jìn)行了展望.

高斯過程;高光譜圖像;機(jī)器學(xué)習(xí);圖像分類

高斯過程(Gaussian process，GP)是近幾年發(fā)展起來的一種機(jī)器學(xué)習(xí)技術(shù)，是目前國際上機(jī)器學(xué)習(xí)研究的熱點(diǎn)領(lǐng)域，常被成功應(yīng)用于處理回歸與分類問題.與人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)和支持向量機(jī)(support vector machine，SVM)相比，GP的突出優(yōu)點(diǎn)是在不犧牲性能的條件下容易實(shí)現(xiàn)，其超參數(shù)可在模型構(gòu)建過程中自適應(yīng)獲得，具有嚴(yán)格的統(tǒng)計基礎(chǔ)，并且其預(yù)測輸出具有清晰的概率解釋.

GP預(yù)測的思想可以追溯到20世紀(jì)40年代［1］.眾所周知，GP預(yù)測在地理統(tǒng)計學(xué)中被稱為 Kriging［2－3］.Thompson［4］和 Daley［5］將其引入氣象學(xué)中，Whittle［6］將該方法用于空間預(yù)測，Ripley［7］和 Cressie［8］將GP預(yù)測用于空間統(tǒng)計.隨后人們逐漸意識到GP預(yù)測可用于通用回歸問題，文獻(xiàn)［9－11］中將GP用于計算機(jī)實(shí)驗(yàn)數(shù)據(jù)分析，文獻(xiàn)［12－13］基于機(jī)器學(xué)習(xí)理論重新描述了GP回歸和分類.

基于GP的分類器設(shè)計近年來受到越來越多的關(guān)注［14－16］.分類問題定義為給定輸入向量 x，通過預(yù)測概率值P(c|x)來給輸入向量x指定類別c.傳統(tǒng)分類方法中，分類面由一組加權(quán)基函數(shù)組合而成，通過訓(xùn)練數(shù)據(jù)求得每個基函數(shù)的系數(shù)，從而確定分類面;但是，對于高維數(shù)據(jù)，因基函數(shù)和待求系數(shù)過多，易引起過擬合問題.由于GP不是將約束加在一系列的基函數(shù)上，而是直接對函數(shù)空間加上Bayes先驗(yàn)，即通用的平滑性約束;因此該模型中沒有大量的參數(shù)，取而代之的是GP先驗(yàn)中協(xié)方差函數(shù)(核函數(shù))的超參數(shù)，這就將模型轉(zhuǎn)化為非參數(shù)Bayes模型，從而解決了過擬合問題.

高光譜遙感成像(hyperspectral remote sensing)［17］是光譜分辨率在10～20 nm 的光譜遙感，可獲得幾百個地物波段的光譜信息，具有波段數(shù)眾多、非線性、空間相關(guān)性和譜間相關(guān)性共存、難以獲得樣本標(biāo)記等特點(diǎn).遙感圖像分類是遙感地理信息系統(tǒng)中的關(guān)鍵技術(shù)之一，快速、高精度的遙感圖像自動分類算法是實(shí)現(xiàn)環(huán)境的動態(tài)監(jiān)測、評價、預(yù)報的關(guān)鍵.如何把新的模式分析和圖像處理理論運(yùn)用于高光譜影像分類是當(dāng)前的研究熱點(diǎn)之一.

本文首先介紹GP的基本理論及其發(fā)展;然后分析了高光譜圖像的特點(diǎn)及其當(dāng)前常用的分類方法;在此基礎(chǔ)上結(jié)合筆者的研究成果，重點(diǎn)討論用于高光譜圖像分類的GP算法及其各種改進(jìn);最后給出了今后可能的一些關(guān)鍵研究問題.

1 GP基本理論

GP是在Bayes框架中對函數(shù)f(x)進(jìn)行推理，故對函數(shù)f(x)在函數(shù)空間概率分布的可能形式給出先驗(yàn).在GP模型中，假設(shè)這樣的先驗(yàn)分布符合GP:

式中:fGP由均值函數(shù)m(x)和協(xié)方差函數(shù)k(x，x')完全確定，即m(x)=E［f(x)］，k(x，x')=cov［f(x)，f(x')］.而且，對于由任何x所對應(yīng)的函數(shù)值的集合中的任意子集，也假設(shè)服從多元高斯分布，其均值和方差可以直接由均值函數(shù)m(x)和協(xié)方差函數(shù)k(x，x')分別計算出來.

GP的先驗(yàn)意味著在觀察訓(xùn)練樣本以前，就相信函數(shù)f(x)的可能形式是從先驗(yàn)p(f)中隨機(jī)采樣而實(shí)現(xiàn)的，根據(jù)訓(xùn)練數(shù)據(jù)D，函數(shù)f的先驗(yàn)可以更新成后驗(yàn)分布p(f|D).

1.1 高斯過程回歸(Gaussian process regression，GPR)

回歸問題的定義為:給定訓(xùn)練數(shù)據(jù)D={(xi，yi)，i=1，2，…，n}，對于新輸入x*，預(yù)測其輸出y*.

GP是把多元高斯分布推廣到無限多個隨機(jī)變量的形式.假設(shè)數(shù)據(jù)服從GP先驗(yàn)，則數(shù)據(jù)集合中的任意有限長的子集都服從聯(lián)合多元高斯分布，其核函數(shù)為K，則

目標(biāo)是求得p(y)的邊緣分布，可用如下積分:

式中協(xié)方差矩陣C中的元素如下:

要預(yù)測y*，需要求出分布p(y*|yN).這里yN表示N個數(shù)據(jù)向量(y1，y2，…，yN)T，同理 yN+1表示(y1，y2，…，yN，y*)T.根據(jù) GP 假設(shè)，聯(lián)合分布為

式中:CN是N×N的協(xié)方差矩陣，其元素由式(1)而得;向量K有N個元素k(xn，xN+1)組成，其中n=1，2，…，N;C 的元素c=k(xN+1，xN+1)+

根據(jù)高斯分布性質(zhì)，p(y*|yN)也是高斯分布，其均值和方差分別為:

根據(jù)Bayes決策論，損失函數(shù)最小化值為預(yù)測分布的中值，這里預(yù)測分布p(y*|yN)為高斯分布，故可用其均值來作為y*的預(yù)測值.

1.2 高斯過程分類(Gaussian process classification，GPC)

將f(x1)，f(x2)，…，f(xN)，f(x*)記作向量 fN+1.對于fN+1，GP的形式為

式中:CN+1定義和式(2)中一致.

對于分類問題，其實(shí)就是求p(y*=1|y)的分布，該分布形式為

由于式(3)中被積分函數(shù)中2個分布函數(shù)不是高斯分布的乘積形式，求不出解析解，因此通?？梢杂?Laplace 法［14］、變分法［15］、MCMC［16］、EP［18］和其他近似算法［19－20］求解.

1.3 GP的核函數(shù)

在機(jī)器學(xué)習(xí)領(lǐng)域中，協(xié)方差函數(shù)通常稱為核函數(shù)［21］.核函數(shù)具有超參數(shù) θ，表示為k(x，x';θ).一般地，假設(shè)均值函數(shù)m(x)=0，則選擇核函數(shù)類型并確定超參數(shù)就可以將GP確定下來.

GP是基于核函數(shù)的方法.核函數(shù)是GP預(yù)測和分類的關(guān)鍵因素，集成了待學(xué)習(xí)函數(shù)的假設(shè).函數(shù)要成為有效核函數(shù)的充分必要條件是，矩陣元素為k(xm，xn)構(gòu)成的Gram矩陣K必須是半正定矩陣［21］.GP核函數(shù)可以是多種函數(shù)形式，如高斯核函數(shù)、神經(jīng)網(wǎng)絡(luò)核函數(shù)、多項(xiàng)式核函數(shù)等，也可以通過2個核函數(shù)的相加、相乘、卷積等運(yùn)算來構(gòu)造新的核函數(shù).

1.4 GP超參數(shù)的訓(xùn)練

超參數(shù)求解方法的思想來自于求出使得似然函數(shù)p(y|θ)取最大值的GP超參數(shù)θ.最簡單的方法是通過求最大對數(shù)似然函數(shù)來求出θ的點(diǎn)估計，該求解過程可以通過類似于共軛梯度法或其他基于梯度的優(yōu)化算法來完成［22－23］.GP 的對數(shù)似然函數(shù)形式為

將對數(shù)似然函數(shù)對于超參數(shù)θ求梯度，得到

這樣可以根據(jù)訓(xùn)練樣本集D求得式(4)中的最大值而得到最優(yōu)的超參數(shù)^θ.

1.5 帶約束的GP

目前，有一些學(xué)者對于帶約束的GP進(jìn)行了一些研究.通常，約束通過判別高斯過程隱變量模型(discriminative Gaussian processeslatentvariable model，D－GPLVM)加在低維數(shù)據(jù)流形上.

R.Urtasun［24］指出只要數(shù)據(jù)存在低維流形，DGPLVM可以在訓(xùn)練樣本很少而數(shù)據(jù)維數(shù)很高的情況下分類，并得到較好的分類精度.D－GPLVM方法通過在高斯過程隱變量模型(GPLVM)的數(shù)據(jù)隱空間中加上判別式先驗(yàn)，就可以通過判別的方式來學(xué)習(xí)GP分類器的協(xié)方差矩陣，從而達(dá)到提高分類精度的目的.該判別式先驗(yàn)標(biāo)準(zhǔn)可以是廣義判別分析(generalized discriminative analysis，GDA)［25］，也可以是局部費(fèi)舍爾判別分析(local Fisher discriminative analysis，Local FDA)［26］或者其他判別函數(shù).Grochow在文獻(xiàn)［27］中通過尺度化高斯過程隱變量模型(scaled GPLVM)，從低維空間上給人體姿態(tài)進(jìn)行約束，對于人體的姿態(tài)進(jìn)行插值，從而對人的動作進(jìn)行預(yù)測.

另外，可以通過在GP中加載稀疏性約束來獲得大數(shù)據(jù)集上GP的近似解.L.Csató在文獻(xiàn)［28］中提出利用約束GP來求得真實(shí)后驗(yàn)稀疏近似解.該方法通過增加參數(shù)的數(shù)量使得GP可以突破計算限制用于任意大的數(shù)據(jù)集，該近似解法基于最小化原始GP和帶約束GP之間的KL距離，帶約束GP的約束指的是，整個訓(xùn)練樣本中只有很少量的子集用來表示GP，該約束導(dǎo)致稀疏性.

1.6 基于半監(jiān)督學(xué)習(xí)的GP

GP可與半監(jiān)督學(xué)習(xí)相結(jié)合，這時半監(jiān)督可以看成是加在GP上的一種特殊的平滑性約束.

半監(jiān)督學(xué)習(xí)可以利用少數(shù)帶標(biāo)記樣本加上大量無標(biāo)記樣本，從而提高分類和預(yù)測精度.半監(jiān)督學(xué)習(xí)方法最初基于幾何直覺，對于許多現(xiàn)實(shí)問題，無標(biāo)記樣本經(jīng)?？梢宰R別出整個數(shù)據(jù)的結(jié)構(gòu)，如數(shù)據(jù)聚類或低維流型，這些知識可以幫助進(jìn)行推理.例如，人們常期望在一個聚類中的數(shù)據(jù)點(diǎn)間或者在一個流形中相近的數(shù)據(jù)點(diǎn)間的類別有很強(qiáng)的相關(guān)性，這就是半監(jiān)督學(xué)習(xí)中的聚類假設(shè)和流形假設(shè).

最近，有一些學(xué)者提出多個基于圖集成無標(biāo)記訓(xùn)練樣本的半監(jiān)督GP算法.文獻(xiàn)［29］中提出基于圖先驗(yàn)知識的直推式高斯過程(transductive GP)，其核心概率模型只是定義在帶標(biāo)記樣本和無標(biāo)記樣本的有限訓(xùn)練集合上，但需要額外的過程將模型擴(kuò)展到未知的測試樣本中.

文獻(xiàn)［30］中提出的半監(jiān)督高斯過程方法中，將無標(biāo)記數(shù)據(jù)的空間屬性和基于圖的半監(jiān)督核函數(shù)結(jié)合起來，建立了在整個空間上的GP模型，提供了天然的樣本之外數(shù)據(jù)的預(yù)測能力.正則化算子加在圖頂點(diǎn)上的平滑性被轉(zhuǎn)換成為定義在整體數(shù)據(jù)空間上的再生核希爾伯特空間(reproducing kernel Hilbert spaces，RKHS).通過該RKHS核函數(shù)，標(biāo)準(zhǔn)的監(jiān)督核方法可以用來進(jìn)行半監(jiān)督推理.

Zhu在文獻(xiàn)［29］中指出高斯隨機(jī)場(Gaussian random field，GRF)和半監(jiān)督學(xué)習(xí)中的諧能量最小化函數(shù)框架可以看成是協(xié)方差矩陣源自圖Laplace的GP，從半監(jiān)督學(xué)習(xí)的角度指出了GRF與GP在概率框架中的聯(lián)系.

綜上，GP作為一種核方法，可用于分類和回歸，其超參數(shù)可由訓(xùn)練得到，GP模型加上約束后可以有較多變形算法，這為GP在實(shí)際問題中的應(yīng)用提供了較強(qiáng)的理論基礎(chǔ).

2 高光譜圖像

2.1 高光譜遙感圖像的特點(diǎn)

2.1.1 高維非線性

高光譜遙感圖像由衛(wèi)星或飛機(jī)上攜帶傳感器記錄而成.圖像數(shù)據(jù)包含像素的2種誤差:輻射誤差和幾何誤差［17］.數(shù)據(jù)記錄儀器、太陽輻射對波長的依賴和大氣影響都可能產(chǎn)生輻射誤差.圖像幾何誤差產(chǎn)生是多方面的，如平臺、掃描儀與地球的相對運(yùn)動可能導(dǎo)致圖像的扭曲，傳感器本身非理想特性、地球曲率以及遙感平臺在位置和姿態(tài)方面無法控制的變化都可能導(dǎo)致不同程度的幾何誤差.

輻射誤差可以通過某些計算方法進(jìn)行補(bǔ)償.而幾何誤差由于其產(chǎn)生因素較復(fù)雜，很難完全去除其影響，這就使得高光譜圖像不同程度上具有非線性的特性，造成圖像很難進(jìn)行線性擬合，也難以用線性分類器對高光譜圖像進(jìn)行正確分類.

2.1.2 空間相關(guān)性和譜間相關(guān)性共存

空間相關(guān)性是指每個譜段內(nèi)某一像素與其相鄰像素之間的相似性.譜間相關(guān)性是指每個譜段光譜圖像的同一空間位置像素具有相似性.高光譜圖像中，相鄰像素之間在空間上總存在一定聯(lián)系.首先，傳感器在對該像素成像時，同時吸收了周圍像素的一部分能量;其次，某一地物類別在地面所占的實(shí)際面積與一個像素的實(shí)際面積相比也大得多.例如，一個農(nóng)業(yè)區(qū)域，已知某一像素代表小麥，那么它周圍的像素是小麥的概率比不是小麥的概率要大很多.相鄰像素點(diǎn)之間的空間相關(guān)性的強(qiáng)弱主要取決于傳感器的空間分辨率和地表自然、人文區(qū)域的規(guī)模大?。?7］.

高光譜圖像的譜間相似性的產(chǎn)生原因有2點(diǎn):一是光譜圖像的每個波段圖像的像素值，是相同區(qū)域地物在各個波段的反射值，它們是具有相關(guān)性的，其相關(guān)性的強(qiáng)弱在很大程度上取決于光譜分辨率;二是由于不同波段的圖像所涉及的地面目標(biāo)相同，它們具有相同的空間拓?fù)浣Y(jié)構(gòu).

2.1.3 訓(xùn)練樣本標(biāo)記難以獲得

目前用于高光譜遙感圖像的有監(jiān)督分類算法，由于波段數(shù)量巨大，需要大量正確的訓(xùn)練樣本.然而，獲得樣本標(biāo)記不僅費(fèi)時費(fèi)力，而且在許多情況下，很難對樣本進(jìn)行標(biāo)記，例如森林大火、山體滑坡、洪水和地震，獲得標(biāo)記的訓(xùn)練樣本是不可能的.

另一方面，根據(jù)Hughes的研究結(jié)果［31］，隨著特征空間維數(shù)的增加，類別可分性提高，但由于遙感中常用的監(jiān)督分類方法首先要顧及樣本的分布函數(shù)或者分布函數(shù)中的一些參數(shù)，隨著空間維數(shù)的增加，待估計參數(shù)的急劇增加，在訓(xùn)練樣本數(shù)量一定的條件下，導(dǎo)致分類精度在特征空間的維數(shù)增加到一定數(shù)量后，反而會隨著維數(shù)的增加而下降.為了保持分類精度，通常有2種措施，一是在分類前對原始光譜空間進(jìn)行降維預(yù)處理，得到一個保持了原始空間全局和局部特征結(jié)構(gòu)的低維子空間，然后在低維子空間中進(jìn)行分類判別［32］;二是盡可能增加訓(xùn)練樣本的數(shù)量，由于帶標(biāo)記的訓(xùn)練樣本難以獲得，因此這點(diǎn)通常難以做到.

2.2 高光譜遙感圖像分類

高光譜遙感圖像分類方法以統(tǒng)計模式識別方法占主流，包括傳統(tǒng)遙感圖像分類方法、基于核函數(shù)分類方法和其他分類方法.

1)傳統(tǒng)遙感圖像分類主要分為有監(jiān)督分類和非監(jiān)督分類.監(jiān)督分類包括:最大似然分類法、Bayes分類法、最近鄰分類法、KNN分類法、費(fèi)舍爾判別分類、多尺度自回歸［33］等.這些方法在對高光譜圖像分類時往往無法獲得足夠的訓(xùn)練樣本，容易引起Hughes現(xiàn)象.非監(jiān)督方法主要是聚類法，按照圖像的光譜特征的分布規(guī)律，以某種相似性測度自動聚集成類，其分類結(jié)果只是對不同類別進(jìn)行了區(qū)分，主要包括K均值法、ISODATA法、分級聚類等.

2)核函數(shù)方法通過非線性映射，將輸入空間的樣本映射到高維特征空間中，在高維空間中構(gòu)造分類判決面進(jìn)行分類.核函數(shù)方法包括:SVM、GP、核主成分分析、核函數(shù)費(fèi)舍爾判別法(kernel Fisher discriminant，KFD)、核投影尋蹤法等，這些方法都在高光譜圖像處理中得到了應(yīng)用.

3)其他分類方法主要包括神經(jīng)網(wǎng)絡(luò)分類法［34］、決策樹分類法等.

在高光譜遙感圖像分類上，核函數(shù)方法占有一定優(yōu)勢，原因在于:一方面，高光譜圖像的波段數(shù)一般較大，線性分類器通常很難將其有效分開，核函數(shù)方法可以將輸入空間映射到高維空間，在高維空間更易于找到有效的線性分類器，通?？梢匀〉幂^好的分類效果;另一方面，核函數(shù)方法為非參數(shù)方法，只需要對少數(shù)幾個超參數(shù)進(jìn)行學(xué)習(xí)，速度較快，也比較簡單，而其他參數(shù)方法通常要學(xué)習(xí)很多參數(shù)，學(xué)習(xí)過程較長，也比較復(fù)雜.

SVM因具備能有效處理較多輸入波段，魯棒地處理帶噪聲樣本，產(chǎn)生稀疏解等優(yōu)點(diǎn)，近幾年被成功應(yīng)用于高光譜遙感圖像分類［35－36］.但 SVM 本身也存在著一些問題，如:特定問題中核函數(shù)的選取、核函數(shù)的參數(shù)選擇、如何選取合適的懲罰項(xiàng)來防止過擬合、SVM的估計輸出不具有概率意義.

另外高光譜圖像的空間相關(guān)性可以為分類提供很多有用的信息，正確的使用上下文空間信息可以糾正由于噪聲影響或者分類器缺陷引起的孤立像素錯分，從而提高分類精度.關(guān)于遙感圖像的上下文分類，很多學(xué)者做了有用的探索［37－38］，典型的方法有Kriging［39］、MRF［40］、條件隨機(jī)場(conditional random field，CRF)方法［41］等.CRF是 Lafftery于2001年新提出的方法［42］，Kumar［43］于 2003 年將其有效地運(yùn)用于圖像的人工建筑物檢測，Zhong［41］將其用于高光譜遙感圖像的目標(biāo)檢測.

3 基于GP的高光譜圖像分類

GP和SVM一樣，也是基于核函數(shù)的方法，具有核函數(shù)方法分類的優(yōu)勢.與SVM不同的是，GP具有完全的Bayes公式化表示，所以能夠明確地進(jìn)行概率建模，使結(jié)果更易于解釋.更重要的是，GP的Bayes學(xué)習(xí)提供了一個范式，根據(jù)訓(xùn)練樣本，從先驗(yàn)分布到后驗(yàn)分布的轉(zhuǎn)換，可以對核函數(shù)的超參數(shù)進(jìn)行推理，而SVM對超參數(shù)的選擇卻通常只能采用經(jīng)驗(yàn)法或者交叉驗(yàn)證方法.

高光譜圖像具有高維非線性、空間相關(guān)性和譜間相關(guān)性共存以及訓(xùn)練樣本難以獲得的特點(diǎn);故使用GPC時，應(yīng)充分針對上述特點(diǎn)，將GP進(jìn)行改進(jìn)，使其更適用于高光譜圖像分類.

GP的核函數(shù)可以有多種不同的形式，如線性核函數(shù)、多項(xiàng)式核函數(shù)、高斯核函數(shù)、指數(shù)核函數(shù)等.高光譜圖像中多個譜段的像元之間近似服從高斯分布，故采用高斯形式核函數(shù)的GP來對高光譜圖像進(jìn)行分類較為合理.

標(biāo)準(zhǔn)GPC只利用高光譜圖像的譜間相關(guān)性，并沒有利用空間相關(guān)性.CRF利用高光譜圖像的空間相關(guān)性，可以根據(jù)鄰域像元將錯分類孤立像元類別糾正.構(gòu)造CRF和GP相結(jié)合的GPCRF分類器進(jìn)行高光譜圖像分類，能夠進(jìn)一步提高圖像分類精度.

由于高光譜圖像的訓(xùn)練樣本難以獲得，在少量訓(xùn)練樣本下進(jìn)行監(jiān)督GPC，將給參數(shù)估計帶來較大誤差，導(dǎo)致分類精度嚴(yán)重下降.考慮在遙感圖像上可以獲得大量的無標(biāo)記的訓(xùn)練樣本，在GP中引入半監(jiān)督學(xué)習(xí)思想，充分利用大量無標(biāo)記樣本所蘊(yùn)含的信息輔助分類，構(gòu)造半監(jiān)督高斯過程(semi－supervised Gaussian process，SSGP)分類器，能夠有效克服高光譜圖像訓(xùn)練樣本少的問題.

3.1 實(shí)驗(yàn)數(shù)據(jù)集

下面將詳細(xì)介紹幾種筆者提出的改進(jìn)的GPC算法，并給出相應(yīng)的高光譜圖像分類實(shí)驗(yàn)結(jié)果.首先介紹一下實(shí)驗(yàn)采用的高光譜遙感數(shù)據(jù).

1)高光譜遙感實(shí)驗(yàn)數(shù)據(jù)一是AVIRIS傳感器于1992年拍攝的220個波段印第安納州西北區(qū)域高光譜遙感圖像，圖像大小為145×145，取其中非耕犁玉米地、最小耕犁玉米地、牧草、禾木、干草、非耕犁大豆地、最小耕犁大豆地、完全耕犁大豆地和林地9個不同類別做實(shí)驗(yàn)，見圖1.

圖1 印第安納AVIRIS第25波段Fig.1 Hyperspectral image of AVIRIS in Indiana 92，Band 25

2)高光譜遙感實(shí)驗(yàn)數(shù)據(jù)二是HYDICE傳感器拍攝的華盛頓特區(qū)的某區(qū)域，該子圖有500×307個像元，210個波段，由屋頂、道路、水、草、樹、人造建筑和陰影7個類組成，見圖2.

圖2 華盛頓特區(qū)HYDICE第80波段Fig.2 Hyperspectral image of HYDICE in Washington D.C.，Band 80

在基于GP的高光譜遙感分類中，圖像數(shù)據(jù)表示成D={xi，yi}，xi為某個特定像元，yi為像元xi的類別標(biāo)簽，矢量x表示高光譜像元的波段矢量，若遙感數(shù)據(jù)光譜波段為n維，則每個xi都是n維數(shù)據(jù).

3.2 基于非線性核函數(shù)GP的高光譜圖像分類

高光譜圖像具有高維非線性的特性，而GP是一種非線性Bayes核函數(shù)方法，通過采用非線性核函數(shù)，比如高斯核函數(shù)GP可以較好地解決高光譜遙感圖像的非線性問題.這里用線性核函數(shù)和高斯核函數(shù)分別做實(shí)驗(yàn)進(jìn)行比較.

線性核函數(shù)形式為

高斯核函數(shù)形式為

式中:σf和l均為超參數(shù).用線性核函數(shù)高斯過程分類方法和高斯核函數(shù)高斯過程分類方法其訓(xùn)練時間都為O(n3)，測試時間都為O(mn2)，其中n為訓(xùn)練樣本的個數(shù)，m為測試樣本的個數(shù).這2種分類方法的實(shí)驗(yàn)結(jié)果如圖3.根據(jù)實(shí)驗(yàn)結(jié)果可以看出，2幅不同的高光譜遙感圖像，高斯核函數(shù)GPC精度均明顯優(yōu)于線性核函數(shù)GP.因此可以得出結(jié)論，高斯核函數(shù)的GP更適合于高維非線性高光譜圖像分類.

圖3 2種不同核函數(shù)GP高光譜圖像分類對比Fig.3 Comparing results of linear kernel GP and SE kernel GP classification

3.3 基于GPCRF的高光譜圖像分類

結(jié)合高光譜圖像特點(diǎn)，可以在GPC加上空間相關(guān)性約束，把GP分類框架和CRF框架結(jié)合起來，先通過GP框架求出每個像元的隱函數(shù)值，再將隱函數(shù)值代入到CRF框架中，通過求最大后驗(yàn)法則求出整幅圖像的類別.

3.3.1 GPCRF模型

用于圖像分析時，CRF可以寫成如下形式:

式中:x是觀察值;y是像素點(diǎn)的類別標(biāo)簽;Ai稱為聯(lián)合勢能，Iij稱為相互作用勢能，Ai僅與單個變量xi有關(guān)，Iij則與一對相鄰變量有關(guān);Ni為變量i的鄰域，但它們都與觀察量y而不僅僅與yi有關(guān)系，這里可看出CRF能利用豐富的特征建模.

GP和CRF組合構(gòu)成的GPCRF分類器，可以利用高光譜圖像中的光譜和空間的相互作用，通過用GP中的隱函數(shù)f來代替式(4)中的聯(lián)合勢能，可得式(5):

式中:Z稱為配分函數(shù)，實(shí)際為所有y的取值情況之和.式(5)表示在已知整幅高光譜圖像像元的光譜信息條件下整幅圖像類別的條件概率.根據(jù)最大后驗(yàn)法則，整幅圖像類別y最佳取值為使得條件概率最大時y的取值，故求解時應(yīng)通過估計算法求出后驗(yàn)概率最大值時的y值，就可對整幅圖像所有像元都加上該類別標(biāo)簽.

GPCRF分類方法的訓(xùn)練時間為O(MNn3)，測試時間為O(MNn2)，其中n為訓(xùn)練樣本的個數(shù)，m為測試樣本的個數(shù)，M為整幅圖像的像素點(diǎn)個數(shù)，N為鄰域內(nèi)像素點(diǎn)個數(shù).

3.3.2 實(shí)驗(yàn)結(jié)果及分析

在印第安納遙感圖像和華盛頓特區(qū)遙感圖像上均進(jìn)行了GP分類實(shí)驗(yàn)和GPCRF分類實(shí)驗(yàn).圖像數(shù)據(jù)一中訓(xùn)練樣本與測試樣本數(shù)目比例近似于1:1，圖像數(shù)據(jù)二中訓(xùn)練樣本與測試樣本比例為1:4，其中的GP模型采用Laplace法近似，GPCRF采用ICM(iterated conditional modes)法來計算最大后驗(yàn).

圖4 印第安納圖像不同鄰域階數(shù)GP與GPCRF分類比較Fig.4 Comparing results of Indiana classification accuracy GP and GPCRF in different order numbers

圖5 華盛頓特區(qū)圖像不同鄰域階數(shù)GP與GPCRF分類比較Fig.5 Comparing results of Washington D.C.classification accuracy GP and GPCRF in different order numbers

圖4和圖5表明了2個數(shù)據(jù)集在不同的鄰域階數(shù)下GPCRF方法的平均分類正確率，同時為了進(jìn)行比較，也給出了GP方法的分類結(jié)果.從實(shí)驗(yàn)結(jié)果可以看出，分類正確率基本上隨著鄰域階數(shù)的提高而提高.另外，GPCRF方法的計算時間并沒有隨著鄰域階數(shù)的提高而增加太多.根據(jù)實(shí)驗(yàn)結(jié)果，可以得出2點(diǎn)結(jié)論:1)被分錯的數(shù)據(jù)零散地分布在每個類中，并且隨著鄰域的階數(shù)提高，GPCRF方法中的空間相關(guān)性越來越重要;2)當(dāng)訓(xùn)練樣本的比例相對高的時候，GPCRF可以對高光譜圖像分類得到較好的結(jié)果.

3.4 基于半監(jiān)督GP的高光譜圖像分類

高光譜遙感圖像分類之前，為了避免Hughes現(xiàn)象，應(yīng)先對圖像進(jìn)行特征選擇.針對高光譜圖像特征選擇，目前有很多相關(guān)研究工作［44－46］.然而即使進(jìn)行了特征選擇，由于高光譜遙感圖像難以獲得大量訓(xùn)練樣本標(biāo)記，分類依然是一個小樣本的問題，這就會導(dǎo)致參數(shù)估計帶有大的方差，以致于分類錯誤率較高，而高光譜遙感圖像上大量的無標(biāo)記的樣本可用來進(jìn)行輔助分類［47］.

3.4.1 SSGP數(shù)學(xué)模型

標(biāo)準(zhǔn)GP由其核函數(shù)惟一決定.SSGP通過在數(shù)據(jù)低維流形上加平滑性約束來構(gòu)造半監(jiān)督核函數(shù)，通過半監(jiān)督核函數(shù)來對測試樣本進(jìn)行分類.SSGP中半監(jiān)督核函數(shù)構(gòu)造公式如式(6):

從式(6)可以看出，構(gòu)造半監(jiān)督核函數(shù)的關(guān)鍵是如何選擇M矩陣，以反映我們對于數(shù)據(jù)幾何特性的直覺，該直覺可以來自于無標(biāo)記數(shù)據(jù)的邊緣分布.在文獻(xiàn)［48］中，采用圖拉普拉斯(graph－Laplacian)來描述數(shù)據(jù)的結(jié)構(gòu)，實(shí)現(xiàn)了邊緣分布幾何結(jié)構(gòu)平滑的假設(shè).

SSGP分類方法的訓(xùn)練時間為O(l2n3)，測試時間為O(lmn2)，其中n為訓(xùn)練樣本的個數(shù)，m為測試樣本的個數(shù)，l為未標(biāo)記訓(xùn)練樣本的個數(shù).

3.4.2 實(shí)驗(yàn)結(jié)果及分析

在印第安納遙感圖像和華盛頓特區(qū)遙感圖像上均進(jìn)行了標(biāo)準(zhǔn)GP的分類實(shí)驗(yàn)和SSGP的分類實(shí)驗(yàn).在實(shí)驗(yàn)數(shù)據(jù)一中隨機(jī)選取853個像元作為帶標(biāo)記訓(xùn)練樣本，在實(shí)驗(yàn)數(shù)據(jù)二中隨機(jī)選取1 400個像元作為帶標(biāo)記訓(xùn)練樣本.然后分別在2幅圖像中任意取若干比例的像元作為無標(biāo)記訓(xùn)練樣本，剩下的像元作為測試樣本.通過M=L形式構(gòu)造M矩陣.實(shí)驗(yàn)結(jié)果如圖6和圖7所示.

圖6 印第安納圖像GP與SSGP分類比較Fig.6 Comparing results of Indiana classification accuracy GP and SSGP

圖7 華盛頓特區(qū)圖像GP與SSGP分類比較Fig.7 Comparing results of Washington D.C.classification accuracy GP and SSGP

從這2個數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果中，不難發(fā)現(xiàn)，SSGP方法與有監(jiān)督GP相比，在少量訓(xùn)練樣本的情況下，分類精度有了較大的提高.因此，空間約束的半監(jiān)督GP通過引入未標(biāo)記數(shù)據(jù)信息，使得分類算法性能得到提升，充分顯示了SSGP算法的有效性.

另外，可以看出，當(dāng)無標(biāo)記的訓(xùn)練樣本數(shù)量增加到某個程度后，再提高無標(biāo)記訓(xùn)練樣本數(shù)量，對于分類精度的提升幾乎沒有幫助.這體現(xiàn)了空間流形假設(shè)僅在一定鄰域范圍內(nèi)有效，超出該鄰域范圍，基于空間流形假設(shè)的半監(jiān)督學(xué)習(xí)將不再有效.

4結(jié)論

本文總結(jié)了基于GP的高光譜圖像分類技術(shù)近年來的研究進(jìn)展，重點(diǎn)討論了高光譜圖像本身的特點(diǎn)，以及針對以上特點(diǎn)，將GP適當(dāng)變形，進(jìn)一步提高分類精度的一些算法.基于GP的高光譜遙感圖像分類，仍需要進(jìn)一步的發(fā)展和完善，未來的研究方向如下:

1)高光譜數(shù)據(jù)在空間上和波段上存在著大量冗余.如何針對這一特點(diǎn)來進(jìn)行GP訓(xùn)練樣本的選擇，有效減少訓(xùn)練樣本數(shù)目而又不影響GP預(yù)測和分類精度，這是一個重要的研究目標(biāo).

2)高光譜圖像波段數(shù)較多，地物的光譜曲線連續(xù)，可利用地物物理光學(xué)性質(zhì)的光譜曲線進(jìn)行地物識別.如何將GP分類方法與基于光譜曲線的匹配方法結(jié)合起來，進(jìn)一步提高分類精度，有很大的實(shí)用價值.

3)基于GP的高光譜圖像分類往往先做特征選擇，再進(jìn)行分類，這2個步驟是割裂的，相互之間幾乎沒有聯(lián)系.如何將特征選擇和GP分類有機(jī)結(jié)合起來，使得特征選擇的結(jié)果更適用于分類，也是值得研究的一個問題.

［1］WIENER N.Extrapolation，interpolation，and smoothing of stationary time series，with engineering applications［M］.Cambridge，USA:MIT Press，1949:102－106.

［2］MATHERON G.The intrinsic random functions and their applications［J］.Advances in Applied Probability，1973，5(3):439－468.

［3］JOURNEL A G，HUIJBREGTS C J.Mining geostatistics［M］.New York，USA:Springer－Verlag，1978:304－310.

［4］THOMPSON P D.Optimum smoothing of two－dimensional fields［J］.Tellus，1956，8(3):384－393.

［5］DALEY R.Atmospheric data analysis［M］.Cambridge，UK:Cambridge University Press，1993:99－107.

［6］WHITTLE P.Prediction and regulation by linear leastsquare methods［M］.London，UK:English Universities Press，1984:58－69.

［7］RIPLEY B D.Spatial statistics［M］.Hoboken，USA:Wiley－IEEE，2004:44－50.

［8］CRESSIE N.Statistics for spatial data［J］.Terra Nova，1992，4(5):613－617.

［9］O’HAGAN A，KINGMAN J F C.Curve fitting and optimal design for prediction［J］.Journal of the Royal Statistical Society:Series B(Methodological)，1978，40(1):1－42.

［10］SACKS J，WELCH W J，MITCHELL T J，et al.Design and analysis of computer experiments［J］.Statistical Science，1989，4(4):409－423.

［11］SANTNER T J，WILLIAMS B J，NOTZ W.The design and analysis of computer experiments［M］.New York，USA:Springer－Verlag，2003:61－65.

［12］WILLIAMS C K I，RASMUSSEN C E.Gaussian processes for regression［M］.Cambridge，USA:MIT Press，1996:25－37.

［13］RASMUSSEN C E，WILLIAMS C K.Gaussian processes for machine learning［M］.Cambridge，USA:MIT Press，2006:15－30.

［14］WILLIAMS C K I，BARBER D.Bayesian classification with Gaussian processes［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(12):1342－1351.

［15］GIBBS M N，MACKAY D J C.Variational Gaussian process classifiers［J］.IEEE Transactions on Neural Networks，2000，11(6):1458－1464.

［16］NEAL R.Regression and classification using Gaussian process priors［J］.Bayesian Statistics，1998，6(10):475－501.

［17］CHANG C I.Hyperspectral imaging:techniques for spectral detection and classification［M］.New York，USA:Kluwer Academic Plenum Publishers，2003:8－16.

［18］MINKA T P.A family of algorithms for approximate Bayesian inference［D］.Cambridge:Massachusetts Institute of Technology，2001:36－48.

［19］GIBBS M N，MACKAY D J C.Variational Gaussian process classifiers［J］.IEEE Transactions on Neural Networks，2002，11(6):1458－1464.

［20］SEEGER M.Bayesian model selection for support vector machines，Gaussian processes and other kernel classifiers［M］//SOLLA S A，LEEN T K，MULLER K L.Advances in Neural Information Processing Systems.Cambridge，USA:the MIT Press，2000:603－609.

［21］SHAWE－TAYLOR J，CRISTIANINI N.Kernel methods for pattern analysis［M］.Cambridge，UK:Cambridge University Press，2004:48－57.

［22］FLETCHER R.Practical methods of optimization:constrained optimization［M］.Hoboken，USA:John Wiley＆Sons Inc，1984:87－94.

［23］NOCEDAL J，WRIGHT S J.Numerical optimization［M］.New York，USA:Springer－Verlag，1999:53－64.

［24］URTASUN R，DARRELL T.Discriminative Gaussian process latent variable model for classification［C］//International Conference on Machine Learning.Corvallis，USA，2007:934－937.

［25］BAUDAT G，ANOUAR F.Generalized discriminant analysis using a kernel approach［J］.Neural Computation，2000，12(10):2385－2404.

［26］SUGIYAMA M.Local Fisher discriminant analysis for supervised dimensionality reduction［C］//International Conference on Machine Learning.Pittsburgh，USA，2006:905－912.

［27］GROCHOW K，MARTIN S L，HERTZMANN A，et al.Style－based inverse kinematics［J］.ACM Transactions on Graphics，2004，23(3):522－531.

［28］CSAT L.Gaussian processes:iterative sparse approximation［D］.Birmingham，UK:Aston University，2005:26－34.

［29］ZHU Xiaojin，GHAHRAMANI Z，LAFFERTY J.Semi－supervised learning using Gaussian fields and harmonic functions［C］//Proceedings of the 20th International Confer－ence on Machine Learning.Washington，DC， USA，2003:912－914.

［30］SINDHWANI V，CHU W，KEERTHI S S.Semi－supervised Gaussian process classifiers［C］//International Joint Conference on Artificial Intelligence.Hyderabad，India，2007:1059－1064.

［31］HUGHES G.On the mean accuracy of statistical pattern recognizers［J］.IEEE Transactions on Information Theory，1968，14(1):55－63.

［32］QIAN Y，YAO F，JIA S.Band selection for hyperspectral imagery using affinity propagation［J］.IET Computer Vision，2010，3(4):213－222.

［33］賀霖，潘泉，邸韋華，等.高光譜圖像高維多尺度自回歸有監(jiān)督檢測［J］. 自動化學(xué)報，2009，35(5):509－518.

HE Lin，PAN Quan，DI Weihua，et al.Supervised detection for hyperspectral imagery based on high dimensional multiscale autoregression［J］.Acta Automatica Sinica，2009，35(5):509－518.

［34］熊楨，童慶禧.用于高光譜遙感圖象分類的一種高階神經(jīng)網(wǎng)絡(luò)算法［J］.中國圖象圖形學(xué)報，2000，5(3):196－201.

XIONG Zhen，TONG Qingxi.High－rank artificial neural network algorithm for classification of hyperspectral image data［J］.Journal of Image and Graphics，2000，5(3):196－201.

［35］MELGANI F，BRUZZONE L.Classification of hyperspectral remote sensing images with support vector machines［J］.IEEE Transactions on Geoscience and Remote Sensing，2004，42(8):1778－1790.

［36］劉春紅.超光譜遙感圖像降維及分類方法研究［D］.哈爾濱:哈爾濱工程大學(xué)，2005:86－94.

LIU Chunhong.Research on dimensional reduction and classification of hyperspectral remote sensing image［D］.Harbin:Harbin Engineering University，2005:86－94.

［37］KITTLER J，PAIRMAN D.Contextual pattern recognition applied to cloud detection and identification［J］.IEEE Transactions on Geoscience and Remote Sensing，2007，23(6):855－863.

［38］姚伏天，錢沄濤.用于高光譜遙感圖像分類的空間約束高斯過程方法［J］.南京大學(xué)學(xué)報:自然科學(xué)版，2009，45(5):665－670.

YAO Futian，QIAN Yuntao.A spatial Gaussian process method for hyperspectral remote sensing imagery classification［J］.Journal of Nanjing University:Natural Sciences，2009，45(5):665－670.

［39］ROSSI R E，DUNGAN J L，BECK L R.Kriging in the shadows:geostatistical interpolation for remote sensing［J］.Remote Sensing of Environment，1994，49(1):32－40.

［40］DENG H，CLAUSI D A.Advanced Gaussian MRF rotation－invariant texture features for classification of remote sensing imagery［C］//Computer Society Conference on Computer Vision and Pattern Recognition.Madison，USA，2003:685－689.

［41］ZHONG Ping，WANG Runsheng.A multiple conditional random fields ensemble model for urban area detection in remote sensing optical images［J］.IEEE Transactions on Geoscience and Remote Sensing，2007，45(12):3978－3988.

［42］LAFFERTY J，MCCALLUM A，PEREIRA F.Conditional random fields:probabilistic models for segmenting and labeling sequence data［C］//Proceedings of the Eighteenth International Conference on Machine Learning.Williamstown，USA，2001:282－289.

［43］KUMAR S，HEBERT M.Discriminative random fields［J］.International Journal of Computer Vision，2006，68(2):179－201.

［44］LI Jiming，HU Zhenfang，QIAN Yuntao.Hyperspectral data classification using margin infused relaxed algorithm［C］//International Conference on Image Processing.Hong Kong，China，2009:1669－1672.

［45］LI Jiming，QIAN Yuntao.Regularized multinomial regression method for hyperspectral data classification via pathwise coordinate optimization［C］//Digital Image Computing:Techniques and Applications.Melbourne，Australia，2009:540－545.

［46］YAO Futian，Qian Yuntao.Band selection based Gaussian processes for hyperspectral remote sensing images classification［C］//International Conference on Image Processing.Hong Kong，China，2009:2845－2848.

［47］VATSAVAI R R，SHEKHAR S，BURK T E.A semi－supervised learning method for remote sensing data mining［C］//International Conference on Tools with Artificial Intelligence.Hong Kong，China，2005:205－211.

［48］BELKIN M，NIYOGI P，SINDHWANI V.Manifold regularization:a geometric framework for learning from labeled and unlabeled examples［J］.The Journal of Machine Learning Research，2006，7:2399－2434.

姚伏天，男，1976年生，博士研究生，主要研究方向?yàn)槟Ｊ阶R別、機(jī)器學(xué)習(xí)、高光譜成像信息處理，發(fā)表學(xué)術(shù)論文20余篇.

錢沄濤，男，1968年生，教授，博士生導(dǎo)師，中國計算機(jī)學(xué)會人工智能與模式識別專業(yè)委員會委員、模糊邏輯與多值邏輯專業(yè)委員會委員.主要研究方向?yàn)槟Ｊ阶R別、機(jī)器學(xué)習(xí)、信號處理，承擔(dān)多項(xiàng)國家自然科學(xué)基金項(xiàng)目、國際合作基金項(xiàng)目和省部級重點(diǎn)科技項(xiàng)目，發(fā)表學(xué)術(shù)論文70余篇.

Gaussian process and its applications in hyperspectral image classification

YAO Futian1，2，QIAN Yuntao1，2
(1.College of Computer Science，Zhejiang University，Hangzhou 310027，China;2.Institute of Artificial Intelligence，Zhejiang University，Hangzhou 310027，China)

Hyperspectral image classification is one of the hotspots in the field of remote sensing applications.The classification performance is affected by the inherit characteristics of hyperspectral imaging.Gaussian process(GP)is a recently developed machine learning method which enables explicitly probabilistic modeling and makes results easily interpretable.Furthermore，hyper－parameters of GP can be learned from training data，which overcomes the difficulties of fixing model parameters in most classifiers.This paper introduced the basic concept of GP and some GP－based classification methods.After analyzing the characteristics of hyperspectral imaging and the existing classification methods for hyperspectral images，GP based classification for hyperspectral images was discussed，and some new GP－based classification methods such as GP with spatial constraints and semisupervised GP methods were proposed.Finally，several future research trends of GP and hyperspectral image classification were given.

Gaussian process;hyperspectral imaging;machine learning;image classification

TP181

A

1673－4785(2011)05－0396－09

10.3969/j.issn.1673－4785.2011.05.003

2010－10－19.

國家自然科學(xué)基金資助項(xiàng)目(60872071).

錢沄濤.E－mail:ytqian@zju.edu.cn.