神經(jīng)網(wǎng)絡(luò)敏感性分析及其在遙感影像分類中的應(yīng)用

邢海花，余先川

(1.北京師范大學(xué)信息科學(xué)與技術(shù)學(xué)院，北京 100875;2.海南師范大學(xué)信息科學(xué)與技術(shù)學(xué)院，海南?？?571158)

0 引言

敏感性分析是一種定量描述模型輸入變量對輸出變量的重要性程度的方法，假設(shè)模型表示為y=f(x1，x2，…，xn)(xi為模型的第i個(gè)屬性值)，令每個(gè)屬性在可能的取值范圍內(nèi)變動(dòng)，研究和預(yù)測這些屬性的變動(dòng)對模型輸出值的影響程度(蔡毅等，2008)。將影響程度的大小稱為該屬性的敏感性系數(shù)，敏感性系數(shù)越大，說明該屬性對模型輸出的影響越大。敏感性分析的核心目的就是通過對模型的屬性進(jìn)行分析，篩選出重要屬性，約簡模型。經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)敏感性分析方法主要有:(1)基于連接權(quán)的敏感性分析方法，如 Garson算法(Garson，1991)、Tchaban 方法(Tchaban et al，1998)等;(2)基于輸出對輸入變量的求偏導(dǎo)的敏感性分析方法，如Dimoponlos方法(Dimoponlos et al，1995)、Ruck 方法(Ruck et al，1990)等;(3)與統(tǒng)計(jì)方法結(jié)合的敏感性分析方法(Olden et al，2002);(4)基于輸入變量擾動(dòng)的敏感性分析方法(Scardi et al，1999)。

然而，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、初始連接權(quán)值和閾值的選擇對網(wǎng)絡(luò)的訓(xùn)練結(jié)果和敏感性分析有很大的影響，針對基于連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析方法中求取敏感性系數(shù)的不穩(wěn)定性，提出一種遺傳算法優(yōu)化連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析方法。

1 基于連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析

神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練可以獲得輸出變量大于輸入變量的數(shù)值函數(shù)關(guān)系及各層神經(jīng)元間的連接權(quán)值，敏感性分析利用這個(gè)關(guān)系及連接權(quán)值可以得到輸入變量對輸出變量的重要性。以下提到的神經(jīng)網(wǎng)絡(luò)都假定為3層前向網(wǎng)絡(luò)，輸入層、隱含層、輸出層神經(jīng)元個(gè)數(shù)分別為N、L、M，(x1，…，xN)為輸入變量，(y1，…，yM)為輸出變量，w=wijNL為輸入層與隱含層間連接權(quán)重，v=vjkLM為隱含層與輸出層間的連接權(quán)重。f(netj)和f(netk)分別表示隱層神經(jīng)元j的激活函數(shù)、輸出神經(jīng)元k的激活函數(shù)，隱層各神經(jīng)元激活函數(shù)一致，輸出層各神經(jīng)元激活函數(shù)一致。網(wǎng)絡(luò)有m個(gè)訓(xùn)練樣本，n個(gè)測試樣本。

1.1 Garson方法

Garson算法(Garson，1991)是基于連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析方法的一個(gè)代表，用連接權(quán)值的乘積來計(jì)算輸入變量對輸出變量的影響程度或稱相對貢獻(xiàn)值。輸入變量xi對輸出變量yk的影響程度(貢獻(xiàn)值)為:

式(1)中，由于連接權(quán)wij和vjk的值有正有負(fù)，在累加的過程中會弱化xi對yk的影響，導(dǎo)致結(jié)果不正確。在對神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法研究和反復(fù)實(shí)驗(yàn)過程中發(fā)現(xiàn)，將公式(1)改造為公式(2)更能真實(shí)客觀地反映輸入對輸出的重要性。

經(jīng)過分析和公式推算，發(fā)現(xiàn)公式(2)可化簡為:

1.2 Tchaban 方法

2 遺傳算法及改進(jìn)策略

遺傳算法(GA)是一種借鑒自然界自然選擇和進(jìn)化機(jī)制發(fā)展起來的自適應(yīng)搜索算法。它使用了群體搜索技術(shù)，將種群代表一組問題解，通過對當(dāng)前種群進(jìn)行選擇、交叉和變異等一系列遺傳操作，產(chǎn)生新一代的種群，并逐步使種群進(jìn)化到包含近似最優(yōu)解的狀態(tài)。由于其思想簡單、易于實(shí)現(xiàn)及其健壯性，已廣泛應(yīng)用在問題求解、優(yōu)化和搜索、機(jī)器學(xué)習(xí)、智能控制、模式識別和人工生命等領(lǐng)域(Lam et al，2001)。

根據(jù)預(yù)測樣本的預(yù)測值與期望值的誤差最小原則，使用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)值和閾值，使得優(yōu)化后的神經(jīng)網(wǎng)絡(luò)能夠更好地進(jìn)行樣本預(yù)測和分類，并在優(yōu)化的神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行敏感性分析。改進(jìn)策略和步驟如下。

步驟2:對神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值編碼，得到初始種群。遺傳算法不能直接處理問題空間的參數(shù)，必須通過編碼把要求問題的可行解表示成遺傳空間的染色體或個(gè)體。常用的編碼方法有位串編碼、Grey編碼、實(shí)數(shù)編碼等。筆者采用10位的二進(jìn)制編碼。

步驟5:通過選擇，交叉，變異算子操作產(chǎn)生新種群。采用輪盤賭法以0.9的概率選擇優(yōu)良個(gè)體組成新種群;隨機(jī)選擇種群中2個(gè)個(gè)體進(jìn)行單點(diǎn)交叉以產(chǎn)生新的優(yōu)秀個(gè)體，交叉概率設(shè)為0.7;為了維持種群的多樣性，以0.01的概率產(chǎn)生變異基因數(shù)。

步驟6:產(chǎn)生的新種群滿足要求或者達(dá)到遺傳迭代次數(shù)則解碼得到最佳神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，否則轉(zhuǎn)步驟3。

步驟7:在最優(yōu)化并且穩(wěn)定的神經(jīng)網(wǎng)絡(luò)權(quán)值基礎(chǔ)上進(jìn)行敏感性分析。應(yīng)用遺傳算法優(yōu)化后的連接權(quán)值作為BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)，應(yīng)用上述基于連接權(quán)的敏感性分析公式(3)、公式(4)求出各輸入變量的敏感系數(shù)，根據(jù)敏感系數(shù)篩選出主要輸入變量，去掉對輸出貢獻(xiàn)不大(敏感系數(shù)較小)的輸入變量，約簡神經(jīng)網(wǎng)絡(luò)的模型。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)一:多元線性函數(shù)擬合及各輸入重要性

函數(shù)中輸入、輸出的關(guān)系已經(jīng)很明確，各個(gè)輸入變量對輸出的影響也已知。設(shè)計(jì)本實(shí)驗(yàn)的目的是測試在能實(shí)現(xiàn)函數(shù)高精度擬合的遺傳算法優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型上，所求取的敏感性系數(shù)是否穩(wěn)定并能真實(shí)反映個(gè)輸入變量的重要性程度。對于每個(gè)變量隨機(jī)產(chǎn)生1 000個(gè)0～1之間的隨機(jī)數(shù)，800個(gè)作為訓(xùn)練數(shù)據(jù)，100個(gè)作為校驗(yàn)數(shù)據(jù)，100個(gè)作為測試數(shù)據(jù)。應(yīng)用筆者提出的遺傳算法優(yōu)化連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析方法(SA-GA-BP)求取各個(gè)輸入變量的敏感系數(shù)，實(shí)驗(yàn)重復(fù)進(jìn)行10次，結(jié)果如圖1所示。

圖1 函數(shù)中各變量的敏感性系數(shù)

從圖1中可以看到優(yōu)化后的連接權(quán)敏感性分析，所求得的敏感系數(shù)基本穩(wěn)定，敏感系數(shù)的大小反映了輸入變量的重要程度，跟函數(shù)關(guān)系中所表示的一致。

3.2 實(shí)驗(yàn)二:遙感影像分類及波段篩選

實(shí)驗(yàn)數(shù)據(jù)選用HYDICE光譜儀所獲取的華盛頓廣場地區(qū)的公共測試圖像，191個(gè)波段，該圖像中包含草地、屋頂以及道路等7種類別地物(Landgrebe，2003)，如圖2所示。使用ENVI 4.6選擇標(biāo)準(zhǔn)差最大的10個(gè)波段作為輸入屬性，分別是波段55，75，103，133，141，155，168，181，184，190。實(shí)驗(yàn)?zāi)康氖菫榱藴y試所提優(yōu)化連接權(quán)的敏感性分析方法篩選對分類貢獻(xiàn)大的主要波段的穩(wěn)定性，以及此方法篩選主要波段對提高遙感影像地物分類精度的有效性。實(shí)驗(yàn)中分別選用各類地物的500個(gè)像素點(diǎn)作為訓(xùn)練樣本，整幅圖像的全部像素點(diǎn)作為測試。應(yīng)用遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)敏感性分析方法(SA-GA-BP)篩選出5重要波段，與傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)(使用以上10個(gè)波段)，與用遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)方法(GA-BP，使用以上10個(gè)波段)進(jìn)行遙感影像分類實(shí)驗(yàn)比較，分類精度見表1。

圖2 華盛頓廣場地區(qū)圖像及各類地物參考圖

表1 3種方法的分類精度

從表1中可以看出，GA-BP方法對水體、樹木，街道等各類地物識別有明顯的優(yōu)勢，分類精度比標(biāo)準(zhǔn)的BP有明顯的提高。SA-GA-BP方法只使用篩選出的5個(gè)重要波段進(jìn)行分類，有效地約簡了模型，并且分類精度也有所提高，說明基于優(yōu)化的神經(jīng)網(wǎng)絡(luò)進(jìn)行敏感性分析能有效地篩選出對分類貢獻(xiàn)較大的波段，約簡模型提高效率，并提高了模型的分類精度。

4 結(jié)論

人工神經(jīng)網(wǎng)絡(luò)有很好地預(yù)測和分析非線性關(guān)系的能力，但容易陷入局部極值且收斂速度慢，而遺傳算法有很強(qiáng)的全局尋優(yōu)能力。因此將兩者結(jié)合，針對基于連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析方法的不穩(wěn)定性，提出遺傳算法優(yōu)化連接權(quán)的神經(jīng)網(wǎng)絡(luò)敏感性分析方法。優(yōu)化后的人工神經(jīng)網(wǎng)絡(luò)測試誤差有明顯的改善，連接權(quán)穩(wěn)定，從而得到穩(wěn)定的敏感性系數(shù)，根據(jù)敏感系數(shù)大小能有效地篩選出對輸出貢獻(xiàn)大的屬性。應(yīng)用此敏感性分析方法可以較客觀地篩選出對地物分類貢獻(xiàn)較大的主要波段。

蔡毅，邢巖，胡丹.2008.敏感性分析綜述［J］.北京師范大學(xué)學(xué)報(bào):自然科學(xué)版，44(1):9－16.

李方，閆永慧.2012.BP小波神經(jīng)網(wǎng)絡(luò)在邊坡位移預(yù)測中的應(yīng)用［J］.地質(zhì)學(xué)刊，36(2):134－137.

余先川，代莎，胡丹，等.2011.基于Lasso函數(shù)的分層混合模糊－神經(jīng)網(wǎng)絡(luò)及其在遙感影像分類中的應(yīng)用［J］.地球物理學(xué)報(bào)，54(6):1672－1678.

DIMOPOULOS Y，BOURRET P，LEK S.1995.Use of some sensitivity criteria for choosing networks with good generalization ability［J］.Neural Processing Letters，2(6):1 － 4.

GARSON G D.1991.Interpreting neural network connection weights［J］.Artificial Intelligence Expert，6(4):47 － 51.

GEVREY M，DIMOPOULOS I，LEK S.2003.Review and comparison of methods to study the contribution of variables in Artificial Neural Network models［J］.Ecological Modeling，160(3):249－264.

GEVREY M，DIMOPOULOS I，LEK S.2006.Two-way interaction of input variables in the sensitivity analysis of neural network models［J］.Ecological Modeling，195(1/2):43－50.

LAM H K，LING S H，LEUNG F H F，et al.2001.Tuning of the Structure and Parameters of Neural Network Using an Improved Genetic Algorithm［C］//IECON'01:the 27th annual conference of the IEEE Industrial Electronics Society.Denver，Colorado，USA:IEEE，25 －30.

LANDGREBE D A.2003.Signal theory methods in multispectral remote sensing［M］.Hoboken，New Jersey，USA:Wiley Interscience.

OLDEN J D，JACKSON D A.2002.Illuminating the“black box”:a randomization approach for understanding variable contributions in artificial neural networks［J］.Ecological Modeling，154(1/2):135 －150.

RUCK D W，ROGERS S K，KABRISKY M.1990.Feature selection using a multilayer perceptron［J］.Journal of Neural Network Computing，2(2):40 －48.

SCARDI M，HARDING L W.1999.Developing an empirical model of phytoplankton primary production:a neural network case study［J］.Ecological Modeling，120(2/3):213－223.

TCHABAN T，TAYLOR M J，GRIFFIN A.1998.Establishing impacts of the inputs in a feedforward neural network［J］.Neural Compute Application，7(4):309 －317.