基于卷積神經(jīng)網(wǎng)絡(luò)和穩(wěn)定性選擇的農(nóng)作物植被光譜分析方法

段欣榮 曹見(jiàn)飛 張寶雷 王召海

(山東師范大學(xué)地理與環(huán)境學(xué)院，250358，濟(jì)南)

1 引 言

農(nóng)作物分類是精細(xì)化農(nóng)業(yè)、可持續(xù)發(fā)展農(nóng)業(yè)等領(lǐng)域的重要研究?jī)?nèi)容[1].遙感技術(shù)與傳統(tǒng)的實(shí)地調(diào)查相比具有快速高效、大面積同步觀測(cè)的特點(diǎn)，已經(jīng)成為農(nóng)作物精細(xì)識(shí)別的重要手段.隨著遙感技術(shù)的發(fā)展，新興的高光譜技術(shù)獲得多且連續(xù)的反射光譜信息，具有更高精度農(nóng)作物信息識(shí)別的潛力，同樣農(nóng)作物生化參數(shù)的光譜分析難度也隨之增加[2,3].

同一季節(jié)的農(nóng)作物植被光譜特征相似，在受自然環(huán)境的影響下存在大量的干擾信息，掩蓋部分可用的特征波段，精確提取表達(dá)植被生化參數(shù)的特征波段難度較大，在多分類中該問(wèn)題尤為突出.現(xiàn)有的農(nóng)作物光譜分析方法一般通過(guò)光譜預(yù)處理方法提取特征波段，然后利用這些特征參數(shù)構(gòu)建光譜信息識(shí)別模型[4-8].李喆利用微分法與包絡(luò)線去除法識(shí)別敏感的特征吸收峰，提取光譜吸收特征參數(shù)，構(gòu)建估算草地光合有效輻射吸收率的光譜特征參數(shù)模型[4].黃雙燕等通過(guò)單因素方差分析選擇農(nóng)作物光譜特征變量，利用不同機(jī)器學(xué)習(xí)驗(yàn)證特征變量的有效性[5].Cao等提取光譜特征、紋理特征和植被指數(shù)，構(gòu)建識(shí)別紅樹(shù)林樹(shù)種的多變量支持向量機(jī)模型[6].劉小丹等采用主成分分析和連續(xù)投影算法提取特征波長(zhǎng)，利用偏最小二乘判別分析和支持向量機(jī)鑒別雜交稻品系[7].Xie等采用改進(jìn)的gramm-schmidt方法識(shí)別有效波長(zhǎng)，利用極端學(xué)習(xí)機(jī)和判別分析光譜模型對(duì)綠豆種類進(jìn)行識(shí)別[8].以上學(xué)者為解決農(nóng)作物植被光譜分析中特征波段難提取的問(wèn)題，提供了各種有效的思路.然而這些研究中，光譜預(yù)處理和特征選擇成為識(shí)別模型構(gòu)建之前必不可少的步驟，這不僅增加分類結(jié)果的不穩(wěn)定性，且使得模型構(gòu)建繁瑣且復(fù)雜[4-9].因此，急需一種統(tǒng)一高效的光譜分析方法解決現(xiàn)有模型存在的問(wèn)題.

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)被認(rèn)為是一種不依賴特征工程便可識(shí)別隱含特征的非線性函數(shù)，其權(quán)值共享及池化操作等特性使其成為高性能的分類方法，在遙感圖像分類領(lǐng)域應(yīng)用廣泛[10].CNN通過(guò)卷積核池化操作可以準(zhǔn)確的提取數(shù)據(jù)局部特征，深層次地表達(dá)分類對(duì)象的特性，近年來(lái)在醫(yī)學(xué)電波檢測(cè)、分子結(jié)構(gòu)光譜識(shí)別等研究領(lǐng)域被證實(shí)，CNN卷積核池化操作對(duì)光譜信息具有抑制噪聲，準(zhǔn)確地表達(dá)光譜潛在特征[11-13].但有關(guān)這類模型較少的被推廣到農(nóng)作物光譜精細(xì)化識(shí)別研究中.然而CNN屬于“黑盒子”，復(fù)雜的計(jì)算過(guò)程難以被解釋，CNN應(yīng)用研究中大多只是論述其應(yīng)用結(jié)果.由Meinshausen等[14]于2010年提出的穩(wěn)定性特征選擇方法(Stablity Selection, STS)，是一種基于二次抽樣和選擇算法相結(jié)合的方法，被廣泛用于分類模型的特征選擇可視化，為農(nóng)作物植被光譜特征選擇提供了新途徑.本文首次整合STS和CNN，構(gòu)建改進(jìn)的農(nóng)作物植被光譜分析統(tǒng)一方法.簡(jiǎn)化特征選擇和光譜預(yù)處理要求，提高農(nóng)作物光譜識(shí)別準(zhǔn)確率；同時(shí)計(jì)算出表征不同農(nóng)作物植被特性的特征波段；與人工定義的光譜特征波段對(duì)比，能夠解釋CNN光譜模型的特征表達(dá)能力以及對(duì)光譜干擾信息的抗干擾能力.

2 方 法

2.1卷積神經(jīng)網(wǎng)絡(luò)CNN在人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展而來(lái)，是一種前饋神經(jīng)網(wǎng)絡(luò).其是通過(guò)逐層壓縮提取特征，學(xué)習(xí)識(shí)別多維數(shù)據(jù)的內(nèi)部聯(lián)系.相比人工神經(jīng)網(wǎng)絡(luò)，CNN具有卷積和池化層等特殊結(jié)構(gòu)，通過(guò)局部連接和權(quán)值共享有效減少網(wǎng)絡(luò)的訓(xùn)練權(quán)值，使得多層神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)得以體現(xiàn).

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

典型CNN一般由卷積層、池化層、全連接層和輸出層組成(如圖1).卷積層中神經(jīng)元通過(guò)卷積核與輸入進(jìn)行局部連接，并通過(guò)對(duì)應(yīng)的連接權(quán)值與局部輸入進(jìn)行加權(quán)求，然后通過(guò)一個(gè)非線性函數(shù)進(jìn)行激活.卷積層定義為

yj=f(bj+∑ikij*xi).

(1)

式(1)中,xi和yj分別是第i個(gè)輸入特征圖和第j個(gè)輸出特征圖；kij是兩個(gè)特征圖之間的卷積核；*符號(hào)表示卷積；bj是第j個(gè)輸出特征圖的偏置；f(z)是非線性激活函數(shù)如Sigmoid函數(shù)、Tanh函數(shù)、ReLU函數(shù)等被卷積層中的全部單元共享.

緊跟卷積層的是池化層，對(duì)卷積層提取的局部特征進(jìn)行下采樣，減少網(wǎng)絡(luò)中參數(shù)并提高學(xué)習(xí)網(wǎng)絡(luò)的魯棒性.池化層定義為

yj=f(wjDO(xi+bj)).

(2)

式(2)中,xi和yj分別是第i個(gè)輸入特征圖和第j個(gè)輸出特征圖；DO()表示采樣函數(shù)，一般選用隨機(jī)采樣、均值采樣、最大值采樣等；wj為權(quán)值；bj為偏置.

本研究中不使用全連接層(多層感知器)以避免過(guò)擬合問(wèn)題.將卷積-池化層輸出的特征綜合起來(lái)，最后由通用的Softmax多分類器進(jìn)行分類識(shí)別.Softmax多分類器的分類過(guò)程可表達(dá)為,

(3)

其相當(dāng)于一個(gè)壓縮函數(shù)，將一個(gè)K維的映射向量的值轉(zhuǎn)換成取值都介于(0，1)之間的值，且相加和為1.

(4)

然后在路徑中選取被選概率較大的變量進(jìn)入最終模型Sstable，其中被選概率的閾值0<是新的調(diào)整參數(shù)，

(5)

2.3改進(jìn)的光譜分析方法高精度的光譜識(shí)別和特征波段提取是光譜分析方法的兩個(gè)重要方面.為了獲得高效統(tǒng)一的農(nóng)作物植被光譜分析方法，且更好的了解CNN對(duì)農(nóng)作物光譜識(shí)別過(guò)程，本文通過(guò)整合STS與CNN提出一種改進(jìn)的光譜分析方法.該方法計(jì)算過(guò)程如圖2所示,首先以農(nóng)作物植被光譜識(shí)別最優(yōu)化為導(dǎo)向，構(gòu)建最佳CNN光譜模型；樣本數(shù)據(jù)訓(xùn)練CNN光譜模型后，獲得農(nóng)作物植被光譜識(shí)別結(jié)果.同時(shí)，將CNN光譜模型的卷積-池化輸出作為穩(wěn)定性特征選擇的特征集合；利用穩(wěn)定性特征選擇算法重新迭代訓(xùn)練Softmax多分類器(CNN光譜模型的輸出層)，得到特征子集與分類類別的相關(guān)性得分；最后用特征子集的位置乘以卷積核步長(zhǎng)和池化步長(zhǎng)，反向推算出特征子集對(duì)應(yīng)的光譜波段.本研究將此光譜分析方法稱為CNNFS.相對(duì)于傳統(tǒng)的CNN模型，CNNFS的優(yōu)勢(shì)在于將光譜分析的光譜識(shí)別和特征波段提取兩個(gè)步驟整合在一起，實(shí)現(xiàn)了農(nóng)作物植被光譜分析的統(tǒng)一方法.另外，CNNFS在保留CNN整個(gè)運(yùn)算過(guò)程的同時(shí)計(jì)算出潛在的光譜特征波段，為解釋CNN光譜模型卷積池化層提取特征能力提供了重要依據(jù).

圖2 改進(jìn)的光譜分析方法(CNNFS)計(jì)算過(guò)程

3 實(shí) 驗(yàn)

3.1光譜測(cè)量與預(yù)處理選取10種同一時(shí)間生長(zhǎng)狀態(tài)下的農(nóng)作物植被作為研究對(duì)象：玉米、大豆、豆角、葡萄、大棗、辣椒、秋葵、芥藍(lán)、韭菜和草皮，每種野外選取100個(gè)新鮮樣本.光譜測(cè)定使用美國(guó)ASD FieldSpec3地物光譜儀、光譜范圍350～2 500 nm，采樣間隔為1.377 nm(350～1 000)和2 nm(1 000～2 500 nm).光譜測(cè)量地點(diǎn)為山東省龍口市北部平原地區(qū).該地區(qū)屬于溫帶季風(fēng)性氣候，農(nóng)作物種類繁多，分布廣泛.為對(duì)應(yīng)遙感應(yīng)用中的光譜分析問(wèn)題，光譜測(cè)量選擇在2017年8月，測(cè)量環(huán)境條件選擇在陰天、晴天、有風(fēng)和無(wú)風(fēng)等不同天氣狀態(tài)下，刻意增加野外光譜的不確定.自然狀態(tài)下，光譜探頭垂直，保持距離樣本目標(biāo)10 cm且連續(xù)獲取10條光譜，取平均值作為原始光譜值.由于野外大氣水汽吸收干擾，導(dǎo)致1 350～1 450 nm、1 800～1 950 nm和2 450～2 500 nm光譜反射率波動(dòng)很大，對(duì)于農(nóng)作物精細(xì)分類屬于無(wú)用信息，將其剔除.

另外，增加農(nóng)作物野外植被光譜預(yù)處理實(shí)驗(yàn)，分析CNN光譜分析模型在不同測(cè)量條件下的表現(xiàn).野外光譜的干擾信息主要源于野外光譜采集過(guò)程中外界環(huán)境干擾，包括空氣中水汽、農(nóng)作物葉片上的滯塵和測(cè)量背景環(huán)境變換等，將這些干擾信息總結(jié)為儀器噪聲、光譜基線和光譜散射[15].為消除干擾信息，突出光譜的特征值，選擇卷積平滑(SavGol)、二階微分變換(Deriv2)和變量標(biāo)準(zhǔn)化(SNV)3種預(yù)處理方法對(duì)原始光譜進(jìn)行預(yù)處理操作，分別抑制儀器噪聲、光譜基線和光譜散射的干擾影響[15,16].

3.2分類模型構(gòu)建基于TensorFlow和Sklearn機(jī)器學(xué)習(xí)框架，采用python語(yǔ)言進(jìn)行編程.將1 000個(gè)樣本劃分為訓(xùn)練集和測(cè)試集，其中70%用于訓(xùn)練建立模型，30%用于檢驗(yàn)?zāi)Ｐ?為更好的選擇CNN網(wǎng)絡(luò)參數(shù)，利用隨機(jī)網(wǎng)格搜索交叉驗(yàn)證框架(RGS-CV)進(jìn)行訓(xùn)練CNN模型，并以分類正確率為導(dǎo)向獲取最佳CNN網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)(圖表1).網(wǎng)絡(luò)C1卷積層卷積核大小為1×5，數(shù)量為12，激活函數(shù)為RELU；C2卷積層卷積核為1×3，數(shù)量為16；S1、S2池化層采用均值池化方法，下采樣尺度為1×2和1×4，步長(zhǎng)為2和4；最后由Softmax多分類器輸出分類結(jié)果.選用目前研究中常用的偏最小二乘判別回歸(PLS-DA)、Softmax多分類器算法作為對(duì)比實(shí)驗(yàn).最小二乘法判別分析是一種用于判別分析的多變量統(tǒng)計(jì)分析方法，適用于變量數(shù)量大于分類類別的情況[7]；Softmax多分類器可視為CNN模型的最后輸出層，直觀判斷卷積-池化層的作用.

表1 CNN網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

3.3特征波段選擇基于Sklearn機(jī)器學(xué)習(xí)框架，采用python語(yǔ)言進(jìn)行編程.將CNN模型卷積-池化輸出的(16,229)矩陣作為16個(gè)特征集合，重新迭代訓(xùn)練Softmax多分類器，挑選出得分前10的特征子集.根據(jù)卷積池化壓縮過(guò)程，反向推算出10個(gè)8 nm特征波段，最后將特征波段合并(如表2).

表2 不同預(yù)處理?xiàng)l件下CNNFS獲取的特征波段和中心波長(zhǎng)

4 結(jié)果與討論

4.1CNN光譜模型評(píng)價(jià)不同分類模型和不同預(yù)處理?xiàng)l件下的結(jié)果如表3所示.CNN模型分類準(zhǔn)確率比PLS-DA和Softmax平均提高了8.5%和6%.在未預(yù)處理?xiàng)l件下，CNN分類結(jié)果最為理想，其準(zhǔn)確率為97%，分別高于PLS-DA、Softmax模型12%和8%；在不同的預(yù)處理?xiàng)l件下，CNN分類準(zhǔn)確率仍然高于PLS-DA、Softmax模型，平均提高了7.3%和6.3%，PLS-DA的分類結(jié)果最不理想，Softmax表現(xiàn)中等.表明CNN模型很好的應(yīng)用于農(nóng)作物光譜分類識(shí)別.縱向比較來(lái)看，PLS-LDA的分類準(zhǔn)確率在不同預(yù)處理?xiàng)l件下均有提高，提高范圍在5%～8%之間，在全部的模型中受影響最大；其次是Softmax模型，分類準(zhǔn)確率也增加4%～6%；CNN對(duì)預(yù)處理操作影響范圍為1%～3%，在3個(gè)模型中對(duì)光譜前期預(yù)處理操作表現(xiàn)最不敏感.表明不同光譜預(yù)處理對(duì)不同分類模型的影響程度各異，但總體上預(yù)處理對(duì)農(nóng)作物光譜識(shí)別分類具有積極的意義.CNN相對(duì)于PLS-DA、Softmax模型對(duì)預(yù)處理操作依賴性較小，即利用CNN構(gòu)建農(nóng)作物光譜分類模型時(shí)，可減少或者不進(jìn)行光譜預(yù)處理操作.

表3 不同預(yù)處理?xiàng)l件下不同模型的農(nóng)作物分類準(zhǔn)確率(%)

綜上所述，CNN模型能夠很好的應(yīng)用于農(nóng)作物光譜分類識(shí)別.其優(yōu)勢(shì)在于CNN模型能夠在較少或者無(wú)光譜前期預(yù)處理操作情況下，依然獲得高準(zhǔn)確率的分類精度，對(duì)光譜的分類識(shí)別體現(xiàn)出較強(qiáng)的魯棒性和泛化能力.

4.2特征波段提取分析CNNFS計(jì)算的特征波段是CNN模型卷積-池化層對(duì)農(nóng)作物光譜特征表達(dá)的結(jié)果.利用CNNFS方法計(jì)算農(nóng)作物光譜特征波段,為便于對(duì)比描述，根據(jù)農(nóng)作物光譜的經(jīng)驗(yàn)知識(shí)選取10個(gè)對(duì)比光譜特征波段[7,17,19,20],包括可見(jiàn)光—Visible(VIS)波段3個(gè)：藍(lán)谷、綠峰、紅谷，近紅外—Near-infrared(NIR)波段5個(gè)：紅邊、NIR谷1、NIR峰1、NIR谷2、NIR峰2，短波紅外—Shortwave-infrare(SWIR)波段2個(gè)：SWIR峰1、SWIR峰2(如圖3).

圖3 人工定義農(nóng)作物光譜特征波段

圖4為CNNFS選擇的特征波段與人工定義的特征波段的對(duì)比.結(jié)果顯示CNNFS選擇出的特征波段包含在人工定義特征波段內(nèi)，且中心波長(zhǎng)位置相近，表明CNNFS能夠準(zhǔn)確地提取能夠區(qū)分農(nóng)作物理化性質(zhì)的特征波段.其中，CNNFS對(duì)原始野外光譜選擇出4個(gè)特征波段的中心波長(zhǎng)為544 nm、752 nm、972 nm、1 644 nm，對(duì)應(yīng)綠峰、紅邊、NIR谷1、SWIR峰1四個(gè)波段.Liu[2,17]等、黃雙艷[5]等研究中說(shuō)明綠峰、紅邊、NIR谷1能夠準(zhǔn)確地表征農(nóng)作物葉片的葉綠素含量、細(xì)胞結(jié)構(gòu)、含水率等理化特性，是農(nóng)作物光譜識(shí)別的重要特征波段，可以判斷出CNN模型卷積池化層對(duì)原始農(nóng)作物光譜能夠精確地表達(dá)出極具代表性的農(nóng)作物光譜特征，從而獲得高精度的分類結(jié)果；SavGol預(yù)處理過(guò)濾掉部分噪聲[16,18]，但相對(duì)原始光譜提取的特征波段沒(méi)有變化，可以判斷SavGol去掉的部分噪聲對(duì)CNNFS特征選擇影響較少，即CNN模型卷積-池化對(duì)光譜噪聲具有一定程度的兼容能力；Deriv2預(yù)處理方法對(duì)原始光譜基線校正后， CNNFS選擇出中心波長(zhǎng)為544 nm、748 nm、972 nm、1 084 nm、1 220 nm、1 644 nm、2 188 nm的特征波段，本實(shí)驗(yàn)的野外環(huán)境中使得近紅外波段會(huì)受大氣中水汽的影響嚴(yán)重[20].Cao[4]研究表明Deriv2預(yù)處理能夠有效的抑制空氣水汽、氣溶膠及測(cè)量背景環(huán)境引起的近紅外光譜基線漂移，一定程度上能夠凸顯近紅外波段的特征，因此相對(duì)于原始光譜CNNFS選擇的特征波段增加了近紅外NIR谷1、NIR峰1、NIR谷2位置的特征波段，證明了基線校正能夠提高CNN模型對(duì)農(nóng)作物光譜分類識(shí)別準(zhǔn)確率；同樣，經(jīng)過(guò)SNV預(yù)處理后CNNFS選擇出中心波長(zhǎng)在544 nm、748 nm、968 nm、1 220 nm、1 640 nm處的特征波段，相對(duì)原始光譜增加NIR谷2，本實(shí)驗(yàn)的野外實(shí)測(cè)現(xiàn)場(chǎng)中葉片上含有大量滯塵，導(dǎo)致近紅外光譜產(chǎn)生大量光譜散射[21].Barnes[22]等研究表明SNV預(yù)處理能夠有效減少光譜散射所帶來(lái)的光譜誤差，可以判斷減少光譜散射誤差同樣可以提高近紅外波段對(duì)農(nóng)作物的信息獲取能力，證明了光譜散射預(yù)處理也能夠提高CNN模型的分類識(shí)別準(zhǔn)確率.

圖4 CNNFS選擇的光譜特征波段與人工定義特征波段的比較(a)RAW； (b)SavGol； (c)Deriv2； (d)SNV

綜上所述，特征波段中心波長(zhǎng)位置與人工經(jīng)驗(yàn)選擇的特征波段相吻合，能夠判斷出本文提出的CNNFS特征波段選擇方法準(zhǔn)確有效.對(duì)于CNN模型而言，證明CNN模型獨(dú)特的卷積-池化操作能夠準(zhǔn)確地表達(dá)出野外實(shí)測(cè)光譜的重要特征波段，利用這些數(shù)據(jù)特征進(jìn)行分類取得更好的效果；其次，對(duì)比不同預(yù)處理?xiàng)l件下的特征波段計(jì)算結(jié)果，發(fā)現(xiàn)基線校正和光譜散射預(yù)處理有助于CNN模型的光譜特征表達(dá)，在一定程度上能夠提高分類精度.然而CNN模型卷積池化層的特征表達(dá)能力不只局限于潛在特征波段的檢測(cè)，其復(fù)雜的非線性計(jì)算過(guò)程，還可能獲取其它有效和細(xì)致的局部抽象特征映射[11]，比如波峰波谷的寬度、深度等，在以后科研工作中將對(duì)其進(jìn)行深入探討研究.

5 結(jié) 語(yǔ)

1) CNN光譜分析模型很好的應(yīng)用于農(nóng)作物識(shí)別中，分類準(zhǔn)確率在97%～100%范圍之間，比PLS-DA和Softmax平均提高了8.5%和6%.

2) CNN光譜分析模型較少的依賴光譜預(yù)處理，在較少或者未光譜預(yù)處理?xiàng)l件下能夠獲得較高的識(shí)別準(zhǔn)確率.由于受空氣水汽、葉片滯塵和測(cè)量背景環(huán)境等噪聲、光譜基線和光譜散射信息的干擾，PLS-DA對(duì)光譜預(yù)處理依賴性最強(qiáng)，提高范圍在5%～8%之間；光譜預(yù)處理對(duì)Softmax的影響次之，提高范圍為4%～6%；而CNN光譜分析模型對(duì)光譜預(yù)處理操作最不敏感，提高范圍為1%～3%，表現(xiàn)出較強(qiáng)的魯棒性和泛化能力.

3) CNNFS是一種農(nóng)作物植被光譜分析的高效統(tǒng)一方法.在保留CNN模型高精度的識(shí)別結(jié)果的基礎(chǔ)上，選擇出的特征波段與植被經(jīng)驗(yàn)敏感波段相吻合，證明了CNNFS能夠在復(fù)雜的農(nóng)作物光譜數(shù)據(jù)中精準(zhǔn)地提取出特征波段位置.根據(jù)CNNFS提取的過(guò)程，也解釋了CNN光譜模型卷積池化操作精準(zhǔn)表達(dá)特征波段的能力.