基于遺傳算法的模糊RBF神經(jīng)網(wǎng)絡(luò)對遙感圖像分類

楊 劍，宋超峰，宋文愛，張 濤

(中北大學(xué) 軟件學(xué)院，太原 030051)

1 引 言

作為遙感圖像處理中的關(guān)鍵問題，對遙感圖像分類的研究在不斷的深入.衡量其分類效果的一個重要因素就是分類精度，分類精度的高低直接決定著該分類方法的好壞.現(xiàn)今人們對遙感圖像的分類研究中用到的分類方法主要有以下幾種：SVM支持向量機分類、人工神經(jīng)網(wǎng)絡(luò)分類和決策樹分類等.其中人工神經(jīng)網(wǎng)絡(luò)以其很強的非線性擬合能力，學(xué)習(xí)規(guī)則簡單等優(yōu)點而成為在遙感分類領(lǐng)域的熱點.1986年，Rumelhart，Hinton，Williams正式提出了了BP(Back Propagation)算法[1].BP算法成為了神經(jīng)網(wǎng)絡(luò)的重要模型之一，并在遙感分類領(lǐng)域得到了廣泛的應(yīng)用.卜曉波等提出了基于遺傳算法改進BP神經(jīng)網(wǎng)絡(luò)的遙感影像分類研究[2]，由于BP算法是使用梯度搜索理論，以使得網(wǎng)絡(luò)實際輸出與期望輸出的均方差達到最少.但是BP算法存在易陷入局部極小值，學(xué)習(xí)過程收斂速度慢等問題.1985年，Powell提出了多變量插值的RBF方法[3]，1988年，Broomhead和Lowe首先將RBF應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計，構(gòu)成了RBF神經(jīng)網(wǎng)絡(luò)[4].RBF神經(jīng)網(wǎng)絡(luò)算法支持在線和離線訓(xùn)練，可以動態(tài)確定網(wǎng)絡(luò)結(jié)構(gòu)和隱層單元的數(shù)據(jù)中心和擴展函數(shù)，學(xué)習(xí)速度快等優(yōu)點，很好的解決了BP神經(jīng)網(wǎng)絡(luò)在遙感分類問題中存在的不足.本文提出了一種基于遺傳算法的RBF模糊神經(jīng)網(wǎng)絡(luò)的分類方法.將模糊理論運用于RBF神經(jīng)網(wǎng)絡(luò)，克服其陷入局部極值點問題，再利用遺傳算法確定最優(yōu)的RBF模糊神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，并對網(wǎng)絡(luò)進行訓(xùn)練來提高分類精度.本文結(jié)構(gòu)如下：第二部分詳述本文算法過程；第三部分進行實驗對比得出結(jié)果；第四部分全文總結(jié).

2 改進的算法過程

遺傳算法優(yōu)化模糊RBF神經(jīng)網(wǎng)絡(luò)主要分為4個部分：a.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定；b.遺傳算法優(yōu)化權(quán)值和閾值；c.將模糊邏輯用于神經(jīng)網(wǎng)絡(luò)；d.利用GA訓(xùn)練神經(jīng)網(wǎng)絡(luò).

2.1 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

RBF神經(jīng)網(wǎng)絡(luò)是一個由輸入層，隱層和輸出層三層構(gòu)成的前饋網(wǎng)絡(luò).輸入層將外部環(huán)境與網(wǎng)絡(luò)連接，輸出層給出網(wǎng)絡(luò)的輸出.隱藏層包含稱為RBF的專用激活函數(shù)[5].這些功能產(chǎn)生局部的，有界的和徑向?qū)ΨQ的激活，減少與功能中心的距離[6].隱藏層中的每個節(jié)點表示以特征空間中的向量為中心的RBF .RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 RBF neural network structure

2.2 模糊RBF神經(jīng)網(wǎng)絡(luò)

圖2所示網(wǎng)絡(luò)為一個4層的感知器型的模糊RBF神經(jīng)網(wǎng)絡(luò)(以2輸入為例).

圖2 模糊RBF神經(jīng)網(wǎng)絡(luò)模型Fig.2 Fuzzy RBF neural network model

2.3 遺傳算法優(yōu)化權(quán)值和閾值

利用遺傳算法優(yōu)化權(quán)值和閾值過程包括兩個階段：首先使用GA(Genetic Algorithm)來搜索網(wǎng)絡(luò)的最優(yōu)或近似最優(yōu)連接權(quán)重和閾值，然后使用RBF來調(diào)整最終權(quán)重.在評估所有染色體后，通過使用再現(xiàn)(選擇)算子從當(dāng)前群體中提取染色體來創(chuàng)建中間群體[8].在本研究中，基于排序算法的輪盤選擇被應(yīng)用于再現(xiàn)算子.最后，通過將交叉和突變算子應(yīng)用于中間種群的染色體來形成下一代群體.然后評估通過選擇，交叉和突變算子復(fù)制的新染色體，并重復(fù)所有染色體的評估和再現(xiàn)程序，直到滿足停止標(biāo)準(zhǔn)[9].

首先，圖像數(shù)據(jù)初始化完成；然后通過測量總均方誤差的值來評估每個染色體的適應(yīng)度，參見下列公式.

(1)

(2)

其中xi是輸入變量的值，wji和wkj是輸入和隱藏神經(jīng)元之間的連接權(quán)重，以及隱藏的神經(jīng)元和輸出神經(jīng)元之間的連接權(quán)重，wjo和wkc是第i個的閾值(或偏差) 第k個神經(jīng)元，i，j和k分別是這些層的神經(jīng)元數(shù)[10].

(3)

其中n是訓(xùn)練數(shù)據(jù)集中的數(shù)據(jù)的數(shù)量.通過訓(xùn)練，希望網(wǎng)絡(luò)學(xué)習(xí)或概括將輸入映射到輸出的非線性關(guān)系，以便對訓(xùn)練過程中未暴露的數(shù)據(jù)進行合理的估計[11].

2.4 遺傳算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)

利用遺傳算法訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò)的步驟如下：

1)群體初始化

GA從一組被稱為種群的染色體開始.染色體對應(yīng)于要優(yōu)化的可變值數(shù)組.因此，h個隱藏節(jié)點表示染色體，并且將徑向中心初始化為隨機值[12].染色體表示為：

C=[c1,c2,c3,…,ch]

(4)

群體具有Npop條染色體，并且是填充有隨機值的Npop×Nbit矩陣.

2)適應(yīng)度計算

根據(jù)RBF的響應(yīng)，對Npop條染色體的適應(yīng)性值進行評估.本文所使用的基函數(shù)是最小平方誤差[13].

(5)

其中d(t)是從訓(xùn)練集獲得的期望輸出，y(t)是從網(wǎng)絡(luò)在測試數(shù)據(jù)上獲得的輸出.

3)選擇

Npop染色體根據(jù)適應(yīng)度函數(shù)的值按降序排列.只有最好的染色體被保留，而其他被丟棄.幸存的群體由Nkeep代表，從其中選出兩名雙親產(chǎn)生彈簧[14].在本文中，加權(quán)等級用于選擇雙親.這是一種概率方法，其中染色體的概率從染色體的秩n計算如下：

(6)

選擇具有最高概率的兩條頂級染色體進行交叉.

4)突變

這是一個遺傳算子，用于組合信息以產(chǎn)生新的彈簧.基于兩個父母組合信息以產(chǎn)生新的彈簧來決定交叉率[15].

5)當(dāng)滿足終止條件時，重復(fù)步驟(2)-(4).

3 實驗與結(jié)果

3.1 實驗設(shè)計

本文中所用到的遙感圖像研究區(qū)位于中國河南漯河，如圖3所示.

圖3 原始數(shù)據(jù)影像Fig.3 Raw data image

研究區(qū)域主要由四個土地覆蓋類型組成，包括水，綠林地，農(nóng)地和房屋.基于官方土地利用圖和田間觀察，用類信息標(biāo)記樣本.所有樣本用于使用隨機抽樣方法產(chǎn)生一組1844個訓(xùn)練樣本和一組3629個測試樣本.此外，為了簡化實驗過程并加快計算速度，在實驗中僅選擇前八個頻帶.提出的方法的實驗結(jié)果與基于遺傳算法的RBF神經(jīng)網(wǎng)絡(luò)方法和基于JM(Jeffries-Matusita)距離的SVM決策樹分類法進行對比.這三種方法都在Matlab R2015a中實現(xiàn)，并且在帶有2.5GHz CPU和4.00GB RAM的Intel(R)Core(TM)i5-2450M的計算機上執(zhí)行.

表1 影像測試數(shù)據(jù)Table 1 Image test data

表1展示了本次試驗的樣本數(shù)據(jù).

3.2 實驗結(jié)果

為了驗證本文算法的有效性，在實驗中使用基于遺傳算法的 RBF神經(jīng)網(wǎng)絡(luò)分類方法、基于遺傳算法的模糊 RBF神經(jīng)網(wǎng)絡(luò)分類法以及之前所研究的基于 JM距離的SVM決策樹分類方法.通過分類結(jié)果圖，混亂矩陣，分類準(zhǔn)確度和運行時間比較各種分類方法的效果.

基于JM距離的SVM決策樹分類方法首先利用JM距離對SVM決策樹進行優(yōu)化，將決策樹的各個節(jié)點分為可分離性好和可分離性差兩種，之后使用SVM對容易分類的節(jié)點進行分類再利用k-means的聚類方法對不易分類的節(jié)點進行分類[17]；基于遺傳算法的RBF神經(jīng)網(wǎng)絡(luò)使用遺傳算法對權(quán)值和閾值進行初始化，然后利用RBF算法進行訓(xùn)練；而本文算法是首先將模糊邏輯用于RBF神經(jīng)網(wǎng)絡(luò)，再使用遺傳算法對權(quán)值和閾值進行優(yōu)化，最后使用遺傳算法進行訓(xùn)練.本文算法與基于遺傳算法的RBF神經(jīng)網(wǎng)絡(luò)分類方法相比，不僅使用了模糊理論對神經(jīng)網(wǎng)絡(luò)進行優(yōu)化，同時還通過遺傳算法取代RBF算法對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練.

以上幾種分類方法的分類結(jié)果如圖4所示，混淆矩陣、分類準(zhǔn)確度和運行時間如表所示.本文所用到的分類方法準(zhǔn)確度基于遺傳算法的RBF神經(jīng)網(wǎng)絡(luò)分類方法和之前所研究的基于JM距離的SVM決策樹分類方法準(zhǔn)確度高.與基于遺傳算法的RBF神經(jīng)網(wǎng)絡(luò)分類方法相比，該算法的Kappa系數(shù)為0.7852，分類的總體準(zhǔn)確度為96.79%.該算法優(yōu)于基于遺傳算法的RBF神經(jīng)網(wǎng)絡(luò)分類方法和之前所研究的基于JM距離的SVM決策樹分類方法，表明該算法提高了對遙感圖像分類的準(zhǔn)確度.

圖4 分類算法結(jié)果比較圖Fig.4 Classification algorithm results comparison graph

圖4是三種分類算法對遙感圖像分類的分類結(jié)果對照圖.通過分類結(jié)果圖可以明顯的看出使用本文算法進行分類對遙感圖像分類的分類精度有所提高.

表2-表4分別展示了這三種算法的混淆矩陣.

表2 基于遺傳算法的RBF神經(jīng)網(wǎng)絡(luò)分類混淆矩陣Table 2 RBF neural network classification confusion matrix based on genetic algorithm

表3 基于JM距離的SVM決策樹分類的混淆矩陣Table 3 Confusion matrices of SVM decision tree classification based on JM distance

表4 本文算法分類的混淆矩陣Table 4 Confusion matrix of this algorithm is classified

表5是對三種分類方式準(zhǔn)確度和時間的統(tǒng)計.由表可知，本文的分類算法分類精度最高，Kappa系數(shù)為0.7852，總體分類精度為96.56%.說明使用本文算法能有效提高分類準(zhǔn)確度.本文算法運行時間是5.3024s，比RBF算法訓(xùn)練神經(jīng)網(wǎng)絡(luò) 的運行時間長但相比SVM決策樹分類運行時間有所下降.

表5 三種分類算法的準(zhǔn)確度和時間統(tǒng)計Table 5 Accuracy and time statistics of three classification algorithms

4 結(jié) 論

本文提出并驗證了基于遺傳算法的模糊RBF神經(jīng)網(wǎng)絡(luò)遙感圖像分類方法.三種不同分類算法的實驗表明，基于遺傳算法的模糊RBF神經(jīng)網(wǎng)絡(luò)遙感圖像分類方法優(yōu)于基于遺傳算法的RBF神經(jīng)網(wǎng)絡(luò).這些結(jié)論與基于遺傳算法的RBF神經(jīng)網(wǎng)絡(luò)分類器在遙感圖像分類中的應(yīng)用是一致的.結(jié)論：基于遺傳算法的模糊RBF神經(jīng)網(wǎng)絡(luò)遙感圖像分類方法對遙感圖像分類更為有效.未來的研究將重點是基于遺傳算法和模糊神經(jīng)網(wǎng)絡(luò)優(yōu)化遙感圖像分類方法的結(jié)構(gòu)和參數(shù)，進一步提高分類的準(zhǔn)確性和運行時間.

[1] Rumelhart D E，Hinton G E，Williams R J.Learning representations by back-propagating errors[J].Parallel Distributed Processing：Explorations in the Microstructure of Cognition，1986，323(6088)：533-536.

[2] Bu Xiao-bo，Gong Zhen，Li Hua.Study on remote sensing image classification based on genetic algorithm for improved BP neural network [J].Journal of Anhui Agricultural Sciences，2013，(33)：13056-13058.

[3] Powell M J D.Radial basis functions for multivariable interpolation[M].Clarendon Press,1987.

[4] Broomhead D S，Lowe D.Multivariate functional interpolation and adaptive networks[C].Complex Systems，1988.

[5] Tian Yu-bo，Chen Feng，Zhang Zhen-kai.Hybrid neural network technology[M].Beijing:Science Press，2015.

[6] Murru N，Rossini R.A bayesian approach for initialization of weights in backpropagation neural net with application to character recognition[M].Elsevier Science Publishers B.V，2016.

[7] Zhang Teng.Fuzzy neural network technology application [D].Jinan:Shandong University，1998.

[8] Mao Jian-xu，Wang Yao-nan，Sun Wei，et al.Application of fuzzy neural network in remote sensing image classification [C].The 6th National Symposium on Electronic Measurement and Instruments,2000.

[9] Li min-Ma，Hu Shi-peng，Min Qiu，et al.Energy consumption optimization of high sulfur natural gas purification plant based on back propagation neural network and genetic algorithms[J].Energy Procedia，2017：5166-5171.

[10] Li Le，Chen Yi，Xu Ting，et al.Super-resolution mapping of wetland inundation from remote sensing imagery based on integration of back-propagation neural network and genetic algorithm[J].Remote Sensing of Environment，2015，164：142-154.

[11] Singh A，Singh K K.Satellite image classification using genetic algorithm trained radial basis function neural network，application to the detection of flooded areas[J].Journal of Visual Communication & Image Representation，2017，42：173-182.

[12] Liu Z，Liu A，Wang C，et al.Evolving neural network using real coded genetic algorithm (GA) for multispectral image classification[J].Future Generation Computer Systems，2004，20(7)：1119-1129.

[13] Sedki A，Ouazar D，Mazoudi E E.Evolving neural network using real coded genetic algorithm for daily rainfall-runoff forecasting[J].Expert Systems with Applications，2009，36(3)：4523-4527.

[14] Liu Hong，Ren Kun，Chen Wen-kai，et al.Comparative study on BP training algorithm and genetic optimization training algorithm of neural network[J].Journal of Beijing Polytechnic College，2008，7(2)：30-34.

[15] Yuan Jin.Remote sensing image classification based on RBF neural network and water recognition based on structural features[D].Qingdao:Shandong University of Science and Technology，2002.

[16] Mohammed M M，Badr A，Abdelhalim M B.Image classification and retrieval using optimized pulse-coupled neural network[J].Expert Systems with Applications，2015，42(11)：4927-4936.

附中文參考文獻：

[2] 卜曉波，龔 珍，黎 華.基于遺傳算法改進BP神經(jīng)網(wǎng)絡(luò)的遙感影像分類研究[J].安徽農(nóng)業(yè)科學(xué)，2013，(33)：13056-13058.

[3] 鮑威爾M J D.多變量插值的徑向基函數(shù)[M].克拉倫登出版社，1987.

[4] Broomhead D S，Lowe D.多變量功能插值和自適應(yīng)網(wǎng)絡(luò)[C] .復(fù)雜系統(tǒng)，1988.

[5] 田雨波，陳 風(fēng)，張貞凱.混合神經(jīng)網(wǎng)絡(luò)技術(shù)[M].北京：科學(xué)出版社，2015.

[6] Murru N，Rossini R.用于初始化反向傳播神經(jīng)網(wǎng)絡(luò)中的權(quán)重的貝葉斯方法，應(yīng)用于字符識別[M].Elsevier Science Publishers B.V.，2016.

[7] 張 騰.模糊神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用[D].濟南：山東大學(xué)，1998.

[8] 毛建旭，王耀南，孫 煒，等.模糊神經(jīng)網(wǎng)絡(luò)在遙感圖象分類中的應(yīng)用[C].全國第六屆電子測量與儀器學(xué)術(shù)報告會，2000.

[10] 李 樂，陳 毅，許 婷，等 基于反向傳播神經(jīng)網(wǎng)絡(luò)和遺傳算法的集成的遙感影像濕地淹沒超分辨率映射[J].環(huán)境遙感，2015，164：142-154.

[14] 劉 紅，任 坤，陳文楷，等.神經(jīng)網(wǎng)絡(luò)的BP訓(xùn)練算法和遺傳優(yōu)化訓(xùn)練算法的對比研究[J].北京工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報，2008，7(2)：30-34.

[15] 苑 進.基于RBF神經(jīng)網(wǎng)絡(luò)的遙感圖像分類和基于結(jié)構(gòu)特征的水體識別[D].青島：山東科技大學(xué)，2002.