BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)對(duì)比分析

崔朝陽(yáng)　劉帥　李愛(ài)菊

[摘要]BP神經(jīng)網(wǎng)絡(luò)是一個(gè)經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型，可以用來(lái)分析復(fù)雜的非線性關(guān)系。本論文基于美國(guó)國(guó)家航天局在官方網(wǎng)站上公布的月球DEM數(shù)據(jù)，分析不同月球地形定量因子之間的關(guān)系，以對(duì)比分析不同的BP神經(jīng)網(wǎng)絡(luò)在分析復(fù)雜的非線性關(guān)系方面的特性，最終選擇一種最優(yōu)的BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)模型。

[關(guān)鍵詞]BP神經(jīng)網(wǎng)絡(luò) 月球地形定量因子 DEM

一、神經(jīng)網(wǎng)絡(luò)介紹

人工神經(jīng)網(wǎng)絡(luò)是一種模仿生物神經(jīng)網(wǎng)絡(luò)進(jìn)行分布式并行信息處理的一種數(shù)學(xué)模型。它以對(duì)大腦的生理研究成果為基礎(chǔ)，其目的在于模擬大腦的某些處理與機(jī)制，實(shí)現(xiàn)一些特定的功能。人工神經(jīng)網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到信息處理的目的。

BP神經(jīng)網(wǎng)絡(luò)是1986年由科學(xué)家提出的，是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋型神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的傳遞函數(shù)是S型函數(shù)，輸出量為0-1的連續(xù)量，并能學(xué)習(xí)和存儲(chǔ)大量的輸入輸出模式映射關(guān)系，而無(wú)需事前解釋描述這種映射關(guān)系的數(shù)學(xué)方程。BP神經(jīng)網(wǎng)絡(luò)的隱含層可以為一層或多層，BP神經(jīng)網(wǎng)絡(luò)可以看成一個(gè)非線性函數(shù)，網(wǎng)絡(luò)輸入值和預(yù)測(cè)值分別為該函數(shù)的自變量和因變量。當(dāng)輸入節(jié)點(diǎn)數(shù)為n、輸出節(jié)點(diǎn)數(shù)為m時(shí)，BP神經(jīng)網(wǎng)絡(luò)就表達(dá)了從n自變量到m個(gè)因變量的函數(shù)映射關(guān)系。BP神經(jīng)網(wǎng)絡(luò)的拓?fù)鋱D如圖1所示。

BP網(wǎng)絡(luò)是一種單向傳播的多層前向網(wǎng)絡(luò)，也是前向網(wǎng)絡(luò)的核心部隊(duì)，對(duì)輸入因子到輸出因子具有高度的非線性映射功能，廣泛應(yīng)用于復(fù)雜的非線性函數(shù)逼近?？紤]到本研究主要是探求月球上粗糙度與其他因子的關(guān)聯(lián)性，需確定各輸入因子間的權(quán)值大小以及變化情況，因此，本項(xiàng)目選用BP網(wǎng)絡(luò)模型，根據(jù)均方誤差函數(shù)（MSE），通過(guò)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中對(duì)權(quán)值的反向調(diào)整，得到各權(quán)值的一組最優(yōu)解。

二、利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)分析

標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)是由輸入層，一個(gè)或多個(gè)隱層，一個(gè)輸出層組成。每個(gè)點(diǎn)只與鄰節(jié)點(diǎn)相連接。同一層的節(jié)點(diǎn)彼此不相連。對(duì)于輸入信息。首先向前傳播到隱含層的節(jié)點(diǎn)上。經(jīng)過(guò)各單元的傳遞函數(shù)（又稱為作用函數(shù)或映射函數(shù)）運(yùn)算后，把隱含節(jié)點(diǎn)的輸出信息傳播到輸出節(jié)點(diǎn)，最后給出結(jié)果。網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程由正向和反向傳播兩部分組成。在正向傳播過(guò)程中，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元網(wǎng)絡(luò)。如果輸出層不能得到期望輸出，就是實(shí)際輸出值與期望輸出值之間有誤差，那么轉(zhuǎn)入反向傳播過(guò)程，將誤差信號(hào)沿原來(lái)的連接通路返回，通過(guò)修改各層神經(jīng)元的權(quán)值，逐次地向輸入層傳播去進(jìn)行計(jì)算，再經(jīng)過(guò)正向傳播過(guò)程，這兩個(gè)過(guò)程的反復(fù)運(yùn)用，使得誤差信號(hào)最小。

我們選取月球上某一個(gè)區(qū)域的坡度、坡向、剖面曲率、平面曲率、坡向變率、坡度變率為神經(jīng)網(wǎng)絡(luò)的輸入，地面粗糙度為輸出因子，進(jìn)行一下實(shí)驗(yàn)。

BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)：

在本項(xiàng)目中，我們分別嘗試了一個(gè)隱含層和兩個(gè)隱含層下的實(shí)驗(yàn)效果。BP網(wǎng)絡(luò)中隱含層神經(jīng)元的傳遞函數(shù)通常用sigmoid函數(shù)或線性函數(shù)。根據(jù)輸出值是否包含負(fù)數(shù)，sigmoid函數(shù)又分為log-sigmoid型函數(shù)和tan-sigmoid型函數(shù)。log-sigmoid型函數(shù)logsig、tan-sigmoid型函數(shù)tansig以及純線性函數(shù)purelin。這里我們采用了tansig型函數(shù)和purelin型函數(shù)作為隱含層的神經(jīng)元傳遞函數(shù)。如果BP神經(jīng)網(wǎng)絡(luò)的最后一層是purelin型線性神經(jīng)元，那么整個(gè)網(wǎng)絡(luò)的輸出可以取任何值。

我們通過(guò)多次實(shí)驗(yàn)尋找最優(yōu)的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。衡量一個(gè)神經(jīng)網(wǎng)絡(luò)的性能通常使用平均耗時(shí)（即平均運(yùn)行時(shí)間，見(jiàn)公式（1））和錯(cuò)誤率（期望輸出和實(shí)際輸出的比率，見(jiàn)公式（2））。實(shí)驗(yàn)過(guò)程中，分別設(shè)計(jì)了單層隱含層神經(jīng)網(wǎng)絡(luò)的不同結(jié)點(diǎn)數(shù)為1-17個(gè)結(jié)點(diǎn)，經(jīng)過(guò)340次實(shí)驗(yàn)對(duì)比其平均耗時(shí)和平均錯(cuò)誤率，其對(duì)比關(guān)系詳細(xì)信息如圖2所示。經(jīng)過(guò)測(cè)試，當(dāng)結(jié)點(diǎn)數(shù)為10時(shí)，性能最優(yōu)。

于是，我們固定第一個(gè)隱含層結(jié)點(diǎn)數(shù)為10，再增加一個(gè)隱含層。此時(shí)，我們也分別測(cè)試了第二個(gè)隱含層結(jié)點(diǎn)是1-15個(gè)結(jié)點(diǎn)的情況，經(jīng)過(guò)300次實(shí)驗(yàn)，獲得不同隱含層結(jié)點(diǎn)數(shù)對(duì)應(yīng)的平均耗時(shí)和平均錯(cuò)誤率的關(guān)系如表圖3所示。經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，第二層隱含層結(jié)點(diǎn)數(shù)為4時(shí)性能最優(yōu)。

三、結(jié)論

經(jīng)過(guò)多次實(shí)驗(yàn)，使用月球某撞擊坑的地形數(shù)據(jù)，分別計(jì)算出不同的地形因子作為BP神經(jīng)網(wǎng)絡(luò)的輸入輸出信息，以尋求不同的地形因子如：坡度、坡向、垂直曲率、平面曲率、坡度變率、坡向變率與地形粗糙度之間的關(guān)聯(lián)特性。其中，坡度、坡向、垂直曲率、平面曲率、坡度變率、坡向變率作為BP神經(jīng)網(wǎng)絡(luò)的輸入，地形粗糙度作為BP神經(jīng)網(wǎng)絡(luò)的輸出。在經(jīng)過(guò)多次神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練后，找到輸入與輸出之間的權(quán)值系數(shù)，能夠定量的反應(yīng)神經(jīng)網(wǎng)絡(luò)輸入與輸出之間的關(guān)系，也就能夠找到6個(gè)地形因子與地形粗糙度之間的定量關(guān)系。

在BP神經(jīng)網(wǎng)絡(luò)擁有一個(gè)隱含層的情況下，我們經(jīng)過(guò)340次實(shí)驗(yàn)，確認(rèn)隱含層數(shù)為10個(gè)節(jié)點(diǎn)時(shí)，效果最優(yōu)；在兩個(gè)隱含層情況下，經(jīng)過(guò)300次實(shí)驗(yàn)，確認(rèn)隱含層為第一隱含層10個(gè)節(jié)點(diǎn)、第二隱含層4個(gè)節(jié)點(diǎn)時(shí)，效果最優(yōu)。也就是說(shuō)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為以下形式時(shí)性能最優(yōu)：一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為6-10-1，兩個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為6-10-4-1。