感知器神經(jīng)網(wǎng)絡(luò)模型研究

何立群 占永平

(1九江學(xué)院信息科學(xué)與技術(shù)學(xué)院；2九江學(xué)院信息技術(shù)中心 江西九江 332005)

感知器神經(jīng)網(wǎng)絡(luò)模型研究

何立群1占永平2

(1九江學(xué)院信息科學(xué)與技術(shù)學(xué)院；2九江學(xué)院信息技術(shù)中心 江西九江 332005)

文章介紹人工神經(jīng)網(wǎng)絡(luò)中的典型模型單層感知器和多層感知器，給出標(biāo)準(zhǔn)的感知器學(xué)習(xí)算法及算法的實(shí)現(xiàn)步驟，在此基礎(chǔ)上介紹了感知器神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)算法，并對(duì)這些算法的特點(diǎn)進(jìn)行了分析。

感知器，神經(jīng)網(wǎng)絡(luò)，多層感知器

感知器是人工神經(jīng)網(wǎng)絡(luò)中的一種典型結(jié)構(gòu)，它的主要的特點(diǎn)是結(jié)構(gòu)簡(jiǎn)單，對(duì)所能解決的問(wèn)題存在著收斂算法，并能從數(shù)學(xué)上嚴(yán)格證明，從而對(duì)神經(jīng)網(wǎng)絡(luò)研究起了重要的推動(dòng)作用。雖然它提出的時(shí)間較早，至今卻仍然對(duì)其它復(fù)雜的算法具有指導(dǎo)意義。

1 神經(jīng)網(wǎng)絡(luò)及感知器

人工神經(jīng)網(wǎng)絡(luò)是腦科學(xué)、神經(jīng)心理學(xué)和信息科學(xué)等多學(xué)科的交叉研究領(lǐng)域，它在模式識(shí)別、機(jī)器學(xué)習(xí)、專家系統(tǒng)等多個(gè)方面得到應(yīng)用，成為人工智能研究中的活躍領(lǐng)域。神經(jīng)網(wǎng)絡(luò)由一個(gè)或多個(gè)神經(jīng)元組成。一個(gè)神經(jīng)元包括輸入、輸出和“內(nèi)部處理器”。神經(jīng)元從輸入端接受信息，通過(guò)“內(nèi)部處理器”將這些信息進(jìn)行一定的處理，最后由輸出端輸出。

感知器(Perceptron)是神經(jīng)網(wǎng)絡(luò)中的一個(gè)概念。感知器模型是美國(guó)學(xué)者羅森勃拉特(Rosenblatt)為研究大腦的存儲(chǔ)、學(xué)習(xí)和認(rèn)知過(guò)程而提出的一類(lèi)具有自學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)模型，它是第一個(gè)機(jī)器學(xué)習(xí)模型。它把對(duì)神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了從工程上的實(shí)踐。感知器是經(jīng)典的線性分類(lèi)模型，是神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的基礎(chǔ)。

2 單層感知器

Rosenblatt提出的感知器模型是一個(gè)只有單層計(jì)算單元的前向神經(jīng)網(wǎng)絡(luò)，稱為單層感知器(Single Layer Perceptron)，它是一種二元線性分類(lèi)器。

2.1 單層感知器模型

單層感知器是最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，它包含輸入層和輸出層，而輸入層和輸出層是直接相連的。單層感知器模型的結(jié)構(gòu)如圖1所示。

圖1 感知器神經(jīng)元模型

圖1顯示，對(duì)于每一個(gè)輸入值X=(x1，x2，…xd)，通過(guò)一個(gè)權(quán)重向量W，進(jìn)行加權(quán)求和，并作為閾值函數(shù)的輸入，可以寫(xiě)成如下線性函數(shù)的形式：

(1)

式(1)中，xi是輸入分量，wi是權(quán)值分量，w0是閾值，O是目標(biāo)輸出。作為分類(lèi)器，可以用已知類(lèi)別的模式向量或特征向量作為訓(xùn)練集。利用式(1)，計(jì)算輸入層中，每一個(gè)輸入端和其上的權(quán)值相乘，然后將這些乘積相加得到乘積之和。如果乘積和大于臨界值(一般是0)，輸出端就為1；如果小于臨界值，輸出端就為-1，將輸入向量分成了兩類(lèi)，從而實(shí)現(xiàn)分類(lèi)器的作用。

由感知器的模型結(jié)構(gòu)可以看出，感知器的基本功能是將輸入向量轉(zhuǎn)化成1或-1的輸出，這一功能可以通過(guò)在輸入向量空間里的作圖來(lái)加以解釋。如果樣本是二類(lèi)線性可分的，則線性方程WX+w0=0是特征空間中的超平面，該超平面將特征空間劃分成兩個(gè)部分，模型的權(quán)值W與w_0確定好之后，當(dāng)WX+w0≥0時(shí)，訓(xùn)練點(diǎn)會(huì)落在這個(gè)超平面的正例區(qū)；當(dāng)WX+w0<0時(shí)，則會(huì)落在負(fù)例區(qū)。訓(xùn)練的目標(biāo)是通過(guò)調(diào)整權(quán)值，使神經(jīng)網(wǎng)絡(luò)由給定的輸入樣本得到期望的輸出[1]。

出于簡(jiǎn)化計(jì)算和方便推導(dǎo)的目的，假設(shè)x0=1，公式(1)可以寫(xiě)作：

O=f(WTX)

(2)

2.2 單層感知器學(xué)習(xí)算法

感知器習(xí)算法可以用來(lái)調(diào)整模型的權(quán)值，對(duì)于已有的訓(xùn)練樣本，計(jì)算得到一個(gè)權(quán)值矩陣W，使得WTX=0這個(gè)超平面能夠完全將兩類(lèi)樣本分開(kāi)。

假設(shè)訓(xùn)練樣本集{(X1，Y1)，(X2，Y2)，…(Xm，Ym) }，Xi∈Rd，Yi∈{+1，-1}，m是訓(xùn)練集的總樣本數(shù)。對(duì)于t=0，1，…，設(shè)Xi(t)是t時(shí)刻感知器的輸入(i=1，2，…，m)，Wi(t)是相應(yīng)的權(quán)值，Yi(t)是正確的輸出。下面給出PLA算法的實(shí)現(xiàn)步驟：

(1)首先將權(quán)值向量W進(jìn)行初始化，可以為0或較小的隨機(jī)數(shù)；

(2)循環(huán)遍歷每個(gè)樣本，計(jì)算函數(shù)的目標(biāo)輸出，將輸出值與正確值相比較，如果f(WtTXm(t))=Y(m(t))，則跳過(guò)；

(3)如果f(WtTXm(t))≠Y(m(t)，即找到一個(gè)錯(cuò)分的wt，此時(shí)該樣本被稱為(xm(t)，yn(t))；

修正這個(gè)錯(cuò)誤，用下面的式子來(lái)調(diào)整權(quán)值：

W(t+1)←Wt+ηYm(t)Xm(t)

其中η為學(xué)習(xí)速率。

(4)重復(fù)(2)和(3)權(quán)值調(diào)整過(guò)程，直到所有的訓(xùn)練樣本都分類(lèi)正確或達(dá)到預(yù)先設(shè)計(jì)的訓(xùn)練次數(shù)，則停止訓(xùn)練。

PLA的主要功能是通過(guò)對(duì)訓(xùn)練樣本集的學(xué)習(xí)，得到判別函數(shù)權(quán)值的解，產(chǎn)生線性可分的樣本判別函數(shù)，從而判別樣本所屬的類(lèi)別，實(shí)現(xiàn)分類(lèi)器的作用。該算法屬于非參數(shù)算法，優(yōu)點(diǎn)是不需要對(duì)各類(lèi)樣本的統(tǒng)計(jì)性質(zhì)作任何假設(shè)，屬于確定性方法[2]。

3 多層感知器

單層感知器的缺點(diǎn)是只能解決線性可分的分類(lèi)模式問(wèn)題。對(duì)于非線性問(wèn)題，采用多層網(wǎng)絡(luò)結(jié)構(gòu)可以增加網(wǎng)絡(luò)的分類(lèi)能力，即在輸入層與輸出層之間增加一個(gè)隱含層，從而構(gòu)成多層感知器(Multi-layer Perceprons)。由輸入層、隱含層(可以是一層或多層)和輸出層構(gòu)成的神經(jīng)網(wǎng)絡(luò)稱為多層前饋神經(jīng)網(wǎng)絡(luò)。多層感知器的拓?fù)浣Y(jié)構(gòu)如圖2所示。

圖2 多層感知器模型

3.1 反向傳播(Back Propagation，BP)算法[3]

反向傳播算法也稱為誤差后向傳播神經(jīng)網(wǎng)絡(luò)，它是一種用于前向多層神經(jīng)網(wǎng)絡(luò)的反傳學(xué)習(xí)算法，也是神經(jīng)網(wǎng)絡(luò)模型中應(yīng)用最廣泛且最重要的一類(lèi)學(xué)習(xí)算法。它具有理論依據(jù)堅(jiān)實(shí)、推導(dǎo)過(guò)程嚴(yán)謹(jǐn)及通用性好的優(yōu)點(diǎn)。

BP算法的學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成，即：①正向傳播：輸入層接收外來(lái)的輸入樣本，各隱含層進(jìn)行逐層處理后，輸出層輸出結(jié)果。將輸出層的實(shí)際輸出與期望輸出進(jìn)行比較，若兩者不相吻合，則進(jìn)入誤差的反向傳播階段；②誤差反向傳播：用輸出后誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此逐層反傳下去，各層單元產(chǎn)生的誤差信號(hào)，用來(lái)修正各單元誤差(權(quán)值)，以期誤差最小。

在BP模型的學(xué)習(xí)訓(xùn)練過(guò)程中，可利用一些方法如梯度下降法，使權(quán)值不斷的朝著輸出誤差減少的方向調(diào)整，直到網(wǎng)絡(luò)輸出的誤差減少到允許的程度，或者可以事先指定必要的學(xué)習(xí)次數(shù)，達(dá)到既定次數(shù)即可停止訓(xùn)練。由此可知，BP算法的信號(hào)正向傳播與誤差反向傳播的各層權(quán)值的調(diào)整過(guò)程是交替的、多次反復(fù)的。

BP算法的主要步驟如下：

(1)初始化：取一對(duì)BP網(wǎng)絡(luò)輸入樣本(X，Y)，m為輸入結(jié)點(diǎn)的個(gè)數(shù)，對(duì)權(quán)值向量W賦較小的非零隨機(jī)值，并設(shè)置學(xué)習(xí)步長(zhǎng)η，允許誤差ε；

(2)正向計(jì)算隱含層節(jié)點(diǎn)和輸出層節(jié)點(diǎn)的輸出：

隱含層節(jié)點(diǎn)輸出Oj=f(∑i=1mWijXi)，j=1，2，...，p，p為隱含層節(jié)點(diǎn)的個(gè)數(shù)；輸出層節(jié)點(diǎn)輸出Yk=f(∑i=1pWik(2)Op)，k=1，2，...，n，n為輸出結(jié)點(diǎn)的個(gè)數(shù)，f為非線性可微非遞減函數(shù)，一般取為Sigmoid型函數(shù)；

(4)反向計(jì)算隱含層節(jié)點(diǎn)誤差；

(5)修正各層的權(quán)值；

(6)取下一對(duì)樣本返回(2)處進(jìn)行循環(huán)，直到全部樣本訓(xùn)練結(jié)束。

4 感知器算法改進(jìn)研究

由于感知器自身結(jié)構(gòu)的限制，使得它在實(shí)際應(yīng)用中具有局限性，如原始的單層感知器只能處理線性可分問(wèn)題，對(duì)線性不可分問(wèn)題，算法在計(jì)算過(guò)程中會(huì)發(fā)生振蕩現(xiàn)象，即算法無(wú)法停止。因此，對(duì)于有雜音的數(shù)據(jù)，人們只能期望找到錯(cuò)誤最少的結(jié)果。在實(shí)際工作中，很多學(xué)者設(shè)計(jì)出各種準(zhǔn)則以使算法中止，Gallant提出一種感知器的改進(jìn)算法，即在PLA的迭代過(guò)程中引入一個(gè)口袋權(quán)向量來(lái)存放正確運(yùn)行次數(shù)最多的感知器權(quán)向量，其目標(biāo)是找到一個(gè)錯(cuò)分樣本最少的解(最優(yōu)解)。Gallant稱這一改進(jìn)算法為口袋算法(Pocket Algorithm)，并且證明了對(duì)于整數(shù)和有理數(shù)輸入情況下口袋算法的收斂性。Pocket PLA是一個(gè)貪心的近似算法，可以處理線性不可分問(wèn)題，較好地解決了樣本中的噪音數(shù)據(jù)和矛盾數(shù)據(jù)。

線性口袋算法改進(jìn)了線性感知器算法，能夠直接處理線性不可分問(wèn)題。核感知器算法則利用核思想非線性地推廣了線性感知器算法，使其可以處理原始輸入空間中的非線性分類(lèi)問(wèn)題和高維特征空間中的線性問(wèn)題。國(guó)內(nèi)許健華、張學(xué)工等學(xué)者提出基于核函數(shù)的非線性口袋算法，即核口袋算法，其目標(biāo)是找到一個(gè)使錯(cuò)分樣本數(shù)最小的非線性判別函數(shù)，并證明了其收斂性。核口袋算法的特點(diǎn)是用簡(jiǎn)單的迭代過(guò)程和核函數(shù)來(lái)實(shí)現(xiàn)非線性分類(lèi)器的設(shè)計(jì)。

此外，還有一些學(xué)者提出的平均感知器(Averaged Perceptron， AP)算法、信任權(quán)(Confidence Weighted， CW)學(xué)習(xí)算法、表決感知器(Voted Perceptron， VP)算法、被動(dòng)主動(dòng)(Passive Aggressive， PA)算法等等，都對(duì)原感知器算法進(jìn)行了改進(jìn)，它們或克服了學(xué)習(xí)速率過(guò)大所引起的訓(xùn)練過(guò)程中出現(xiàn)的震蕩現(xiàn)象、或提高了分類(lèi)準(zhǔn)確性、或加快了學(xué)習(xí)速度、或解決不可分?jǐn)?shù)據(jù)的問(wèn)題。

除單層感知器外，許多學(xué)者對(duì)多層感知器BP網(wǎng)絡(luò)進(jìn)行了研究，認(rèn)為該學(xué)習(xí)算法的收斂速度慢，需要較長(zhǎng)的訓(xùn)練時(shí)間。從數(shù)學(xué)角度看，BP算法采用了按誤差函數(shù)梯度下降的方向進(jìn)行收斂，這就可能出現(xiàn)局部極小的問(wèn)題，當(dāng)?shù)萑刖植繕O小值時(shí)，人們誤認(rèn)為得到了問(wèn)題的解，其實(shí)誤差符合要求的并不一定是真正的解；網(wǎng)絡(luò)中隱含層節(jié)點(diǎn)個(gè)數(shù)的選取也是憑經(jīng)驗(yàn)，尚無(wú)理論上的指導(dǎo)。為了讓BP算法更好地應(yīng)用在實(shí)際，國(guó)內(nèi)外許多學(xué)者對(duì)算法進(jìn)行了有效的改進(jìn)。BP網(wǎng)絡(luò)的改進(jìn)算法大體上分為兩類(lèi)，一類(lèi)是采用啟發(fā)式技術(shù)，如附加動(dòng)量法、自適應(yīng)學(xué)習(xí)速率法、BP彈性(RPROP )方法等[4]：

(1)附加動(dòng)量法。它在標(biāo)準(zhǔn)的BP算法修正權(quán)值時(shí)，在每一個(gè)權(quán)重的變化上加上一項(xiàng)動(dòng)量因子，動(dòng)量因子正比于上一次權(quán)重變化量的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)重的變化。在沒(méi)有附加動(dòng)量的作用下，網(wǎng)絡(luò)可能陷入局部極小值，利用附加動(dòng)量的作用有可能跳過(guò)這些極小值。這是因?yàn)楦郊觿?dòng)量法在修正其權(quán)值時(shí)，考慮了在誤差曲面上變化趨勢(shì)的影響，從而抑制了局部極小，找到誤差曲面的全局最小值。這里動(dòng)量因子實(shí)質(zhì)上起到了緩沖的作用，它減小了學(xué)習(xí)過(guò)程的振蕩現(xiàn)象，一定程度上加快了BP算法的收斂速度。

(2)自適應(yīng)學(xué)習(xí)速率算法。標(biāo)準(zhǔn)BP算法的學(xué)習(xí)速率采用的是確定值，學(xué)習(xí)速率的選擇非常重要，學(xué)習(xí)速率選得小雖然有利于總誤差縮小，但會(huì)導(dǎo)致收斂速度過(guò)慢。學(xué)習(xí)速率選取得太大，則有可能導(dǎo)致無(wú)法收斂。為了解決這一問(wèn)題，可以采用自適應(yīng)調(diào)整學(xué)習(xí)效率的改進(jìn)算法，此算法的基本思想是根據(jù)誤差變化而自適應(yīng)調(diào)整。如果權(quán)值修正后確實(shí)降低了誤差函數(shù)，則說(shuō)明所選取的學(xué)習(xí)速率值小了，應(yīng)增大學(xué)習(xí)速率；如果沒(méi)有則說(shuō)明學(xué)習(xí)速率調(diào)得過(guò)大，應(yīng)減小學(xué)習(xí)速率。總之使權(quán)值的調(diào)整向誤差減小的方向變化。自適應(yīng)學(xué)習(xí)速率算法可以縮短訓(xùn)練時(shí)間。

(3)動(dòng)量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法。這一算法采用了附加動(dòng)量法和自適應(yīng)學(xué)習(xí)速率法兩種方法的結(jié)合，既可以找到全局最優(yōu)解，也可以縮短訓(xùn)練時(shí)間。此外，還有學(xué)者提出了隱含層節(jié)點(diǎn)和學(xué)習(xí)效率動(dòng)態(tài)全參數(shù)自適應(yīng)調(diào)整等算法，有效地改善了收斂效果。

另一類(lèi)BP改進(jìn)算法是對(duì)其進(jìn)行了數(shù)學(xué)上的優(yōu)化，如擬牛頓法在搜索方向上進(jìn)行了改進(jìn)；共軛梯度法則是在收斂速度和計(jì)算復(fù)雜度上均能取得較好效果，特別是用于網(wǎng)絡(luò)權(quán)值較多的情形；Levenberg - Marquardt 法則結(jié)合了梯度下降和牛頓法的優(yōu)點(diǎn)，在網(wǎng)絡(luò)權(quán)值不多的情形下，收斂速度很快，優(yōu)點(diǎn)突出。

5 結(jié)束語(yǔ)

神經(jīng)網(wǎng)絡(luò)是計(jì)算機(jī)智能和機(jī)器學(xué)習(xí)研究、開(kāi)發(fā)和應(yīng)用最活躍的分支之一。盡管經(jīng)典感知器算法只能處理線性可分問(wèn)題，但它是廣大模式識(shí)別和神經(jīng)網(wǎng)絡(luò)研究人員所熟悉的最簡(jiǎn)單的學(xué)習(xí)機(jī)器，也是后來(lái)發(fā)展的許多復(fù)雜算法的基礎(chǔ)。

[1]機(jī)器學(xué)習(xí).筆記(三)k近鄰算法和感知器模型[EB/OL]. http://blog.sina.com.cn/s/blog_62b0682a0101e8e0.html. 2013-04-18.

[2]劉建偉，申芳林，羅雄麟. 感知器學(xué)習(xí)算法研究[J]. 計(jì)算機(jī)工程，2010，36(7)：190.

[3]蔣宗禮.人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論[M].北京：高等教育出版社，2001.121.

[4]王坤.神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及改進(jìn)方法綜述[J]. 科技廣場(chǎng)，2011，24(7)：227.

(責(zé)任編輯胡安娜)

2014-10-22

何立群，25871687@qq.com。

TP 273

A

1674-9545(2014)04-0037-(04)