MLP多層感知機(jī)

吳琳

一、多層感知機(jī)簡(jiǎn)介

人工智能如今已經(jīng)成為大街小巷的熱議話題，已經(jīng)深刻的改變了許許多多的行業(yè)，人工智能與機(jī)器學(xué)習(xí)在醫(yī)療、神經(jīng)科學(xué)、農(nóng)業(yè)、信息安全、監(jiān)控等領(lǐng)域的應(yīng)用數(shù)不勝數(shù)，已經(jīng)成為我們生活中不可或缺的一部分，而這一切的開(kāi)端，都要從感知機(jī)[1]剛被發(fā)明出來(lái)說(shuō)起。1960年，Pedro首次使用Delta學(xué)習(xí)規(guī)則用于感知器的訓(xùn)練步驟，這種方法后來(lái)被稱為最小二乘方法，這兩者的結(jié)合創(chuàng)造了一個(gè)良好的線性分類器，這個(gè)發(fā)現(xiàn)引起了第一波的AI浪潮，因?yàn)槿藗冋J(rèn)為簡(jiǎn)單的感知機(jī)可以實(shí)現(xiàn)分類功能，那通過(guò)組合可以實(shí)現(xiàn)更復(fù)雜的功能，但是后面發(fā)現(xiàn)感知機(jī)無(wú)法模擬異或問(wèn)題、無(wú)法處理非線性問(wèn)題，第一波浪潮就這樣沉入了低谷。但是依然有人在研究，2006年，Hinton提出了DBN，解決了更深層次的網(wǎng)絡(luò)是可以通過(guò)一些策略更好的訓(xùn)練來(lái)實(shí)現(xiàn)，引起了深度學(xué)習(xí)的第三波浪潮。神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的發(fā)展加快了，越來(lái)越多的人開(kāi)始研究這個(gè)領(lǐng)域，并且成果頗豐。

二、MLP算法描述

生物神經(jīng)元主要由細(xì)胞體（神經(jīng)元主體）、樹(shù)突（神經(jīng)元輸入信息）、軸突（神經(jīng)元輸出信息）和突觸（神經(jīng)元之間輸入輸出信息的連接）組成。

2.1神經(jīng)元模型。人工神經(jīng)網(wǎng)絡(luò)的基本成分是人工神經(jīng)元，將許多個(gè)這樣的神經(jīng)元按一定層次連接起來(lái)，就得到神經(jīng)網(wǎng)絡(luò)。1943年，心理學(xué)家W.S.McCulloch和數(shù)理邏輯學(xué)家W.Pitts基于神經(jīng)元的生理特征建立的單個(gè)神經(jīng)元的數(shù)學(xué)模型（MP模型）是大多數(shù)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。

2.2感知機(jī)模型。感知機(jī)是一種早期的神經(jīng)網(wǎng)絡(luò)模型，也是作為神經(jīng)網(wǎng)絡(luò)的起源的算法，是一種前饋神經(jīng)網(wǎng)絡(luò)。感知器是通過(guò)模擬人的視覺(jué)，接受各種環(huán)境的信息，并能進(jìn)行信息傳遞的神經(jīng)網(wǎng)絡(luò)。

2.2.1單層感知機(jī)。感知機(jī)由兩層神經(jīng)元組成，輸入層接受外界輸入信號(hào)后傳遞給輸出層，感知機(jī)接受多個(gè)輸入信號(hào)，輸出一個(gè)信號(hào)，輸入信號(hào)被送往神經(jīng)元時(shí)，會(huì)被分別乘以固定的權(quán)重，神經(jīng)元會(huì)計(jì)算傳出過(guò)來(lái)的信息的總和，只有這個(gè)總和超過(guò)了某個(gè)界限值時(shí)，才會(huì)輸出1，這就被稱之為“神經(jīng)元激活”，這個(gè)界限值被稱為閾值。

2.2.2多層感知機(jī)。多層感知器是對(duì)單層感知器的推廣，它能夠成功解決單層感知器所不能解決的非線性可分問(wèn)題（例如，異或（XOR）問(wèn)題）。多層感知機(jī)在輸入層與輸出層之間多了隱藏層，每層神經(jīng)元與下一層神經(jīng)元全互連，隱藏層也有激活功能的神經(jīng)元。

多層感知器與單層感知器相比具有2個(gè)突出的特點(diǎn)：（1）多層感知器含有一層或多層隱含神經(jīng)元。隱含神經(jīng)元逐步從輸入模式中獲得了更多有用的信息，可以使網(wǎng)絡(luò)可以完成更復(fù)雜的任務(wù)。（2）多層感知器的多個(gè)突觸使得網(wǎng)絡(luò)更具連通性。網(wǎng)絡(luò)連接的改變通過(guò)改變其突觸連接數(shù)量或者其權(quán)值實(shí)現(xiàn)。

2.3反向傳播運(yùn)算

反向傳播算法的核心是代價(jià)函數(shù)也稱損失函數(shù)對(duì)網(wǎng)絡(luò)中參數(shù)（各層的權(quán)重w和偏置b）的偏導(dǎo)表達(dá)式和。這些表達(dá)式描述了代價(jià)函數(shù)值C隨權(quán)重w或偏置b變化而變化的程度。反向傳播算法的思路比較容易容易理解：如果當(dāng)前代價(jià)函數(shù)值距離預(yù)期值較遠(yuǎn)，那么我們通過(guò)調(diào)整w和b的值使新的代價(jià)函數(shù)值更接近預(yù)期值（和預(yù)期值相差越大，則w和b調(diào)整的幅度就越大）。一直重復(fù)該過(guò)程，直到最終的代價(jià)函數(shù)值在誤差范圍內(nèi)，則算法停止。BP算法可以告訴我們神經(jīng)網(wǎng)絡(luò)在每次迭代中，網(wǎng)絡(luò)的參數(shù)是如何變化的。

2.3.3算法總結(jié)

輸入：訓(xùn)練集;

學(xué)習(xí)率

過(guò)程：

1：隨機(jī)初始化網(wǎng)絡(luò)所有連接權(quán)值和閾值

2：repeat：

3：for all do

4：根據(jù)當(dāng)前參數(shù)（權(quán)值和閾值）和公式（2.10）計(jì)算出當(dāng)前樣本輸出

5：根據(jù)公式（2.12～2.17）計(jì)算出梯度項(xiàng)

6：根據(jù)步驟5求的梯度，公式（2.18～2.21）計(jì)算出更新的權(quán)值和閾值

7：end for

8：until 達(dá)到停止條件

輸出：連接權(quán)值與閾值確定的多層前饋神經(jīng)網(wǎng)絡(luò)

三、MLP多層感知機(jī)算法實(shí)現(xiàn)

下面將通過(guò)兩個(gè)具體的例子，也是最經(jīng)典的Mnist數(shù)據(jù)集和IRIS數(shù)據(jù)集的分類問(wèn)題來(lái)說(shuō)明這個(gè)算法的實(shí)驗(yàn)過(guò)程。

3.1實(shí)例

3.1.1準(zhǔn)備數(shù)據(jù)集。使用數(shù)據(jù)集有MNIST數(shù)據(jù)集，它包含10類（對(duì)應(yīng)手寫(xiě)數(shù)字：1，2，3，4，5，6，7，8，9，10）共60000張手寫(xiě)數(shù)字信息，以及對(duì)應(yīng)的60000個(gè)標(biāo)簽分類，每條記錄784項(xiàng)特征。數(shù)據(jù)集被劃分為用于訓(xùn)練的50000張手寫(xiě)數(shù)字信息，和10000張用于測(cè)試的手寫(xiě)數(shù)字信息。

IRIS數(shù)據(jù)集，它包含3類共150條記錄，每類記錄都有4個(gè)特征（花萼長(zhǎng)度、花萼寬度、花瓣長(zhǎng)度、花瓣寬度）。

3.1.2數(shù)據(jù)預(yù)處理。首先對(duì)數(shù)據(jù)進(jìn)行歸一化處理，例如MNST是圖片像素0-255映射和為0-1范圍。最后輸出通過(guò)判斷概率大小，進(jìn)而判斷當(dāng)前圖片屬于哪一類，為此針對(duì)每一個(gè)標(biāo)簽都重新構(gòu)造以對(duì)應(yīng)輸出的10種情況。

3.1.3構(gòu)建三層神經(jīng)網(wǎng)絡(luò)。構(gòu)建神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練，對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，查看分類后的精度和誤差以反饋此訓(xùn)練模型的泛化能力。同時(shí)通過(guò)可視化的圖像反映出學(xué)習(xí)率不同、迭代次數(shù)不同、隱藏節(jié)點(diǎn)不同情況下的效果對(duì)比。

3.1.4訓(xùn)練網(wǎng)絡(luò)。選擇學(xué)習(xí)率，導(dǎo)入訓(xùn)練數(shù)據(jù)集，定義好訓(xùn)練的次數(shù)和最小誤差，直到訓(xùn)練達(dá)到理想狀況，就結(jié)束。

3.1.5測(cè)試網(wǎng)絡(luò)。根據(jù)測(cè)試數(shù)據(jù)集輸出的結(jié)果來(lái)判斷此網(wǎng)絡(luò)的好壞，也就是最后的分類準(zhǔn)確率來(lái)評(píng)價(jià)它的泛化能力。

3.2算法的實(shí)現(xiàn)結(jié)果

在對(duì)訓(xùn)練好的模型進(jìn)行數(shù)據(jù)測(cè)試時(shí)，通過(guò)調(diào)節(jié)迭代次數(shù)，學(xué)習(xí)率，隱含層節(jié)點(diǎn)個(gè)數(shù)，權(quán)值初始化值等參數(shù)，獲得不同的神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果。通過(guò)圖像對(duì)比結(jié)果。

3.2.1迭代次數(shù)的影響。一般來(lái)說(shuō)，在一定范圍類，迭代次數(shù)越多，模型訓(xùn)練越充分，分類精度就越高;由以下對(duì)學(xué)習(xí)率的實(shí)驗(yàn)結(jié)果來(lái)看，迭代次數(shù)越高，精度也會(huì)趨于一個(gè)穩(wěn)定的狀態(tài)。

3.2.2學(xué)習(xí)率的影響。學(xué)習(xí)率是控制每次更新參數(shù)的幅度的，也稱為學(xué)習(xí)步長(zhǎng)，是很重要的模型超參。過(guò)高和過(guò)低的學(xué)習(xí)率都可能對(duì)模型結(jié)果帶來(lái)不好的影響，合適的學(xué)習(xí)率可以加快模型的訓(xùn)練速度。

3.2.3隱含層節(jié)點(diǎn)個(gè)數(shù)的影響。輸入由輸入向量維數(shù)決定，輸出由類別決定，而中間的隱藏層數(shù)及其節(jié)點(diǎn)個(gè)數(shù)并沒(méi)有統(tǒng)一的結(jié)論。隱藏層單元的個(gè)數(shù)決定了網(wǎng)絡(luò)的表達(dá)能力。一般隱藏層單元個(gè)數(shù)越多，網(wǎng)絡(luò)學(xué)習(xí)到的東西就越多。

綜上所述，一個(gè)實(shí)驗(yàn)的數(shù)據(jù)集預(yù)測(cè)精確度是受迭代次數(shù)（迭代次數(shù)不夠，不能收斂，迭代次數(shù)太多，浪費(fèi)時(shí)間）、學(xué)習(xí)率、隱含層節(jié)點(diǎn)個(gè)數(shù)多方面的因素影響的，并且目前沒(méi)有一個(gè)統(tǒng)一的定論如何調(diào)參更優(yōu)，都需要經(jīng)過(guò)多次重復(fù)實(shí)驗(yàn)。

參考文獻(xiàn)：

[1]張?zhí)煨?感知機(jī)理論研究綜述[J].電子技術(shù)與軟件工程，2017（22）：257-258.

[2]周志華.機(jī)器學(xué)習(xí)[M].北京：清華大學(xué)出版社，2016.1.

[3]機(jī)器學(xué)習(xí)及其算法和發(fā)展研究[J].張潤(rùn)，王永濱.中國(guó)傳媒大學(xué)學(xué)報(bào)（自然科學(xué)版）.2016（02）

[4]Zhiyuan Ma， Wei Zhang， Zhongbing Luo等. Ultrasonic characterization of thermal barrier coatings porosity through BP neural network optimizing Gaussian process regression algorithm[J]. Ultrasonics，2020，100.

[5]孫即祥.現(xiàn)代模式識(shí)別（第二版）.高等教育出版社.2008.10.

（西華大學(xué) 四川省成都市 610039）