基于極限學(xué)習(xí)機(jī)的三維圖形重構(gòu)虛擬仿真實(shí)驗(yàn)研究

陳 龍， 郄小美， 黃信靜

(杭州電子科技大學(xué) 電子信息學(xué)院， 杭州 310018)

基于極限學(xué)習(xí)機(jī)的三維圖形重構(gòu)虛擬仿真實(shí)驗(yàn)研究

陳 龍， 郄小美， 黃信靜

(杭州電子科技大學(xué) 電子信息學(xué)院， 杭州 310018)

針對(duì)極限學(xué)習(xí)機(jī)容易導(dǎo)致過(guò)擬合、泛化能力小等局限性，采用移動(dòng)加權(quán)極限學(xué)習(xí)機(jī)和正則極限學(xué)習(xí)機(jī)優(yōu)化算法，平衡原始極限學(xué)習(xí)機(jī)存在的結(jié)構(gòu)風(fēng)險(xiǎn)和經(jīng)驗(yàn)風(fēng)險(xiǎn)，提高極限學(xué)習(xí)機(jī)的泛化能力；并用該算法對(duì)墨西哥帽子函數(shù)進(jìn)行三維重構(gòu)虛擬仿真實(shí)驗(yàn)。實(shí)驗(yàn)表明,這兩種算法能夠有效的降低重構(gòu)誤差，提高算法的泛化能力。該仿真實(shí)驗(yàn)可用于神經(jīng)網(wǎng)絡(luò)及Matlab虛擬仿真實(shí)驗(yàn)教學(xué)，對(duì)提高學(xué)生自主學(xué)習(xí)能力，編程與調(diào)試能力起到積極作用。

極限學(xué)習(xí)機(jī)； 拉格朗日乘子法； 三維圖形重構(gòu)； 虛擬仿真實(shí)驗(yàn)； 能力培養(yǎng)

0 引 言

近年來(lái)各高校對(duì)學(xué)生的培養(yǎng)已經(jīng)不僅僅是局限于理論知識(shí)和課堂實(shí)驗(yàn)的教學(xué)，更注重對(duì)學(xué)生創(chuàng)新思維和創(chuàng)新能力的培養(yǎng)[1]。虛擬仿真技術(shù)是伴隨著計(jì)算機(jī)技術(shù)的發(fā)展而逐步形成的一類(lèi)實(shí)驗(yàn)研究的新技術(shù)，并在教學(xué)上取得了良好的效果；人工神經(jīng)網(wǎng)絡(luò)作為模仿生物神經(jīng)網(wǎng)絡(luò)行為特征的一種數(shù)學(xué)模型，提出之后在神經(jīng)科學(xué)、人工智能和計(jì)算機(jī)科學(xué)等領(lǐng)域得到了廣泛研究[2]。極限學(xué)習(xí)機(jī)算法在2004年由新加坡南洋理工大學(xué)黃廣斌教授等[3-4]提出，是一種快速的單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidden Layer Feedforward Neural Network,SLFN)算法，該算法通過(guò)大量的樣本計(jì)算確定神經(jīng)網(wǎng)絡(luò)的傳輸參數(shù)，相對(duì)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)因迭代計(jì)算傳輸參數(shù)消耗大量時(shí)間，極限學(xué)習(xí)機(jī)算法計(jì)算過(guò)程無(wú)需迭代，訓(xùn)練速度快，泛化能力好。

傳統(tǒng)上三維圖形的重構(gòu)直接通過(guò)恢復(fù)圖像的深度信息或需要多幅圖像來(lái)實(shí)現(xiàn)[5-11]，本文采用的極限學(xué)習(xí)機(jī)、移動(dòng)加權(quán)極限學(xué)習(xí)機(jī)和正則極限學(xué)習(xí)機(jī)對(duì)三維圖形的重構(gòu)實(shí)現(xiàn)簡(jiǎn)單，精確度高。極限學(xué)習(xí)機(jī)仿真研究的方法可用于虛擬仿真實(shí)驗(yàn)教學(xué)，通過(guò)虛擬仿真實(shí)驗(yàn)中算法優(yōu)化和軟件仿真提高學(xué)生的科研能力和實(shí)踐能力[12]，且此類(lèi)實(shí)驗(yàn)在虛擬仿真實(shí)驗(yàn)教學(xué)中成本低，可開(kāi)展規(guī)模大，為各高校對(duì)學(xué)生實(shí)踐能力的培養(yǎng)提供了新的思路。

1 極限學(xué)習(xí)機(jī)

SLFN的模型如圖1所示，包括輸入層、隱藏層和輸出層，其中單個(gè)隱藏層神經(jīng)元的模型如圖2所示，輸入xi與對(duì)應(yīng)權(quán)值wi相乘求和后加偏置b，經(jīng)激活函數(shù)g(x)限幅得隱藏層神經(jīng)元輸出為

(1)

圖1 單隱藏層前饋神經(jīng)網(wǎng)絡(luò)模型圖

圖2 單個(gè)隱藏層神經(jīng)元模型圖

(2)

為了使模型的實(shí)際輸出Oj零誤差的逼近于期望輸出tj，即

(3)

采用矩陣表達(dá)式，式(3)可簡(jiǎn)化為

(4)

輸入權(quán)值矩陣W和偏置矩陣b可隨機(jī)設(shè)定[3]，根據(jù)Moore-Penrose廣義逆矩陣和最小范數(shù)最小二乘解[13]的相關(guān)定理得:

(5)

H+為隱藏層輸出矩陣H的Moore-Penrose廣義逆。

ELM訓(xùn)練過(guò)程即求輸出權(quán)值矩陣β的過(guò)程，ELM算法實(shí)現(xiàn)流程如圖3所示，對(duì)于給定訓(xùn)練樣本，首先，設(shè)定隱藏層神經(jīng)元個(gè)數(shù)，隨機(jī)初始化輸入權(quán)值矩陣W和偏置矩陣b，選擇合適的激活函數(shù)；其次，根據(jù)式(1)計(jì)算極限學(xué)習(xí)機(jī)每個(gè)隱藏層神經(jīng)元的輸出H，通過(guò)式(5)計(jì)算得輸出權(quán)值矩陣β；最后，根據(jù)所得β對(duì)測(cè)試樣本進(jìn)行仿真，對(duì)仿真結(jié)果進(jìn)行對(duì)比和分析，測(cè)試結(jié)果不滿(mǎn)足要求時(shí)可通過(guò)適當(dāng)增加訓(xùn)練樣本或隱藏層神經(jīng)元個(gè)數(shù)改善。

圖3 ELM算法實(shí)現(xiàn)流程圖

2 極限學(xué)習(xí)機(jī)優(yōu)化設(shè)計(jì)

ELM算法基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則，未考慮結(jié)構(gòu)風(fēng)險(xiǎn)，在實(shí)際應(yīng)用中容易導(dǎo)致過(guò)度擬合的問(wèn)題；ELM直接求最小二乘解，當(dāng)樣本數(shù)據(jù)發(fā)生改變時(shí)，無(wú)法對(duì)參數(shù)進(jìn)行調(diào)整；針對(duì)ELM的這些缺點(diǎn)，查閱多種ELM優(yōu)化設(shè)計(jì)算法，采用移動(dòng)加權(quán)極限學(xué)習(xí)機(jī)和正則極限學(xué)習(xí)機(jī)進(jìn)行三維圖形重構(gòu)虛擬仿真實(shí)驗(yàn)的研究。

2.1 移動(dòng)加權(quán)極限學(xué)習(xí)機(jī)

移動(dòng)加權(quán)極限學(xué)習(xí)機(jī)應(yīng)用移動(dòng)最小二乘法原理，針對(duì)不同的輸入樣本，根據(jù)選擇的權(quán)函數(shù)訓(xùn)練不同樣本的權(quán)重，輸出權(quán)值為一個(gè)與輸入有關(guān)的權(quán)函數(shù)，而不是一個(gè)固定的數(shù)值矩陣，從而提高算法的穩(wěn)定性[13-14]。

移動(dòng)加權(quán)極限學(xué)習(xí)機(jī)算法的數(shù)學(xué)模型為

(6)

實(shí)際輸出Oj與期望輸出tj之間的加權(quán)損失平方函數(shù)為

E(x)=

(7)

(8)

式中，P(x)=HTW(x)。

移動(dòng)加權(quán)極限學(xué)習(xí)機(jī)訓(xùn)練過(guò)程中訓(xùn)練數(shù)據(jù)按一定的規(guī)則分類(lèi)，每一類(lèi)數(shù)據(jù)單獨(dú)訓(xùn)練網(wǎng)絡(luò)參數(shù)β(x)，用得到的網(wǎng)絡(luò)參數(shù)β(x)對(duì)具有相似特征的數(shù)據(jù)類(lèi)進(jìn)行測(cè)試，避免了原始極限學(xué)習(xí)機(jī)在處理不規(guī)則數(shù)據(jù)時(shí)泛化能力差的缺點(diǎn)。

2.2 正則極限學(xué)習(xí)機(jī)

正則極限學(xué)習(xí)機(jī)通過(guò)參數(shù)γ來(lái)調(diào)節(jié)經(jīng)驗(yàn)風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn)的比例[15]。數(shù)學(xué)模型為

(9)

用拉格朗日方程將求式(9)的最小值轉(zhuǎn)換為無(wú)條件極值求解問(wèn)題，R-ELM的數(shù)學(xué)模型可用拉格朗日方程表示為

(10)

式中：α為拉格朗日乘子，根據(jù)KKT優(yōu)化條件令該函數(shù)分別對(duì)β、α、ε求梯度：

(11)

根據(jù)拉格朗日方程求極值方法，解得輸出權(quán)值矩陣為

(12)

當(dāng)D為單位對(duì)角矩陣時(shí)，該算法稱(chēng)為無(wú)權(quán)正則極限學(xué)習(xí)機(jī)；否則，稱(chēng)為有權(quán)正則極限學(xué)習(xí)機(jī)。原始極限學(xué)習(xí)機(jī)是無(wú)權(quán)極限學(xué)習(xí)機(jī)在γ趨向于無(wú)窮大時(shí)的特殊情況。正則極限學(xué)習(xí)機(jī)提高了原始極限學(xué)習(xí)機(jī)的泛化能力，改善了原始極限學(xué)習(xí)機(jī)存在的過(guò)擬合問(wèn)題。

3 基于ELM的三維圖形虛擬仿真實(shí)驗(yàn)設(shè)計(jì)

本實(shí)驗(yàn)案例采用Matlab作為仿真環(huán)境，Matlab功能強(qiáng)大，集成度高，使用簡(jiǎn)單，在信號(hào)處理、自動(dòng)控制和電子仿真等方面應(yīng)用廣泛，使用Matlab軟件進(jìn)行虛擬實(shí)驗(yàn)仿真已經(jīng)是大學(xué)生必須掌握的一項(xiàng)基本技能。

(a)墨西哥帽子三維圖形原圖 (b)原始ELM重構(gòu)結(jié)果

(c)MLS?ELM重構(gòu)結(jié)果 (d)R?ELM重構(gòu)結(jié)果

圖4 墨西哥帽子三維圖形重構(gòu)結(jié)果

(2) 訓(xùn)練樣本生成。極限學(xué)習(xí)機(jī)訓(xùn)練過(guò)程需要大量訓(xùn)練樣本，為生成訓(xùn)練樣本，在給定橫縱坐標(biāo)范圍內(nèi)以0.5為步長(zhǎng)用rand函數(shù)隨機(jī)產(chǎn)生Q個(gè)網(wǎng)格節(jié)點(diǎn)作為神經(jīng)網(wǎng)絡(luò)的輸入，Q=1 000，網(wǎng)格節(jié)點(diǎn)坐標(biāo)矩陣[x_randy_rand],用plot(x_rand,y_rand,‘*’)語(yǔ)句繪制隨機(jī)生成的網(wǎng)格節(jié)點(diǎn)如圖5所示，其中訓(xùn)練樣本輸入為P，訓(xùn)練樣本期望輸出為T(mén)，即每個(gè)網(wǎng)格節(jié)點(diǎn)對(duì)應(yīng)的高度。

圖5 隨機(jī)生成的網(wǎng)格節(jié)點(diǎn)分布圖

訓(xùn)練樣本生成過(guò)程程序?yàn)椋?/p>

(3) 基于ELM、MLS-ELM和R-ELM的三維圖形重構(gòu)仿真。本實(shí)驗(yàn)案例通過(guò)ELM、MLS-ELM和R-ELM 3種算法對(duì)墨西哥帽子三維圖形進(jìn)行重構(gòu)仿真。原始ELM訓(xùn)練過(guò)程部分程序?yàn)椋?/p>

其中：N為隱藏層神經(jīng)元個(gè)數(shù)，N=50，IW為輸入權(quán)值，B為隱藏層神經(jīng)元偏置矩陣，激活函數(shù)為sin(x)，tempH為根據(jù)式(1)求得的隱藏層輸出，LW為根據(jù)式(5)求得的輸出矩陣。

經(jīng)以上訓(xùn)練過(guò)程得輸出權(quán)值矩陣LW，通過(guò)下列所示程序進(jìn)行墨西哥帽子三維圖形重構(gòu)仿真，Or_Elm_Zout即神經(jīng)網(wǎng)絡(luò)的最終輸出，原始ELM算法實(shí)現(xiàn)墨西哥帽子三維圖形重構(gòu)仿真結(jié)果如圖4(b)所示。

無(wú)權(quán)正則極限學(xué)習(xí)機(jī)的輸出權(quán)值矩陣為

(13)

由式(11)得:

(14)

(15)

式中，c1和c2的值分別取2.5和3。正則極限學(xué)習(xí)機(jī)對(duì)墨西哥帽子三維圖形重構(gòu)結(jié)果如圖4(d)所示。

(4) 重構(gòu)結(jié)果誤差分析。如圖4所示，ELM、MLS-ELM和R-ELM 3種算法均可以對(duì)墨西哥帽子三維圖形進(jìn)行重構(gòu)，為了比較3種算法的性能，將實(shí)測(cè)值和期望值之間的絕對(duì)誤差進(jìn)行對(duì)比，圖6所示為ELM、MLS-ELM和R-ELM對(duì)墨西哥帽子三維圖形重構(gòu)實(shí)驗(yàn)的絕對(duì)誤差曲線(xiàn)。由圖6可見(jiàn)，MLS-ELM算法的重構(gòu)效果最佳。另外，將均方根RMSE作為重構(gòu)誤差的衡量標(biāo)準(zhǔn)，同時(shí)將訓(xùn)練時(shí)間和測(cè)試時(shí)間也進(jìn)行了對(duì)比，具體結(jié)果見(jiàn)表1。

由表1虛擬重構(gòu)實(shí)驗(yàn)結(jié)果對(duì)比可知，ELM、MLS-ELM和R-ELM重構(gòu)誤差的均方差RMSE分別為0.061 7、0.015 5和0.039 8，MLS-ELM的誤差最小。圖6和表1 對(duì)比結(jié)果表明，MLS-ELM算法和R-ELM算法在重構(gòu)精度和泛化能力上都優(yōu)于原始的ELM算法，但這兩種算法增加了計(jì)算復(fù)雜度，延長(zhǎng)了訓(xùn)練時(shí)間。

圖6 ELM、MLS-ELM和R-ELM重構(gòu)誤差曲線(xiàn)

表1 ELM、MLS-ELM和R-ELM虛擬仿真實(shí)驗(yàn)結(jié)果對(duì)比

4 結(jié) 論

本文設(shè)計(jì)了墨西哥帽子三維圖形重構(gòu)虛擬仿真實(shí)驗(yàn)，通過(guò)兩種極限學(xué)習(xí)機(jī)的優(yōu)化算法，以三維圖形重構(gòu)實(shí)驗(yàn)為平臺(tái)進(jìn)行了實(shí)測(cè)，并將該實(shí)驗(yàn)案例應(yīng)用于本科教學(xué)，達(dá)到了以下教學(xué)目的：

(1) 掌握神經(jīng)網(wǎng)絡(luò)的基本原理和應(yīng)用，了解ELM算法的優(yōu)勢(shì)，仿真過(guò)程直觀地呈現(xiàn)出三維圖形的重構(gòu)效果，讓實(shí)驗(yàn)教學(xué)更為生動(dòng)具體，可將極限學(xué)習(xí)機(jī)算法推廣到更多的應(yīng)用領(lǐng)域，如人體三維重構(gòu)、手勢(shì)識(shí)別等。

(2) 介紹移動(dòng)加權(quán)極限學(xué)習(xí)機(jī)和正則極限學(xué)習(xí)機(jī)優(yōu)化算法，掌握優(yōu)化算法的設(shè)計(jì)，為學(xué)生在以后的工程設(shè)計(jì)中拓寬思路，縮短設(shè)計(jì)周期。

(3) 采用Matlab作為仿真環(huán)境，熟練使用Matlab編程軟件，掌握基于Matlab虛擬仿真實(shí)驗(yàn)的設(shè)計(jì)。

(4) 通過(guò)對(duì)墨西哥帽子三維圖形虛擬仿真實(shí)驗(yàn)結(jié)果進(jìn)行比較，掌握虛擬仿真實(shí)驗(yàn)結(jié)果對(duì)比時(shí)參數(shù)的選擇和分析方式。

通過(guò)虛擬仿真實(shí)驗(yàn)的開(kāi)展可以開(kāi)闊學(xué)生的眼界，提升學(xué)生的科研興趣，鼓勵(lì)學(xué)生以所學(xué)知識(shí)為基礎(chǔ)拓展到更寬、更廣的知識(shí)體系中，同時(shí)提倡學(xué)生積極參加科研競(jìng)賽，鍛煉動(dòng)手能力，為學(xué)生從學(xué)校畢業(yè)步入工作崗位奠定理論基礎(chǔ)，提高實(shí)踐技能。

[1] 王艷芬,叢瀟雨,王 剛,等. 基于Simulink的Chirp- UWB通信系統(tǒng)綜合實(shí)驗(yàn)設(shè)計(jì)[J]. 實(shí)驗(yàn)室研究與探索, 2015(7):90-93，234.

[2] 周 品.Matlab神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)與應(yīng)用[M].北京：清華大學(xué)出版社，2013,55-62.

[3] Huang GB, Wang DH, Lan Y.Extreme learning machines : a survey[J]. Int J Mach Learn & Cyber, 2011(2):107-122.

[4] Huang G B,Qin Y Z,Chee K S. Extreme learning machine：Theory and applications[J]. Neuroco- mputing, 2006,70: 489-501.

[5] Wang Feng，Dai Shu-guang. 3-D Reconstruction based on binocular stereo vision [J]. Proc of SPIE,2009， 7283: 728331.

[6] 溫 穎,劉思遠(yuǎn),張 玲.視覺(jué)優(yōu)化的移動(dòng)三維圖形自適應(yīng)重構(gòu)技術(shù)研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2013(8): 2862-2866.

[7] 王冬欣,李 哲. 基于VTK的CT圖像三維重建與可視化[J]. 實(shí)驗(yàn)室研究與探索,2015(8):108-111.

[8] 褚玉曉，邵 彧.三維圖形重建算法的仿真研究[J].計(jì)算機(jī)仿真，2013,30(3):403-407.

[9] 姜大志. 計(jì)算機(jī)視覺(jué)中三維重構(gòu)的研究與應(yīng)用[D].南京：南京航空航天大學(xué),2002.

[10] 王 年.三維重構(gòu)中關(guān)鍵算法研究[D].合肥：安徽大學(xué),2005.

[11] Kang J Q, Lu S, Gong W B,etal. A Complex network based feature extraction for image retrieval[C]∥IEEE International Conference on Image Processing,2014: 2051-2055.

[12] 趙文華,張文濤,杜欣慧. 形相似的ELM在電鐵短期負(fù)荷預(yù)測(cè)中應(yīng)用[J]. 實(shí)驗(yàn)室研究與探索, 2013(11): 279-282,328.

[13] Lancaster P, Salkauskas K. Surface generated by moving least squares methods [J]. Math Com-Putation, 1981, 37: 141-158.

[14] Ren H P, Cheng Y M, Zhang W. Researches on the improved interpolating moving least-squaresmethod [J]. Chinese Journal of Chemical Engineering, 2010, 27 (6): 1021-1029.

[15] Deng W, Zheng Q, Chen L. Regularized extreme learning machine[C]∥Computational Intelligence and Data Mining, 2009. CIDM’09. IEEE Symposium on. IEEE, 2009:389-390.

[16] Suykens J A K,De Brabanter J,Lukas L,etal.Weighted least squares support vector machines:Robustness and sparse approximation[J]. Neurocomputing, 2002,48(1): 85-105.

·名人名言·

知識(shí)是一座寶庫(kù),而實(shí)踐則是開(kāi)啟寶庫(kù)的鑰匙。

——托馬斯·富勒

Virtual Simulation Experiment Research for 3D Graphics Reconstruction Based on Extreme Learning Machine

CHENLong，QIEXiaomei，HUANGXinjing

(School of Electronic Information, Hangzhou Dianzi University, Hangzhou 310018, China)

In view of the limitations of over fitting and small generalization ability caused by extreme learning machine (ELM), it uses moving least square extreme learning machine (MLS-ELM) and regularized extreme learning machine (R-ELM) optimization algorithm to balance structure risk and empirical risk caused by extreme learning machine (ELM). The design improves the generalization ability of the ELM. It uses MLS-ELM and R-ELM to conduct the virtual simulation experiment about the reconstruction of 3D graphics of the Mexican hat function. This experiment shows that MLS-ELM and R-ELM can effectively reduce the reconstruction error. This simulation experiment can be used in the neural network and Matlab virtual simulation teaching, and plays a positive role in improving the students’ autonomous learning ability and the programming ability.

extreme learning machine; Lagrange multiplier method; 3D graphics reconstruction; virtual simulation experiment; ability cultivation

2016-03-25

浙江省2013年高等教育課堂教學(xué)改革項(xiàng)目——(kg2013125)； 浙江省2015年度高等教育教學(xué)改革項(xiàng)目(jg2015060)

陳 龍(1979-)，男，山東寧陽(yáng)人，碩士，副教授，研究方向?yàn)榍度胧较到y(tǒng)設(shè)計(jì)與應(yīng)用、神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)。

Tel.：0571-86915094； E-mail：chenlong@hdu.edu.cn

G 642.423

A

1006-7167(2017)02-0102-05