人工神經(jīng)網(wǎng)絡(luò)在聚氨酯配方設(shè)計(jì)中的應(yīng)用研究

滕 鑫，唐頌超，徐世愛，李水強(qiáng)

(華東理工大學(xué) 材料科學(xué)與工程學(xué)院，上海 200237)

·軟件開發(fā)與應(yīng)用·

人工神經(jīng)網(wǎng)絡(luò)在聚氨酯配方設(shè)計(jì)中的應(yīng)用研究

滕 鑫，唐頌超，徐世愛，李水強(qiáng)

(華東理工大學(xué) 材料科學(xué)與工程學(xué)院，上海 200237)

人工神經(jīng)網(wǎng)絡(luò)；BP反向傳播網(wǎng)絡(luò) ；聚氨酯；應(yīng)用

實(shí)驗(yàn)中分析處理所得到的數(shù)據(jù)往往是簡(jiǎn)單的信息。比如，在設(shè)計(jì)一種新的聚合物配方以期望達(dá)到某些特定性能指標(biāo)時(shí)，往往需要在實(shí)驗(yàn)的基礎(chǔ)上設(shè)計(jì)好若干份組分不同的試樣進(jìn)行實(shí)驗(yàn)，通過(guò)測(cè)試試樣的性能后，再在其基礎(chǔ)上適當(dāng)調(diào)整成分或工藝參數(shù)，一般需要經(jīng)過(guò)反復(fù)多次才能達(dá)到或接近預(yù)期目的。然而，有時(shí)即使是通過(guò)大量的實(shí)驗(yàn)也不一定能夠找到理想的方案。因?yàn)?，在工作中所碰到的大多?shù)問題都是非線性的多變量的問題，簡(jiǎn)單的數(shù)據(jù)處理方法，往往只是把復(fù)雜的非線性的多變量的問題簡(jiǎn)化為簡(jiǎn)單的單個(gè)變量或者兩個(gè)變量的問題。所以，面對(duì)這類實(shí)際生產(chǎn)中的問題，必須改變處理數(shù)據(jù)的方法[1]。在材料科學(xué)的研究中，優(yōu)化算法在材料工程中取得了一定的進(jìn)展，比較活躍的領(lǐng)域有計(jì)算材料(computational materials science)和人工神經(jīng)網(wǎng)絡(luò)[2](artificial neural networks)。

1 人工神經(jīng)網(wǎng)絡(luò)理論

人工神經(jīng)網(wǎng)絡(luò)就是所謂的神經(jīng)網(wǎng)絡(luò)，它是對(duì)人腦的抽象、簡(jiǎn)化和模擬仿真。神經(jīng)網(wǎng)絡(luò)的研究是從人腦的生理結(jié)構(gòu)出發(fā)來(lái)研究人的智能行為,模擬人腦信息處理的功能，是根植于神經(jīng)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)及工程學(xué)科的一門技術(shù)[3]。

BP算法是用于多層網(wǎng)絡(luò)的學(xué)習(xí)算法[4]，它含有輸入層、輸出層以及處于輸入、輸出層之間的中間層。中間層有單層或多層，由于它們和外界沒有直接的聯(lián)系，故也稱為隱含層。在隱含層中的神經(jīng)元也稱隱單元。隱含層雖然和外界不連接，但是它們的狀態(tài)會(huì)影響輸入、輸出之間的關(guān)系。即是說(shuō)，改變隱含層的權(quán)系數(shù)，可以改變整個(gè)多層神經(jīng)網(wǎng)絡(luò)的性能。

1)對(duì)權(quán)系數(shù)Wij置初值。對(duì)各層的權(quán)系數(shù)Wij置一個(gè)較小的非零隨機(jī)數(shù)，但其中Win+1=-θ。

2)輸入一個(gè)樣本X=(x1，x2，…，xn，1)，以及對(duì)應(yīng)期望輸出Y=(Y1，Y2，…，Yn)。

4)求各層的學(xué)習(xí)誤差dik，對(duì)于輸出層有k=m，有：

對(duì)于其他各層，有：

5)修正權(quán)系數(shù)Wij和閥值θ。

6)當(dāng)求出了各層各個(gè)權(quán)系數(shù)之后，可按給定品質(zhì)指標(biāo)判別是否滿足要求。如果滿足要求，則算法結(jié)束；如果未滿足要求，則返回3)執(zhí)行。

這個(gè)過(guò)程，對(duì)于任一給定的樣本Xp=(xp1，xp2，…，xpn，1)和期望輸出Yp=(Yp1，Yp2，…，Ypn)都要執(zhí)行，直到滿足所有輸入、輸出要求為止。

2 聚氨酯配方實(shí)驗(yàn)設(shè)計(jì)

主要是考察聚氨酯配方中的異氰酸酯含量、加工溫度、試用期、后固化溫度及比重等五個(gè)因素對(duì)力學(xué)性能的影響[5]。法國(guó)博雷公司共制備了12組實(shí)驗(yàn)樣本，測(cè)得數(shù)據(jù)如表1所示。將這些數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，再利用訓(xùn)練好的網(wǎng)絡(luò)模型，能夠比較準(zhǔn)確地預(yù)測(cè)聚氨酯未知配方的力學(xué)性能。

表1 聚氨酯制備工藝參數(shù)與獲得的材料的100拉伸強(qiáng)度值

為了消除不同因子之間由于量綱和數(shù)值大小的差異而造成的誤差，以及由于輸入變量過(guò)大造成的學(xué)習(xí)溢出的問題，需要對(duì)原始數(shù)據(jù)進(jìn)行歸一化處理。將實(shí)驗(yàn)數(shù)據(jù)按照下列公式計(jì)算[6]：

式中：xN表示歸一化處理后的值，其值在[0，1]之間；x表示原來(lái)的值，xmax和xmin分別表示數(shù)組中的最大值和最小值。

歸一化處理完后，還要選擇幾組數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)，檢驗(yàn)網(wǎng)絡(luò)的具體訓(xùn)練情況，看是否能達(dá)到訓(xùn)練的預(yù)期。表2和表3即為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)。

利用人工神經(jīng)網(wǎng)絡(luò)技術(shù)，采用Matlab軟件[7]設(shè)計(jì)BP網(wǎng)絡(luò)模型，建立聚氨酯配方組分與其材料力學(xué)性能的復(fù)雜的非線性關(guān)系。

表2 經(jīng)過(guò)歸一化處理的學(xué)習(xí)訓(xùn)練數(shù)據(jù)樣本集

表3 經(jīng)過(guò)歸一化處理的測(cè)試數(shù)據(jù)樣本集

1)定義輸入、輸出樣本向量

2)定義測(cè)試樣本數(shù)據(jù)

ptest=[x(:,1),x(:,2),x(:,3),x(:,4),x(:,5);]′

ttest=x(:,6)′

3)構(gòu)建一個(gè)新的BP網(wǎng)絡(luò)

inputbias=net_1.b{1}

layerbias=net_1.b{2}

net_1.trainParam.lr = 0.05;

net_1.trainParam.mc = 0.9;

4)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練

5)訓(xùn)練結(jié)束后，對(duì)網(wǎng)絡(luò)進(jìn)行仿真

A = sim(net_1,p);

6)應(yīng)用均方誤差(MSE)函數(shù)計(jì)算仿真誤差，評(píng)價(jià)網(wǎng)絡(luò)訓(xùn)練情況

E = t - A;

MSE=mse(E)

7)將檢驗(yàn)數(shù)據(jù)輸入網(wǎng)絡(luò)，查看檢驗(yàn)向量輸入網(wǎng)絡(luò)，評(píng)價(jià)網(wǎng)絡(luò)

rtest = sim(net_1,p);

rdelta = rtest-t;

result_test = sim(net_1,ptest);

delta = result_test-ttest;

result=[ttest′ result_test′ delta′];

3 聚氨酯配方設(shè)計(jì)實(shí)驗(yàn)部分

3.1 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練階段

運(yùn)行編好的程序段要解決兩個(gè)比較重要的問題：網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)的確定和網(wǎng)絡(luò)訓(xùn)練方法的合理選擇。隱含層節(jié)點(diǎn)數(shù)的選擇是一個(gè)非常復(fù)雜的問題[8]，且目前并沒有統(tǒng)一的理論指導(dǎo)[9]。隱含層單元數(shù)目與問題的要求、輸入/輸出單元數(shù)都有直接關(guān)系。隱含層單元數(shù)太少，網(wǎng)絡(luò)可能訓(xùn)練不出來(lái)，或網(wǎng)絡(luò)容錯(cuò)性差；但隱含層單元數(shù)太多又使學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，誤差也不一定能達(dá)到最佳。一般情況下，僅能靠經(jīng)驗(yàn)和實(shí)驗(yàn)來(lái)確定隱含層單元數(shù)。將訓(xùn)練方法進(jìn)行適當(dāng)?shù)母?，我們選擇標(biāo)準(zhǔn)的梯度下降算法，在newff函數(shù)中，設(shè)定學(xué)習(xí)訓(xùn)練算法為traingd。采用使隱含層單元數(shù)可變的變結(jié)構(gòu)法，即開始放入比較少的隱含層單元數(shù)，學(xué)習(xí)一定次數(shù)后，若不成功，就增加隱含層單元數(shù)[10]，一直達(dá)到比較合理的隱含層單元數(shù)為止。

通過(guò)計(jì)算結(jié)果得出，當(dāng)節(jié)點(diǎn)數(shù)達(dá)到10時(shí)，曲線已經(jīng)能夠完美達(dá)到訓(xùn)練預(yù)期，收斂速度比較快且沒有出現(xiàn)曲線波動(dòng)、震蕩劇烈等情況，如圖1所示。

圖1 隱含層節(jié)點(diǎn)數(shù)為10時(shí)的MSE曲線圖

BP網(wǎng)絡(luò)的訓(xùn)練就是網(wǎng)絡(luò)的自學(xué)習(xí)過(guò)程，一般BP網(wǎng)絡(luò)的訓(xùn)練算法是標(biāo)準(zhǔn)的梯度下降法[11]。標(biāo)準(zhǔn)的梯度下降法在調(diào)整權(quán)值時(shí)，僅僅按照當(dāng)前時(shí)刻的負(fù)梯度方向進(jìn)行調(diào)整，并沒有考慮以前各次運(yùn)算步驟中的梯度方向。因此，新的樣本對(duì)迭代過(guò)程影響太大，易陷入局部極小點(diǎn)，導(dǎo)致不穩(wěn)定和收斂速度慢的問題。為此，人們提出了多種高效BP算法來(lái)避免局部最小和提高收斂速度的改進(jìn)方法[12]，包括：(1)加動(dòng)量算法。為了加速算法的收斂速度，可考慮一動(dòng)量項(xiàng)常數(shù)μ，動(dòng)量項(xiàng)的貢獻(xiàn)就是在權(quán)值調(diào)整的過(guò)程中，保存了上一個(gè)循環(huán)中的值。由于加入了以前梯度的貢獻(xiàn)，就相當(dāng)于給迭代過(guò)程添加了一個(gè)低通濾波器。(2)可變學(xué)習(xí)速率的梯度下降算法。將學(xué)習(xí)速率設(shè)定為可變，就可以改善訓(xùn)練算法的性能。具備自適應(yīng)學(xué)習(xí)速率的梯度下降算法可以在保持訓(xùn)練過(guò)程穩(wěn)定的前提下采用最大的學(xué)習(xí)速率。(3)牛頓法。常規(guī)的BP算法修正權(quán)值只是用到了誤差函數(shù)對(duì)權(quán)值的梯度，即一階導(dǎo)數(shù)的信息。如果采用二階導(dǎo)數(shù)信息進(jìn)行權(quán)值調(diào)整(即牛頓法)，即可以加速收斂。

這些算法都各有優(yōu)缺點(diǎn)，但是對(duì)于一個(gè)具體的網(wǎng)絡(luò)，就必須去找到一個(gè)合適的算法。本文根據(jù)網(wǎng)絡(luò)訓(xùn)練的收斂速度、訓(xùn)練曲線的穩(wěn)定情況及網(wǎng)絡(luò)的仿真情況來(lái)確定適用于樣本數(shù)據(jù)的網(wǎng)絡(luò)訓(xùn)練算法，也就是標(biāo)準(zhǔn)梯度下降算法。

通過(guò)使用各種算法實(shí)際訓(xùn)練網(wǎng)絡(luò)的情況來(lái)看，有動(dòng)量的梯度算法和可變學(xué)習(xí)速率的梯度下降算法，網(wǎng)絡(luò)的收斂速度相對(duì)比較慢，且可變學(xué)習(xí)速率的梯度下降算法MSE曲線有震蕩，而牛頓法雖然迭代速度較快，但是誤差下降波動(dòng)劇烈，最后，標(biāo)準(zhǔn)梯度下降算法需要通過(guò)2 342次迭代，就能達(dá)到目標(biāo)期望，且曲線穩(wěn)定。綜上所述，對(duì)于本文的樣本參數(shù)，選擇標(biāo)準(zhǔn)梯度下降算法來(lái)進(jìn)行網(wǎng)絡(luò)訓(xùn)練。因?yàn)椋瑢?duì)所選取的樣本參數(shù)，標(biāo)準(zhǔn)梯度下降算法已足夠達(dá)到訓(xùn)練預(yù)期，且沒有出現(xiàn)局部最小和收斂過(guò)慢。

圖2～圖5是各種訓(xùn)練算法的實(shí)際MSE曲線圖。

圖2 有動(dòng)量的梯度下降算法的MSE曲線圖

圖3 可變學(xué)習(xí)速率的梯度下降算法的MSE曲線圖

由于BP神經(jīng)網(wǎng)絡(luò)每次初始化權(quán)值是隨機(jī)的[13],就導(dǎo)致了每一次訓(xùn)練網(wǎng)絡(luò)時(shí)的結(jié)果會(huì)略微不同，這也是正常的情況，可以通過(guò)多次訓(xùn)練，尋取訓(xùn)練得比較好的結(jié)果。用這套訓(xùn)練最好的網(wǎng)絡(luò)進(jìn)行后面的性能預(yù)測(cè)，先后進(jìn)行8次網(wǎng)絡(luò)訓(xùn)練，記錄結(jié)果如表4所示。

圖4 牛頓法的MSE曲線圖

組號(hào)測(cè)試值輸出值誤差/平均誤差/1124207961516183510062230113748512842124207961382184086611431109983107831242079613152087109260608113756874124207961219197387416747089851251242079615461700969247017860971452612420796117722241028508742704651712420796129721531002460401438433812420796118722421028430831708656

圖5 標(biāo)準(zhǔn)梯度下降算法的實(shí)際MSE曲線圖

通過(guò)比較，發(fā)現(xiàn)第七次網(wǎng)絡(luò)訓(xùn)練比較好，誤差控制小，精度高，所以選擇第七次訓(xùn)練的網(wǎng)絡(luò)來(lái)進(jìn)行性能的預(yù)測(cè)。

3.2 神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)階段

現(xiàn)在就能利用已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)未知配方的拉伸強(qiáng)度的性能測(cè)試了。可以任意確定一個(gè)配方參數(shù)：異氰酸酯、加工溫度、試用期(MBCA)、后固化溫度、比重，[8.12，75，5，100，1.1]。把這個(gè)參數(shù)進(jìn)行歸一化處理之后得：[0.794 0，0.454 5，0.25，1，0.214 3]，再在程序后面輸入：

sim(net_1,x)

表5 實(shí)驗(yàn)值與網(wǎng)絡(luò)模型的擬合值及相對(duì)誤差

表6 神經(jīng)網(wǎng)絡(luò)輸出值和拉伸強(qiáng)度的測(cè)試值及誤差

4 結(jié)束語(yǔ)

[1]滕鑫，唐頌超，李水強(qiáng). 計(jì)算機(jī)模擬在材料實(shí)驗(yàn)教學(xué)中的應(yīng)用[J].實(shí)驗(yàn)技術(shù)與管理，2013，30(5)：67-69,82.

[2]周繼成，周青山.人工神經(jīng)網(wǎng)絡(luò)——第六代計(jì)算機(jī)的實(shí)現(xiàn)[M].北京：科學(xué)普及出版社，1995：109-131.

[3]ZupanJ，GasteigerJ. 神經(jīng)網(wǎng)絡(luò)及其在化學(xué)中的應(yīng)用[M].合肥：中國(guó)科學(xué)技術(shù)大學(xué)出版社，2000：56-121.

[4]HaykinS.Neuralnetworks:acomprehensivefoundation[M].2版.北京：清華大學(xué)出版社，2001：111-112.

[5]張立明. 人工神經(jīng)網(wǎng)絡(luò)的模型及其應(yīng)用[M].上海：復(fù)旦大學(xué)出版社，1993：79.

[6]HaganM.Neuralnetworkdesign[M].北京：機(jī)械工業(yè)出版社，2002：28-49.

[7]飛思科技產(chǎn)品研發(fā)中心.Matlab6.5 輔助神經(jīng)網(wǎng)絡(luò)分析與設(shè)計(jì)[M].北京：電子工業(yè)出版社，2003：1-11.

[8]張鴻賓. 訓(xùn)練多層網(wǎng)絡(luò)的樣本數(shù)問題[J].自動(dòng)化學(xué)報(bào)，1993(7)：33-36.

[9]HebbDO.Theorganizationofbehavior[M].NewYork：Wilery，1949：32-39.

[10]RumellhartDE,HintonGE，WilliamsRJ.Learningsrepresentationsbyback-propagationerrors[J].Nature，1986(323)：533-536.

[11]徐秉錚.神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用[M].廣州：華南理工大學(xué)出版社，1994：12.

[12]龔純，王正林.Matlab常用算法程序集[M].北京：電子工業(yè)出版社，2008：23-45.

[13]PoggioT.Networksforapproximationandlearning[J].ProceedingoftheIEEE,1990,78(9):1481-1497.

Application of Artificial Neural Network in the Polyurethane Formulation Design

TENG Xin, TANG Songchao, XU Shiai, LI Shuiqiang

(School of Materials Science and Engineering, East China University of Science and Technology, Shanghai 200237，China)

artificial neural network; BP back propagation network; polyurethane; application

2013-12-20；修改日期: 2014-01-20

2013年上海高校實(shí)驗(yàn)技術(shù)隊(duì)伍建設(shè)計(jì)劃基金資助項(xiàng)目(YD0114202)。

滕 鑫(1980-)，男，博士，高級(jí)實(shí)驗(yàn)師，研究方向：高分子材料、應(yīng)用化學(xué)。

李水強(qiáng)(1956-)，男，學(xué)士，高級(jí)工程師，研究方向：高分子分析測(cè)試儀器。

TP399

A

10.3969/j.issn.1672-4550.2015.01.013