第三十一講 在科技開發(fā)工作中神經(jīng)網(wǎng)絡(luò)應(yīng)用案例比對解讀

徐靜安 吳芳 汪焰

20多年前，在和上海化工研究院自動化研究所所長徐亞強(qiáng)討論時涉及人工神經(jīng)網(wǎng)絡(luò)，也算是對神經(jīng)網(wǎng)絡(luò)的道聽途說，但新奇的名詞和功能已暫存腦細(xì)胞記憶庫中。2012年筆者帶教的研究生陳玉巖嘗試在精餾18O穩(wěn)定同位素中應(yīng)用神經(jīng)網(wǎng)絡(luò)對ASPEN模擬結(jié)果進(jìn)行建模優(yōu)化，教學(xué)相長，倒逼我跟進(jìn)學(xué)習(xí)。陳玉巖幫我下載了《MATLAB遺傳算法工具箱及應(yīng)用》，我又向都麗紅教授借閱《人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論》。2013年我買了一本《計算智能——人工神經(jīng)網(wǎng)絡(luò)·模糊系統(tǒng)·進(jìn)化計算》。2014年獲贈《DPS數(shù)據(jù)處理系統(tǒng)——實(shí)驗(yàn)設(shè)計、統(tǒng)計分析及數(shù)據(jù)挖掘》。2015年吳芳碩士幫我下載了《數(shù)據(jù)挖掘中的新方法——支持向量機(jī)》，還促使我在2016年買了本《MATLAB神經(jīng)網(wǎng)絡(luò)43個案例分析》，其中，對案例分析花了點(diǎn)功夫?qū)W習(xí)。

當(dāng)然，我們的注意力集中在科技開發(fā)中如何引入、應(yīng)用神經(jīng)網(wǎng)絡(luò)方法，提升開發(fā)水平。2017年讀到的《均勻設(shè)計法優(yōu)化芥菜多糖的提取工藝及其神經(jīng)網(wǎng)絡(luò)模型的研究》一文，針對科技開發(fā)工作中有限的實(shí)驗(yàn)樣本量的制約，很有特色，可作探索性學(xué)習(xí)和解讀。

一 均勻設(shè)計安排實(shí)驗(yàn)+二次多項(xiàng)式逐步回歸建模

根據(jù)專業(yè)知識，原文考察植物提取的4個影響因素及其變化范圍。纖維素酶的酶提時間X1：20～130 min，酶濃度 X2：1.0%～6.5%，料液 pH X3：4.0～6.0；提取溫度X4：45～60℃，響應(yīng)Y為多糖提取率。

原文案例作為實(shí)驗(yàn)室小試階段的應(yīng)用性技術(shù)開發(fā)，采用均勻設(shè)計和二次多項(xiàng)式逐步回歸建模，由此獲得多糖提取的優(yōu)化工藝是合理而有效的。由于四個變量波動范圍不同，受pH及提取溫度控制精度的制約，不宜水平間隔太小，所以案例采用混合水平均勻設(shè)計U12（122×62）。對于混合水平均勻表，水平數(shù)之間存在整數(shù)倍、約的關(guān)系，如12水平表尚可安排6水平、4水平、3水平、2水平的變量。實(shí)驗(yàn)安排及結(jié)果見表1。

表1 U12（122×62）實(shí)驗(yàn)安排及結(jié)果

二次多項(xiàng)式逐步回歸算法計算結(jié)果如下：

對表1數(shù)據(jù)進(jìn)行了DPS新老版本及MINITAB軟件的計算，比對基本相同、略有差異。新版DPS在逐步回歸某項(xiàng)進(jìn)入、剔出模型時直接顯示該項(xiàng)的p值，而不是F值，使人機(jī)對話更直觀，減少失誤。以顯著性水平p=0.05為界，原文把p=0.34357不顯著項(xiàng)引入統(tǒng)計模型，預(yù)報最高指標(biāo)時的響應(yīng)Y=8.8464%，可能造成“過擬合”，本文列出了規(guī)范的計算過程和結(jié)果。

二 驗(yàn)證實(shí)驗(yàn)及分析

模型擬合各項(xiàng)統(tǒng)計量檢驗(yàn)顯著，進(jìn)一步對預(yù)報進(jìn)行驗(yàn)證實(shí)驗(yàn)，結(jié)果見表2。

模型擬合的相對誤差＜1.6%，而由表2可見，模型預(yù)報相對誤差達(dá)到15.37%，也就是說擬合、預(yù)報相對誤差之間有數(shù)量級差異。出現(xiàn)這種現(xiàn)象的可能原因：一是模型質(zhì)量，二是驗(yàn)證實(shí)驗(yàn)誤差過大。對于生物提取一般來說數(shù)據(jù)的誤差會大一些，但對于技術(shù)開發(fā)而言，這樣的預(yù)報質(zhì)量還是難以接受，應(yīng)積極尋求改進(jìn)的方法。

在技術(shù)開發(fā)過程中，發(fā)現(xiàn)模型擬合、預(yù)報異常，常用而有效的方法是：（1）重復(fù)可能是異常的實(shí)驗(yàn)；（2）補(bǔ)充實(shí)驗(yàn)序貫地修整模型（見《上海化工》2017年10月出版的第十八講關(guān)于統(tǒng)計模型穩(wěn)定性的分析評估）。

由于本文的工作在解讀，沒有實(shí)驗(yàn)的可能，主要是計算分析。先判斷驗(yàn)證實(shí)驗(yàn)的數(shù)據(jù)質(zhì)量。試驗(yàn)設(shè)計的主體實(shí)驗(yàn)往往要對響應(yīng)產(chǎn)物提純、表征，計算、建模，再進(jìn)行優(yōu)化到驗(yàn)證實(shí)驗(yàn)，時間間隔較長，有可能帶入新的誤差，因此，應(yīng)對實(shí)驗(yàn)原材料的一致性、實(shí)驗(yàn)環(huán)境條件的一致性給以充分重視。

對驗(yàn)證實(shí)驗(yàn)數(shù)據(jù)質(zhì)量的判斷，除了上述擬合、預(yù)報誤差分析外，還可把U12（122×62）表1的結(jié)果和驗(yàn)證實(shí)驗(yàn)表2數(shù)據(jù)合并建模，計算過程略，對計算統(tǒng)計量進(jìn)行比對分析，見表3。

從理論分析，樣本量的增加對統(tǒng)計建模是有利的。但表3顯示，U12+驗(yàn)證的N=13組的模型統(tǒng)計量毫無改善，也就是說驗(yàn)證實(shí)驗(yàn)合并建模對統(tǒng)計量不僅沒有改善，SSE等統(tǒng)計量變差了，由此懷疑驗(yàn)證實(shí)驗(yàn)數(shù)據(jù)帶入過大的誤差。所以一般驗(yàn)證實(shí)驗(yàn)要求n=3，即重復(fù)3次，以降低誤差的影響。

三 對U12（122×62）實(shí)驗(yàn)數(shù)據(jù)PRESS交叉檢驗(yàn)

在難以追加實(shí)驗(yàn)的條件下，要對統(tǒng)計模型的質(zhì)量及預(yù)報性能作出評價，可用留一法PRESS檢驗(yàn)（見本講義“關(guān)于留一法PRESS統(tǒng)計量的應(yīng)用討論”）。模型主體結(jié)構(gòu)采用本文二次多項(xiàng)式逐步回歸結(jié)果，變換成線性項(xiàng)共6項(xiàng)輸入，采用線性全回歸方法建模，輸入格式及響應(yīng)Y見表4。

計算機(jī)輪番留一個數(shù)據(jù)，其他數(shù)據(jù)建模，將留一數(shù)據(jù)視作預(yù)報值，可計算得到預(yù)報殘差，輪番求出全部的殘差平方和，即為PRESS值。

表4 兩個模型統(tǒng)計量比對

在DPS中操作“多元分析-回歸分析-線性分析”，得到：

方差分析表：

剩余標(biāo)準(zhǔn)差SSE=0.0752625

預(yù)測誤差標(biāo)準(zhǔn)差MSPE=0.2173401 Durbin-Watson d=2.550521

采用MINITAB軟件計算，結(jié)果幾乎一致，部分結(jié)果如下：

上述4個變量的二次多項(xiàng)式逐步回歸計算結(jié)果和6個線性變換后變量的全回歸計算結(jié)果應(yīng)該是一樣的。差異是DPS線性變換后計算輸出給出了模型的 PRESS，以及預(yù)測誤差的標(biāo)準(zhǔn)差 MSPE，而MINITAB線性變換后計算PRESS外，還給出了RSq(預(yù)測)值，其實(shí)質(zhì)是完全等價而且可以互換的。

本案例樣本量N=12，線性變換因子項(xiàng)數(shù)P=6，兩個軟件預(yù)測的R2為：

PRESS留一法交叉檢驗(yàn)表明，統(tǒng)計模型在擬合各項(xiàng)統(tǒng)計量有顯著意義的基礎(chǔ)上，預(yù)報R-Sq=92.7%也是有顯著統(tǒng)計意義的。需要強(qiáng)調(diào)的是，N=12的模型擬合SSE=0.0753，而交叉檢驗(yàn)預(yù)報MSPE=0.217 3，二者之比MSPE/SSE沒有顯著差異。

解讀至此，表明案例基于均勻設(shè)計法安排的實(shí)驗(yàn)及二次多項(xiàng)式逐步回歸建模，通過PRESS交叉檢驗(yàn)，優(yōu)化模型是有統(tǒng)計意義、是可以認(rèn)可的。從技術(shù)開發(fā)流程分析，作為本階段的完整性，尚需補(bǔ)充驗(yàn)證實(shí)驗(yàn)。

原文為了尋求更好的統(tǒng)計模型，探索性地引入BP神經(jīng)網(wǎng)絡(luò)。

四 BP神經(jīng)網(wǎng)絡(luò)優(yōu)化

原文案例由于在使用DPS進(jìn)行表1二次多項(xiàng)式逐步回歸計算時，將P＞0.05的不顯著變量項(xiàng)留在統(tǒng)計模型內(nèi)等原因，模型優(yōu)化預(yù)報及驗(yàn)證實(shí)驗(yàn)結(jié)果見表5。

表5 原文案例的預(yù)報及驗(yàn)證

原文二次多項(xiàng)式逐步回歸模型預(yù)測相對誤差（8.846 4-6.876 8）/8.846 4=22.26%，由此分析，認(rèn)為研究對象芥菜多糖的提取比較復(fù)雜，二次多項(xiàng)式模型不足以描述提取過程的內(nèi)在規(guī)律，原文作者轉(zhuǎn)向通用型的BP神經(jīng)網(wǎng)絡(luò)。筆者認(rèn)為，轉(zhuǎn)向的實(shí)踐是原文的探索，值得學(xué)習(xí)、討論。

1 BP神經(jīng)網(wǎng)絡(luò)的一般概念

BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)由圖1所示，圖中包含多個隱含層，具備無限逼近、處理線性不可分的能力。BP采用誤差反向傳播的算法進(jìn)行節(jié)點(diǎn)連接權(quán)值的調(diào)整。

隱含層采用Sigmoid函數(shù)作為傳遞函數(shù)，多層多節(jié)點(diǎn)的隱含層設(shè)計有助于從有限的數(shù)據(jù)中挖掘更多的信息，但要付出更多的學(xué)習(xí)訓(xùn)練計算時間，以及可能處于過擬合狀態(tài)。此外，BP網(wǎng)絡(luò)學(xué)習(xí)算法修改調(diào)整權(quán)值采用最速下降法（梯度下降法）優(yōu)化效率較高，但有可能陷入局部極小值的缺陷。

圖1 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

2 基于均勻設(shè)計的BP神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化

影響B(tài)P神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性及泛化應(yīng)用能力的參數(shù)很多。本案例選定允許誤差為0.001，為避免過訓(xùn)練，最大迭代次數(shù)為1000次。選用U10*（108）均勻設(shè)計表的1，3，4，5，7列考察安排5個參數(shù)，用表1中的12組數(shù)據(jù)作為訓(xùn)練集，結(jié)果見表6。

表6中5個考察參數(shù)均是DPS神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置對話框需要輸入的，訓(xùn)練結(jié)果的直觀分析為表6的NO.6，參數(shù)優(yōu)化組合的平均相對誤差最小為0.257%。

原文對表6數(shù)據(jù)分析認(rèn)為NO.3、NO.7方案“陷入局部極小值”，采用剩余8組數(shù)據(jù)進(jìn)行二次多項(xiàng)式逐步回歸建模，優(yōu)化的網(wǎng)絡(luò)參數(shù)組合見表7。用均勻設(shè)計、二次多項(xiàng)式逐步回歸建模，優(yōu)化網(wǎng)絡(luò)參數(shù)是原文探索的亮點(diǎn)。

對表7參數(shù)作簡要分析，訓(xùn)練速率大，權(quán)重調(diào)整變化大，收斂快，但易引起系統(tǒng)計算振蕩，在DPS中訓(xùn)練學(xué)習(xí)速率會自動調(diào)整，一般選擇最小訓(xùn)練速率0.9。

動態(tài)系數(shù)經(jīng)驗(yàn)性選擇為0.6～0.8。

Sigmoid參數(shù)調(diào)整神經(jīng)元（節(jié)點(diǎn)）的激勵函數(shù)形式。

激勵函數(shù)通常選取S函數(shù)f(x)=1/(1+e-x/θ），其中θ為Sigmoid參數(shù)，一般取0.9～1.0。

隱含層層數(shù)在大部分應(yīng)用場合單個隱含層即可滿足要求，可以通過適當(dāng)增加神經(jīng)元節(jié)點(diǎn)的個數(shù)實(shí)現(xiàn)任意非線性映射。

隱含層節(jié)點(diǎn)數(shù)對BP神經(jīng)網(wǎng)絡(luò)性能的影響很大，一般較多的節(jié)點(diǎn)數(shù)可以從輸入數(shù)據(jù)中提取較多的信息，但可能訓(xùn)練學(xué)習(xí)時間過長和“過擬合”。目前沒有一個解析式可以合理地給出節(jié)點(diǎn)數(shù)。有初步研究表明，對于樣本量為N的BP神經(jīng)網(wǎng)絡(luò)，隱含層節(jié)點(diǎn)數(shù)H，輸入層節(jié)點(diǎn)數(shù)I，輸出層節(jié)點(diǎn)數(shù)O，構(gòu)成網(wǎng)絡(luò)的總權(quán)重數(shù) M=（I+1）H+（H+1）O，為了避免過擬合和欠擬合，以 1.8＜（ρ=N/M）為宜。當(dāng)ρ≥2.2 時，網(wǎng)絡(luò)隱含層H節(jié)點(diǎn)過少，不能充分提取輸入數(shù)據(jù)信息，欠擬合。當(dāng)ρ≤1.8時，或樣本量N偏少，或網(wǎng)絡(luò)隱含層H節(jié)點(diǎn)過多，擬合了輸入數(shù)據(jù)的噪聲信息，過擬合，造成網(wǎng)絡(luò)模型不穩(wěn)定?？紤]到科研開發(fā)工作樣本量的制約，放寬ρ＜1.8的范圍。有資料建議可在ρ＞1.0范圍內(nèi)進(jìn)行H的優(yōu)化選取。

表6和表7的計算、對比表明：（1）BP神經(jīng)網(wǎng)絡(luò)參數(shù)的優(yōu)化很有必要，表6中NO.3參數(shù)組合的平均相對誤差10.909%顯然是過大的擬合誤差，不可接受。（2）除了表6中NO.3與NO.7兩個組合的參數(shù)，其他組合平均相對誤差均小于1%。多項(xiàng)式模型優(yōu)化預(yù)報參數(shù)組合平均相對誤差Y=0.24%，而表6直觀分析優(yōu)化Y6=0.26%，在平均相對誤差小于1%的前提下，這些數(shù)字上的差異對技術(shù)開發(fā)的價值不大，所以不再深入地計算校核。（3）BP神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化，普遍采用的還有遺傳算法，另行專題討論。案例采用二次多項(xiàng)式模型預(yù)報的優(yōu)化網(wǎng)絡(luò)參數(shù)組合見表7。

表6 均勻設(shè)計因素安排表及訓(xùn)練結(jié)果

表7 優(yōu)化的網(wǎng)絡(luò)參數(shù)

3 BP神經(jīng)網(wǎng)絡(luò)的交叉檢驗(yàn)

對于有限的樣本數(shù)據(jù)，外加不可能補(bǔ)充追加實(shí)驗(yàn)，為了檢測所建立的神經(jīng)網(wǎng)絡(luò)的性能，可以采用交叉驗(yàn)證的方法。本文前述PRESS的留一法思想和方法，可移植應(yīng)用到本案例中；而本案例采用留二法，對表1的12組數(shù)據(jù)，輪番取2組為測試集，其余10組為訓(xùn)練集，利用優(yōu)化的BP網(wǎng)絡(luò)參數(shù)，進(jìn)行66組測試，結(jié)果見表8。

從表8的簡要分析可看出，留二法從12組數(shù)據(jù)中取2組為測試集，共有66個組合，訓(xùn)練平均誤差可看作BP網(wǎng)絡(luò)訓(xùn)練后的擬合平均誤差、測試平均誤差可看作模型預(yù)報平均誤差，其總的訓(xùn)練平均誤差的平均值為0.213%，測試平均誤差的平均值為6.154%。BP網(wǎng)絡(luò)擬合訓(xùn)練效果總體好于預(yù)報測試結(jié)果。前面分析案例采用二層隱含層、均為15個節(jié)點(diǎn)的多層多節(jié)點(diǎn)BP網(wǎng)絡(luò)結(jié)構(gòu)，存在“過擬合”的缺陷，即使結(jié)構(gòu)參數(shù)優(yōu)化，訓(xùn)練、測試平均誤差之間從數(shù)理統(tǒng)計角度分析相差顯著。盡管測試平均誤差的平均值為6.154%，技術(shù)開發(fā)是可以接受的，但表8中測試平均誤差為0.640%～17.594%，也就是說波動過大，在“過擬合”的參數(shù)下，交叉檢驗(yàn)表明，模型預(yù)報性能并不理想。

表8 神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練與測試平均相對誤差

從交叉檢驗(yàn)角度分析，從N個樣本中選取m個樣本留作測試集，組合算法為 N！[m！×（N-m）！]。留一法共有12/1=12個組合；留二法共有66個組合；如果采用留三法，則有個組合?？紤]到計算工作量，原文案例采用留二法并列出交叉檢驗(yàn)結(jié)果表8，直觀地演示66個組合訓(xùn)練、測試結(jié)果及其波動，這是很有價值的探索性實(shí)踐。

但是原文進(jìn)一步的處理值得商榷。原文從表8中選擇66組中NO.51計算實(shí)驗(yàn)為誤差和最小的最優(yōu)模型作為交叉檢驗(yàn)的結(jié)果，不妥。

交叉檢驗(yàn)的概念上顯示：（1）所有的樣本均用于訓(xùn)練、測試，因此最接近原始樣本分布；（2）交叉檢驗(yàn)過程沒有人為、隨機(jī)因素干擾，檢驗(yàn)結(jié)果訓(xùn)練平均誤差和測試平均誤差的總平均結(jié)果比較可信。也就是說交叉檢驗(yàn)總體結(jié)論才具有數(shù)理統(tǒng)計意義。

從交叉檢驗(yàn)的方法上，從本文留一法PRESS計算結(jié)果可以看出，無論是DPS還是MINITAB軟件預(yù)測誤差的標(biāo)準(zhǔn)差MSPE、預(yù)報R-Sq均是計算、表征總體結(jié)果，而不是選用交叉檢驗(yàn)的某個優(yōu)化模型。原文選用表8中NO.51模型，采用二次多項(xiàng)式逐步回歸優(yōu)化工藝，X1=130，X2=1.0，X3=4.0，X4=60，預(yù)報芥菜多糖提取率Y=7.1911%，甚為不妥。規(guī)范的做法是，表7中BP網(wǎng)絡(luò)計算驗(yàn)證的模型是經(jīng)12組數(shù)據(jù)訓(xùn)練而得的模型，并經(jīng)交叉檢驗(yàn)后表征其預(yù)報平均誤差為6.154%的模型進(jìn)行優(yōu)化預(yù)報。交叉檢驗(yàn)?zāi)鼙苊怆S機(jī)劃分訓(xùn)練、測試集出現(xiàn)的“偶然”相關(guān)結(jié)果，具有統(tǒng)計應(yīng)用意義。BP網(wǎng)絡(luò)的模型是隱含在計算程序之中的隱性模型，與二次多項(xiàng)式逐步回歸統(tǒng)計建模獲得的顯著性模型不相同，但可與遺傳算法結(jié)合，尋求最優(yōu)工藝，將另行討論。

五 討論

（1）本文比對解讀的邏輯框圖（見圖2）。

圖2 比對解讀的邏輯框圖

根據(jù)圖2得出以下結(jié)論：

①采用混合水平均勻設(shè)計U12（122×62），因?yàn)樘崛囟仍?5～60℃范圍內(nèi)，步長間隔＜2～3℃，現(xiàn)有溫控水平難以達(dá)到。

②N/M=12/4=3首先考慮采用二次多項(xiàng)式逐步回歸，統(tǒng)計建模。

③模型預(yù)報最優(yōu)工藝條件。

④通過模型擬合誤差、驗(yàn)證預(yù)報誤差判斷模型統(tǒng)計意義上的顯著、有效性。如果是NO，模型需要修整。一般情況是補(bǔ)充實(shí)驗(yàn)，二次多項(xiàng)式逐步回歸合并建模。

若補(bǔ)充實(shí)驗(yàn)有困難，可通過PRESS留一法計算評估模型預(yù)報功能。

若效果仍不好，才考慮采用非線性映射的人工神經(jīng)網(wǎng)絡(luò)。

⑤人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、參數(shù)選擇，對計算精度有影響，進(jìn)行計算優(yōu)化用均勻設(shè)計有普適性。

⑥由于均勻設(shè)計U10（105）本身具有一定的優(yōu)化功能，可直接直觀分析選擇“好點(diǎn)”參數(shù)組合，本例采用N=8個好點(diǎn)進(jìn)行統(tǒng)計建模尋優(yōu)，深度挖掘。

⑦對結(jié)構(gòu)參數(shù)優(yōu)化組合進(jìn)行BP神經(jīng)網(wǎng)絡(luò)計算驗(yàn)證，規(guī)范。

⑧對于神經(jīng)網(wǎng)絡(luò)計算分析，本例屬小樣本，不得已將12組實(shí)驗(yàn)數(shù)據(jù)分為10組訓(xùn)練集，2組為測試集。留二法分組窮舉：產(chǎn)生66個BP模型交叉檢驗(yàn)。

⑨由于神經(jīng)網(wǎng)絡(luò)建立的是隱性模型，除了平行地建立二次多項(xiàng)式逐步回歸模型，提取最優(yōu)工藝條件外，可用遺傳算法尋優(yōu)。

（2）在科技開發(fā)工作中，采用試驗(yàn)設(shè)計、二次多項(xiàng)式逐步回歸建模，大多數(shù)情況下獲得的近似、逼近函數(shù)具有良好的擬合、預(yù)報功能。對于復(fù)雜的研究對象，應(yīng)探索應(yīng)用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性系統(tǒng)建模。但小樣本條件下，BP神經(jīng)網(wǎng)絡(luò)的優(yōu)勢難以顯示，可進(jìn)一步探索應(yīng)用SVM（支持向量機(jī)）非線性回歸。

（3）交叉檢驗(yàn)在有限樣本條件下通過計算分析，表征統(tǒng)計模型的擬合、預(yù)報功能，應(yīng)合理地計算應(yīng)用。

（4）驗(yàn)證實(shí)驗(yàn)對于科技開發(fā)工作尤顯重要。如果說基礎(chǔ)研究是解決可行性問題，應(yīng)用研究的科技開發(fā)需要解決優(yōu)化、穩(wěn)定性問題。模型預(yù)報的優(yōu)化工藝應(yīng)通過驗(yàn)證實(shí)驗(yàn)給以穩(wěn)定的驗(yàn)證。

結(jié)合本案例，驗(yàn)證實(shí)驗(yàn)略顯薄弱，一組數(shù)據(jù)還存有疑點(diǎn)，如果重復(fù)n=3就更有說服力。

（5）在BP神經(jīng)網(wǎng)絡(luò)應(yīng)用中，網(wǎng)絡(luò)參數(shù)優(yōu)化、初始權(quán)重選取、網(wǎng)絡(luò)模型最優(yōu)工藝尋求都可采用GA遺傳算法，應(yīng)予以關(guān)注。

原文在科技開發(fā)工作中應(yīng)用BP神經(jīng)網(wǎng)絡(luò)，采用均勻設(shè)計優(yōu)化網(wǎng)絡(luò)參數(shù)；采用留二法交叉檢驗(yàn)評估模型擬合、預(yù)報性能；采用二次多項(xiàng)式逐步回歸模型的最優(yōu)工藝來驗(yàn)證BP網(wǎng)絡(luò)優(yōu)化的預(yù)報效果等，在這些方面作了有益的探索。但在二次多項(xiàng)式逐步回歸建模時的回歸分析；在BP隱含層多層多節(jié)點(diǎn)設(shè)置、應(yīng)用留二法交叉檢驗(yàn)結(jié)果及加強(qiáng)驗(yàn)證實(shí)驗(yàn)方面尚可進(jìn)一步完善。盡管原文存在不完善、不妥之處，但我們尊重原文的探索實(shí)踐，多次計算分析外，又購置了《MATLAB神經(jīng)網(wǎng)絡(luò)原理與實(shí)例精解》進(jìn)行學(xué)習(xí)。

引用微軟創(chuàng)始人比爾·蓋茨的一段話共勉：為成功進(jìn)行慶祝并沒有什么不好，但從失敗中汲取教訓(xùn)更為重要。