基于LM-BP神經(jīng)網(wǎng)絡的非線性輪廓圖優(yōu)化方法研究

許　靜　何　楨　袁　榮

天津大學，天津，300072

?

基于LM-BP神經(jīng)網(wǎng)絡的非線性輪廓圖優(yōu)化方法研究

許靜何楨袁榮

天津大學，天津，300072

將正交試驗設計理論與BP神經(jīng)網(wǎng)絡模型和Levenberg-Marquard算法相結合，提出了一種基于LM-BP神經(jīng)網(wǎng)絡模型的針對輸出為非線性輪廓圖響應的離線設計優(yōu)化方法。并結合實例與傳統(tǒng)的統(tǒng)計回歸建模方法得出的優(yōu)化結果進行了比較。結果表明基于LM-BP神經(jīng)網(wǎng)絡建?？梢员苊庥捎趯嶒炚`差和試驗設計方案所造成的模型系數(shù)估計誤差，而與標準的BP算法比較，克服了標準BP算法性能不穩(wěn)定、收斂速度慢、收斂精度低、存在局部最小值等缺點，具有極高的精確性，優(yōu)化結果令人滿意。

BP神經(jīng)網(wǎng)絡； Levenberg-Marquard算法；試驗設計；非線性輪廓圖

0　引言

隨著工業(yè)技術的發(fā)展，產(chǎn)品(過程)越來越復雜，顧客需求越來越具有多樣性，加之對系統(tǒng)設計問題研究的深入，我們常常遇到通過某種函數(shù)關系要比通過一元變量，甚至多元變量能更充分地描述質(zhì)量特性[1]。這種描述產(chǎn)品(或過程)質(zhì)量特性的函數(shù)關系稱為輪廓圖(profile)[2]。在現(xiàn)階段的輪廓圖問題研究中，大部分是針對線性輪廓圖展開的。關于非線性輪廓圖問題，控制階段的研究內(nèi)容相對豐富，如William等[3]和Zou等[4]分別提出了基于參數(shù)和非參數(shù)的非線性回歸模型，Jensen等[5]提出了基于T2的非線性固定輪廓，Taguchi等[6]提出了基于指數(shù)加權滑動平均(EWMA)的非參數(shù)固定效應模型分析方法，Chiken等[7]提出了基于懲罰函數(shù)的多元統(tǒng)計監(jiān)控問題。而針對非線性輪廓圖的線下優(yōu)化問題研究較少。這就使得非線性輪廓圖優(yōu)化問題研究具有重要的現(xiàn)實意義。傳統(tǒng)統(tǒng)計回歸建模方法通過對擬合模型系數(shù)和方差的優(yōu)化，實現(xiàn)對輪廓圖的優(yōu)化。由于受到實驗誤差和試驗設計方案的影響，統(tǒng)計回歸建模法常常會造成模型系數(shù)估計偏差，影響最終的優(yōu)化效果。此外，與線性輪廓圖相比，非線性輪廓圖模型回歸難度很大，基于回歸分析的方法，需要操作者具有扎實系統(tǒng)的統(tǒng)計理論知識，可操作性困難，普適性欠缺。基于此，本文應用試驗設計離線優(yōu)化技術，提出了一種基于LM-BP神經(jīng)網(wǎng)絡的非線性輪廓圖(non-linear profile)優(yōu)化方法，并結合注射鑄模機工作實例，對所提方法進行驗證，結果令人滿意。

1　理論介紹

1.1試驗設計理論

試驗設計方法包括以Box等[8]為代表的西方統(tǒng)計質(zhì)量專家提出的經(jīng)典試驗設計方法和以日本著名管理實踐專家田口玄一博士開發(fā)的田口試驗設計方法[9]。經(jīng)典試驗設計主要包括因子試驗和響應曲面法(response surface method，RSM)，因子試驗又分為全因子試驗和部分因子試驗。田口試驗設計方法是一套全新的試驗設計方法，被稱為內(nèi)外表法，其目的是通過試驗設計尋找可控因子的最佳因子水平，使得系統(tǒng)響應對噪聲因子的波動不敏感。田口方法不僅可應用于生產(chǎn)制造階段，而且更主要應用于工藝設計、產(chǎn)品設計和技術開發(fā)階段，其將質(zhì)量問題的解決思路前推至產(chǎn)品的開發(fā)設計階段。

1.2三層BP神經(jīng)網(wǎng)絡拓撲原理

BP神經(jīng)網(wǎng)絡為前饋神經(jīng)網(wǎng)絡，由McCleland等[10]于20世紀80年代中期提出，它是按照前饋錯誤反向傳播算法訓練單向傳播多層前向網(wǎng)絡。本文采用隱含層數(shù)為1的三層神經(jīng)網(wǎng)絡，拓撲結構如圖1所示。其中，n為輸入層節(jié)點數(shù)，輸入向量為Xk；輸出層節(jié)點數(shù)為m，實際輸出向量為Yk=(y1，y2，…，ym)，隱含層節(jié)點數(shù)為h，whi為輸入層與隱含層各個節(jié)點的連接權重集合，wjh為隱含層與輸出層各個節(jié)點的連接權重集合，標準的BP算法是基于糾錯原則的梯度下降法(gradient proaches)。通過網(wǎng)絡輸出誤差的反向傳播，對各個輸入層和輸出層的連接權重進行調(diào)整和修改，使誤差函數(shù)平方和達到最小，由于優(yōu)化的目標函數(shù)結構復雜，導致收斂曲線呈鋸齒狀，當神經(jīng)元輸出接近0或1時，收斂曲線進入平坦區(qū)，網(wǎng)絡停止訓練，同時BP算法在訓練神經(jīng)網(wǎng)絡時，需要預先設定步長的更新規(guī)則，這會導致算法低效。

圖1　三層BP神經(jīng)網(wǎng)絡拓撲圖

2　 LM-BP神經(jīng)網(wǎng)絡

鑒于BP算法的缺陷，本文利用LM(Levenberg-Marquard)算法對BP神經(jīng)網(wǎng)絡進行優(yōu)化訓練，建立基于LM算法的BP神經(jīng)網(wǎng)絡模型。LM算法又稱阻尼最小二乘法。它是通過阻尼因子來實現(xiàn)與較高的迭代收斂速度的自適應調(diào)整的，它集中了梯度下降法和Gauss-Newton法兩種算法的優(yōu)點，在許多非線性優(yōu)化問題上有著廣泛的應用[11]。不同于標準BP算法誤差沿著單一負梯度方向迭代，Levenberg-Marquard優(yōu)化算法允許迭代誤差沿著惡化的方向進行搜索，通過阻尼因子在Gauss-Newton法和梯度下降法之間自適應調(diào)整來實現(xiàn)網(wǎng)絡權值的優(yōu)化，使網(wǎng)絡能夠有效地收斂，大大提高了網(wǎng)絡的收斂速度和泛化能力。LM算法在一定程度上克服了標準BP神經(jīng)網(wǎng)絡收斂速度慢、很容易陷入局部極小的缺陷。

2.1LM-BP優(yōu)化算法介紹

假設Sl表示第l(l=1，2，…，L)次迭代的權值和閾值所組成的向量，Sl+1為新的權值和閾值組成的向量對于一個三層的神經(jīng)網(wǎng)絡，其LM-BP算法為

(1)

或者為

(2)

(3)

其中，J(Sl)為誤差對權值偏導的雅可比矩陣；I為單位矩陣；E(Sl)為誤差向量；μ為阻尼因子，為大于0的常數(shù)，當μ=0，LM-BM算法即為Gauss-Newton算法，當μ取很大值時，LM-BP算法則接近于梯度下降法。

2.2LM-BP算法的步驟

在LM算法中，阻尼因子μ通過一個進步因子φ(0<φ<10)進行自適應調(diào)整。算法開始，μ取某一較小正值，若某次迭代誤差函數(shù)值E(S)不能減小，則令μ乘以φ，增大阻尼因子重復前次迭代；若某次迭代誤差函數(shù)值E(S)減小，則令μ除以φ，減小阻尼因子，繼續(xù)運算。算法的執(zhí)行步驟如下：

(1) 設置參數(shù)，確定目標誤差ε、初始阻尼因子μ0、進步因子φ。

(2)計算網(wǎng)絡的輸出y(x)，利用式(3)計算目標誤差平方和El。

(3)計算矩陣J，并按照式(1)修正權值：

(4)若El<ε(ε為一極小值)，則轉到步驟(2)，否則，則以Sl+1為權值計算誤差El+1。

(6)當梯度的模小于給定值，或平方誤差和小于某個目標誤差時，算法被認為收斂，停止。

3　DOE理論和LM-BP神經(jīng)網(wǎng)絡模型相結合的非線性輪廓圖優(yōu)化方法介紹

三層BP神經(jīng)網(wǎng)絡可以以一定精度擬合任意函數(shù)。首先根據(jù)研究問題，設計正交試驗，收集樣本數(shù)據(jù)。其次，根據(jù)實驗具體要求，確定神經(jīng)網(wǎng)絡拓撲結構，設置網(wǎng)絡參數(shù)初始值。然后選擇合適的優(yōu)化算法對已建立的神經(jīng)網(wǎng)絡進行優(yōu)化訓練，反復調(diào)整權值使誤差精度符合預設要求。當誤差精度達到預設要求時，神經(jīng)網(wǎng)絡訓練結束，輸入與輸出之間的函數(shù)關系也已建立。最后通過訓練好的神經(jīng)網(wǎng)模型，對可控因子進行調(diào)整，使其達到最優(yōu)水平。具體步驟如下：

(1)利用正交試驗理論確定關鍵變量，安排實驗，收集樣本數(shù)據(jù)。

(2)根據(jù)收集的數(shù)據(jù)情況及實驗目的，確定LM-BP神經(jīng)網(wǎng)絡的模型結構，并用LM算法對所建立的BP神經(jīng)網(wǎng)絡進行優(yōu)化。網(wǎng)絡訓練過程如下：

①準備訓練樣本，對響應數(shù)據(jù)歸一化處理。不同量綱的數(shù)據(jù)直接輸入網(wǎng)絡會嚴重影響網(wǎng)絡的收斂速度，因此需要對輸入數(shù)據(jù)進行預處理。數(shù)據(jù)預處理選擇最值歸一法。公式如下：

(4)

②確定網(wǎng)絡結構。隱含層采用如下經(jīng)驗公式獲得：

(5)

其中，h為隱含層節(jié)點數(shù)，n為輸入層節(jié)點數(shù)，m為輸出層節(jié)點數(shù)，a為1～10之間的常數(shù)。

③設定傳遞函數(shù)。BP神經(jīng)網(wǎng)絡的傳遞函數(shù)常見的有Log-sigmoid型對數(shù)函數(shù)、Tan-sigmod型正切函數(shù)和purelin型線性函數(shù)。Logsig型輸出值為[0,1]；tansig型輸出值為[-1,1]；Purelin型輸出值可取任意值。本文輸出為2水平可控因子，其值為[-1,1]，所以本文選取Tansig作為網(wǎng)絡的傳遞函數(shù)。

④設置網(wǎng)絡參數(shù)：目標誤差ε、學習速率 η、學習步長t。

⑤設置LM算法相關參數(shù)初始阻尼因子μ0、進步因子φ、收斂精度ε。

⑥進行網(wǎng)絡訓練。

(3) 根據(jù)LM-BP神經(jīng)網(wǎng)絡模型求出最優(yōu)設計變量水平。

4　實例證明

本文實驗數(shù)據(jù)來自文獻[12]的注射鑄模試驗。

4.1設計正交試驗，收集樣本數(shù)據(jù)

注射鑄模機工作過程是一個復雜制造的過程，由于零件的質(zhì)量受到高注射壓力的影響，不同的壓力注入量，生產(chǎn)出來的零件質(zhì)量也不同。在這個過程中，以高注射壓力為觀測點，零件的質(zhì)量是隨著高注射壓力變化的動態(tài)響應值。我們采用離線試驗設計的方法結合LM-BP神經(jīng)網(wǎng)絡來優(yōu)化過程變量的設置水平，使得零件質(zhì)量變化符合生產(chǎn)要求。通過研究可知，注射速度、緊固時間、高注射時間、低注射時間、緊固壓力、水冷卻溫度、低注射壓力是影響零件質(zhì)量的主要因素，另外注射過程還受到熔化指數(shù)、再研磨百分比、操作者、樹脂濕度等噪聲因子的影響。具體的實驗安排如下：Y是零件的質(zhì)量，觀測點p為高注射壓力，共有8 個觀測點，分別是650 Pa、700 Pa、750 Pa、800 Pa、850 Pa、900 Pa、950 Pa、1000 Pa，實驗中共包括7個兩水平的可控因子，因子水平如表1所示，4個噪聲因子，為了減少實驗成本和實驗費用，定義一個兩水平的綜合噪聲因子(XN)來表示這些噪聲因子水平，如表2所示。該實驗采用27-4部分因子實驗，如表3所示。

表1　注射鑄模實驗控制

表2　注射鑄模實驗的綜合噪聲因子

實驗分兩天進行，第一天，將綜合噪聲因子設置在低水平。對每一個控制因子水平組合，在每個壓力觀測點上，制造并稱重。第二天，將綜合噪聲因子設置在高水平重復前一天的過程。零件質(zhì)量(響應)及其對應的壓力設置(觀測點)完整數(shù)據(jù)如表4所示。由表4可知，第6次實驗和第14次實驗輸出的輪廓圖都滿足實驗要求，即為我們的目標輪廓圖，實驗目的就是尋求最優(yōu)的因子設置水平，使得輸出輪廓圖接近目標輪廓圖。

表3　注射鑄模實驗的控制表

表4　注射鑄模實驗的響應數(shù)據(jù)

4.2確定神經(jīng)網(wǎng)絡的模型結構，優(yōu)化訓練神經(jīng)網(wǎng)絡

(1)準備訓練樣本，并對響應值歸一化處理。采用表3、表4的實驗數(shù)據(jù)，并利用式(4)對表4數(shù)據(jù)進行歸一化處理。

(2)確定網(wǎng)絡結構。本文采用3層BP神經(jīng)網(wǎng)絡，根據(jù)實驗實際情況確定輸入層、輸出層節(jié)點數(shù)。輪廓圖由8個觀測點組成，即輸入層節(jié)點數(shù)為8；可控因子和噪聲因子共8個，輸出層節(jié)點數(shù)為8。隱含層節(jié)點數(shù)根據(jù)式(5)計算，其可能取值為5～14，通過試湊法確定當隱含層節(jié)點數(shù)為11時，網(wǎng)絡性能最好，所以本文神經(jīng)網(wǎng)絡模型的結構為輸入層節(jié)點數(shù)8，隱含層節(jié)點數(shù)11，輸出層節(jié)點數(shù)8。

(3)設定傳遞函數(shù)。輸入層到中間層，中間層到輸出層的傳遞函數(shù)均采用連續(xù)可微的tansig函數(shù)。

(4)設置網(wǎng)絡參數(shù)。訓練次數(shù)為1000，目標誤差為0.0001，學習速率為0.1。

(5)設置LM算法相關參數(shù)：ε=0.0001，μ0=0.001，φ=10。

圖2　LM-BP神經(jīng)網(wǎng)絡的誤差曲線圖

圖3　標準BP神經(jīng)網(wǎng)絡的誤差曲線圖

圖4　LM-BP神經(jīng)網(wǎng)絡訓練參數(shù)圖

(6)網(wǎng)絡訓練過程。在網(wǎng)絡結構和參數(shù)設置都相同的情況下，用相同的訓練樣本分別對結構相同的標準BP神經(jīng)網(wǎng)絡模型和LM-BP網(wǎng)絡模型進行訓練，訓練結果如圖2所示。由圖2可以看出，LM-BP神經(jīng)網(wǎng)絡在訓練11步達到預設收斂精度0.0001停止訓練。而標準的BP神經(jīng)網(wǎng)絡運行了3000步(圖3)，不僅未達到預設收斂精度0.0001，網(wǎng)絡還進入誤差平坦區(qū)，產(chǎn)生局部最小點。通過比較，無論是收斂速度還是精度，LM-BP神經(jīng)網(wǎng)絡模型較于標準BP神經(jīng)網(wǎng)絡有很大的提高。同時由圖4可以看出訓練結束時誤差曲面的梯度呈下降趨勢，Mu值也呈減小趨勢，驗證樣本的誤差曲線連續(xù)3次迭代不再下降。MATLAB給出的模型擬合值R2為81.07%，說明模型擬合效果很好。綜上可知，本文設計的LM-BP神經(jīng)網(wǎng)絡訓練效果極佳，性能很好，可以進行下一步計算。

4.3計算最優(yōu)設計變量水平

將目標輪廓圖作為輸入層神經(jīng)元輸入訓練好的神經(jīng)網(wǎng)絡，得到的最優(yōu)因子水平為(-0.852 76，-0.9238，0.975 28，0.878 35，-0.992 87，0.888 29，0.996 66，-0.846 54)，由于文中控制因子為離散型變量，所以最優(yōu)因子組合為(-1，-1，1，-1，1，1，1，-1)。

4.4結果比較

(6)

表5　優(yōu)化結果比較

5　結語

本文目的在于如何利用離線試驗設計技術對函數(shù)響應進行優(yōu)化。提出了一種基于LM-BP神經(jīng)網(wǎng)絡的針對輸出為非線性輪廓圖(non-linearprofile)的優(yōu)化方法，并結合注射鑄模機工作實例證明本文所提方法的合理性和有效性。首先采用正交試驗表設計實驗，與傳統(tǒng)實驗方法相比，本文方法具有較高的實驗效率。然后，利用神經(jīng)網(wǎng)絡建?？梢员苊庥捎趯嶒炚`差和試驗設計方案所造成的模型系數(shù)估計誤差。最后，利用LM算法對BP神經(jīng)網(wǎng)絡進行優(yōu)化訓練，通過阻尼因子在Gauss-Newton法和梯度下降法之間自適應調(diào)整來實現(xiàn)網(wǎng)絡權值的優(yōu)化，使網(wǎng)絡能夠有效地收斂，大大提高了網(wǎng)絡的收斂速度和泛化能力，并在一定程度上克服了標準BP神經(jīng)網(wǎng)絡收斂速度慢很容易陷入局部極小的問題。本文的缺點是，利用神經(jīng)網(wǎng)絡模型擬合輸入與輸出之間的函數(shù)關系，其輸出數(shù)值是通過內(nèi)部運算得到的，由于網(wǎng)絡各層之間相互關聯(lián)，神經(jīng)網(wǎng)絡無法反推輸出產(chǎn)生的原因。其次利用LM算法對網(wǎng)絡進行優(yōu)化訓練，由于LM算法本身的復雜性，其算法參數(shù)初始值本文并未作深層次的研究，這將作為以后的研究重點繼續(xù)展開。

[1]何楨,馬林．六西格瑪管理[M]．北京：中國人民大學出版社，2007.

[2]MontgomeryDC.DesignandAnalysisofExperiments[M]. 7thed.NewYork：JohnWiley&Sons,2009.

[3]WilliamsJD,WoodallWH,BirchJB.StatisticalMonitoringofNonlinearProductandProcessQualityProfile[J].QualityandReliabilityEngineeringInternational,2007,23(8):925-941.

[4]ZouC,TsungF，WangZ.MonitoringGeneralLinearProfilesUsingMultivariateExponentialWeightedMovingAverageSchemes[J].Technometrics, 2007,49(4):395-408.

[5]JensenWA,BirchJB.ProfileMonitoringviaNonlinearMixedModels[J].JournalofQualityandTechnology,2009,41(2):18-34.

[6]TaguchiG,WuY.IntroductiontoOff-lineQualityControlSystem[J].JournalofFoodProtection, 1979,51(6):449-451.

[7]ChickenE,PignatielloJJ,SimpsonJR.StatisticalProcessMonitoringofNonlinearProfileUsingWavelets[J].JournalofQualityTechnology, 2009, 41 (2):198-212.[8]BoxGEP,WilsonKB.OntheExperimentalAttainmentofOptimumConditions[J].JournaloftheRoyalStatisticalSociety，SeriesB,1951, 13(1):1-45.

[9]TaguchiG.IntroductiontoQualityEngineering:DesigningQualityintoProductsandProcesses[M].Tokyo:AsianProductivityOrganization, 1986.

[10]McClellandJL,RumelhartDE.ParallelDistributedProcessingExplorationsintheMicrostructureofCognition[M].Cambridge:MITPress,1986.

[11]KitaharaM,AchenbachJD,GuoQC.NeuralNerworkforCrack-dapthDeterminationfromUltrasonicBack-scatteringData[J].ReviewofProgressinQuantitativeNondestructiveEvaluation,1992,11:701-708

[12]MillerA,WuCFJ.ParameterDesignforSignal-responceSystem:aDifferentLookatTaguchi’sDynamicParameterDesign[J].StatisticalScience, 1996,11(2):122-136.

[13]HussamA.AnalysisandOptimizationofProfileandShapeResponseExperiments:[D].Pennsylvania:thePennsylvaniaStateUniversity.

(編輯王艷麗)

A Optimization Method for Non-linear Profile Based LM-BP Neural Networks

Xu JingHe ZhenYuan Rong

Tianjin University，Tianjin，300072

A method to optimize the non-linear profile was presented based on the DOE theory BP neural network model with Levenberg-Marquard algorithm, which were compared with the traditional statistical regression modeling by a example. The results show that the estimation errors of the model coefficients due to the design and experimental errors may be avoided based on LM-BP neural network modeling.Compared with the BP algorithm this method overcomes the standard BP algorithm performance of unstability, slow convergence and low convergence precision, the presence of local minima and other short-comings.The method proposed herein has a high accuracy, optimization results are satisfactory

BP neural networks； Levenberg-Marquard(LM) algorithm； design of experiment(DOE)； non-linear profile

2015-11-09

國家杰出青年科學基金資助項目(71225006)

F406.3

10.3969/j.issn.1004-132X.2016.20.010

許靜，女，1982年生。天津大學管理與經(jīng)濟學部博士研究生。研究方向為企業(yè)管理、質(zhì)量管理。何楨，男，1967年生。天津大學管理與經(jīng)濟學部教授、博士研究生導師。袁榮，女，1990年生。天津大學管理與經(jīng)濟學部博士研究生。