結(jié)合半?yún)?shù)方法和貝葉斯抽樣技術(shù)的多響應(yīng)優(yōu)化設(shè)計(jì)

汪建均, 郜婷玉, 楊世娟

(南京理工大學(xué)經(jīng)濟(jì)管理學(xué)院,江蘇南京 210094)

1 引 言

響應(yīng)面方法(response surface methodology,RSM)通常被認(rèn)為是利用試驗(yàn)設(shè)計(jì)、響應(yīng)模型和優(yōu)化方法獲取最優(yōu)工藝參數(shù)的一種統(tǒng)計(jì)分析方法[1].統(tǒng)計(jì)學(xué)家Myers 等[2]曾明確指出“從更廣泛的意義上看,響應(yīng)曲面方法已經(jīng)成為整個(gè)工業(yè)試驗(yàn)的核心”.隨著顧客需求層次的多樣化以及產(chǎn)品性能的穩(wěn)步提升,在實(shí)際的產(chǎn)品與工藝過程中,往往需要考慮多個(gè)質(zhì)量特性,因此多響應(yīng)曲面優(yōu)化設(shè)計(jì)問題在持續(xù)性質(zhì)量改進(jìn)活動(dòng)中顯示出越來越重要的作用[3?5].

多響應(yīng)曲面優(yōu)化設(shè)計(jì)通常包括試驗(yàn)設(shè)計(jì)、模型構(gòu)建以及參數(shù)優(yōu)化三個(gè)階段,其中響應(yīng)曲面模型構(gòu)建至關(guān)重要[6].在多響應(yīng)曲面優(yōu)化設(shè)計(jì)中,研究者首先需要構(gòu)建合適的度量指標(biāo).然而,由于涉及到多個(gè)質(zhì)量特性,因此在度量指標(biāo)構(gòu)建中往往需要考慮多響應(yīng)之間的相關(guān)性、模型參數(shù)的不確定性、預(yù)測(cè)響應(yīng)的波動(dòng)以及過程的穩(wěn)健性[7].在多響應(yīng)曲面的優(yōu)化設(shè)計(jì)中,常見的優(yōu)化策略是通過數(shù)據(jù)降維方法將多響應(yīng)的優(yōu)化問題轉(zhuǎn)換為單一指標(biāo)的優(yōu)化問題,其中具有代表性的方法為:滿意度函數(shù)方法、多元質(zhì)量損失函數(shù)和后驗(yàn)概率方法等.比較而言,滿意度函數(shù)方法簡(jiǎn)單實(shí)用,并且能夠在一些常用統(tǒng)計(jì)軟件如MINITAB 中加以使用,因此引起一些研究者和質(zhì)量工程師的廣泛關(guān)注.例如,He 等[8]綜合考慮穩(wěn)健性和最優(yōu)性提出了一個(gè)新的滿意度函數(shù)模型,有效地解決了傳統(tǒng)滿意度函數(shù)未考慮多響應(yīng)優(yōu)化過程的穩(wěn)健性問題.然而,滿意度函數(shù)方法難以有效地考慮多響應(yīng)之間的相關(guān)性、預(yù)測(cè)響應(yīng)的波動(dòng)以及模型參數(shù)的不確定性.為此,一些研究者運(yùn)用質(zhì)量損失函數(shù)來實(shí)現(xiàn)多響應(yīng)優(yōu)化設(shè)計(jì).例如,Ko[9]擴(kuò)展傳統(tǒng)多元質(zhì)量損失函數(shù),進(jìn)一步地考慮多響應(yīng)的預(yù)測(cè)性能和穩(wěn)健性能,有效地兼顧過程的偏差、穩(wěn)健性以及預(yù)測(cè)性能之間的平衡.然而,正如文獻(xiàn)[9]中所指出的那樣“所提出的多元質(zhì)量損失函數(shù)未能考慮模型參數(shù)不確定性對(duì)優(yōu)化結(jié)果的影響”.

在響應(yīng)曲面建模過程中,研究者期望通過響應(yīng)曲面模型來反映試驗(yàn)因子與多響應(yīng)之間精確的函數(shù)關(guān)系,從而獲得更為合理的參數(shù)優(yōu)化結(jié)果.但是,正如著名統(tǒng)計(jì)學(xué)家Box[10]所言“所有的模型都是錯(cuò)誤的,但是有些模型是有用的”.傳統(tǒng)的響應(yīng)曲面建模方法通常事先假定響應(yīng)曲面模型結(jié)構(gòu),然后采用參數(shù)方法加以估計(jì).然而,在很多情況下,所假設(shè)的響應(yīng)曲面模型結(jié)構(gòu)并不符合客觀的實(shí)際情況,從而導(dǎo)致無法獲得可靠的研究結(jié)果,甚至出現(xiàn)錯(cuò)誤的研究結(jié)論.因此,在響應(yīng)曲面模型構(gòu)建過程中需要考慮模型不確定性(模型參數(shù)以及模型結(jié)構(gòu)不確定)對(duì)優(yōu)化結(jié)果的影響.為此,Peterson[11]在標(biāo)準(zhǔn)的多響應(yīng)曲面(standard multi-response models,SMR)框架下利用貝葉斯方法考慮了模型參數(shù)不確定性對(duì)優(yōu)化結(jié)果的影響,進(jìn)而利用蒙特卡洛方法分析了優(yōu)化結(jié)果的可靠性,即未來響應(yīng)預(yù)測(cè)值落在產(chǎn)品規(guī)格限內(nèi)的概率.Peterson 等[12]指出SMR 模型通常假設(shè)各個(gè)響應(yīng)的模型結(jié)構(gòu)是相同的,即模型所包含的因子效應(yīng)是完全相同的.然而,在很多情形下響應(yīng)模型所包含的因子效應(yīng)往往是完全不同的.鑒于此,Peterson 等[12]在似不相關(guān)回歸模型(seemingly unrelated regression,SUR)的框架下利用貝葉斯方法開展了多響應(yīng)優(yōu)化設(shè)計(jì).針對(duì)多響應(yīng)優(yōu)化問題,汪建均等[13]在貝葉斯統(tǒng)計(jì)建模框架下利用SMR和SUR模型結(jié)合多元質(zhì)量損失函數(shù)和后驗(yàn)概率方法,全面地考慮多響應(yīng)之間的相關(guān)性、多元過程的穩(wěn)健性、多目標(biāo)之間的沖突以及優(yōu)化結(jié)果的可靠性.上述響應(yīng)曲面建模方法均事先對(duì)模型結(jié)構(gòu)和響應(yīng)分布等做出一些假設(shè).然而,Min 等[14]指出“傳統(tǒng)的參數(shù)回歸方法通常需要在擬合響應(yīng)曲面模型之前假設(shè)響應(yīng)與因子之間的模型結(jié)構(gòu),這往往與實(shí)際情況并不相符,從而導(dǎo)致出現(xiàn)不可靠的研究結(jié)果,甚至是錯(cuò)誤的研究結(jié)論”.比較而言,非參數(shù)方法不需要事先假定模型結(jié)構(gòu),而是利用試驗(yàn)數(shù)據(jù)本身所包含的信息自適應(yīng)地?cái)M合響應(yīng)曲面模型,往往更加符合實(shí)際情況.因此,在多響應(yīng)優(yōu)化設(shè)計(jì)中,一些研究者嘗試地利用非參數(shù)方法開展響應(yīng)建模工作,并取得一系列的研究成果.Vining 等[15]認(rèn)為參數(shù)模型不能較好的刻畫方差模型與各因子間的關(guān)系.因此他們采用基于核估計(jì)的非參數(shù)方法構(gòu)建均值模型與方差模型,并指出非參數(shù)方法所構(gòu)建的響應(yīng)曲面模型的預(yù)測(cè)性能要優(yōu)于基于二階多項(xiàng)式模型所構(gòu)建的響應(yīng)曲面模型.Ouyang 等[16]結(jié)合Bootstrap 方法和Pareto 優(yōu)化提出一種集成的徑向基函數(shù)(radial basis function,RBF)神經(jīng)網(wǎng)絡(luò)方法,并利用該非參數(shù)方法進(jìn)行了參數(shù)優(yōu)化設(shè)計(jì).另外,一些研究者也考慮利用非參數(shù)方法對(duì)非正態(tài)響應(yīng)的質(zhì)量設(shè)計(jì)問題進(jìn)行了研究.例如,Fox 等[17]利用非參數(shù)方法對(duì)非正態(tài)響應(yīng)的試驗(yàn)設(shè)計(jì)進(jìn)行了分析.針對(duì)具有重尾分布的非正態(tài)響應(yīng)數(shù)據(jù),Lim 等[18]結(jié)合平滑樣條方法提出了一種基于非參數(shù)分位數(shù)回歸的置信區(qū)間新方法,有效地解決上述非正態(tài)響應(yīng)的質(zhì)量設(shè)計(jì)問題.

雖然非參數(shù)方法不需要對(duì)模型結(jié)構(gòu)進(jìn)行事先的假設(shè),從而在建模方面具有良好的靈活性,能夠直接根據(jù)觀測(cè)數(shù)據(jù)擬合響應(yīng)的均值和方差模型.但是非參數(shù)方法往往依賴于相對(duì)大的樣本或空間填充設(shè)計(jì), 樣本量偏小會(huì)可能導(dǎo)致響應(yīng)波動(dòng)較大.針對(duì)非參數(shù)方法的不足之處,一些研究者提出了一些能夠處理小樣本試驗(yàn)數(shù)據(jù)的半?yún)?shù)方法.因此, 基于半?yún)?shù)的多響應(yīng)優(yōu)化設(shè)計(jì)方法也引起一些研究者的廣泛關(guān)注和興趣.Wan[19]認(rèn)為非參數(shù)方法對(duì)稀松數(shù)據(jù)進(jìn)行響應(yīng)曲面建模時(shí),通常會(huì)導(dǎo)致其響應(yīng)方差過大,并指出半?yún)?shù)方法則能較好地處理該問題.Pickle[20]通過比較三種方法(即參數(shù)方法、非參數(shù)方法和半?yún)?shù)方法)的均值模型和方差模型的均方誤差值,驗(yàn)證了所提半?yún)?shù)方法的有效性.他們提出了兩種半?yún)?shù)的建模策略,一種是模型穩(wěn)健回歸方法1(model robust regression 1,MRR1);另一種是模型穩(wěn)健回歸方法2(model robust regression 2,MRR2).在MRR1 中的組合成分中,一部分是響應(yīng)的參數(shù)擬合項(xiàng),另一部分是響應(yīng)的非參數(shù)擬合項(xiàng).該方法將這兩項(xiàng)的權(quán)重和設(shè)為1,只要假設(shè)其中某一項(xiàng)為未知的混合參數(shù)即可.在MRR2 的組合成分中,一部分為響應(yīng)的參數(shù)擬合項(xiàng),另一部分則替換為非參數(shù)殘差擬合.因此MRR2 默認(rèn)參數(shù)項(xiàng)的權(quán)重為1,非參數(shù)項(xiàng)為小于1 的權(quán)重系數(shù)(即混合參數(shù)).其中,混合參數(shù)的選擇是基于數(shù)據(jù)驅(qū)動(dòng)的漸近最優(yōu)值表達(dá)式.Mays 等[21,22]通過仿真方法來選擇非參數(shù)模型的帶寬和混合參數(shù),從而獲得更為穩(wěn)健的半?yún)?shù)估計(jì)結(jié)果.此外,在該文獻(xiàn)中,他們還給出了一種新的懲罰準(zhǔn)則作為選擇策略,并闡述了單獨(dú)使用參數(shù)或者非參數(shù)方法的局限性.Mays等[23]對(duì)混合參數(shù)進(jìn)行漸近最優(yōu)估計(jì)和模型可靠性估計(jì),并通過一個(gè)小型仿真實(shí)驗(yàn)驗(yàn)證了所提方法的有效性.Wan 等[24]提出了以期望函數(shù)為優(yōu)化目標(biāo)函數(shù)的多響應(yīng)穩(wěn)健回歸方法,他們結(jié)合試驗(yàn)數(shù)據(jù)和仿真數(shù)據(jù)對(duì)參數(shù)方法和半?yún)?shù)方法進(jìn)行了對(duì)比研究.研究結(jié)果表明: 與參數(shù)方法相比,基于半?yún)?shù)優(yōu)化方法的偏差和方差都更低.

目前,基于半?yún)?shù)方法的多響應(yīng)優(yōu)化設(shè)計(jì)仍然存在一些問題沒有得到很好地解決.例如,在多響應(yīng)優(yōu)化設(shè)計(jì)中,一些研究者往往沒有考慮模型不確定性以及隨機(jī)誤差所引起的預(yù)測(cè)響應(yīng)波動(dòng),從而導(dǎo)致獲得不可靠甚至錯(cuò)誤的研究結(jié)論.另外,由于多響應(yīng)目標(biāo)之間的沖突以及模型結(jié)構(gòu)等不確定因素影響,其優(yōu)化結(jié)果的可靠性(預(yù)測(cè)響應(yīng)值落在所給定的規(guī)格限內(nèi)的概率)也有待進(jìn)一步研究.針對(duì)上述問題,本文結(jié)合半?yún)?shù)方法和貝葉斯抽樣技術(shù)提出一種新的多響應(yīng)優(yōu)化方法.首先,通過半?yún)?shù)方法建立可控因子與響應(yīng)之間的多響應(yīng)面模型;其次,利用質(zhì)量損失函數(shù)建立期望目標(biāo)函數(shù),同時(shí)通過貝葉斯抽樣方法構(gòu)建隨機(jī)誤差修正模型;然后,通過混合遺傳算法對(duì)所構(gòu)建的模型進(jìn)行參數(shù)優(yōu)化,獲得最佳的參數(shù)設(shè)計(jì)值.最后,結(jié)合貝葉斯抽樣技術(shù)對(duì)所獲得參數(shù)優(yōu)化結(jié)果進(jìn)行穩(wěn)健性評(píng)估,以考察其優(yōu)化結(jié)果的可靠性.

2 非參數(shù)和半?yún)?shù)建模方法

當(dāng)模型結(jié)構(gòu)錯(cuò)誤設(shè)定時(shí),傳統(tǒng)的參數(shù)回歸方法可能會(huì)造成試驗(yàn)數(shù)據(jù)擬合不合理.尤其是當(dāng)研究問題比較復(fù)雜、模型不確定性較高時(shí),這種模型擬合不恰當(dāng)問題就更加突出.因此Anderson-Cook 等[25]提出了采用局部回歸思想的非參數(shù)方法對(duì)試驗(yàn)設(shè)計(jì)進(jìn)行擬合,以應(yīng)對(duì)較為復(fù)雜的穩(wěn)健參數(shù)設(shè)計(jì)問題.在通常情況下,在無法確定輸入因子與輸出響應(yīng)之間的函數(shù)關(guān)系時(shí),分析人員可以采用數(shù)據(jù)驅(qū)動(dòng)方法來局部回歸擬合響應(yīng)曲面模型.由于數(shù)據(jù)驅(qū)動(dòng)方法不僅可以擬合線性模型也可以擬合高度復(fù)雜的非線性模型,因此基于數(shù)據(jù)驅(qū)動(dòng)的非參數(shù)或半?yún)?shù)方法可以較好地構(gòu)建穩(wěn)健的響應(yīng)曲面模型,從而能夠處理高度復(fù)雜的響應(yīng)曲面優(yōu)化設(shè)計(jì)問題.

2.1 非參數(shù)響應(yīng)曲面建模

非參數(shù)方法是基于數(shù)據(jù)驅(qū)動(dòng)的響應(yīng)曲面建模方法,其回歸函數(shù)的形式和隨機(jī)誤差分布都不作嚴(yán)格要求.針對(duì)某一點(diǎn)的估計(jì)值,那些接近該點(diǎn)的響應(yīng)通常假設(shè)比那些遠(yuǎn)離該點(diǎn)的響應(yīng)包含更多的信息.因此,為了得到一個(gè)光滑的函數(shù),一些非參數(shù)方法會(huì)使用局部加權(quán)平均原理.局部平均的基本思想等同于尋找局部加權(quán)最小二乘估計(jì)量的過程.若無法確定響應(yīng)曲面模型的具體形式,分析人員通常會(huì)考慮利用非參數(shù)方法進(jìn)行響應(yīng)面建模.非參數(shù)無需事先設(shè)定模型函數(shù)的基本形式,因此更加符合實(shí)際情況.常見的非參數(shù)方法有核函數(shù)回歸、局部多項(xiàng)式回歸和樣條回歸等方法.其中,局部多項(xiàng)式回歸本質(zhì)上是核函數(shù)回歸的一種拓展.

非參數(shù)方法通常使用局部線性回歸(local linear regression,LLR),其中LLR 是1 階多項(xiàng)式回歸.非參數(shù)估計(jì)關(guān)鍵在于如何確定核函數(shù).核函數(shù)的形狀和值域可以反映響應(yīng)估計(jì)值f(x0)在估計(jì)點(diǎn)x0處所用到數(shù)據(jù)量的權(quán)重.由于核函數(shù)方法不利用有關(guān)數(shù)據(jù)分布的先驗(yàn)知識(shí),對(duì)數(shù)據(jù)分布也不附加任何假定,是一種從數(shù)據(jù)本身出發(fā)研究數(shù)據(jù)分布特征的方法.

針對(duì)需要預(yù)測(cè)的點(diǎn)x0=(x01,x02,...,x0k),核函數(shù)可以定義為

當(dāng)對(duì)均值或者方差模型都使用非參數(shù)方法時(shí),由于影響這兩種不同模型的控制因子可能不同,一般對(duì)均值模型使用二階模型,對(duì)方差模型使用一階模型,所以將使用不同的核函數(shù).常見的核函數(shù)為高斯函數(shù)、均勻函數(shù)和三角函數(shù)等.根據(jù)Simonoff[26]的研究,核函數(shù)的變化并不會(huì)對(duì)估計(jì)值有很大的影響,所以本文將使用以往文獻(xiàn)中最為流行的高斯核函數(shù),其形式為κ(u) = e?u2.K(x0,)中估計(jì)函數(shù)的平滑性取決于帶寬參數(shù)b.Mays 等[21]提出了新的懲罰預(yù)測(cè)誤差平方和技術(shù)(penalized prediction error sum of squares,PRESS??)進(jìn)行合適的帶寬選擇,通過最小化PRESS??的函數(shù)值來尋求帶寬b的最優(yōu)值.這里

其中SSEmax代表所有可能帶寬值下的最大誤差平方和;SSEb是指特定某個(gè)帶寬值下的誤差平方和;k是回歸因子的個(gè)數(shù), 一般是控制變量的個(gè)數(shù); 分子部分是預(yù)測(cè)誤差平方和(prediction error sum of squares,PRESS).

留一法是指交叉驗(yàn)證方法的一種, 假設(shè)樣本數(shù)據(jù)集中有N個(gè)樣本.將每個(gè)樣本單獨(dú)作為測(cè)試集, 其余(N ?1)個(gè)樣本作為訓(xùn)練集,這樣得到了N個(gè)分類器或模型,用這N個(gè)分類器或模型的分類準(zhǔn)確率的平均數(shù)作為此分類器的性能指標(biāo).每一個(gè)分類器或模型都是用幾乎所有的樣本來訓(xùn)練模型,最接近樣本,這樣評(píng)估得出的結(jié)果與訓(xùn)練整個(gè)測(cè)試集的期望值最為接近;HLLR是非參數(shù)方法LLR 得到的平滑矩陣

非參數(shù)方法具有良好的靈活性,能夠直接根據(jù)觀測(cè)數(shù)據(jù)擬合均值響應(yīng)模型,但是這些擬合模型往往具有較高的方差.非參數(shù)方法往往依賴于相對(duì)大的樣本或空間填充設(shè)計(jì).與非參數(shù)方法不同的是,半?yún)?shù)方法并不要求大量的樣本.在此,將重點(diǎn)介紹兩種常見的半?yún)?shù)方法.

2.2 半?yún)?shù)響應(yīng)曲面建模

半?yún)?shù)方法顧名思義,就是結(jié)合傳統(tǒng)的參數(shù)方法和基于數(shù)據(jù)驅(qū)動(dòng)的非參數(shù)方法的一個(gè)組合模型方法.針對(duì)以往的傳統(tǒng)參數(shù)方法無法處理: 第一,對(duì)基礎(chǔ)模型只有部分了解;第二,數(shù)據(jù)本身波動(dòng)較高.這種情況下,用參數(shù)方法進(jìn)行模型估計(jì)其誤差會(huì)較大.雖然非參數(shù)方法可以較好地處理上述問題,但是非參數(shù)方法對(duì)試驗(yàn)數(shù)據(jù)的樣本量有較高的要求.半?yún)?shù)方法則可以充分發(fā)揮二者的優(yōu)勢(shì),較好地解決模型結(jié)構(gòu)不確定和試驗(yàn)數(shù)據(jù)樣本量小的問題.參數(shù)方法通常使用經(jīng)典的最小二乘法OLS 進(jìn)行參數(shù)估計(jì),非參數(shù)方法則采用局部線性回歸LLR 進(jìn)行估計(jì),因此通過將傳統(tǒng)的參數(shù)估計(jì)和基于數(shù)據(jù)驅(qū)動(dòng)的非參數(shù)方法進(jìn)行有機(jī)整合就可以構(gòu)成半?yún)?shù)方法.在此,將介紹兩種經(jīng)典的半?yún)?shù)方法.

2.2.1 MRR1 方法

Robinson 等[27]提出了一種考慮均值響應(yīng)建模的半?yún)?shù)方法,即通過一個(gè)混合參數(shù)λ結(jié)合參數(shù)和非參數(shù)部分.則可構(gòu)建混合模型

其中第一部分是通過非參數(shù)回歸得到的擬合向量和混合參數(shù)λ的乘積,第二部分是參數(shù)回歸得到的擬合向量和剩余比例部分的乘積.MRR1 通過給參數(shù)部分和非參數(shù)部分分配比例系數(shù)得到半?yún)?shù)模型,但是這種組合模型的波動(dòng)在以往文獻(xiàn)中被證實(shí)較高,其中λ ∈[0,1]而這個(gè)λ的選擇法,類似于非參數(shù)部分的帶寬b的選擇,本質(zhì)上是一種偏度方差的平衡,混合參數(shù)λ的漸近最優(yōu)值用下面的數(shù)據(jù)驅(qū)動(dòng)表達(dá)式來求得,即

該半?yún)?shù)方法可以通過平滑估計(jì)獲取數(shù)據(jù)中的異常信息.此外,MRR1 方法不僅可以彌補(bǔ)參數(shù)方法整體擬合偏差大的問題,而且能夠處理非參數(shù)方法過度擬合的局限性,從而帶來響應(yīng)面設(shè)計(jì)的穩(wěn)健性.如果參數(shù)部分估計(jì)和非參數(shù)部分估計(jì)同時(shí)較高或者較低,MRR1 估計(jì)也會(huì)過高或者過低.因此,有必要引入MRR2 半?yún)?shù)方法以糾正上述錯(cuò)誤.

2.2.2 MRR2 方法

MRR2 方法是Mays 等[22]通過改進(jìn)MRR1 方法獲得一種新的半?yún)?shù)方法.與MRR1 方法比較而言,MRR2 方法在建模組合策略上有所不同.第一,MRR2 方法將對(duì)參數(shù)方法得到的殘差進(jìn)行非參數(shù)處理,得到非參數(shù)殘差部分.然后,將非參數(shù)殘差部分和參數(shù)擬合部分進(jìn)行組合.第二,MRR1 將非參數(shù)和參數(shù)部分各自設(shè)定未知的權(quán)重系數(shù),權(quán)重和為單位1.而MRR2 方法則將參數(shù)擬合部分權(quán)重賦值為1,非參數(shù)殘差部分權(quán)重用混合參數(shù)λ(λ ∈[0,1])表示.在MRR2 方法中,參數(shù)擬合也是利用最小二乘方法進(jìn)行擬合;非參數(shù)方法則是對(duì)參數(shù)擬合與真實(shí)響應(yīng)值的殘差進(jìn)行非參數(shù)擬合.所謂參數(shù)擬合和真實(shí)響應(yīng)的殘差是指參數(shù)擬合無法獲取的數(shù)據(jù)結(jié)構(gòu),而本節(jié)的非參數(shù)擬合是指通過LLR 來對(duì)上述殘差進(jìn)行擬合,其混合模型為

類似于MMR1 中的λ的求法,λ ∈[0,1],λ的大小并不像上一節(jié)方法可以反映模型錯(cuò)誤估計(jì)的程度,而是指表示殘差擬合需要的校正量.當(dāng)λ= 1 時(shí)表示非參數(shù)擬合和參數(shù)擬合所占的比重一樣.漸近最優(yōu)估計(jì)的λ表達(dá)式為根據(jù)以往文獻(xiàn)發(fā)現(xiàn),關(guān)于響應(yīng)估計(jì)的期望,一般認(rèn)為MRR2 的效果比MRR1 的效果更加好.因此,本文將傾向于使用MRR2 方法進(jìn)行參數(shù)估計(jì).

3 本文所提方法

3.1 考慮重復(fù)試驗(yàn)的非參數(shù)響應(yīng)曲面建模

在多響應(yīng)優(yōu)化設(shè)計(jì)中,若無法根據(jù)試驗(yàn)設(shè)計(jì)數(shù)據(jù)獲得響應(yīng)曲面模型的結(jié)構(gòu)時(shí),采用傳統(tǒng)的參數(shù)回歸方法進(jìn)行均值響應(yīng)曲面建模則可能會(huì)引起較大的偏差,即造成較大的模型誤差.鑒于上述情況,引入非參數(shù)方法來構(gòu)建響應(yīng)與試驗(yàn)因子之間的響應(yīng)曲面模型,其具體模型為

其中響應(yīng)預(yù)測(cè)值是由非參數(shù)擬合部分h(xi)和誤差部分εi組成,其中εi ～N(0,1).

若試驗(yàn)在每個(gè)處理(即試驗(yàn)方案)下都存在重復(fù)試驗(yàn)時(shí),可以借鑒雙曲面建模思想利用非參數(shù)方法來構(gòu)建基于響應(yīng)均值和方差的雙響應(yīng)曲面模型.結(jié)合上一節(jié)的非參數(shù)響應(yīng)曲面建模知識(shí),本文選擇相對(duì)簡(jiǎn)單的局部多項(xiàng)式回歸非參數(shù)方法,其中核函數(shù)選擇常用的高斯核函數(shù)κ(u)=e?u2.上述核函數(shù)的帶寬b可以利用式(2)通過最小化PRESS??來獲得.

針對(duì)具有重復(fù)試驗(yàn)數(shù)據(jù)的多響應(yīng)優(yōu)化問題,利用非參數(shù)模型(即式(9))來分別擬合各響應(yīng)方差以及這些響應(yīng)之間的協(xié)方差與試驗(yàn)因子x的函數(shù)關(guān)系.在此基礎(chǔ)上獲得響應(yīng)方差–協(xié)方差函數(shù)Σy(x)與試驗(yàn)因子x之間的關(guān)系.另外,利用重復(fù)試驗(yàn)數(shù)據(jù)獲得每個(gè)試驗(yàn)點(diǎn)的樣本均值,然后利用非參數(shù)模型即式(9)擬合響應(yīng)均值與試驗(yàn)因子之間的響應(yīng)曲面模型,即均值函數(shù)E[y(x)].在此基礎(chǔ)上,利用多響應(yīng)的質(zhì)量損失函數(shù)構(gòu)建本文所提方法的優(yōu)化模型,即

其中θ代表目標(biāo)值矩陣,C代表成本矩陣.

具體的非參數(shù)響應(yīng)面方法的步驟如下:

步驟1根據(jù)PRESS??函數(shù)代碼迭代從候選列表中找出最優(yōu)帶寬值b.

步驟2代入期望質(zhì)量損失函數(shù),利用遺傳算法參數(shù)優(yōu)化,得到最佳參數(shù)水平值.

步驟3部分試驗(yàn)結(jié)果會(huì)受到噪聲因子的影響使得結(jié)果的可靠性降低.為了對(duì)結(jié)果的可靠性評(píng)估,利用隨機(jī)抽樣(蒙特卡羅抽樣),統(tǒng)計(jì)落在規(guī)格限內(nèi)的樣本數(shù)目,從而能夠評(píng)估優(yōu)化結(jié)果的可靠性.

3.2 結(jié)合貝葉斯抽樣技術(shù)的誤差修正模型

有重復(fù)試驗(yàn)數(shù)據(jù)的情況下,基于半?yún)?shù)方法的多響應(yīng)曲面模型一般可假設(shè)為

其中h(xi,β)代表參數(shù)方法部分,f(xi)代表的是非參數(shù)部分,是對(duì)方差模型的轉(zhuǎn)換,εi是指隨機(jī)誤差.

然而上述做法存在三個(gè)不足之處: 一是重復(fù)試驗(yàn)成本較高;二是試驗(yàn)數(shù)據(jù)的隨機(jī)誤差假設(shè)服從標(biāo)準(zhǔn)正態(tài)分布即εi ∈N(0,1)可能與實(shí)際情況并不相符,無法真實(shí)地反應(yīng)模型隨機(jī)誤差的分布特征;三是上述模型僅僅在具有重復(fù)試驗(yàn)數(shù)據(jù)情況才能構(gòu)造出方差模型.若試驗(yàn)數(shù)據(jù)沒有重復(fù)的情況下,則需要進(jìn)一步考慮如何構(gòu)造合適的統(tǒng)計(jì)量來刻畫響應(yīng)曲面模型的隨機(jī)誤差部分.

借鑒參考文獻(xiàn)[13]中利用貝葉斯抽樣方法獲取隨機(jī)誤差項(xiàng)的思想,本文將對(duì)式(7)中的隨機(jī)誤差項(xiàng)進(jìn)行修正,其具體模型為

其中W ∈N(0,H?1),v=N ?p ?q+1,H=在式(12)中,其隨機(jī)誤差項(xiàng)為

在此,本文擬結(jié)合半?yún)?shù)建模思想和貝葉斯抽樣方法,將式(8)中Bz(x)運(yùn)用式(7)中半?yún)?shù)方法進(jìn)行擬合.上述處理方法能夠充分利用半?yún)?shù)方法的優(yōu)勢(shì),如能夠有效地處理小樣本試驗(yàn)數(shù)據(jù)等.需要特別指出的是,式(11)中隨機(jī)誤差項(xiàng)將在新模型中用式(12)的隨機(jī)誤差項(xiàng)所替代.利用貝葉斯抽樣技術(shù)進(jìn)行誤差修正后的響應(yīng)曲面模型為

其中v是自由度,N是樣本大小,W是一個(gè)具有零均值向量和方差協(xié)方差矩陣為H?1的多元正態(tài)隨機(jī)變量.z(xi)是觀測(cè)點(diǎn)的q×1 的觀測(cè)值,其中X是二階因子模型矩陣,Y是N ×p響應(yīng)值矩陣.?B是擬合系數(shù)向量,Z是由N個(gè)z(xi)向量形成的q×N矩陣.U是一個(gè)自由度為v不依賴于W的卡方隨機(jī)變量.

在上述響應(yīng)曲面模型的框架下,結(jié)合雙響應(yīng)曲面建模思想[25]分別構(gòu)建出響應(yīng)均值和方差模型,然后利用多元質(zhì)量損失函數(shù)獲得期望目標(biāo)函數(shù)為

式(10)本質(zhì)上是采用組合建模的思想所構(gòu)建的一種新模型.該模型整合了試驗(yàn)者根據(jù)經(jīng)驗(yàn)所設(shè)定的參數(shù)模型與適應(yīng)試驗(yàn)數(shù)據(jù)特點(diǎn)所估計(jì)的非參數(shù)模型二者的優(yōu)勢(shì).在此基礎(chǔ)上,利用貝葉斯方法對(duì)模型誤差的修正則進(jìn)一步提升了所構(gòu)建模型的預(yù)測(cè)能力.此外,該模型還兼容了半?yún)?shù)方法和貝葉斯方法的特點(diǎn),能夠有效地處理小樣本試驗(yàn)數(shù)據(jù)的問題.因此,與以往的研究方法比較而言,基于數(shù)據(jù)驅(qū)動(dòng)建模思想的響應(yīng)曲面模型,能夠更好地提取試驗(yàn)數(shù)據(jù)的特征,構(gòu)建更為精確、更加符合實(shí)際的響應(yīng)曲面模型.

3.3 基于混合遺傳算法的參數(shù)優(yōu)化

由式(7)～式(10)可知,結(jié)合半?yún)?shù)方法和貝葉斯抽樣方法所構(gòu)建的響應(yīng)曲面模型往往具有高度復(fù)雜的非線性特征,傳統(tǒng)的優(yōu)化方法(如線性規(guī)劃、梯度優(yōu)化等)將難以獲得可靠的優(yōu)化結(jié)果[28].為此,借鑒文獻(xiàn)[1,13],利用結(jié)合遺傳算法和模式搜索法的混合遺傳算法對(duì)上述目標(biāo)函數(shù)即式(10)進(jìn)行參數(shù)優(yōu)化.與傳統(tǒng)的優(yōu)化方法比較而言,混合遺傳算法有效地利用遺傳算法良好的全局搜索能力和模式搜索方法突出的局部?jī)?yōu)化能力,因此利用該方法能夠有效地處理高度復(fù)雜的參數(shù)優(yōu)化問題[29].

3.4 評(píng)估優(yōu)化結(jié)果的可靠性

在多響應(yīng)曲面優(yōu)化設(shè)計(jì)中,由于模型不確定性以及隨機(jī)誤差等因素的影響,將會(huì)導(dǎo)致輸出響應(yīng)呈現(xiàn)出相當(dāng)大的波動(dòng).在這種情形下,如何衡量預(yù)測(cè)響應(yīng)波動(dòng)對(duì)優(yōu)化結(jié)果的影響,如何評(píng)估優(yōu)化結(jié)果的可靠性成為一項(xiàng)亟待解決的研究課題.為此,一些研究者提出一些評(píng)估優(yōu)化結(jié)果可靠性的研究方法.其中,最具有代表性的是貝葉斯后驗(yàn)概率方法[11].該方法的核心思想是在貝葉斯響應(yīng)曲面建?？蚣芟?利用貝葉斯抽樣方法計(jì)算預(yù)測(cè)響應(yīng)值(即在最優(yōu)參數(shù)設(shè)計(jì)值下的響應(yīng)預(yù)測(cè)結(jié)果)落在其規(guī)格限內(nèi)的概率,從而據(jù)此度量?jī)?yōu)化結(jié)果的可靠性.在給定的試驗(yàn)數(shù)據(jù)data 和響應(yīng)規(guī)格限A下,其最優(yōu)參數(shù)設(shè)計(jì)結(jié)果的貝葉斯后驗(yàn)概率的計(jì)算式為

其中Nsim 代表響應(yīng)模擬抽樣次數(shù),I(·)為示性函數(shù).

當(dāng)響應(yīng)模擬抽樣值落在規(guī)格限內(nèi)時(shí)其后驗(yàn)概率結(jié)果P為1,否則為0.

在多響應(yīng)優(yōu)化設(shè)計(jì)中,在試驗(yàn)響應(yīng)個(gè)數(shù)較多時(shí),式(11)將是一個(gè)非常復(fù)雜的高維數(shù)值積分問題.此外,在很多情況下,其響應(yīng)的密度函數(shù)往往非常復(fù)雜,甚至難以直接獲得.因此,在這種情況下,通過貝葉斯模擬抽樣方法將會(huì)大大地降低問題的難度和計(jì)算的工作量.需要特別指出的是,上述貝葉斯后驗(yàn)概率方法不僅適用于單響應(yīng)參數(shù)優(yōu)化問題,而且也可以拓展到多響應(yīng)曲面的參數(shù)優(yōu)化問題.在多響應(yīng)優(yōu)化設(shè)計(jì)中, 通過式(11)不僅可以獲得單個(gè)響應(yīng)預(yù)測(cè)值的邊際后驗(yàn)概率值,而且也可以獲得多個(gè)響應(yīng)預(yù)測(cè)值落在其對(duì)應(yīng)規(guī)格限內(nèi)的聯(lián)合概率概率值.

3.5 本文所提方法的實(shí)施步驟

針對(duì)多響應(yīng)曲面優(yōu)化設(shè)計(jì)中存在的問題,本文結(jié)合半?yún)?shù)方法和貝葉斯抽樣模擬技術(shù),提出一種新的建模與優(yōu)化技術(shù),其具體的實(shí)施步驟如下:

步驟1首先對(duì)原始數(shù)據(jù)進(jìn)行普通最小二乘法(OLS)擬合分別得到關(guān)于兩個(gè)響應(yīng)的參數(shù)擬合值,然后通過原始響應(yīng)構(gòu)建殘差向量,將殘差向量再利用PRESS??函數(shù)尋求最佳的帶寬值b.

步驟2根據(jù)半?yún)?shù)模型公式中的非參數(shù)部分,利用LLR 方法對(duì)上述步驟2得到的兩組殘差向量分別進(jìn)行非參數(shù)擬合得到兩組非參數(shù)擬合的擬合殘差向量.

步驟3通過步驟1 和步驟2 中分別得到的OLS 擬合值和非參數(shù)殘差擬合值.利用MRR2 方法中的混合參數(shù)構(gòu)造方法——函數(shù),分別得到對(duì)應(yīng)響應(yīng)的最合適的混合參數(shù)值λ.結(jié)合OLS 擬合值、殘差擬合值和混合參數(shù)λ將非參數(shù)響應(yīng)曲面模型擴(kuò)展為半?yún)?shù)響應(yīng)曲面模型.

步驟4借鑒參考文獻(xiàn)[13]中利用貝葉斯抽樣方法獲取隨機(jī)誤差項(xiàng)的思想進(jìn)行誤差修正,同時(shí)利用半?yún)?shù)的響應(yīng)建模方法對(duì)響應(yīng)曲面進(jìn)行重新擬合.最后,綜合上述兩個(gè)方面的改進(jìn)提出一種基于誤差修正的響應(yīng)曲面模型,并在此基礎(chǔ)上利用多元質(zhì)量損失函數(shù)構(gòu)建出本文所提方法的優(yōu)化目標(biāo)函數(shù).

步驟5利用混合遺傳算法對(duì)步驟4 中所獲得期望質(zhì)量損失函數(shù)進(jìn)行參數(shù)優(yōu)化,獲得最優(yōu)的參數(shù)設(shè)計(jì)值.

步驟6利用貝葉斯后驗(yàn)概率方法對(duì)參數(shù)優(yōu)化結(jié)果的可靠性進(jìn)行評(píng)估.

4 實(shí)例分析

該實(shí)例來源于文獻(xiàn)[13],其主要目的是對(duì)一種聚合物進(jìn)行參數(shù)優(yōu)化設(shè)計(jì),以尋找最佳的設(shè)計(jì)參數(shù)值.在該試驗(yàn)中,可控因子為反應(yīng)時(shí)間x1(reaction time)、反應(yīng)溫度x2(reaction temperature)和催化劑的用量x3(amount of catalyst).試驗(yàn)的輸出響應(yīng)是轉(zhuǎn)化率y1和熱活動(dòng)y2.其中,轉(zhuǎn)化率為望大類型的質(zhì)量特性(y1∈[80,100]),目標(biāo)值θ1假定為100;而熱活動(dòng)為望目的質(zhì)量特性(y2∈[55,66]),其目標(biāo)值θ2假定為57.5.在整個(gè)試驗(yàn)的分析過程中,假設(shè)回歸模型中因子效應(yīng)所構(gòu)成的向量為z(x) = (1,x1,x2,x3,x1x2,x2x3,x1x3,x21,x22,x23).在該試驗(yàn)中,試驗(yàn)者選擇中心復(fù)合設(shè)計(jì)(central composite design,CCD)開展相關(guān)的試驗(yàn),其聚合物試驗(yàn)的因子計(jì)劃安排、響應(yīng)的輸出結(jié)果如下表1 所示.

表1 某聚合物的試驗(yàn)設(shè)計(jì)結(jié)果Table 1 The experimental design results of a polymer

根據(jù)第3.5 節(jié)中所提出的實(shí)施步驟,結(jié)合上述表1 所獲得可控因子與輸出響應(yīng)的試驗(yàn)數(shù)據(jù),在此利用半?yún)?shù)建模方法進(jìn)行響應(yīng)曲面建模.其中非參數(shù)方法中核函數(shù)選擇為高斯核函數(shù),其最佳帶寬值b(其中兩個(gè)響應(yīng)關(guān)于帶寬的PRESS??函數(shù)如圖1,圖2 所示)分別為0.68 和0.35,最佳混合參數(shù)值為1.

圖1 響應(yīng)值y1 的PRESS??函數(shù)圖Fig.1 PRESS??function diagram of response y1

圖2 響應(yīng)值y2 的PRESS??函數(shù)圖Fig.2 PRESS??function diagram of response y2

然后,利用第3.3 節(jié)中所介紹的混合遺傳算法對(duì)所提出的期望質(zhì)量損失函數(shù)進(jìn)行參數(shù)優(yōu)化,其參數(shù)優(yōu)化結(jié)果為x1=?0.050,x2=1.682,x3=?0.063.同時(shí),在最優(yōu)位置點(diǎn)處的期望質(zhì)量損失為13.834,貝葉斯后驗(yàn)概率為0.813 8.若采用文獻(xiàn)[13]方法對(duì)該聚合物試驗(yàn)進(jìn)行分析可知,其期望質(zhì)量損失函數(shù)為14.663 6,同時(shí)其貝葉斯后驗(yàn)概率(即蒙特卡洛的抽樣值落在給定規(guī)格限內(nèi)的概率)為0.602 8.與文獻(xiàn)[13]研究結(jié)果比較而言,本文所提方法在期望質(zhì)量損失和后驗(yàn)概率值(該指標(biāo)反映產(chǎn)品符合規(guī)格的程度)均表現(xiàn)出一定的優(yōu)勢(shì),其主要原因是文獻(xiàn)[13]方法事先假設(shè)固定的模型結(jié)構(gòu),從而忽視模型結(jié)構(gòu)不確定性對(duì)優(yōu)化結(jié)果的影響.正如文獻(xiàn)[13]中曾指出的那樣,模型結(jié)構(gòu)的變化可能會(huì)低估或高估其綜合性能評(píng)價(jià)指標(biāo)(如期望質(zhì)量損失函數(shù)或貝葉斯后驗(yàn)概率).此外,為了進(jìn)一步驗(yàn)證所提方法的有效性,本文還將文獻(xiàn)[11]的貝葉斯后驗(yàn)概率方法、文獻(xiàn)[10]的多元質(zhì)量損失函數(shù)方法、文獻(xiàn)[20]中提到的非參數(shù)、文獻(xiàn)[20]中提到的半?yún)?shù)方法運(yùn)用到該聚合物試驗(yàn)的參數(shù)優(yōu)化過程中,其優(yōu)化結(jié)果如表2 所示.與文獻(xiàn)[20]中的非參數(shù)方法和半?yún)?shù)方法兩種方法比較而言,本文所提方法在期望質(zhì)量損失函數(shù)和規(guī)格限內(nèi)的概率兩個(gè)評(píng)估指標(biāo)上均優(yōu)于上述兩種方法的優(yōu)化結(jié)果.因此,本文所提方法不僅在期望質(zhì)量損失方面有所降低,而且在考慮產(chǎn)品的符合性概率方面也獲得了較大的提升.

表2 優(yōu)化結(jié)果指標(biāo)對(duì)比表Table 2 Comparison table of optimization results

此外, 為了進(jìn)一步驗(yàn)證參數(shù)優(yōu)化結(jié)果的可靠性, 在最優(yōu)參數(shù)設(shè)計(jì)值下利用所構(gòu)建的響應(yīng)模型進(jìn)行10 000 次隨機(jī)模擬抽樣.考慮到樣本間的自相關(guān)性,每間隔4 個(gè)抽樣點(diǎn)抽取一次,最后獲得了2 000 次的響應(yīng)抽樣值,其兩個(gè)響應(yīng)y1和y2抽樣值的蹤跡圖如圖3 和圖4 所示.

在圖3 中,其兩條紅線分別代表響應(yīng)y1的規(guī)格上限100 和規(guī)格下限80.由于響應(yīng)y1為望大類型的,因此其響應(yīng)目標(biāo)值假設(shè)為100,目標(biāo)值紅線和上限紅線重合.另外,在圖4 中,其響應(yīng)y2的規(guī)格上限和下限分別為55 和66.圖4中間的紅線代表響應(yīng)y2的目標(biāo)值,即為57.5.從圖3 和圖4 可知,由于隨機(jī)誤差等確定性因素的影響,上述兩個(gè)響應(yīng)的抽樣值圍繞著某個(gè)確定的均值呈現(xiàn)上下隨機(jī)波動(dòng)的趨勢(shì),且其波動(dòng)幅度基本保持一致,呈現(xiàn)出穩(wěn)態(tài)分布的特征,因此可以利用其響應(yīng)抽樣值來評(píng)估其參數(shù)優(yōu)化結(jié)果的可靠性.根據(jù)上述抽樣結(jié)果,可以計(jì)算得出兩個(gè)響應(yīng)抽樣值落在其對(duì)應(yīng)的規(guī)格限內(nèi)的概率分別為0.845 2 和0.956 6.上述的研究結(jié)果進(jìn)一步證實(shí)參數(shù)優(yōu)化結(jié)果的可靠性.

圖3 響應(yīng)值y1 的軌跡圖Fig.3 Trace plot of response value y1

圖4 響應(yīng)值y2 的軌跡圖Fig.4 Trace plot of response value y2

5 結(jié)束語

本文利用半?yún)?shù)方法建立過程響應(yīng)與可控因子的響應(yīng)曲面模型,并在此基礎(chǔ)上結(jié)合貝葉斯抽樣方法對(duì)所構(gòu)建的響應(yīng)曲面模型進(jìn)行誤差修正,從而獲得更加精確、更加符合實(shí)際情況的響應(yīng)曲面模型.此外,本文還利用貝葉斯后驗(yàn)概率方法進(jìn)一步地評(píng)估了參數(shù)優(yōu)化結(jié)果的可靠性.需要特別指出的是,若根據(jù)工程背景或?qū)＜抑R(shí)能明確給出響應(yīng)曲面模型結(jié)構(gòu)時(shí),則使用參數(shù)回歸方法往往能夠獲得理想的模型估計(jì)結(jié)果.然而,若模型結(jié)構(gòu)無法確定,則采用非參數(shù)或半?yún)?shù)方法等數(shù)據(jù)驅(qū)動(dòng)方法往往能夠獲得更為可靠的響應(yīng)曲面模型.

此外,未來的產(chǎn)品質(zhì)量設(shè)計(jì)還需要從產(chǎn)品全生命周期視角全面地分析與思考.例如,在產(chǎn)品設(shè)計(jì)階段,考慮通過互聯(lián)網(wǎng)讓廣大客戶參與產(chǎn)品質(zhì)量設(shè)計(jì),讓所制造出的產(chǎn)品全面反映客戶需求,真正做到高度客戶化;在產(chǎn)品生產(chǎn)階段,考慮利用物聯(lián)網(wǎng)與傳感器、以及人工智能技術(shù),對(duì)生產(chǎn)過程進(jìn)行實(shí)時(shí)質(zhì)量監(jiān)控與反饋,及時(shí)采集生產(chǎn)過程中環(huán)境(如溫度、濕度)、設(shè)備故障等數(shù)據(jù)信息,然后利用大數(shù)據(jù)分析技術(shù)對(duì)所收集到的上述數(shù)據(jù)進(jìn)行全面地分析,探尋可能影響最終產(chǎn)品設(shè)計(jì)質(zhì)量的關(guān)鍵因素并加以優(yōu)化;在產(chǎn)品售后以及使用階段,充分地利用互聯(lián)網(wǎng)或物聯(lián)網(wǎng)及時(shí)收集客戶在使用中所發(fā)現(xiàn)的潛在質(zhì)量問題,或客戶在維修保養(yǎng)過程中存在的產(chǎn)品質(zhì)量問題,然后結(jié)合大數(shù)據(jù)分析技術(shù)尋求潛在的原因,并在未來產(chǎn)品質(zhì)量設(shè)計(jì)中逐步加以改進(jìn)和完善[30].因此如何結(jié)合互聯(lián)網(wǎng)、人工智能與大數(shù)據(jù)分析技術(shù)開展產(chǎn)品質(zhì)量設(shè)計(jì)技術(shù)與方法將是未來有待進(jìn)一步研究的重要課題.