多響應(yīng)穩(wěn)健參數(shù)設(shè)計的貝葉斯建模與優(yōu)化①

汪建均， 馬義中， 歐陽林寒， 孫金生， 劉　健

(1. 南京理工大學(xué)經(jīng)濟管理學(xué)院， 南京 210094； 2. 南京理工大學(xué)自動化學(xué)院， 南京 210094)

?

多響應(yīng)穩(wěn)健參數(shù)設(shè)計的貝葉斯建模與優(yōu)化①

汪建均1, 2， 馬義中1， 歐陽林寒1， 孫金生2， 劉健1

(1. 南京理工大學(xué)經(jīng)濟管理學(xué)院， 南京 210094； 2. 南京理工大學(xué)自動化學(xué)院， 南京 210094)

摘要：針對多響應(yīng)穩(wěn)健參數(shù)設(shè)計問題，在貝葉斯統(tǒng)計建模的框架下，結(jié)合質(zhì)量損失函數(shù)和后驗概率方法構(gòu)建了一種新的優(yōu)化模型.該方法不僅運用后驗概率方法評估了各響應(yīng)落在規(guī)格限內(nèi)的期望概率(即優(yōu)化結(jié)果的可靠性)，而且運用質(zhì)量損失函數(shù)度量了多變量過程的穩(wěn)健性.此外，進一步地結(jié)合實例討論了期望概率對優(yōu)化結(jié)果的影響、聯(lián)合概率與邊緣概率之間的關(guān)系以及如何獲得質(zhì)量損失與后驗概率之間的最佳平衡點.研究結(jié)果表明：所提方法能夠在優(yōu)化過程中較好地兼顧多元過程的穩(wěn)健性和優(yōu)化結(jié)果的可靠性，從而為實現(xiàn)多響應(yīng)穩(wěn)健參數(shù)設(shè)計提供了各方面(如多元過程的穩(wěn)健性、優(yōu)化結(jié)果的可靠性)均較滿意的優(yōu)化結(jié)果.

關(guān)鍵詞：貝葉斯分析； 多響應(yīng)； 后驗概率； 質(zhì)量損失函數(shù)； 穩(wěn)健參數(shù)設(shè)計

0引言

穩(wěn)健參數(shù)設(shè)計在產(chǎn)品或過程的質(zhì)量改進活動中得到了廣泛應(yīng)用，有效地提高了產(chǎn)品或過程的質(zhì)量，產(chǎn)生了巨大的經(jīng)濟效益.隨著顧客需求層次的多樣化以及產(chǎn)品復(fù)雜程度的日益提高，在產(chǎn)品或過程的質(zhì)量設(shè)計中往往需要考慮多個質(zhì)量特性(即多響應(yīng))，因此多響應(yīng)穩(wěn)健參數(shù)設(shè)計在持續(xù)性質(zhì)量改進活動中顯示出越來越重要的地位與作用[1].在多響應(yīng)穩(wěn)健參數(shù)設(shè)計的研究中，通常會涉及到一系列的研究問題,大體上可以歸納為如下3個方面的研究內(nèi)容[2, 3]：第1，指標(biāo)構(gòu)建.如何構(gòu)建有效的指標(biāo)以合理地度量多響應(yīng)系統(tǒng)的穩(wěn)健性以及多響應(yīng)之間的相關(guān)性；第2，模型構(gòu)建.如何在過程模型的構(gòu)建中考慮模型的預(yù)測性能以及多目標(biāo)優(yōu)化時的沖突；第3，參數(shù)優(yōu)化.如何選擇合適的優(yōu)化算法以獲得模型參數(shù)的全局優(yōu)化解和穩(wěn)健解，同時還需要進一步地評估優(yōu)化結(jié)果的可靠性，即考慮響應(yīng)觀測值落在產(chǎn)品規(guī)格限內(nèi)的概率.

針對多響應(yīng)穩(wěn)健參數(shù)設(shè)計所存在的問題，近年來國內(nèi)外學(xué)者提出了各種各樣的研究方法，歸納起來主要包括以下幾種常見的方法[3]：滿意度函數(shù)法、馬氏距離法、多元質(zhì)量損失函數(shù)、貝葉斯后驗概率法等.在上述方法之中，滿意度函數(shù)法以其簡潔實用、易于操作，在工程實踐中得到了廣泛應(yīng)用.然而，一些研究者[4]指出，滿意度函數(shù)法忽視了響應(yīng)之間相關(guān)性，因而在多響應(yīng)之間存在高度的相關(guān)性或具有不同的方差結(jié)構(gòu)時可能難以獲得合理的參數(shù)設(shè)計值.此外，傳統(tǒng)的滿意度函數(shù)未考慮響應(yīng)的預(yù)測性能及其優(yōu)化結(jié)果的可靠性，因此在某些情況下根據(jù)滿意度函數(shù)所獲得的研究結(jié)果將很不可靠[5, 6].馬氏距離法雖然考慮了響應(yīng)之間的方差-協(xié)方差結(jié)構(gòu)，但是當(dāng)各個響應(yīng)之間存在明顯的沖突時，該方法的效果將會受到很大影響.此外，馬氏距離法也忽視了響應(yīng)的預(yù)測性能及其優(yōu)化結(jié)果的可靠性等問題[7].Ko等[8]結(jié)合Pignatiello[9]和Vining[10]所提出的多元質(zhì)量損失函數(shù)，既考慮了過程的穩(wěn)健性、多響應(yīng)之間的相關(guān)性，同時還考慮了響應(yīng)的預(yù)測性能，提出了新的多元質(zhì)量損失函數(shù)方法.該方法要求對每輪試驗進行完全重復(fù)，以便運用似不相關(guān)回歸(seemingly unrelated regressions, SUR)方法估計響應(yīng)的方差-協(xié)方差矩陣.當(dāng)響應(yīng)之間存在高度的相關(guān)性時，SUR方法能夠給出更為精確的模型估計，提高模型的擬合效果與預(yù)測性能，但SUR對樣本量具有較高的要求[11].此外，該方法未考察預(yù)測響應(yīng)值落在規(guī)格限內(nèi)的概率，從而無法對穩(wěn)健優(yōu)化的結(jié)果進行有效的可靠性評估.Peterson[12]曾指出運用滿意度函數(shù)或質(zhì)量損失函數(shù)等指標(biāo)進行多響應(yīng)穩(wěn)健參數(shù)設(shè)計時，其響應(yīng)預(yù)測值落在規(guī)格限的概率可能相當(dāng)?shù)?，甚至無法令人接受.

近年來，如何評估多響應(yīng)穩(wěn)健參數(shù)設(shè)計優(yōu)化結(jié)果的可靠性引起一些學(xué)者的關(guān)注和重視.Chiao和Hamada[13]在多響應(yīng)優(yōu)化設(shè)計中提出一種評估優(yōu)化結(jié)果可靠性的新方法.該方法通過估計多變量正態(tài)響應(yīng)滿足顧客設(shè)定條件的概率來評估優(yōu)化結(jié)果的優(yōu)劣，其主要優(yōu)勢在于該方法能夠有效地考慮響應(yīng)數(shù)據(jù)之間的方差-協(xié)方差結(jié)構(gòu)，并且適用于異方差以及含有噪聲變量的回歸模型.然而，該方法也存在一些不足之處，最主要的問題是該方法在優(yōu)化過程中忽視了模型參數(shù)的不確定性.為此，Peterson[12]提出了貝葉斯的后驗概率方法.該方法在貝葉斯建模與優(yōu)化過程中考慮了試驗數(shù)據(jù)之間的相關(guān)結(jié)構(gòu)、過程分布的變化以及模型參數(shù)的不確定性[14]，然后利用蒙特卡洛(Monte Carlo)模擬方法從多響應(yīng)的后驗預(yù)測分布中進行抽樣，從而計算出多響應(yīng)的抽樣值落在規(guī)格限內(nèi)的概率.Miro-Quesada等[15]擴展Peterson[12]的研究工作，在多響應(yīng)過程模型構(gòu)建之中考慮了噪聲因子的影響.此外，Peterson等[16]考察了多響應(yīng)之間存在不同協(xié)方差的問題，進而結(jié)合多變量的似不相關(guān)回歸模型改進了以往的研究工作.Robinson等[17]首先對廣義線性混合模型(generalized linear mixed models, GLMM)進行貝葉斯分析，然后結(jié)合貝葉斯后驗概率方法對裂區(qū)試驗設(shè)計進行了參數(shù)優(yōu)化.該方法不僅適用于正態(tài)響應(yīng)，也適用于非正態(tài)響應(yīng)的參數(shù)優(yōu)化設(shè)計問題.然而，上述方法過分關(guān)注響應(yīng)預(yù)測值或抽樣值落在規(guī)格限內(nèi)的概率，卻忽視了多元過程的穩(wěn)健性.事實上，在很多情況下僅考慮優(yōu)化結(jié)果的可靠性所獲得的參數(shù)設(shè)計值，其可靠性結(jié)果往往令人滿意，但其質(zhì)量損失卻相當(dāng)大.因此，如何在統(tǒng)一的框架下全面地考慮多響應(yīng)穩(wěn)健參數(shù)設(shè)計所涉及的一系列問題(如多響應(yīng)之間的相關(guān)性、多目標(biāo)優(yōu)化的沖突性、多元過程的穩(wěn)健性以及研究結(jié)果的可靠性等問題)，尤其是同時考慮穩(wěn)健性與優(yōu)化結(jié)果的可靠性，目前還缺乏行之有效的研究方法.

針對多響應(yīng)穩(wěn)健參數(shù)設(shè)計問題，本文擬在貝葉斯多元回歸模型的統(tǒng)一框架下，首先根據(jù)貝葉斯后驗樣本計算出響應(yīng)預(yù)測值的均值向量與方差-協(xié)方差矩陣，在此基礎(chǔ)上構(gòu)建基于改進的多元質(zhì)量損失函數(shù)，從而獲得相應(yīng)的優(yōu)化目標(biāo)函數(shù)；然后通過貝葉斯后驗概率方法獲得響應(yīng)抽樣值落在規(guī)格限內(nèi)的概率，并以該概率不低于某個期望的目標(biāo)值為約束條件；最后運用混合遺傳算法對具有非線性約束的目標(biāo)函數(shù)進行參數(shù)優(yōu)化，從而獲得理想的參數(shù)設(shè)計值.

1多元質(zhì)量損失函數(shù)

日本著名的質(zhì)量工程專家Taguchi認(rèn)為“質(zhì)量特性一旦偏離其設(shè)計目標(biāo)值，就會造成質(zhì)量損失，偏離越遠(yuǎn)，損失越大”.為了近似地描述產(chǎn)品質(zhì)量特性y偏離目標(biāo)值T所造成的質(zhì)量損失，Taguchi定義了單個質(zhì)量特性的二次損失函數(shù)

L(y)=k(y-T)2

(1)

其中k為與y無關(guān)的常數(shù)，通常由功能界限和喪失功能的損失來確定.為了進一步量化質(zhì)量損失，Taguchi提出了期望損失函數(shù)的概念，即用L(y)的數(shù)學(xué)期望L(y) E(L(y))表示期望質(zhì)量損失，其表達式為

E(L(y))=kE(y-T)2

=kE(y-Ey+Ey-T)2

=k[σ2+(Ey-T)2]

(2)

從式(2)可知，為了最大限度地減少產(chǎn)品或過程的質(zhì)量損失，應(yīng)該在保持過程輸出均值Ey接近設(shè)計目標(biāo)值的情況下，盡可能地減少過程輸出的波動，即響應(yīng)y的方差σ2.Pignatiello[9]擴展了Taguchi二次損失函數(shù)，提出了多元質(zhì)量損失函數(shù)

L(y(x),θ)=(y(x)-θ)TC(y(x)-θ)

(3)

其中y(x)為p個響應(yīng)y所構(gòu)成的p×1向量，θ為目標(biāo)值所構(gòu)成的p×1向量，C為反映過程經(jīng)濟的成本矩陣.針對式(3)取數(shù)學(xué)期望得到期望質(zhì)量損失，其表達式為

E[L(y(x),θ)]=(E[y(x)]-θ)T×

C(E[y(x)]-θ)+

trace[CΣy(x)]

(4)

其中Σy(x)是p×p的方差-協(xié)方差矩陣.上述式(4)的右邊包含了兩個部分，第1部分為偏差成分，第2部分為方差成分.而方差成分反映了過程的穩(wěn)健性，隨著方差成分減少，過程的穩(wěn)健性將會提高.

(5)

根據(jù)上述質(zhì)量損失函數(shù)的定義，其期望損失函數(shù)定義如下

(6)

(7)

(8)

其中εnew(x)為隨機誤差項.針對式(7)和式(8)，得到期望質(zhì)量損失函數(shù)如下

(9)

式(9)右邊包含了3部分，分別反映了過程預(yù)測值偏離目標(biāo)值的偏差(Lbias)、過程的預(yù)測性能(Lpred)以及過程的穩(wěn)健性(Lrobust).關(guān)于式(9)的詳細(xì)推導(dǎo)過程可參考文獻[8].

2結(jié)合多元質(zhì)量損失與貝葉斯后驗概率的多響應(yīng)穩(wěn)健參數(shù)設(shè)計

2.1多元回歸模型的貝葉斯分析

在多響應(yīng)穩(wěn)健參數(shù)設(shè)計中，若存在p個質(zhì)量特性和q個因子效應(yīng)，則多響應(yīng)曲面回歸模型可假設(shè)為

y=Bz(x)+e

(10)

其中B為p×q的回歸系數(shù)矩陣；z(x)為關(guān)于因子效應(yīng)x的q×1向量；向量e服從均值向量為0、方差-協(xié)方差矩陣為Σ的正態(tài)分布.

為了說明和解釋模型參數(shù)B和Σ的不確定性，本文擬在多響應(yīng)曲面回歸模型的框架下結(jié)合貝葉斯方法進行建模與優(yōu)化分析，從而系統(tǒng)地解決多響應(yīng)穩(wěn)健參數(shù)設(shè)計所面臨一些關(guān)鍵問題.在參數(shù)θ無任何先驗信息時，無信息先驗p(θ)可以用Fisher信息陣的行列式求平方根來表示[18]，即

(11)

針對多元回歸模型的參數(shù)θ=(β，Σ)，結(jié)合上述公式利用Fisher信息陣可以分別推導(dǎo)出參數(shù)B和Σ的Jeffreys先驗分布[19]

(12)

若假設(shè)參數(shù)B和Σ是相互獨立的，則參數(shù)B和Σ的聯(lián)合先驗分布滿足

(13)

在給定試驗數(shù)據(jù)(data)和試驗因子x的條件下，響應(yīng)y的貝葉斯后驗概率密度函數(shù)為

(14)

(15)

根據(jù)式(15)可以運用蒙特卡洛模擬方法計算出響應(yīng)抽樣值落在規(guī)格限A內(nèi)的概率，即結(jié)合貝葉斯后驗概率方法考察優(yōu)化結(jié)果的可靠性

(16)

(17)

根據(jù)式(17)的結(jié)果，運用式(9)可以計算出多響應(yīng)系統(tǒng)的期望質(zhì)量損失，從而有效地刻畫多元過程的穩(wěn)健性.

2.2基于貝葉斯后驗樣本的多響應(yīng)穩(wěn)健參數(shù)優(yōu)化

1)首先模擬服從均值為0，方差-協(xié)方差均值為H-1的多變量正態(tài)分布的隨機變量W，即W～N(0, H1)；

3)最后根據(jù)多變量t分布的構(gòu)成，獲得響應(yīng)的最終抽樣結(jié)果，即

(18)

在貝葉斯多元回歸模型的統(tǒng)一框架下，結(jié)合多元質(zhì)量損失函數(shù)和貝葉斯后驗概率方法構(gòu)建多響應(yīng)穩(wěn)健參數(shù)設(shè)計的優(yōu)化模型如下

(19)

其中p0為試驗者或顧客所期望滿足的概率.若在實際應(yīng)用中缺乏期望概率p0的先驗信息，則可以根據(jù)式(18)最大化響應(yīng)值落在規(guī)格限內(nèi)的概率以獲得有效的預(yù)估值.

考慮到式(19)為高度復(fù)雜的非線性優(yōu)化問題，傳統(tǒng)的優(yōu)化方法往往只能夠獲得局部的優(yōu)化解甚至難以找到合適的可行解[20].Jourdan等[21]的研究表明：在解決高度復(fù)雜的優(yōu)化問題時，混合優(yōu)化算法通常比單一優(yōu)化算法更有優(yōu)勢.針對多響應(yīng)的參數(shù)優(yōu)化問題，何楨等[22]曾提出了結(jié)合遺傳算法與模式搜索的混合優(yōu)化方法，有效地克服了傳統(tǒng)優(yōu)化算法在處理多約束、多峰以及高度非線性優(yōu)化問題時的局限性.此后，一些相關(guān)研究[23]也表明：充分利用遺傳算法的全局搜索能力與模式搜索局部優(yōu)化的優(yōu)勢，構(gòu)建二者的混合遺傳算法可以彌補上述單一算法的不足，從而能夠有效地解決高度復(fù)雜的多響應(yīng)參數(shù)優(yōu)化問題.為此，本文擬采用上述的混合遺傳算法對所構(gòu)建的模型進行參數(shù)優(yōu)化.

在運用混合遺傳算法對式(19)進行參數(shù)優(yōu)化時，還需要特別關(guān)注如何提高設(shè)計程序的運行速度.在利用蒙特卡洛模擬方法對式(19)進行隨機抽樣時，針對所給定的規(guī)格限內(nèi)某個點，通常需要進行多次反復(fù)(如模擬10 000次)模擬抽樣以計算貝葉斯多元質(zhì)量損失函數(shù)和貝葉斯后驗概率.在這種情形下，若運用迭代循環(huán)方法實現(xiàn)上述過程將需要消耗相當(dāng)長的運行時間.為此，本文采用矩陣化的結(jié)構(gòu)形式(將多次模擬結(jié)果通過某個矩陣整體表示)，將極大地提高整個算法程序的運行速度.鑒于篇幅有限，本文未給出相關(guān)的Matlab程序，若需要可通過電子郵件與本文第一作者聯(lián)系.在上述貝葉斯建模的框架下，本文所提方法的整個優(yōu)化過程可以歸納如下：

步驟1根據(jù)所給定的試驗數(shù)據(jù)運用蒙特卡洛模擬方法進行隨機抽樣，并獲得各響應(yīng)的后驗抽樣值.

步驟2根據(jù)各響應(yīng)的后驗抽樣值，計算響應(yīng)抽樣值的均值向量與方差-協(xié)方差矩陣.

步驟3根據(jù)步驟2的結(jié)果構(gòu)建貝葉斯多元質(zhì)量損失函數(shù)，在具體的優(yōu)化過程中將其視為最小化的目標(biāo)函數(shù).

步驟4根據(jù)步驟1的結(jié)果單獨優(yōu)化貝葉斯后驗概率，從而獲得其期望概率的預(yù)估值.在具體的優(yōu)化過程中，將貝葉斯后驗概率大于或等于其期望概率p0視為所提方法必須滿足的約束條件.

步驟5根據(jù)上述步驟構(gòu)建非線性約束的優(yōu)化模型，應(yīng)用混合遺傳算法對其進行優(yōu)化，獲得最優(yōu)的參數(shù)設(shè)計值.

3實例分析

該實例來源于文獻[24]，主要研究某聚合物試驗的參數(shù)設(shè)計問題.該聚合物試驗具有兩個相關(guān)的響應(yīng)，即某聚合物的轉(zhuǎn)化率y1和熱活動y2，其中轉(zhuǎn)化率為望大質(zhì)量特性，而熱活動為望目質(zhì)量特性.影響上述響應(yīng)的可控因子主要包括：反應(yīng)時間x1(reaction time)、反應(yīng)溫度x2(reaction temperature)、催化劑的用量x3(amount of catalyst).在該試驗中工程師期望獲得可控因子的最佳參數(shù)組合，從而最大化某聚合物的轉(zhuǎn)化率y1，同時希望維持熱活動y2的目標(biāo)值在57.5的水平上.為此，試驗者選擇中心復(fù)合設(shè)計(central composite design, CCD)開展了相關(guān)的試驗，其試驗計劃與試驗結(jié)果如表1所示.

表1　某聚合物試驗的試驗計劃與試驗結(jié)果

在上述聚合物試驗中，轉(zhuǎn)化率的可接受范圍為80～100，其目標(biāo)值θ1假定為100；熱活動的可接受范圍為55～60，其目標(biāo)值θ2假定為57.5.在整個試驗的分析過程中，假設(shè)回歸模型式(10)中因子效應(yīng)所構(gòu)成的向量為

參考Ko等[8]所給出成本矩陣C的規(guī)定，假設(shè)成本矩陣C為

為了獲得更為穩(wěn)健的優(yōu)化結(jié)果，在Matlab優(yōu)化工具箱中選擇遺傳算法進行求解，修改種群大小(populationsize)為200，在混合函數(shù)(hybridfunction)中選擇模式搜索，其他參數(shù)選擇默認(rèn)形式，其貝葉斯后驗概率的優(yōu)化結(jié)果為0.647 8.為此，根據(jù)上述優(yōu)化結(jié)果假設(shè)試驗者或顧客所期望滿足的p0預(yù)估值為0.6.在上述約束的條件下，運用混合遺傳算法對所構(gòu)建的優(yōu)化模型即式(19)進行參數(shù)優(yōu)化，其研究結(jié)果如表2所示.根據(jù)表2可知，其期望質(zhì)量損失為14.663 6，同時其響應(yīng)抽樣值落在規(guī)格限內(nèi)的概率，即貝葉斯后驗概率為0.602 8.此外，若不考慮貝葉斯后驗概率的約束，運用混合遺傳算法對運用貝葉斯方法所構(gòu)建的期望質(zhì)量損失函數(shù)進行優(yōu)化，其質(zhì)量損失結(jié)果為11.561 3.為了與Ko等所提出的多元質(zhì)量損失函數(shù)進行比較，將其參數(shù)值代入到本文所構(gòu)建的期望質(zhì)量損失函數(shù)和貝葉斯后驗概率函數(shù)中分別實施模擬運算，其期望質(zhì)量損失函數(shù)結(jié)果為11.666 2，貝葉斯后驗概率的結(jié)果為0.480 6，優(yōu)化結(jié)果如表2所示.

表2　不同研究方法的優(yōu)化結(jié)果

注：①文獻[8]的方法.

比較分析表2中不同研究方法的優(yōu)化結(jié)果可知，在上述多響應(yīng)優(yōu)化設(shè)計的實例中，若僅利用貝葉斯后驗概率方法進行參數(shù)優(yōu)化，則其貝葉斯后驗概率相對較高，但由于該方法忽視了多元過程的穩(wěn)健性，因此其期望質(zhì)量損失(20.958 1)相對較大.若僅利用貝葉斯質(zhì)量損失函數(shù)進行參數(shù)優(yōu)化，則其期望質(zhì)量損失相對較小，但該方法忽視了對優(yōu)化結(jié)果的可靠性評估，因此其參數(shù)所對應(yīng)的貝葉斯后驗概率(0.461 2)相對較低.另外，利用貝葉斯質(zhì)量損失函數(shù)所獲得的優(yōu)化結(jié)果與運用多元質(zhì)量損失函數(shù)所獲得的優(yōu)化結(jié)果相差不大，從而驗證了在貝葉斯多元回歸模型的框架下運用蒙特卡洛模擬方法實現(xiàn)多響應(yīng)穩(wěn)健參數(shù)優(yōu)化的有效性.與貝葉斯后驗概率方法比較而言，運用本文所提方法所獲得的期望質(zhì)量損失將大幅度地減小，而其后驗概率卻相差不大.與貝葉斯質(zhì)量損失函數(shù)或多元質(zhì)量損失函數(shù)比較而言，運用本文所提方法所獲得的后驗概率將大幅度地提高，但其期望質(zhì)量損失的增幅相對較小.因此，運用本文所提方法進行多響應(yīng)穩(wěn)健參數(shù)設(shè)計時能夠同時兼顧穩(wěn)健性與可靠性，從而能夠獲得各方面(如穩(wěn)健性、可靠性等)均較滿意的優(yōu)化結(jié)果.

4討論

4.1關(guān)于期望概率的分析

在上述試驗的優(yōu)化過程中，如何給出試驗者或顧客所期望滿足概率p0(產(chǎn)品或過程的響應(yīng)值落在規(guī)格限內(nèi)的概率)是非常關(guān)鍵的.為此，本文將進一步探討在不同期望概率下所提方法優(yōu)化結(jié)果的變化與趨勢.結(jié)合上述的案例結(jié)果分析可知：在沒有任何約束條件下，若單獨以最大化貝葉斯后驗概率或者最小化期望質(zhì)量損失函數(shù)為優(yōu)化目標(biāo)，則能夠獲得有關(guān)期望概率的上限(0.647 8)和下限(0.461 2).在給定期望概率的區(qū)間[0.45, 0.60]內(nèi)，按照等間隔(0.05)給出4種不同期望概率預(yù)估值下的優(yōu)化結(jié)果，如表3所示.

表3　不同期望概率下的優(yōu)化結(jié)果

當(dāng)假設(shè)期望概率p0為0.45時，運用本文所提方法獲得的優(yōu)化結(jié)果與最小化期望質(zhì)量損失函數(shù)所獲得的優(yōu)化結(jié)果完全一致，這說明當(dāng)期望概率低于期望下限時，其約束優(yōu)化問題將退化為無約束的優(yōu)化問題.若假設(shè)期望概率p0為0.65時，運用本文所提方法進行優(yōu)化分析時其算法程序會提示無可行解.此外，分析表3中不同期望概率的變化情況可知：隨著期望概率的逐步變大，其貝葉斯后驗概率會隨之逐步提高，同時其相應(yīng)的期望質(zhì)量損失也會隨之逐步增大.因此，如何選擇合適的期望概率p0需要結(jié)合試驗者或顧客的實際需要以及相關(guān)的先驗知識，同時還需要兼顧到多響應(yīng)穩(wěn)健參數(shù)設(shè)計所需要考慮的一系列問題(如多元過程的穩(wěn)健性、優(yōu)化結(jié)果的可靠性等)，從而為實現(xiàn)多響應(yīng)的穩(wěn)健參數(shù)設(shè)計提供各方面均較滿意的研究方案.

4.2關(guān)于聯(lián)合概率與邊緣概率的討論

4.3關(guān)于平衡質(zhì)量損失與后驗概率的討論

針對質(zhì)量損失與后驗概率如何獲得最佳的平衡點, 通常需要結(jié)合具體的問題具體分析.以本文的聚合物試驗為例，若運用Ko等的多元質(zhì)量損失函數(shù)法，其后驗概率的結(jié)果(0.461 2)相對較低，在實際生產(chǎn)中將會導(dǎo)致相當(dāng)高的產(chǎn)品無法滿足事先給定的規(guī)格要求.在這種情況下，與降低質(zhì)量損失而言，如何提高其后驗概率顯得更為重要一些.因此，在實際問題中若后驗概率相對較低時，通常會優(yōu)先考慮如何提高其后驗概率.在這種情形下，通常會單獨優(yōu)化貝葉斯后驗概率，從而獲得后驗概率的預(yù)估值p0.在保持后驗概率不低于其期望概率p0的前提條件下，盡可能地降低質(zhì)量損失，從而實現(xiàn)降低質(zhì)量損失和提高后驗概率的統(tǒng)一.與貝葉斯后驗概率方法比較，本文所提方法大幅度降低了質(zhì)量損失，但其后驗概率則保持與之相近的水平.因此，在貝葉斯后驗概率較低時，除了通過改進模型擬合的精度來提高其后驗概率之外，運用本文所提方法將能夠較好地平衡降低質(zhì)量損失與提高后驗概率兩者的矛盾，實現(xiàn)多元過程的穩(wěn)健性與優(yōu)化結(jié)果的可靠性二者的統(tǒng)一.

另一方面，為了說明在貝葉斯后驗概率較高時，如何平衡后驗概率與質(zhì)量損失二者的關(guān)系，本文選擇了另外一個典型的案例進行分析.該案例最初來源于文獻[25]，Peterson[12]曾運用后驗概率的方法對該案例進行了深入的研究.該案例主要研究某藥品的表面活性劑與乳化劑的混合配比問題，詳細(xì)的案例情況見Peterson的論文[12].在此，運用本文所提方法對此案例重新進行了分析，并與其他幾種方法的研究結(jié)果進行了比較，如表4所示.從表4可知：當(dāng)單獨運用貝葉斯質(zhì)量損失函數(shù)進行參數(shù)優(yōu)化時，其參數(shù)所對應(yīng)的貝葉斯后驗概率(0.921 9)也較高.若單獨運用貝葉斯后驗概率進行參數(shù)優(yōu)化時，其后驗概率非常接近1.然而，與貝葉斯質(zhì)量損失函數(shù)的優(yōu)化結(jié)果比較而言，其參數(shù)所對應(yīng)的質(zhì)量損失(6.208 4)則相當(dāng)高.在這種情況下，通常希望將后驗概率維持在較高的水平上，然后盡可能地降低其質(zhì)量損失.為此，本文選擇期望概率p0為0.95，然后運用本文所提方法對該案例進行了優(yōu)化，從而獲得了較小的期望質(zhì)量損失(0.696 8)和較高的后驗概率(0.952 5).

表4　不同研究方法的優(yōu)化結(jié)果

5結(jié)束語

在多響應(yīng)穩(wěn)健參數(shù)設(shè)計中，往往會同時考慮多元過程的穩(wěn)健性、多響應(yīng)之間的相關(guān)性、多目標(biāo)優(yōu)化的沖突以及優(yōu)化結(jié)果的可靠性等一系列的問題.本文在貝葉斯回歸模型的統(tǒng)一框架下結(jié)合了多元質(zhì)量損失函數(shù)與貝葉斯后驗概率方法的優(yōu)勢，提出了一種多響應(yīng)穩(wěn)健參數(shù)設(shè)計的新方法.該方法在貝葉斯多元回歸模型構(gòu)建中系統(tǒng)地考慮了多響應(yīng)之間的相關(guān)性、模型參數(shù)的不確定性，并結(jié)合多元質(zhì)量損失函數(shù)和貝葉斯后驗概率方法分別考慮了多元過程的穩(wěn)健性和優(yōu)化結(jié)果的可靠性.另外，在模型優(yōu)化過程中，該方法運用矩陣化的結(jié)構(gòu)形式代替了多次模擬循環(huán)的過程，從而能夠利用蒙特卡洛模擬方法和混合遺傳算法快速地計算出最優(yōu)參數(shù)設(shè)計點的期望質(zhì)量損失和貝葉斯后驗概率.

需要特別指出的是，本文的研究是建立在回歸模型結(jié)構(gòu)不變的基礎(chǔ)之上，即在整個分析過程中均假設(shè)式(10)中z(x)所包含的因子效應(yīng)是不變的.如何在貝葉斯多元回歸模型的框架下結(jié)合貝葉斯模型平均(Bayesian model averaging，BMA)方法[26],以考慮模型不確定性對多響應(yīng)穩(wěn)健優(yōu)化結(jié)果的影響，將是未來需要進一步研究的課題之一.另外，本文的研究僅考慮了多響應(yīng)y的后驗密度函數(shù)為封閉形式的情況，即在假定參數(shù)的先驗信息和試驗數(shù)據(jù)的樣本信息后能夠推導(dǎo)出響應(yīng)y后驗密度函數(shù)的具體表達式.然而，在相當(dāng)多的情況下研究者無法直接獲得響應(yīng)y后驗密度函數(shù)的具體表達式[17].如何結(jié)合馬爾科夫鏈蒙特卡洛(Markov chain Monte Carlo，MCMC)方法動態(tài)模擬響應(yīng)y的后驗分布函數(shù)[27, 28]，并在此基礎(chǔ)上有效地擴展本文所提方法進行多響應(yīng)的穩(wěn)健參數(shù)設(shè)計，也是未來需要進一步地深入探索和研究的課題之一.

參 考 文 獻：

[1]汪建均, 馬義中, 翟云煥. 相關(guān)多質(zhì)量特性的優(yōu)化設(shè)計[J]. 管理工程學(xué)報, 2011, 25(2): 66-73.

Wang Jianjun, Ma Yizhong, Zhai Yunhuan. Optimization design of correlated multiple quality characteristics[J]. Journal of Industrial Engineering and Engineering Management, 2011, 25(2): 66-73. (in Chinese)

[2]Ardakani M K, Wulff S S. An overview of optimization formulations for multiresponse surface problems[J]. Quality and Reliability Engineering International, 2013, 29(1): 3-16.

[3]Murphy T E, Tsui K L, Allen J K. A review of robust design methods for multiple responses[J]. Research in Engineering Design, 2005, 15(4): 201-215.

[4]何楨, 宗志宇, 孔祥芬. 改進的滿意度函數(shù)法在多響應(yīng)優(yōu)化中的應(yīng)用[J]. 天津大學(xué)學(xué)報, 2006, 39(9): 1136-1140.

He Zhen, Zong Zhiyu, Kong Xiangfen. Application of improved desirability function method to the multi-reponse optimization[J]. Journal of Tianjin University, 2006, 39(9): 1136-1140. (in Chinese)

[5]He Z, Wang J, Oh J, et al. Robust optimization for multiple responses using response surface methodology[J]. Applied Stochastic Models in Business and Industry, 2010, 26(2): 157-171.

[6]He Z, Zhu P F, Park S H. A robust desirability function method for multi-response surface optimization considering model uncertainty[J]. European Journal of Operational Research, 2012, 221(1): 241-247.

[7]宗志宇, 何楨, 孔祥芬. 多響應(yīng)優(yōu)化方法的比較和應(yīng)用研究[J]. 數(shù)理統(tǒng)計與管理, 2006, 26(6): 697-704.

Zong Zhiyu, He Zhen, Kong Xiangfen. Comparison of methods for multiresponse optimization[J]. Application of Statistics and Management, 2006, 26(6): 697-704. (in Chinese)

[8]Ko Y H, Kim K J, Jun C H. A new loss function-based method for multiresponse optimization[J]. Journal of Quality Technology, 2005, 37(1): 50-59.

[9]Pignatiello J J. Strategies for robust multiresponse quality engineering[J]. IIE Transactions, 1993, 25(3): 5-15.

[10]Vining G G. A compromise approach to multiresponse optimization[J]. Journal of Quality Technology, 1998, 30(4): 309-313.

[11]Shah H K, Montgomery D C, Carlyle W M. Response surface modeling and optimization in multi-response experiments using seemingly unrelated regressions[J]. Quality Engineering, 2004, 16(3): 387-397.

[12]Peterson J J. A posterior predictive approach to multiple response surface optimization[J]. Journal of Quality Technology, 2004, 36(2): 139-153.

[13]Chiao C H, Hamada M. Analyzing experiments with correlated multiple responses[J]. Journal of Quality Technology, 2001, 33(4): 451-465.

[14]汪建均, 馬義中. 基于GLM 的貝葉斯變量與模型選擇[J]. 管理科學(xué)學(xué)報, 2012, 15(8): 24-33.

Wang Jianjun, Ma Yizhong. Bayesian variable and model selection based on generalized linear models[J]. Journal of Management Sciences in China, 2012, 15(8): 24-33. ( in Chinese )

[15]Miro-Quesada G, Del Castillo E, Peterson J J. A Bayesian approach for multiple response surface optimization in the presence of noise variables[J]. Journal of Applied Statistics, 2004, 31(3): 251-270.

[16]Peterson J, Miro-Quesada G, Del Castillo E. A Bayesian reliability approach to multiple response optimization with seemingly unrelated regression models[J]. Journal of Quality Technology and Quantitative Management, 2009, 6(4): 353-369.

[17]Robinson T J, Pintar A L, Anderson-Cook C M, et al. A Bayesian approach to the analysis of split-plot combined and product arrays and optimization in robust parameter design[J]. Journal of Quality Technology, 2012, 44(4): 304-320.

[18]茆詩松, 王靜龍, 濮曉龍. 高等數(shù)理統(tǒng)計[M]. 北京: 高等教育出版社, 2006.

Mao Shisong， Wang Jinglong， Pu Xiaolong. Advanced Mathematical Statistics[M]. Beijing: Higher Education Press, 2006. (in Chinese)

[19]Del Castillo E. Process Optimization: A Statistical Approach[M]. New York: Springer, 2007.

[20]Ortiz F, Simpson J R, Pignatiello J J, et al. A genetic algorithm approach to multiple-response optimization[J]. Journal of Quality Technology, 2004, 36(4): 432-450.

[21]Jourdan L, Basseur M, Talbi E-G. Hybridizing exact methods and metaheuristics: A taxonomy[J]. European Journal of Operational Research, 2009, 199(3): 620-629.

[22]何楨, 朱鵬飛. 基于模式搜索的渴求函數(shù)法在多響應(yīng)優(yōu)化中的應(yīng)用[J]. 數(shù)學(xué)的實踐與認(rèn)識, 2009, 39(18): 114-121.

He Zhen, Zhu Pengfei. Application of pattern search algorithm to multiresponse optimization based on desirability functions[J]. Mathematics in Practice and Theory, 2009, 39(18): 114-121. (in Chinese)

[23]汪建均, 馬義中. 基于GLM的雙響應(yīng)曲面法及其穩(wěn)健設(shè)計[J]. 系統(tǒng)工程與電子技術(shù), 2012, 34(11): 2306-2311.

Wang Jianjun, Ma Yizhong. Dual reponse surface methodology based on generalized linear models and its application on robust design[J]. Systems Engineering and Electronics, 2012, 34(11): 2306-2311. (in Chinese)

[24]Myers R H, Montgomery D C, Anderson-Cook C M. Response Surface Methodology: Process and Product Optimization Using Designed Experiments[M]. New York: John Wiley & Sons Inc, 2009.

[25]Frisbee S E, McGinity J W. Influence of nonionic surfactants on the physical and chemical properties of a biodegradable psuedolatex[J]. European Journal of Pharmaceutics and Biopharmaceutics, 1994, 40(6): 355-363.

[26]Ng S H. A Bayesian model-averaging approach for multiple-response optimization[J]. Journal of Quality Technology, 2010, 42(1): 52-68.

[27]汪建均, 馬義中. 結(jié)合GLM與因子效應(yīng)原則的貝葉斯變量選擇方法[J]. 系統(tǒng)工程理論與實踐, 2013, 33(8): 1975-1983.

Wang Jianjun, MaYizhong. Bayesian variable selection method combining generalized linear models with fractorial effect principles[J]. Systems Engineering-Theory & Practice, 2013, 33(8): 1975-1983. (in Chinese)

[28]Wang J J, Ma Y Z. Bayesian analysis of two-level fractional factorial experiments with non-normal responses[J]. Communications in Statistics-Simulation and Computation, 2013, 42(9): 1970-1988.

Bayesian modeling and optimization of multi-response robust parameter design

WANGJian-jun1, 2,MAYi-zhong1,OUYANGLin-han1,SUNJin-sheng2,LIUJian1

1.SchoolofEconomicsandManagement,NanjingUniversityofScienceandTechnology，Nanjing210094,China;2. School of Automation, Nanjing University of Science and Technology, Nanjing 210094, China

Abstract：A new optimization model, integrating quality loss function and posterior probability approach in the framework of Bayesian statistical modeling, is proposed to solve the problem of multi-response robust parameter design. The proposed method not only assesses the expected probability of each response which falls within its respective specification limit (i.e., the reliability of optimization results) using posterior probability approach, but also measures the robustness of multivariate process with quality loss function. In addition, this paper discusses,by illustrative examples,the relationship between joint posterior probability and marginal posterior probability,the influence of different expected probability on the optimization results of the proposed approach, and how to obtain the optimum balance between quality loss and posterior probability. The results show that the proposed method can simultaneously take into consideration the robustness of multivariate process and the reliability of optimization results, and provide a relatively satisfactory optimization result from several respects (e.g., robustness of multivariate process, the reliability of optimization results) to achieve robust parameter design with multiple responses.

Key words:Bayesian analysis; multiple responses; posterior probability; quality loss function; robust parameter design

中圖分類號:F273.2

文獻標(biāo)識碼:A

文章編號:1007-9807(2016)02-0085-10

作者簡介:汪建均(1977—)， 男， 湖南慈利人， 博士， 副教授， 碩士生導(dǎo)師. Email: jjwang@njust.edu.cn

基金項目：國家自然科學(xué)基金資助項目(71371099； 71301075； 71471088)； 中國博士后科學(xué)基金第七批特別資助項目(2014T70527)； 中國博士后基金資助項目(2013M531366)； 教育部高等學(xué)校博士學(xué)科點專項科研基金資助項目(20123219120032)； 中央高?；究蒲袠I(yè)務(wù)專項資金資助項目(3091511102).

收稿日期：① 2013-08-05；

修訂日期：2014-08-19.