典型有偏估計(jì)方法均方誤差極小值一致性分析

岳元龍 張彩虹 趙曉磊 韓云峰 左 信

（1.中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院；2.海洋石油工程股份有限公司；3.中海油研究總院有限責(zé)任公司）

在自動(dòng)化等領(lǐng)域，y=Hx+w是一個(gè)重要的線性模型，廣泛用于估計(jì)未知參數(shù)x，其中又以Gauss和Legendre在18世紀(jì)初提出的最小二乘估計(jì)最為經(jīng)典。1900年，Markov提出Gauss-Markov定理和高斯最小二乘估計(jì)，并且證明了高斯最小二乘估計(jì)在線性無(wú)偏估計(jì)中具有最小的估計(jì)方差。

均方誤差是衡量不同估計(jì)方法優(yōu)劣程度的重要指標(biāo)，估計(jì)均方誤差越小，表示這種估計(jì)方法越好。 均方誤差等于估計(jì)方差與估計(jì)偏差平方的代數(shù)和。 經(jīng)典的高斯最小二乘估計(jì)是一種無(wú)偏估計(jì)，即偏差平方等于零，所以高斯最小二乘估計(jì)的均方誤差就等于它的估計(jì)方差。 當(dāng)數(shù)據(jù)出現(xiàn)復(fù)共線性時(shí)，此時(shí)最小二乘估計(jì)的均方誤差會(huì)大幅增加，它不再是最優(yōu)的估計(jì)方法。 為了解決這種問(wèn)題，得到較小的估計(jì)均方誤差，科研工作者提出了很多方法，其中，線性有偏估計(jì)是最直接有效的方法。 線性有偏估計(jì)通過(guò)引入較小的偏差，在均方誤差準(zhǔn)則［1～3］條件下，達(dá)到減小最小二乘估計(jì)方差的目的。 有偏估計(jì)不僅需要考慮方差大小，還要考慮偏差大小。 有偏估計(jì)優(yōu)于最小二乘估計(jì)表現(xiàn)為有偏估計(jì)的均方誤差小于最小二乘估計(jì)的均方誤差。

線性有偏估計(jì)在近半個(gè)世紀(jì)以來(lái)發(fā)展迅速，科研工作者提出了不同結(jié)構(gòu)形式的有偏估計(jì)。STEIN C針對(duì)Stein現(xiàn)象［4］提出James-Stein估計(jì)［5］。SCLOVE S L于1968年完善了James-Stein估計(jì)并提 出 壓 縮 最 小 二 乘 估 計(jì)［6］。 HOERL A E 和KENNARD R W在研究回歸問(wèn)題中的嶺分析及其應(yīng)用的基礎(chǔ)上［7］，在設(shè)計(jì)矩陣中加入了一個(gè)偏參數(shù)， 提出最常用的有偏估計(jì)方法——嶺估計(jì)［8，9］。LIU K J結(jié)合Stein壓縮估計(jì)和嶺估計(jì)的優(yōu)點(diǎn)，對(duì)嶺估計(jì)進(jìn)行修正和改進(jìn)，分別于1993年和2003年提出了兩種新的較為常用的有偏估計(jì)方法——Liu估 計(jì) 和Liu 型 估 計(jì)［10，11］。 ?ZKALE M R 和KA?IRANLAR S結(jié)合嶺估計(jì)和Liu估計(jì)提出兩參數(shù)估計(jì)［12，13］，并在均方誤差準(zhǔn)則下證明，當(dāng)觀測(cè)矩陣存在復(fù)共線性時(shí)，它的估計(jì)效果是優(yōu)于最小二乘估計(jì)的。 BATAH F S M等提出刀切廣義嶺估計(jì)和修正刀切廣義嶺估計(jì)，并在均方誤差準(zhǔn)則下得出 它 優(yōu) 于 廣 義 嶺 估 計(jì) 的 條 件［14］。 2008 年，SAKALLIOLU S和KA?IRANLAR S綜合嶺估計(jì)和帶有先驗(yàn)信息的Liu估計(jì)，提出k-d估計(jì)類，并與Liu估計(jì)、 嶺估計(jì)和兩種特殊的Liu型估計(jì)進(jìn)行比較， 得到新的有偏估計(jì)在均方誤差準(zhǔn)則下優(yōu)于普通最小二乘估計(jì)、 普通嶺回歸估計(jì)和Liu估計(jì)［15］。DURAN E A和AKDENIZ F于2012年提出修正刀切廣義Liu估計(jì)， 它是廣義Liu估計(jì)和刀切廣義Liu估計(jì)的組合估計(jì)， 并在均方誤差準(zhǔn)則條件下與廣義Liu估計(jì)和刀切廣義Liu估計(jì)進(jìn)行比較，在均方誤差準(zhǔn)則下證明了修正刀切廣義Liu估計(jì)優(yōu)于廣義Liu估計(jì)的一個(gè)充要條件［16，17］。 由于不同的估計(jì)方法有著不同的形式， 這給研究有偏估計(jì)的共同特性增加了難度，為此，岳元龍于2013年提出線性統(tǒng)一有偏估計(jì)，將不同的有偏估計(jì)方法用一種形式表示［18］。 2016年，劉佳瑞在嶺估計(jì)的基礎(chǔ)上考慮了齊次等式約束，提出綜合條件c-K嶺估計(jì)的方法，證明這種方法的有偏性［19］。 LIU G和YIN H于2020年在加權(quán)平衡損失下證明了橢球約束下的Gauss-Markov模型的可容許性［20］。 2021年，WANG L Y和CHEN T提出最小二乘估計(jì)的一種迭代算法，并基于嶺估計(jì)原理推導(dǎo)出了嶺參數(shù)的U曲線法［21］。

在工業(yè)研究中，更關(guān)注選擇哪種有偏估計(jì)方法能更好地改善最小二乘估計(jì)。 因此，研究不同的典型有偏估計(jì)方法改善最小二乘估計(jì)方法的均方誤差極小值的能力是否相同就顯得尤為重要，如果相同，說(shuō)明選用任何一種有偏估計(jì)方法改善最小二乘估計(jì)都是可行的；如果不同，則可選擇具有最小均方誤差極小值的有偏估計(jì)方法改善最小二乘估計(jì)。

在多種有偏估計(jì)方法中，廣義嶺估計(jì)（Generalized Ridge Estimation，GRE） 和 廣 義Liu 估 計(jì)（Generalized Liu Estimation，GLE） 是對(duì)嶺估計(jì)和Liu估計(jì)的推廣，是兩種應(yīng)用比較廣泛的典型有偏估計(jì)， 修正廣義嶺估計(jì) （Modified Generalized Ridge Estimation，MGRE） 和 刀 切 廣 義Liu 估 計(jì)（Jackknifing Generalized Liu Estimation，JGLE）則是先驗(yàn)信息估計(jì)類和刀切估計(jì)類中具有代表性的估計(jì)方法，線性統(tǒng)一有偏估計(jì)方法是現(xiàn)有的有偏估計(jì)方法 （Linear Unified Biased Estimation，LUBE）的統(tǒng)一表示形式。 因此，筆者選取這5種典型有偏估計(jì)方法進(jìn)行研究。

1 線性估計(jì)模型及復(fù)共線性判斷

1.1 線性估計(jì)模型

線性估計(jì)模型中估計(jì)未知參數(shù)的一般形式為y=Hx+w，其中，y是m×1維的觀測(cè)矩陣，H是m×n維的觀測(cè)矩陣，x是n×1維的未知參數(shù)矢量，w是與未 知 參 數(shù)x 無(wú) 關(guān) 且 滿 足E（wTx）=0 和Var（w）=σ2I的相同分布的高斯噪聲。 若HTH非奇異，此時(shí)最小二乘估計(jì)=（HTH）-1HTy。

1.2 矩陣復(fù)共線性判斷

判斷矩陣復(fù)共線性的方法有： 特征根分析法、條件數(shù)法、方差擴(kuò)大因子法和行列式法。 本研究中判斷矩陣的復(fù)共線性時(shí)選擇的是條件數(shù)法。

2 有偏估計(jì)的一致性分析

本節(jié)選取GRE、GLE、MGRE、JGLE和LUBE共5種典型的有偏估計(jì)方法， 利用矩陣的分量形式進(jìn)行典型有偏估計(jì)方法的均方誤差極小值的一致性分析的理論推導(dǎo)。

2.1 GRE的極小值分析

GRE是在設(shè)計(jì)矩陣時(shí)通過(guò)引入偏參數(shù)矩陣KGRE來(lái)改善最小二乘的方差， 是應(yīng)用最廣泛的有偏估計(jì)方法。 GRE的典則形式表示為：

GRE的方差表示為：

將式（1）用矩陣分量形式表示為：

GRE的偏差表示為：

將式（3）用矩陣分量形式表示為：

GRE的均方誤差用矩陣的分量形式表示為：

通過(guò)對(duì)式（5）進(jìn)行求導(dǎo)，得到：

2.2 GLE的極小值分析

將式（7）用矩陣分量形式表示為：

GLE的偏差為：

將式（9）用矩陣分量形式表示為：

GLE的均方誤差用矩陣的分量形式表示為：

GLE的均方誤差取得極小值，表示為：

2.3 MGRE的極小值分析

MGRE是在GRE的基礎(chǔ)上添加了未知參數(shù)的先驗(yàn)信息b所產(chǎn)生的一種新的有偏估計(jì)方法。 假設(shè)先驗(yàn)信息b=，T=diag（ti），0

其中，KMGRE為偏參數(shù)矩陣。

MGRE的方差為：

將式（13）用矩陣分量表示為：

MGRE的偏差表示為：

將式（15）用矩陣分量表示為：

MGRE的均方誤差用矩陣分量表示為：

2.4 JGLE的極小值分析

JGLE是一種綜合了刀切估計(jì)和廣義Liu估計(jì)的優(yōu)點(diǎn)的有偏估計(jì)方法。 偏參數(shù)矩陣FD=diag（fi）=（Λ+I）-1（Λ+D），i=1，2，…，n，JGLE的典則形式表示為：

JGLE的方差為：

將式（19）用矩陣分量表示為：

JGLE的偏差表示為：

將式（21）用矩陣分量表示為：

JGLE的均方誤差用矩陣分量形式表示為：

2.5 LUBE的極小值分析

LUBE是在綜合了多種有偏估計(jì)方法的基礎(chǔ)上提出的估計(jì)方法。 最小二乘估計(jì)=（ZTZ）-1ZTy是針對(duì)ZTy進(jìn)行的線性變換矩陣，其中ZTZ=Λ是一個(gè)變換算子。 所以，LUBE通過(guò)直接調(diào)整變換矩陣，也就是對(duì)角矩陣，提高最小二乘估計(jì)（LSE）的估計(jì)準(zhǔn)確度。 LUBE的典則形式為（T）=。

LUBE的方差表示為：

將式（25）用矩陣分量表示為：

線性統(tǒng)一有偏估計(jì)的偏差表示為：

將式（27）用矩陣分量表示為：

LUBE的均方誤差用矩陣分量形式表示為：

3 實(shí)例分析

在5種典型有偏估計(jì)方法的均方誤差極小值一致性的理論分析的基礎(chǔ)上，采用經(jīng)典數(shù)據(jù)集進(jìn)行數(shù)據(jù)分析，以更好地說(shuō)明典型有偏估計(jì)的一致性。

1932年，WOODS H等在波蘭進(jìn)行水泥實(shí)驗(yàn)時(shí)產(chǎn)生的一組數(shù)據(jù)［22］，是有偏估計(jì)研究應(yīng)用最廣泛的工程數(shù)據(jù)，1999年，KACIRANLAR S等在研究中再次使用該數(shù)據(jù)［23］，這組數(shù)據(jù)是應(yīng)用最廣泛的工程數(shù)據(jù)。 本節(jié)也采用這組經(jīng)典的數(shù)據(jù)集例子進(jìn)行數(shù)據(jù)分析。 x1，x2，x3，x4分別代表水泥的4種化學(xué)成分，y0代表每1 g水泥所釋放出的熱量，h1，h2，h3，h4分別為熱量與4種成分含量之間的關(guān)系，詳見(jiàn)表1。

表1 波蘭水泥熱量與4種成分含量的關(guān)系

首先對(duì)數(shù)據(jù)處理如下：

參數(shù)向量x0的最小二乘估計(jì)為：

表2 數(shù)據(jù)的特征值及特征向量平方

表3 不同有偏估計(jì)方法的數(shù)據(jù)分析

圖1a～e 分別是5 種典型有偏估計(jì)的方差（Var）、偏差（Bias2）和均方誤差（MSE）的曲線。 可以看出，在偏參數(shù)為零時(shí)，有偏估計(jì)退化為最小二乘估計(jì)， 此時(shí)5種典型有偏估計(jì)方法的均方誤差是相等的。 隨著偏參數(shù)的增加，5種典型有偏估計(jì)曲線呈現(xiàn)相同的變化趨勢(shì)，即偏差逐漸增加，方差逐漸減小，均方誤差先減小后增加，但均方誤差曲線都會(huì)出現(xiàn)一個(gè)極小值。 盡管5種典型有偏估計(jì)取得均方誤差極小值時(shí)的偏參數(shù)不同，但它們的均方誤差極小值是相同的。 說(shuō)明不同的有偏估計(jì)方法改善最小二乘方差的能力是相同的，即典型有偏估計(jì)方法的極小值一致。

圖1 5種典型有偏估計(jì)的指標(biāo)曲線

4 結(jié)束語(yǔ)

由于每種有偏估計(jì)方法的均方誤差與最小二乘方差的差代表它們改善最小二乘方差的能力， 雖然每種有偏估計(jì)方法呈現(xiàn)不同的結(jié)構(gòu)形式，但每種有偏估計(jì)方法的均方誤差都存在相同的極小值，即均方誤差極小值與最小二乘方差的差是一個(gè)常數(shù)，這個(gè)常數(shù)不依賴于有偏估計(jì)方法的選擇，這說(shuō)明它們改善最小二乘的方差能力是相同的。 如果把最小均方誤差作為有偏估計(jì)方法改善方差的能力指標(biāo)，那么先驗(yàn)信息估計(jì)類的先驗(yàn)信息并不影響改善最小二乘方差的能力。 無(wú)論哪種有偏估計(jì)方法， 總能找到在某個(gè)偏參數(shù)時(shí)，均方誤差取得極小值，此時(shí)有偏估計(jì)方法具有最優(yōu)的改善最小二乘方差的能力。 因?yàn)榈湫陀衅烙?jì)方法的最優(yōu)估計(jì)效果是相同的，那么在實(shí)際參數(shù)估計(jì)問(wèn)題的研究中， 若需達(dá)到最優(yōu)估計(jì)效果，可以根據(jù)實(shí)際情況選取任意一種有偏估計(jì)方法進(jìn)行參數(shù)估計(jì)。