最小二乘法及其應(yīng)用

姜偉，付佳媛

(中國傳媒大學(xué) 數(shù)據(jù)科學(xué)與智能媒體學(xué)院，北京 100024)

最小二乘法最早出現(xiàn)在勒讓德發(fā)表的論著《計(jì)算彗星軌道的新方法》的附錄中，在這本書中，勒讓德利用最小二乘法使各方程的誤差之間建立了一種平衡，從而防止了極端情況所施加的過多影響，并且有利于系統(tǒng)更加接近真實(shí)情況。然而，勒讓德并沒將最小二乘法在誤差分析方面進(jìn)行進(jìn)一步的研究。而高斯則對(duì)此方法進(jìn)行了更深一步的研究，他通過誤差函數(shù)推出此方法并詳盡地給出了其理論依據(jù)，并且將其應(yīng)用于天體運(yùn)動(dòng)中。在1829年，高斯還提供了最小二乘法的優(yōu)化強(qiáng)于其他方法的證明。隨著最小二乘法的出現(xiàn)，它逐漸在統(tǒng)計(jì)學(xué)的回歸分析及方差分析等上被廣泛地應(yīng)用，是一種非常重要的統(tǒng)計(jì)方法。如今，隨著矩陣?yán)碚摰纳钊胙芯考坝?jì)算機(jī)技術(shù)的不斷發(fā)展，最小二乘法應(yīng)用于更多領(lǐng)域的數(shù)據(jù)優(yōu)化處理中，如系統(tǒng)辨識(shí)、傳感器、支持向量機(jī)等。

1 最小二乘法

最小二乘法是一種數(shù)值優(yōu)化技術(shù)，通過使誤差平方和最小化，從而得到最佳匹配函數(shù)。下面從微分、幾何及概率論的三個(gè)角度來闡述最小二乘法的原理。

1.1 微分角度分析

利用多元微分法，使s最小化，即s對(duì)各參數(shù)進(jìn)行求偏導(dǎo)等于0，得

解這個(gè)線性方程組(此方程組也稱正規(guī)方程組)，可得k+1個(gè)參數(shù)的估計(jì)值αj(j=1，2，…，k)。當(dāng)n=1時(shí)，則退化為一元線性回歸。

1.2 幾何角度分析

以求上述一元線性回歸的參數(shù)為例，即求

(1)

模的平方。那么，要使s最小化，即(1)向量的長度最短。為了更直觀，下面以二維空間為例說明：

圖1

1.3 從概率論角度分析

在n組相互獨(dú)立的實(shí)驗(yàn)中，所得數(shù)據(jù)為{(xi，yi)|i=1，2，…，n} ，且數(shù)據(jù)點(diǎn)分布在直線y=ax+b附近。根據(jù)概率論知識(shí)，在干擾項(xiàng)服從零均值、同方差的正態(tài)分布假設(shè)下：

yi～N(axi+b，σ2)

那么，yi的概率密度函數(shù)為

由于yi是相互獨(dú)立的，則y的聯(lián)合密度函數(shù)為

在求參數(shù)估計(jì)值時(shí)，根據(jù)最大似然原理，使L最大，即使∑(yi-axi-b)2最小，則就轉(zhuǎn)化為最小二乘法問題。也就是說，雖然兩個(gè)方法出發(fā)原理不同，但在隨機(jī)量滿足正態(tài)分布時(shí)，可將最大似然法轉(zhuǎn)化為最小二乘法。

2 最小二乘法的應(yīng)用

2.1 最佳逼近解

設(shè)A∈Cm×n，b∈Cm，線性方程組為AX=b。當(dāng)此線性方程組不相容時(shí)，希望求其近似解μ，使得對(duì)歐幾里得范數(shù)‖?‖2，誤差‖Aμ-b‖2達(dá)到最小。若?μ∈Cn，使 ‖Aμ-b‖2≤‖AX-b‖2(?X∈Cn)，則稱μ是方程組AX=b的一個(gè)最小二乘解。根據(jù)矩陣的Moore-Penrose廣義逆的性質(zhì)知，設(shè)A∈Cm×n，b∈Cm，A+是矩陣A的廣義逆，X=A+b是AX=b的最佳的最小二乘解。

例 設(shè)一個(gè)質(zhì)點(diǎn)運(yùn)動(dòng)的軌跡是橢圓，觀測的點(diǎn)

(1，1) (0，2) (-1，1) (-1，-2)

在同一平面上，求擬合的最佳橢圓方程。

解 設(shè)橢圓方程α1x2+α2y2=1，將所觀測到的代入得

可看出矩陣A滿秩，則A+=(ATA)-1AT，可得

則可得最小二乘解

2.2 參數(shù)估計(jì)

參數(shù)估計(jì)，即根據(jù)已知模型的輸入輸出數(shù)據(jù)，對(duì)模型參數(shù)進(jìn)行估計(jì)的過程。參數(shù)估計(jì)的方法有許多，最常用的方法可分為：矩法、最小二乘法、最大似然法。最小二乘法是以樣本數(shù)據(jù)與估計(jì)值之差平方和最小來估計(jì)參數(shù)值的一類參數(shù)估計(jì)方法。

2.2.1 線性回歸的參數(shù)估計(jì)

首先，介紹最小二乘法在一元線性回歸中參數(shù)估計(jì)：

(2)

利用微分方法求解，s對(duì)求一階偏導(dǎo)為0，即得到正規(guī)方程組

多元線性回歸中的正規(guī)方程組的矩陣形式如下：

2.2.2 非線性回歸的參數(shù)估計(jì)

在實(shí)際的生活問題中，由于研究問題中的變量之間常見的是非線性關(guān)系。在這些非線性關(guān)系中，有些非線性通過一定的方法可轉(zhuǎn)化成線性，如指數(shù)型Y=abX可轉(zhuǎn)化為對(duì)應(yīng)的線性模型lnY=lna+Xlnb，然后根據(jù)最小二乘法原理進(jìn)行回歸分析。

(3)

(4)

從最小二乘法用于非線性回歸模型的過程，可以看出，最小二乘法還是對(duì)線性回歸模型進(jìn)行參數(shù)估計(jì)。

2.3 曲線擬合

曲線擬合，用連續(xù)曲線去擬合離散點(diǎn)的數(shù)據(jù)處理方法，即用近似函數(shù)逼近原函數(shù)。

其中h(x)=a1φ1(x)+a2φ2(x)+…+amφm(x) (m

在解決實(shí)際問題時(shí)，一般數(shù)據(jù)中不同點(diǎn)的所占的比重不同，因此考慮對(duì)εi加權(quán)重，即

使∑ωi[h(xi)-yi]2最小，利用微分法求解，

2.4 實(shí)際應(yīng)用

2.4.1 在系統(tǒng)辨識(shí)中的應(yīng)用

系統(tǒng)辨識(shí)是現(xiàn)代控制理論的一個(gè)分支。隨著控制理論應(yīng)用日益廣泛，控制過程復(fù)雜程度也在不斷增大，并且其實(shí)際應(yīng)用需要被控對(duì)象的數(shù)學(xué)模型。這些模型大多情況下是不知道的，或在正常運(yùn)行下模型參數(shù)會(huì)發(fā)生變化。因此，在控制理論的應(yīng)用中，首先需要建立被控對(duì)象的數(shù)學(xué)模型，系統(tǒng)辨識(shí)正是來解決此問題。

系統(tǒng)辨識(shí)是根據(jù)系統(tǒng)輸入、輸出時(shí)間函數(shù)，從一組給出的模型類中，確立一個(gè)能模仿被測系統(tǒng)真實(shí)行為的數(shù)學(xué)模型。經(jīng)典的系統(tǒng)辨識(shí)的方法已經(jīng)發(fā)展得較完善，如相關(guān)分析法、譜分析法、最小二乘法等，其中最小二乘法是最基礎(chǔ)的、應(yīng)用廣泛的一種對(duì)于系統(tǒng)模型進(jìn)行參數(shù)估計(jì)的方法，可以廣泛地應(yīng)用于動(dòng)態(tài)、靜態(tài)、線性、非線性系統(tǒng)。應(yīng)用最小二乘法對(duì)系統(tǒng)模型參數(shù)進(jìn)行辨識(shí)的方法有離線辨識(shí)和在線辨識(shí)。離線辨識(shí)是需要在得到模型的全部輸入輸出數(shù)據(jù)之后，用最小二乘法對(duì)其進(jìn)行集中處理，從而可以得到系統(tǒng)模型的參數(shù)估計(jì)值。在線辨識(shí)是在系統(tǒng)運(yùn)行中的一種遞推辨識(shí)方法，由于占據(jù)計(jì)算機(jī)存儲(chǔ)量小，從而得到廣泛應(yīng)用。

對(duì)于不同的系統(tǒng)進(jìn)行辨識(shí)，它所對(duì)應(yīng)的模型表達(dá)不同，以SISO系統(tǒng)為例，

其中u(k)、y(k)、z(k)分別為系統(tǒng)第k次輸入值、輸出真值、輸出觀測值，e(k)為不相關(guān)的白噪聲且均值為0，G(z)為傳遞函數(shù)。輸入輸出關(guān)系為z(k)=u(k)G(z)+e(k)，其中

將系統(tǒng)方程代入輸入輸出關(guān)系式，可得z(k)=φT(k)θ+e(k)，其中θ為參數(shù)向量。對(duì)系統(tǒng)參數(shù)進(jìn)行估計(jì)，利用最小二乘法，得

使J(θ)最小，即J對(duì)θ求偏導(dǎo)等于0，從而得最小二乘估計(jì)值θ=(φφT)-1φZ。

最小二乘法進(jìn)行系統(tǒng)辨識(shí)也有一定的局限性，當(dāng)系統(tǒng)噪聲為有色噪聲時(shí)，最小二乘估計(jì)值不是無偏一致的，因此會(huì)在最小二乘的基礎(chǔ)上進(jìn)行改進(jìn)，從而會(huì)有廣義最小二乘法、遞推最小二乘法等進(jìn)行系統(tǒng)辨識(shí)的參數(shù)估計(jì)。

2.4.2 在傳感器上的應(yīng)用

傳感器是一種將感受到的信息按一定規(guī)律轉(zhuǎn)化成便于處理和傳輸?shù)男畔⒌臋z測裝置。根據(jù)感知功能不同，傳感器可分為溫度傳感器、力傳感器及光傳感器等。由于感受器在輸入到輸出過程中會(huì)受到外界除所要接受信息以外信息的影響，從而對(duì)于結(jié)果的精確度會(huì)有一定的影響。因此，制作高精度的傳感器，需要對(duì)其進(jìn)行誤差補(bǔ)償。本文介紹利用最小二乘法對(duì)壓阻式壓力傳感器進(jìn)行溫度誤差補(bǔ)償。

壓阻式壓力傳感器是利用半導(dǎo)體的電阻率隨應(yīng)力變化的性質(zhì)而制成的半導(dǎo)體器件。在被測壓力作用時(shí)，電阻率發(fā)生變化，從而產(chǎn)生電壓輸出。在壓力值不變的情況下，外界的一些其他因素會(huì)對(duì)輸出的電壓產(chǎn)生影響，其中由于半導(dǎo)體受溫度較大，從而環(huán)境溫度變化較大會(huì)使誤差較大。因此，需要對(duì)傳感器進(jìn)行溫度誤差補(bǔ)償。對(duì)于壓阻式壓力傳感器的溫度補(bǔ)償，有硬件補(bǔ)償和軟件補(bǔ)償，其中硬件補(bǔ)償存在調(diào)試不變、精度不足等缺陷，而軟件補(bǔ)償會(huì)克服這些不足，因此會(huì)受到越來越多人的關(guān)注。軟件補(bǔ)償?shù)姆椒ㄓ猩窠?jīng)網(wǎng)絡(luò)、插值法、最小二乘法等。

除以上應(yīng)用外，它還會(huì)應(yīng)用于其他許多領(lǐng)域，如高光譜圖像數(shù)據(jù)處理、經(jīng)濟(jì)預(yù)測、農(nóng)業(yè)實(shí)驗(yàn)分析等領(lǐng)域。不過，每一種方法都會(huì)有它的局限性存在，最小二乘法的局限性在于：對(duì)異常值很敏感；沒有考慮自變量的誤差；存在不可求解的情況等。因此，許多研究者會(huì)對(duì)最小二乘法進(jìn)行進(jìn)一步的改進(jìn)，從而可以使它應(yīng)用于更多領(lǐng)域，即會(huì)出現(xiàn)基于普通最小二乘法的廣義最小二乘法、加權(quán)最小二乘法、兩階段最小二乘法等。在實(shí)際的應(yīng)用中，還會(huì)結(jié)合實(shí)際情況與其他方法相結(jié)合進(jìn)行應(yīng)用。