數(shù)學(xué)建模中的常用最小二乘方法

摘 要 在數(shù)學(xué)模型的構(gòu)建過(guò)程中經(jīng)常會(huì)遇到對(duì)測(cè)量、收集、計(jì)算數(shù)據(jù)的分析、整理等問(wèn)題。解決這類問(wèn)題的常用方法便是借助計(jì)算程序，把大量實(shí)驗(yàn)數(shù)據(jù)進(jìn)行可視化或者函數(shù)化處理，以期得到直觀認(rèn)識(shí)。其中最小二乘法是數(shù)據(jù)擬合問(wèn)題中比較常用的一類方法。本文總結(jié)對(duì)比了最小二乘近似（LS）與移動(dòng)最小二乘近似[1]（MLS）兩類常用最小二乘方法。通過(guò)數(shù)值實(shí)驗(yàn)發(fā)現(xiàn)，LS相比較而言相對(duì)粗糙，不能有效表達(dá)大波動(dòng)奇異數(shù)據(jù)的特征，建議在數(shù)學(xué)建模工作中處理該類問(wèn)題的時(shí)候采用MLS方法。

關(guān)鍵詞 最小二乘近似 移動(dòng)最小二乘近似 數(shù)學(xué)建模

0 引言

LS方法因?yàn)槠涑霈F(xiàn)時(shí)間較早、相關(guān)理論成熟，matlab也有可以直接調(diào)用的函數(shù)，是目前使用最為廣泛的一類擬合算法工具。隨著其它研究的需要，學(xué)者們又由LS方法進(jìn)一步演繹出了如MLS法、偏最小二乘回歸[2][3]（PLS，partial least squares approximation）等其它的最小二乘類方法。MLS法、偏最小二乘回歸兩個(gè)方法的事前近似函數(shù)構(gòu)造原理不同，但在最優(yōu)結(jié)果的計(jì)算上均使用了最小二乘原理。因?yàn)橛锌梢灾苯诱{(diào)用的函數(shù)或成熟的程序，在現(xiàn)行的數(shù)學(xué)建模中使用的比較多的是LS法和MLS法。

1 基本原理

1.1 最小二乘近似

LS法最早被用來(lái)研究?jī)蓚€(gè)變量（）之間的相互關(guān)系，從中得到較理想的擬合直線（函數(shù)）。通常在實(shí)驗(yàn)過(guò)程中得到一組數(shù)據(jù)對(duì)，希望由該組數(shù)據(jù)尋找出一個(gè)理想的直線方程，使得該數(shù)據(jù)對(duì)對(duì)應(yīng)的點(diǎn)列到這一直線距離的平方和最小。因?yàn)樵摼€性最小二乘問(wèn)題是凸的，故存在唯一的封閉解。在科學(xué)實(shí)驗(yàn)數(shù)據(jù)的處理、分析中，LS可以將實(shí)驗(yàn)數(shù)據(jù)擬合出給定次數(shù)的多項(xiàng)式函數(shù)。

LS的目標(biāo)擬合函數(shù)格式為，為擬合多項(xiàng)式的最高次數(shù)。在matlab中常用的函數(shù)是polyfit，其調(diào)用格式為：

其中輸入部分（）為實(shí)驗(yàn)數(shù)據(jù)、為給定的擬合多項(xiàng)式的最高次數(shù)。輸出部分中為所得擬合多項(xiàng)式由高次到常數(shù)項(xiàng)的系數(shù)；為結(jié)構(gòu)數(shù)組，包括（系數(shù)矩陣的分解的上三角陣），（自由度）和（擬合誤差平方和的算術(shù)平方根）。

若想直接擬合成多項(xiàng)式形式，可以采用下面的復(fù)合函數(shù)：

其中''表示擬合函數(shù)自變量為。

需要注意的是，LS模型由于其自身要求，只能擬合最高次數(shù)小于有效實(shí)驗(yàn)數(shù)據(jù)數(shù)階數(shù)的問(wèn)題，即最小二乘法只能用來(lái)處理超定問(wèn)題。

1.2 移動(dòng)最小二乘近似

MLS方法突破了多項(xiàng)式擬合的局限，目標(biāo)擬合函數(shù)的格式為，其中 為給定的基函數(shù)，為基函數(shù)的項(xiàng)數(shù)，為待定系數(shù)函數(shù)。對(duì)目標(biāo)擬合函數(shù)與實(shí)驗(yàn)數(shù)據(jù)結(jié)點(diǎn)采用加權(quán)最小二乘近似。取的最小值，從而求得目標(biāo)函數(shù)中的系數(shù)函數(shù)，回代，得到目標(biāo)擬合函數(shù)。其中N為數(shù)據(jù)結(jié)點(diǎn)個(gè)數(shù)，為緊支撐權(quán)函數(shù)，[4]它的支撐域僅在結(jié)點(diǎn)附近。

正是由于緊支權(quán)函數(shù)的引入才使得MLS能夠較好地體現(xiàn)擬合的局部特性。故在MLS中緊支撐權(quán)函數(shù)、基函數(shù)系的選擇十分重要，也正由于影響因素的增多，使得MLS在真正數(shù)值實(shí)現(xiàn)中需要設(shè)置一些經(jīng)驗(yàn)參數(shù)。

目前在matlab中還沒(méi)有MLS方法的軟件包，有興趣的同志可以翻閱一下張雄、劉巖編著的《無(wú)網(wǎng)格法》或王建明、周學(xué)軍譯的《無(wú)網(wǎng)格法理論與程序設(shè)計(jì)》等書(shū)籍的相關(guān)章節(jié)，里面列有對(duì)MLS介紹及相應(yīng)的matlab環(huán)境下的程序及.m文件，計(jì)算時(shí)可以直接復(fù)制運(yùn)行。

2 數(shù)值實(shí)例

2.1 數(shù)據(jù)擬合

例1，表1 為某商品的折舊價(jià)格調(diào)查資料，以表示使用年數(shù)，表示相應(yīng)年份二手市場(chǎng)價(jià)格，分別用LS和MLS擬合與之間的關(guān)系見(jiàn)圖1。

例2，表2為一組實(shí)驗(yàn)數(shù)據(jù)，其中含有奇異數(shù)據(jù)（時(shí)），現(xiàn)給出分別采用LS與MLS擬合結(jié)果見(jiàn)圖2。

2.2 誤差分析

就上述兩個(gè)例題，針對(duì)兩種擬合的誤差狀況給出分析數(shù)據(jù)見(jiàn)表3。

3 結(jié)論

由表3可見(jiàn)：對(duì)于波動(dòng)變化不劇烈的數(shù)據(jù)，采用兩種方法的擬合效果相當(dāng)，和方差差別不大；對(duì)LS而言，提高擬合多項(xiàng)式的次數(shù)不一定能有效提高擬合精度；對(duì)于含有奇異點(diǎn)的數(shù)據(jù)進(jìn)行曲線擬合，MLS較LS優(yōu)勢(shì)明顯，和方差相差約倍。若建模過(guò)程中，實(shí)驗(yàn)數(shù)據(jù)帶有奇異點(diǎn)，建議采用更能夠體現(xiàn)局部特征的MLS。

與LS相比，MLS問(wèn)題內(nèi)容更加豐富，其中有很多的問(wèn)題可以進(jìn)一步研究、完善，近年來(lái)該方面的研究[5] [6]引起了一些學(xué)者的關(guān)注，其應(yīng)用領(lǐng)域[7]也越來(lái)越廣泛。同時(shí)，MLS是數(shù)據(jù)擬合問(wèn)題及數(shù)值近似問(wèn)題常用的構(gòu)造方法，有興趣的同志可以進(jìn)行深入研究。

參考文獻(xiàn)

[1] 程玉民.無(wú)網(wǎng)格方法（上）[M].北京：科學(xué)出版社，2015：19-20.

[2] 李雪.一種改進(jìn)的偏最小二乘回歸方法研究[J].儀器儀表用戶，2017.24（5）；16-19.

[3] 丁立.單因變量偏最小二乘回歸程序設(shè)計(jì)及其應(yīng)用[J].勘察科學(xué)技術(shù)，2015（1）：47-51.

[4] 趙國(guó)群，王衛(wèi)東.金屬塑性成形過(guò)程無(wú)網(wǎng)格數(shù)值模擬方法[M].北京：化學(xué)工業(yè)出版社，2013：40-43.

[5] 韓加坤.無(wú)網(wǎng)格法中MLS參數(shù)的選取[J].數(shù)學(xué)學(xué)習(xí)與研究，2016（23）：145-145.

[6] 冷亞洪.移動(dòng)最小二乘代理模型支持域半徑的優(yōu)化方法[J].計(jì)算機(jī)科學(xué)，2016（S1）：95-98.

[7] 周研，雙遠(yuǎn)華.基于最小二乘無(wú)網(wǎng)格法的金屬變形過(guò)程模擬[J].太原理工大學(xué)學(xué)報(bào)，2016（3）：294-298.