最小二乘法的歷史溯源及其教學(xué)啟示*

李 健 (人民教育出版社課程教材研究所 100081)

用最小二乘法估計一元線性回歸模型的參數(shù)，既是高中統(tǒng)計教學(xué)中的一個重點，也是一個難點．但受限于某些客觀原因[1]，許多一線教師并不注重其教學(xué)質(zhì)量，僅對學(xué)生提出能夠記住公式、會計算的低階思維層次要求．這種現(xiàn)象不僅可能使學(xué)生失去重要的統(tǒng)計思維培養(yǎng)機(jī)會，還容易使學(xué)生產(chǎn)生消極的數(shù)學(xué)學(xué)習(xí)情感，十分不可取．那么，如何改變這種現(xiàn)狀？一條有效的途徑是通過數(shù)學(xué)史料，幫助師生理解最小二乘法的由來與特點．統(tǒng)計史書籍記載了許多關(guān)于最小二乘法的發(fā)展史，這些史料有助于教師更好地認(rèn)識與理解最小二乘法，進(jìn)而改善其對最小二乘法的教學(xué)．本文的目的即對最小二乘法進(jìn)行歷史溯源，并據(jù)此提出教學(xué)啟示．

1 一個亟待解決的參數(shù)估計問題

18世紀(jì)，測地學(xué)中面臨確定船只在大海中的位置、測量地球經(jīng)線長度等問題；而在天文學(xué)中，土星與木星通過引力對各自軌道的影響問題也十分棘手．盡管問題的背景不同，但這些問題都可以轉(zhuǎn)化為利用實際測量值估計線性方程的參數(shù)問題[2]76-77.例如對于可以實際測量到的量x1,x2,x3，若某方程a1x1+a2x2+a3x3=0成立，如何才能有效地估計出a1,a2,a3呢？

由于x1,x2,x3可以通過實際測量得到，故可以通過3次測量，將3組測量值(x1i,x2i,x3i)分別代入方程a1x1+a2x2+a3x3=0，其中i=1,2,3，再將三個方程聯(lián)立得到關(guān)于a1，a2，a3的三元線性方程組

(1)

進(jìn)而求解．

由于測量值(x1i,x2i,x3i)存在誤差，故所求得的a1,a2,a3也自然存在誤差．為了盡可能地減小誤差，人們想到增加測量次數(shù)進(jìn)行估計的方式來應(yīng)對．

那么，究竟是如何使用多次測量值估計a1,a2,a3的呢？不妨設(shè)進(jìn)行了9次測量，則將9組測量值(x1i,x2i,x3i)分別代入方程a1x1+a2x2+a3x3=0，其中i=1,2,…,9，再將9個方程聯(lián)立，可得關(guān)于a1，a2，a3的三元線性方程組(2)：

(2)

為了解決上述問題，當(dāng)時的科學(xué)家或數(shù)學(xué)家們采用了許多方法，例如梅耶、歐拉、拉普拉斯等人都對這一問題進(jìn)行了研究[2]76-77.盡管他們采用的具體方法不一，但其核心思想類似，均是將多個方程合并為數(shù)量較少的幾個方程，并且保證這幾個方程恰好有唯一解．以方程組(2)為例，可以將前三個方程、中間三個方程、后三個方程的左右兩邊分別求和，將得到的三個新方程聯(lián)立，進(jìn)而得到新的方程組(3)．接下來，只要能夠順利求解出方程組(3)，就可以得到a1,a2,a3的估計值．

(3)

然而，上述方法卻存在很多不足之處，例如合并方程的原則是什么，以及這種估計方法的誤差有多大[2]79，都無法得到良好的解決．因此，如何利用實際測量值估計線性方程組的系數(shù)，成為當(dāng)時的一項緊迫任務(wù)．

2 最小二乘法的誕生及其特點

2.1 最小二乘法的誕生

自19世紀(jì)初誕生后，最小二乘法很快得到一些歐洲天文和測地工作者的廣泛應(yīng)用．隨后，高斯也注意到最小二乘法的重要性，并將最小二乘法和概率結(jié)合起來，提出了計算誤差的算法[4]．由于這部分內(nèi)容與高中教學(xué)的關(guān)聯(lián)性不強(qiáng)，故不在此進(jìn)行過多介紹，有興趣的教師可以自行查閱相關(guān)文獻(xiàn)．

2.2 最小二乘法對極端數(shù)據(jù)的敏感性

盡管最小二乘法比起前人的估計方法有了長足的進(jìn)步，但依然存在一些難以讓人滿意的地方，其中一個顯著的短板即對極端數(shù)據(jù)的敏感性：最小二乘法特別容易受到極端數(shù)據(jù)的影響．

例如在人教A版《普通高中教科書(數(shù)學(xué)·選擇性必修第三冊)》的“一元線性回歸”一節(jié)中，設(shè)置了一道研究父親與兒子身高關(guān)系的問題[5]107．已知14對父親及其兒子的身高數(shù)據(jù)，通過最小二乘法，可以得到這組數(shù)據(jù)對應(yīng)的線性回歸直線 (圖1)．在其他點不變的情況下，將其中的點P(182,185)替換為點Q(162,185)，利用最小二乘法將得到一條新的線性回歸直線(圖2)．觀察圖2中的點Q，它與其他點相距甚遠(yuǎn)，屬于極端數(shù)據(jù)．再通過比較圖1與圖2中的線性回歸直線，能夠明顯發(fā)現(xiàn)兩者間的差異，這反映出最小二乘法對極端數(shù)據(jù)的敏感性．

2.3 最小二乘法與最小一乘法的比較

最小一乘法和最小二乘法的另一個差異體現(xiàn)在解的數(shù)量與形式[6].回歸分析中使用最小一乘法，有時可能出現(xiàn)多個解，并且無法得到解的顯式表達(dá)，并不適合更為復(fù)雜的數(shù)學(xué)推導(dǎo)和研究；而利用最小二乘法得到的解通常是唯一的，且有顯式表達(dá)，這對進(jìn)一步的數(shù)學(xué)推導(dǎo)和研究十分重要．

3 教學(xué)啟示

通過對最小二乘法的歷史溯源，使我們看到了最小二乘法更加鮮活的一面．從教學(xué)層面而言，“最小二乘法的歷史溯源”這一教學(xué)資源，體現(xiàn)出其獨(dú)特的價值，能為一線高中數(shù)學(xué)教師的教學(xué)帶來如下幾方面的啟示．

3.1 突出測量值估計模型參數(shù)的應(yīng)用價值，充分激發(fā)學(xué)生的學(xué)習(xí)積極性

《普通高中數(shù)學(xué)課程標(biāo)準(zhǔn)(2017年版)》(下稱《課標(biāo)》)要求學(xué)生掌握一元線性回歸模型參數(shù)的最小二乘估計方法[7]，可見最小二乘法具備極強(qiáng)的工具屬性．溯源最小二乘法的發(fā)展史可知，其產(chǎn)生背景源自天文學(xué)與測地學(xué)中的實際應(yīng)用需要，抽象出的數(shù)學(xué)問題即為“如何以測量值估計線性回歸模型的參數(shù)？”實際上，通過測量值合理地估計方程系數(shù)，正是求解一元線性回歸模型的關(guān)鍵．通過以上分析，建議教師可以在教學(xué)中突出體現(xiàn)測量值估計模型參數(shù)的應(yīng)用性，這符合最小二乘法的歷史發(fā)展，能夠使學(xué)生感受數(shù)學(xué)的應(yīng)用價值，增強(qiáng)學(xué)生對數(shù)學(xué)的認(rèn)同感，充分激發(fā)學(xué)生的數(shù)學(xué)學(xué)習(xí)積極性．

3.2 重視殘差平方和的表達(dá)形式，加強(qiáng)學(xué)生對統(tǒng)計思想的理解

最小二乘法作為估計一元線性回歸方程參數(shù)的工具，蘊(yùn)含著極有價值的數(shù)學(xué)思想．估計一元線性回歸模型的參數(shù)時，最小二乘法的本質(zhì)是求得殘差平方和(*)最小時的參數(shù)估計值，教學(xué)時應(yīng)當(dāng)重視學(xué)生對殘差平方和表達(dá)形式的理解．對于表達(dá)式(*)，其教學(xué)關(guān)鍵之一在于使學(xué)生感受為什么要對殘差的平方進(jìn)行求和．在統(tǒng)計活動中，通常的做法是通過“精煉”所收集數(shù)據(jù)的個性化信息，以獲取少量的整體信息，例如計算一組數(shù)據(jù)的算術(shù)平均數(shù)，最終將無法看到每個原始數(shù)據(jù)，而只能看到一個代表其集中趨勢的值．最小二乘法中的求和運(yùn)算也是起到這個作用，為了找到大量數(shù)據(jù)的最佳擬合直線，需要“精煉”大量的殘差信息，轉(zhuǎn)而獲取所有殘差信息的代表值，在最小二乘法中的這個代表值即殘差平方和．實際上，對個體信息的匯總處理方式，被稱為“聚合”(Aggregation)，統(tǒng)計學(xué)家、統(tǒng)計學(xué)史家施蒂格勒將“聚合”列為統(tǒng)計學(xué)的七大支柱之首，其重要性不言而喻[8].因此，教學(xué)時可以引導(dǎo)學(xué)生思考為何要進(jìn)行求和運(yùn)算，這將有助于學(xué)生更好地體會統(tǒng)計中的聚合思想．

3.3 強(qiáng)調(diào)使用不同估計方法的異同，提升學(xué)生的數(shù)學(xué)方法論認(rèn)識

盡管《課標(biāo)》僅要求學(xué)生掌握最小二乘法，但通過本文中的歷史溯源可知，利用實際測量值估計一元線性回歸模型的參數(shù)方式不止一種．在人教A版《普通高中教科書(數(shù)學(xué)·選擇性必修第三冊)》中，就提出了最小一乘法與最小二乘法兩種方式[5]108．在比較最小一乘法與最小二乘法的優(yōu)劣時，應(yīng)該了解二者各有所長：如果問題僅僅是尋找數(shù)據(jù)對應(yīng)的一元線性回歸模型，在方便使用計算機(jī)的前提下，最小一乘法便是一種極好的選擇，它能夠弱化極端數(shù)據(jù)對估計造成的影響；但如果缺少計算機(jī)工具，或者需要進(jìn)行更復(fù)雜的數(shù)學(xué)問題分析，那么采用最小二乘法得到一元線性回歸模型的具體表達(dá)式則更顯方便．通過對使用不同估計方法的異同進(jìn)行比較，將有助于提升學(xué)生的數(shù)學(xué)方法論認(rèn)識，通常而言，數(shù)學(xué)問題的解決方法并無好壞之分，應(yīng)該針對具體問題與客觀條件，考慮哪種方法更合適．