最小二乘法的歷史溯源及其教學(xué)啟示*

李 健 (人民教育出版社課程教材研究所 100081)

用最小二乘法估計(jì)一元線性回歸模型的參數(shù)，既是高中統(tǒng)計(jì)教學(xué)中的一個(gè)重點(diǎn)，也是一個(gè)難點(diǎn)．但受限于某些客觀原因[1]，許多一線教師并不注重其教學(xué)質(zhì)量，僅對(duì)學(xué)生提出能夠記住公式、會(huì)計(jì)算的低階思維層次要求．這種現(xiàn)象不僅可能使學(xué)生失去重要的統(tǒng)計(jì)思維培養(yǎng)機(jī)會(huì)，還容易使學(xué)生產(chǎn)生消極的數(shù)學(xué)學(xué)習(xí)情感，十分不可取．那么，如何改變這種現(xiàn)狀？一條有效的途徑是通過數(shù)學(xué)史料，幫助師生理解最小二乘法的由來與特點(diǎn)．統(tǒng)計(jì)史書籍記載了許多關(guān)于最小二乘法的發(fā)展史，這些史料有助于教師更好地認(rèn)識(shí)與理解最小二乘法，進(jìn)而改善其對(duì)最小二乘法的教學(xué)．本文的目的即對(duì)最小二乘法進(jìn)行歷史溯源，并據(jù)此提出教學(xué)啟示．

1 一個(gè)亟待解決的參數(shù)估計(jì)問題

18世紀(jì)，測(cè)地學(xué)中面臨確定船只在大海中的位置、測(cè)量地球經(jīng)線長(zhǎng)度等問題；而在天文學(xué)中，土星與木星通過引力對(duì)各自軌道的影響問題也十分棘手．盡管問題的背景不同，但這些問題都可以轉(zhuǎn)化為利用實(shí)際測(cè)量值估計(jì)線性方程的參數(shù)問題[2]76-77.例如對(duì)于可以實(shí)際測(cè)量到的量x1,x2,x3，若某方程a1x1+a2x2+a3x3=0成立，如何才能有效地估計(jì)出a1,a2,a3呢？

由于x1,x2,x3可以通過實(shí)際測(cè)量得到，故可以通過3次測(cè)量，將3組測(cè)量值(x1i,x2i,x3i)分別代入方程a1x1+a2x2+a3x3=0，其中i=1,2,3，再將三個(gè)方程聯(lián)立得到關(guān)于a1，a2，a3的三元線性方程組

(1)

進(jìn)而求解．

由于測(cè)量值(x1i,x2i,x3i)存在誤差，故所求得的a1,a2,a3也自然存在誤差．為了盡可能地減小誤差，人們想到增加測(cè)量次數(shù)進(jìn)行估計(jì)的方式來應(yīng)對(duì)．

那么，究竟是如何使用多次測(cè)量值估計(jì)a1,a2,a3的呢？不妨設(shè)進(jìn)行了9次測(cè)量，則將9組測(cè)量值(x1i,x2i,x3i)分別代入方程a1x1+a2x2+a3x3=0，其中i=1,2,…,9，再將9個(gè)方程聯(lián)立，可得關(guān)于a1，a2，a3的三元線性方程組(2)：

(2)

為了解決上述問題，當(dāng)時(shí)的科學(xué)家或數(shù)學(xué)家們采用了許多方法，例如梅耶、歐拉、拉普拉斯等人都對(duì)這一問題進(jìn)行了研究[2]76-77.盡管他們采用的具體方法不一，但其核心思想類似，均是將多個(gè)方程合并為數(shù)量較少的幾個(gè)方程，并且保證這幾個(gè)方程恰好有唯一解．以方程組(2)為例，可以將前三個(gè)方程、中間三個(gè)方程、后三個(gè)方程的左右兩邊分別求和，將得到的三個(gè)新方程聯(lián)立，進(jìn)而得到新的方程組(3)．接下來，只要能夠順利求解出方程組(3)，就可以得到a1,a2,a3的估計(jì)值．

(3)

然而，上述方法卻存在很多不足之處，例如合并方程的原則是什么，以及這種估計(jì)方法的誤差有多大[2]79，都無法得到良好的解決．因此，如何利用實(shí)際測(cè)量值估計(jì)線性方程組的系數(shù)，成為當(dāng)時(shí)的一項(xiàng)緊迫任務(wù)．

2 最小二乘法的誕生及其特點(diǎn)

2.1 最小二乘法的誕生

自19世紀(jì)初誕生后，最小二乘法很快得到一些歐洲天文和測(cè)地工作者的廣泛應(yīng)用．隨后，高斯也注意到最小二乘法的重要性，并將最小二乘法和概率結(jié)合起來，提出了計(jì)算誤差的算法[4]．由于這部分內(nèi)容與高中教學(xué)的關(guān)聯(lián)性不強(qiáng)，故不在此進(jìn)行過多介紹，有興趣的教師可以自行查閱相關(guān)文獻(xiàn)．

2.2 最小二乘法對(duì)極端數(shù)據(jù)的敏感性

盡管最小二乘法比起前人的估計(jì)方法有了長(zhǎng)足的進(jìn)步，但依然存在一些難以讓人滿意的地方，其中一個(gè)顯著的短板即對(duì)極端數(shù)據(jù)的敏感性：最小二乘法特別容易受到極端數(shù)據(jù)的影響．

例如在人教A版《普通高中教科書(數(shù)學(xué)·選擇性必修第三冊(cè))》的“一元線性回歸”一節(jié)中，設(shè)置了一道研究父親與兒子身高關(guān)系的問題[5]107．已知14對(duì)父親及其兒子的身高數(shù)據(jù)，通過最小二乘法，可以得到這組數(shù)據(jù)對(duì)應(yīng)的線性回歸直線 (圖1)．在其他點(diǎn)不變的情況下，將其中的點(diǎn)P(182,185)替換為點(diǎn)Q(162,185)，利用最小二乘法將得到一條新的線性回歸直線(圖2)．觀察圖2中的點(diǎn)Q，它與其他點(diǎn)相距甚遠(yuǎn)，屬于極端數(shù)據(jù)．再通過比較圖1與圖2中的線性回歸直線，能夠明顯發(fā)現(xiàn)兩者間的差異，這反映出最小二乘法對(duì)極端數(shù)據(jù)的敏感性．

圖1 圖2

2.3 最小二乘法與最小一乘法的比較

最小一乘法和最小二乘法的另一個(gè)差異體現(xiàn)在解的數(shù)量與形式[6].回歸分析中使用最小一乘法，有時(shí)可能出現(xiàn)多個(gè)解，并且無法得到解的顯式表達(dá)，并不適合更為復(fù)雜的數(shù)學(xué)推導(dǎo)和研究；而利用最小二乘法得到的解通常是唯一的，且有顯式表達(dá)，這對(duì)進(jìn)一步的數(shù)學(xué)推導(dǎo)和研究十分重要．

3 教學(xué)啟示

通過對(duì)最小二乘法的歷史溯源，使我們看到了最小二乘法更加鮮活的一面．從教學(xué)層面而言，“最小二乘法的歷史溯源”這一教學(xué)資源，體現(xiàn)出其獨(dú)特的價(jià)值，能為一線高中數(shù)學(xué)教師的教學(xué)帶來如下幾方面的啟示．

3.1 突出測(cè)量值估計(jì)模型參數(shù)的應(yīng)用價(jià)值，充分激發(fā)學(xué)生的學(xué)習(xí)積極性

《普通高中數(shù)學(xué)課程標(biāo)準(zhǔn)(2017年版)》(下稱《課標(biāo)》)要求學(xué)生掌握一元線性回歸模型參數(shù)的最小二乘估計(jì)方法[7]，可見最小二乘法具備極強(qiáng)的工具屬性．溯源最小二乘法的發(fā)展史可知，其產(chǎn)生背景源自天文學(xué)與測(cè)地學(xué)中的實(shí)際應(yīng)用需要，抽象出的數(shù)學(xué)問題即為“如何以測(cè)量值估計(jì)線性回歸模型的參數(shù)？”實(shí)際上，通過測(cè)量值合理地估計(jì)方程系數(shù)，正是求解一元線性回歸模型的關(guān)鍵．通過以上分析，建議教師可以在教學(xué)中突出體現(xiàn)測(cè)量值估計(jì)模型參數(shù)的應(yīng)用性，這符合最小二乘法的歷史發(fā)展，能夠使學(xué)生感受數(shù)學(xué)的應(yīng)用價(jià)值，增強(qiáng)學(xué)生對(duì)數(shù)學(xué)的認(rèn)同感，充分激發(fā)學(xué)生的數(shù)學(xué)學(xué)習(xí)積極性．

3.2 重視殘差平方和的表達(dá)形式，加強(qiáng)學(xué)生對(duì)統(tǒng)計(jì)思想的理解

最小二乘法作為估計(jì)一元線性回歸方程參數(shù)的工具，蘊(yùn)含著極有價(jià)值的數(shù)學(xué)思想．估計(jì)一元線性回歸模型的參數(shù)時(shí)，最小二乘法的本質(zhì)是求得殘差平方和(*)最小時(shí)的參數(shù)估計(jì)值，教學(xué)時(shí)應(yīng)當(dāng)重視學(xué)生對(duì)殘差平方和表達(dá)形式的理解．對(duì)于表達(dá)式(*)，其教學(xué)關(guān)鍵之一在于使學(xué)生感受為什么要對(duì)殘差的平方進(jìn)行求和．在統(tǒng)計(jì)活動(dòng)中，通常的做法是通過“精煉”所收集數(shù)據(jù)的個(gè)性化信息，以獲取少量的整體信息，例如計(jì)算一組數(shù)據(jù)的算術(shù)平均數(shù)，最終將無法看到每個(gè)原始數(shù)據(jù)，而只能看到一個(gè)代表其集中趨勢(shì)的值．最小二乘法中的求和運(yùn)算也是起到這個(gè)作用，為了找到大量數(shù)據(jù)的最佳擬合直線，需要“精煉”大量的殘差信息，轉(zhuǎn)而獲取所有殘差信息的代表值，在最小二乘法中的這個(gè)代表值即殘差平方和．實(shí)際上，對(duì)個(gè)體信息的匯總處理方式，被稱為“聚合”(Aggregation)，統(tǒng)計(jì)學(xué)家、統(tǒng)計(jì)學(xué)史家施蒂格勒將“聚合”列為統(tǒng)計(jì)學(xué)的七大支柱之首，其重要性不言而喻[8].因此，教學(xué)時(shí)可以引導(dǎo)學(xué)生思考為何要進(jìn)行求和運(yùn)算，這將有助于學(xué)生更好地體會(huì)統(tǒng)計(jì)中的聚合思想．

3.3 強(qiáng)調(diào)使用不同估計(jì)方法的異同，提升學(xué)生的數(shù)學(xué)方法論認(rèn)識(shí)

盡管《課標(biāo)》僅要求學(xué)生掌握最小二乘法，但通過本文中的歷史溯源可知，利用實(shí)際測(cè)量值估計(jì)一元線性回歸模型的參數(shù)方式不止一種．在人教A版《普通高中教科書(數(shù)學(xué)·選擇性必修第三冊(cè))》中，就提出了最小一乘法與最小二乘法兩種方式[5]108．在比較最小一乘法與最小二乘法的優(yōu)劣時(shí)，應(yīng)該了解二者各有所長(zhǎng)：如果問題僅僅是尋找數(shù)據(jù)對(duì)應(yīng)的一元線性回歸模型，在方便使用計(jì)算機(jī)的前提下，最小一乘法便是一種極好的選擇，它能夠弱化極端數(shù)據(jù)對(duì)估計(jì)造成的影響；但如果缺少計(jì)算機(jī)工具，或者需要進(jìn)行更復(fù)雜的數(shù)學(xué)問題分析，那么采用最小二乘法得到一元線性回歸模型的具體表達(dá)式則更顯方便．通過對(duì)使用不同估計(jì)方法的異同進(jìn)行比較，將有助于提升學(xué)生的數(shù)學(xué)方法論認(rèn)識(shí)，通常而言，數(shù)學(xué)問題的解決方法并無好壞之分，應(yīng)該針對(duì)具體問題與客觀條件，考慮哪種方法更合適．