概率統(tǒng)計的知識理解之殘差與回歸模型診斷

王慧鋆 胡典順

摘? 要：殘差是觀測值與預(yù)測值之差，它看似簡單卻蘊含了回歸模型的許多重要信息. 通過對殘差知識的深入梳理，介紹殘差圖，再用四個虛擬數(shù)據(jù)集探討殘差分析的必要性，最后借助實例展現(xiàn)模型建構(gòu)與診斷過程，使師生更深入地了解殘差和殘差分析在回歸模型中的重要作用，以便在實際生產(chǎn)、生活中利用數(shù)據(jù)構(gòu)建并選取最佳模型.

關(guān)鍵詞：殘差；殘差圖；殘差分析；回歸模型診斷

一、引言

在生產(chǎn)、生活中，人們經(jīng)常會遇到各種各樣的誤差. 例如，在超市里購買的食鹽其質(zhì)量和它的標(biāo)準(zhǔn)質(zhì)量有一定的誤差；在化學(xué)實驗室稱量物質(zhì)時會產(chǎn)生測量誤差；工廠加工的零件受工藝影響會產(chǎn)生加工誤差. 在眾多誤差中，有些誤差可以避免，而有些誤差無法避免. 隨機誤差就是不能避免的誤差，它是由測量實驗中許多獨立因素的微小變化的總和引起的，無法用實驗的方法加以消除. 但總體來說，多次測量中隨機誤差服從統(tǒng)計規(guī)律，最常見的是正態(tài)分布規(guī)律.

由于隨機誤差具有總體的統(tǒng)計規(guī)律性，即使它的大小、正負(fù)不固定，難以消除或減小，人們還是可以運用統(tǒng)計方法分析其對測量結(jié)果的影響. 那么，如何運用統(tǒng)計方法進(jìn)行合理的分析、計算呢？實際上，可以建立適當(dāng)?shù)慕y(tǒng)計模型，利用已知數(shù)據(jù)求出模型參數(shù)，再通過計算得到隨機誤差的估計值殘差，這樣就方便分析其對測量結(jié)果的影響. 在回歸分析中，殘差蘊含了有關(guān)模型基本假定的許多重要信息，在估計隨機誤差和診斷回歸模型上具有重要作用. 本文將圍繞殘差的知識理解，以及殘差之于模型的重要作用進(jìn)行拓展闡述.

二、殘差的知識理解

1. 教材中回歸模型與殘差的概念定義

人教A版《普通高中教科書·數(shù)學(xué)》選擇性必修第三冊（以下統(tǒng)稱“教材”）定義回歸模型與殘差如下.

教材以研究兒子身高和父親身高之間的關(guān)系為例，先由收集的數(shù)據(jù)做出了兩者間的散點圖，發(fā)現(xiàn)散點落在一條斜率大于0的直線附近，有較強的線性相關(guān)關(guān)系. 然后，讓學(xué)生思考兩者間的關(guān)系能否用一次函數(shù)模型刻畫. 因為存在父親身高相同時對應(yīng)兒子身高不同的情況，所以不能用一次函數(shù)模型刻畫. 于是給出了能夠刻畫兒子身高[Y]與父親身高x相關(guān)關(guān)系的一元線性回歸模型，其表達(dá)式為[Y=bx+a+e，Ee=0，De=σ2.]

此模型是對Y與x之間真實關(guān)系的一種近似. 其中，Y是因變量（響應(yīng)變量），x是自變量（解釋變量），x是影響Y的主要因素，e是其他相關(guān)因素. 模型中關(guān)于隨機誤差e的假定為對自變量x的任意取值，e的均值都為0，方差始終為[σ2，] 即e的均值和方差不隨x的變化而變化.

建立回歸模型后，為了合理估計模型中參數(shù)a，b的值，需要利用收集的成對樣本數(shù)據(jù)[xi，yi]進(jìn)行分析. 因為[Y=bx+a+e]刻畫的是變量Y與x的線性相關(guān)關(guān)系，所以估計參數(shù)a，b相當(dāng)于尋找一條合適的直線，使表示成對樣本數(shù)據(jù)的點散落在這條直線附近. 為了使“從整體上看，各散點與直線最接近”，教材著重探討并介紹了最小二乘法，然后應(yīng)用最小二乘準(zhǔn)則得到了經(jīng)驗回歸方程[y=bx+a.] 其中，[y]稱為預(yù)測值，求得的[a，b]叫做a，b的最小二乘估計. 為了檢驗所求模型的擬合效果，得出預(yù)測值與實際觀測值之間的偏差，在比較因變量Y的觀測值和預(yù)測值[y]時給出了殘差的概念，觀測值減去預(yù)測值就是殘差.

通過以上梳理可以發(fā)現(xiàn)，教材在探究兒子身高與父親身高的相關(guān)關(guān)系時引入了一元線性回歸模型，并在建立的模型中體現(xiàn)了隨機誤差. 然后利用最小二乘法求出經(jīng)驗回歸方程，代入數(shù)據(jù)發(fā)現(xiàn)預(yù)測值與觀測值有偏差之后，引出了殘差的概念. 因為模型假定主要是針對隨機誤差e提出的，所以考查所求模型的準(zhǔn)確性需要從分析隨機誤差e的估計量殘差入手. 教材將殘差放在參數(shù)估計這一節(jié)，是為了確定模型假定條件的合理性，也是對所求模型的檢驗或驗證.

一般地，在根據(jù)實際情況或利用所得數(shù)據(jù)建立回歸模型時，無論建立的是何種模型，都可以通過計算實際觀測值與預(yù)測值之間的差得到殘差. 這體現(xiàn)了殘差的普適性和簡潔性，其計算簡便且適用范圍廣，看似簡單卻十分必要.

2. 回歸模型中的誤差假定

利用散點圖，人們可以直觀判斷兩個變量間是否存在線性相關(guān)關(guān)系，但這只是一種視覺上的判斷. 為了從數(shù)量上對兩個變量的線性相關(guān)關(guān)系進(jìn)行嚴(yán)格說明，統(tǒng)計學(xué)中常用假設(shè)檢驗法對回歸參數(shù)進(jìn)行檢驗，即提出假設(shè)H0：x與Y之間沒有線性相關(guān)關(guān)系. 但是，檢驗這樣的假設(shè)，需要進(jìn)一步完善教材中給出的隨機誤差假定，完善后的誤差假定為：對x的每一個固定值，所有e都相互獨立，且它們同時服從均值為0，方差為[σ2]的正態(tài)分布. 注意，這句話蘊含了以下4層含義.

（1）隨機誤差[ei i=1，2，…，n]服從正態(tài)分布. 但因為模型中的隨機誤差難以確定，所以對其正態(tài)性的檢驗往往通過殘差進(jìn)行.

（2）[Eei=0]對[i=1，2，…，n]均成立.

（3）[Dei=σ2]對[i=1，2，…，n]均成立. 這被稱為等方差假定或方差齊性假定. 若該假定不成立，說明出現(xiàn)了異方差問題.

（4）隨機誤差[e1，e2，…，en]相互獨立，即[Covei，ej=0]對[i≠j，i=1，2，…，n，j=1，2，…，n]均成立.

在這樣的假定下，最小二乘估計[a，b]具有明確的抽樣分布，即正態(tài)分布. 利用[a，b]的抽樣分布，可以分析自變量x對因變量Y的預(yù)測能力，體現(xiàn)了回歸方程的預(yù)測功能. 但因為教材中沒有涉及對回歸系數(shù)進(jìn)行假設(shè)檢驗的內(nèi)容，也沒有直接給出不同觀測誤差之間相互獨立的概念，所以本節(jié)內(nèi)容是對教材隨機誤差假定的一個拓展，旨在使師生從理論上對這一內(nèi)容有更加深入的認(rèn)識.

3. 殘差與殘差圖

了解殘差的生成背景與模型的誤差假定后，給出殘差的具體定義. 所謂殘差，就是人們獲得的實際觀測值與回歸模型擬合（預(yù)測）值的差，其數(shù)學(xué)表達(dá)式為[ei=yi-yi.] 這是普通殘差，也是最簡單的一種殘差. 此外，還有學(xué)生氏殘差（標(biāo)準(zhǔn)化殘差）和預(yù)測殘差. 得到殘差的表達(dá)式后，在一元線性回歸模型中代入經(jīng)驗回歸方程，即為[ei=yi-bxi-a.] 由此可知，殘差是因變量中未被自變量解釋的部分，這就說明了殘差與自變量無關(guān). 將樣本數(shù)據(jù)的所有殘差相加，還可以得到[i=1nei=i=1nyi-yi=i=1nyi-bxi-a=ny-nbx-na=][ny-bx-a=0.] 這與隨機誤差均值為0的假設(shè)相符，但因為計算過程中有近似，所以殘差和一般近似為0.

如圖1，以一元線性回歸模型為例，在平面直角坐標(biāo)系中，可以清楚地知道殘差的幾何意義，即實際觀測數(shù)據(jù)點與其所對應(yīng)的回歸模型數(shù)據(jù)點間的縱向差異值.

圖1中只標(biāo)明了一個觀測點[x4，y4，] 該觀測點在預(yù)測點上方，它的殘差為正值. 通過圖1可以看出還有些觀測點落在回歸直線下方，這說明殘差可正可負(fù).

為了使不同觀測點的殘差數(shù)據(jù)更加直觀，可以繪制殘差圖. 所謂殘差圖，就是以某種殘差為縱坐標(biāo)，以觀測時間t、觀測序號n、預(yù)測值[y]或某一自變量xi [i=1，2，…，n]為橫坐標(biāo)繪制的散點圖. 下面以殘差為縱坐標(biāo)，以自變量為橫坐標(biāo)的殘差圖為例，介紹兩種不同情況下的殘差圖，分別如圖2和圖3所示.

圖2中大多數(shù)觀測點都比較均勻地分布在橫軸的上方和下方，滿足隨機誤差均值為0，方差為[σ2]的假定條件，只有一個偏離均值很多的點，這樣的點被稱為異常點. 圖3中的觀測點沒有均勻地分布在橫軸的上方和下方，其分布似開口向上的二次曲線，其表面所建模型不符合隨機誤差假定條件，即現(xiàn)有模型不成立，可能沒有把因變量中蘊含的二次項表達(dá)出來. 此時應(yīng)該考慮在模型中加入自變量的二次項，以完善模型，達(dá)到最佳擬合效果.

以上只列舉了兩個較為簡單的殘差圖. 在回歸分析中，繪制殘差圖有許多優(yōu)點：放大預(yù)測值與觀測值之間的差距；提醒我們關(guān)注是否在收集數(shù)據(jù)或模型擬合的過程中遺漏了某些重要的自變量；幫助我們直觀高效地診斷模型、改進(jìn)模型.

三、殘差分析的必要性

回歸模型在建立時蘊含了模型假定，而回歸模型的有效性也依賴于這些假定，在用求出的經(jīng)驗回歸方程做出任何分析之前，需要先確定這些假定條件是否成立. 作為一個重要的回歸診斷量，殘差包含了模型假定的許多重要信息，因此殘差分析能夠較好地驗證所得數(shù)據(jù)是否滿足模型假定. 下面通過一個例子具體說明.

對于不同的數(shù)據(jù)集，利用最小二乘法求出的回歸方程是否會幾乎相同？雖然這種情況比較極端，但也不是沒有出現(xiàn)的可能. 實際上，對現(xiàn)實數(shù)據(jù)進(jìn)行回歸分析時會遇到類似的問題. 1973年，耶魯大學(xué)的安斯柯姆教授構(gòu)建了四個虛擬數(shù)據(jù)集，這四個虛擬數(shù)據(jù)集就反映出以上問題，具體數(shù)據(jù)如表1所示.

不難發(fā)現(xiàn)，前三個數(shù)據(jù)集的自變量取值完全相同，只是對應(yīng)的因變量取值發(fā)生了一些變化；而最后一個數(shù)據(jù)集中只有一個自變量不同，其他自變量的取值均是8. 表1中的數(shù)據(jù)看起來比較奇特，并且數(shù)據(jù)量較大，計算起來較為復(fù)雜. 但是交給計算機軟件來計算，可以詳細(xì)地分析數(shù)據(jù)，也提高了計算效率. 下面利用Excel“數(shù)據(jù)分析”中的“回歸”功能，對四組數(shù)據(jù)進(jìn)行一元線性回歸. 分別得到了這四個數(shù)據(jù)集的相關(guān)數(shù)值統(tǒng)計結(jié)果，如表2所示.

在回歸分析中，設(shè)定模型[y=a+bx+e，] 采用最小二乘法估計模型. 由表2可知，四個數(shù)據(jù)集的模型參數(shù)相近，a的值都略大于3，b的值都在0.5附近，且a的標(biāo)準(zhǔn)誤相近，b的標(biāo)準(zhǔn)誤也相近（標(biāo)準(zhǔn)誤是標(biāo)準(zhǔn)差的估計量，它越小估計精度越高）. 各數(shù)據(jù)集的[R2]和[r]都十分接近，誤差不超過千分之一. [R2]是擬合優(yōu)度判定系數(shù)，也叫決定系數(shù)，其表達(dá)式為[R2=1-i=1nyi-yi2i=1nyi-y2=1-]

[i=1nei2i=1nyi-y2.] 其中，[i=1ne2i]是殘差平方和. [R2]反映了自變量解釋因變量的比例，取值區(qū)間是[0，1.] 一般來說，[R2]越大模型擬合效果越好. 而四個數(shù)據(jù)集的[R2]相近，說明所建模型的擬合效果相近. 樣本相關(guān)系數(shù)r是度量成對樣本數(shù)據(jù)線性相關(guān)程度的量，且[r]越接近1，說明成對樣本數(shù)據(jù)線性相關(guān)程度越強. 四個數(shù)據(jù)集的[r]相近，說明因變量與自變量的線性相關(guān)程度相近. 但是，這四個數(shù)據(jù)集中因變量與自變量的線性相關(guān)程度真的差不多嗎？因變量與自變量之間真的具有線性相關(guān)性嗎？數(shù)據(jù)會不會欺騙了我們呢？如果只看統(tǒng)計分析的數(shù)據(jù)結(jié)果，這四個數(shù)據(jù)集的回歸分析幾乎無差異，但事實是這四組數(shù)據(jù)確實存在很大差別. 這個案例提醒我們不能完全相信數(shù)值結(jié)果，還要結(jié)合適當(dāng)?shù)膱D形對數(shù)據(jù)進(jìn)行進(jìn)一步分析. 有時圖形方法不但可以揭示數(shù)據(jù)結(jié)構(gòu)，還可以發(fā)現(xiàn)數(shù)值結(jié)果無法提供的信息.

結(jié)合圖4 ～ 圖7中四個數(shù)據(jù)集的散點圖、擬合直線和圖8 ～ 圖11中的殘差圖，可以直觀地發(fā)現(xiàn)除了第一個數(shù)據(jù)集的線性回歸模型建立正確、殘差圖表現(xiàn)正常外，其他三個數(shù)據(jù)集的線性模型和殘差圖都表現(xiàn)異常，說明這三個數(shù)據(jù)集不適合進(jìn)行線性擬合，違背了模型的誤差假定.

由這個案例可以看出，在回歸分析中，計算殘差是用最小二乘法求出模型參數(shù)后的必要步驟，殘差圖是整合分析殘差、進(jìn)行模型診斷的必要工具. 對殘差進(jìn)行殘差分析，可以幫助我們確定擬合模型是否正確、驗證回歸模型假定是否成立，是診斷模型的關(guān)鍵一步. 利用最小二乘法計算不同數(shù)據(jù)的回歸方程之前，一定要畫出相應(yīng)的散點圖，判斷其走向和趨勢，不能一股腦地把學(xué)過的模型套用在不同的情境中，必須要考慮實際情況及所建模型的目的等相關(guān)問題.

四、建模實例

筆者對教材第120頁的練習(xí)第2題做了適當(dāng)改編，下面通過此題闡述殘差在模型診斷中的作用.

1. 問題描述

為了了解國內(nèi)生產(chǎn)總值（GDP）的增長情況，便于對未來國內(nèi)生產(chǎn)總值（GDP）做出科學(xué)合理的預(yù)測. 國家統(tǒng)計局收集并統(tǒng)計了1997 — 2006年中國國內(nèi)生產(chǎn)總值（GDP）的數(shù)據(jù)，如表3所示.

試作出GDP關(guān)于年份的散點圖，并根據(jù)該圖猜想可以用什么模型描述它們之間的關(guān)系. 然后利用表3數(shù)據(jù)對模型參數(shù)進(jìn)行估計，最后說明所求模型是否能較好地刻畫GDP與年份之間的關(guān)系.

2. 問題分析

在問題中，人們關(guān)心未來國內(nèi)生產(chǎn)總值（GDP）是多少，而表3中只給出了過去每一年對應(yīng)的GDP數(shù)額，要想知道未來的GDP，可以將年份作為自變量，GDP作為因變量進(jìn)行分析. 但是GDP還可能受全球經(jīng)濟形勢、相關(guān)政策和社會環(huán)境等很多因素的影響，故不能用一個確定的函數(shù)來表達(dá)年份與GDP之間的關(guān)系，用統(tǒng)計方法建立兩者之間的回歸模型會更加適合.

3. 模型建立

首先，作GDP關(guān)于年份的散點圖，猜想可以用什么模型描述它們之間的關(guān)系. 因為數(shù)值較大、數(shù)據(jù)量較多，所以采用統(tǒng)計軟件進(jìn)行分析. 在Excel中用“數(shù)據(jù)分析”中的“回歸”功能，得到散點圖如圖12所示. 圖12表明，隨著時間的推移GDP呈上升趨勢，且增長幅度越來越大.

分析圖12中的散點圖，可以發(fā)現(xiàn)散點尾部偏高，數(shù)據(jù)的傾向是增長的、上凹的. 回顧學(xué)過的函數(shù)圖象，似乎開口向上的二次曲線右側(cè)和此圖比較相似. 且圖13中殘差分布呈現(xiàn)二次曲線形狀，故可以考慮在模型中加入自變量的二次項. 因為表3中的數(shù)據(jù)年份是從1997年開始的，所以可以認(rèn)為散點集中分布在曲線[y=a+bt-1 9972]附近. 不妨建立形如[y=a+bt-1 9972+ε]的回歸模型，其中a，b為未知參數(shù)，ε為隨機誤差.

建立模型后，如何確定其中的參數(shù)呢？實際上，當(dāng)散點的分布沒有呈現(xiàn)線性相關(guān)特征時，我們的策略是變換成對樣本數(shù)據(jù)，使散點分布呈現(xiàn)線性相關(guān)性，即使散點均勻散落在某條直線附近. 在復(fù)雜情況下，具體應(yīng)該采用哪種變換需要反復(fù)試驗、不斷摸索或結(jié)合以往經(jīng)驗和所學(xué)函數(shù)做出大致估計.

這里令[x=t-1 9972，x]是引入的一個中間變量. 變換后模型[y=a+bt-1 9972+ε]變?yōu)閇y=a+bx+ε，] 這是一個一元線性回歸模型，也是大家所熟知的. 變換后的新的成對數(shù)據(jù)如表4所示.

根據(jù)新數(shù)據(jù)繪制散點圖，如圖14所示，發(fā)現(xiàn)y對x呈現(xiàn)出很強的線性相關(guān)性，說明數(shù)據(jù)變換正確，建立的回歸模型合適. 接下來，利用統(tǒng)計軟件得出分析結(jié)果，如表5所示. 得到回歸方程為[y2=82 329.233+][1 652.851 8x.] 相關(guān)系數(shù)[r]為0.998 5，說明GDP與年份之間有很強的線性相關(guān)關(guān)系；[R2]為0.996 9，意味著此模型可以解釋數(shù)據(jù)幾乎100%的波動；顯著性（p值）小于0.001，說明y與x顯著相關(guān). 以上各種數(shù)據(jù)都說明此模型的擬合效果很好. 接下來繪制殘差圖（如圖15）檢驗統(tǒng)計分析結(jié)果.

觀察圖15可以發(fā)現(xiàn)，散點比較均勻地分布在橫軸兩側(cè)，沒有呈現(xiàn)聚攏或散開的趨勢，這說明二次變換的線性化模型比較理想.

將[x=t-1 9972]代入[y2=82 329.233+1 652.851 8x，] 得到由年份預(yù)報國內(nèi)生產(chǎn)總值（GDP）的經(jīng)驗回歸方程[y2=82 329.233+1 652.851 8t-1 9972，] 這就是要求的經(jīng)驗回歸方程.

對于實際問題，沒有人知道真正的模型是什么. 而統(tǒng)計方法就是不斷尋找有用的模型，精益求精，力爭找出最適合的模型. 在實際教學(xué)中，教師可以鼓勵學(xué)生嘗試其他的數(shù)據(jù)處理方法并建立更好的模型. 學(xué)生儲備的知識越多，可供選擇的方法就越多.

五、總結(jié)

回歸分析法是統(tǒng)計學(xué)中的重要方法，而殘差分析是回歸分析中檢驗?zāi)Ｐ图俣?、診斷并選取模型的重要方法. 它對應(yīng)數(shù)學(xué)建模中“檢驗結(jié)果、改進(jìn)模型”這兩步，是對模型的事后檢驗，看似微不足道實則意義深遠(yuǎn). 殘差分析體現(xiàn)了數(shù)學(xué)學(xué)科所要求的思維的嚴(yán)謹(jǐn)性，以及操作的規(guī)范性和完整性，提醒我們要在日常的工作、學(xué)習(xí)和生活中養(yǎng)成良好的檢查與驗證的習(xí)慣.

計算并分析殘差不僅能夠幫助我們大致觀察隨機誤差對因變量的影響，還能幫助我們直觀診斷模型. 借助殘差圖對殘差進(jìn)行進(jìn)一步分析，能夠發(fā)現(xiàn)現(xiàn)有模型的優(yōu)點和缺點，并根據(jù)發(fā)現(xiàn)的問題改進(jìn)模型，對數(shù)據(jù)進(jìn)行更為恰當(dāng)?shù)臄M合，以建立“最佳”模型，這也能對未知的數(shù)據(jù)做出更符合實際的預(yù)測.

參考文獻(xiàn)：

［1］胡福年，白春艷，李洪美. 電氣測量技術(shù)實驗教程［M］. 南京：東南大學(xué)出版社，2009.

［2］劉沛. 回歸分析的新進(jìn)展：回歸診斷［J］. 中國衛(wèi)生統(tǒng)計，1989，6（6）：51-55.

［3］SAMPRIT CHATTERJEE，ALI S HADI. 例解回歸分析［M］. 鄭忠國，許靜，譯. 北京：機械工業(yè)出版社，2013.

［4］胡菊華. 基于殘差分析的線性回歸模型的診斷與修正［J］. 統(tǒng)計與決策，2019，35（24）：5-8.

［5］王敏. 殘差分析在統(tǒng)計中的應(yīng)用［J］. 江蘇統(tǒng)計，2000（8）：24，11.

［6］FRANK R GIORDANO，WILLIAM P FOX，STEVEN B HORTON. 數(shù)學(xué)建模（原書第5版）［M］. 葉其孝，姜啟源，等譯. 北京：機械工業(yè)出版社，2014.

收稿日期：2022-08-05

基金項目：教育部人文社會科學(xué)研究規(guī)劃基金項目——中小學(xué)核心素養(yǎng)測評的模型建構(gòu)與實證研究（19YJA880012）；

中央高校基本科研業(yè)務(wù)費項目——新高考分省市命題分學(xué)科質(zhì)量評價指標(biāo)體系研究（CCNUTEI2021-13）．

作者簡介：王慧鋆（1999— ），女，在讀碩士研究生，主要從事數(shù)學(xué)教育研究.