非線性關(guān)系的研究及處理

張 川

(湖南工商大學(xué) 湖南 長沙 410000)

一、引言

在實際應(yīng)用中，很可能會碰到某種曲線形態(tài)存在于一些現(xiàn)象的因變量和自變量之間，觀測變量之間常有著復(fù)雜的關(guān)系。非線性關(guān)系存在于各個學(xué)科、各類數(shù)據(jù)中，且非線性關(guān)系有多種表現(xiàn)形式，這會給我們所研究的問題帶來影響，降低我們相關(guān)分析的準(zhǔn)確性。線性回歸分析只適用于可用線性參數(shù)來描述的數(shù)據(jù)，而對于非線性參數(shù)來表示的變量關(guān)系，需要拓展線性回歸方法，那么如何對非線性關(guān)系問題進(jìn)行分析與處理，這就有待于我們做進(jìn)一步的探討和研究。

二、文獻(xiàn)綜述

近年來，非線性關(guān)系成為焦點，非線性分析也引起了廣泛的關(guān)注，梳理國內(nèi)外研究，主要是從非線性回歸模型和其算法入手。陶春菊等(2003)推導(dǎo)出了含有回歸系數(shù)變化的可線性化非線性回歸預(yù)測模型的一種有效改進(jìn)方法—泰勒級數(shù)法；施招云(1993)采用Gram-Schmldt正交化最小二乘算法實現(xiàn)了非線性模型的結(jié)構(gòu)確定和參數(shù)估計；韋博成從微分幾何的觀點對非線性回歸分析作了處理。然而，很難獲得一般都比較復(fù)雜的非線性回歸模型的參數(shù)估計，對非線性回歸分析的研究造成了一定影響。Nash對此問題專門著了一本書，詳細(xì)講解了各種算法，包括直接搜索法、Nelder-Mead法和截尾牛頓法等，大多針對性強(qiáng)，所要求的條件較苛刻；方開泰(1993)提出了一種非線性回歸模型參數(shù)估計的一個新算法。綜合現(xiàn)有文獻(xiàn)，可以發(fā)現(xiàn)國內(nèi)外研究對非線關(guān)系的具體表現(xiàn)形式，以及各分析方法和工具的適用條件進(jìn)行歸納探討方面還存在較大的研究空間，這也正是本文價值所在。

三、非線性關(guān)系的具體表現(xiàn)形式及影響

(一)非線性

非線性是相對于線性而言的，用以區(qū)分不同變量之間的兩種關(guān)系。在某一變化過程中，線性即某一算子f滿足可加性和齊次性，則x、y是線性關(guān)系。“非線性”就是這兩條至少一條不成立，也就是說，其變量之間的關(guān)系是曲線或不確定的屬性，不再是直線形態(tài)。而非線性關(guān)系即是所有能用非線性展示的關(guān)系。

(二)非線性關(guān)系的具體表現(xiàn)形式

非線性關(guān)系一般有三種：(1)經(jīng)過適當(dāng)?shù)淖兞孔儞Q，變量的非線性關(guān)系可轉(zhuǎn)變?yōu)榫€性；(2)能明確參數(shù)未知的變量之間非線性關(guān)系的數(shù)學(xué)形式，只是變量替換后還是不能化為線性關(guān)系；(3)無法確定變量間非線性關(guān)系的數(shù)學(xué)形式。

四、非線性關(guān)系的分析方法與工具的比較

通過代數(shù)變換能將某些非線性關(guān)系轉(zhuǎn)化成線性關(guān)系。

(一)化為線性回歸模型

一般的線性模型為Y=β0+β1X1+β2X2+……+βnXn+μ，模型中參數(shù)和變量都是線性的，也就是說因變量是參數(shù)的線性函數(shù)，且模型中的變量形式只能是原型。

1.變量的非線性

2.參數(shù)的非線性

相比較而言，只通過重新定義無法處理參數(shù)的非線性，所以其問題更麻煩?？赏ㄟ^模型兩邊取對數(shù)進(jìn)線性化處理，這要求模型的擾動項和等式的右端是Xa或eaX一系列項的乘積形式。

3.變量的非線性和參數(shù)的非線性并存

(二)構(gòu)建非線性模型

對于某些非線性問題，能明確參數(shù)未知的變量之間非線性關(guān)系的數(shù)學(xué)形式，只是變量替換后還是無法化為線性關(guān)系，就只能用更復(fù)雜的擬合方法來求解。非線性回歸模型一般為Y=f(Xk,θn)+ε，其中Xk為k個解釋變量，θn是n個未知參數(shù)，f為非線性函數(shù)。非線性回歸分析的參數(shù)估計有兩種基本方法，這里介紹最小二乘法。對正規(guī)方程組通過解析的方法一般在非線性函數(shù)中無法求解，所以需要用非線性優(yōu)化方法如搜索法或迭代運算估計參數(shù)。

1.搜索法

(1)直接搜索法

其方法是把參數(shù)的所有可能取值都代入函數(shù)g中，使得g達(dá)到最小的取值即為參數(shù)的估計值。直接搜索法原理很簡單，但是只適合參數(shù)個數(shù)較少且參數(shù)的可能取值也很少(或?qū)?shù)估計的精度要求不高)的情況。

(2)格點搜索法

其方法是按一定規(guī)律把部分取值代入函數(shù)g。以只有一個參數(shù)θ為例θ可能取值區(qū)間為[a,b]，先把區(qū)間10等分，然后分別把a(bǔ)0=a,a1=a+0.1(b-a),a2=a+0.2(b-a),…,a9=a+0.9(b-a),a10=b代入函數(shù)g，設(shè)ai使得g最小，再把新區(qū)間[ai-1,ai+1]10等分，重復(fù)上述方法，使參數(shù)的可能取值范圍不斷地減小，直到滿足精度要求或收斂標(biāo)準(zhǔn)，即得參數(shù)的最小二乘估計。上述算法表明，當(dāng)g存在唯一最小值時，格點搜索法才有效。

但是直接搜索法和格點搜索法都是低效的，在實際的工作中實用性很低。

2.迭代法

其基本思路是：首先線性化在某一組初始參數(shù)估計值附近的非線性方程，方法是泰勒級數(shù)展開；然后對這一線性方程進(jìn)行最小二乘估計，得到新的參數(shù)估計值；再線性化新參數(shù)估計值附近的非線性方程，然后最小二乘估用于新的線性方程，又得到一組新的參數(shù)估計值；依此不斷重復(fù)，直到參數(shù)估計值參數(shù)估計值滿足精度要求。

(1)高斯-牛頓法

該方法是常用的非線性最優(yōu)化算法之一，雖然非線性回歸不能通過變換轉(zhuǎn)化為線性模型，但可以用泰勒展開式轉(zhuǎn)化為線性模型，具體如下：

1)假設(shè)參數(shù)的初值a0=(a10,a20,…,an0)，由泰勒級數(shù)展開并只取線性項：

(1)

經(jīng)過整理為：

(2)

2)把(a11,a21,…,an1)作為新的初值，通過泰勒展式，得到新的估計(a12,a22,…,an2)，依此重復(fù)法，直到參數(shù)估計值收斂。

高斯-牛頓法實質(zhì)上就是非線性模型本身的反復(fù)線性化和線性回歸，適用于不能通過數(shù)學(xué)變換轉(zhuǎn)化線性模型，但具有連續(xù)可微函數(shù)性質(zhì)，可以利用一階泰勒級數(shù)展開強(qiáng)制轉(zhuǎn)化成線性模型的非線性模型。

(2)牛頓-拉夫森法

該方法是高斯-牛頓法的改進(jìn)，但牛頓-拉夫森法是直接對最小二乘函數(shù)最優(yōu)化的一階條件做一階泰勒級數(shù)展開近似，而不是對非線性函數(shù)f本身做線性近似，設(shè)參數(shù)向量θ=θ1,θ2…,θn，估計量為a=(a1,a2,…,an)，殘差平方和g(a)最小時的一階條件為u(a)=?g(θ)/?θ=0，給定初始值a=a0，對u(a)用一階泰勒展開近似得u(a)≈u(a0)+v(a0)(a-a0)，其中v(a0)是g(a)在a0處的二階導(dǎo)數(shù)，由于u(a)=0，所以有u(a0)+v(a0)(a-a0)≈0，也即是a≈a0-v-1(a0)u(a0)，該式作為θ的近似估計值，并可視為新的初始值，重復(fù)上述方法，直到參數(shù)估計值滿足精度要求或收斂。

牛頓-拉夫森法的缺點是迭代運算中需要反復(fù)計算梯度向量，特別是海塞矩陣的逆矩陣，因此計算量很大。

3.有理插值方法

某些經(jīng)濟(jì)計量分析中的研究并不符合最小二乘在線性回歸中的假定：模型中的隨機(jī)誤差ε作E(ε)=0及var(ε)=σ2，從而影響了這一方法的應(yīng)用。而有理插值理論的非線性特點，在非線性回歸分析上更有優(yōu)勢。這里主要討論運用連分式插值理論來進(jìn)行非線性回歸分析。

(1)有理插值理論

(3)

將R(x)右邊整理，即得上述有理分式函數(shù)Rm,n(x)，a0(x),a1(x),…,am+n(x)為倒差商。

(2)有理插值算法在非線性回歸中的運用

五、總結(jié)

通過對非線性關(guān)系的具體表現(xiàn)形式及影響的介紹，以及比較各非線性關(guān)系的分析方法與工具，研究得出，非線性關(guān)系一般有三種：

(1)經(jīng)過適當(dāng)?shù)淖兞孔儞Q，變量的非線性關(guān)系可轉(zhuǎn)變?yōu)榫€性。其中又可分為三種情況，變量的非線性，參數(shù)的非線性和變量的非線性和參數(shù)的非線性并存。其多是通過變量代換和將模型兩邊取對數(shù)進(jìn)而線性化，然后再運用線性方法進(jìn)行分析。

(2)能明確參數(shù)未知的變量之間非線性關(guān)系的數(shù)學(xué)形式，只是變量替換后還是不能化為線性關(guān)系。一般用搜索法或迭代運算的非線性優(yōu)化方法獲得參數(shù)的最小二乘估計。其中搜索法又分為直接搜索法和格點搜索法，直接搜索法原理很簡單，但是只適合參數(shù)個數(shù)較少且參數(shù)的可能取值也很少(或?qū)?shù)估計的精度要求不高)的情況，而格點搜索法只有當(dāng)殘差平方和存在唯一最小值時才有效；迭代法主要是高斯-牛頓法，適用于不能通過數(shù)學(xué)變換轉(zhuǎn)化線性模型，但具有連續(xù)可微函數(shù)性質(zhì)，可以利用一階泰勒級數(shù)展開強(qiáng)制轉(zhuǎn)化成線性模型的非線性模型；牛頓-拉夫森法可看作是高斯-牛頓法的改進(jìn)，但牛頓-拉夫森法是直接對最小二乘函數(shù)最優(yōu)化的一階條件做一階泰勒級數(shù)展開近似。

(3)無法確定變量間非線性關(guān)系的數(shù)學(xué)形式。這類非線性問題通過有理插值法或多元線性逐步回歸來求解；本文主要對有理插值法作了詳細(xì)探討，其適用于實際中并不滿足統(tǒng)計模型中隨機(jī)誤差E(ε)=0及var(ε)=σ2的假定的情形。