非線性半?yún)?shù)統(tǒng)計(jì)模型估計(jì)函數(shù)的幾何方法

周路平，馮予

（南京理工大學(xué)理學(xué)院，江蘇 南京　210094）

非線性半?yún)?shù)統(tǒng)計(jì)模型估計(jì)函數(shù)的幾何方法

周路平，馮予

（南京理工大學(xué)理學(xué)院，江蘇 南京210094）

將非線性半?yún)?shù)統(tǒng)計(jì)模型的概率密度函數(shù)族視為統(tǒng)計(jì)流形，利用微分幾何方法，建立非線性半?yún)?shù)統(tǒng)計(jì)模型相對(duì)應(yīng)的Hilbert空間，進(jìn)而研究非線性半?yún)?shù)統(tǒng)計(jì)模型的估計(jì)函數(shù)問(wèn)題.利用兩類得分函數(shù)張成的子空間對(duì)Hilbert空間進(jìn)行正交分解，進(jìn)而討論估計(jì)函數(shù)所在的集合，以及如何選取最優(yōu)估計(jì)函數(shù)的問(wèn)題.最后，通過(guò)實(shí)例分析來(lái)驗(yàn)證此方法的有效性.

估計(jì)函數(shù)；得分函數(shù)；有興趣參數(shù)；冗余參數(shù)

1　引言

近年來(lái)，半?yún)?shù)統(tǒng)計(jì)模型受到了許多統(tǒng)計(jì)學(xué)者的關(guān)注[1]，這是因?yàn)榘雲(yún)?shù)統(tǒng)計(jì)模型不僅具有非參數(shù)統(tǒng)計(jì)模型的變通性，同時(shí)保持了參數(shù)統(tǒng)計(jì)模型的可解釋性.1986年，文獻(xiàn)［2］在分析電力需求與氣候變化之間的關(guān)系時(shí)提出了部分線性模型，其形式為：

注意到模型(1)中，第一部分是θ和x的線性關(guān)系，而在實(shí)際應(yīng)用中，嚴(yán)格的線性關(guān)系并不多見(jiàn)，它們大多帶有某種程度的線性近似.隨著近代統(tǒng)計(jì)學(xué)的發(fā)展，非線性統(tǒng)計(jì)模型在理論研究和實(shí)踐中的作用日趨重要.因此，引入非線性半?yún)?shù)統(tǒng)計(jì)模型[3]：

其中，θ視為m維有興趣參數(shù)，f為已知的非線性函數(shù)，k(.)為未知的冗余光滑函數(shù)，(x，y，t)是

來(lái)自總體(X，Y，T)的獨(dú)立同分布樣本.假設(shè)ε服從標(biāo)準(zhǔn)正態(tài)分布，則有

由于統(tǒng)計(jì)模型的概率分布族由參數(shù)集來(lái)描述，而分布族的性質(zhì)就使得參數(shù)空間有著幾何性質(zhì)和幾何結(jié)構(gòu)，因此可以用幾何方法解決統(tǒng)計(jì)學(xué)中的問(wèn)題[48]，本文從以下幾個(gè)問(wèn)題出發(fā)，利用微分幾何方法解決非線性半?yún)?shù)統(tǒng)計(jì)模型(2)的估計(jì)函數(shù)問(wèn)題.第一，估計(jì)函數(shù)所在集合的幾何結(jié)構(gòu)；第二，什么條件下存在估計(jì)函數(shù)；第三，估計(jì)函數(shù)相應(yīng)估計(jì)量的漸近性質(zhì).

2　估計(jì)函數(shù)的定義

設(shè)y(x，θ)=(yi(x，θ)，i=1，...，m)是有興趣參數(shù)θ的向量值光滑函數(shù)，維數(shù)與θ的維數(shù)相同.如果y(x，θ)滿足以下三個(gè)正則條件：

則稱y(x，θ)為估計(jì)函數(shù).其中Eθ，k表示非線性半?yún)?shù)統(tǒng)計(jì)模型的密度函數(shù)p(y|x，t；θ，k)對(duì)應(yīng)的期望，?θy(x，θ)表示y(x，θ)關(guān)于θ的偏導(dǎo)數(shù)，且det|.|表示矩陣的行列式，||y||2表示向量y范數(shù)的平方，即||y||2=Σ(yi)2.

3　非線性半?yún)?shù)統(tǒng)計(jì)模型估計(jì)函數(shù)所在集合的結(jié)構(gòu)

給定非線性半?yún)?shù)統(tǒng)計(jì)模型S={p(y|x，t；θ，k)}，其相應(yīng)的Hilbert空間與參數(shù)集中的點(diǎn)(θ，k)有關(guān)，記為Hθ，k.為了研究估計(jì)函數(shù)所在集合的幾何結(jié)構(gòu)，首先定義非線性半?yún)?shù)統(tǒng)計(jì)模型的兩類得分函數(shù)，由得分函數(shù)張成相應(yīng)的子空間，再對(duì)Hθ，k進(jìn)行正交分解.

3.1沿著有興趣參數(shù)方向的得分函數(shù)

稱為非線性半?yún)?shù)統(tǒng)計(jì)模型沿著有興趣參數(shù)θ第i個(gè)分量θi的得分函數(shù)，其中易見(jiàn)Eθ，k［ui］=0，進(jìn)一步假定ui是平方可積的，則ui∈Hθ，k.將ui沿著有興趣參數(shù)θ方向張成的切空間記為T(mén)，非線性半?yún)?shù)統(tǒng)計(jì)模型沿著有興趣參數(shù)θ方向的得分函數(shù)定義為u=(u1，...，um).

3.2沿著冗余參數(shù)方向的得分函數(shù)

非線性半?yún)?shù)統(tǒng)計(jì)模型沿著冗余參數(shù)方向的得分函數(shù)定義為：

向量uE=(u)稱為非線性半?yún)?shù)統(tǒng)計(jì)模型的有效得分函數(shù).將有效得分函數(shù)的分量uEi張成的子空間記為T(mén)，稱T⊕T在Hθ，k中的正交補(bǔ)空間為從屬切空間，記為T(mén).

下面引入兩類轉(zhuǎn)換，即e轉(zhuǎn)換和m轉(zhuǎn)換，進(jìn)一步分析Hilbert空間Hθ，k的正交分解.

3.3兩類轉(zhuǎn)換的定義

假設(shè)a(x)是Hilbert空間Hθ，k中一個(gè)隨機(jī)變量，固定θ，考慮集合

將

分別定義為a(x)從(θ，k)到(θ，k′)的e轉(zhuǎn)換和m轉(zhuǎn)換.由于

因此

3.3.1e平行轉(zhuǎn)換存在的充要條件

當(dāng)且僅當(dāng)a(x)在(θ，k′)處期望存在，a(x)的e平行轉(zhuǎn)換存在，且有

3.3.2兩類轉(zhuǎn)換包含于 Hilbert空間的條件

a(x)的e轉(zhuǎn)換和m轉(zhuǎn)換屬于Hilbert空間Hθ，k′的充要條件是這兩類轉(zhuǎn)換在(θ，k′)處關(guān)于p(y|x，t；θ，k′)是平方可積的.

3.4Hilbert空間的正交分解

其中將Hilbert空間中滿足條件(15)式和(16)式的所有向量構(gòu)成的閉子空間記為F，其中I表示信息部分，A表示從屬部分，顯然，有以下關(guān)系成立：

通過(guò)以上討論，得到Hilbert空間Hθ，k的一個(gè)正交分解

3.5非線性半?yún)?shù)統(tǒng)計(jì)模型的估計(jì)函數(shù)所在集合

定義g(0)=0，對(duì)g(t)求導(dǎo)得

其中

且?k′∈K，有Eθ，k′［h(x，θ)］=0.若h(x，θ)的分量hi(x，θ)在信息子空間F上的投影向量張成F，并且F是非退化的，則h(x，θ)是非線性半?yún)?shù)統(tǒng)計(jì)模型的一個(gè)估計(jì)函數(shù).

假設(shè)y(x，θ)是非線性半?yún)?shù)統(tǒng)計(jì)模型(2)的一個(gè)估計(jì)函數(shù)，由正則條件(6)知，在Hilbert空間Hθ，k中y(x，θ)的e轉(zhuǎn)換是存在的，且

易證，對(duì)冗余參數(shù)k和k′，有

因此

對(duì)(4)式關(guān)于θ求導(dǎo)數(shù)，可得

于是有

其中u為沿著有興趣參數(shù)θ方向的得分函數(shù)，易見(jiàn)u在子空間F⊕F上的投影不包含F(xiàn)的部分，從而由(32)式知，

其中uI表示u在F上的投影，易見(jiàn)，對(duì)于非線性半?yún)?shù)統(tǒng)計(jì)模型(2)，有

4　估計(jì)函數(shù)存在條件

由以上討論知，對(duì)于非線性半?yún)?shù)統(tǒng)計(jì)模型(2)，其估計(jì)函數(shù)存在的必要條件是信息子空間F非退化，充分條件是固定k0，?k′∈K，，(i=1，...，m)在F上的投影張成F則uI是一個(gè)估計(jì)函數(shù)，且非線性半?yún)?shù)統(tǒng)計(jì)模型的任意估計(jì)函數(shù)y(x，θ)均可以表示為

其中 A(x；θ，k)的分量 Ai(x；θ，k)∈T，T(θ，k)是非奇異矩陣.反之，在某個(gè)定值 k0處，由(36)式定義的函數(shù)y(x，θ)是非線性半?yún)?shù)統(tǒng)計(jì)模型的估計(jì)函數(shù).取T(θ，k)為單位矩陣，得到一個(gè)估計(jì)函數(shù)

5　估計(jì)函數(shù)相應(yīng)估計(jì)量的漸近性質(zhì)以及最優(yōu)估計(jì)函數(shù)的選取

5.1估計(jì)量的漸近性質(zhì)

將(38)式在θ處展開(kāi)，得

z是服從正態(tài)分布N(0，C)的隨機(jī)變量，

從而忽略高階項(xiàng)，可得(?θ-θ)依分布收斂于B-1z，因此

換言之，由(38)式得到的估計(jì)量 ?θ服從漸近正態(tài)分布，其漸近協(xié)方差即為(42)式.由此可知，(37)式定義的估計(jì)函數(shù)相應(yīng)的估計(jì)量 ?θ具有協(xié)方差陣

其中

5.2最優(yōu)估計(jì)函數(shù)

5.2.1最優(yōu)估計(jì)函數(shù)的定義

設(shè)估計(jì)函數(shù)y(x，θ)相應(yīng)的估計(jì)量為?θ，如果對(duì)于任意估計(jì)量 ?θ′，有

則稱y(x，θ)為最優(yōu)估計(jì)函數(shù).其中Var(θ)表示θ的方差.

5.2.2最優(yōu)估計(jì)函數(shù)的選取

當(dāng)非線性半?yún)?shù)統(tǒng)計(jì)模型的真分布恰好由(θ，k0)定義，其中k0∈K是固定的，并且對(duì)于?k∈K，張成F，則

是一個(gè)估計(jì)函數(shù)，且(47)式相應(yīng)的估計(jì)量 ?θ的漸近協(xié)方差陣為Var(?θ)=(GI)-1，易見(jiàn)，對(duì)于θ任意估計(jì)量 ?θ′，均有Var(?θ)≤Var(?θ′)，因此，由(39)式定義的估計(jì)函數(shù)為非線性半?yún)?shù)模型的最優(yōu)估計(jì)函數(shù).

6　實(shí)例分析

對(duì)于非線性半?yún)?shù)統(tǒng)計(jì)模型(2)，利用權(quán)函數(shù)估計(jì)方法取最優(yōu)估計(jì)函數(shù)(39)式中的k0(t) 為k(t)的權(quán)函數(shù)估計(jì)，即

其中

假設(shè)x，t服從［0，1］上的均勻分布，則最優(yōu)帶寬h=0.274，其中K(.)取高斯核，即

下面分別考慮θ是一維和二維兩種簡(jiǎn)單情形，來(lái)驗(yàn)證微分幾何方法的有效性. 例6.1取

則

從而知非線性半?yún)?shù)統(tǒng)計(jì)模型

的最優(yōu)估計(jì)函數(shù)為

由

得到θ的一個(gè)估計(jì)量?θ=-0.0161，且?θ對(duì)應(yīng)的漸近方差為Var(?θ)=0.7433，殘差平方和

其中

取

其中

易見(jiàn)

其數(shù)據(jù)見(jiàn)表1.

例6.2取

則

從而知，最優(yōu)估計(jì)函數(shù)的兩個(gè)分量分別為：

因此，非線性半?yún)?shù)統(tǒng)計(jì)模型

的最優(yōu)估計(jì)函數(shù)為

由

j=1，2，得到θ的估計(jì)量

對(duì)應(yīng)的殘差平方和

其中

令

由

得到θ的最小二乘估計(jì)量為

對(duì)應(yīng)的殘差平方和

其中

易見(jiàn)

其數(shù)據(jù)見(jiàn)表2.

表2　例題6.2數(shù)據(jù)

2　結(jié)束語(yǔ)

非線性半?yún)?shù)統(tǒng)計(jì)模型作為半?yún)?shù)模型的一種推廣，它綜合了非線性回歸和非參數(shù)回歸模型，吸收了各自的優(yōu)點(diǎn).利用微分幾何方法對(duì)非線性半?yún)?shù)統(tǒng)計(jì)模型進(jìn)行分析，解決了以下幾個(gè)主要問(wèn)題，即估計(jì)函數(shù)所在集合，估計(jì)函數(shù)存在條件，估計(jì)函數(shù)相應(yīng)估計(jì)量的漸近性質(zhì)以及如何選取最優(yōu)估計(jì)函數(shù).在文章最后的兩個(gè)例子中，用微分幾何方法進(jìn)行參數(shù)估計(jì)優(yōu)于最小二乘方法.微分幾何方法進(jìn)行參數(shù)估計(jì)是否在所有統(tǒng)計(jì)模型的參數(shù)估計(jì)問(wèn)題中都比最小二乘方法有效？這一問(wèn)題還有待進(jìn)一步探討.

[1］Xue L G，Xue D.Empirical likelood for semiparametric regression model with missing response data[J］. Journal of Multivariate Analysis，2011，102（4）：723-740.

[2］Engle.Semiparametric estimates of the relation between weather and electricity sales[J］.Journal of the American Statistical Association，1986，81（394）：310-320.

[3］Wierzbicki M R，Guo L B，Du Q T，Guo W.Sparse semiparametric nonlinear model with application to chromatographic fingerprints[J］.Journal of the American Statistical Association，2013，109（508）：1339-1349. [4］Amari S.Differential Geometrical Methods in Statistics（Lecture Notes in Statistics）[M］.Berlin：Springer-Verlag，1990.

[5］Amari S.Dual connections on the Hilbert bundles of statistical models[J］.Geometrization of Statistical Theory，1987，3（1）：123-152.

[6］Amari S.Estimation in the presence of infinitely many nuisance parameters-Geometry of estimating function [J］.The Annals of Statistics，1988，16（3）：1044-1068.

[7］Amari S，Han T S.Statistical inference under multiterminal rate restrictions[J］.IEEE Information Theory，1989，35：217-227.

[8］Amari S.Information geometry of estimating functions in semi-parametric statistical models[J］.Bernoulli，1997，3（1）：29-54.

[9］Fu Y Z，Chen X D.Model selection of generalized partially linear models with missing covariates[J］.Journal of Statistical Planning and Inference，2012，142（1）：126-138.

[10］Liu W，Wu L.Some asymptotic results for semiparametric nonlinear mixed-effects models with incomplete data[J］.Journal of Statistical Planning Inference，2010，140（1）：52-64.

2010 MSC:62G86

Geometry method of estimating functions in nonlinear semiparametric models

Zhou Luping，F(xiàn)eng Yu
（School of Science，Nanjing University of Science and Technology，Nanjing210094，China）

The probability density function family of nonlinear semi-parametric statistical model are considered as a statistical manifold.Using the methods of differential geometry to construct Hilbert space corresponding to nonlinear semiparametric model，and then study some questions of estimation function.Using the subspace spanned by two kinds of score function to decompose the Hilbert space orthogonally，and then discuss the set of the estimated function is located，and how to select the best estimate of function problems.Finally，through the analysis of examples to verify the effectiveness of this method.

estimating function，score function，interesting parameter，nuisance parameter

O212

A

1008-5513(2016)04-0351-11

10.3969/j.issn.1008-5513.2016.04.004

2016-01-17.

國(guó)家自然科學(xué)基金(11271189).

周路平(1988-)，碩士生，研究方向：統(tǒng)計(jì)推斷與微分幾何.