基于聯(lián)合Trans-Lasso算法的高維線性回歸模型參數(shù)估計

劉 毅

(華北水利水電大學數(shù)學與統(tǒng)計學院,鄭州 450046)

0 引言

回歸分析是廣泛使用的統(tǒng)計方法之一,可了解結果與一組協(xié)變量的關聯(lián)。但現(xiàn)代統(tǒng)計分析以高維統(tǒng)計為主,即統(tǒng)計模型中有較多參數(shù),在高維回歸分析中表現(xiàn)為自變量的個數(shù)遠大于樣本數(shù)。經(jīng)典的處理方法是充分利用先驗信息,如稀疏性來提取最相關的某些變量參數(shù)(如Lasso估計[1]、彈性網(wǎng)絡、嶺回歸等)。高維問題的特點是變量較多,但用于研究的目標數(shù)據(jù)量較少,達不到研究需要的樣本量,導致建立的模型或算法在實際應用中難以表現(xiàn)出較好的性能。解決此類問題的有效方法是遷移學習[2],它將一些有用的信息從相似的任務遷移到原始任務,以達到較好的學習及預測效果,即將一些與目標模型相關且樣本量足夠的數(shù)據(jù)作為輔助樣本進行研究,可有效解決高維回歸問題。遷移學習得到了廣泛應用,例如在某些生物或醫(yī)學研究,由于倫理或成本問題難以獲得生物學或臨床結果,可利用遷移學習從不同但相關的生物學結果中收集信息,提高結果的預測性及估計性。還可用于商品推薦[3],許多網(wǎng)絡平臺都希望通過預測客戶購買可能性來向其推薦個性化商品,但每個客戶的歷史采購數(shù)據(jù)有限,可將客戶點擊數(shù)據(jù)作為輔助數(shù)據(jù),通過遷移學習來對購買任務進行預測。學者對其具體應用進行了深入研究,Pan[4]等研究了其在客戶評論分類中的應用,Hajiramezanali[5]等研究了其在醫(yī)療診斷中的應用,Wang[6]等研究了拼車平臺中的乘車調度問題。Ma[7]等對輔助樣本及目標樣本的高維問題進行探討,分析了多源高維線性回歸問題。還有人提出了幾種L1懲罰或約束的最小化方法,將其用于高維線性回歸的預測及估計[8-10]。Bastani[3]等利用高維統(tǒng)計技術提出了一種結合大量輔助數(shù)據(jù)及少量目標數(shù)據(jù)的新型兩步估計器。Li Sai[11]等考慮在遷移學習的基礎上使用一些來自不同但可能相關的回歸模型輔助樣本及目標模型樣本對目標模型進行參數(shù)估計及預測分析。Tian[12]等研究了高維廣義線性模型(GLM)下的遷移學習問題。本研究分析了處理高維線性回歸模型參數(shù)估計問題的幾種遷移學習算法,對其性能進行評估及比較。

1 幾種遷移學習算法

考慮高維線性回歸模型中的遷移學習,目標模型可寫成：

(1)

(2)

其中,w(k)∈p是第k次研究的真實系數(shù)向量,是隨機噪聲,使得回歸系數(shù)w(k)未知,且與目標β是不同的。利用目標數(shù)據(jù)及第k個輔助數(shù)據(jù)來研究模型(1)。

輔助樣本是在對目標模型進行參數(shù)估計時提供一些有用信息的樣本,因此用于輔助研究的輔助模型與目標模型之間具有一定的相似性。輔助樣本具有信息性的前提是該輔助模型與目標模型相似。使用w(k)與β之間的差異稀疏性來表示第k個輔助研究的信息水平。設δ(k)=β-w(k)表示w(k)與β之間的差異性。信息輔助樣本是差異性足夠稀疏的樣本,即w(k)與β之間的差大部分為零。用集合A0來表示信息輔助樣本集：

(3)

對于一個向量α=(α1,α2,…,αp)T∈p,定義幾種范數(shù)如下：為α中非零元素的個數(shù),

1.1 遷移彈性網(wǎng)算法

彈性網(wǎng)算法是一種綜合Lasso回歸與嶺回歸的回歸算法。在Lasso回歸進行變量選擇時,有時會篩掉某些對研究有利的變量,而利用嶺回歸研究問題則不能保證稀疏假設。故考慮利用遷移彈性網(wǎng)算法來研究高維線性回歸問題。該算法利用輔助數(shù)據(jù)對輔助模型的回歸參數(shù)進行估計,利用L1與L2懲罰項,利用目標數(shù)據(jù)及估計出的輔助模型回歸參數(shù)對目標模型參數(shù)進行估計。

算法1：遷移彈性網(wǎng)算法

計算

(4)

令

(5)

其中,

(6)

1.2 Orcale Trans-Lasso算法

算法2：Orcale Trans-Lasso算法

計算

(7)

令

(8)

其中,

(9)

1.3 聯(lián)合Trans-Lasso算法

算法2通過對輔助模型的回歸系數(shù)w(k)及其與目標模型的回歸系數(shù)β之間的差距δ(k)的估計得到結果,但估計量與真實值之間總是存在一定的差距,為了縮小這個差距,引入一個新的量γ(k)=β-w(k)-δ(k),表示w(k)+δ(k)與β之間的差距,將輔助數(shù)據(jù)與真實數(shù)據(jù)回歸系數(shù)之間的差距分為更詳細的兩部分進行估計,得到更精確的結果。在聯(lián)合Lasso算法中,信息輔助樣本集合更新為：

(10)

算法3：聯(lián)合Trans-Lasso算法

計算

(11)

計算

(12)

令

(13)

(14)

2 數(shù)值模擬

圖2 聯(lián)合Trans-Lasso、Orcale Trans-Lasso及Lasso的估計誤差Fig.2 Estimation error of combined Trans-Lasso, Orcale Trans-Lasso and Lasso

圖1與圖2的橫坐標代表信息輔助樣本集A0的不同取值,縱坐標表示各種算法在對模型參數(shù)進行估計時產(chǎn)生的均方誤差。

由圖1、圖2可知,與傳統(tǒng)的Lasso算法相比,遷移彈性網(wǎng)、Orcale Trans-Lasso、聯(lián)合Trans-Lasso在對高維回歸模型參數(shù)進行估計時誤差較小,表明這三種算法在處理此類問題時能夠表現(xiàn)出較好的性能。且Lasso的估計性能并不隨著信息輔助樣本集合的改變而變化,三種遷移學習算法的估計誤差隨著信息輔助樣本集合的增大而減小。

其中MSE等于參數(shù)β的估計值與真實值的差的平方的平均值,絕對誤差等于MSE與LassoMSE之間的差,提升率等于絕對誤差與LassoMSE的比值。

從表1可以看出,三種算法與傳統(tǒng)的Lasso算法相比都有較高的提升率,其中遷移彈性網(wǎng)算法、Trans-Lasso算法、聯(lián)合Lasso算法的提升率分別為83.84%、89.58%、90.85%。聯(lián)合Trans-Lasso算法的提升率最高,說明聯(lián)合Lasso算法處理高維回歸模型的參數(shù)估計問題會表現(xiàn)出更好的性能。

表1 Lasso、遷移彈性網(wǎng)、Orcale Trans-Lasso及聯(lián)合Lasso均方誤差對比Tab.1 Comparison of mean square error of Lasso, migration elastic network, Orcale Trans-Lasso and Joint Lasso

3 結論

研究了在信息輔助樣本已知的情況下幾種處理高維線性回歸問題算法的性能。結果表明,與傳統(tǒng)的Lasso估計相比,遷移彈性網(wǎng)算法、Orcale Trans-Lasso算法、聯(lián)合Trans-Lasso算法的估計誤差都遠遠小于Lasso估計,其中聯(lián)合Lasso算法的估計誤差最小,說明這幾種遷移學習算法都能較好地解決此類高維回歸問題。但遷移學習在統(tǒng)計學中的應用較少,可考慮在信息輔助樣本未知的情況下聯(lián)合Trans-Lasso算法及其他遷移學習算法,探討其是否能表現(xiàn)出較好的性能。