面向網(wǎng)絡(luò)數(shù)據(jù)的Elastic Net回歸模型

蘇美紅

（太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原 030006）

0 引言

線性模型作為一種經(jīng)典的機(jī)器學(xué)習(xí)算法，不僅具有較為簡潔的表示形式，而且具有較好的可解釋性。傳統(tǒng)的線性模型，通常是基于獨(dú)立同分布假設(shè)的，忽略了數(shù)據(jù)之間的關(guān)聯(lián)性，從而不能有效地適用于網(wǎng)絡(luò)數(shù)據(jù)問題。然而，當(dāng)前大數(shù)據(jù)時代，事物及其關(guān)聯(lián)前所未有地以數(shù)據(jù)的形式被記錄和收集，因而產(chǎn)生了大量的網(wǎng)絡(luò)數(shù)據(jù)［1］。如何合理地將網(wǎng)絡(luò)數(shù)據(jù)中包含的關(guān)聯(lián)信息融入到回歸模型中，以進(jìn)一步提高線性模型的泛化性能，是機(jī)器學(xué)習(xí)領(lǐng)域一個重要的研究課題。

網(wǎng)絡(luò)數(shù)據(jù)已廣泛存在生活中的方方面面，如生物制藥、智能交通、電子商務(wù)、疫情防控等［2］。網(wǎng)絡(luò)數(shù)據(jù)作為一種數(shù)據(jù)表現(xiàn)形式，能夠有效地刻畫和描述數(shù)據(jù)之間的關(guān)聯(lián)性?；诖?，面向網(wǎng)絡(luò)數(shù)據(jù)的回歸模型引起了學(xué)者們的廣泛關(guān)注。目前已有的基于網(wǎng)絡(luò)數(shù)據(jù)的回歸模型均是基于屬性之間的關(guān)聯(lián)性，忽略了輸出變量（或標(biāo)簽）之間的潛在結(jié)構(gòu)信息，進(jìn)而影響了回歸模型預(yù)測的準(zhǔn)確度。近期，Network Lasso［3］通過構(gòu)建含有輸出變量之間的網(wǎng)絡(luò)結(jié)構(gòu)圖，并利用平方損失和L1正則化對參數(shù)進(jìn)行選擇和估計(jì)，為解決上述問題提供了一種新思路。然而，當(dāng)變量之間相關(guān)性較強(qiáng)時，該方法的性能會明顯減弱；而且面向高維小樣本數(shù)據(jù)，容易導(dǎo)致模型過度稀疏化。為解決上述問題，基于含有輸出變量結(jié)構(gòu)信息的回歸模型，本文提出了面向網(wǎng)絡(luò)數(shù)據(jù)的Elastic Net 回歸模型。該模型主要包含有平方損失函數(shù)項(xiàng)和Elastic Net 正則項(xiàng)兩部分，第一部分平方損失函數(shù)項(xiàng)既包含有樣本屬性信息，又包含有樣本輸出變量之間的結(jié)構(gòu)信息；第二部分Elastic Net正則項(xiàng)由L1和L2組成，前者具有變量選擇能力，后者可以處理共線性問題，并且具有一定的穩(wěn)定性。綜上，所提模型有效地解決數(shù)據(jù)共線性以及模型過度稀疏問題，從而進(jìn)一步提高了回歸模型預(yù)測的準(zhǔn)確性和可解釋性。其主要貢獻(xiàn)如下：

（1）構(gòu)建了一種含有樣本結(jié)構(gòu)信息的回歸模型，避免了傳統(tǒng)線性模型獨(dú)立同分布的基礎(chǔ)假設(shè)。

（2）提出了一種面向網(wǎng)絡(luò)數(shù)據(jù)的回歸模型算法，既包含網(wǎng)絡(luò)數(shù)據(jù)的結(jié)構(gòu)信息，又能夠有效處理強(qiáng)相關(guān)性問題，避免了模型過度稀疏化。

1 面向網(wǎng)絡(luò)數(shù)據(jù)的回歸模型

網(wǎng)絡(luò)數(shù)據(jù)［4］通常用圖來表示，圖中每個節(jié)點(diǎn)代表一個具體的網(wǎng)絡(luò)實(shí)體，如社交網(wǎng)絡(luò)中的一個用戶；節(jié)點(diǎn)之間的連接邊代表實(shí)體之間的關(guān)系，如兩個用戶之間的好友關(guān)系。近十年來，隨著數(shù)據(jù)采集技術(shù)的蓬勃發(fā)展，數(shù)據(jù)不僅呈現(xiàn)出了上述網(wǎng)絡(luò)結(jié)構(gòu)的特點(diǎn)，而且具有高維性。因此，如何有效地分析或處理高維網(wǎng)絡(luò)數(shù)據(jù)成為了機(jī)器學(xué)習(xí)、計(jì)算機(jī)科學(xué)、生物信息等領(lǐng)域的研究熱點(diǎn)［5-7］。目前關(guān)于網(wǎng)絡(luò)數(shù)據(jù)的研究主要集中在兩個方面，一方面是關(guān)于網(wǎng)絡(luò)結(jié)構(gòu)的研究［8-9］，另一方面主要考慮將網(wǎng)絡(luò)數(shù)據(jù)中的結(jié)構(gòu)信息與機(jī)器學(xué)習(xí)中常用的經(jīng)典模型相結(jié)合［10-11］。前者旨在根據(jù)數(shù)據(jù)估計(jì)未知的網(wǎng)絡(luò)結(jié)構(gòu)，典型的方法有罰似然估計(jì)和鄰居選擇方法［12］。后者主要是利用機(jī)器學(xué)習(xí)模型對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分析，以便作進(jìn)一步推斷或預(yù)測。本文將重點(diǎn)關(guān)注于后者，具體地，本文將聚焦于回歸模型與網(wǎng)絡(luò)結(jié)構(gòu)信息相結(jié)合的研究。

高維性已經(jīng)成為了網(wǎng)絡(luò)數(shù)據(jù)的基本特點(diǎn)之一，高維問題的本質(zhì)特點(diǎn)是具有稀疏性，即數(shù)據(jù)表面上維數(shù)很高，但本質(zhì)上具有低維結(jié)構(gòu)［12］。以高維線性模型為例，雖然輸入變量的維數(shù)或?qū)傩詡€數(shù)遠(yuǎn)大于樣本數(shù)，但事實(shí)上，對輸出變量有重要影響的屬性很少。正則化方法的提出，為求解高維問題提供了一種有效的途徑。在此基礎(chǔ)上，以Lasso 為代表的一類回歸模型具有了變量（特征）選擇能力，如自適應(yīng)Lasso［13］、LAD-Lasso［14］、SCAD［15］等?；诨貧w模型的網(wǎng)絡(luò)數(shù)據(jù)分析也引起了相關(guān)學(xué)者的注意。例如，Zhu 和Levina 等［16］提出了一種網(wǎng)絡(luò)鏈接數(shù)據(jù)的預(yù)測模型，他們在個體模式效應(yīng)中引入了基于網(wǎng)絡(luò)的懲罰，以表示鏈接節(jié)點(diǎn)的預(yù)測因子之間的相似性，該方法是點(diǎn)估計(jì)問題的回歸版本［17-18］。此外，在貝葉斯框架下，該方法可解釋為應(yīng)用高斯馬爾可夫隨機(jī)場作為先驗(yàn)的網(wǎng)絡(luò)回歸問題。在經(jīng)濟(jì)學(xué)中，Manski［19］對社交網(wǎng)絡(luò)展開研究；Asur 等［20］通過研究網(wǎng)絡(luò)結(jié)構(gòu)來對現(xiàn)實(shí)生活場景進(jìn)行預(yù)測。上述工作利用回歸模型對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行了有效的分析，由此也表明網(wǎng)絡(luò)數(shù)據(jù)在回歸模型中重要的研究價值。然而，考慮樣本輸出變量的網(wǎng)絡(luò)結(jié)構(gòu)信息尚未得到充分的研究。尤其在回歸模型構(gòu)建中，并未合理利用輸出變量之間的網(wǎng)絡(luò)結(jié)構(gòu)信息。近期，Su 等［3］通過網(wǎng)絡(luò)圖將樣本之間存在的潛在結(jié)構(gòu)信息引入的回歸模型中，提出了Network Lasso 模型，通過網(wǎng)絡(luò)圖將樣本鄰近信息加入回歸模型中，提高了模型的預(yù)測精度；另一方面，在估計(jì)回歸模型參數(shù)時，通過L1正則項(xiàng)達(dá)到了變量選擇的能力。然而，上述方法存在明顯不足，一方面缺乏穩(wěn)定性，容易導(dǎo)致較大波動；另一方面忽略了變量之間的共線性問題，從而使得回歸參數(shù)估計(jì)的準(zhǔn)確度降低，進(jìn)而影響了回歸模型的預(yù)測精度。

針對上述問題，本文提出了一種新的基于L1和L2正則項(xiàng)的Network Elastic Net 回歸模型，前者L1正則項(xiàng)能夠保證模型的稀疏性；后者L2正則項(xiàng)既可以保證模型的穩(wěn)定性，又能夠有效解決變量之間的共線性問題。

2 Network Elastic Net回歸模型

線性回歸模型形式簡單、易于建模，同時蘊(yùn)含著機(jī)器學(xué)習(xí)中一些重要的基本思想，很多功能更為強(qiáng)大的非線性模型可在線性模型的基礎(chǔ)上通過引入層次結(jié)構(gòu)或高維映射而得到［21］。此外，由于線性模型中的回歸參數(shù)直觀地表達(dá)了各個輸入變量或?qū)傩蕴卣髟陬A(yù)測中的重要性，從而使得線性模型具體很好地可解釋性。

2.1 線性回歸模型

線性模型通常具有如下形式：

其中Y=(y1，y2，…，yn)∈Rn為n維響應(yīng)向量，yi(i=1，2，…，n)表示第i個樣本的輸出值，n為樣本個數(shù)；X=(X1T，…，XjT，…，XpT)∈Rn×p為設(shè)計(jì)矩陣，p為輸入變量個數(shù)，Xj=(x1j，x2j，…，xnj) 表示第j個輸入特征；β=(β1，…，βp)T∈Rp為回歸模型參數(shù)；ε=(ε1，ε2，…，εn)T為模型誤差向量。當(dāng)參數(shù)β確定后，模型得以確定。因此，根據(jù)給定數(shù)據(jù)集估計(jì)回歸參數(shù)是線性模型的根本目標(biāo)。

經(jīng)典的回歸模型參數(shù)估計(jì)方法為最小二乘估計(jì)（Least Squares estimator，LS）［22］，即

正則化方法［23］始于20 世紀(jì)40 年代積分方程的研究。近年來，正則化已成為稀疏建模和變量選擇的有效方法，其基本思想為在目標(biāo)函數(shù)上加入關(guān)于模型參數(shù)的懲罰函數(shù)項(xiàng)或正則化項(xiàng)來降低模型的復(fù)雜度，其中基于最小二乘的正則化模型應(yīng)用最為廣泛，如Lasso［24］。Lasso（Least Absolute Shrinkage and Selection Operator）是Tibshirani 提出的基于平方損失的正則化方法，能夠同時實(shí)現(xiàn)變量選擇和模型參數(shù)估計(jì)。其模型如下：

其中λ≥0 為正則化參數(shù)，為參數(shù)向量β的L1范數(shù)。

Lasso 回歸使用L1范數(shù)作為懲罰函數(shù)項(xiàng)，通過對參數(shù)β施加一定的約束，使得部分參數(shù)取值為0，從而實(shí)現(xiàn)了變量選擇的能力。在此基礎(chǔ)上，各種不同的懲罰函數(shù)被提出，從而產(chǎn)生了多種不同的正則化回歸方法，如L1/2［25］，Adaptive Lasso［26］，Elastic Net 回歸［27］，SCAD（Smoothly Clipped Absolute Deviation）［28］，MCP（Minimax Concave Penalty）［29］，Hard 閾值罰［30］等等。上述正則化回歸模型均具有變量選擇的能力，因而被廣泛應(yīng)用于矩陣分解［31］，多標(biāo)簽學(xué)習(xí)［32］，多目標(biāo)學(xué)習(xí)［33］等。此外，上述方法還可用來處理不平衡數(shù)據(jù)。進(jìn)一步，面向網(wǎng)絡(luò)數(shù)據(jù)的正則化方法也引起了相關(guān)學(xué)者的關(guān)注［34］。

2.2 Network Elastic Net模型構(gòu)建

為提高模型預(yù)測的準(zhǔn)確性，在擬合過程中，不僅考慮每個樣本的預(yù)測變量xi對其響應(yīng)變量yi的影響，同時考慮其鄰接樣本yj(j=1，2，…，n) 對其產(chǎn)生的影響，具體構(gòu)建模型如下：

其中i=1，2，…，n，yi代表第i個響應(yīng)變量，xi代表第i個預(yù)測變量，εi為模型誤差，β∈Rp為對應(yīng)的p維待估回歸參數(shù)，yj(j∈Mi)表示與yi具有連接關(guān)系的響應(yīng)變量，αj為相應(yīng)的影響系數(shù)，Mi表示與yi相連接的響應(yīng)變量組成的集合，即Mi={j|(yi，yj)∈E)}。

為便于理解與計(jì)算，本文假設(shè)第i(i=1，…，n)個響應(yīng)變量yi的所有連接變量yj對其有相同的影響，并令其為α，即αj=αj'=α(j，j'∈Mi)。從而，構(gòu)建模型如下：

進(jìn)一步，為估計(jì)未知回歸參數(shù)β，本文考慮如下正則化估計(jì)：

其中第一項(xiàng)為損失函數(shù)項(xiàng)，度量學(xué)習(xí)結(jié)果在數(shù)據(jù)上的誤差損失；第二項(xiàng)為L1正則項(xiàng)，能夠保證模型的稀疏性；第三項(xiàng)為L2正則項(xiàng)，具有強(qiáng)凸性，因而參考文獻(xiàn)［27］中引理2，可知當(dāng)數(shù)據(jù)中的因變量xi1和xi2具有相關(guān)性時，該模型有能力將xi1和xi2同時選出或剔除，即具有組變量選擇的能力；λ1和λ2為大于0 的正則化參數(shù)，λ1越大，模型的稀疏性越強(qiáng)。

將回歸模型（1）重新整理成矩陣形式如下：

其中矩陣A∈Rn×n為圖G的鄰接矩陣，如果(u，v)∈E，則Auv=1，否 則Auv=0；ε=(ε1，ε2，…，εn)T為n維模型誤差向量，εi服從高斯分布。相應(yīng)地，模型（2）重新整理如下：

由Zou 等［27］可知，L1+L2范數(shù)稱為Elastic Net 正則項(xiàng)（或罰函數(shù)），故將式（3）稱為面向網(wǎng)絡(luò)數(shù)據(jù)的Elastic Net 回歸模型，即Network Elastic Net 模型。特別地，當(dāng)λ2=0 時，上述模型即為Network Lasso。與Network Lasso 相比，文所提模型增加了L2正則項(xiàng)，L2正則項(xiàng)是各個元素的平方之和，具體強(qiáng)凸性，因而本文所提模型具有組變量選擇的能力。

其中γ∈(0，1)，當(dāng)γ=1 時，上述模型即為Network Lasso。顯然，對于模型（3），參數(shù)λ1∈(0，∞)，λ2∈(0，∞)；而在上式中λ1∈(0，∞)且γ∈(0，1)。因此通過引入?yún)?shù)γ可降低模型參數(shù)選擇的難度，提高計(jì)算效率。

2.3 Network Elastic Net模型求解

本小節(jié)詳細(xì)介紹所提模型（3）的求解算法，本文分別考慮影響系數(shù)α已知和未知兩種情況。為便于理解，對（3）式進(jìn)行推導(dǎo)。

（1） 當(dāng)α已知時，本文采用坐標(biāo)下降法求解回歸參數(shù)β，具體如下：

對上式右邊求導(dǎo)，并令所求導(dǎo)數(shù)為0，可得

其中若βj＞0，則e=1；若βj＜0，則e=-1。

對上式進(jìn)一步整理，可得

即

其中Shrink[u，η]=sgn(u)max(|u|-η，0)。

進(jìn)一步，可得

（2）當(dāng)α未知時，本文采用交替迭代和坐標(biāo)下降法進(jìn)行求解。

首先，固定β，求解α如下：

根據(jù)坐標(biāo)下降法，可求得

其次，固定α，求解β，所得結(jié)果同（4）。

因此，當(dāng)α未知時，交替迭代公式（4）和（5）可分別求得參數(shù)α和β，直到收斂。

綜上，求解Network Elastic Net 的算法步驟如算法1。

算法1 Network Elastic Net 模型求解算法輸入：數(shù)據(jù)D={(xi，yi })n i=1，參數(shù)γ ∈(0，1)，正則化參數(shù)λ，迭代誤差δ，鄰接矩陣A。輸出：回歸參數(shù)β 和影響系數(shù)α。Step 1.初始化：給定初始值β0。Step 2.Repeat根據(jù)公式（1.5）更新α。根據(jù)公式（1.4）更新β。Until■■β?k-β?k-12 ≤δ。

3 Network Elastic Net回歸模型

本節(jié)通過人工數(shù)據(jù)集上的實(shí)驗(yàn)來驗(yàn)證所提模型Network Elastic Net 的有效性，并與Network Lasso 和Lasso 進(jìn)行比較。此外，為了盡可能準(zhǔn)確全面地利用樣本之間的網(wǎng)絡(luò)結(jié)構(gòu)信息，本節(jié)考慮三種最常用的網(wǎng)絡(luò)結(jié)構(gòu)圖，分別為Scale-Free（SF）網(wǎng)絡(luò)，Hub 網(wǎng)絡(luò)和Erd?s-Renyi（ER）網(wǎng)絡(luò)。具體結(jié)構(gòu)形式如圖1。

圖1 樣本量n=100的三種網(wǎng)Fig.1 Three kinds of network graph with n=100

3.1 數(shù)據(jù)集及評價指標(biāo)

本文參考文獻(xiàn)［3］生成實(shí)驗(yàn)數(shù)據(jù)，具體假定樣本量個數(shù)n=100；預(yù)測變量維數(shù)p=50，100，200，300，400；設(shè)計(jì)矩陣X中的每一行服從正態(tài)分布N(0，Σ)，Σ=(σij)，σij=0.5||i-j；模型誤差εi服從標(biāo)準(zhǔn)正態(tài)分布N(0，1)，真實(shí)回歸系。在此基礎(chǔ)上，響應(yīng)變量Y按

生成，并固定α=2；A為上述網(wǎng)絡(luò)結(jié)構(gòu)圖的鄰接矩陣。

此外，定義幾個評價指標(biāo)如下：

（1）Lq損失：；

（3） 變量選擇個數(shù)N：N=#{j：j≠0}；

（4）F1-score：2TP/(2TP+FP+FN)。其中TP=#{j：β0j=0，且j=0}；FP=#{j：β0j=0，且j≠0}；FN=#{j：β0j≠0，且j=0}。

針對每一種網(wǎng)絡(luò)圖，首先比較了不同γ值對所提方法的影響，分別考慮了γ=0.2，0.35，0.5，0.65，0.8 等5 個不同的值。其次研究了不同維度下本文所提方法的預(yù)測與變量選擇能力。最后將本文所提模型Network Elastic Net（E-Netlasso）與Network Lasso（Netlasso）、Lasso 進(jìn)行了比較，以此驗(yàn)證所提方法的有效性。下面分別以三種網(wǎng)絡(luò)圖為例進(jìn)行具體的分析和討論。

3.2 SF網(wǎng)絡(luò)

3.2.1 參數(shù)γ對模型的影響

本小節(jié)研究γ值對E-Network 模型的影響，具體包括模型預(yù)測準(zhǔn)確度和變量選擇能力兩方面，實(shí)驗(yàn)結(jié)果如圖2 所示。

圖2 SF網(wǎng)絡(luò)中γ對模型的影響Fig.2 Influence of γ in SF network on the model

圖2（a）給出了本文所提方法在不同維度下取得的L2損失值隨參數(shù)γ的變化情況，進(jìn)而衡量本文所提方法在不同γ值下的預(yù)測效果。由圖可知，當(dāng)樣本維度p=50 或100 時，L2損失值在0.5 處取得最小值，即E-Network 的預(yù)測準(zhǔn)確度最高；當(dāng)p=200 時，隨著γ的增大，L2損失值減小并趨于穩(wěn)定；當(dāng)p=300 時，L2損失值基本取得了相同的值；當(dāng)p=400 時，L2損失值在γ=0.2 和0.5 之間基本相同，隨著γ的增大，L2損失值先增大后減小。整體而言，當(dāng)維數(shù)較高（大于樣本個數(shù)）時，本文所提方法E-Network在不同的γ值下所得誤差基本相同，由此表明參數(shù)γ對E-Network 影響較為穩(wěn)定。當(dāng)維數(shù)較低時，E-Network 在0.5 處取得最小損失值，此時預(yù)測精度最高。

圖2（b） 展示了本文所提方法在不同γ值下的變量選擇結(jié)果。由該圖可知，當(dāng)樣本維度p=50 時，隨著γ的增大，F(xiàn)1 分?jǐn)?shù)值逐漸增大，在γ=0.65 處達(dá)到最大；當(dāng)p=100 時，F(xiàn)1 分?jǐn)?shù)值在γ=0.5 處達(dá)到最大；當(dāng)p=200 時，隨著γ的增大，F(xiàn)1 分?jǐn)?shù)值先增大后減小，在γ=0.35和0.65 處達(dá)到最大，在γ=0.2 處最??；當(dāng)p=300 或400 時，F(xiàn)1 分?jǐn)?shù)值均在γ=0.5 處取得最大。綜上可得，參數(shù)值γ對本文所提方法在變項(xiàng)選擇方面較為敏感。綜上可得，當(dāng)γ=0.5時，E-Network 在預(yù)測準(zhǔn)確度和變量選擇方面均取得了較好的結(jié)果。更為全面詳細(xì)的實(shí)驗(yàn)結(jié)果請參見附錄2 表1。

3.2.2 不同p值下的實(shí)驗(yàn)結(jié)果

本小節(jié)研究了本文所提方法隨樣本維度p的變化情況。為使得結(jié)果更加清晰明了，固定γ=0.5，結(jié)果如圖3 所示。

圖3（a） 給出了L2損失值隨p的變化情況，從圖中可以看出隨著維數(shù)的增大，L2損失值越來越小，即本文所提方法的預(yù)測準(zhǔn)確度越來越高。由此說明E-Network 在高維情況下表現(xiàn)效果更好。圖3（b）和3（c）分別從變量選擇個數(shù)N 和F1分?jǐn)?shù)值兩方面展示了E-Network 在變量選擇方面的能力。由圖（b）可知，當(dāng)p=100 或400 時，所選變量比較少；當(dāng)p=200 或300 時，所選變量幾乎相等；當(dāng)p=50 時，介于上述兩者之間。由圖（c）可知，隨著維數(shù)的增高，變量選擇的準(zhǔn)確度越來越高。由此可得，當(dāng)p=100 時，E-Network 選擇了較少的變量且準(zhǔn)確度較低；當(dāng)p=50 時有類似的結(jié)果；當(dāng)p=200 或300 時，模型所選變量個數(shù)較多，但準(zhǔn)確度較低；當(dāng)p=400 時，E-Network 所選變量個數(shù)最少且準(zhǔn)確度最高，即所選的非零變量與真實(shí)的非零變量比較一致。綜上可得，當(dāng)樣本維數(shù)較高時，E-Network 在模型預(yù)測精度和變量選擇方面均取得了較好的結(jié)果。

3.2.3 三種方法的比較結(jié)果

本小節(jié)將所提方法E-Network 與Lasso 及Netlasso 進(jìn)行比較，具體結(jié)果與分析如下。

圖4 給出了三種方法在不同維度下的損失值和變量選擇結(jié)果。由圖4（a）可得，隨著維數(shù)的增加，Lasso 和Netlasso 的L2損失值先減小后增大，后又減??；而E-Netlasso 的L2損失值持續(xù)減小，且遠(yuǎn)小于Lasso 和Netlasso。圖4（b）和4（c）顯示，在p=50，200，300 的情況下，本文所提方法的變量選擇效果優(yōu)于其他兩種方法；在p=100 時，Netlasso 表現(xiàn)最好，E-Netlasso 次之；在p=400 時，Lasso 表現(xiàn)最好，E-Netlasso 表現(xiàn)最差，其原因在于參數(shù)γ和λ的選擇較大，從而使得其稀疏性更強(qiáng)。

綜上可知，無論是低維數(shù)據(jù)，還是高維數(shù)據(jù)，本文所提方法均取得了最小的損失值，從而說明本文所提方法E-Network 具有更為準(zhǔn)確的預(yù)測效果。在特征選擇和模型選擇方法，本文所提方法均可以取得最優(yōu)或與次優(yōu)的結(jié)果。整體而言，相比于Lasso 和NetLasso，E-Network在預(yù)測和變量選擇方面均有較好的效果，尤其對于高維數(shù)據(jù)。由此說明，該方法能夠更好地處理變量的共線性問題，進(jìn)而進(jìn)一步提高模型預(yù)測的準(zhǔn)確度。

3.3 Hub網(wǎng)絡(luò)

3.3.1 參數(shù)γ對模型的影響

下圖展示了L2損失值和F1 分?jǐn)?shù)值隨參數(shù)γ的變化情況。

由圖5（a）可得，當(dāng)p=50 或100 時，E-Network 的L2損失值隨γ的變化波動比較大，其中p=50 時在0.35 處取得最小值，0.65 處次之，0.2處為最大；p=100 時在0.65 處，L2損失值最大，在0.35 和0.5 處幾乎相等且最小。當(dāng)p大于等于200 時，隨著γ的增大，L2損失值基本趨于穩(wěn)定，尤其當(dāng)p=300 或400。圖5（b）給出了ENetwork 模型不同維度下F1 分?jǐn)?shù)值隨γ的變化情況。當(dāng)p=50 和100 時，隨著γ值的增大，F(xiàn)1分?jǐn)?shù)值的變化趨勢基本一致，且均在0.2 處和0.65 處取的了幾乎相等的最小值。當(dāng)p=200時，在0.5 處變量選擇效果最好，在0.35 和0.65處最差。當(dāng)p=300 或400 時，隨著γ的變化，F(xiàn)1分?jǐn)?shù)值幾乎保持不變且取值較大。綜上可得，本文所提模型在預(yù)測和變量選擇方面，當(dāng)樣本維數(shù)較低時，受γ影響較大；當(dāng)維數(shù)較高時，對參數(shù)γ敏感度較小。更為全面詳細(xì)的實(shí)驗(yàn)結(jié)果請參見附錄2 表2。

3.3.2 維度p對模型的影響

本小節(jié)研究了樣本維度p對模型的影響。類似地，固定γ=0.5。

圖6（a）展示了所提模型在不同維度下的預(yù)測效果，圖6（b）和6（c）分別給出了所提模型在不同維度下的變量選擇個數(shù)和F1 分?jǐn)?shù)值，用來衡量E-Network 模型的變量選擇能力。由圖（a）可知，隨著維數(shù)的增高，E-Network 的損失值呈下降趨勢，在p=300 處取得最小，隨后略有增高，但均遠(yuǎn)小于p=50 時所得損失值。由圖（b）可知，當(dāng)p=400 時，所選變量個數(shù)最接近于真實(shí)值，且由圖（c）可知F1 分?jǐn)?shù)值也較大，即模型可以以很大的概率選出與真實(shí)模型一致的非零變量。類似地，從圖（b）可知當(dāng)p=50 到300 時，模型所選變量個數(shù)遠(yuǎn)遠(yuǎn)小于真實(shí)的值。同時由圖（c）可知，F(xiàn)1 分?jǐn)?shù)值隨著維度的增高而增大，即當(dāng)p=300 時，雖然模型所選變量個數(shù)較少，但精度較高；相反地，當(dāng)p=50 時，模型所選變量個數(shù)較少且精度很低。

3.3.3 三種方法的比較結(jié)果

將本文所提方法E-Network 與Lasso、Netlasso 進(jìn)行了比較，具體結(jié)果與分析如下。

圖7（a）給出了三種模型的L2損失值，用來衡量各個模型預(yù)測的準(zhǔn)確度。由圖（a）可知，本文所提模型的L2損失值遠(yuǎn)小于其余兩種模型，尤其當(dāng)p=300 時。且整體而言，隨著維度的變化，E-Netlasso 模型的L2損失值波動較小，相對比較穩(wěn)定，其次是Netlasso，Lasso 表現(xiàn)最差。圖7（b）和7（c）分別展示了三種模型的變量選擇個數(shù)和F1 分?jǐn)?shù)值，用來衡量模型的變量選擇能力。由（b）可知，除p=300 外，E-Netlasso 取得的變量個數(shù)均最接近于真實(shí)值。由圖（c）可知，E-Netlasso 所得F1 分?jǐn)?shù)值隨維數(shù)的增高而增大，且均大于其余兩種模型所得值。當(dāng)p=300 時，Netlasso 所選變量個數(shù)最接近于真實(shí)值，但由圖（c）可知其準(zhǔn)確度較小。綜合（b）和（c）可得，E-Netlasso 在變量選擇方面可取得最優(yōu)或次優(yōu)。綜上可得，E-Netlasso 在回歸模型預(yù)測和變量選擇方法均優(yōu)于Netlasso 和Lasso。

圖7 ER網(wǎng)絡(luò)中γ對模型的影響Fig.7 Influence of γ in ER network on the model

3.4 ER網(wǎng)絡(luò)

3.4.1 參數(shù)γ對模型的影響

圖8 展示了L2損失值和F1 分?jǐn)?shù)值隨參數(shù)γ的變化情況。

圖8 SF網(wǎng)絡(luò)中γ對模型的影響Fig.8 Influence of γ in ER network on the model

類似于Scale-free 網(wǎng)絡(luò)和Hub 網(wǎng)絡(luò)，當(dāng)維度較低時，E-Netlasso 對參數(shù)γ較為敏感，尤其在模型預(yù)測方面。當(dāng)維度較高時，E-Netlasso 模型受參數(shù)γ影響相對較小。更為全面詳細(xì)的實(shí)驗(yàn)結(jié)果請參見附錄2 表3。

3.4.2 維度p對模型的影響

圖9 給出了固定γ值，E-Network 隨p變化的L2損失值、變量選擇個數(shù)及F1 分?jǐn)?shù)值。由圖（a）可得，隨著維度的增大，L2損失值逐漸減小，在p=400 處取得最小值。由圖（b）和（c）可得，當(dāng)p=300 時，所選變量個數(shù)大于真實(shí)值，但正確率略有偏小。當(dāng)p=400 時，所選變量個數(shù)小于真實(shí)值，但正確率相對較高。當(dāng)p=50 時，變量選擇個數(shù)及正確率均最差。綜上進(jìn)一步可得，本文所提模型在高維情況下在模型預(yù)測和變量選擇方法均較好。

圖9 Hub網(wǎng)絡(luò)中p對模型的影響Fig.9 Influence of p in ER network on the model

3.4.3 三種方法的比較結(jié)果

圖10 展示了三種模型的L2損失值、變量選擇個數(shù)及F1 分?jǐn)?shù)值，用來比較三種模型的預(yù)測和變量選擇能力。顯然，在預(yù)測方面，由圖（a）可知，E-Netlasso 要遠(yuǎn)遠(yuǎn)優(yōu)于其他兩種模型。結(jié)合變量選擇個數(shù)和F1 分?jǐn)?shù)值，E-Netlasso 同樣可以達(dá)到最優(yōu)或次優(yōu)。綜上，當(dāng)鄰接矩陣為ER網(wǎng)絡(luò)圖時，本文所提方法仍可取得最好的實(shí)驗(yàn)結(jié)果。

圖10 Hub網(wǎng)絡(luò)下三種模型的比較Fig.10 Comparison of three models under ER network

4 實(shí)際數(shù)據(jù)分析

本節(jié)將所提方法應(yīng)用于房屋價格預(yù)測數(shù)據(jù)來驗(yàn)證其有效性。該數(shù)據(jù)來源于R 語言中的igraph 包，記錄了2008 年5 月某地區(qū)一周內(nèi)的房地產(chǎn)交易信息，共包含有985 個交易數(shù)據(jù)。每項(xiàng)交易中包括緯度、經(jīng)度、臥室數(shù)量、浴室數(shù)量、房屋面積和銷售價格等信息。

在實(shí)驗(yàn)中，將價格和所有屬性均進(jìn)行了標(biāo)準(zhǔn)化處理，使其均值為0，方差為1。實(shí)驗(yàn)中隨機(jī)選用200 個數(shù)據(jù)作為測試集，剩余數(shù)據(jù)作為訓(xùn)練集。此外，本節(jié)根據(jù)每個房子的經(jīng)度和緯度坐標(biāo)來構(gòu)建訓(xùn)練集和測試集上的網(wǎng)絡(luò)圖結(jié)構(gòu)，對于任一樣本i，其相鄰個數(shù)g分別考慮3，5，7，10，所有的，即g=3，5，7，10，All 多種情況。對于影響系數(shù)α，本文選用與兩房屋之間距離成反比的權(quán)重值連接。需注意的是，如果房屋j在房屋i的最近鄰集合中，那么無論房屋i是否是房屋j的最近鄰居之一，它們之間都存在一條無向邊。進(jìn)一步，本實(shí)驗(yàn)使用樣本內(nèi)平均平方預(yù)測誤差 （In-sample mean squared prediction errors）和樣本外的平均平方預(yù)測誤差 （Out-sample mean squared prediction errors）來評模型的優(yōu)劣?；谀M實(shí)驗(yàn)結(jié)果，選取參數(shù)γ=0.5。

首先，比較了 Lasso，Netlasso 和E-Netlasso三種方法在各個g下的實(shí)驗(yàn)結(jié)果。在此，僅對g=3 的實(shí)驗(yàn)結(jié)果進(jìn)行詳細(xì)的分析討論，其余幾種情況將在附錄中給出其實(shí)驗(yàn)結(jié)果。

圖11 給出了樣本連結(jié)個數(shù)為3 時的實(shí)驗(yàn)結(jié)果。由圖11 可知，無論是在測試集上，還是在訓(xùn)練集上，本文所提方法都取得了最小的均方誤差值，Netlasso 次之，Laaso 表現(xiàn)最差。由此可知，在構(gòu)建回歸模型時，加入樣本的網(wǎng)絡(luò)結(jié)構(gòu)信息有利于提高回歸模型預(yù)測的準(zhǔn)確度。

圖11 g=3時三種模型的比較Fig.11 Comparison of three models under g=3

其次，分別比較了Netlasso 和E-Netlasso 兩種方法在各個相鄰個數(shù)下的實(shí)驗(yàn)結(jié)果。

圖12 分別給出了Netlasso 在樣本連接個數(shù)分別為3，5，7，10，All 五種情況下的測試集和訓(xùn)練集上的均方誤差值。由此可以看出，當(dāng)個數(shù)為10 時，Netlasso 表現(xiàn)最好；當(dāng)個數(shù)為3 時，Netlasso 表現(xiàn)最差，當(dāng)考慮所有樣本時，其表現(xiàn)次之。當(dāng)樣本個數(shù)為5 和7 時，Netlasso 取得了幾乎相近的均方誤差值，尤其在訓(xùn)練集上。值得注意的是，在訓(xùn)練集上取得的誤差值略小于測試集上，其原因或許在于樣本量的大小對其產(chǎn)生的影響。

圖12 不同g下Netlasso的實(shí)驗(yàn)結(jié)果比較Fig.12 Performance of Netlasso under different g

圖13 分別給出了E-Netlasso 在不同樣本連接個數(shù)下的測試集和訓(xùn)練集上的均方誤差值。同樣的，當(dāng)g=10 時，本文所提方法表現(xiàn)最好；當(dāng)g=3 時，表現(xiàn)最差。此外，由圖（b）可知，當(dāng)g=5，7，All 時，Network Elastic Net 具有相近的表現(xiàn)效果，且均大于在g=10 時取得的誤差值。由此說明，當(dāng)利用網(wǎng)絡(luò)結(jié)構(gòu)圖構(gòu)建回歸模型時，其連接個數(shù)的數(shù)量對結(jié)果的影響尤為重要。因此，如何有效合理地選取合適的樣本連接個數(shù)值是值得探討的。

圖13 不同g下E-Netlasso的實(shí)驗(yàn)結(jié)果比較Fig.13 Performances of E-Netlasso under different g

5 結(jié)語

為了有效處理網(wǎng)絡(luò)數(shù)據(jù)中的變量相關(guān)性問題，本文提出了一種面向網(wǎng)絡(luò)數(shù)據(jù)的Elastic Net回歸模型。該模型既具有變量選擇的能力，又能夠有效處理變量的相關(guān)性問題。進(jìn)一步，所得研究結(jié)果表明，本文所提方法無論是預(yù)測損失還是變量選擇的準(zhǔn)確性都有明顯改善，尤其面向高維網(wǎng)絡(luò)數(shù)據(jù)。

本文所提模型為具有強(qiáng)相關(guān)性變量的網(wǎng)絡(luò)數(shù)據(jù)提供了一種新的解決思路。此外，在回歸模型構(gòu)建中加入樣本鄰接樣本信息能夠提高模型預(yù)測的準(zhǔn)確度，然而，如何選恰當(dāng)?shù)剡x擇鄰接樣本個數(shù)仍是值得探討的重要問題之一。