多模態(tài)高維數(shù)據(jù)關(guān)聯(lián)分析的聯(lián)合協(xié)同回歸模型

王凱明 李榮鵬 肖玉柱 宋學(xué)力

(長安大學(xué)理學(xué)院 陜西 西安 710064)

0 引 言

在大數(shù)據(jù)時代，伴隨著信息技術(shù)的快速發(fā)展和數(shù)據(jù)獲取手段的多樣化，產(chǎn)生了大量的多模態(tài)高維數(shù)據(jù)。多模態(tài)高維數(shù)據(jù)的關(guān)聯(lián)分析實現(xiàn)模態(tài)間信息的互補，可提高數(shù)據(jù)的使用價值。然而在進行多模態(tài)高維數(shù)據(jù)關(guān)聯(lián)分析時，對不同模態(tài)數(shù)據(jù)進行簡單的整合并不能保證挖掘任務(wù)的有效性，且經(jīng)常出現(xiàn)過擬合現(xiàn)象。因此，研究有效的模型在防止過擬合的同時實現(xiàn)多模態(tài)數(shù)據(jù)的關(guān)聯(lián)分析，然后得到多模態(tài)高維數(shù)據(jù)中的重要信息，支撐后續(xù)的決策、預(yù)測，具有重要的現(xiàn)實意義，也是現(xiàn)階段大數(shù)據(jù)研究關(guān)注的重要課題之一[1-2]。

在統(tǒng)計學(xué)習(xí)中,線性回歸(Linear Regression,LR)和典型相關(guān)分析(Canonical Correlation Analysis,CCA)是研究變量間關(guān)系的兩個常用統(tǒng)計模型。其中，線性回歸主要針對單模態(tài)數(shù)據(jù),研究變量組與響應(yīng)變量之間的線性依賴關(guān)系；而典型相關(guān)分析主要針對兩模態(tài)數(shù)據(jù),通過典型變量的相關(guān)性來刻畫變量之間相關(guān)性[3]。然而，現(xiàn)實任務(wù)中的單模態(tài)或者多模態(tài)數(shù)據(jù)，經(jīng)常會存在樣本特征維度(或?qū)傩跃S度)遠大于樣本數(shù)的現(xiàn)象，這會導(dǎo)致統(tǒng)計學(xué)習(xí)的嚴重過擬合或者維數(shù)災(zāi)難問題，所以需要從樣本的高維特征空間里提取或者選擇較少的“重要”的特征來解決或者緩解過擬合問題以及維數(shù)災(zāi)難問題。利用某些向量范數(shù)(如l1范數(shù))的稀疏性能，通過對目標進行正則懲罰來實現(xiàn)特征選擇，是近年來研究者們常用的方法[4-5]。稀疏線性回歸(Sparse Linear Regression,SLR)[4]和稀疏典型相關(guān)分析(Sparse Canonical Correlation Analysis,SCCA)[5]就是基于這個思想發(fā)展的具有特征提取功能和統(tǒng)計分析功能的新模型。針對已知響應(yīng)變量數(shù)據(jù)的多模態(tài)數(shù)據(jù)，兼顧響應(yīng)變量的監(jiān)督作用和兩模態(tài)數(shù)據(jù)的關(guān)聯(lián)性背景，結(jié)合SLR與SCCA進行多模態(tài)數(shù)據(jù)的特征選擇[6-7]可以實現(xiàn)有監(jiān)督的多模態(tài)數(shù)據(jù)特征提取以及相關(guān)關(guān)系研究。文獻[6]組合了SLR與SCCA模型得到協(xié)同回歸模型(Collaborative Regression,CoReg)，并用于乳腺癌多模態(tài)數(shù)據(jù)的特征選擇，得到與乳腺癌多模態(tài)數(shù)據(jù)及其響應(yīng)變量保持一致的重要特征。文獻[7]組合上述兩個模型得到多任務(wù)協(xié)同回歸模型(Multi-Task Collaborative Regression,MT-CoReg)，并應(yīng)用于精神分裂癥多模態(tài)數(shù)據(jù)的特征選擇，該模型對變量進行分組，在多模態(tài)數(shù)據(jù)之間，以及多模態(tài)數(shù)據(jù)與響應(yīng)變量之間進行“強迫”回歸,提高了特征選擇的準確度。值得注意的是，在CoReg模型和MT-CoReg模型中均假設(shè)所有樣本數(shù)據(jù)分布規(guī)律相同，然而實際問題中，數(shù)據(jù)往往來自不同狀態(tài)的樣本，并且不同狀態(tài)的樣本數(shù)據(jù)之間存在顯著的差異[8](例如：來自不同疾病狀態(tài)病人的數(shù)據(jù)分布不同；來自不同年齡段個體的數(shù)據(jù)分布亦可能存在顯著差異)。因此，在模型中考慮不同類樣本數(shù)據(jù)的分布差異性更適合實際數(shù)據(jù)的分布規(guī)律，也有利于類相關(guān)特征選擇。一種簡單的想法就是對樣本分類，對每一類樣本單獨處理。這樣可進行類相關(guān)信息的選擇，但是導(dǎo)致可用的樣本數(shù)量較少，增加了學(xué)習(xí)難度并且容易忽略不同類樣本數(shù)據(jù)之間的共同信息的選擇，使得其實際應(yīng)用受到限制。因此，本文考慮對不同種類樣本進行聯(lián)合分析，通過多類多模態(tài)數(shù)據(jù)信息的互補實現(xiàn)類相關(guān)特征選擇。

針對上述問題，本文考慮Fused lasso[9]的融合作用，在文獻[6]中模型的基礎(chǔ)上加入Fused lasso懲罰構(gòu)建本文的模型。文獻[9]中Fused lasso懲罰通過對回歸系數(shù)中相鄰元素之差進行l(wèi)1懲罰達到回歸系數(shù)融合的目的，可保證回歸系數(shù)具有光滑性。本文考慮對不同類樣本的典型向量進行Fused lasso懲罰，使得不同的典型向量之差具有稀疏性，不同典型向量中相同坐標分量之間具有光滑性。就是通過Fused lasso懲罰實現(xiàn)了K類樣本的聯(lián)合。

本文首先構(gòu)建聯(lián)合協(xié)同回歸模型(Joint Collaborative Regression,Joint-CoReg)，其主要思想為：根據(jù)先驗信息(如年齡、疾病狀態(tài)等)將樣本分為K類,通過協(xié)同回歸模型進行變量之間以及變量與標簽之間的相關(guān)性分析，然后使用Fused lasso實現(xiàn)K類樣本之間的聯(lián)合作用，最后使用l1范數(shù)得到類相關(guān)的稀疏典型向量。求解其中一模態(tài)數(shù)據(jù)的一個典型向量，另一模態(tài)數(shù)據(jù)的K個不同典型向量有兩方面的原因。一方面，考慮模型在實際問題中的應(yīng)用。例如影像遺傳學(xué)研究中，通常采集腦圖像數(shù)據(jù)和基因數(shù)據(jù)來研究某些疾病(如精神分裂癥、阿爾茨海默病等)，研究人員希望找到與疾病相關(guān)的共同病變腦區(qū)和導(dǎo)致不同疾病狀態(tài)的不同致病基因[10]，此時共同病變腦區(qū)和不同致病基因正好分別對應(yīng)我們模型中的一模態(tài)數(shù)據(jù)的一個典型向量和另一模態(tài)數(shù)據(jù)的K個不同典型向量。另一方面，限制其中一模態(tài)數(shù)據(jù)屬于共同類克服了多類樣本直接組合的數(shù)據(jù)不匹配問題，提高了模型求解的穩(wěn)定性。

1 方 法

1.1 稀疏回歸模型和稀疏典型相關(guān)分析模型

設(shè)X=[X1；X2；…；Xn]與Z=[Z1；Z2；…；Zn]為已標準化的兩模態(tài)樣本數(shù)據(jù)，其中Xi∈R1×p，Zi∈R1×q表示樣本的第i個分量數(shù)據(jù)，i=1,2,…,n；Y∈Rn為樣本的響應(yīng)變量數(shù)據(jù)。

數(shù)據(jù)X與其響應(yīng)變量數(shù)據(jù)Y之間的回歸模型可以表示為：

在Xω和Zν方差確定的條件下，兩模態(tài)數(shù)據(jù)X和Z的典型相關(guān)分析模型可以表示為：

然而，對于常見的高維度、小樣本的問題，以上模型通常會出現(xiàn)過擬合現(xiàn)象，導(dǎo)致模型無法求解。文獻[5,8]考慮l1范數(shù)的稀疏作用，在上述模型中加入l1范數(shù)稀疏懲罰，構(gòu)造基于稀疏懲罰的回歸模型和典型相關(guān)分析模型。

數(shù)據(jù)X與其響應(yīng)變量數(shù)據(jù)Y之間的稀疏回歸模型可以表示為：

式中：λ為待定參數(shù)。通過求解稀疏回歸系數(shù)ω挖掘數(shù)據(jù)X和Y之間的稀疏線性關(guān)系。

在Xω和Zν方差確定的條件下，兩模態(tài)數(shù)據(jù)X和Z的稀疏典型相關(guān)分析模型可以表示為：

文獻[6]結(jié)合稀疏回歸模型和稀疏典型相關(guān)分析模型提出協(xié)同回歸模型，其目標函數(shù)如下：

該模型在響應(yīng)變量數(shù)據(jù)Y的監(jiān)督下得到兩模態(tài)數(shù)據(jù)X和Z之間具有最大相關(guān)性的稀疏典型向量，但是忽略了不同類樣本數(shù)據(jù)的分布信息性，增加了類相關(guān)特征選擇的難度。

1.2 聯(lián)合協(xié)同回歸模型

考慮包含多類樣本的兩模態(tài)數(shù)據(jù)X∈Rn×p，Z∈Rn×q。按樣本種類將數(shù)據(jù)分為X=[X1；X2；…；XK],Z=[Z1；Z2；…；ZK],Xk∈Rnk×p,Zk∈Rnk×q表示第k類樣本,k=1,2,…,K。對X、Z、Y進行聯(lián)合協(xié)同回歸，建立目標函數(shù)：

(1)

式中：ω∈Rp×1,υk∈Rq×1，k=1,2，…,K,分別是X和Zk對應(yīng)的典型向量,a、λ1、λ2為可調(diào)參數(shù)，λ1、λ2用于調(diào)節(jié)ω、υk的稀疏程度。通過求解目標函數(shù)分別得到關(guān)于X和Zk(k=1,2,…,K)的典型相關(guān)變量。

不同類樣本之間的聯(lián)合，使用以下Fused lasso懲罰項實現(xiàn)：

Fused lasso懲罰項對不同類的典型向量之差進行稀疏懲罰，保證不同典型向量的相同分量之間具有光滑性。通過Fused lasso懲罰和l1范數(shù)懲罰得到類相關(guān)稀疏典型向量。參數(shù)a控制υk(k=1,2,…,K)之間的融合程度。特別地,當a=0時,各類樣本之間無融合作用，此時模型等價于對K類樣本分別協(xié)同回歸；當a=∞時，所有類別的樣本被視為一類，其對應(yīng)的典型向量υk完全相同，此時模型等價于將K類樣本作為整體協(xié)同回歸。

1.3 模型優(yōu)化算法

為了保證聯(lián)合協(xié)同回歸模型(1)解的唯一性，我們對典型向量ω、νk的范數(shù)(或長度)加以約束，將優(yōu)化問題(1)轉(zhuǎn)化為以下約束優(yōu)化問題：

(2)

將式(2)中的l2范數(shù)按照向量內(nèi)積展開，去掉展開式中常數(shù)項(常數(shù)項不含決策變量，不影響優(yōu)化問題求解最小值)，優(yōu)化問題轉(zhuǎn)化為如下形式：

(3)

(4)

(5)

(6)

(7)

式中：c為非負參數(shù),當c=0時標簽數(shù)據(jù)變?yōu)?，此時模型只進行協(xié)變量(多模態(tài)數(shù)據(jù))之間的相關(guān)性分析，模型相當于聯(lián)合典型相關(guān)分析模型[8]。隨著c的增大，T中絕對值較大的元素變化幅度較大。因此在參數(shù)選擇中選擇合適的c有利于樣本中較重要特征的選擇[14]。

由以上推導(dǎo),式(2)的求解可以轉(zhuǎn)化為式(5)求解(當K=2時，使用式(7)代替式(5))。式(5)(或式(7))中ω、vk為決策變量，固定ω，式(5)(或式(7))為另一決策變量vk的凸函數(shù)，反之亦然?？梢允褂脡K坐標下降法對式(5)(或式(7))分式(8)-式(9)兩步進行迭代求解：

(8)

(9)

為求解式(8)和式(9),引入如下引理。

(10)

(11)

式(10)為Fused lasso信號逼近的一種特殊情況。通過融合、稀疏和正則化三步對其進行求解，由文獻[15]得到式(10)求解算法。優(yōu)化問題(8)和問題(9)可分別應(yīng)用引理1和引理2得以求解。下面給出聯(lián)合協(xié)同回歸模型詳細求解算法[6,13]，如算法1所示。

算法1Joint-CoReg算法

輸入:標準化數(shù)據(jù):X∈Rn×p,Xk∈Rnk×p,Zk∈Rnk×q,Y∈Rn×1，可調(diào)參數(shù)a,λ1,λ2

輸出:ω和υk

(1) 初始化ω∈Rp×1,υk∈Rq×1,k=1，2，…，K

(9) 重復(fù)步驟(2)-步驟(8)，直到算法收斂

1.4 模型的應(yīng)用

多模態(tài)高維數(shù)據(jù)關(guān)聯(lián)分析模型，在防止高維數(shù)據(jù)過擬合的同時，通過模態(tài)間信息的互補挖掘數(shù)據(jù)中隱藏的價值，具有重要的現(xiàn)實意義。本文建立聯(lián)合協(xié)同回歸模型，該模型可有效地防止過擬合，且進行多模態(tài)數(shù)據(jù)的關(guān)聯(lián)分析，最終得到數(shù)據(jù)的重要信息。數(shù)據(jù)的重要信息在模型中則表現(xiàn)為稀疏典型變量中非零元素。通過數(shù)據(jù)的重要信息可以進一步進行分類、預(yù)測等諸多任務(wù)，其應(yīng)用范圍非常廣泛。

為了驗證本文模型得到的重要信息有效性，將模型用于特征選擇，直接對比本文模型求得的實驗結(jié)果和真值，二者越接近說明模型越有效。

式中：I為示性函數(shù)；m1為給定閾值；Sωi為選擇特征的集合。對于Zk的典型向量,給定閾值m2，利用同樣的方法進行特征選擇。

2 實驗與結(jié)果分析

2.1 生成模擬數(shù)據(jù)

考慮包含兩類樣本的兩模態(tài)數(shù)據(jù),每一類樣本包含n個樣例。數(shù)據(jù)構(gòu)造方法與文獻[5,8]中數(shù)據(jù)構(gòu)造方法相類似。首先構(gòu)造潛變量hk={hki|i=1,2,…,n},hk∈Rn×1,hki～N(μk,δ)(k=1,2,…,K),不同的μk來構(gòu)造不同類別的樣本；其次產(chǎn)生X和Yk的典型向量α和βk,α∈R1×p,βk∈R1×q,α和βk中分別包含m和r個非零的元素，其中非零元素為需要選擇的特征；最后得到Xk和Zk：Xk=hkα，Zk=hkβk。不失一般性，此處給定兩類樣本，且μ1=-1,μ2=1,n=100，特征數(shù)p=q=500，典型向量的稀疏度m=r=150。

2.2 參數(shù)選擇

該模型有四個可調(diào)參數(shù)λ1、λ2、a、c(兩類樣本的情況考慮參數(shù)c)，其中λ1,λ2控制典型向量的稀疏程度，a控制各Zk的典型向量的相似程度，c的大小反映響應(yīng)變量數(shù)據(jù)的重要程度。為了保證模型的穩(wěn)定性,本文分兩步進行參數(shù)選擇：第一步，根據(jù)文獻[16]指出的參考解的稀疏程度進行參數(shù)選取。本文根據(jù)需要保留的特征數(shù)量指導(dǎo)λ1、λ2的選取。第二步：在參數(shù)λ1、λ2確定的情況下，給定a和c的備選區(qū)間[10-2,10-1,100,101,102]，使用自助法(bootstrapping)從已有的樣本中產(chǎn)生M組不同的訓(xùn)練樣本和測試樣本，用網(wǎng)格搜索的方法，選擇使得測試集和訓(xùn)練集相關(guān)系數(shù)平均絕對誤差取得最小值的一組參數(shù)a和c，作為參數(shù)a和c的最優(yōu)值，模型使用的參數(shù)值在實驗部分均給出。測試集和訓(xùn)練集相關(guān)系數(shù)平均絕對誤差計算公式如下：

式中：corrtrain為訓(xùn)練集上的Pearson相關(guān)系數(shù)，corrtest為測試集上的Pearson相關(guān)系數(shù)。

2.3 實驗結(jié)果分析

聯(lián)合協(xié)同回歸模型在保證典型變量之間有較高相關(guān)性的前提下通過典型向量選擇重要特征，本文在實驗部分從典型變量的相關(guān)性和特征選擇準確率兩方面驗證模型的有效性。其中典型變量之間的相關(guān)性使用Pearson相關(guān)系數(shù)描述,特征選擇準確性使用ROC曲線來描述。給定特征向量的稀疏度(λ1、λ2給定),研究參數(shù)a和c對典型變量的相關(guān)性和特征選擇準確率的影響(不同參數(shù)a和c將模型轉(zhuǎn)化為其他模型，相當于對比實驗)。

表2給定最優(yōu)參數(shù)λ1、λ2、a，研究參數(shù)c的變化對典型變量相關(guān)性的影響，c分別取值0、50、100、150。實驗結(jié)果表明，c取值為50和100時相關(guān)性略高于c取值為0和150時的相關(guān)性,但是在四個取值下所得相關(guān)性相差不大。表3給定參數(shù)λ1、λ2、c，研究參數(shù)a的變化對典型變量相關(guān)性的影響。a分別取值0、10、20、1 000，實驗結(jié)果表明a取值為0時取得最大的相關(guān)性,在a的四個取值下所得相關(guān)性相差不大。所以，表1和表2表明特征選擇稀疏度給定(λ1、λ2給定)的情況典型變量相關(guān)性對參數(shù)a、c不敏感，說明本文模型可以保證多模態(tài)數(shù)據(jù)之間(協(xié)變量之間)的相關(guān)性。

表1 參數(shù)c對數(shù)據(jù)相關(guān)性影響對比

表2 參數(shù)a對數(shù)據(jù)相關(guān)性影響對比

ROC曲線反映了在不同參數(shù)下模型選擇特征的準確度，其中ROC曲線越靠近(0,1)點，說明特征選擇準確率越高。圖1給定最優(yōu)參數(shù)λ1、λ2、a,研究參數(shù)c的變化對樣本數(shù)據(jù)X的特征選擇準確性的影響,ROC圖像表明c=50和c=100時模型選擇特征的準確度明顯高于c=50和c=150時特征選擇的準確性。c=0時響應(yīng)變量的取值為零,此時去掉了表型變量數(shù)據(jù)對特征選擇影響，特征選擇準確率降低,由此說明在表型變量數(shù)據(jù)的監(jiān)督下可提高模型特征選擇的準確性；c=100時加大了響應(yīng)變量數(shù)據(jù)的作用,減小了協(xié)變量的影響,降低了Joint-CoReg模型特征選擇的準確率。圖1說明響應(yīng)變量數(shù)據(jù)在一定程度上影響特征選擇的準確率，對響應(yīng)變量數(shù)據(jù)給定合適的權(quán)重可以提高模型特征選擇的準確率。

圖1 不同參數(shù)c對應(yīng)數(shù)據(jù)X中特征選擇的ROC曲線

圖2和圖3反映了在最優(yōu)參數(shù)λ1、λ2、c下,不同的參數(shù)a對樣本數(shù)據(jù)Z的特征選擇的準確性的影響?？梢钥闯鯽=10和a=20時特征選擇的準確度相差不大,a=0和a=1 000時模型的特征選擇準確性明顯低于a=10和a=20的準確度。a=0時Joint-CoReg模型對各類樣本的典型向量無融合作用,此時模型相當于對各類樣本分別協(xié)同回歸，a=1 000時Joint-CoReg模型使得各樣本的典型向量完全融合為一類，此時相當于將所有樣本數(shù)據(jù)視為同類,圖2和圖3說明Joint-CoReg模型特征選擇準確率高于CoReg模型特征選擇準確率，Joint-CoReg模型具有選擇類特征信息的能力。

圖2 不同參數(shù)a對應(yīng)變量Z1特征選擇的ROC曲線

圖3 不同參數(shù)a對應(yīng)變量Z2特征選擇的ROC曲線

3 結(jié) 語

本文建立了聯(lián)合協(xié)同回歸模型用于多模態(tài)高維數(shù)據(jù)的關(guān)聯(lián)分析。 該模型在協(xié)同回歸模型中加入Fused lasso懲罰來實現(xiàn)多類樣本之間的聯(lián)合作用, 實驗結(jié)果中類相關(guān)特征的選擇表明Fused lasso可以有效地實現(xiàn)多類樣本的聯(lián)合作用。模型求解部分對模型進行必要的簡化，得到高效的迭代求解算法，該簡化過程可保證模型的有效性，對于高維數(shù)據(jù)的模型求解具有重要參考意義。實驗構(gòu)造模擬數(shù)據(jù)，通過特征選擇的準確率驗證模型有效性，使用ROC曲線對比不同模型特征選擇的準確率。實驗結(jié)果表明，Joint-CoReg模型在保證變量相關(guān)性的同時實現(xiàn)了類相關(guān)特征選擇，較CoReg模型有更高的特征選擇準確率。模型建立過程中，在標簽變量數(shù)據(jù)引入?yún)?shù)，并在實驗部分討論該參數(shù)變化對模型的影響，通過對比實驗得出結(jié)論：對標簽變量數(shù)據(jù)給定合適權(quán)重可提高模型性能。