基于動態(tài)獨立成分分析和動態(tài)主成分分析的測地線流式核無監(jiān)督回歸模型

來顏博， 閻高偉， 程 蘭， 陳澤華

(太原理工大學(xué) 電氣與動力工程學(xué)院， 太原 030024)

符號說明

A—獨立成分分析(ICA)中的混合矩陣

AICA—包含主要非高斯信息的混合矩陣

dDICA—源域與目標(biāo)域之間非高斯信息相似性度量值

dDPCA—源域與目標(biāo)域之間高斯信息相似性度量值

E—ICA中的殘差

Es—源域通過動態(tài)ICA(DICA)提取非高斯信息后的殘差

Et—目標(biāo)域通過DICA提取非高斯信息后的殘差

fDICA—非高斯信息回歸模型

fDPCA—高斯信息回歸模型

G—格拉斯曼流形空間

l—動態(tài)滯后時間

LDICA—非高斯信息映射矩陣

LDPCA—高斯信息映射矩陣

M—與輸入數(shù)據(jù)X相關(guān)的潛在獨立成分

wDICA—非高斯信息回歸模型的權(quán)值

wDPCA—高斯信息回歸模型的權(quán)值

W—ICA中的解混矩陣

WICA—包含主要非高斯信息的解混矩陣

Ws-DICA—源域非高斯信息的解混矩陣

Ws-DPCA—源域高斯信息的負(fù)載矩陣

Wt-DICA—目標(biāo)域非高斯信息的解混矩陣

Wt-DPCA—目標(biāo)域高斯信息的負(fù)載矩陣

X—ICA方法中的輸入數(shù)據(jù)

Xs—源域數(shù)據(jù)

Xt—目標(biāo)域數(shù)據(jù)

目前，軟測量技術(shù)[1-2]已被廣泛應(yīng)用于工業(yè)生產(chǎn)過程中關(guān)鍵參數(shù)的實時監(jiān)測，如精餾塔含水量預(yù)測[3]和石油分餾生產(chǎn)過程監(jiān)測[4].然而在實際工業(yè)過程中，由于運行任務(wù)與設(shè)定值變化等情況，容易導(dǎo)致系統(tǒng)工況發(fā)生變化，造成實時數(shù)據(jù)和建模所用數(shù)據(jù)的分布不一致，致使傳統(tǒng)的軟測量模型性能惡化[5-6].

為解決多工況下軟測量模型失準(zhǔn)問題，Zhao等[7]提出一種多模型建模方法，基于歷史數(shù)據(jù)建立不同工況下的子模型，然后將實時數(shù)據(jù)與子模型匹配識別，實現(xiàn)工業(yè)生產(chǎn)過程的監(jiān)測.Jin等[8]借鑒多模型策略和集成學(xué)習(xí)思想，通過加權(quán)融合多個子模型的信息獲得集成回歸模型，實現(xiàn)對盤尼西林發(fā)酵過程監(jiān)測.李元等[9]提出一種基于非高斯信息的即時學(xué)習(xí)軟測量模型，通過交互信息選擇與當(dāng)前樣本最相關(guān)的樣本集，建立相應(yīng)軟測量模型，實現(xiàn)對硫回收生產(chǎn)工藝過程監(jiān)測.上述方法在一定程度解決了多工況下軟測量問題，卻未實質(zhì)性消除多工況下數(shù)據(jù)分布差異對軟測量建模造成的影響.

遷移學(xué)習(xí)方法放寬了訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)須滿足獨立同分布的要求，通過遷移源域已有的知識來解決與源域相關(guān)的未知目標(biāo)域?qū)W習(xí)問題[10-14].目前，遷移學(xué)習(xí)廣泛應(yīng)用于圖像識別[15]、文檔分類[16]和情緒分析[17]，近年來在工業(yè)過程中的應(yīng)用也逐漸增多[18-19].在遷移學(xué)習(xí)中，根據(jù)目標(biāo)域是否標(biāo)記，將其分為半監(jiān)督遷移學(xué)習(xí)和無監(jiān)督遷移學(xué)習(xí).實際工業(yè)過程中普遍存在目標(biāo)域無帶標(biāo)簽樣本問題，因此本文主要研究基于無監(jiān)督遷移學(xué)習(xí)的軟測量建模方法.

針對目標(biāo)域缺乏帶標(biāo)簽樣本問題，基于流形的無監(jiān)督遷移學(xué)習(xí)受到廣泛關(guān)注.它將不同域映射為潛在連續(xù)流形空間上的不同點，相較于歐式空間能更好地減小域間的數(shù)據(jù)分布差異[20].在基于流形的遷移理論基礎(chǔ)上，Gong等[21]提出一種測地線流式核(GFK)的方法，將目標(biāo)域與源域映射為格拉斯曼流形空間上的兩個點，引入核方法，選取從源域到目標(biāo)域之間的測地線上所有點，以實現(xiàn)連續(xù)遷移過程，并成功應(yīng)用于跨域圖像分類問題.近年來，該方法也被拓展到應(yīng)對非線性[22]和克服噪聲干擾[23]等場景下.多種場景下的應(yīng)用結(jié)果表明相較于歐式空間，在流形空間下進(jìn)行域遷移更能減小域間的數(shù)據(jù)分布差異.

上述GFK方法均以主成分分析(PCA)特征提取為基礎(chǔ)，而PCA是建立在測量變量獨立且服從高斯分布的假設(shè)上.由于實際工業(yè)過程往往具有動態(tài)特性且數(shù)據(jù)分布同時包含非高斯信息和高斯信息，在實際情況下并不能嚴(yán)格遵循該前提.Ku等[24]提出一種動態(tài)主成分分析(DPCA)方法，在過程數(shù)據(jù)中增加延時測量值構(gòu)成增廣矩陣，以應(yīng)對過程的動態(tài)特性情況.為克服實際工業(yè)中的非高斯信號和動態(tài)影響，Lee等[25]提出動態(tài)獨立成分分析(DICA)以提取原始變量的非高斯信息.Zhang等[26]提出將DICA與DPCA結(jié)合以提取數(shù)據(jù)中非高斯信息和高斯信息，兼顧過程的動態(tài)特性，并應(yīng)用在工業(yè)過程故障監(jiān)測中.這些特征提取方法為解決GFK難以應(yīng)對工業(yè)過程中動態(tài)特性提取和數(shù)據(jù)不完全服從高斯分布問題提供了思路.

針對傳統(tǒng)軟測量模型難以適應(yīng)數(shù)據(jù)分布變化，本文將GFK引入到軟測量領(lǐng)域中.同時針對GFK難以解決工業(yè)過程中動態(tài)特性提取和數(shù)據(jù)不完全服從高斯分布問題，引入DICA和DPCA以提取源域與目標(biāo)域的非高斯信息和高斯信息.分別將提取的信息在格拉斯曼流形空間上遷移適配目標(biāo)域，結(jié)合集成學(xué)習(xí)機制，融合適配后的非高斯信息與高斯信息，形成最終的軟測量模型，實現(xiàn)多工況下參數(shù)建模.

1 理論算法

1.1 動態(tài)獨立成分分析

ICA假設(shè)數(shù)據(jù)變量間相互獨立且非高斯分布，它可以提取出數(shù)據(jù)的非高斯信息.給定輸入數(shù)據(jù)X∈N×m，N為數(shù)據(jù)X的N維觀測量，m為數(shù)據(jù)X的樣本數(shù).在ICA算法中，X與潛在的獨立成分M∈d×m存在一種關(guān)系：

X=AM+E

(1)

式中：A∈N×d為混合矩陣；E∈N×m為殘差矩陣.變形得

M=WX

(2)

式中：W=A-1為解混矩陣.

選取多變量中主要的非高斯信息有助于解釋獨立成分的物理意義.參照文獻(xiàn)[27]方法計算解混矩陣W每一行的L2范數(shù)并進(jìn)行排序，選取出WICA和We.WICA為含有主要非高斯信息的解混矩陣；We為剩余的W；混合矩陣A劃分為相應(yīng)的AICA和Ae.

為解決過程中動態(tài)特性提取的問題，在當(dāng)前時刻k的輸入數(shù)據(jù)X下，增加前l(fā)時刻測量數(shù)據(jù)，可得增廣矩陣

(3)

1.2 測地線流式核方法

為解決GFK在工業(yè)過程中的動態(tài)特性提取和數(shù)據(jù)不完全服從高斯分布問題，我們通過DICA方法獲得源域Xs與目標(biāo)域Xt的非高斯信息解混矩陣Ws-DICA和Wt-DICA，通過DPCA方法獲取源域與目標(biāo)域的高斯信息負(fù)載矩陣Ws-DPCA和Wt-DPCA，Ws-DICA和Wt-DICA為D×d維矩陣，D=(l+1)N.由于非高斯信息遷移過程相同和高斯信息遷移相同，本節(jié)重點闡述如何利用GFK方法對源域與目標(biāo)域的非高斯信息進(jìn)行遷移.

GFK為一種流形空間下的遷移學(xué)習(xí)方法，通過將源域與目標(biāo)域投影到格拉斯曼流形空間，以尋找一條從源域到目標(biāo)域的測地線.用G(d,D)表示一個D維向量空間中所有d個向量構(gòu)成的格拉斯曼流形空間，方法原理如圖1所示.

將源域與目標(biāo)域數(shù)據(jù)投影到G(d,D)空間后，需要計算從源域變換到目標(biāo)域的測地線，這里用Φ(t) 作為格拉斯曼流形空間下的測地線映射函數(shù)，作用是將x映射到G(d,D)上，t∈[0,1].Xs和Xt的非高斯信息在G(d,D)中分別映射為：Φ(0)=Ws-DICA，Φ(1)=Wt-DICA.當(dāng)t∈(0,1)時，則

圖1 GFK原理圖[21]

(4)

(5)

U1∈d×d和U2∈(D-d)×d為正交矩陣；Γ(t)和Σ(t)為對應(yīng)的d×d對角矩陣；對角元素分別為 cosθi和sinθi(i=1,2,…,d)；θi為Ws-DICA和Wt-DICA的主角，0≤θi≤π/2.

(6)

式中：G∈D×D為半正定矩陣，其本質(zhì)上是一個核映射，

(7)

Λ1、Λ2和Λ3為對角陣，對角元素分別為

進(jìn)而可以獲得原始樣本沿測地線方向遷移后的樣本：

(8)

(9)

1.3 最大均值差異

最大均值差異(MMD)廣泛用于度量源域與目標(biāo)域分布差異[29]，在本文中被用來度量源域Xs與目標(biāo)域Xt的非高斯信息相似性以及高斯信息相似性，并為基于源域構(gòu)建的軟測量模型加權(quán)集成.令H為再生核希爾伯特空間(RKHS)，φ(·)表示原數(shù)據(jù)映射到H的映射函數(shù)，則源域與目標(biāo)域的MMD表述為

(10)

2 基于DICA-DPCA的GFK無監(jiān)督回歸模型

在多工況軟測量建模問題上，本文考慮到在工業(yè)過程中數(shù)據(jù)往往具有動態(tài)特性且數(shù)據(jù)分布同時包含非高斯信息和高斯信息，提出一種基于DICA-DPCA的GFK軟測量模型，使用DICA-DPCA-GFK表示，模型結(jié)構(gòu)圖2如所示.

結(jié)合圖2與相關(guān)理論算法描述，DICA-DPCA-GFK軟測量方法首先增加源域Xs和目標(biāo)域Xt的前l(fā)時刻測量數(shù)據(jù)，以解決工業(yè)過程中動態(tài)特性提取的問題.考慮到工業(yè)過程中數(shù)據(jù)不完全服從高斯分布問題，通過ICA與PCA的結(jié)合提取源域和目標(biāo)域的非高斯信息與高斯信息，并在格拉斯曼流形空間上分別遷移源域非高斯信息與高斯信息適配目標(biāo)域，以降低域間分布差異，最后利用適配后的源域非高斯信息和高斯信息建立相應(yīng)的軟測量模型，借助MMD度量適配后度量源域與目標(biāo)域的非高斯信息相似性和高斯信息相似性，集成非高斯信息模型和高斯信息模型，實現(xiàn)目標(biāo)域的標(biāo)簽預(yù)測， DICA-DPCA-GFK算法流程如下所示：

圖2 DICA-DPCA-GFK模型結(jié)構(gòu)圖

給定源域數(shù)據(jù)Xs∈a×N；目標(biāo)域數(shù)據(jù)Xt∈b×N.

步驟2計算解混矩陣Ws和Wt每一行的L2范數(shù)并進(jìn)行排序，選取出含有主要非高斯信息的解混矩陣，轉(zhuǎn)置后分別標(biāo)記為Ws-DICA和Wt-DICA，并從兩個域的混合矩陣中相應(yīng)地選擇出As-DICA和At-DICA.

步驟3按照

(11)

計算源域的殘差矩陣Es，目標(biāo)域殘差矩陣Et的計算過程同式(11)，對殘差矩陣Es和Et執(zhí)行PCA過程，獲取負(fù)載矩陣Ws-DPCA和Wt-DPCA.

步驟4將源域與目標(biāo)域的Ws-DICA和Wt-DICA按照式(4)～(7)遷移，并計算非高斯信息的測地線映射矩陣LDICA，通過遷移源域與目標(biāo)域的Ws-DPCA和Wt-DPCA獲得LDPCA，其計算的過程與LDICA相同，源域和目標(biāo)域按照

(12)

(13)

度量源域與目標(biāo)域之間非高斯信息分布相似性度量值dDICA和高斯信息分布相似性度量值dDPCA，通過

(14)

3 實驗與分析

田納西伊斯曼(TE)過程[30]是由伊斯曼化學(xué)公司創(chuàng)建的，可以模擬化工生產(chǎn)過程.它是一個典型的多模態(tài)過程，可以根據(jù)生產(chǎn)要求調(diào)整其操作點，使數(shù)據(jù)產(chǎn)生多工況特性.整個過程包含5個主要的操作單元：反應(yīng)器、汽提塔、冷凝器、氣液分離器和循環(huán)壓縮機.反應(yīng)器壓力大小會對生產(chǎn)成本有較大影響[31].整個化學(xué)過程總用有8種物料成分，包括參加反應(yīng)的氣體A、C、D、E和惰性不可溶的B，以及液態(tài)生成物G，液態(tài)生成物H和副產(chǎn)物F.另外，整個TE過程涉及41個測量變量和12個控制變量，其中41個測量變量又分為22個過程變量和19個成分變量，詳細(xì)的生產(chǎn)工藝介紹參考文獻(xiàn)[30].

本文實驗通過改變反應(yīng)器壓力設(shè)定值使系統(tǒng)產(chǎn)生多工況特性，反應(yīng)器壓力設(shè)定值分別取 2.8，2.7，2.6，2.5 和 2.4 MPa，對應(yīng)的工況編號設(shè)定為工況1～5，其余初始生產(chǎn)參數(shù)保持不變，使用TE仿真平臺模擬工業(yè)生產(chǎn)過程.所有工況的數(shù)據(jù)采樣間隔為3 min，工況1下模擬運行50 h，收集 1 000 個樣本作為源域，其他工況模擬運行5 h，收集100個樣本作為目標(biāo)域.由于12個控制變量中的攪拌速率屬于機械領(lǐng)域，不會對最終產(chǎn)品造成很大影響，所以，本文所有工況下的每個樣本選擇22個過程變量和11個控制變量作為輸入量.工況1為帶有標(biāo)簽的歷史數(shù)據(jù)，工況2、工況3、工況4和工況5為無標(biāo)簽的目標(biāo)域，任務(wù)為預(yù)測目標(biāo)域第6流股的物料A的物質(zhì)的量以及第9流股的物料C和物料H的物質(zhì)的量，這3種物料屬于較難預(yù)測的19個成分的變量.將滯后時間l設(shè)置為2，使用基于偏最小二乘回歸(PLSR)建立回歸模型，采用均方根誤差(RMSE)來評價所提方法的預(yù)測效果，RMSE值越小表示模型性能越好.

為說明TE過程工況發(fā)生改變時引入遷移學(xué)習(xí)的必要性，使用PLSR方法利用工況1建模對工況2～5預(yù)測，并與經(jīng)過GFK和ICA-GFK適配目標(biāo)域數(shù)據(jù)分布后再用PLSR建模的兩種方法預(yù)測結(jié)果進(jìn)行對比，ICA-GFK表示GFK中的特征提取方法采用ICA.實驗結(jié)果如表1所示，工況1建模預(yù)測工況5中的物料A預(yù)測結(jié)果如圖3所示(xA為物料A的摩爾分?jǐn)?shù)).從表1和圖3得，當(dāng)工況發(fā)生變化時，會因為工況間數(shù)據(jù)分布不一致而致使PLSR模型性能惡化，引入遷移學(xué)習(xí)后，模型性能會有所提高.

為了驗證本文方法的有效性，基于對比實驗的原則，本文使用GFK、DPCA-GFK、ICA-GFK、DICA-GFK以及本文的DICA-DPCA-GFK方法.DICA-GFK表示GFK中的特征提取方法采用DICA.

GFK、DPCA-GFK與本文方法的對比實驗結(jié)果如表2所示，DPCA-GFK通過在GFK基礎(chǔ)上加入DPCA方法，有效地應(yīng)對了動態(tài)特性的影響，降低了模型輸出誤差.相較于前兩種方法，DICA-DPCA-GFK在DPCA-GFK基礎(chǔ)上，分別提取了源域與目標(biāo)域之間的非高斯信息和高斯信息用以遷移建模，進(jìn)一步提升了軟測量模型性能.GFK、DPCA-GFK和DICA-DPCA-GFK的三種方法在工況5下預(yù)測物料A的結(jié)果如圖4所示，由圖4可以直觀看出，本文方法很好地預(yù)測了工況5下物料A的變化曲線.

ICA-GFK、DICA-GFK與本文方法的對比實驗結(jié)果如表3所示.從表1和表3可得， ICA-GFK和DICA-GFK通過提取非高斯信息進(jìn)行遷移建模，有效降低了數(shù)據(jù)分布差異對軟測量建模的影響，但基于ICA-GFK和DICA-GFK的模型由于忽視了過程的高斯信息，導(dǎo)致建立的模型在實際工業(yè)過程中沒有取得更好的預(yù)測結(jié)果.ICA-GFK、DICA-GFK和DICA-DPCA-GFK在工況5下預(yù)測物料A的結(jié)果如圖5所示，根據(jù)圖5(a)、5(b)和5(c)的對比可直觀地看出，ICA-GFK和DICA-GFK方法僅提取工況1和工況5的非高斯信息獲得的預(yù)測結(jié)果與實際輸出存在較大偏差，模型性能不如DICA-DPCA-GFK方法.

圖3 PLSR、GFK和ICA-GFK對物料A的預(yù)測結(jié)果

表1 各工況下PLSR、GFK和ICA-GFK的RMSE

表2 各工況下GFK、DPCA-GFK和DICA-DPCA-GFK的RMSE

圖4 GFK、DPCA-GFK和DICA-DPCA-GFK對物料A的預(yù)測結(jié)果

表3 各工況下ICA-GFK、DICA-GFK和DICA-DPCA-GFK的RMSE

多工況下GFK、DPCA-GFK、ICA-GFK、DICA-GFK和DICA-DPCA-GFK的RMSE值對比如圖6所示，從圖6可得，DICA-DPCA-GFK方法預(yù)測不同工況下物料A、物料C和物料H的估計精度均優(yōu)于前4種方法.綜合上述對比實驗結(jié)果可得，本文方法考慮了工業(yè)過程中的動態(tài)特性，提取出數(shù)據(jù)中的非高斯信息和高斯信息分別遷移建模， 并借鑒集成學(xué)習(xí)機制，有效提升了模型性能.

圖5 ICA-GFK、DICA-GFK和DICA-DPCA-GFK對物料A的預(yù)測結(jié)果

圖6 5種方法的RMSE值對比

4 結(jié) 語

本文針對傳統(tǒng)軟測量模型難以適應(yīng)數(shù)據(jù)分布變化，引入GFK方法，并針對GFK難以解決工業(yè)過程的動態(tài)特性提取和數(shù)據(jù)不完全服從高斯分布問題，提出了將DICA與DPCA結(jié)合的GFK無監(jiān)督回歸模型.首先，構(gòu)建增廣矩陣以應(yīng)對工業(yè)過程的動態(tài)特性情況，避免了動態(tài)特性對建模的影響，然后通過ICA和PCA分別提取源域與目標(biāo)域的非高斯信息和高斯信息，并將源域非高斯信息和高斯信息分別適配目標(biāo)域，克服了單一提取非高斯信息或高斯信息進(jìn)行遷移建模的缺點.最后使用最大均值差異度量適配后源域與目標(biāo)域的相似性，利用度量結(jié)果給模型加權(quán)而構(gòu)建集成模型，進(jìn)一步提高了模型性能.通過在田納西伊斯曼數(shù)據(jù)上的實驗，證明了本文方法可以提高軟測量模型性能，并且可以有效應(yīng)對工業(yè)過程的動態(tài)特性和數(shù)據(jù)不完全服從高斯分布的問題.