基于核極限學(xué)習(xí)機的快速主動學(xué)習(xí)方法及其軟測量應(yīng)用

代學(xué)志，熊偉麗

（江南大學(xué)輕工過程先進(jìn)控制教育部重點實驗室，江蘇無錫214122）

引 言

在復(fù)雜工業(yè)過程中，需要對一些決定產(chǎn)品質(zhì)量的關(guān)鍵變量進(jìn)行監(jiān)測和控制，但由于現(xiàn)場環(huán)境以及技術(shù)條件的制約，使得這些變量難以在線測量。軟測量[1-3]是工業(yè)過程中用于解決難測變量檢測的常用技術(shù)，通過訓(xùn)練集構(gòu)建數(shù)學(xué)模型，實現(xiàn)對新樣本質(zhì)量變量的實時估計。常見的軟測量模型包括支持向量回歸(support vector regression,SVR)[4]、人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)[5]、高斯過程回歸(Gaussian process regression,GPR)[6]和極限學(xué)習(xí)機(extreme learning machine,ELM)[7-8]等。

軟測量技術(shù)通常需要大量標(biāo)記數(shù)據(jù)才能完成模型訓(xùn)練，而在實際工業(yè)過程中常常是無標(biāo)記樣本數(shù)量多，有標(biāo)記樣本數(shù)量較少，而且獲取成本高。在這種情況下，如何利用大量無標(biāo)記數(shù)據(jù)和少量標(biāo)記數(shù)據(jù)來提升模型性能成為軟測量建模的關(guān)鍵問題。因此半監(jiān)督學(xué)習(xí)[9]和主動學(xué)習(xí)[10]被提出并得到快速發(fā)展，并被廣泛應(yīng)用于圖像檢測[11]、故障診斷[12]、網(wǎng)絡(luò)安全[13]和工業(yè)過程建模[14-15]等領(lǐng)域。

主動學(xué)習(xí)通過引入“人在回路”的環(huán)節(jié)提升模型性能，具體實施過程是利用樣本選擇策略挑選有價值的無標(biāo)記樣本進(jìn)行標(biāo)記，并將這些標(biāo)記數(shù)據(jù)添加到訓(xùn)練集優(yōu)化模型參數(shù)，當(dāng)達(dá)到預(yù)設(shè)的終止條件時，迭代學(xué)習(xí)過程終止，從而實現(xiàn)以最小的標(biāo)記代價實現(xiàn)模型性能的提升。在這種學(xué)習(xí)框架下，許多學(xué)者圍繞樣本選擇策略[16-22]進(jìn)行了大量研究。Norkus 等[20]將主動學(xué)習(xí)與高斯過程回歸結(jié)合，通過減小方差有效解決了主動學(xué)習(xí)中的樣本選擇問題。Demir 等[21]提出一種支持向量回歸的多準(zhǔn)則主動學(xué)習(xí)方法，利用支持向量回歸和核k 均值聚類進(jìn)行信息評估，有效擴充了建模空間。Tang 等[22]通過分析核主成分分析和高斯過程回歸的關(guān)系，引入不確定度和代表性指標(biāo)對無標(biāo)記樣本進(jìn)行信息評估。然而上述三種評估算法的訓(xùn)練時間較長，運行效率較低。

相比于支持向量回歸等建模方法，ELM 的運算成本低，泛化能力強。Huang 等[23]將核函數(shù)引入ELM，提出核極限學(xué)習(xí)機(kernel extreme learning machine,KELM)算法，進(jìn)一步提升了ELM的魯棒性，并被廣泛應(yīng)用于軟測量建模過程。楊錫運等[24]提出了一種基于粒子群優(yōu)化的KELM 模型，并在風(fēng)電功率區(qū)間預(yù)測中取得較好的效果。張雷等[25]將KELM與Gath-Geva 聚類算法相結(jié)合，有效解決了多階段間歇過程的軟測量建模問題。在主動學(xué)習(xí)方面，Qian 等[26]將KELM 引入主動學(xué)習(xí)，并根據(jù)softmax 模型構(gòu)建無標(biāo)記樣本的評價機制，有效提升了信息評估的精度。然而上述方法在每次迭代過程中需要重新評估無標(biāo)記樣本信息，降低了迭代過程的運行效率，導(dǎo)致運算成本的增加。

綜上所述，本文提出一種基于核極限學(xué)習(xí)機的快速主動學(xué)習(xí)方法，利用KELM 的預(yù)測輸出與目標(biāo)輸出的誤差進(jìn)行無標(biāo)記樣本置信度的定義，同時考慮算法迭代過程的快速性，引入矩陣反演公式對樣本選擇策略進(jìn)行優(yōu)化，提升了迭代過程樣本評估的運算效率；應(yīng)用矩陣相似度理論對迭代過程的標(biāo)記數(shù)據(jù)進(jìn)行分析，并根據(jù)相似度指標(biāo)度量已標(biāo)記樣本信息設(shè)計算法的終止條件。將所提方法應(yīng)用于硫回收過程的SO2和H2S濃度的軟測量，驗證了所提方法的有效性和優(yōu)越性。

1 核極限學(xué)習(xí)機

極限學(xué)習(xí)機是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)模型[23]，可以通過KKT 理論計算網(wǎng)絡(luò)輸出權(quán)值。給定n 個訓(xùn)練樣本{X ∈Rn×m,t ∈Rn}，m 為輸入變量維數(shù)，ELM 的優(yōu)化目標(biāo)是最小化訓(xùn)練誤差和輸出權(quán)重的范數(shù)，ELM的優(yōu)化函數(shù)可以表示為：

其中，β 是隱含層到輸出層的輸出權(quán)重向量，h(xi)為xi的隱層映射。

ELM的優(yōu)化函數(shù)可以等價為：

式中，ξi為訓(xùn)練誤差，C 為懲罰系數(shù)，用來權(quán)衡模型的訓(xùn)練誤差和輸出權(quán)重。根據(jù)KKT 最優(yōu)化條件解得：

其中，H 為隱層映射矩陣，T =[t1,…,tn]T為目標(biāo)值矩陣，I為單位矩陣。

應(yīng)用Mercer’s條件定義KELM的核矩陣為：

其中，K(xi,xj)為核矩陣Ω 的第i 行、第j 列的元素。

通常選擇徑向基核函數(shù)作為KELM 模型的核函數(shù)：

其中，δ為核函數(shù)參數(shù)。

則KELM的預(yù)測輸出表達(dá)式為：

2 基于KELM的快速主動學(xué)習(xí)方法

所提的主動學(xué)習(xí)方法主要從樣本選擇、迭代更新和終止條件三個方面進(jìn)行了改進(jìn)。首先，為了更加準(zhǔn)確地評估無標(biāo)記樣本，利用KELM 算法計算無標(biāo)記樣本的置信度，并以此作為樣本選擇依據(jù)。其次，充分考慮上一輪迭代信息，引入矩陣反演公式對評估算法進(jìn)行優(yōu)化，以加快主動學(xué)習(xí)的迭代更新過程。最后，為了使主動學(xué)習(xí)迭代過程及時終止，利用矩陣相似度理論對迭代過程的已標(biāo)記樣本數(shù)據(jù)進(jìn)行信息度量，并將其作為終止依據(jù)，從而實現(xiàn)了以最小的標(biāo)記代價獲得模型性能的提升。

2.1 基于KELM的樣本選擇

主動學(xué)習(xí)主要是利用無標(biāo)記樣本信息改善模型性能，其核心思想是選取置信度較低的樣本進(jìn)行標(biāo)記。所提主動學(xué)習(xí)方法是根據(jù)KELM 的預(yù)測輸出與目標(biāo)輸出之間的誤差來構(gòu)建無標(biāo)記樣本的置信度指標(biāo)，若樣本的置信度較高，表明該樣本對于已標(biāo)記樣本集是信息冗余的；反之則表明該樣本包含了額外信息，若對該樣本進(jìn)行標(biāo)記，則能有效擴充模型信息，提升KELM模型的預(yù)測性能。

其中，HL為標(biāo)記樣本的隱層核映射矩陣。將式(7)進(jìn)行標(biāo)準(zhǔn)化，可以得到：

其 中，eN=[1,…,1]T∈Rnl。 根 據(jù) 誤 差 指 標(biāo)dN-KELM定義無標(biāo)記樣本的置信度：

其中，η ∈(0,1)，當(dāng)η 趨近于1 時，說明該樣本數(shù)據(jù)與現(xiàn)有的已標(biāo)記樣本集在本質(zhì)上是相同的；反之，若η 趨于0 時，則說明對應(yīng)的樣本數(shù)據(jù)極有可能漂移出KELM 模型空間，標(biāo)記該樣本后能夠為KELM模型提供更多額外信息。

2.2 快速迭代更新

主動學(xué)習(xí)過程中，每次標(biāo)記新樣本后都必須重新計算評估模型參數(shù)，隨著迭代的進(jìn)行，評估算法的運行效率將越來越低。為了進(jìn)一步降低KELM 評估算法的運算成本，本文將樣本評估過程分為初始化階段和快速迭代學(xué)習(xí)階段，根據(jù)給定訓(xùn)練集構(gòu)建初始KELM 評估算法，同時保存本次評估過程的運算信息，在迭代學(xué)習(xí)階段，充分利用已有的運算信息，減少不必要的迭代計算過程，同時引入矩陣反演公式對評估算法進(jìn)行優(yōu)化，以此提升評估算法的運行效率。

在無標(biāo)記樣本集中刪除所選的樣本：

Pk可以表示為：

2.3 終止條件設(shè)計

主動學(xué)習(xí)的終止條件通常是標(biāo)記代價達(dá)到一定指標(biāo)，該指標(biāo)根據(jù)實際情況預(yù)先設(shè)定，但無法表征標(biāo)記樣本集的信息量。本文為了使主動學(xué)習(xí)及時終止，進(jìn)一步提升學(xué)習(xí)效率，引入矩陣相似度理論[28]對標(biāo)記樣本集建立信息評價機制，通過對迭代過程的標(biāo)記數(shù)據(jù)進(jìn)行分析，得到樣本數(shù)據(jù)間的相似度，并根據(jù)相似度指標(biāo)度量標(biāo)記樣本的信息量變化，其基本原理如下。

對Rmix進(jìn)行特征值分解，得到一個正交矩陣P0：

則Yi的協(xié)方差矩陣Si為：

由式(22)可得：

根據(jù)式(23)可以得到：

根據(jù)式(26)可知，相似度指標(biāo)D 的取值范圍為(0,1)，D 較小時，已標(biāo)記樣本集信息量較少，隨著迭代過程的進(jìn)行，已標(biāo)記樣本集的信息量逐漸增加，相似度D 逐漸趨近于1，當(dāng)D 連續(xù)兩次大于設(shè)定的終止閾值時，則認(rèn)為已標(biāo)記樣本集的信息量已經(jīng)達(dá)到要求，迭代過程終止。

2.4 基于KELM的快速主動學(xué)習(xí)算法流程

以上從樣本選擇策略、迭代更新過程和終止條件設(shè)計等方面描述了所提快速主動學(xué)習(xí)方法，建模流程如圖1所示，具體建模步驟如下：

（1）將原始訓(xùn)練集分為有標(biāo)記訓(xùn)練集和無標(biāo)記訓(xùn)練集；

（2）在初始化階段，利用KELM 算法進(jìn)行樣本選擇，選取部分樣本數(shù)據(jù)進(jìn)行標(biāo)記，建立KELM 模型，并保存初始過程的運算信息；

（3）在迭代學(xué)習(xí)階段，利用迭代信息和矩陣反演公式優(yōu)化KELM 評估算法，選擇樣本數(shù)據(jù)進(jìn)行標(biāo)記，建立KELM 模型，并保存迭代過程的運行信息；

（4）迭代終止檢驗，若標(biāo)記樣本集的相似度指標(biāo)符合終止條件，輸出KELM 軟測量模型，主動學(xué)習(xí)終止，否則返回步驟（3）進(jìn)入新一輪的迭代。

3 仿真實驗

3.1 數(shù)值仿真實驗

為了驗證所提方法的有效性，以二維空間為例，生成60 個服從高斯分布的樣本數(shù)據(jù)，高斯分布的均值向量分別為[0,0]T,[8,0]T,[0,0]T和[8,8]T，協(xié)方差矩陣為單位陣，利用KELM 對無標(biāo)記樣本進(jìn)行信息評估，有標(biāo)記樣本與無標(biāo)記樣本的置信度關(guān)系如圖2(a)所示，其中紅色實心點為已標(biāo)記樣本，綠色實心點為無標(biāo)記樣本，色標(biāo)值表示KELM 進(jìn)行樣本評估后所得到的置信度。從圖2(a)可以看出，已標(biāo)記樣本的附近區(qū)域置信度較高，經(jīng)過KELM 樣本選擇和人工標(biāo)記后，有標(biāo)記樣本和無標(biāo)記樣本的置信度關(guān)系如圖2(b)所示，可以看出，新標(biāo)記的樣本能夠為KELM 模型空間提供更多信息，有效擴充了模型空間，說明了本文采用KELM 的置信度指標(biāo)作為樣本選擇評價準(zhǔn)則的合理性。

3.2 硫回收仿真實驗

為了進(jìn)一步驗證本文方法的性能，選用硫回收過程作為仿真對象，其簡化的工藝流程如圖3所示。硫回收裝置(sulfur revoery unit, SRU)主要對含硫氣體進(jìn)行硫的回收，以防止對大氣造成污染。SRU 過程的輸入為兩種酸性氣體，一種是含有硫化氫的氣體，稱為MEA，另一種是含有硫化氫和二氧化硫的氣體，稱為SWS。MEA 和SWS 首先被送入B106、B103中進(jìn)行焚燒從而除去殘留的氨氣，然后依次送入冷凝器和催化轉(zhuǎn)化器中，催化轉(zhuǎn)化器通過H2S 和SO2的反應(yīng)生成硫和水，從而達(dá)到清除硫化物的目的。詳細(xì)的SRU 描述可以參考文獻(xiàn)[29]。硫回收過程含有2 個主導(dǎo)變量，分別為H2S 和SO2濃度，SRU的過程變量描述如表1所示。

SRU 共收集2000 組數(shù)據(jù)，從中選擇1000 組數(shù)據(jù)作為訓(xùn)練集，1000 組數(shù)據(jù)作為測試集，訓(xùn)練集中初始標(biāo)記樣本有10 個，未標(biāo)記樣本有990 個，標(biāo)簽率為1%，迭代過程中采用KELM 方法訓(xùn)練模型。實驗環(huán)境為64 位Windows7 操作系統(tǒng)，Intel(R) Core(TM)i5-6500 CPU 3.2GHz處理器，8GB內(nèi)存，編程語言使用python。

圖1 基于KELM的快速主動學(xué)習(xí)算法流程Fig.1 The flow of quick active learning algorithm based on KELM

圖2 已標(biāo)記樣本和無標(biāo)記樣本的置信度關(guān)系圖（數(shù)值仿真實驗）Fig.2 Confidence relationship between labeled samples and unlabeled samples(Numerical simulation experiment)

圖3 SRU的簡化工藝流程Fig.3 Simplified process flow of SRU

表1 SRU的過程變量描述Table 1 Process variable description of SRU

首先對所提方法的樣本選擇策略進(jìn)行實驗分析，有標(biāo)記樣本和無標(biāo)記樣本如圖4(a)所示，橫坐標(biāo)為SRU 的u2變量，縱坐標(biāo)為SRU 的u3變量，紅色實心點為10 個已標(biāo)記樣本，藍(lán)色實心點為無標(biāo)記樣本，且樣本顏色隨置信度的變化而變化，采用KELM算法對無標(biāo)記樣本進(jìn)行信息評估，有標(biāo)記樣本與無標(biāo)記樣本的置信度關(guān)系如圖4(b)所示，可以看出，新標(biāo)記的樣本與原始標(biāo)記樣本差異較大，能夠為KELM 提供更多額外信息，有效擴充了KELM 建?？臻g，進(jìn)一步驗證了所提方法的合理性。

其次對迭代更新過程的學(xué)習(xí)步長(每次迭代標(biāo)記樣本個數(shù))進(jìn)行實驗分析，圖5 為所提方法學(xué)習(xí)步長對模型性能的影響?？梢钥闯觯S著學(xué)習(xí)步長num 的增加，更多的標(biāo)記樣本添加到訓(xùn)練集中優(yōu)化KELM 模型，模型性能提升得越快，然而人工標(biāo)記成本也隨之增多。進(jìn)一步在相同標(biāo)記樣本數(shù)量的情況下，重新進(jìn)行仿真實驗，從圖6 可以看出，在迭代初期越小的學(xué)習(xí)步長對模型性能提升得越快，相應(yīng)地迭代次數(shù)和運算成本也隨之增多。

圖4 已標(biāo)記樣本和無標(biāo)記樣本的置信度關(guān)系圖（硫回收仿真實驗）Fig.4 Confidence relationship between labeled samples and unlabeled samples(sulfur recovery simulation experiment)

圖7 為無標(biāo)記樣本分別在第20 次、第40 次、第60 次和第80 次迭代后無標(biāo)記樣本置信度的變化情況，其中虛線為無標(biāo)記樣本置信度的平均值?？梢钥闯觯S著主動學(xué)習(xí)迭代過程的進(jìn)行，無標(biāo)記樣本的置信度越來越大，并逐漸趨近于1。主要是因為軟測量模型在迭代更新后，更多的標(biāo)記樣本參與到KELM 模型優(yōu)化中，使得對無標(biāo)記樣本的信息評估更加精確。并且隨著迭代過程的運行，無標(biāo)記樣本信息逐漸減少，KELM 模型性能不再有顯著提升。

圖5 在不同學(xué)習(xí)步長下模型性能隨迭代次數(shù)的變化Fig.5 Change of model performance with the number of iterations under different learning steps

圖6 在不同學(xué)習(xí)步長下模型性能隨標(biāo)記樣本個數(shù)的變化Fig.6 Change of model performance with number of labeled samples under different learning steps

圖7 無標(biāo)記樣本的置信度隨迭代次數(shù)的變化Fig.7 Change of confidence of unlabeled samples with the number of iterations

圖8 不同終止閾值對模型性能的影響Fig.8 Effect of different termination thresholds on model performance

圖8為終止條件中不同終止閾值對模型性能的影響，可以看出，隨著終止閾值逐漸增大，模型性能逐漸提升。這是因為越大的閾值對終止條件要求越高，從而需要標(biāo)記更多無標(biāo)記樣本來提升模型性能，同時人工標(biāo)記成本和運算成本也隨之增加，因此應(yīng)在不影響KELM 模型性能的條件下設(shè)置盡可能高的終止閾值，本實驗在預(yù)測H2S和SO2的濃度時將終止閾值設(shè)為0.999。

最后為了進(jìn)一步驗證所提方法的有效性，縱向比較了四種主動學(xué)習(xí)方法，對比方法包括Random、DAL[30]和RSAL[31]。

(1)Random 方法。利用隨機選擇的方式選取無標(biāo)記樣本進(jìn)行標(biāo)記。

(2)DAL 方法。通過計算無標(biāo)記樣本與有標(biāo)記樣本之間的歐式距離來度量無標(biāo)記樣本信息，從而挑選信息量較大的樣本進(jìn)行標(biāo)記。

(3) RSAL 方法。利用已標(biāo)記樣本構(gòu)建殘差模型，并對無標(biāo)記樣本進(jìn)行殘差估計，以此挑選殘差較大的樣本進(jìn)行標(biāo)記。

將本文所提方法記為Proposed，迭代過程中的學(xué)習(xí)步長設(shè)置為10，分別進(jìn)行5次仿真實驗，四種主動學(xué)習(xí)方法的平均均方根誤差(RMSE)隨迭代次數(shù)的變化情況如圖9 所示，四種主動學(xué)習(xí)方法在迭代過程中的性能指標(biāo)如表2和表3所示。

圖9 平均RMSE隨迭代次數(shù)的變化Fig.9 The change of mean RMSE with the number of iterations

從圖9可以看出，隨著標(biāo)記數(shù)據(jù)的增加，四種主動學(xué)習(xí)的軟測量模型性能均有所提升。其中，RSAL、DAL和本文方法均比Random方法的效果好，相比于RSAL 和DAL 方法，本文方法的收斂速度更快，這表明在相同的標(biāo)記代價下，本文方法能夠?qū)洔y量模型性能提升得更高，第30 次迭代后，軟測量模型性能基本保持不變，為了達(dá)到相同的效果，隨機選擇需要標(biāo)記接近3倍的無標(biāo)記樣本。

從表2和表3可以看出，RSAL、DAL和本文方法的RMSE的標(biāo)準(zhǔn)差均低于Random 方法，主動學(xué)習(xí)方法比Random 更加穩(wěn)定，相比于RSAL 和DAL 方法，本文方法在大多情況下標(biāo)準(zhǔn)差最小，若以穩(wěn)定性作為評價指標(biāo)，所提方法的模型性能最好。最后，對主動學(xué)習(xí)迭代過程的運行時間進(jìn)行分析，可以看出，與RSAL和DAL方法相比，所提方法的迭代更新時間最短，降低了迭代過程的運行成本，比較全面地提升了主動學(xué)習(xí)的性能。

表2 四種主動學(xué)習(xí)方法在迭代過程中對H2S濃度預(yù)測的性能指標(biāo)Table 2 Performance index of four active learning methods for H2S concentration prediction in iterative process

表3 四種主動學(xué)習(xí)方法在迭代過程中對SO2濃度預(yù)測的性能指標(biāo)Table 3 Performance index of four active learning methods for SO2 concentration prediction in iterative process

4 結(jié) 論

針對工業(yè)過程中有標(biāo)記樣本少無標(biāo)記樣本多的情況，提出了一種基于核極限學(xué)習(xí)機的快速主動學(xué)習(xí)方法，該方法利用KELM 對無標(biāo)記樣本進(jìn)行信息評估，根據(jù)每次迭代的運算信息優(yōu)化樣本選擇策略，并引入矩陣相似度理論完成終止條件的設(shè)計。通過對硫回收過程H2S 和SO2濃度的測試，結(jié)果表明，所提方法不僅具有較強的樣本選擇能力，而且迭代更新速度較快，穩(wěn)定性較高，應(yīng)用于復(fù)雜化工過程建模，能夠大大降低主動學(xué)習(xí)的運算成本，并減少人工標(biāo)記代價，更加有效地實現(xiàn)過程質(zhì)量變量的軟測量。