一種雙優(yōu)選的半監(jiān)督回歸算法

程康明，熊偉麗,2

（1. 江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122； 2. 江南大學(xué) 輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫 214122）

針對(duì)一些工業(yè)過(guò)程存在有標(biāo)簽樣本數(shù)據(jù)少且獲取代價(jià)大，而無(wú)標(biāo)簽樣本數(shù)據(jù)大量存在的情況，研究利用少量有標(biāo)簽樣本和大量的無(wú)標(biāo)簽樣本來(lái)提高學(xué)習(xí)性能的半監(jiān)督學(xué)習(xí)受到了密切關(guān)注[1-3]。如今，半監(jiān)督思想已經(jīng)應(yīng)用于各行各業(yè)，根據(jù)半監(jiān)督學(xué)習(xí)目的將其大致分為3類[4]：半監(jiān)督聚類、半監(jiān)督分類和半監(jiān)督回歸。其中，半監(jiān)督聚類與半監(jiān)督分類的研究很多，而半監(jiān)督回歸的研究相對(duì)較少。

半監(jiān)督回歸根據(jù)學(xué)習(xí)方法的不同大致分為兩類[5-6]：第一類為利用流行學(xué)習(xí)的半監(jiān)督回歸算法；第二類為協(xié)同訓(xùn)練算法。其中，流行學(xué)習(xí)方面的研究有楊劍等[7]提出的一類廣義損失函數(shù)的Laplacian半監(jiān)督回歸方法，該方法充分利用了有標(biāo)簽樣本的結(jié)構(gòu)信息來(lái)提高回歸估計(jì)的精度。協(xié)同訓(xùn)練的典型代表為Zhou等[8]在2005年提出的基于協(xié)同訓(xùn)練的半監(jiān)督回歸算法，該方法通過(guò)建立兩個(gè)學(xué)習(xí)器，以交互學(xué)習(xí)的方式來(lái)利用無(wú)標(biāo)簽樣本，達(dá)到提高回歸精度的目的，但是其對(duì)有標(biāo)簽樣本兩個(gè)冗余視圖的假設(shè)，使得該方法在某些場(chǎng)合的應(yīng)用受到限制。另外，一些其他的半監(jiān)督回歸方法也取得了不錯(cuò)的效果。如程玉虎等[9]提出的一種Help-Training的半監(jiān)督支持向量回歸算法，通過(guò)置信度評(píng)估選出了信任的無(wú)標(biāo)簽樣本。盛高斌等[10]提出的基于半監(jiān)督回歸的選擇性集成算法，考慮了如何通過(guò)對(duì)有標(biāo)簽樣本的合理利用提高無(wú)標(biāo)簽樣本預(yù)測(cè)的準(zhǔn)確性。

上述方法有的從有標(biāo)簽樣本角度出發(fā)，有的從無(wú)標(biāo)簽樣本角度出發(fā)，本文為了更準(zhǔn)確地利用無(wú)標(biāo)簽樣本，同時(shí)考慮對(duì)無(wú)標(biāo)簽樣本和有標(biāo)簽樣本的篩選，通過(guò)定義兩個(gè)優(yōu)選準(zhǔn)則，提出一種雙優(yōu)選的半監(jiān)督回歸算法。該方法首先篩選無(wú)標(biāo)簽樣本，降低引入預(yù)測(cè)誤差的可能性，同時(shí)篩選有標(biāo)簽樣本，獲得一個(gè)更有針對(duì)性的有標(biāo)簽樣本集；然后利用高斯過(guò)程回歸(GPR)方法對(duì)選出的有標(biāo)簽樣本建立輔學(xué)習(xí)器，以對(duì)選出的無(wú)標(biāo)簽樣本預(yù)測(cè)標(biāo)簽；最后利用這些偽標(biāo)簽樣本和初始有標(biāo)簽樣本集通過(guò)GPR方法建立主學(xué)習(xí)器，從而提升主學(xué)習(xí)器預(yù)測(cè)效果。通過(guò)兩個(gè)仿真實(shí)驗(yàn)，驗(yàn)證了本文所提方法的有效性。

1 高斯過(guò)程回歸

GPR是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的非參數(shù)概率模型，適合處理高維度、小樣本及非線性等數(shù)據(jù)的建模問(wèn)題[11]。

協(xié)方差函數(shù)是GPR方法中的重要組成部分。GPR方法可以選擇多種協(xié)方差函數(shù)，只需保證對(duì)任意輸入能夠得到一個(gè)非負(fù)定協(xié)方差矩陣。本文選擇常用的高斯協(xié)方差函數(shù)，定義為

2 基于雙優(yōu)選的半監(jiān)督回歸策略

本文提出的雙優(yōu)選策略，通過(guò)定義兩個(gè)優(yōu)選準(zhǔn)則來(lái)綜合考慮無(wú)標(biāo)簽樣本的篩選，有標(biāo)簽樣本篩選以建立輔學(xué)習(xí)器兩方面問(wèn)題，進(jìn)而達(dá)到準(zhǔn)確預(yù)測(cè)無(wú)標(biāo)簽樣本的目的。

2.1 雙優(yōu)選準(zhǔn)則

上述兩個(gè)優(yōu)選準(zhǔn)則，優(yōu)選準(zhǔn)則1通過(guò)馬氏距離選出以有標(biāo)簽樣本密集區(qū)中心為球心為半徑的球域內(nèi)所有無(wú)標(biāo)簽樣本點(diǎn)，利用該準(zhǔn)則有利于選出能夠被準(zhǔn)確預(yù)測(cè)的無(wú)標(biāo)簽樣本，剔除了可能帶來(lái)較大預(yù)測(cè)噪聲的無(wú)標(biāo)簽樣本。優(yōu)選準(zhǔn)則2采用了Knoor等[14]提出的基于距離的離群點(diǎn)的定義，通過(guò)馬氏距離度量的相似度，剔除了閾值限定下的離群點(diǎn)，從而提升輔學(xué)習(xí)器的預(yù)測(cè)精度。有標(biāo)簽樣本與

2.2 無(wú)標(biāo)簽樣本篩選

為了選出能夠被準(zhǔn)確預(yù)測(cè)的無(wú)標(biāo)簽樣本，利用優(yōu)選準(zhǔn)則1對(duì)無(wú)標(biāo)簽樣本進(jìn)行篩選，選出滿足條件的無(wú)標(biāo)簽樣本。而該準(zhǔn)則能否做出有效篩選，取決于樣本密集區(qū)中心是否準(zhǔn)確，尤其在有標(biāo)簽樣本數(shù)目比較少時(shí)，此時(shí)樣本密集區(qū)中心對(duì)離群點(diǎn)更敏感。針對(duì)這種情況，提出一種新的尋找有標(biāo)簽樣本密集區(qū)中心的方法。該方法首先尋找出有標(biāo)簽樣本中屬于樣本密集區(qū)的樣本，然后對(duì)這部分屬于樣本密集區(qū)有標(biāo)簽樣本求各屬性均值，得到樣本密集區(qū)中心。其具體操作如下，依次計(jì)算每一個(gè)有標(biāo)簽樣本與周圍有標(biāo)簽樣本間的馬氏距離，然后判斷是否小于閾值，統(tǒng)計(jì)周圍滿足條件的有標(biāo)簽樣本數(shù)量若大于1，則為有標(biāo)簽樣本密集區(qū)樣本，最后用所得樣本密集區(qū)樣本確定樣本密集區(qū)中心。在確保準(zhǔn)則1的篩選效果后，再利用其篩選無(wú)標(biāo)簽樣本。具體偽代碼如算法1所示。

算法1 無(wú)標(biāo)簽樣本篩選

輸入有標(biāo)簽樣本集(由自變量與因變量組成)，無(wú)標(biāo)簽樣本集(只包含自變量)，閾值和，計(jì)數(shù)變量輸出選出的無(wú)標(biāo)簽樣本集

2.3 輔學(xué)習(xí)器建立

算法2 輔學(xué)習(xí)器建立

輸入有標(biāo)簽樣本集(由自變量與因變量組成)，閾值，計(jì)數(shù)變量

輸出輔學(xué)習(xí)器

2.4 基于雙優(yōu)選的半監(jiān)督算法流程

綜合考慮無(wú)標(biāo)簽樣本和有標(biāo)簽樣本的選擇，提出了一種帶雙優(yōu)選過(guò)程的建模方法，建模流程如圖1所示。具體建模步驟如下：

2) 根據(jù)優(yōu)選準(zhǔn)則2選出有標(biāo)簽樣本，建立一個(gè)更有針對(duì)性的輔學(xué)習(xí)器。

圖 1 總體算法步驟Fig. 1 Overall algorithm steps

3 數(shù)值仿真實(shí)驗(yàn)

為了驗(yàn)證所提雙優(yōu)選方法的有效性，采用文獻(xiàn)[15]中的非線性函數(shù)進(jìn)行數(shù)值仿真：

同時(shí)為了解決由于訓(xùn)練樣本與測(cè)試樣本過(guò)于相似而帶來(lái)的對(duì)建模效果評(píng)價(jià)的可信度問(wèn)題，仿真中通過(guò)兩種不同方式分別產(chǎn)生訓(xùn)練樣本和測(cè)試樣本。對(duì)于訓(xùn)練樣本，首先產(chǎn)生[-2,2]的隨機(jī)信號(hào)與[-2,2]的隨機(jī)信號(hào)然后將這兩組信號(hào)作用于系統(tǒng)，最終得到600組數(shù)據(jù)作為訓(xùn)練樣本；對(duì)于測(cè)試樣本，首先令產(chǎn)生[-2,2]的隨機(jī)信號(hào)然后這兩組信號(hào)作用于系統(tǒng)，最終得到200組數(shù)據(jù)作為測(cè)試樣本。600組訓(xùn)練樣本中選取50組作為有標(biāo)簽樣本，另外550組作為無(wú)標(biāo)簽樣本。

為了更直觀地說(shuō)明雙優(yōu)選方法的必要性，對(duì)數(shù)值仿真產(chǎn)生的訓(xùn)練樣本數(shù)據(jù)進(jìn)行了直方圖統(tǒng)計(jì)，分別統(tǒng)計(jì)了變量在每一維度上的分布特點(diǎn)，具體如圖2所示，其中橫坐標(biāo)為樣本分布區(qū)間，縱坐標(biāo)為樣本出現(xiàn)的頻數(shù)。

圖 2 有標(biāo)簽樣本與無(wú)標(biāo)簽樣本的直方圖分布Fig. 2 Histogram distribution about labeled and unlabeled samples

在圖2中，圖(a)為50組有標(biāo)簽樣本輔助變量分布的直方圖統(tǒng)計(jì)，圖(b)為550組無(wú)標(biāo)簽樣本每一維度分布的直方圖統(tǒng)計(jì)。因?yàn)榇罅繜o(wú)標(biāo)簽樣本更能夠反映過(guò)程的整體特點(diǎn)，由圖2(a)和圖2(b)前3幅圖的對(duì)比，發(fā)現(xiàn)無(wú)標(biāo)簽樣本分布大致成一種正態(tài)分布，而圖2(a)有標(biāo)簽樣本的分布中，-5～0這段趨勢(shì)明顯異于整體的正態(tài)分布，可知部分初始有標(biāo)簽樣本是游離在整體特性之外的。為保證準(zhǔn)確性，需使建模樣本與預(yù)測(cè)樣本分布特性盡量一致。由圖2(a)后3幅圖發(fā)現(xiàn)，有標(biāo)簽樣本分布在-1～1這段的數(shù)量相對(duì)較少，約占全部有標(biāo)簽樣本的1/2，而由圖2(b)后3幅圖發(fā)現(xiàn)，無(wú)標(biāo)簽樣本分布在-1～1這段的數(shù)量明顯更多，約占全部無(wú)標(biāo)簽樣本的3/4。由上述對(duì)比可知，僅靠現(xiàn)有的有標(biāo)簽樣本，難以準(zhǔn)確預(yù)測(cè)所有的無(wú)標(biāo)簽樣本。因此，想要利用無(wú)標(biāo)簽提升建模效果，需要根據(jù)優(yōu)選準(zhǔn)則1篩選出能夠被準(zhǔn)確預(yù)測(cè)的無(wú)標(biāo)簽樣本，剔除那些可能會(huì)帶來(lái)大量噪聲的無(wú)標(biāo)簽樣本。另外，由于有標(biāo)簽樣本很少，不符合優(yōu)選準(zhǔn)則2的有標(biāo)簽樣本將對(duì)輔學(xué)習(xí)器的針對(duì)性產(chǎn)生較大影響，必須剔除以保證對(duì)無(wú)標(biāo)簽樣本預(yù)測(cè)的準(zhǔn)確性。通過(guò)上述分析，從數(shù)據(jù)分布的角度說(shuō)明了雙優(yōu)選方法的必要性。

為了進(jìn)一步驗(yàn)證方法的實(shí)際效果，分別比較了GPR(不利用無(wú)標(biāo)簽樣本)、無(wú)優(yōu)選半監(jiān)督GPR(non-optimal semi-supervised GPR，NS-GPR)和本文方法(利用優(yōu)選準(zhǔn)則1和優(yōu)選準(zhǔn)則2)對(duì)真實(shí)值的跟蹤效果，具體效果如圖3所示。

圖 3 數(shù)值仿真雙優(yōu)選半監(jiān)督預(yù)測(cè)效果Fig. 3 Numerical simulation of double-optimal semi-supervised prediction

由圖3可知，本文方法對(duì)真實(shí)值的跟蹤效果遠(yuǎn)遠(yuǎn)優(yōu)于GPR和NS-GPR。雙優(yōu)選方法在充分準(zhǔn)確地利用無(wú)標(biāo)簽樣本后，對(duì)測(cè)試樣本真實(shí)值的跟蹤效果明顯加強(qiáng)，擬合效果有了明顯的提升。具體擬合指標(biāo)如表1所示。由表中數(shù)據(jù)可知，所提雙優(yōu)選方法跟蹤效果相較GPR，均方根誤差由1.109 6下降到了0.927 8，可知本文方法在有標(biāo)簽樣本很少時(shí)也能夠取得優(yōu)秀的跟蹤效果。

表 1 數(shù)值仿真雙優(yōu)選的擬合性能Table 1 The fitting performance of numerical simulation of dual-optimal selection

4 脫丁烷塔仿真實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文方法性能，選用脫丁烷塔過(guò)程作為對(duì)象。脫丁烷塔裝置是石油煉制生產(chǎn)過(guò)程中脫硫與石腦油分離裝置的重要組成部分[16]。該過(guò)程樣本數(shù)據(jù)有7個(gè)輔助變量，分別為：塔頂溫度；塔頂壓力；塔頂回流量；塔頂產(chǎn)品流出；第六層塔板溫度；塔底溫度1；塔底溫度2；主導(dǎo)變量為塔底丁烷濃度。詳細(xì)的工藝過(guò)程描述可見文獻(xiàn)[17]。

該實(shí)驗(yàn)過(guò)程數(shù)據(jù)源于真實(shí)過(guò)程的實(shí)時(shí)采樣，共獲得2 394組樣本。選出150組作為有標(biāo)簽樣本，選出500組作為無(wú)標(biāo)簽樣本。在有標(biāo)簽樣本中，50組作為建模樣本，另外100組作為測(cè)試樣本。

為了進(jìn)一步分析本文算法性能，縱向比較了幾點(diǎn)改進(jìn)對(duì)模型跟蹤效果的影響，具體方法如下。

1) GPR方法。不利用無(wú)標(biāo)簽樣本，僅利用已有的有標(biāo)簽樣本建立GPR模型，然后測(cè)試其對(duì)測(cè)試樣本的跟蹤效果。

2) NS-GPR方法。不利用優(yōu)選準(zhǔn)則做篩選，直接對(duì)有標(biāo)簽樣本建模，獲得輔學(xué)習(xí)器，然后預(yù)測(cè)無(wú)標(biāo)簽樣本的標(biāo)簽，進(jìn)而利用偽標(biāo)簽樣本更新主學(xué)習(xí)器。

3) 第一類單優(yōu)選半監(jiān)督GPR(single-optimal semi-supervised GPR，SS-GPRa)。利用優(yōu)選準(zhǔn)則1篩選無(wú)標(biāo)簽樣本，然后直接對(duì)有標(biāo)簽樣本建模得到輔學(xué)習(xí)器，后續(xù)過(guò)程同方法2)。

4) 第2類單優(yōu)選半監(jiān)督GPR(簡(jiǎn)稱SS-GPRb)。首先利用優(yōu)選準(zhǔn)則2篩選有標(biāo)簽樣本，然后對(duì)其建模得到輔學(xué)習(xí)器，后續(xù)過(guò)程同方法2)。

5) 本文方法。

圖4為不同方法的預(yù)測(cè)值與真實(shí)值的比較，縱坐標(biāo)為測(cè)試樣本真實(shí)值，橫坐標(biāo)為測(cè)試樣本預(yù)測(cè)值，數(shù)據(jù)點(diǎn)離基準(zhǔn)線越近，表示預(yù)測(cè)效果越好。

圖 4 不同方法的縱向比較Fig. 4 Longitudinal comparison of different methods

分析圖4發(fā)現(xiàn)，本文方法在幾種方法中的效果最好。為了更直觀地比較各方法的預(yù)測(cè)效果，圖5通過(guò)跟蹤誤差表現(xiàn)了各方法的跟蹤效果，其中，縱坐標(biāo)為預(yù)測(cè)值與真實(shí)值的差值。

圖 5 不同方法的預(yù)測(cè)誤差對(duì)比Fig. 5 Comparison of prediction errors of different methods

綜合圖4和5可以看出，NS-GPR雖然考慮了無(wú)標(biāo)簽樣本信息，但其無(wú)差別的利用將會(huì)帶來(lái)大量噪聲，而SS-GPRa雖然篩選了無(wú)標(biāo)簽樣本，但是由于輔學(xué)習(xí)器建立過(guò)程中，沒(méi)有考慮有標(biāo)簽樣本的針對(duì)性，也會(huì)帶來(lái)大量噪聲。而SS-GPRb在考慮篩選有標(biāo)簽樣本后，能夠?qū)Σ糠譄o(wú)標(biāo)簽樣本進(jìn)行更準(zhǔn)確的預(yù)測(cè)，因此獲得了較好的模型預(yù)測(cè)效果。

本文方法在綜合考慮無(wú)標(biāo)簽樣本與有標(biāo)簽樣本篩選后，在絕大多數(shù)測(cè)試樣本的跟蹤上，都有很好的效果。這是因?yàn)樵诶秒p優(yōu)選準(zhǔn)則后，既降低引入噪聲的可能性，又保證了輔學(xué)習(xí)器的針對(duì)性，因此方法的跟蹤效果有了明顯的提升。

上述分析均建立在各方法對(duì)真實(shí)值的跟蹤效果對(duì)比上，為了更客觀地對(duì)比方法之間的效果，進(jìn)行了各方法預(yù)測(cè)值的直方圖統(tǒng)計(jì)。圖6分別統(tǒng)計(jì)了真實(shí)值與各方法預(yù)測(cè)值的分布，其中，縱坐標(biāo)為分布在每一區(qū)間的樣本出現(xiàn)的頻率，橫坐標(biāo)為預(yù)測(cè)值與真實(shí)值分布的區(qū)間。

由圖6(a)、(c)和(d)的對(duì)比可知，NS-GPR與SS-GPRa在0.1～0.15和0.5～0.6兩個(gè)區(qū)域的預(yù)測(cè)值有比較明顯的誤差。同樣，由圖6(a)與圖6(b)的對(duì)比發(fā)現(xiàn)，GPR在0.4～0.6區(qū)域的預(yù)測(cè)值的誤差也較大。進(jìn)一步由圖6(a)與圖6(e)的對(duì)比發(fā)現(xiàn)，SSGPRb在0.6～0.7區(qū)域中無(wú)法實(shí)現(xiàn)良好跟蹤。最后，綜合對(duì)比圖6各方法發(fā)現(xiàn)，本文方法在上述區(qū)域均能進(jìn)行更準(zhǔn)確地跟蹤。

圖 6 多種方法預(yù)測(cè)值與真實(shí)值的直方圖統(tǒng)計(jì)Fig. 6 Histogram statistics of predicted and real values of various methods

上述分析對(duì)比，驗(yàn)證了本文方法的實(shí)際效果。發(fā)現(xiàn)同時(shí)考慮無(wú)標(biāo)簽樣本與有標(biāo)簽樣本的篩選，獲得了更好的預(yù)測(cè)效果。各方法具體跟蹤效果如表2所示。

表 2 不同模型預(yù)測(cè)效果對(duì)比Table 2 Comparison of prediction effects of different models

5 結(jié)束語(yǔ)

本文提出的帶雙優(yōu)選過(guò)程的半監(jiān)督回歸算法，基于兩種優(yōu)選準(zhǔn)則，一方面篩選合適的無(wú)標(biāo)簽樣本，另一方面篩選有標(biāo)簽樣本，從而建立更有針對(duì)性的輔學(xué)習(xí)器，實(shí)現(xiàn)了對(duì)無(wú)標(biāo)簽樣本的更準(zhǔn)確地利用，達(dá)到了提升主學(xué)習(xí)器性能的目的。將算法進(jìn)行數(shù)值仿真并應(yīng)用于脫丁烷塔過(guò)程，實(shí)驗(yàn)結(jié)果表明，所提方法在有標(biāo)簽樣本較少時(shí)，具有良好的預(yù)測(cè)效果，為半監(jiān)督回歸提供了一種新思路。