基于即時學(xué)習(xí)的集成神經(jīng)網(wǎng)絡(luò)及其干點預(yù)測

吳朔楓, 顏學(xué)峰

(華東理工大學(xué)化工過程先進(jìn)控制和優(yōu)化技術(shù)教育部重點實驗室,上海 200237)

?

基于即時學(xué)習(xí)的集成神經(jīng)網(wǎng)絡(luò)及其干點預(yù)測

吳朔楓, 顏學(xué)峰

(華東理工大學(xué)化工過程先進(jìn)控制和優(yōu)化技術(shù)教育部重點實驗室,上海 200237)

針對單個神經(jīng)網(wǎng)絡(luò)泛化能力差、對不同樣本預(yù)測精度波動大的問題,提出了一種基于即時學(xué)習(xí)集成神經(jīng)網(wǎng)絡(luò)方法。首先,基于訓(xùn)練樣本,建立多個不同的神經(jīng)網(wǎng)絡(luò)模型。其次,根據(jù)即時學(xué)習(xí)的思想,在對樣本進(jìn)行預(yù)測時,在訓(xùn)練樣本中尋找與預(yù)測樣本最接近的若干鄰近樣本,根據(jù)各網(wǎng)絡(luò)對鄰近樣本的訓(xùn)練誤差,即時形成各神經(jīng)網(wǎng)絡(luò)的集成權(quán)重,實時構(gòu)造集成神經(jīng)網(wǎng)絡(luò)模型,對預(yù)測樣本進(jìn)行預(yù)測。最后,將該方法應(yīng)用于初頂石腦油干點的預(yù)測,相比于文獻(xiàn)中提出的方法,得到了更好的預(yù)測結(jié)果。

神經(jīng)網(wǎng)絡(luò); 即時學(xué)習(xí); 集成; 干點

通常,化工過程輸入輸出變量較多,內(nèi)部關(guān)系復(fù)雜,難以建立可靠的機(jī)理模型,往往根據(jù)已知的輸入輸出樣本數(shù)據(jù)建立其所蘊含的復(fù)雜關(guān)系的模型。神經(jīng)網(wǎng)絡(luò)模型能夠描述這類多輸入多輸出的非線性過程,在化工過程建模中廣泛使用。但單一神經(jīng)網(wǎng)絡(luò)模型存在最優(yōu)模型結(jié)構(gòu)難以確定、泛化能力差、對不同樣本預(yù)測波動性大、模型穩(wěn)定性不足等缺點。

集成神經(jīng)網(wǎng)絡(luò)模型是由多個相似或相同目的建立的神經(jīng)網(wǎng)絡(luò)子模型組成的預(yù)測模型,其能有效提高模型的泛化能力和魯棒性。文獻(xiàn)[1]提出了一種基于多神經(jīng)網(wǎng)絡(luò)的水質(zhì)預(yù)測模型,通過聚類將輸入空間劃分為局部空間,在每個子空間上建立子模型,然后用主元遞歸解決子模型之間的相關(guān)性問題,進(jìn)而提高了模型的精度和魯棒性;文獻(xiàn)[2]提出了一種基于多神經(jīng)網(wǎng)絡(luò)的預(yù)測控制方法,采用廣義信息熵融合各個子模型,提高了模型的準(zhǔn)確性和可靠性;文獻(xiàn)[3]提出了一種多神經(jīng)網(wǎng)絡(luò)建立動態(tài)軟測量模型的方法,在二元精餾塔的塔底產(chǎn)品成分估計上取得了較好的效果;文獻(xiàn)[4]采用RBF網(wǎng)絡(luò)和Elman網(wǎng)絡(luò)分別建立了穩(wěn)壓器的預(yù)測模型和診斷模型,然后用模糊邏輯對結(jié)果進(jìn)行融合。

即時學(xué)習(xí)是一種尋找與當(dāng)前數(shù)據(jù)最相似的歷史數(shù)據(jù)來進(jìn)行建模的方法。文獻(xiàn)[5]提出了一種改進(jìn)的即時模型辨識方法,然后與自校正極點配置算法相結(jié)合,設(shè)計出了一種多模型自適應(yīng)控制器,對非線性系統(tǒng)的動態(tài)特性實現(xiàn)了較好的逼近,使系統(tǒng)的動態(tài)響應(yīng)品質(zhì)得到了改善。文獻(xiàn)[6]將即時學(xué)習(xí)算法應(yīng)用于非線性系統(tǒng)的迭代控制中,運用即時學(xué)習(xí)算法有效地估計了初始控制量,減小了初始輸出誤差,加快了算法收斂速度,使得經(jīng)過有限次迭代的系統(tǒng)輸出能準(zhǔn)確地跟蹤理想信號。文獻(xiàn)[7]將即時學(xué)習(xí)算法應(yīng)用在軟測量建模上,提出了一種矢量近鄰方法,提高了即時學(xué)習(xí)算法的預(yù)測能力,然后與最小二乘算法相結(jié)合,實現(xiàn)了較好的預(yù)測效果。

本文將即時學(xué)習(xí)和集成神經(jīng)網(wǎng)絡(luò)方法相結(jié)合,通過即時學(xué)習(xí)策略確定與預(yù)測樣本相近的鄰近樣本,然后分析各子模型對鄰近樣本的預(yù)測能力,實現(xiàn)加權(quán)集成,并應(yīng)用在初頂石腦油干點的預(yù)測上,取得了較好的效果。

1 基于即時學(xué)習(xí)的集成神經(jīng)網(wǎng)絡(luò)方法

1.1 概述

設(shè)一個多輸入單輸出的非線性系統(tǒng),其中輸入為x∈Rd,輸出為y∈R,采集的樣本數(shù)據(jù)集為{(xj,yj)}j=1,2,…,N(N代表樣本數(shù)據(jù)總量)。假定輸入輸出之間存在一種未知的非線性映射關(guān)系y=f(x),通過集成神經(jīng)網(wǎng)絡(luò)建模,基于樣本數(shù)據(jù)集,建立描述輸入輸出的非線性關(guān)系模型。

1.2 集成神經(jīng)網(wǎng)絡(luò)模型中單個神經(jīng)網(wǎng)絡(luò)模型的建立

采用包含輸入層、隱含層、輸出層的3層前饋神經(jīng)網(wǎng)絡(luò),其中輸入層和輸出層的神經(jīng)元個數(shù)由被建模對象的輸入輸出變量個數(shù)決定,隱單元數(shù)量則決定了網(wǎng)絡(luò)的表達(dá)能力。較少的隱單元數(shù)無法擬合復(fù)雜的非線性關(guān)系,較多的隱單元數(shù)會出現(xiàn)過擬合現(xiàn)象。本文選用不同隱單元數(shù)的神經(jīng)網(wǎng)絡(luò)作為各個子模型,建立n個神經(jīng)網(wǎng)絡(luò)子模型,其中每個神經(jīng)網(wǎng)絡(luò)子模型都采用歷史數(shù)據(jù)集{(xj,yj)}j=1,2,…,N進(jìn)行訓(xùn)練。

1.3 數(shù)據(jù)選擇方法

根據(jù)即時學(xué)習(xí)思想,從采集的大量歷史數(shù)據(jù)中,選擇出與當(dāng)前工作狀態(tài)最相近或最相似的歷史數(shù)據(jù),根據(jù)各個子模型在這些最相似歷史數(shù)據(jù)上的訓(xùn)練誤差,確定每個子模型預(yù)測輸出在最終輸出中所占的比重。影響數(shù)據(jù)選擇效果的因素如下:

(1)數(shù)據(jù)選擇條件。即評價歷史數(shù)據(jù)與當(dāng)前數(shù)據(jù)靠近程度的測算方法。因為只有采用一個較為合理的測算準(zhǔn)則,才能選取出與當(dāng)前數(shù)據(jù)最為相關(guān)的歷史數(shù)據(jù),進(jìn)而獲得較好的局部預(yù)測模型。

(2)所選數(shù)據(jù)的多少。如果數(shù)據(jù)較多,就會無法反映系統(tǒng)的局部特性;如果數(shù)據(jù)較少,就會無法得到一個較好的預(yù)測模型。

本文采用如下方法作為相近程度的評價準(zhǔn)則[7]:

假設(shè)兩個向量xp,xq,其中xp表示歷史數(shù)據(jù)集中的一個輸入向量,xq表示當(dāng)前采集到的用來預(yù)測系統(tǒng)輸出的輸入向量;兩個向量的歐氏距離d與夾角θ定義為

(1)

(2)

(1) 當(dāng)cos[θ(xp,xq)]<0時,認(rèn)為兩個向量偏離較大,在子模型訓(xùn)練時,拋棄這個歷史數(shù)據(jù)。

(2) 當(dāng)cos[θ(xp,xq)]>0時,采用式(3)作為兩個向量的靠近程度,其中0≤λ≤1。

(3)

(3) 定義一個閾值0≤ζ≤1,如果J(xp,xq)>ζ,將其作為需要考慮的鄰近樣本,否則就拋棄它,最后得到k個鄰近樣本。

1.4 網(wǎng)絡(luò)集成步驟

(1) 使用歷史數(shù)據(jù)集{(xj,yj)}j=1,2,…,N中的所有數(shù)據(jù)對1.2節(jié)中構(gòu)造的n個不同隱單元數(shù)的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

(2) 對于測試集中的一個輸入向量xq,采用1.3節(jié)中的計算方法選擇出k個鄰近樣本。計算n個子模型在這k個鄰近樣本上各自的平均訓(xùn)練誤差ei,然后構(gòu)造1×n維的權(quán)值向量w,其中wi=1/ei,i∈[1,n]。

(3) 計算n個子模型對輸入數(shù)據(jù)xq的預(yù)測結(jié)果,得到1×n 維的輸出向量y。

(4) 計算最終的預(yù)測結(jié)果。

(4)

2 初頂石腦油干點預(yù)測模型

2.1 概述

圖1示出了初餾塔的工藝流程,為了確保精餾效果以及提高塔內(nèi)的處理量,控制氣液相的負(fù)荷,初餾塔設(shè)置了一個頂回流、兩個循環(huán)回流(First pump-around和 Second pump-around)。采用初頂石腦油干點的工業(yè)數(shù)據(jù)作為本文的樣本數(shù)據(jù)。在實際石化工業(yè)過程中,有非常多的環(huán)境因素共同決定著初頂石腦油的干點。

2.2 模型數(shù)據(jù)

采集的樣本一共包含了275組數(shù)據(jù)。每組數(shù)據(jù)由10個輸入量和1個輸出量組成,10個輸入量主要描述的是精餾塔的狀態(tài)量,輸出量是初頂石腦油干點,如表1所示。

圖1 初餾塔流程圖Fig.1 Flow chart of primary distillation tower表1 模型輸入量和輸出量Table 1 Input and output variables of model

VariablesRangeReflashtowerhandingcapacityx1/(kg·h-1)333.2～450.7Towertoptemperaturex2/℃143.1～152.9Towertoppressurex3/MPa0.166～0.288Topbackflowtemperaturex4/℃5.64～15.21Backflowratiox5/%0.468～1.522Naphthaflowcapacityx6/(kg·h-1)20.03～67.04Firstpump-aroundtemperaturex7/℃0.802～5.709Secondpump-aroundtemperaturex8/℃2.35～5.67Feedtemperaturex9/℃226～251.5Previousnaphthadrypointx10/℃157～175.5Naphthadrypointy/℃157～175.5

圖2示出了模型輸入量與輸出量的關(guān)系。從圖2可以看出,各個輸入與輸出之間呈現(xiàn)出了非常明顯的非線性關(guān)系。

2.3 初頂石腦油干點預(yù)測模型的建立

2.3.1數(shù)據(jù)預(yù)處理 將275組數(shù)據(jù)隨機(jī)分為兩部分,185組作為訓(xùn)練數(shù)據(jù),90組作為測試數(shù)據(jù)。為了便于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,把所有數(shù)據(jù)歸一化到[-1,1]中。

(5)

2.3.2 子模型訓(xùn)練 根據(jù)文獻(xiàn)[8]可知,對于神經(jīng)網(wǎng)絡(luò)來說,網(wǎng)絡(luò)的訓(xùn)練誤差會因隱單元數(shù)不同而發(fā)生變化。本文分別采用2～9個隱單元的神經(jīng)網(wǎng)絡(luò)作為子模型,用訓(xùn)練集中的數(shù)據(jù)對各個子模型進(jìn)行10次訓(xùn)練,圖3示出了各子模型10次訓(xùn)練中的平均訓(xùn)練誤差。

從圖3可以看出,在185組訓(xùn)練數(shù)據(jù)上,隨著隱單元數(shù)的增加,網(wǎng)絡(luò)的平均訓(xùn)練誤差逐漸減小。

針對測試集中的90組數(shù)據(jù),計算各子模型在10次訓(xùn)練中的平均預(yù)測誤差,圖4示出了2～9個隱單元的子模型在90組數(shù)據(jù)上的平均預(yù)測誤差。

圖4 各子模型平均預(yù)測誤差Fig.4 Average test error of every sub-network

2.3.3 網(wǎng)絡(luò)集成 首先,采用1.3節(jié)中的方法選擇鄰近數(shù)據(jù),在選擇過程中,將ζ設(shè)置為0.7,λ設(shè)置為0.5,經(jīng)過計算可以得到90組測試數(shù)據(jù)各自的鄰近數(shù)據(jù)。采用類似概率分布的方式來展示90組測試數(shù)據(jù)的鄰近數(shù)據(jù)選擇結(jié)果,如圖5所示。圖中橫坐標(biāo)表示鄰近數(shù)據(jù)的組數(shù),縱坐標(biāo)表示測試數(shù)據(jù)的組數(shù),例如,柱狀圖最高的那一項表示:有16組測試數(shù)據(jù),它們鄰近數(shù)據(jù)的組數(shù)是15,即這16組測試數(shù)據(jù)各自都有15組鄰近數(shù)據(jù)。從圖中可以看出,各組測試數(shù)據(jù)上鄰近數(shù)據(jù)的組數(shù)在大尺度范圍上近似呈現(xiàn)正態(tài)分布的模式,但有些測試數(shù)據(jù)的鄰近數(shù)據(jù)較少,可能會影響本文方法在這類測試數(shù)據(jù)上的預(yù)測效果。

圖5 鄰近數(shù)據(jù)選擇結(jié)果Fig.5 Result of adjacent data selection

接下來,確定在一個特定的測試數(shù)據(jù)上各子網(wǎng)絡(luò)模型的權(quán)值系數(shù)。例如,對于歸一化后的一組測試數(shù)據(jù)x,設(shè)它有k組鄰近數(shù)據(jù),然后計算已經(jīng)訓(xùn)練出的8個子網(wǎng)絡(luò)模型分別在這組測試數(shù)據(jù)上的預(yù)測值(y1,y2,…..,y8)以及k組鄰近數(shù)據(jù)上的平均訓(xùn)練誤差(e1,e2,…,e8),采用公式wi=1/ei,i∈[1,8]計算各子模型的權(quán)值,最后采用1.4節(jié)中的式(4)計算最終的預(yù)測值y。

針對90組測試數(shù)據(jù),計算每組數(shù)據(jù)的預(yù)測值,總體的預(yù)測效果見表2。表中RMSE為均方根誤差;APE為平均百分比誤差;r為預(yù)測輸出與實際輸出的相關(guān)系數(shù)。計算公式如下:

(6)

(7)

(8)

比較表2與圖4可以看出,集成后的預(yù)測誤差相比各個子模型的預(yù)測誤差都要小,因此可以說集成方法成功地減小了預(yù)測誤差。

表2 集成神經(jīng)網(wǎng)絡(luò)的預(yù)測效果Table 2 Prediction result of intergraded neural network

圖6示出了集成方法的預(yù)測誤差分布情況,可以看出接近90%的預(yù)測誤差小于1.5(系統(tǒng)輸出實際值范圍是157～175.5 ℃,即90%的誤差小于取值范圍的10%)。

圖6 預(yù)測誤差分布圖Fig.6 Distribution of test error

2.3.4 結(jié)果分析 表3 示出了各子模型的權(quán)重總和。可以看出,各個子模型在組合過程中對于預(yù)測輸出的貢獻(xiàn)度(即在90組測試數(shù)據(jù)上的權(quán)值總和)基本相近,因此,在組合過程中,每個子模型的輸出結(jié)果總體來說基本上是同等重要的。

表3 各子模型的權(quán)重總和Table 3 Sum of weights in every sub-network

同時也不難發(fā)現(xiàn),權(quán)值總和最大的子模型4(5)對應(yīng)的預(yù)測誤差最小,而權(quán)值總和最小的子模型1(2)對應(yīng)的預(yù)測誤差最大。因此,可以看出子模型預(yù)測輸出對總體的貢獻(xiàn)度與子模型本身的預(yù)測誤差有關(guān)系。

2.3.5 結(jié)果比較 圖7示出了本文方法在初頂石腦油干點預(yù)測上的實驗結(jié)果,圖8示出了文獻(xiàn)[9]的實驗結(jié)果,圖9示出了文獻(xiàn)[10]的實驗結(jié)果。通過比較可以發(fā)現(xiàn),本文方法的實驗結(jié)果更好。

圖7 本文方法實驗結(jié)果Fig.7 Result of this paper

圖8 文獻(xiàn)[9]方法實驗結(jié)果Fig.8 Result of literature[9]

圖9 文獻(xiàn)[10]方法實驗結(jié)果Fig.9 Result of literature[10]

3 結(jié) 論

本文提出了一種基于即時學(xué)習(xí)的集成神經(jīng)網(wǎng)絡(luò)方法,主要思想是利用各神經(jīng)網(wǎng)絡(luò)子模型的局部預(yù)測精確度,通過子模型集成構(gòu)造一個更加精確的預(yù)測模型,然后將此方法應(yīng)用于初頂石腦油干點的預(yù)測。實驗結(jié)果表明,本文提出的集成神經(jīng)網(wǎng)絡(luò)方法成功地減小了預(yù)測誤差,與文獻(xiàn)[9-10]提出的方法相比,本文方法有著更好的預(yù)測效果。同時不難看出,本文提出的集成方法不僅可以應(yīng)用于神經(jīng)網(wǎng)絡(luò),也可以應(yīng)用于其他的一些基于數(shù)據(jù)的擬合算法。

[1] 余偉,羅飛,楊紅,等.基于多神經(jīng)網(wǎng)絡(luò)的污水氨氮預(yù)測模型[J].華南理工大學(xué)學(xué)報(自然科學(xué)版),2010,38(12):79-83.

[2] 熊智華,王雄,徐用懋.基于廣義信息熵融合的多神經(jīng)網(wǎng)絡(luò)建模方法[J].信息與控制,1999,41(增刊):346-349.

[3] 羅健旭,邵惠鶴.應(yīng)用多神經(jīng)網(wǎng)絡(luò)建立動態(tài)軟測量模型[J].化工學(xué)報,2003,54(12):1770-1773.

[4] 韓龍,周月,孫旭升.基于集成神經(jīng)網(wǎng)絡(luò)與模糊邏輯融合的穩(wěn)壓器泄漏監(jiān)測方法[J].原子能科學(xué)技術(shù),2014,48(Z1):474-479.

[5] 孫維,王偉.基于即時學(xué)習(xí)算法非線性系統(tǒng)多模型自適應(yīng)控制[J].大連理工大學(xué)學(xué)報,2002,42(5):611-615.

[6] 朱瑞軍.即時學(xué)習(xí)算法在非線性系統(tǒng)迭代學(xué)習(xí)控制中的應(yīng)用[J].控制與決策,2003,18(3):278-281.

[7] 王其紅,潘天紅,鄒云.基于即時學(xué)習(xí)算法的軟測量建模方法[J].南京理工大學(xué)學(xué)報,2007,31(6):278-281.

[8] RICHARD O D,PETER E H,DAVID G S.模式分類[M].北京:機(jī)械工業(yè)出版社,2003.

[9] ZHOU Weihua,YAN Xuefeng,CHEN Chao,etal. Optimization of RBF neural networks using a rough K-means algorithm and application to naphtha dry point soft sensors[J].Journal of Chemical Engineering of Japan,2013,46(7):501-508.

[10] 顏學(xué)峰.基于改進(jìn)神經(jīng)網(wǎng)絡(luò)的干點軟測量[J].高技術(shù)通訊,2007,17(1):44-48.

Integrated Neural Network Based on Just-in-Time Learning and Application on Dry Point Prediction

WU Shuo-feng, YAN Xue-feng

(Key Laboratory of Advanced Control and Optimization for Chemical Process,Ministry of Education,East China University of Science and Technology,Shanghai 200237,China)

Aiming at the poor generalization ability of single neural networks and large fluctuations of test accuracy for different samples,this paper presents an integrated neural network method based on the just-in-time learning.Firstly,several different neural network models are established based on the training samples.Secondly,several adjacent samples closest to the predicted samples are selected based on the just-in-time learning while predicting the samples.According to the training errors of the sub-networks on the adjacent samples,the integrated weights of the neural networks are generated immediately to establish the integrated neural network model in real time for predicting the test samples.Finally,the proposed method is applied to predict the naphtha dry point and a better prediction result is achieved,compared with the existing methods.

neural network; just-in-time learning; integration; dry point

1006-3080(2016)05-0696-07

10.14135/j.cnki.1006-3080.2016.05.017

2015-12-04

國家“973”計劃 (2013CB733605);國家自然科學(xué)基金 (21176073)

吳朔楓(1990-),男,山東人,碩士生,研究方向為化工過程建模。E-mail:715122013@qq.com

顏學(xué)峰,E-mail:xfyan@ecust.edu.cn

TP183

A