梯形模糊數(shù)據(jù)基于期望值簡約的模糊非線性回歸

， ，

(石家莊鐵道大學(xué) 數(shù)理系,河北 石家莊 050043)

0 引言

模糊非線性回歸(Fuzzy nonlinear regression, FNR)[1]是預(yù)測不確定系統(tǒng)中模糊輸出的一種有效方法。 近年來已在諸多領(lǐng)域得到了應(yīng)用，例如化工廠的故障診斷[2]，降解過程的可靠性分析[3]，識別顧客需求的補(bǔ)償程度[4]等。 隨著大數(shù)據(jù)時代的到來，模糊非線性回歸也展示出了其在大規(guī)模不確定數(shù)據(jù)領(lǐng)域的巨大潛力[5]。

在已有模糊非線性回歸模型分析中，神經(jīng)網(wǎng)絡(luò)是最常用且有效的機(jī)器學(xué)習(xí)算法，其處理的模糊數(shù)據(jù)主要有以下3種。 (1)針對區(qū)間模糊數(shù)的FNR。 Ishibuchi和Tanaka在1992和1993年分別提出兩種模糊非線性模型[6-7]，這兩個模型都針對區(qū)間型模糊數(shù)據(jù)[8]，其訓(xùn)練過程均采用BP (Back-Propagation)算法。 2014年，Zhao和Wang提出了一種處理區(qū)間模糊輸入輸出的模型[9]，該模型利用極速學(xué)習(xí)機(jī)算法，具有很快的學(xué)習(xí)速度。 (2)針對三角模糊數(shù)的FNR。 1995年，Ishibuchi et al[10]提出了一種模型處理三角型模糊輸入輸出的算法，其訓(xùn)練過程依然采用了BP算法，連接權(quán)值均為三角型模糊數(shù)。 Cheng et al[11]在2001年利用RBF(Radial Basis Function)網(wǎng)絡(luò)設(shè)計了一種模糊非線性回歸模型，該模型中輸出和輸出層連接權(quán)值均為三角型模糊數(shù)(FNRRBF)。He et al[12]在2016年提出了一種基于隨機(jī)賦權(quán)網(wǎng)絡(luò)(Random Weight Network, RWN)的模糊非線性回歸模型(FNRRWN) 。無需反復(fù)迭代調(diào)整參數(shù)的RWN[13-15]使得這一模型取得了比FNRBP和FNRRBF快得多的訓(xùn)練速度。(3)針對梯形模糊數(shù)的FNR。1994年，Ishibuchi et al[16]設(shè)計了一種利用梯形模糊數(shù)為權(quán)的BP算法的模糊非線性回歸模型。該模型中的輸入輸出均為梯形模糊數(shù)，而訓(xùn)練采用了傳統(tǒng)的BP算法。

由上可知，模糊非線性回歸模型中采用的算法主要有3種，BP算法，RBF算法和RWN算法，F(xiàn)NRBP和FNRRBF的訓(xùn)練精度尚可接受，但其計算復(fù)雜度過高導(dǎo)致訓(xùn)練時間太長。而FNRRWN克服了這一缺點，不僅擁有很快的訓(xùn)練速度，并且精度也可以接受。同時也發(fā)現(xiàn)了FNRRWN的缺陷，即FNRRWN模型中采用了兩處近似運(yùn)算，這在一定程度上降低了該模型的學(xué)習(xí)準(zhǔn)確度。為了描述方便將He et al提出的思想用于梯形模糊數(shù)據(jù)的模型記為TraFNRRWN-I?；谝陨峡紤]，本文提出了一種針對梯形模糊數(shù)據(jù)借助于模糊變量期望值簡約的隨機(jī)賦權(quán)模糊非線性回歸模型(TraFNRRWN-II)。該模型借鑒了2-型模糊數(shù)學(xué)理論中的模糊簡約思想，利用模糊變量的期望值對梯形模糊變量進(jìn)行簡約，然后利用經(jīng)典的隨機(jī)賦權(quán)網(wǎng)絡(luò)對其進(jìn)行訓(xùn)練，最后再根據(jù)網(wǎng)絡(luò)的原始目標(biāo)輸出的寬度矩陣將網(wǎng)絡(luò)實際的清晰值輸出還原為模糊值輸出。由于期望值這一概念是模糊變量本身固有的數(shù)字特征，無需加入人工干預(yù)成分，在相當(dāng)程度上保留了數(shù)據(jù)的最大信息，從而能更好地對數(shù)據(jù)做出預(yù)測。

1 相關(guān)背景知識

1.1 梯形模糊數(shù)

模型針對梯形模糊輸入輸出設(shè)計，故先對梯形模糊數(shù)簡單介紹如下。

定義1.1 符合以下隸屬函數(shù)的模糊數(shù)A=(a1，a2，…，a4)是一個梯形模糊數(shù)

(1)

它的α-截集為

(2)

1.2 期望值簡約

不確定性簡約，即模糊變量簡約，是解決2-型模糊問題的重要方法。 所謂簡約，即用一個特殊的值對模糊變量進(jìn)行代替，簡約既是一種舍棄，更是一種保留[17]。 不確定性簡約的方法有很多，期望值簡約是一種常用且有效的方法。 模糊變量期望的定義有很多種[18-22]，采用了Liu B et al (2002) 中給出的定義[22]。

定義1.2假設(shè)ξ是定義在可信性空間(Γ，A，Cr)上的一個模糊變量，則ξ的期望定義為

(3)

由定義1.2可知，當(dāng)ξ是一個梯形模糊變量(α1，α2，…，α4)時，其期望值為

(4)

1.3 針對梯形模糊數(shù)據(jù)的基于隨機(jī)賦權(quán)網(wǎng)絡(luò)的模糊非線性回歸(TraFNRRWN-I)

He et al 在2016年提出了一種新的基于隨機(jī)賦權(quán)網(wǎng)絡(luò)的模糊非線性回歸模型[12]，該模型的處理對象為三角型模糊數(shù)據(jù)，但也可用于梯形模糊數(shù)據(jù)，根據(jù)文獻(xiàn)[12]中思想，介紹相對應(yīng)的針對梯形模糊數(shù)據(jù)的模型記為TraFNRRWN-I。

TraFNRRWN-I處理的數(shù)據(jù)均為梯形模糊數(shù)，即輸入輸出均為梯形模糊數(shù)。其網(wǎng)絡(luò)結(jié)構(gòu)為一個單隱含層前饋神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸入和輸出為梯形模糊變量的α-截集。輸入層權(quán)值和隱含層偏置被隨機(jī)賦值為[0,1]之間的數(shù)，而輸出層的權(quán)值則通過最小化所有樣例的目標(biāo)模糊輸出和實際模糊輸出各α-截集的誤差之和訓(xùn)練而得，具體訓(xùn)練過程簡介如下，詳細(xì)參見文獻(xiàn)[12]。

第n組數(shù)據(jù)(Xn1，Xn2，…，XnD)對應(yīng)第j個隱含節(jié)點的輸入和輸出為

(5)

(6)

Hnj的α-截集為

(7)

則網(wǎng)絡(luò)實際模糊輸出的α-截集為

(8)

式中，β待確定，為輸出層權(quán)值矩陣。

則定義在總體數(shù)據(jù)集D上的誤差為

(9)

TraFNRRWN-I通過最小化式(9)來訓(xùn)練網(wǎng)絡(luò)輸出權(quán)值β。因為式(9)中用到了積分，故導(dǎo)致直接從中推導(dǎo)β的更新規(guī)則將十分困難，故文獻(xiàn)[12]采用了近似誤差求解β的方法。

由于無需反復(fù)迭代，He et al提出的TraFNRRWN-I模型取得了較之TraFNRBP和TraFNRRBF更快的訓(xùn)練速度，但也有其缺陷。①經(jīng)過隱含層之后的模糊變量已經(jīng)變成非梯形，但TraFNRRWN-I模型用這個非梯形的模糊變量去逼近目標(biāo)梯形模糊變量，學(xué)習(xí)精確度必將受到影響；②權(quán)值學(xué)習(xí)過程采用了近似誤差，也直接導(dǎo)致該模型精確度降低。

2 基于期望值簡約的梯形模糊數(shù)據(jù)非線性回歸(TraFNRRWN-II)

考慮到TraFNRRWN-I模型的上述缺點，提出一種基于期望值簡約思想的模糊非線性回歸模型，因為網(wǎng)絡(luò)的訓(xùn)練仍然采用了隨機(jī)賦權(quán)網(wǎng)絡(luò)，故而模型簡記為TraFNRRWN-II。該模型處理的也是梯形模糊輸入輸出數(shù)據(jù)。在該模型中，將梯形模糊輸入輸出用其期望值進(jìn)行代替，從而將模糊數(shù)據(jù)轉(zhuǎn)化為清晰數(shù)據(jù)，隨后利用經(jīng)典隨機(jī)賦權(quán)網(wǎng)絡(luò)對輸出層權(quán)值進(jìn)行學(xué)習(xí)。最后再通過一個預(yù)先定義的目標(biāo)模糊輸出的寬度矩陣，將網(wǎng)絡(luò)清晰值輸出還原為梯形模糊輸出。其網(wǎng)絡(luò)結(jié)構(gòu)基本與TraFNRRWN-I相同，也是一個單隱含層前饋神經(jīng)網(wǎng)絡(luò)，但網(wǎng)絡(luò)的輸入輸出均為模糊輸入輸出的期望值,具體過程如下。

首先對輸入Dn=(Xn1,XX2,…,XnD)，Xnd=(xnd1,xnd2,xnd3,xnd4),n=1,2,…,N,d=1,2,…,D, 以及輸出Yn=(yn1,yn2,yn3,yn4)，分別計算其期望值

[Dn]E=([xn1]E,[xn2]E,…,[xnD]E)

(10)

(11)

其中

(12)

然后用輸入輸出的期望值代替原輸入輸出。

則第n組數(shù)據(jù)(Xn1，Xn2，…，XnD)對應(yīng)第j個隱含節(jié)點的輸入和輸出分別為

《無機(jī)鹽工業(yè)》(月刊)是全國中文核心期刊，是國家科委批準(zhǔn)的無機(jī)化工行業(yè)公開發(fā)行的科技刊物，1960年創(chuàng)刊，國內(nèi)外公開發(fā)行，主要報道國內(nèi)外無機(jī)化工行業(yè)最新科技成果與技術(shù)進(jìn)展，以及新技術(shù)、新工藝、新設(shè)備、新產(chǎn)品、新用途等方面的動態(tài)及商品信息、市場行情等。內(nèi)設(shè)綜述與專論、研究與開發(fā)、工業(yè)技術(shù)、環(huán)境·健康·安全、化工分析與測試、化工標(biāo)準(zhǔn)化、化工裝備與設(shè)計、催化材料、電池材料、綜合信息等欄目，是無機(jī)化工行業(yè)必不可少的良師益友。

(13)

(14)

式中，ωji和bj分別為輸入層權(quán)值和隱含層偏置，被設(shè)定為區(qū)間[0,1]上的隨機(jī)數(shù)。

網(wǎng)絡(luò)輸出層權(quán)值計算如下

(15)

[Y]E=[[Y1]E，[Y2]E，…，[YN]E]T

(16)

則網(wǎng)絡(luò)的實際清晰輸出為

[T]E=[H]Eβ

(17)

最后，定義一個記錄目標(biāo)模糊輸出變量寬度信息的矩陣PY，用于還原網(wǎng)絡(luò)的實際清晰值輸出[T]E為模糊值輸出T,

(18)

定義2.1 對于梯形模糊向量Y=[Y1,Y2,…,YN]T，Yn=(yn1,yn2,yn3,yn4)，n=1，2，…，N,定義其寬度矩陣為

(19)

假設(shè)實際模糊輸出具有和目標(biāo)模糊輸出相同的寬度，則有下列方程組成立

(20)

故可計算網(wǎng)絡(luò)的實際模糊值輸出

(21)

3 仿真實驗

將提出的TraFNRRWN-II與He et al提出的TraFNRRWN-I進(jìn)行對比實驗，兩者皆在聯(lián)想Y410P，windows 7操作系統(tǒng)下進(jìn)行，英特爾處理器i5-4200M，主頻2.50 GHz，4 GB內(nèi)存。比對的內(nèi)容為算法學(xué)習(xí)準(zhǔn)確度和學(xué)習(xí)時間，學(xué)習(xí)準(zhǔn)確度的含義是在不同α水平下目標(biāo)輸出的α-截集與實際輸出的α-截集的均方誤差

(22)

實驗所用數(shù)據(jù)為來源于UCI和KEEL中的12個真實數(shù)據(jù)集, 參見表1。數(shù)據(jù)模糊化的方法采用了He在文獻(xiàn)[12]中的方法，詳細(xì)過程參見該文獻(xiàn)。TraFNRRWN-I模型中采用了文獻(xiàn)[12]中最優(yōu)的參數(shù)，C=2-9，兩個模型中隱含層節(jié)點的個數(shù)均為100。實驗采用十次十折交叉驗證運(yùn)算，取100次實驗結(jié)果的平均值作為最后的結(jié)果，詳見表2，表3。

表2的結(jié)果表明，提出的TraFNRRWN-II基本和He et al提出的TraFNRRWN-I保持了相當(dāng)?shù)膶W(xué)習(xí)速度。表3的結(jié)果表明，較之TraFNRRWN-I，TraFNRRWN-II具有更好的學(xué)習(xí)準(zhǔn)確度，采用TraFNRRWN-I模型得到的實驗結(jié)果其均方誤差基本保持在10-2量級，而采用TraFNRRWN-II模型得到的實驗結(jié)果其均方誤差的量級達(dá)到了10-34。

若數(shù)據(jù)變?yōu)槠渌愋偷哪：兞浚踔粱旌项愋偷哪：兞?，則TraFNRRWN-I推導(dǎo)起來將十分困難，而TraFNRRWN-II則很容易適用于這種復(fù)雜環(huán)境，只需要計算各種模糊變量的期望值即可，即TraFNRRWN-II還具有更好的擴(kuò)展能力。

表1 仿真實驗數(shù)據(jù)描述

表2 TraFNRRWN-I和TraFNRRWN-II的訓(xùn)練和測試時間 s

表3 TraFNRRWN-I和TraFNRRWN-II的訓(xùn)練和測試誤差

4 結(jié)論

借鑒2-型模糊理論中的簡約思想，提出了一種基于期望值簡約的模糊非線性回歸模型。本模型利用了模糊變量的期望值對梯形模糊輸入輸出進(jìn)行簡約，從而將模糊的數(shù)據(jù)轉(zhuǎn)化為清晰數(shù)據(jù)，故而可以利用經(jīng)典的隨機(jī)賦權(quán)網(wǎng)絡(luò)對其進(jìn)行訓(xùn)練。最后再通過一個目標(biāo)輸出數(shù)據(jù)的寬度信息矩陣將清晰輸出還原為模糊輸出。因無需引入數(shù)據(jù)以外的其它信息，較之文獻(xiàn)[12]中的模型，此模型具有更好的客觀性，從而具有更高的學(xué)習(xí)準(zhǔn)確度。又因為期望值計算的簡便性，此模型還具有很好的應(yīng)用范圍。