基于集成學(xué)習(xí)的復(fù)雜仿真模型驗(yàn)證方法

周玉臣, 方 可, 馬 萍, 楊 明

(哈爾濱工業(yè)大學(xué)控制與仿真中心, 黑龍江 哈爾濱 150080)

0 引 言

校核、驗(yàn)證與確認(rèn)(verification, validation and accreditation, VV&A)貫穿于復(fù)雜仿真模型開發(fā)的全生命周期,模型驗(yàn)證能夠確保對(duì)模型中缺陷與錯(cuò)誤的早期檢測(cè),及時(shí)解決各設(shè)計(jì)開發(fā)階段所暴露出的問(wèn)題,從而保證仿真模型的可信性與正確性,降低應(yīng)用風(fēng)險(xiǎn)。

復(fù)雜仿真模型驗(yàn)證具有評(píng)估對(duì)象復(fù)雜、數(shù)據(jù)量大、組織實(shí)施困難等特點(diǎn)。文獻(xiàn)[1]指出為了保證模型在應(yīng)用域內(nèi)有效,需要對(duì)不同想定下獲得的仿真數(shù)據(jù)與參考數(shù)據(jù)進(jìn)行比較,這一過(guò)程往往經(jīng)濟(jì)成本與時(shí)間成本較高。

如何有效利用海量數(shù)據(jù)對(duì)復(fù)雜仿真模型進(jìn)行驗(yàn)證是目前模型驗(yàn)證方法面臨的挑戰(zhàn)之一。相似性分析是復(fù)雜仿真模型驗(yàn)證的主要手段,數(shù)據(jù)的多樣性導(dǎo)致驗(yàn)證過(guò)程中需要使用不同的數(shù)據(jù)相似性分析方法。研究人員提出了大量的相似性分析方法對(duì)仿真時(shí)間序列與參考時(shí)間序列的相似性進(jìn)行度量,文獻(xiàn)[2-4]對(duì)數(shù)據(jù)相似性分析方法進(jìn)行了綜述。不同的相似性分析方法可以度量仿真模型輸出與參考系統(tǒng)輸出某一個(gè)或者某幾個(gè)方面的相似性程度,而無(wú)法全面的分析具有不同特征的時(shí)間序列間的相似性。文獻(xiàn)[5]提出了一種基于神經(jīng)網(wǎng)絡(luò)的周期性時(shí)間序列相似性度量方法,該方法通過(guò)將數(shù)據(jù)進(jìn)行頻域轉(zhuǎn)換,利用歐式距離度量時(shí)間序列在頻域的相似性程度。文獻(xiàn)[6]利用隨機(jī)神經(jīng)網(wǎng)絡(luò)(probability neural network, PNN)對(duì)定量分析結(jié)果與專家主觀相似性評(píng)定結(jié)果的映射關(guān)系進(jìn)行學(xué)習(xí)。利用機(jī)器學(xué)習(xí)方法設(shè)計(jì)適用范圍更廣的相似性分析方法是有效應(yīng)對(duì)海量數(shù)據(jù)相似性分析問(wèn)題的主要途徑。

文獻(xiàn)[7]指出仿真模型驗(yàn)證并不是要判斷仿真模型能否完全復(fù)現(xiàn)出仿真對(duì)象,而是判斷仿真模型的輸出誤差是否大到淹沒(méi)其有用性。相對(duì)于獲得仿真模型輸出的可信度數(shù)值,數(shù)據(jù)的相似性程度或者指標(biāo)的可信度等級(jí)對(duì)于可接受分析同樣是有效的。

本文將復(fù)雜仿真模型驗(yàn)證中的數(shù)據(jù)相似性分析轉(zhuǎn)化為可信度等級(jí)分類問(wèn)題,實(shí)現(xiàn)大量數(shù)據(jù)的快速分析。區(qū)別于現(xiàn)有文獻(xiàn)采用單一類型的分類器模型完成多分類任務(wù),本文嘗試將多個(gè)不同類型或者不同結(jié)構(gòu)參數(shù)的分類器進(jìn)行集成,從而提高集成分類系統(tǒng)的準(zhǔn)確率與泛化能力。

1 問(wèn)題描述

首先闡述了復(fù)雜仿真模型驗(yàn)證要素,之后將模型驗(yàn)證指標(biāo)的可信度計(jì)算轉(zhuǎn)化為多分類問(wèn)題。

定義1仿真模型驗(yàn)證可以用四元組描述：

CΩ={K,D,A,M}

(1)

式中,K,D,A,M分別表示仿真模型驗(yàn)證指標(biāo)體系、驗(yàn)證數(shù)據(jù)集、可接受準(zhǔn)則集、相似性分析方法集。

仿真模型驗(yàn)證指標(biāo)體系描述了影響仿真模型可信度的所有因素,典型的評(píng)估指標(biāo)體系構(gòu)建方法包括基于層次分析法的樹形評(píng)估模型構(gòu)建方法、基于多屬性決策網(wǎng)(multiple attribute decision network, MADN)的網(wǎng)狀評(píng)估模型構(gòu)建方法等。

定義2[8]基于MADN的仿真模型驗(yàn)證指標(biāo)體系可以表示為：K={〈N,V〉;〈B,W〉;C;T},式中,N,V,B,W,C,T分別表示節(jié)點(diǎn)集、取值集、有向邊集、權(quán)重集、條件集和閾值集。

定義3D={〈S1,O1,Nλ1〉;〈S2,O2,Nλ2〉;…}為驗(yàn)證數(shù)據(jù)集。其中,Sk與Ok分別表示模型驗(yàn)證指標(biāo)Nλk在相同想定下的仿真數(shù)據(jù)與參考數(shù)據(jù)。

定義4A={〈N1,A1〉;〈N2,A2〉;…}為可接受準(zhǔn)則集。其中,Ak表示第k個(gè)驗(yàn)證指標(biāo)Nk對(duì)應(yīng)的可接受準(zhǔn)則?？山邮軠?zhǔn)則與模型驗(yàn)證指標(biāo)體系中的指標(biāo)一一對(duì)應(yīng)。

定義5M={〈M1,G1〉;〈M2,G2〉;…}為相似性分析方法集。其中,Gk表示第k種相似性分析方法Mk的適用范圍。相似性分析方法包括主觀分析方法、靜態(tài)統(tǒng)計(jì)學(xué)分析方法、時(shí)間序列分析方法等。

仿真模型驗(yàn)證過(guò)程中單個(gè)指標(biāo)的評(píng)估過(guò)程如圖1所示,對(duì)于模型驗(yàn)證指標(biāo)Nk,選擇對(duì)應(yīng)的仿真數(shù)據(jù)與參考數(shù)據(jù);之后,在分析方法集Mk中選擇合適的數(shù)據(jù)相似性分析方法對(duì)仿真數(shù)據(jù)與參考數(shù)據(jù)的相似性進(jìn)行分析,獲得Nk的可信度Vk;最后對(duì)其進(jìn)行可接受性分析,獲得該指標(biāo)通過(guò)或者不通過(guò)可信度評(píng)估的結(jié)論。

圖1 單個(gè)指標(biāo)的模型驗(yàn)證過(guò)程Fig.1 Model validation process of single factor

復(fù)雜仿真模型驗(yàn)證一方面可以獲取模型整體的可信度結(jié)果,另一方面可以定位可信度缺陷的節(jié)點(diǎn),以支持仿真模型的改進(jìn)。顯然,仿真模型越復(fù)雜,需要評(píng)估的指標(biāo)越多。傳統(tǒng)的仿真模型驗(yàn)證工作模式中,由分析人員對(duì)每個(gè)指標(biāo)配置數(shù)據(jù)及相似性分析方法,其效率較低;不適用于利用大量數(shù)據(jù)對(duì)各個(gè)驗(yàn)證指標(biāo)進(jìn)行分析。引入機(jī)器學(xué)習(xí)相關(guān)成果可以顯著提高模型驗(yàn)證的效率,實(shí)現(xiàn)對(duì)大數(shù)據(jù)集的快速分析。

仿真模型驗(yàn)證是分析模型精度是否能夠在其應(yīng)用域內(nèi)代表真實(shí)物理系統(tǒng)的過(guò)程,而不是決定模型正確與錯(cuò)誤。對(duì)于仿真模型,并不要求其眾多輸出完全匹配真實(shí)系統(tǒng)輸出。在一定程度上,相對(duì)于連續(xù)的可信度值,可信度等級(jí)足夠用于判定模型的輸出是否有效。將模型驗(yàn)證指標(biāo)的可信度等級(jí)作為仿真時(shí)間序列與參考時(shí)間序列相似性分析結(jié)果,則模型驗(yàn)證問(wèn)題可以作如下描述：

對(duì)于模型驗(yàn)證指標(biāo)Ni,仿真時(shí)間序列記為Si=[(ti,1,si,1),(ti,2,si,2),…],參考時(shí)間序列記為Oi=[(ti,1,oi,1),(ti,2,oi,2),…];oi,k與si,k為時(shí)刻ti,k驗(yàn)證指標(biāo)的輸出值,可信度等級(jí)表示為{C1,C2,…,CΛ}。利用不同的準(zhǔn)則提取Si與Oi的相似性特征,進(jìn)而利用樣本數(shù)據(jù)構(gòu)建分類模型,預(yù)測(cè)Ni的可信度等級(jí)?？尚哦鹊燃?jí)可以采用離散數(shù)值描述,如{Ⅰ,Ⅱ,Ⅲ,Ⅳ,Ⅴ},或者采用語(yǔ)義描述,如{完全可信,非常可信,可信,一般可信,不可信}。

2 基于集成學(xué)習(xí)的復(fù)雜仿真模型驗(yàn)證方法

首先,簡(jiǎn)要闡述了集成學(xué)習(xí)的基本方法;其次,提出了基于集成學(xué)習(xí)的復(fù)雜仿真模型驗(yàn)證方法框架;然后,為了挑選具有最大差異的基分類器,提出了基于懲罰因子的多樣性篩選準(zhǔn)則;最后,給出了集成分類系統(tǒng)的構(gòu)造過(guò)程。

2.1 集成學(xué)習(xí)

可信度等級(jí)分類是一個(gè)典型的多類分類問(wèn)題,一般是采用神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、決策樹、貝葉斯方法等機(jī)器學(xué)習(xí)方法,訓(xùn)練單一分類器實(shí)現(xiàn)分類任務(wù);但是單一分類器的準(zhǔn)確率易受到訓(xùn)練樣本標(biāo)簽準(zhǔn)確性、樣本規(guī)模、訓(xùn)練方法、參數(shù)等因素的影響,且算法穩(wěn)定性較差。例如,將一組數(shù)據(jù)按照一定的比例劃分為訓(xùn)練集與測(cè)試集,重復(fù)執(zhí)行若干次;分別統(tǒng)計(jì)訓(xùn)練集或者測(cè)試集的分類準(zhǔn)確率,同一種分類器的準(zhǔn)確率結(jié)果可能差別較大。

集成學(xué)習(xí)[9-10]通過(guò)構(gòu)建并結(jié)合多個(gè)學(xué)習(xí)器完成學(xué)習(xí)任務(wù),也被稱為多分類器系統(tǒng)或者集成分類系統(tǒng)。通過(guò)結(jié)合具有差異的基分類器,一方面,可以提高分類算法的穩(wěn)定性;另一方面,可以提高算法的泛化能力。集成學(xué)習(xí)[10]可以表示為

(2)

式中,gm(y|x)表示單個(gè)學(xué)習(xí)模型(基分類器或者基模型);ωm表示調(diào)諧參數(shù)。

集成學(xué)習(xí)可以分為為兩類,同構(gòu)集成與異構(gòu)集成。同構(gòu)集成的典型代表是Bagging與Boosting。Bagging通過(guò)改變訓(xùn)練樣本的抽樣方式,并行生成不同的訓(xùn)練樣本,用于多個(gè)同類分類器的訓(xùn)練,隨機(jī)森林可以看作是對(duì)多個(gè)決策樹模型進(jìn)行Bagging集成。Boosting是通過(guò)序貫抽樣與訓(xùn)練,逐步提升分類器性能,最終將多個(gè)基分類器進(jìn)行融合。

異構(gòu)集成是指將不同類型或者不同結(jié)構(gòu)參數(shù)的分類器模型集成在一起,完成分類任務(wù)。構(gòu)造準(zhǔn)確率高且多樣的分類器是集成學(xué)習(xí)算法成功的關(guān)鍵。異構(gòu)學(xué)習(xí)在保證個(gè)體分類器的多樣性方面具有一定的優(yōu)勢(shì),在對(duì)不同結(jié)構(gòu)分類器進(jìn)行訓(xùn)練與性能測(cè)試基礎(chǔ)上,篩選其中分類準(zhǔn)確率高、多樣性顯著的模型加入異構(gòu)分類系統(tǒng),可以實(shí)現(xiàn)性能更好的集成分類系統(tǒng)。

在本文研究中,主要采用反向傳播神經(jīng)網(wǎng)絡(luò)(back propagation neural network)[11-12]、誤差校正輸出編碼(error correcting output coding, ECOC)支持向量機(jī)[13-14]作為基分類器。ECOC是一種將多個(gè)二分類器進(jìn)行組合的框架,通過(guò)增加分類器個(gè)數(shù),減少單個(gè)二分類器分類錯(cuò)誤對(duì)整體分類結(jié)果的影響。

2.2 基于集成分類系統(tǒng)的復(fù)雜仿真模型驗(yàn)證方法框架

不同的機(jī)器學(xué)習(xí)方法具有不同的優(yōu)勢(shì),神經(jīng)網(wǎng)絡(luò)可以擬合任意的非線性函數(shù),但是學(xué)習(xí)精度的提高會(huì)帶來(lái)過(guò)擬合的風(fēng)險(xiǎn),導(dǎo)致泛化能力下降,此外其分類效果受到參數(shù)的影響。支持向量機(jī)可以利用少量的樣本獲得較為滿意的結(jié)果,且算法穩(wěn)定性較高,但是其精度受到一定的限制。通過(guò)對(duì)不同的機(jī)器學(xué)習(xí)模型進(jìn)行集成,可以構(gòu)建分類準(zhǔn)確率更高,泛化能力更強(qiáng),穩(wěn)定性更好的集成分類系統(tǒng)。圖2是本文提出的基于集成分類系統(tǒng)的復(fù)雜仿真模型驗(yàn)證方法框架。

圖2 基于集成分類系統(tǒng)的復(fù)雜仿真模型驗(yàn)證方法框架Fig.2 Complex model validation method framework based onensemble classification system

基于集成分類系統(tǒng)的復(fù)雜仿真模型驗(yàn)證方法框架由特征提取模型和集成分類系統(tǒng)組成。特征提取模型采用多種分析方法對(duì)仿真時(shí)間序列與參考時(shí)間序列的相似性進(jìn)行分析,之后將其規(guī)范化處理,合并后獲得相似性度量向量。不同的相似性分析方法從不同的角度度量仿真時(shí)間序列與參考時(shí)間序列的相似性程度,將其作為學(xué)習(xí)模型的輸入特征。集成分類系統(tǒng)利用多個(gè)基分類器分別進(jìn)行相似性等級(jí)劃分,之后進(jìn)行多樣性集成,獲得可信度等級(jí)。

構(gòu)造高質(zhì)量的集成系統(tǒng)的關(guān)鍵是增強(qiáng)基分類器的多樣性,利用不同的樣本訓(xùn)練、采用不同類型的分類器模型或者不同拓?fù)浣Y(jié)構(gòu)的分類器、調(diào)整分類器訓(xùn)練參數(shù)等是增加基分類器多樣性的主要手段。隱層節(jié)點(diǎn)個(gè)數(shù)不同的反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò)、采用不同編碼方式或者核函數(shù)的ECOC支持向量機(jī),都可以認(rèn)為是不同結(jié)構(gòu)的分類器模型。

2.3 基于懲罰因子的多樣性篩選準(zhǔn)則

提高基分類器的多樣性是集成學(xué)習(xí)的關(guān)鍵,可以使集成分類系統(tǒng)適應(yīng)不同類型的樣本,以提高分類的魯棒性。在此,針對(duì)如何選擇“好而不同”的基分類器,提出一種基于懲罰因子的多樣性篩選準(zhǔn)則。

不同分類器之間的多樣性,可以利用分類器輸出的差異程度來(lái)度量。假設(shè)U={u1,u2,…,uk}表示樣本集的標(biāo)簽,即ui表示一組仿真數(shù)據(jù)與參考數(shù)據(jù)的可信度等級(jí)。將樣本集劃分為訓(xùn)練集與測(cè)試集,利用訓(xùn)練集,采用不同的分類器模型訓(xùn)練Q個(gè)分類器,然后在這Q個(gè)分類器中篩選出具有最好多樣性的q個(gè),之后進(jìn)行集成。P={pv1,pv2,…,pv k}表示第ν個(gè)基分類器預(yù)測(cè)的樣本集標(biāo)簽。

顯然第一個(gè)分類器選擇自由度最大,為了保證分類質(zhì)量,選擇訓(xùn)練集分類準(zhǔn)確率最高的分類器;后續(xù)分類器的選擇需要與第一個(gè)分類器進(jìn)行多樣性比較。對(duì)于第一個(gè)分類器分類錯(cuò)誤的樣本,希望第二個(gè)分類器可以盡可能多地預(yù)測(cè)正確,以對(duì)錯(cuò)誤分類的樣本進(jìn)行部分糾正。距離度量可以一定程度上度量分類器的多樣性,但是已選擇的分類器對(duì)部分訓(xùn)練樣本集E出現(xiàn)連續(xù)的分類錯(cuò)誤,后續(xù)分類器選擇就需要重點(diǎn)選擇那些可以對(duì)樣本集E的標(biāo)簽預(yù)測(cè)準(zhǔn)確的分類器。為此,結(jié)合漢明距離,給出一種度量分類器多樣性的篩選準(zhǔn)則。

基于懲罰因子的多樣性篩選準(zhǔn)則為

γ,εi)[(pνi-ui)⊕(pτi-ui)]

(3)

式中,Eν,τ表示第ν個(gè)分類器與第τ個(gè)分類器間的差異程度;γ表示懲罰因子或者懲罰系數(shù);εi為第i個(gè)樣本分類錯(cuò)誤的次數(shù)統(tǒng)計(jì);A⊕B表示A與B的異或。f(γ,εi)用以度量第i個(gè)樣本差異程度的權(quán)重,f(γ,εi)的形式可以是指數(shù)函數(shù)等非線性形式也可以是線性形式,可以靈活選擇,但是需要注意?f(γ,εi)/?εi≤0,?f(γ,εi)/?γ≤0;即懲罰因子γ或者錯(cuò)誤次數(shù)εi越大,f(γ,εi)越小,即其對(duì)差異的貢獻(xiàn)越小。

2.4 集成分類系統(tǒng)構(gòu)建過(guò)程

針對(duì)本文提出的集成分類系統(tǒng)的訓(xùn)練問(wèn)題,在此給出基于IDEF0(ICAM definition for function modeling)[15-16]的集成系統(tǒng)構(gòu)建過(guò)程模型,如圖3所示。集成分類系統(tǒng)構(gòu)建過(guò)程詳細(xì)步驟如下。

圖3 基于IDEF0的集成分類系統(tǒng)構(gòu)建過(guò)程Fig.3 Construction process of ensemble classification systems based on IDEF0

步驟1構(gòu)建基礎(chǔ)數(shù)據(jù)集與相似性分析準(zhǔn)則集;基礎(chǔ)數(shù)據(jù)集中的每一個(gè)樣本包含一組仿真時(shí)間序列與參考時(shí)間序列。本文主要采用的相似性度量方法包括絕對(duì)誤差度量、相對(duì)誤差度量、其他相似性度量3種類型。

絕對(duì)誤差度量方法包括平均絕對(duì)誤差(mean absolute error, MSE)、均方誤差(root mean square error, RMSE)、切比雪夫距離等;相對(duì)誤差度量方法包括相對(duì)平均絕對(duì)誤差(relative mean absolute error, RMAE)、平均絕對(duì)相對(duì)誤差(mean absolute relative error, MARE)、最大絕對(duì)相對(duì)誤差(maximum absolute relative error, MaARE)、相對(duì)均方誤差(relative root mean square error, RRMSE)、Theil不等系數(shù)(Theil’ inequality coefficient,TIC)法;其他相似性度量方法包括余弦相似度,線性相關(guān)系數(shù)、SVARE(standard variance of absolute relative error)法等。上述大部分方法可以在綜述性文獻(xiàn)[2-4]找到,在此僅給出MaARE法、SVARE法計(jì)算公式。

(4)

(5)

步驟2基礎(chǔ)數(shù)據(jù)集的多準(zhǔn)則分析;利用所有的相似性分析方法對(duì)每一組仿真時(shí)間序列與參考時(shí)間序列進(jìn)行分析。

步驟3基礎(chǔ)數(shù)據(jù)的相似性等級(jí)劃分;對(duì)于已經(jīng)具有可信度數(shù)值的基礎(chǔ)數(shù)據(jù),根據(jù)模糊隸屬度函數(shù)[8],將可信度結(jié)果轉(zhuǎn)換為可信度(相似性)等級(jí)。對(duì)于未評(píng)估的數(shù)據(jù),采用群組決策法[17],邀請(qǐng)多位主題專家與分析人員進(jìn)行主觀評(píng)估,得到相似性等級(jí)標(biāo)簽。

步驟4樣本集規(guī)范化處理;一組基礎(chǔ)數(shù)據(jù)的所有相似性分析結(jié)果與相似性等級(jí)構(gòu)成一個(gè)樣本。由于不同的相似性分析結(jié)果值域差異較大,會(huì)影響訓(xùn)練的收斂速度。采用式(6)對(duì)樣本集進(jìn)行規(guī)范化處理。

(6)

式中,α為調(diào)節(jié)系數(shù);Q為某一種相似性分析方法的度量結(jié)果;Qmin為所有樣本采用該相似性分析方法獲得分析結(jié)果最小值;Qmax為所有樣本采用該相似性分析方法獲得分析結(jié)果最大值;Quniform為歸一化結(jié)果;Quniform∈[0,1]。

步驟5單一分類器的訓(xùn)練;按照一定的比例將樣本集劃分為訓(xùn)練集與測(cè)試集,訓(xùn)練Q個(gè)不同類型或者結(jié)構(gòu)參數(shù)不同的分類器。

步驟6分類系統(tǒng)的多樣性集成;首先選擇訓(xùn)練集分類準(zhǔn)確率最高的基分類器,之后利用基于懲罰因子的分類器多樣性篩選準(zhǔn)則選擇多樣性差異最大的前T個(gè)分類器,將T個(gè)分類器中分類準(zhǔn)確率最高的作為集成分類系統(tǒng)的下一個(gè)基分類器,重復(fù)上述過(guò)程,直到挑選出所有q個(gè)基分類器。采用式(1)進(jìn)行集成,可以采用均權(quán)或者以訓(xùn)練集分類準(zhǔn)確率為參考進(jìn)行權(quán)重分配。利用測(cè)試集進(jìn)行性能測(cè)試,若達(dá)到要求,則訓(xùn)練結(jié)束;否則,可以選擇調(diào)整集成過(guò)程參數(shù),或者回到步驟5,重新進(jìn)行訓(xùn)練。

每個(gè)基分類器的權(quán)重計(jì)算式為

,m=1,2,…,q

(7)

步驟7集成分類系統(tǒng)的應(yīng)用;利用訓(xùn)練好的分類系統(tǒng)計(jì)算新樣本的可信度。

對(duì)于集成分類系統(tǒng)中單一分類器的訓(xùn)練問(wèn)題(BP神經(jīng)網(wǎng)絡(luò)與ECOC支持向量機(jī)),可以參考文獻(xiàn)[12,14-15]。

3 應(yīng)用實(shí)例

為了檢驗(yàn)基于集成學(xué)習(xí)的復(fù)雜仿真模型驗(yàn)證方法的有效性,選擇飛行器六自由度動(dòng)力學(xué)仿真數(shù)據(jù)及相應(yīng)參考系統(tǒng)的試驗(yàn)數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)集(675組);包括飛行器位置、速度、姿態(tài)等信息,每一組數(shù)據(jù)包含相同想定下的仿真時(shí)間序列與參考時(shí)間序列。

選擇第2.4節(jié)列出的相似性分析方法進(jìn)行多準(zhǔn)則分析,并對(duì)相似性等級(jí)進(jìn)行標(biāo)記及規(guī)范化處理。下面首先對(duì)單個(gè)分類器可信度等級(jí)分類性能進(jìn)行對(duì)比;之后利用本文提出的多樣性篩選準(zhǔn)則,對(duì)構(gòu)建的改進(jìn)集成分類系統(tǒng)與一般集成分類系統(tǒng)的可信度等級(jí)分類性能進(jìn)行對(duì)比。集成學(xué)習(xí)的優(yōu)勢(shì)體現(xiàn)在多次重復(fù)訓(xùn)練時(shí),可信度等級(jí)分類準(zhǔn)確率統(tǒng)計(jì)性能的提升;因此,下文著重對(duì)不同分類方法的可信度等級(jí)分類準(zhǔn)確率的方差、均值、分位數(shù)等指標(biāo)進(jìn)行對(duì)比分析。

3.1 單個(gè)分類器的可信度等級(jí)分類性能對(duì)比

選擇5類分類器模型,對(duì)性能進(jìn)行對(duì)比分析。

(1) 3層結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò),輸入層、隱層、輸出層神經(jīng)元個(gè)數(shù)分別為12-H-1,設(shè)置隱層神經(jīng)元個(gè)數(shù)H分別為6、8、10。

(2) ECOC支持向量機(jī),采用高斯核函數(shù),編碼方式[14]采用1對(duì)1編碼(one vs one, 標(biāo)記為code1)與1對(duì)多編碼(one vs all, 標(biāo)記為code2)。

樣本集按照一定比例隨機(jī)劃分為訓(xùn)練集(575組,標(biāo)記為Tr)與測(cè)試集(100組,標(biāo)記為Te),對(duì)不同的分類器模型進(jìn)行訓(xùn)練,重復(fù)運(yùn)行50次,得到BP神經(jīng)網(wǎng)絡(luò)、ECOC支持向量機(jī)的分類準(zhǔn)確率箱線圖如圖4所示。表1為不同類型或者結(jié)構(gòu)參數(shù)的分類器性能對(duì)比。

圖4 不同類型或者結(jié)構(gòu)參數(shù)的分類器準(zhǔn)確率箱線圖Fig.4 Classification accuracy boxplot of classifiers with different type or topology parameters

準(zhǔn)確率/%BP神經(jīng)網(wǎng)絡(luò)Tr(H=6)Te(H=6)Tr(H=8)Te(H=8)Tr(H=10)Te(H=10)ECOC支持向量機(jī)Tr(code1)Te(code1)Tr(code2)Te(code2)均值88.7283.9889.7184.6890.2584.8287.6876.6789.5775.60方差10.5315.699.4915.496.3211.660.858.761.917.99中位數(shù)89.4784.0090.5385.0090.1185.0087.7977.0089.5876.00最小值78.9569.0078.9574.0085.2673.0085.8970.5086.7469.00最大值93.4792.0093.8993.0094.9590.0090.5381.5092.6380.50

注:(1)Tr表示訓(xùn)練集,Te表示測(cè)試集;H表示隱層神經(jīng)元個(gè)數(shù);code1表示one vs one編碼,code2表示one vs all編碼;

(2) 表中加粗的數(shù)字表示每一行中訓(xùn)練集或者測(cè)試集的最佳值,方差越小表示算法越穩(wěn)定,其余統(tǒng)計(jì)指標(biāo)越大越好。

根據(jù)圖4以及表1中不同結(jié)構(gòu)分類器的可信度等級(jí)分類性能統(tǒng)計(jì),整體上,同一分類器的對(duì)訓(xùn)練集的可信度等級(jí)分類準(zhǔn)確率要高于測(cè)試集分類準(zhǔn)確率,即分類器存在過(guò)擬合的風(fēng)險(xiǎn);對(duì)于不同結(jié)構(gòu)參數(shù)的BP神經(jīng)網(wǎng)絡(luò)或者采用不同編碼方式的ECOC支持向量機(jī),其可信度等級(jí)分類準(zhǔn)確率也存在一定的差異(均值、方差、分位數(shù)等)。顯然,不同類型的機(jī)器學(xué)習(xí)模型各有優(yōu)勢(shì),隱層8個(gè)神經(jīng)元的BP神經(jīng)網(wǎng)絡(luò)整體上性能最佳,但是隱層10個(gè)神經(jīng)元的BP神經(jīng)網(wǎng)絡(luò)在測(cè)試集上效果更好,支持向量機(jī)在算法穩(wěn)定性表現(xiàn)較好。

3.2 集成分類系統(tǒng)的可信度等級(jí)分類性能對(duì)比

為了檢驗(yàn)基于懲罰因子的多樣性篩選準(zhǔn)則的有效性,采用以下兩種集成方法構(gòu)建集成分類系統(tǒng),并對(duì)其可信度等級(jí)分類性能進(jìn)行對(duì)比。

(1) 選擇第3.1節(jié)中5類模型,每類分類器模型訓(xùn)練10個(gè)(總計(jì)50個(gè)),利用多樣性篩選準(zhǔn)則從中選擇5個(gè)進(jìn)行集成,得到相應(yīng)的改進(jìn)集成分類系統(tǒng)(improved ensemble classification system, IECS)。

(2) 每類分類器模型生成一個(gè)進(jìn)行集成,得到一般集成分類系統(tǒng)(general ensemble classification system, GECS)。

對(duì)上述兩種集成方法分別重復(fù)運(yùn)行20次,統(tǒng)計(jì)可信度等級(jí)分類準(zhǔn)確率。兩種集成分類系統(tǒng)箱線圖如圖5所示,具體的性能統(tǒng)計(jì)如表2所示。根據(jù)箱線圖及性能統(tǒng)計(jì),采用本文提出的多樣性篩選準(zhǔn)則構(gòu)建的IECS,訓(xùn)練集分類準(zhǔn)確率均值達(dá)到了92.95%,測(cè)試集分類準(zhǔn)確率均值達(dá)到了87.30%,其分類性能超過(guò)了文獻(xiàn)[6]中PNN的準(zhǔn)確率75%～80%及文獻(xiàn)[18]中ECOC支持向量機(jī)的準(zhǔn)確率82.3%。

采用多樣性篩選準(zhǔn)則構(gòu)建的IECS在可信度等級(jí)分類準(zhǔn)確率的均值、方差、分位數(shù)等方面均優(yōu)于GECS,這反映了本文提出的方法在準(zhǔn)確率與算法穩(wěn)定性方面要超過(guò)了一般集成學(xué)習(xí)方法。

圖5 IECS與GECS的分類準(zhǔn)確率箱線圖Fig.5 Classification accuracy boxplot of IECS and GECS

準(zhǔn)確率/%Tr(IECS)Te(IECS)Tr(GECS)Te(GECS)均值92.9587.3090.9286.75方差0.858.124.3414.83中位數(shù)92.9687.0091.5787.00最小值91.4883.0086.4380.00最大值94.4392.0093.2292.00

此外,從表1與表2中的最值統(tǒng)計(jì),對(duì)于單個(gè)BP神經(jīng)網(wǎng)絡(luò)或支持向量機(jī),可信度等級(jí)分類準(zhǔn)確率分布在69%～94%,顯然其穩(wěn)定性較差,在應(yīng)用過(guò)程中存在風(fēng)險(xiǎn)。IECS可信度等級(jí)分類準(zhǔn)確率集中在83%～94%,GECS可信度等級(jí)分類準(zhǔn)確率集中在80%～93%;相對(duì)神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)與GECS,IECS在整體分類準(zhǔn)確率與算法穩(wěn)定性方面均有提升,這意味著在應(yīng)用過(guò)程中,對(duì)于不同的訓(xùn)練數(shù)據(jù),采用本文的方法構(gòu)建的IECS更容易獲得較好的可信度等級(jí)分類結(jié)果。

3.3 結(jié)果分析

為了更加直觀地展示可信度等級(jí)分類效果,圖6與圖7給出了改進(jìn)集成分類系統(tǒng)的訓(xùn)練集(575組)與測(cè)試集(100組)分類結(jié)果。藍(lán)色數(shù)字為分類正確的樣本個(gè)數(shù)以及所占比例,紅色數(shù)字為分類錯(cuò)誤的樣本個(gè)數(shù)以及所占比例;右下角灰色方塊內(nèi)為整體的可信度等級(jí)分類準(zhǔn)確率及錯(cuò)誤率。集成分類系統(tǒng)對(duì)訓(xùn)練集與測(cè)試集分類準(zhǔn)確率分別達(dá)到了92.9%與92%,同時(shí)對(duì)于分類錯(cuò)誤的樣本,預(yù)測(cè)標(biāo)簽與樣本標(biāo)簽的誤差絕對(duì)值均為1(雙線六邊形邊框內(nèi))。上述分析結(jié)果進(jìn)一步證明本文提出的集成分類系統(tǒng)構(gòu)建方法以及基于懲罰因子的多樣性篩選準(zhǔn)則的有效性。

利用機(jī)器學(xué)習(xí)構(gòu)建通用的數(shù)據(jù)相似性分析方法,進(jìn)而借助高性能計(jì)算機(jī)、云計(jì)算等技術(shù)實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的分析,可以極大的提高復(fù)雜仿真模型驗(yàn)證的效率。不同的機(jī)器學(xué)習(xí)模型具有不同的優(yōu)勢(shì),集成學(xué)習(xí)一方面將不同類型、不同結(jié)構(gòu)參數(shù)的機(jī)器學(xué)習(xí)模型有機(jī)結(jié)合成一個(gè)整體,完成相應(yīng)的學(xué)習(xí)任務(wù);另一方面,集成學(xué)習(xí)構(gòu)建的系統(tǒng)在一定程度上融合了各個(gè)基模型的優(yōu)勢(shì)。

圖6 訓(xùn)練集分類結(jié)果Fig.6 Classification result of training datasets

圖7 測(cè)試集分類結(jié)果Fig.7 Classification result of test datasets

4 結(jié) 論

海量數(shù)據(jù)的相似性分析是復(fù)雜仿真模型驗(yàn)證面臨的挑戰(zhàn)之一,利用機(jī)器學(xué)習(xí)方法設(shè)計(jì)通用的相似性分析方法,是應(yīng)對(duì)這一挑戰(zhàn)的有效解決途徑。本文在神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)與集成學(xué)習(xí)等方法的基礎(chǔ)上,提出了一種基于懲罰因子的分類器多樣性篩選準(zhǔn)則,用于構(gòu)建分類性能更好的集成分類系統(tǒng)。應(yīng)用結(jié)果表明,本文提出的用于相似性等級(jí)分類的改進(jìn)集成分類系統(tǒng)性能優(yōu)于一般集成分類系統(tǒng)以及單個(gè)機(jī)器學(xué)習(xí)方法獲得的分類模型。

利用機(jī)器學(xué)習(xí)方法對(duì)數(shù)據(jù)相似性等級(jí)進(jìn)行劃分,可以降低評(píng)估成本,提高模型驗(yàn)證工作的效率。此外,集成分類系統(tǒng)在不斷的應(yīng)用過(guò)程中,可以對(duì)其結(jié)構(gòu)及其參數(shù)進(jìn)行優(yōu)化,進(jìn)一步提高其性能。