效能評(píng)估可信度的客觀度量方法

王軍,李建勛,王興,戚宗鋒,3

(1.中國(guó)洛陽(yáng)電子裝備試驗(yàn)中心,471000,河南洛陽(yáng);2.上海交通大學(xué)自動(dòng)化系,200240,上海;3.電子信息系統(tǒng)復(fù)雜電磁環(huán)境效應(yīng)國(guó)家重點(diǎn)實(shí)驗(yàn)室,471000,河南洛陽(yáng))

目前效能評(píng)估在裝備鑒定、網(wǎng)絡(luò)安全評(píng)估、電力系統(tǒng)性能評(píng)估[1]等領(lǐng)域有著廣泛的應(yīng)用。評(píng)估可信度是研究評(píng)估工作中各環(huán)節(jié)的可信程度,而目前關(guān)于評(píng)估可信度研究的公開(kāi)文獻(xiàn)還很少。針對(duì)可信度的研究目前大多見(jiàn)于仿真系統(tǒng),如文獻(xiàn)[2-5]分別對(duì)重力壩仿真系統(tǒng)、戰(zhàn)爭(zhēng)模擬系統(tǒng)概率仿真模型、電信網(wǎng)絡(luò)仿真模型以及移動(dòng)自組織網(wǎng)絡(luò)仿真系統(tǒng)的可信度進(jìn)行了研究。然而,評(píng)估系統(tǒng)可信度不同于仿真系統(tǒng)可信度,其主要區(qū)別為:①效能評(píng)估系統(tǒng)是一個(gè)比仿真系統(tǒng)更為抽象的系統(tǒng),構(gòu)建仿真系統(tǒng)模型可參考真實(shí)系統(tǒng),而構(gòu)建效能評(píng)估模型無(wú)真實(shí)模型可以參考;②仿真系統(tǒng)的仿真結(jié)果可以與真實(shí)系統(tǒng)進(jìn)行比較,而評(píng)估系統(tǒng)無(wú)法獲取真實(shí)值。

效能評(píng)估可信度分析可以概括為3個(gè)方面:①效能評(píng)估過(guò)程的可信度分析;②效能評(píng)估穩(wěn)健性實(shí)現(xiàn)方法;③效能評(píng)估結(jié)果可信度分析[6]。在效能評(píng)估穩(wěn)健性實(shí)現(xiàn)方法方面,隨著機(jī)器學(xué)習(xí)方法的不斷發(fā)展,大量的研究人員將機(jī)器學(xué)習(xí)算法應(yīng)用到效能評(píng)估中,這在一定程度上解決了效能評(píng)估不穩(wěn)健的問(wèn)題。在效能評(píng)估過(guò)程及結(jié)果可信度分析方面,文獻(xiàn)[7]給出了一種基于元評(píng)估的可信度分析方法,該方法通過(guò)描述評(píng)估過(guò)程是否科學(xué)嚴(yán)謹(jǐn),分析評(píng)估過(guò)程可信度并給出評(píng)估結(jié)果的可信度結(jié)果,本質(zhì)是一種主觀評(píng)價(jià)方法。評(píng)估可信度直接關(guān)系到評(píng)估結(jié)論的使用,只有建立一種效能評(píng)估可信度客觀度量方法,才能確保效能評(píng)估的真正價(jià)值。因此,本文研究評(píng)估可信度的客觀度量方法,解決目前實(shí)際工程應(yīng)用中的問(wèn)題,以彌補(bǔ)效能評(píng)估中的不足。

1 效能評(píng)估與模式分類的關(guān)系

效能評(píng)估流程主要包括評(píng)估指標(biāo)體系構(gòu)建、指標(biāo)數(shù)據(jù)采集、評(píng)估模型構(gòu)建及評(píng)估結(jié)果分析等[8],如圖1所示。在指標(biāo)體系構(gòu)建時(shí),要求所選取的每個(gè)指標(biāo)值能描述同類系統(tǒng)不同對(duì)象間的區(qū)別;在指標(biāo)數(shù)據(jù)采集時(shí),通過(guò)試驗(yàn)采集相應(yīng)的指標(biāo)數(shù)據(jù);在評(píng)估模型構(gòu)建時(shí),根據(jù)評(píng)估工作的需要,建立科學(xué)合理的評(píng)估模型;在評(píng)估結(jié)果分析時(shí),通過(guò)分析評(píng)估結(jié)果指導(dǎo)評(píng)估工作前面環(huán)節(jié)的完善。

圖1 效能評(píng)估主要流程

模式分類是指對(duì)表征事物或現(xiàn)象的各種形式信息進(jìn)行處理,以對(duì)事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類和解釋的過(guò)程[9]。模式是模式分類系統(tǒng)中的基本元素,根據(jù)研究對(duì)象的不同,將具有不同特征的對(duì)象看作不同的模式,很多問(wèn)題可以采用模式分類的方法解決,例如故障診斷[10-12]、圖像檢測(cè)[13]等。典型模式分類流程包括數(shù)據(jù)采集、特征選擇或抽取、分類器設(shè)計(jì)以及分類結(jié)果分析[9],如圖2所示。

圖2 典型模式分類流程

效能評(píng)估中的指標(biāo)選擇其實(shí)是選擇不同的特征,這與模式分類中的特征選擇或提取的本質(zhì)是一樣的。如果將不同的效能等級(jí)看作不同的模式,那么對(duì)被評(píng)估對(duì)象的效能評(píng)估過(guò)程也是一種模式分類的過(guò)程。因此,為了研究效能評(píng)估可信度,本文從模式分類的角度研究評(píng)估可信度問(wèn)題。

2 評(píng)估模型可信度

2.1 模型性能評(píng)價(jià)方法

通過(guò)上面的分析可以看出,評(píng)估模型實(shí)際上可以看作是一個(gè)分類模型。對(duì)分類模型的性能評(píng)價(jià)常用的指標(biāo)是分類準(zhǔn)確率、運(yùn)算速度、成本等,在對(duì)效能評(píng)估模型性能分析時(shí)由于運(yùn)算速度、成本等本身并不影響分類結(jié)果的正確性,因此這里僅考慮模型的分類準(zhǔn)確率。

一般在二分類問(wèn)題中,評(píng)價(jià)模型分類性能的直觀方法是根據(jù)正負(fù)樣本分類結(jié)果繪制ROC曲線和AUC曲線[14-15]。在多分類模型中,無(wú)正負(fù)樣本之分,但是仍然可以通過(guò)計(jì)算分類準(zhǔn)確率描述分類模型的性能。多分類模型中,模型對(duì)不同類別樣本的分類能力是不同的,因此需要分別計(jì)算模型對(duì)每類樣本的分類準(zhǔn)確率。第i類樣本的分類準(zhǔn)確率PTi的計(jì)算公式為

(1)

式中:NTi表示i類樣本被正確劃分的個(gè)數(shù);Ni表示i類樣本的總個(gè)數(shù)。

2.2 評(píng)估模型可信度

上面從分類的角度給出了評(píng)估模型性能評(píng)價(jià)方法。在評(píng)估系統(tǒng)中,模型的可信度代表著評(píng)估者對(duì)評(píng)估模型的認(rèn)可程度,度量的是一種人主觀想法的表現(xiàn),不同的人對(duì)同一模型的認(rèn)可程度不同,但是人的主觀判斷是基于客觀數(shù)據(jù)的推斷,因此只有基于客觀數(shù)據(jù)通過(guò)科學(xué)的數(shù)學(xué)方法得出的可信度才更準(zhǔn)確,同時(shí)也能夠避免不同人對(duì)同一模型認(rèn)可程度不同的問(wèn)題。

在不確定性理論中,可信度是建立在可能性及必要性測(cè)度上的。假設(shè)某一事件A發(fā)生的可能性測(cè)度為Ppos(A),事件A發(fā)生的必要性測(cè)度為Pnec(A),那么事件A發(fā)生的可信度為

C(A)=λPpos(A)+(1-λ)Pnec(A)

0≤λ≤1

(2)

式中:λ為可能性和必要性平衡系數(shù),通?？梢哉J(rèn)為可能性與必要性同等重要,此時(shí)λ=1/2。

本文借鑒不確定性理論中可信度的概念,討論評(píng)估模型的可能性及必要性測(cè)度進(jìn)而確定評(píng)估模型的可信度。事件A定義為通過(guò)評(píng)估模型將應(yīng)屬于A類的樣本劃分為A類,則事件A發(fā)生的可能性測(cè)度Ppos(A)定義為事件A發(fā)生的概率,即

(3)

式中:PTA表示事件A發(fā)生的概率;NTA表示A類樣本被正確分類個(gè)數(shù);NA表示A類樣本總數(shù)。

事件A發(fā)生的必要性定義為不屬于A類的樣本被劃分到A類的不可能性,于是事件A發(fā)生的必要性測(cè)度Pnec(A)定義為

(4)

式中:NFA表示不屬于A類的樣本被錯(cuò)誤分為A類的個(gè)數(shù);N表示樣本總數(shù)。

由式(2)～式(4)可以得到事件A發(fā)生的可信度為

C(A)=λPpos(A)+(1-λ)Pnec(A)=

(5)

3 單樣本分類置信度

對(duì)一待測(cè)樣本,通過(guò)分類模型進(jìn)行分類后,在不考慮分類結(jié)果是否正確的情況下,該樣本被劃分為某類的可信性程度稱為單樣本分類置信度。單樣本分類置信度僅代表模型將樣本分類的結(jié)果和其相似樣本分類結(jié)果一致性的度量,與分類結(jié)果是否正確無(wú)關(guān)。例如,樣本x1通過(guò)某評(píng)估模型得到的評(píng)估分類結(jié)果為y1,模型在對(duì)樣本x1評(píng)估時(shí),經(jīng)過(guò)計(jì)算認(rèn)為x1屬于y1的置信度為95%,此時(shí)不管分類結(jié)果是否正確,樣本的評(píng)估分類結(jié)果置信度就是95%。

關(guān)于分類置信度的計(jì)算,文獻(xiàn)[16-17]給出了一種最近鄰分類器的分類置信度計(jì)算方法。文獻(xiàn)[16]同時(shí)給出了SVM分類器分類置信度計(jì)算方法。綜合各種分類算法的主要思想可知,分類器是通過(guò)樣本間的距離將進(jìn)行分類的,這種距離包括同類樣本距離與異類樣本距離,因此可以通過(guò)距離度量樣本分類置信度。另外,從高維空間的角度分析,樣本在高維空間的分布影響著分類的結(jié)果,對(duì)單個(gè)待測(cè)樣本來(lái)講,單樣本與鄰域樣本中的同類樣本分布關(guān)系和異類樣本分布關(guān)系都影響其分類結(jié)果,這些關(guān)系包括樣本數(shù)量和樣本空間距離。影響樣本分類置信度的因素如圖3所示。

圖3 影響樣本分類置信度的因素

基于此,本文提出一種新的滿足多數(shù)分類算法的單樣本分類置信度計(jì)算方法。

定義1 設(shè)ms(x)為測(cè)試樣本中與待測(cè)樣本x同類的鄰域樣本個(gè)數(shù),m(x)為測(cè)試樣本中待測(cè)樣本x的鄰域樣本總數(shù),Ds(x)為待測(cè)樣本x與鄰域樣本中所有同類樣本的歐氏距離和,Dd(x)為待測(cè)樣本x與鄰域樣本中異類樣本的歐氏距離和。定義待測(cè)樣本x的分類置信度為

(6)

特別規(guī)定:當(dāng)待測(cè)樣本鄰域內(nèi)無(wú)異類樣本時(shí)Dd(x)=0。顯然,該置信度取值范圍是0～1。

4 效能評(píng)估綜合可信度度量方法

以上分析了評(píng)估模型可信度及待測(cè)樣本置信度,對(duì)于待評(píng)估的對(duì)象,其評(píng)估可信度應(yīng)包括被評(píng)估對(duì)象樣本數(shù)據(jù)的可信度、模型可信度及樣本分類置信度等3個(gè)方面。試驗(yàn)數(shù)據(jù)的可信度主要受試驗(yàn)活動(dòng)中的不確定性影響,下面討論試驗(yàn)數(shù)據(jù)的不確定性對(duì)樣本數(shù)據(jù)可信度的影響及處理方法,以及如何將試驗(yàn)數(shù)據(jù)可信度、評(píng)估模型可信度及單樣本分類置信度3個(gè)方面進(jìn)行綜合,得到最終評(píng)估可信度。

4.1 不確定性數(shù)據(jù)的處理

通常采用隨機(jī)變量、模糊變量以及區(qū)間變量描述試驗(yàn)過(guò)程中的不確定性。對(duì)于隨機(jī)變量和模糊變量可以直接計(jì)算不確定性測(cè)度,進(jìn)而確定試驗(yàn)數(shù)據(jù)的可信度,或者將隨機(jī)變量及模糊變量轉(zhuǎn)化為區(qū)間數(shù)據(jù)再進(jìn)行處理。文獻(xiàn)[18]給出了模糊變量及隨機(jī)變量的不確定性測(cè)度計(jì)算方法,本文不再討論。本文重點(diǎn)研究包含區(qū)間變量的評(píng)估可信度度量問(wèn)題。設(shè)xi=(xi1,xi2,…,xin)為某裝備的試驗(yàn)樣本,假設(shè)樣本分量xi1的值是區(qū)間值,即xi1取值范圍是a～b。在對(duì)樣本xi進(jìn)行效能評(píng)估時(shí)可以分別采用區(qū)間上限及區(qū)間下限進(jìn)行計(jì)算,此時(shí)計(jì)算結(jié)果會(huì)出現(xiàn)2種情況。一是采用區(qū)間上限和區(qū)間下限得到的評(píng)估分類結(jié)果一致,此時(shí)區(qū)間數(shù)據(jù)不影響被評(píng)估對(duì)象的效能等級(jí)劃分,但是影響效能評(píng)估的可信度;二是采用區(qū)間上限及區(qū)間下限時(shí)得到的評(píng)估結(jié)果不同。進(jìn)一步假設(shè)當(dāng)取區(qū)間上限b時(shí),評(píng)估結(jié)果為y1,當(dāng)取區(qū)間的下限a時(shí),評(píng)估結(jié)果為y2,此時(shí)需要分別計(jì)算該樣本屬于效能等級(jí)y1與y2的可信度。在已知xi1在a～b內(nèi)的概率密度函數(shù)的情況下,假設(shè)通過(guò)判斷xi1取區(qū)間中某點(diǎn)c時(shí),樣本xi=(xi1,xi2,…,xin)處在分界面上,此時(shí)將區(qū)間a～b分為a～c和c～b,分別計(jì)算a～c及c～b的概率分布值,此時(shí)概率分布描述的是僅考慮試驗(yàn)數(shù)據(jù)時(shí)的評(píng)估可信度。

4.2 可信度傳播模型

設(shè)評(píng)估系統(tǒng)數(shù)學(xué)模型為

D=f(X)

(7)

式中:D為評(píng)估結(jié)果,即效能值;X={x1,x2,…,xn}為評(píng)估系統(tǒng)的輸入。

可信度傳播分為模塊間的串聯(lián)和并聯(lián)2種情況,可信度傳播模型如圖4所示。圖4a代表的是一種串聯(lián)情況,其可信度傳播模型為

C(D)=C(Y)C[f(X)]

(8)

(a)串聯(lián)

(b)并聯(lián)圖4 可信度傳播模型

圖4b代表的是一種并聯(lián)情況,其可信度傳播模型為

C(D)=min{C(X),C[f(X)]}

(9)

效能評(píng)估可信度是評(píng)估數(shù)據(jù)、評(píng)估模型及樣本置信度3個(gè)因素的累積影響,是一種串聯(lián)情形。假設(shè)試驗(yàn)數(shù)據(jù)的置信度用Cd(x)表示,模型的可信度用Cm(f)表示,單樣本的評(píng)估分類的置信度用f(x)表示,那么待評(píng)估樣本x的綜合評(píng)估可信度為

C(x)=Cd(x)Cm(f)f(x)

(10)

上面分別討論了試驗(yàn)數(shù)據(jù)的不確定性處理方法、評(píng)估模型可信度分析方法以及單樣本分類置信度計(jì)算方法,并給出了一種簡(jiǎn)單的可信度傳播模型。

4.3 綜合可信度分析方法原理

從上面的分析可以給出綜合效能評(píng)估可信度分析方法原理,如圖5所示。

圖5 評(píng)估可信度分析方法原理

從圖5可以看出,本文將評(píng)估可信度分為評(píng)估數(shù)據(jù)可信度、評(píng)估模型可信度以及單樣本置信度3個(gè)方面。在計(jì)算評(píng)估數(shù)據(jù)可信度時(shí),根據(jù)所包含的不確定性數(shù)據(jù)類型,直接計(jì)算可信度大小或者轉(zhuǎn)化為區(qū)間數(shù)據(jù)進(jìn)行處理;在計(jì)算評(píng)估模型可信度時(shí),將評(píng)估模型與模式分類模型建立聯(lián)系,結(jié)合不確定性理論中的可信度概念,將分類性能評(píng)價(jià)指標(biāo)轉(zhuǎn)化為可信度指標(biāo);在計(jì)算單樣本分類置信度時(shí),結(jié)合現(xiàn)有分類置信度計(jì)算的主要思想,綜合考慮鄰近樣本的類別與距離信息,確定待測(cè)樣本分類置信度。最后,將影響評(píng)估可信度的3個(gè)方面通過(guò)簡(jiǎn)單的可信度傳播模型進(jìn)行綜合,得到最終的評(píng)估可信度。

5 實(shí)例分析

以雷達(dá)抗干擾效能評(píng)估為例,選取抗干擾拖引

成功率(P1)、抗假目標(biāo)欺騙成功率(P2)、發(fā)現(xiàn)概率(P3),跟蹤誤差(E)、抗干擾扇面有效度(θ)以及平局虛假航跡改善因子(I)等6個(gè)評(píng)估指標(biāo)。通過(guò)仿真試驗(yàn)獲取140組數(shù)據(jù),將效能等級(jí)劃分為4個(gè)等級(jí)(1、2、3、4)得到140個(gè)樣本的仿真數(shù)據(jù),其中部分組數(shù)據(jù)如表1所示。

選取140組樣本中的75組為訓(xùn)練樣本、65組為測(cè)試樣本。將測(cè)試樣本中效能等級(jí)為1的樣本集記為S1,共計(jì)15個(gè);將效能等級(jí)為2的樣本集記為S2,共計(jì)12個(gè);將效能等級(jí)為3的樣本集記為S3,共計(jì)18個(gè);將效能等級(jí)為4的樣本集記為S4,共計(jì)20個(gè)。采用SVM評(píng)估模型進(jìn)行計(jì)算,評(píng)估程序運(yùn)行結(jié)果界面如圖6所示,圖中左側(cè)為樣本實(shí)際分類結(jié)果(類標(biāo)簽),右側(cè)是運(yùn)算錯(cuò)誤結(jié)果。

表1 雷達(dá)抗干擾效能評(píng)估仿真數(shù)據(jù)

Original Label is:1 Wrongly Predicted Label is 2
Original Label is:1 Wrongly Predicted Label is 2
Original Label is:2 Wrongly Predicted Label is 1
Original Label is:2 Wrongly Predicted Label is 4
Original Label is:3 Wrongly Predicted Label is 2
Original Label is:3 Wrongly Predicted Label is 4
Original Label is:3 Wrongly Predicted Label is 1
Original Label is:4 Wrongly Predicted Label is 2
Original Label is:4 Wrongly Predicted Label is 3
Original Label is:4 Wrongly Predicted Label is 3

圖6 評(píng)估程序運(yùn)行結(jié)果界面

根據(jù)圖6的計(jì)算結(jié)果及式(3)、(4),可得每一類樣本分類結(jié)果的可能性及必要性分別為

(11)

(12)

根據(jù)式(5),取λ=0.5,得到模型對(duì)每類樣本分類的可信度為

(13)

表2為試驗(yàn)采集的3組待評(píng)估裝備樣本的指標(biāo)數(shù)據(jù),其中部分指標(biāo)無(wú)具體的數(shù)據(jù),只能得到其取值的范圍。ST2中的θ以及ST3中的I的試驗(yàn)數(shù)據(jù)是區(qū)間值,需要分別考慮區(qū)間上限及下限情況,判斷其效能等級(jí)是否一致。經(jīng)過(guò)分析,ST2中θ取區(qū)間上限及下限的效能等級(jí)相同。ST3中的指標(biāo)I取區(qū)間下限時(shí),效能等級(jí)為3,取區(qū)間上限時(shí),效能等級(jí)為4,進(jìn)一步通過(guò)區(qū)間搜索發(fā)現(xiàn):當(dāng)ST3中的指標(biāo)I取值為8.81時(shí),效能等級(jí)為3,取值為8.82時(shí),效能等級(jí)為4,于是近似認(rèn)為8.815為ST3樣本的效能分界點(diǎn)。假設(shè)該參數(shù)在區(qū)間內(nèi)取每一點(diǎn)值的概率相同,于是對(duì)于樣本ST3有:當(dāng)指標(biāo)I取值為8.79～8.815時(shí),效能等級(jí)為3,其概率大小為0.42;當(dāng)指標(biāo)I取值為8.815～8.85時(shí),效能等級(jí)為4,其概率大小為0.58。如果想要獲取準(zhǔn)確的效能等級(jí),需要通過(guò)試驗(yàn)進(jìn)一步確定指標(biāo)I的精確值。

表2 3組待評(píng)估裝備試驗(yàn)數(shù)據(jù)

式(13)給出的模型對(duì)每類樣本分類可信度在一定程度上描述了評(píng)估的可信度。下面進(jìn)一步分析單樣本的置信度。表3給出了測(cè)試樣本中ST1樣本的鄰域樣本及ST1樣本與鄰域樣本的距離dT1。

由式(6)得到ST1樣本的分類置信度為

(14)

記ST2中指標(biāo)I取區(qū)間下限時(shí)的樣本為ST21,記取區(qū)間上限時(shí)的樣本為ST22,分別計(jì)算ST21和ST22的在測(cè)試樣本中的鄰域樣本及其與鄰域樣本的距離dT21、dT22樣本,經(jīng)計(jì)算測(cè)試樣本中ST21和ST22的鄰域樣本相同,距離信息如表4所示。

由表4及式(6)可以得到T21及T22樣本的分類

置信度分別為

(15)

(16)

由式(15)及式(16)的結(jié)果可以看出,ST2樣本的區(qū)間上限和下限結(jié)果基本相同,而且效能評(píng)估分類結(jié)果相同,因此可以忽略指標(biāo)I的區(qū)間數(shù)據(jù)對(duì)ST2樣本評(píng)估及評(píng)估可信度的影響。

對(duì)于ST3樣本可采用同樣的方法進(jìn)行分析,求得其分類置信度,這里不再贅述。

上面分析了區(qū)間數(shù)據(jù)對(duì)評(píng)估結(jié)果及評(píng)估可信度的影響,并得到了模型對(duì)每一類樣本分類的可信度,同時(shí)得到了單樣本的置信度。于是,根據(jù)串聯(lián)模塊可信度傳播模型可以得到樣本ST1和ST2的評(píng)估可信度為

C(ST1)=C(S2)f(ST1)=0.88×0.68=0.60

(17)

C(ST2)=C(S2)f(ST2)=0.90×0.84=0.76

(18)

式(17)和式(18)表示樣本ST1和ST2所代表的裝備效能評(píng)估結(jié)果為等級(jí)2和等級(jí)3的可信度分別為60%和76%,而3個(gè)裝備通過(guò)蒙特卡洛仿真試驗(yàn)驗(yàn)證的效能等級(jí)分別為2、3、4,其可信度分別為0.6～0.68、0.7～0.79以及0.5～0.56。同時(shí),邀請(qǐng)雷達(dá)領(lǐng)域4名專家給出的3個(gè)裝備效能等級(jí)分別為2、3、4,其綜合可信性分別為0.73、0.86、0.68。

表3 ST1樣本的鄰域樣本及相關(guān)數(shù)據(jù)信息

表4 ST2樣本的鄰域樣本及相關(guān)數(shù)據(jù)信息

從上面具體實(shí)例可以看出,本文提出的效能評(píng)估可信度度量方法并沒(méi)有利用專家經(jīng)驗(yàn)知識(shí),避免了不同專家對(duì)同一被評(píng)估對(duì)象評(píng)估結(jié)果分析的不同,便于編程實(shí)現(xiàn)評(píng)估結(jié)果的自動(dòng)分析,能夠提高計(jì)算效率,且計(jì)算結(jié)果與蒙特卡洛仿真試驗(yàn)結(jié)果相符,取蒙特卡洛仿真結(jié)果中間值作為可信度基準(zhǔn)值,經(jīng)計(jì)算本文方法與專家主觀判斷結(jié)果相比,準(zhǔn)確率提高了約10%,證明了本文可信度客觀度量方的有效性。

6 結(jié) 論

本文為解決評(píng)估可信度缺少客觀度量方法的難題,在分析現(xiàn)有效能評(píng)估與模式分類相關(guān)性的基礎(chǔ)上,創(chuàng)新性地將模式分類相關(guān)理論應(yīng)用到效能評(píng)估中,提出了從試驗(yàn)數(shù)據(jù)可信度到評(píng)估模型可信度,再到單樣本分類置信度3個(gè)方面客觀度量評(píng)估可信度的方法。在評(píng)估模型可信度分析方面,結(jié)合不確定性理論給出了計(jì)算評(píng)估模型可信度的方法;在單樣本分類置信度計(jì)算方面,給出了一種適用多數(shù)分類算法的相對(duì)置信度計(jì)算方法;同時(shí)本文還討論了不確定性試驗(yàn)數(shù)據(jù)對(duì)評(píng)估可信度的影響及處理方法,并重點(diǎn)研究了區(qū)間值數(shù)據(jù)的處理方法,并給出了一種簡(jiǎn)單的可信度傳播模型,基于可信度傳播模型,可得到效能評(píng)估綜合可信度。最后,以雷達(dá)抗干擾效能評(píng)估可信性度量為例,驗(yàn)證了本文提出的方法能夠在不使用專家經(jīng)驗(yàn)知識(shí)的情況下,客觀地度量效能評(píng)估可信度,計(jì)算結(jié)果更加客觀、準(zhǔn)確,有效地解決了評(píng)估可信度難以客觀度量的問(wèn)題,提高了裝備試驗(yàn)鑒定效率。

[1] 王秀麗, 張擇策, 侯雨伸. 主動(dòng)配電網(wǎng)多維度靜態(tài)安全評(píng)估 [J]. 西安交通大學(xué)學(xué)報(bào), 2016, 50(8): 110-116. WANG Xiuli, ZHANG Zece, HOU Yushen. Multidimensional static security assessment for active distribution network [J]. Journal of Xi’an Jiaotong University, 2016, 50(8): 110-116.

[2] CAO X, GU C. Risk analysis of gravity dam instability using credibility theory Monte Carlo simulation model [J]. Springer Plus, 2016, 5(1): 1-14.

[3] 李震, 董鴻鵬, 姜本清. 作戰(zhàn)仿真概率模型可信性測(cè)試 [J]. 計(jì)算機(jī)與現(xiàn)代化, 2016(1): 82-86. LI Zhen, DONG H P, JIANG B Q. Credibility test of probability model in warfare simulation system [J]. Computer & Modernization, 2016(1): 82-86.

[4] PAWLIKOWSKI K, JEONG H D J, LEE J S R. On credibility of simulation studies of telecommunication networks [J]. IEEE Communications Magazine, 2002, 40(1): 132-139.

[5] ANDEL T R, YASINSAC A. On the credibility of manet simulations [J]. Computer, 2006, 39(7): 48-54.

[6] 汪連棟, 曾勇虎, 申緒澗. 電子信息系統(tǒng)復(fù)雜電磁環(huán)境效應(yīng)研究路線圖 [M]. 北京: 國(guó)防工業(yè)出版社, 2013: 8.

[7] 宋彥學(xué), 張志峰, 齊立輝. 基于元評(píng)估的武器裝備作戰(zhàn)效能評(píng)估可信性研究 [J]. 火力與指揮控制, 2009(S1): 128-131. SONG Yanxue, ZHANG Zhifeng, QI Lihui. Research on the creditability of operational effectiveness evaluation with weapon equipment based on meta-evaluation [J]. Fire Control and Command Control, 2009(S1): 128-131.

[8] 黃炎焱. 武器裝備作戰(zhàn)效能穩(wěn)健評(píng)估方法及其支撐技術(shù)研究 [D]. 長(zhǎng)沙: 國(guó)防科學(xué)技術(shù)大學(xué), 2006: 22-25.

[9] 姜斌, 黎湘, 王宏強(qiáng), 等. 模式分類方法研究 [J]. 系統(tǒng)工程與電子技術(shù), 2007, 29(1): 99-102. JIANG Bin, LI Xiang, WANG Hongqiang, et al. Methods for pattern classification [J]. Systems Engineering and Electronics, 2007, 29(1): 99-102.

[10]張西寧, 雷威, 李兵. 主分量分析和隱馬爾科夫模型結(jié)合的軸承監(jiān)測(cè)診斷方法 [J]. 西安交通大學(xué)學(xué)報(bào), 2017, 51(6): 1-7. ZHANG Xining, LEI Wei, LI Bing. Bearing fault detection and diagnosis method based on principal component analysis and hidden Markov model [J]. Journal of Xi’an Jiaotong University, 2017, 51(6): 1-7.

[11]WANG T, QI J, XU H, et al. Fault diagnosis method based on FFT-RPCA-SVM for cascaded-multilevel inverter [J]. ISA Transactions, 2016, 60: 156-163.

[12]YIN Z, LIU J, KRUEGER M, et al. Introduction of SVM algorithms and recent applications about fault diagnosis and other aspects [C]∥Proceedings of 2015 IEEE International Conference on Industrial Informatics. Piscataway, NJ, SUA: IEEE, 2015: 550-555.

[13]張鵬, 陳湘軍, 阮雅端, 等. 采用稀疏SIFT特征的車型識(shí)別方法 [J]. 西安交通大學(xué)學(xué)報(bào), 2015, 49(12): 137-143.

ZHANG Peng, CHEN Xiangjun, RUAN Yaduan, et al. A vehicle classification technique based on sparse coding [J]. Journal of Xi’an Jiaotong University, 2015, 49(12): 137-143.

[14]張小利. 圖像融合及其性能評(píng)估若干問(wèn)題研究 [D]. 長(zhǎng)春: 吉林大學(xué), 2016: 115-119.

[15]王穎, 李金, 王磊, 等. 基于機(jī)器學(xué)習(xí)的microRNA預(yù)測(cè)方法研究進(jìn)展 [J]. 計(jì)算機(jī)科學(xué), 2015, 42(2): 7-13. WANG Ying, LI Jin, WANG Lei, et al. Research and progress of microRNA prediction methods on mach in learning [J]. Computer Science, 2015, 42(2): 7-13.

[16]趙行. SVM分類器置信度的研究 [D]. 北京: 北京郵電大學(xué), 2010: 8-20.

[17]薛磊, 楊曉敏, 吳煒, 等. 一種基于KNN與改進(jìn)SVM的車牌字符識(shí)別算法 [J]. 四川大學(xué)學(xué)報(bào)(自然科學(xué)版), 2006, 43(5): 1031-1036. XUUE Lei, YANG Xiaomin, WU Wei, et al. An algorithm based on KNN and improved SVM for license plate recognition [J]. Journal of Sichuan University (Natural Science Edition), 2006, 43(5): 1031-1036.

[18]柯宏發(fā), 陳永光, 劉思峰. 電子裝備試驗(yàn)數(shù)據(jù)的不確定性分析方法 [J]. 應(yīng)用基礎(chǔ)與工程科學(xué)學(xué)報(bào), 2011, 19(4): 653-663. KE Hongfa, CHEN Yongguang, LIU Sifeng. New method of uncertainties analysis for electronic equipment test data [J]. Journal of Basic Science and Engineering, 2011, 19(4): 653-663.