使用不同置信級(jí)訓(xùn)練樣本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法

高學(xué)星 孫華剛 侯保林

?

使用不同置信級(jí)訓(xùn)練樣本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法

高學(xué)星*①孫華剛②侯保林①

①(南京理工大學(xué)機(jī)械工程學(xué)院 南京 210094)②(軍械技術(shù)研究所 石家莊 050000)

針對含不同置信級(jí)樣本的模型擬合問題，該文提出了一種基于神經(jīng)網(wǎng)絡(luò)的二次學(xué)習(xí)方法。文中指出真實(shí)模型是實(shí)驗(yàn)?zāi)Ｐ偷囊环N變異，提出逼近真實(shí)模型期望值的神經(jīng)網(wǎng)絡(luò)，是融合先驗(yàn)樣本和真實(shí)樣本的最佳網(wǎng)絡(luò)。首先，以先驗(yàn)樣本為訓(xùn)練樣本進(jìn)行第1次神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，并計(jì)算取決于硬點(diǎn)信息的軟點(diǎn)誤差容量區(qū)間；然后，同時(shí)將先驗(yàn)樣本和真實(shí)樣本作為訓(xùn)練樣本，利用軟點(diǎn)誤差容量區(qū)間和硬點(diǎn)誤差敏感系數(shù)，對神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中輸入/目標(biāo)對的誤差進(jìn)行修改，通過第2次學(xué)習(xí)得到既能精確擬合真實(shí)樣本，又能最大化利用先驗(yàn)樣本信息的綜合網(wǎng)絡(luò)。與基于知識(shí)的神經(jīng)網(wǎng)絡(luò)(KBNN)相比，該方法更加簡單，可操控性更強(qiáng)并具有更加明確的邏輯意義。

神經(jīng)網(wǎng)絡(luò)；模型擬合；基于知識(shí)的神經(jīng)網(wǎng)絡(luò)(KBNN)；先驗(yàn)知識(shí)

1 引言

機(jī)器學(xué)習(xí)算法在很多應(yīng)用領(lǐng)域被證明很有使用價(jià)值，可以有效地解決數(shù)據(jù)挖掘等需要?jiǎng)討B(tài)適應(yīng)條件變化，或者超出人類當(dāng)前認(rèn)知范圍的某些困難問題[1]。機(jī)器學(xué)習(xí)的效果嚴(yán)重依賴于訓(xùn)練樣本的數(shù)量和質(zhì)量[2]，通常，來自真實(shí)使用過程的真實(shí)樣本比較稀少而且分布不全面，此時(shí)真實(shí)樣本不適合直接用來建模[3]。1990年，文獻(xiàn)[4]提出了聯(lián)合符號(hào)化領(lǐng)域理論和神經(jīng)網(wǎng)絡(luò)的基于知識(shí)的神經(jīng)網(wǎng)絡(luò)方法(Knowledge-Based Neural Networks, KBNN)。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，KBNN提供了一種使用特定問題知識(shí)(problem-specific knowledge)來補(bǔ)償樣本缺少的學(xué)習(xí)途徑[5,6]。KBNN在非線性動(dòng)態(tài)建模[7]、控制[8]、監(jiān)測診斷[9,10]、預(yù)測[11,12]和知識(shí)庫的補(bǔ)充[13]等方面得到了應(yīng)用。但總體來說，其應(yīng)用并不廣泛[14]，主要有兩方面原因：對于復(fù)雜系統(tǒng)，先驗(yàn)領(lǐng)域知識(shí)不易獲得，不準(zhǔn)確的領(lǐng)域知識(shí)甚至?xí)λ惴ㄔ斐烧`導(dǎo)[15]；另外，尚無證據(jù)表明神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)因素變化具有明確的意義[16]。

實(shí)際上，真實(shí)樣本稀少時(shí)，不僅可以利用公式化的領(lǐng)域知識(shí)進(jìn)行補(bǔ)充，實(shí)驗(yàn)樣本作為數(shù)據(jù)形式的先驗(yàn)知識(shí)，同樣可以與真實(shí)樣本結(jié)合進(jìn)行訓(xùn)練學(xué)習(xí)。可以將實(shí)驗(yàn)樣本學(xué)習(xí)到的神經(jīng)網(wǎng)絡(luò)作為另一種形式的領(lǐng)域知識(shí)，應(yīng)用KBNN對真實(shí)樣本進(jìn)行學(xué)習(xí)。KBNN會(huì)通過對初始網(wǎng)絡(luò)權(quán)值進(jìn)行一定范圍內(nèi)精化修正的方法實(shí)現(xiàn)對真實(shí)樣本的進(jìn)一步學(xué)習(xí)。

本文基于不同置信級(jí)樣本(真實(shí)樣本與實(shí)驗(yàn)樣本)間的誤差分析，針對含先驗(yàn)樣本的擬合問題，提出了一種不同于KBNN的神經(jīng)網(wǎng)絡(luò)2次學(xué)習(xí)方法，通過修改標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)算法中輸入/目標(biāo)對誤差進(jìn)行第2次訓(xùn)練，以獲得融合先驗(yàn)樣本和真實(shí)樣本的綜合網(wǎng)絡(luò)。

2 基本思路

雖然實(shí)驗(yàn)或者虛擬實(shí)驗(yàn)更容易獲得大量可規(guī)劃的樣本，但大多數(shù)情況下的實(shí)驗(yàn)?zāi)Ｐ拖鄬φ鎸?shí)模型都有一定的誤差，該誤差可能是因?yàn)閷?shí)驗(yàn)條件的不完全真實(shí)性，或者樣本的獲取途徑差異，所以真實(shí)樣本和實(shí)驗(yàn)樣本是具有不同置信度級(jí)別的。不妨稱實(shí)驗(yàn)樣本為軟點(diǎn)樣本，真實(shí)使用中獲取的樣本為硬點(diǎn)樣本。若只簡單地將二者合在一起進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，對于偏離軟點(diǎn)的硬點(diǎn)，要么會(huì)導(dǎo)致過擬合，要么會(huì)成為被忽略的“噪點(diǎn)”。需要一種改進(jìn)的訓(xùn)練算法，使其既能對硬點(diǎn)精確擬合，又能最大限度地利用軟點(diǎn)提供的信息。

3 針對單硬點(diǎn)樣本的擬合算法

3.1 單硬點(diǎn)樣本的模型誤差期望值分析

此時(shí)誤差函數(shù)是離散的，沒有“剛性”的。

對上式進(jìn)行整理得

從而

將式(8)和式(9)代入式(6)，約去相同項(xiàng)，可得

3.2 神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)

只有一個(gè)硬點(diǎn)時(shí)，獲取綜合神經(jīng)網(wǎng)絡(luò)的算法步驟如下：

對于軟點(diǎn)，輸入/目標(biāo)對的誤差改為如下：

對于硬點(diǎn)，為使網(wǎng)絡(luò)對硬點(diǎn)數(shù)據(jù)有更好的擬合，將硬點(diǎn)同時(shí)納入到訓(xùn)練集、驗(yàn)證集和測試集中，且借鑒信息融合時(shí)常用的加權(quán)思想[17]，將硬點(diǎn)的輸入/目標(biāo)對誤差進(jìn)行放大：

為硬點(diǎn)誤差敏感系數(shù)，可取一個(gè)較大的值；

3.3 算例1

圖1 含1個(gè)硬點(diǎn)和多個(gè)軟點(diǎn)的訓(xùn)練樣本及先驗(yàn)網(wǎng)絡(luò)

4 針對多硬點(diǎn)樣本的擬合算法

同理，對硬點(diǎn)誤差進(jìn)行放大

式(21)中，為硬點(diǎn)誤差敏感系數(shù)。算法的實(shí)現(xiàn)過程與本文3.2節(jié)相同。以下兩個(gè)算例將說明此算法對多硬點(diǎn)樣本的擬合效果。

4.1 算例2

4.2 算例3

5 結(jié)束語

本文針對包含大量低置信級(jí)樣本(實(shí)驗(yàn)樣本)和少量高置信級(jí)樣本(真實(shí)樣本)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練問題，提出涵蓋所有已知信息下模型的期望(())的神經(jīng)網(wǎng)絡(luò)近似neth()，是代理真實(shí)模型()的最佳網(wǎng)絡(luò)。通過對樣本間誤差關(guān)系的分析，提出此網(wǎng)絡(luò)應(yīng)等于先驗(yàn)網(wǎng)絡(luò)與實(shí)驗(yàn)誤差期望之和。引入了參數(shù)對實(shí)驗(yàn)誤差的散布程度進(jìn)行約束，通過計(jì)算軟點(diǎn)誤差容量區(qū)間[ed,eu]和引入硬點(diǎn)誤差敏感系數(shù)，對標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中輸入/目標(biāo)對的誤差進(jìn)行了修改替換，多種情形下的算例證明，此方法在精確擬合高置信級(jí)樣本的同時(shí)，盡可能地利用了低置信級(jí)樣本的信息。與KBNN相比，該方法更加簡單，可操控性更強(qiáng)并具有更加明確的邏輯意義。本文算法可用于神經(jīng)網(wǎng)絡(luò)的離在線結(jié)合訓(xùn)練，或系統(tǒng)變異后的重新學(xué)習(xí)。本文所做改進(jìn)僅限于擬合問題，分類問題需要進(jìn)一步研究。

圖2 r=2時(shí)的誤差容量區(qū)間[ed,eu]

圖3 取r=2時(shí)由本文算法獲得的綜合網(wǎng)絡(luò)neth與先驗(yàn)網(wǎng)絡(luò)nets對比

圖4 取r=1.5時(shí)由本文算法獲得的綜合網(wǎng)絡(luò)neth與先驗(yàn)網(wǎng)絡(luò)nets對比

圖5 含4個(gè)硬點(diǎn)和多個(gè)軟點(diǎn)的訓(xùn)練樣本及先驗(yàn)網(wǎng)絡(luò)

圖6 r=2時(shí)的誤差容量區(qū)間[ed,eu]

圖7 本文算法獲得的綜合網(wǎng)絡(luò)neth與先驗(yàn)網(wǎng)絡(luò)nets對比

圖8 含3個(gè)硬點(diǎn)的2維輸入樣本及先驗(yàn)網(wǎng)絡(luò)

圖9 本文算法獲得的綜合網(wǎng)絡(luò)

圖10 綜合網(wǎng)絡(luò)與先驗(yàn)網(wǎng)絡(luò)差值neth-nets及eu, ed

[1] Mitchell T M. Machine Learning[M]. New York: McGraw Hill Higher Education, 1997: 17.

[2] 李露, 李斌, 杜艷玲, 等. 樣本量對飛灰含碳量的神經(jīng)網(wǎng)絡(luò)預(yù)測精度的影響[J]. 電力與科技工程, 2012, 28(9): 38-41.

[3] Milanic S, Strmcnik S, Sel D,.. Incorporating prior knowledge into artificial neural networks-an industrial case study[J]., 2004, 62(1): 131-151.

[4] Towell G G, Shavlik J W, and Noordewier M O. Refinement of approximate domain theories by knowledge-based neural networks[C]. Proceedings of the Association for the Advancement of Artificial Intelligence, Boston, 1990: 861-866.

[5] Sahin S, Tolun M R, and Hassanpour R. Hybrid expert systems: a survey of current approaches and applications[J]., 2012, 39(4): 4609-4617.

[6] Simsek M, Zhang Q J, Kabir H,.. The recent developments in knowledge based neural modeling[J]., 2012, 1(1): 1321-1330.

[7] 婁海川, 蘇宏業(yè), 謝磊. 融合過程先驗(yàn)知識(shí)的遞歸神經(jīng)網(wǎng)絡(luò)模型及應(yīng)用[J]. 化工學(xué)報(bào), 2013, 64(5): 1665-1673.

[8] 文剛. 用于步進(jìn)電機(jī)細(xì)分控制的知識(shí)人工神經(jīng)網(wǎng)絡(luò)[J]. 現(xiàn)代電子技術(shù), 2011, 34(7): 190-192.

[9] Yu Jian-bo, Xi Li-feng, and Zhou Xiao-jun. Intelligent monitoring and diagnosis of manufacturing processes using an integrated approach of KBANN and GA[J]., 2008, 59(5): 489-501.

[10] Serpen G, Tekkedil D K, and Orra M. A knowledge-based artificial neural network classifier for pulmonary embolism diagnosis[J]., 2008, 38(2): 204-220.

[11] Akkala A, Bhatt D, Devabhaktuni V,Knowledge- based neural network appoaches for modeling and estimating radon concentrations[J].&, 2013, 32(2): 355-364.

[12] 鮮于建川, 雋志才. 基于知識(shí)的神經(jīng)網(wǎng)絡(luò)在出行方式選擇中的應(yīng)用研究[J]. 計(jì)算機(jī)應(yīng)用研究, 2008, 25(9): 2651-2654.

[13] Gajzler M. The idea of knowledge supplementation and explanation using neural networks to support decisions in construction engineering[J]., 2013, 57: 302-309.

[14] Iqbal R A. Empirical learning aided by weak domain knowledge in the form of feature importance[C]. 2011 International Conference on Multimedia and Signal Processing, Guilin, 2011: 126-130.

[15] Yoon H, Park C S, Kim J S,Algorithm learning based neural network integrating feature selection and classification[J]., 2013, 40(1): 231-241.

[16] Jones J K, and Goel A K. Perceptually grounded self- diagnosis and self-repair of domain knowledge[J].-, 2012, 27: 281-301.

[17] 朱永生, 王成棟, 張優(yōu)云. 基于證據(jù)加權(quán)調(diào)整方法的神經(jīng)網(wǎng)絡(luò)及其在故障診斷中的應(yīng)用[J]. 機(jī)械工程學(xué)報(bào), 2002, 38(6): 66-71.

高學(xué)星： 男，1987年生，博士生，研究方向?yàn)閰?shù)不確定性與故障診斷.

孫華剛： 男，1979年生，高級(jí)工程師，研究方向?yàn)闄C(jī)械系統(tǒng)故障診斷.

侯保林： 男，1965年生，教授，博士生導(dǎo)師，研究方向?yàn)榛鹋谧詣?dòng)供輸彈系統(tǒng).

A Neural Network Learning Method Using Sampleswith Different Confidence Levels

Gao Xue-xing①Sun Hua-gang②Hou Bao-lin①

①(,,210094,)②(,050000,)

To solve the model-fitting problem with different confidence levels of samples, a Neural-Network (NN)- based twice learning method is proposed. It is pointed out that the real model is a variation of experimental model. The neural network approximation to the mathematical expectation of real model, is believed to be the best network fusing the information of prior samples and real samples. In the first learning, neural network is trained using the prior samples only, and the error capacity intervals of the soft points, which are determined by the information of hard points, are calculated. Then, both prior samples and real samples are included in the training samples. The import-objective errors in the process of NN training are modified, using soft point error capacity intervals and hard point error-sensitivity coefficients. The expected network is generated by the second learning, with accurate fitting to the real samples and efficacious utilization of the prior samples. In contrast with Knowledge-Based Neural Networks (KBNN), this method is simpler and more amenable to manipulation with definite logical significance.

Neural Networks (NN); Model-fitting; Knowledge-Based Neural Networks (KBNN); Prior knowledge

TP183

A

1009-5896(2014)06-1307-05

10.3724/SP.J.1146.2013.01099

高學(xué)星 hss1737@gmail.com

2013-07-25收到，2013-12-09改回

國家自然科學(xué)基金(51175266/E050604)資助課題