小樣本下基于卷積神經(jīng)網(wǎng)絡(luò)的費(fèi)用估算研究

劉鑫容，朱耀琴，曲慧楊，周軍華

(1.南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210094； 2.復(fù)雜產(chǎn)品智能制造系統(tǒng)技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京電子工程總體研究所，北京 100854)

0 引言

近幾年來(lái)，隨著導(dǎo)彈研制技術(shù)和社會(huì)經(jīng)濟(jì)的發(fā)展，導(dǎo)彈的研制費(fèi)用也逐漸增加，如何平衡導(dǎo)彈研制的需求和研制過(guò)程產(chǎn)生的費(fèi)用之間的關(guān)系，成為了一個(gè)至關(guān)重要的研究熱點(diǎn).要解決這個(gè)關(guān)鍵問題，需要一個(gè)可靠且穩(wěn)定的估算方法進(jìn)行費(fèi)用估算，為研制出符合精度和費(fèi)用要求的導(dǎo)彈提供參考.

近幾十年來(lái)，我國(guó)不斷在費(fèi)用估算方面進(jìn)行研究與探索，經(jīng)歷了一系列的方法革新.傳統(tǒng)的費(fèi)用估算方法包括工程估算法、參數(shù)估算法、類比估算法，這幾種方法在早期有較多的應(yīng)用，例如文獻(xiàn)[1]利用了工程估算法，對(duì)裝備再制造費(fèi)用進(jìn)行分解，提出了再制造費(fèi)用的估算方案；文獻(xiàn)[2]則類比Burns模型對(duì)建立了一種三代戰(zhàn)斗機(jī)改進(jìn)型的出廠費(fèi)用估算模型，改善了計(jì)算精度.

上述方法多為線性方法，擁有一定的預(yù)測(cè)能力，但是無(wú)法模擬出更加復(fù)雜的產(chǎn)品參數(shù)關(guān)系.而此后涌現(xiàn)的灰色系統(tǒng)理論側(cè)重于分析一些不完全確定的系統(tǒng)，能夠應(yīng)用于費(fèi)用估算.在文獻(xiàn)[3]中采用了灰色系統(tǒng)理論對(duì)裝備費(fèi)用進(jìn)行估算，構(gòu)建GM(1，1)模型和GM(1，1)預(yù)測(cè)模型，以實(shí)際樣本證明該方法的估算效果；而神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)樣本屬性和費(fèi)用之間的關(guān)系估算費(fèi)用，根據(jù)RBF神經(jīng)網(wǎng)絡(luò)理論建立了一種分析模型[4]，用于分析大型客機(jī)的制造成本，證明了該模型能夠得到較精確的結(jié)果.

然而，灰色系統(tǒng)理論和神經(jīng)網(wǎng)絡(luò)也存在局限性，二者較依賴數(shù)學(xué)模型，無(wú)法結(jié)合實(shí)際樣本對(duì)模型參數(shù)進(jìn)行大幅度調(diào)整.而卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)可學(xué)習(xí)樣本特征并提取其中的內(nèi)在聯(lián)系，可以根據(jù)損失調(diào)整模型結(jié)構(gòu)，具有較強(qiáng)的適用性，能夠應(yīng)用于估算領(lǐng)域，提高預(yù)測(cè)精度.

卷積神經(jīng)網(wǎng)絡(luò)早在2006年之前就已被提出，直至2012年，在ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)競(jìng)賽(ImageNet Large Scale Visual Recognition Challenge，LSVRC)中，利用深度的卷積神經(jīng)網(wǎng)絡(luò)取得了當(dāng)時(shí)最佳的分類效果[5]，鼓勵(lì)了學(xué)者投入卷積神經(jīng)網(wǎng)絡(luò)的研究.

而在估算預(yù)測(cè)領(lǐng)域也早有學(xué)者構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)對(duì)各種參數(shù)進(jìn)行學(xué)習(xí)預(yù)測(cè)，例如文獻(xiàn)[6]利用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)滬鋅期貨的價(jià)格，利用對(duì)比實(shí)驗(yàn)證明該模型具有良好的預(yù)測(cè)效果；文獻(xiàn)[7]構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，預(yù)測(cè)搜索廣告的點(diǎn)擊率，驗(yàn)證了該模型的預(yù)測(cè)精度較高.

由于導(dǎo)彈結(jié)構(gòu)復(fù)雜，導(dǎo)彈研制過(guò)程存在特殊性，導(dǎo)彈的特征屬性和研制費(fèi)用往往難以獲取，公開的樣本十分有限，且各個(gè)導(dǎo)彈樣本之間存在型號(hào)和性能上的聯(lián)系，不同的樣本對(duì)待預(yù)測(cè)樣本的參考意義不同.故在該條件下，本文采用了雙三次插值法與反距離加權(quán)插值法結(jié)合，對(duì)樣本進(jìn)行擴(kuò)充.結(jié)合卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型，驗(yàn)證了該模型的估算能力.

1 小樣本下基于卷積神經(jīng)網(wǎng)絡(luò)的導(dǎo)彈研制費(fèi)用估算模型

1.1 模型流程

在小樣本條件下，本文采用雙三次插值法以解決導(dǎo)彈的原始樣本集數(shù)量有限的問題，采用反距離加權(quán)插值法以解決樣本貢獻(xiàn)值問題，利用兩種插值算法擴(kuò)充導(dǎo)彈研制費(fèi)用原始樣本后，輸入卷積神經(jīng)網(wǎng)絡(luò)模型中預(yù)測(cè)估算.小樣本下基于卷積神經(jīng)網(wǎng)絡(luò)的導(dǎo)彈研制費(fèi)用估算流程見圖1.

圖1 小樣本下基于卷積神經(jīng)網(wǎng)絡(luò)的導(dǎo)彈研制費(fèi)用估算流程

步驟1 導(dǎo)彈研制費(fèi)用樣本集的建立.

導(dǎo)彈研制費(fèi)用樣本集是從原始的導(dǎo)彈數(shù)據(jù)庫(kù)中獲取導(dǎo)彈的特征屬性和研制費(fèi)用樣本，參照已有的研究成果，選取了對(duì)導(dǎo)彈研制費(fèi)用具有關(guān)聯(lián)影響的導(dǎo)彈特征屬性，例如導(dǎo)彈的最大射程決定了導(dǎo)彈殺傷目標(biāo)的最大距離[8]，故射程增大，對(duì)導(dǎo)彈的性能要求增大，則必然導(dǎo)致研制費(fèi)用的增加.通過(guò)選取影響導(dǎo)彈研制費(fèi)用的性能及相關(guān)屬性，能夠增強(qiáng)模型的泛化能力和學(xué)習(xí)的魯棒性，有助于模型對(duì)樣本集的學(xué)習(xí)和估算.

步驟2 數(shù)據(jù)預(yù)處理.

(1) 研制費(fèi)用價(jià)值轉(zhuǎn)換.建立樣本集后，需要對(duì)導(dǎo)彈研制費(fèi)用樣本集的特征進(jìn)行一定的分析，處理各屬性之間關(guān)系.考慮到通貨膨脹的情況，不同的時(shí)期下，相同價(jià)格的研制費(fèi)用在價(jià)值上也不盡相同.為了平等地對(duì)比各個(gè)導(dǎo)彈樣本的研制費(fèi)用，應(yīng)當(dāng)將各個(gè)樣本的研制費(fèi)用轉(zhuǎn)換成相同時(shí)期下的同等幣制.利用居民消費(fèi)價(jià)格指數(shù)(consumer price index，CPI)，根據(jù)文獻(xiàn)[9]中費(fèi)用轉(zhuǎn)化公式可將導(dǎo)彈研制費(fèi)用轉(zhuǎn)換到同一財(cái)年.

(2) 導(dǎo)彈特征屬性歸一化.由于導(dǎo)彈的各個(gè)結(jié)構(gòu)屬性決定導(dǎo)彈的研制費(fèi)用，數(shù)值差異較大，若未處理，容易被數(shù)值大的導(dǎo)彈屬性所主導(dǎo).為了更好地體現(xiàn)各個(gè)導(dǎo)彈特征屬性之間的關(guān)系，減少訓(xùn)練過(guò)程中的計(jì)算量，將采用文獻(xiàn)[10]中提到的歸一化方法對(duì)導(dǎo)彈特征屬性進(jìn)行歸一化處理，使其取值在[0，1]之間，縮小導(dǎo)彈特征屬性差異，避免模型參數(shù)波動(dòng)大.

步驟3 基于雙三次插值和反距離加權(quán)插值的樣本擴(kuò)充.

由于導(dǎo)彈的公開樣本數(shù)目有限且各個(gè)樣本對(duì)于待預(yù)測(cè)樣本的貢獻(xiàn)值不同，如何解決上述問題成為本文研究的關(guān)鍵，是原始樣本集處理的重要環(huán)節(jié).本文對(duì)原始導(dǎo)彈研制費(fèi)用樣本進(jìn)行雙三次插值，對(duì)與待預(yù)測(cè)樣本型號(hào)性能相似的若干原始樣本通過(guò)反距離加權(quán)插值法進(jìn)行插值.

步驟4 訓(xùn)練調(diào)整導(dǎo)彈研制費(fèi)用卷積神經(jīng)網(wǎng)絡(luò)估算模型.

(1) 訓(xùn)練樣本與梯度下降.以導(dǎo)彈研制費(fèi)用的擴(kuò)充樣本作為輸入，建立導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型.訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，通過(guò)均方誤差計(jì)算訓(xùn)練集和測(cè)試集的損失，觀察二者關(guān)系及是否收斂，判斷模型是否欠擬合或者過(guò)擬合.通過(guò)不斷對(duì)模型的卷積層層數(shù)、訓(xùn)練次數(shù)、dropout值或?qū)W習(xí)率進(jìn)行調(diào)整修改，以達(dá)到損失收斂且較低的狀態(tài).

(2) 檢驗(yàn)費(fèi)用估算結(jié)果精度.計(jì)算測(cè)試集樣本的評(píng)價(jià)指標(biāo)以檢驗(yàn)該模型的估算精度.若計(jì)算結(jié)果符合精度要求，則該卷積神經(jīng)網(wǎng)絡(luò)模型可用于導(dǎo)彈研制費(fèi)用的估算，否則，則回到上一步重新進(jìn)行訓(xùn)練.

1.2 基于雙三次插值和反距離加權(quán)插值的樣本擴(kuò)充

為了取得導(dǎo)彈研制費(fèi)用的良好估算效果，原始導(dǎo)彈研制費(fèi)用樣本集存在以下兩個(gè)問題：(1)獲取導(dǎo)彈的特征屬性和研制費(fèi)用存在一定困難，可用的公開樣本數(shù)目少；(2)各個(gè)導(dǎo)彈樣本之間存在型號(hào)和性能上的聯(lián)系，不同的樣本對(duì)待預(yù)測(cè)樣本的參考意義不同.本文為解決上述問題，從小樣本和樣本貢獻(xiàn)值兩個(gè)角度出發(fā)，采用雙三次插值和反距離加權(quán)插值兩種插值方法對(duì)樣本進(jìn)行擴(kuò)充.

在小樣本條件下，目前有兩種研究方法：一是利用先驗(yàn)條件建立預(yù)測(cè)模型，但此方法對(duì)先驗(yàn)條件的要求較高，因此應(yīng)用場(chǎng)景較少[11]；二是樣本擴(kuò)充法，本文利用當(dāng)下應(yīng)用廣泛的解決方案處理小樣本問題.

針對(duì)導(dǎo)彈型號(hào)屬性相近的樣本，對(duì)研制費(fèi)用的估算也更具有參考意義的特點(diǎn)，反距離加權(quán)插值采用了相似相近的原則，型號(hào)相近的樣本對(duì)插值具有更高的權(quán)重，可用于處理樣本貢獻(xiàn)率問題.

本文結(jié)合雙三次插值和反距離加權(quán)插值，針對(duì)原始導(dǎo)彈研制費(fèi)用樣本進(jìn)行雙三次插值，通過(guò)反距離加權(quán)插值法對(duì)與待預(yù)測(cè)樣本型號(hào)性能相似的若干原始樣本進(jìn)行插值.這種方法既使得能夠有效擴(kuò)充樣本容量，使樣本分布于導(dǎo)彈研制費(fèi)用原始樣本集中，具有一定的規(guī)律性和廣泛性，又能在待預(yù)測(cè)樣本附近擬合出更多樣本，達(dá)到對(duì)相似樣本加權(quán)的目的.

1.2.1 雙三次插值法擴(kuò)充樣本

雙三次插值法用于將原始導(dǎo)彈研制費(fèi)用樣本擴(kuò)充成若干有序樣本，插值樣本分布于各原始樣本之間.導(dǎo)彈研制費(fèi)用屬性Y和導(dǎo)彈特征屬性為X=(x1，x2，x3)的3條原始樣本在k=2時(shí)的插值流程見圖2，樣本在經(jīng)歷兩次插值得到新的導(dǎo)彈研制費(fèi)用和特征屬性插值點(diǎn)后，篩選出包含(Y，x1，x2，x3)的插值樣本，得到最終的擴(kuò)充樣本.

針對(duì)單一導(dǎo)彈插值點(diǎn)，如圖2的局部放大圖所示，雙三次插值法利用了插值點(diǎn)附近的4個(gè)方向上的16個(gè)原始導(dǎo)彈樣本點(diǎn)進(jìn)行加權(quán)插值，既考慮了4個(gè)相鄰點(diǎn)的數(shù)值影響，也考慮了各相鄰點(diǎn)數(shù)值變化率的影響[12].

圖2 雙三次插值法擴(kuò)充樣本圖示(k=2)

具體的操作流程：

步驟1 設(shè)置插值的優(yōu)化因子k；

步驟2 在每一個(gè)維度上的間隔之間對(duì)網(wǎng)格數(shù)組形式的原始導(dǎo)彈研制費(fèi)用樣本都進(jìn)行切割，形成優(yōu)化的網(wǎng)格數(shù)組；

步驟3 在網(wǎng)格之間插入數(shù)值，反復(fù)切割k次，生成2k-1個(gè)插入點(diǎn)；

步驟4 保留插值網(wǎng)格的縱列中包含原始屬性(Y，x1，x2，x3)的列，得到導(dǎo)彈研制費(fèi)用樣本的擴(kuò)充樣本集.

圖3 雙三次插值法擴(kuò)充樣本流程

雙三次插值法擴(kuò)充樣本流程見圖3.

1.2.2 反距離加權(quán)插值法擴(kuò)充樣本

考慮到不同型號(hào)和性能的樣本對(duì)待預(yù)測(cè)樣本估算的貢獻(xiàn)率不同，本文采用反距離加權(quán)插值法對(duì)相似樣本(即與待預(yù)測(cè)樣本型號(hào)性能相似的若干原始樣本)進(jìn)行插值，以達(dá)到增加其數(shù)量及加權(quán)的目的.

由于反距離加權(quán)插值利用相似相近原理進(jìn)行插值，通過(guò)相似函數(shù)計(jì)算得到的相似樣本的距離也會(huì)越近，與插值點(diǎn)越相似，使得擬合得到的估算值也會(huì)越貼近相似樣本.

具體的插值流程：

步驟1 導(dǎo)彈特征屬性為(ai，bi，…，ni)的原始導(dǎo)彈樣本的相似函數(shù)為

其中hi是當(dāng)前導(dǎo)彈研制費(fèi)用樣本到插值點(diǎn)的距離，(ai，bi，…，ni)為導(dǎo)彈樣本的各個(gè)特征屬性，個(gè)數(shù)由導(dǎo)彈特征屬性個(gè)數(shù)決定.

步驟2 根據(jù)隨機(jī)抽取正態(tài)分布規(guī)律中概率在(μ-2σ，μ+2σ)范圍內(nèi)的一組概率α.

步驟3 根據(jù)正態(tài)分布規(guī)律在相似樣本的屬性值附近建立正態(tài)分布模型，其中均值和標(biāo)準(zhǔn)差由當(dāng)前相似樣本的導(dǎo)彈特征屬性值決定.

步驟4 根據(jù)概率α求出導(dǎo)彈特征屬性插值點(diǎn)(a，b，…，n)，插值點(diǎn)的每個(gè)屬性xα服從P{X≥xα}=α，同一組插值點(diǎn)概率α相同.

步驟5 根據(jù)反距離插值法的公式，輸入導(dǎo)彈特征屬性隨機(jī)插值點(diǎn)(a，b，…，n)擬合得出對(duì)應(yīng)的導(dǎo)彈研制費(fèi)用為

步驟6 將擬合結(jié)果和導(dǎo)彈特征屬性整合，得到若干相似樣本附近的插值樣本.

反距離加權(quán)插值法擴(kuò)充樣本流程見圖4.

圖4 反距離加權(quán)插值法擴(kuò)充樣本流程

1.3 導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型

由于卷積神經(jīng)網(wǎng)絡(luò)具有更深度地學(xué)習(xí)能力，可以根據(jù)導(dǎo)彈研制費(fèi)用原始樣本提取各個(gè)屬性之間的關(guān)聯(lián)，參考損失值和費(fèi)用估算的結(jié)果及時(shí)調(diào)整模型的結(jié)構(gòu)和參數(shù)，應(yīng)用于導(dǎo)彈研制費(fèi)用的估算.圖5是導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型.

圖5 導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型

模型主要的功能層及實(shí)現(xiàn)策略：

(1) 輸入層.經(jīng)過(guò)擴(kuò)充后的導(dǎo)彈研制費(fèi)用樣本集通過(guò)讀取文件的模式讀入，對(duì)導(dǎo)彈特征屬性進(jìn)行歸一化處理，便于之后的卷積計(jì)算.根據(jù)讀入的樣本構(gòu)建導(dǎo)彈特征屬性方形矩陣，作為二維卷積的輸入.

(2) 卷積層.由于本文中輸入的數(shù)據(jù)較小，故僅使用卷積操作對(duì)導(dǎo)彈研制費(fèi)用樣本集進(jìn)行特征提取，卷積操作能夠增強(qiáng)原樣本的特征屬性.

由于卷積核的尺寸越大，能夠得到更多參數(shù)，但模型的學(xué)習(xí)速度也會(huì)減緩；卷積核的數(shù)目越多，能夠得到更多的描述特征，但計(jì)算量也會(huì)相應(yīng)增加，所以應(yīng)當(dāng)選擇合適的卷積核大小及數(shù)目，以得到良好的學(xué)習(xí)估算效果.

本文根據(jù)模型輸入數(shù)據(jù)的大小，選擇卷積核大小為2×2，步長(zhǎng)為1的卷積核，經(jīng)過(guò)4次卷積作用及激活函數(shù)Relu函數(shù)的激勵(lì)，得到卷積后的特征.

(3) 全連接層.搭建在整個(gè)網(wǎng)絡(luò)的尾部，能夠?qū)⒔?jīng)過(guò)卷積后的特征與輸出層相連，減少特征信息的損失.全連接層組合的特征加以Relu函數(shù)的激活，送入dropout層.

(4) dropout層.使得每一層的神經(jīng)元都部分失活，防止模型產(chǎn)生過(guò)擬合，避免模型由于過(guò)度學(xué)習(xí)大數(shù)據(jù)的冗余信息，導(dǎo)致訓(xùn)練速度慢，缺少泛化能力.

(5) 輸出層.將均方誤差作為損失函數(shù)，計(jì)算后用Adam優(yōu)化器進(jìn)行優(yōu)化，經(jīng)過(guò)數(shù)次梯度下降，得到導(dǎo)彈研制費(fèi)用估算結(jié)果.

由于導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)模型可以得到唯一輸出的研制費(fèi)用估算值，故采用回歸模型的評(píng)價(jià)指標(biāo)對(duì)模型進(jìn)行評(píng)估并改進(jìn)：采用均方誤差(Mean Square Error，MSE)作為模型的損失函數(shù)；針對(duì)費(fèi)用預(yù)測(cè)估算的結(jié)果，采用平均絕對(duì)誤差(Mean Absolute Error，MAE)和相對(duì)誤差(Relative Error)，評(píng)估模型對(duì)樣本整體和個(gè)體的估算準(zhǔn)確度.

2 模型實(shí)現(xiàn)與比較分析

2.1 實(shí)驗(yàn)方法

實(shí)驗(yàn)在Win10操作系統(tǒng)下，利用MatlabR2016a編程實(shí)現(xiàn)導(dǎo)彈研制費(fèi)用原始樣本集的擴(kuò)充，在Pycharm下利用Tensorflow框架對(duì)導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型進(jìn)行訓(xùn)練，開發(fā)語(yǔ)言為Python3.6.

實(shí)驗(yàn)利用Matlab實(shí)現(xiàn)對(duì)原始樣本集的擴(kuò)充，原始樣本集為8組導(dǎo)彈研制費(fèi)用樣本集，包括導(dǎo)彈特征屬性及其研制費(fèi)用.將8組樣本分為7組訓(xùn)練樣本和1組待預(yù)測(cè)樣本，分別根據(jù)雙三次插值及反距離加權(quán)插值算法對(duì)原始導(dǎo)彈研制費(fèi)用訓(xùn)練樣本擴(kuò)充到300組數(shù)據(jù).

擴(kuò)充樣本經(jīng)過(guò)數(shù)據(jù)預(yù)處理，采用1.3節(jié)提出的導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型，根據(jù)參數(shù)調(diào)節(jié)結(jié)果，選擇卷積層層數(shù)為4，學(xué)習(xí)率0.01，反復(fù)迭代訓(xùn)練5 000次.為了驗(yàn)證研制費(fèi)用估算結(jié)果的優(yōu)略，采用均方誤差作為損失函數(shù)進(jìn)行梯度下降，平均絕對(duì)誤差和相對(duì)誤差分別判斷測(cè)試樣本的整體和個(gè)體的估算準(zhǔn)確度，根據(jù)評(píng)價(jià)指標(biāo)不斷優(yōu)化模型，得到最優(yōu)模型.

2.2 參數(shù)調(diào)節(jié)

在實(shí)際模型訓(xùn)練的過(guò)程中，估算效果好的模型需要在訓(xùn)練的過(guò)程中不斷調(diào)節(jié)參數(shù)、調(diào)整模型的結(jié)構(gòu)，參考模型評(píng)價(jià)的指標(biāo)才能最終得到.本文選取卷積層層數(shù)、dropout值、學(xué)習(xí)率3個(gè)參數(shù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的估算精度進(jìn)行評(píng)估分析.

在實(shí)驗(yàn)操作中，設(shè)置卷積層層數(shù)為4，學(xué)習(xí)率為0.01，dropout值為0.5，訓(xùn)練次數(shù)為5 000次，使用控制變量方法，單次實(shí)驗(yàn)只改變卷積層層數(shù)、dropout值、學(xué)習(xí)率三者之一，得到待調(diào)整參數(shù)與測(cè)試集的MAE的關(guān)系見圖6—8.

圖6 卷積層層數(shù)與MAE的關(guān)系

圖7 dropout值與MAE的關(guān)系

圖8 學(xué)習(xí)率與MAE的關(guān)系

從圖6—8中平均絕對(duì)誤差與卷積層層數(shù)、dropout值、學(xué)習(xí)率的關(guān)系圖可以看出，在卷積層層數(shù)為4時(shí)，MAE達(dá)到最低值，整體的估算效果較好，可以得到較為準(zhǔn)確的估算值.當(dāng)dropout值等于0.6時(shí)，平均絕對(duì)誤差達(dá)到最低值，此時(shí)dropout發(fā)揮出最佳的抑制過(guò)擬合效果，使模型具有泛化能力且能保證估算精度.當(dāng)學(xué)習(xí)率為0.01和0.005時(shí)，模型的擬合效果明顯，能得到較低的平均相對(duì)誤差.由于學(xué)習(xí)率為0.005時(shí)，需要更久訓(xùn)練的次數(shù)才能取得最佳的估算結(jié)果，故選擇學(xué)習(xí)率為0.01較為合適.

2.3 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)驗(yàn)證的樣本集為8組導(dǎo)彈研制費(fèi)用樣本[8]，采用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)研制費(fèi)用進(jìn)行估算.實(shí)驗(yàn)中的導(dǎo)彈特征屬性包括最大射程、最大射高、最大射速、導(dǎo)彈質(zhì)量等，具體的數(shù)值見表1，將8組樣本分為7組訓(xùn)練樣本和1組待預(yù)測(cè)樣本(導(dǎo)彈研制費(fèi)用均換算到1992年的價(jià)格).

表1 研制費(fèi)用原始樣本

2.4 實(shí)驗(yàn)結(jié)果

本文模型估算出的費(fèi)用結(jié)果與線性回歸、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、WPCA&WSVR幾種實(shí)驗(yàn)方法進(jìn)行了對(duì)比[9]，結(jié)果見表2.

表2 本文模型與其他實(shí)驗(yàn)方法估算結(jié)果對(duì)比

從表2可以看出，本文模型在整體和待預(yù)測(cè)樣本的估算結(jié)果都比線性回歸、神經(jīng)網(wǎng)絡(luò)好.本文模型結(jié)合樣本擴(kuò)充，既能解決小樣本和樣本貢獻(xiàn)率的問題，又能較好地學(xué)習(xí)各參數(shù)之間的復(fù)雜關(guān)系，對(duì)新樣本的適應(yīng)性較強(qiáng)，能夠得到合理的估算結(jié)果，本文模型解決了線性形式無(wú)法表現(xiàn)復(fù)雜參數(shù)關(guān)系和在小樣本條件下無(wú)法體現(xiàn)的泛化能力；與支持向量機(jī)和WPCA&WSVR費(fèi)用兩種方法相比，本文模型也在整體估算效果上優(yōu)于二者，在待預(yù)測(cè)樣本上的估算也明顯優(yōu)于支持向量機(jī).

3 結(jié)語(yǔ)

本文針對(duì)小樣本條件下的導(dǎo)彈研制費(fèi)用估算問題，利用雙三次插值和反距離加權(quán)插值進(jìn)行樣本擴(kuò)充，解決了原始導(dǎo)彈研制費(fèi)用樣本數(shù)目稀少和各個(gè)樣本對(duì)待預(yù)測(cè)樣本的貢獻(xiàn)值不同的問題.利用卷積神經(jīng)網(wǎng)絡(luò)可經(jīng)過(guò)多次學(xué)習(xí)提取樣本數(shù)據(jù)關(guān)聯(lián)，調(diào)整模型結(jié)構(gòu)的特點(diǎn)，采用導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型對(duì)擴(kuò)充樣本進(jìn)行學(xué)習(xí)，對(duì)比驗(yàn)證了該模型的估算能力.然而，實(shí)驗(yàn)過(guò)程也存在一定不足，例如，調(diào)參過(guò)程繁瑣且耗時(shí)長(zhǎng)，需要花費(fèi)較多的時(shí)間和人力，以后在這方面將進(jìn)行探究.

致謝：對(duì)南京理工大學(xué)計(jì)算機(jī)學(xué)院提供的良好實(shí)驗(yàn)環(huán)境，教研組江濤同學(xué)、雷陽(yáng)同學(xué)在實(shí)驗(yàn)?zāi)Ｐ蜆?gòu)建和數(shù)據(jù)集收集的建議和幫助致以衷心的感謝！