劉 昊,常 穎,邢 巖
(1.國防大學(xué)聯(lián)合作戰(zhàn)學(xué)院,河北 石家莊 050000;2.陸軍第79集團(tuán)軍醫(yī)院信息科,遼寧 遼陽 111000; 3.沈陽航空航天大學(xué)電子信息工程學(xué)院,遼寧 沈陽 111000)
隨著5G時代的來臨,移動互聯(lián)網(wǎng)技術(shù)取得了長足進(jìn)步,人們在享受大數(shù)據(jù)帶來的便捷生活時,也越來越受到網(wǎng)絡(luò)惡意攻擊和非法入侵威脅[1]。在此背景下,如何提升網(wǎng)絡(luò)模型的可靠性,抵制非法攻擊和入侵檢測識別成為信息安全行業(yè)重點(diǎn)研究課題。網(wǎng)絡(luò)入侵檢測技術(shù)則是根據(jù)已知的攻擊模型對人工智能系統(tǒng)進(jìn)行訓(xùn)練,以實(shí)現(xiàn)對未知攻擊數(shù)據(jù)的攻擊類型判斷,檢測出非法入侵和攻擊數(shù)據(jù),同時允許合法訪問和數(shù)據(jù)共享[2]。
當(dāng)前,常用的網(wǎng)絡(luò)入侵檢測模型分為多個流派,如聚類、機(jī)器學(xué)習(xí)、決策樹分類、智能優(yōu)化算法、神經(jīng)網(wǎng)絡(luò)等方法,這些分類算法均取得了不錯的效果,一定程度上提升了網(wǎng)絡(luò)入侵檢測的模型性能,但各算法也具有自身的局限性。K均值聚類方法[3]能夠探測特征樣本間的內(nèi)部作用關(guān)系,并以空間距離計(jì)算達(dá)成分類效果,但作為無監(jiān)督算法難以有效利用標(biāo)簽數(shù)據(jù),檢測效果相對較差。機(jī)器學(xué)習(xí)分類算法[4-5]雖然在小樣本學(xué)習(xí)中表現(xiàn)出較好的性能,但面對海量數(shù)據(jù)時的檢測精度和效率下降明顯,且對參數(shù)調(diào)節(jié)較為敏感。決策樹分類方法[6-7]雖然使用參數(shù)較少,學(xué)習(xí)效率較高,但也存在過擬合的問題,難以在海量數(shù)據(jù)學(xué)習(xí)時完成準(zhǔn)確的入侵檢測,造成預(yù)測效果失真。智能優(yōu)化算法[8-11]雖然模擬了自然界各種動植物的生物習(xí)性,達(dá)成了負(fù)反饋調(diào)節(jié)和自適應(yīng)的算法結(jié)構(gòu),但在面對攻擊類型多樣、特征描述偏差較大的入侵?jǐn)?shù)據(jù)表現(xiàn)力參差不齊,且對參數(shù)選取范圍依賴較大。相比較之下,神經(jīng)網(wǎng)絡(luò)算法[12-14]無論學(xué)習(xí)效率還是檢測精度相對表現(xiàn)較好,但各種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)多樣,如何選取最佳的神經(jīng)網(wǎng)絡(luò)以制作網(wǎng)絡(luò)入侵檢測模型是當(dāng)前研究面臨的重要問題。
生態(tài)系統(tǒng)內(nèi)部的生物結(jié)構(gòu)可劃分為個體、種群與群落,生態(tài)系統(tǒng)則是包含所有群落及參與物質(zhì)、能量、信息的復(fù)雜巨系統(tǒng)。作為典型的復(fù)雜系統(tǒng),其內(nèi)部遵循能量、物質(zhì)和信息流動的原則實(shí)現(xiàn)持續(xù)更新和演進(jìn),并具備一定的自我調(diào)節(jié)和適應(yīng)能力,在持續(xù)能量的供給下實(shí)現(xiàn)由無序向有序的自組織進(jìn)化。生態(tài)系統(tǒng)內(nèi)部按功能結(jié)構(gòu)可區(qū)分為物質(zhì)與能量、生產(chǎn)者、消費(fèi)者、分解者,每層結(jié)構(gòu)具備自我的功能劃分,進(jìn)而產(chǎn)生物質(zhì)、能量和信息的循環(huán)和按級吸收利用,最終實(shí)現(xiàn)信息的更新迭代。通過對生態(tài)系統(tǒng)的分析可知,組成系統(tǒng)的必要參與者必須大于三,即生產(chǎn)者、消費(fèi)者與分解者三類,且三者之間保持非線性關(guān)系;系統(tǒng)必須為開放系統(tǒng),即外界能量、信息持續(xù)不斷供給以保持系統(tǒng)的負(fù)熵平衡;系統(tǒng)具備自組織進(jìn)化機(jī)制,進(jìn)化動力來源于系統(tǒng)內(nèi)部各種群之間的競爭與協(xié)同,而非外部的人為干預(yù)指令。圖1為典型的生態(tài)系統(tǒng)示意圖。
圖1 生態(tài)系統(tǒng)示意圖
作為復(fù)雜系統(tǒng),生態(tài)系統(tǒng)內(nèi)部的生物個體具備自由意志,可根據(jù)自身的存續(xù)發(fā)展而改變自身結(jié)構(gòu),并使種群的數(shù)量和性質(zhì)處于動態(tài)變化中,進(jìn)而影響生物群落內(nèi)各種群之間的比例與相互關(guān)系。在算法中,可將種間關(guān)系簡要概括為捕食與競爭關(guān)系,下級消費(fèi)者層級中的種群性質(zhì)變化將直接影響以此種群為食的上級消費(fèi)者,并對同級的其余種群產(chǎn)生聯(lián)動影響,進(jìn)而在一定積累后產(chǎn)生群落演替,即各別種群消失或產(chǎn)生新種群。
生態(tài)系統(tǒng)的進(jìn)化方向是使系統(tǒng)內(nèi)負(fù)熵最大化方向發(fā)展,并以此方向調(diào)節(jié)系統(tǒng)內(nèi)各要素的進(jìn)化狀態(tài),即每個生物個體是否適應(yīng)生態(tài)系統(tǒng)的進(jìn)化需求是個體存續(xù)的量化評估指標(biāo),不適應(yīng)進(jìn)化需求的生物個體乃至種群將遭淘汰,并釋放占用物質(zhì)、能量與信息資源,由更適應(yīng)的種群接收。負(fù)反饋調(diào)節(jié)原理廣泛存在于生態(tài)系統(tǒng)內(nèi),從物種層面可表述為優(yōu)勝劣汰的自然選擇機(jī)制。
生態(tài)系統(tǒng)無須外界的指令參與,即可實(shí)現(xiàn)內(nèi)部各要素之間的平衡,并在能量持續(xù)供給的情況下,最終實(shí)現(xiàn)有序分工與最優(yōu)化搭配組合,并具備一定的抗干擾能力。生態(tài)系統(tǒng)的自組織原理為神經(jīng)網(wǎng)絡(luò)算法提供了新的優(yōu)化思路,即借鑒生態(tài)系統(tǒng)的自組織能力優(yōu)化神經(jīng)網(wǎng)絡(luò)的神經(jīng)元參數(shù)選擇和連接走向,以達(dá)成全局的信息最優(yōu)化。
借鑒生物界中的生態(tài)系統(tǒng)運(yùn)作原理,用以改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu),以更適應(yīng)參數(shù)調(diào)節(jié)需求,使神經(jīng)網(wǎng)絡(luò)具備更強(qiáng)的自組織和自我優(yōu)化能力。算法中,可將神經(jīng)元看作生物種群,神經(jīng)元內(nèi)的每組參數(shù)組合看作生物個體,每個隱含層神經(jīng)元組合看作生物群落,特征計(jì)算可看做生態(tài)系統(tǒng)內(nèi)部的能量、物質(zhì)與信息流動過程,則生態(tài)系統(tǒng)通過多次的特征計(jì)算達(dá)成系統(tǒng)內(nèi)部的自我適應(yīng)與自我優(yōu)化。生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)計(jì)算流程如圖2所示。
圖2 生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)計(jì)算流程圖
卷積層由多個特征面組成,用于將復(fù)雜的多維輸入數(shù)據(jù)通過卷積核降維為有限特征,并將特征組合通過池化操作輸入生態(tài)系統(tǒng)。卷積層中的卷積和池化神經(jīng)元可看做生態(tài)系統(tǒng)中的生產(chǎn)者,通過和輸入數(shù)據(jù)的局部區(qū)域相連接,使用卷積核(通常為3*3或5*5的權(quán)值矩陣)計(jì)算生成生態(tài)系統(tǒng)中的輸入信息,此信息可看做是生態(tài)系統(tǒng)中生產(chǎn)者制造的能量物質(zhì),在生態(tài)系統(tǒng)逐層被消費(fèi)者吸收,達(dá)成信息流動并產(chǎn)生輸出信息。圖3為卷積層和池化層的結(jié)構(gòu)示意圖,最頂層為池化層,中間層為卷積層,最底層為輸入數(shù)據(jù)層。通過圖3可知,卷積層內(nèi)的生產(chǎn)者種群個體通過權(quán)值矩陣連接到局部的輸入數(shù)據(jù),通過非線性函數(shù)(如ReLU)加權(quán)求和獲得輸出結(jié)果,并通過權(quán)值共享縮短卷積操作時間消耗和模型復(fù)雜度。ReLU函數(shù)計(jì)算公式如下:
圖3 卷積池化操作示意圖
fReLU(x)=max(0,x)
(1)
圖4 生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)三層架構(gòu)
(2)
消費(fèi)者則通過對輸出結(jié)果和標(biāo)準(zhǔn)結(jié)果的比對,調(diào)節(jié)公式(2)中的參數(shù)選項(xiàng),以找到更優(yōu)秀的后代個體,實(shí)現(xiàn)種群內(nèi)個體之間的優(yōu)勝劣汰。
信息流在種群神經(jīng)元內(nèi)的傳遞過程,可區(qū)分為兩個過程:一是輸出數(shù)值計(jì)算;二是輸出方向選擇。信息流在種群神經(jīng)元內(nèi)的傳遞如圖5所示。
圖5 信息流在種群神經(jīng)元內(nèi)的傳遞示意圖
(3)
通過公式分析,分解者的負(fù)反饋調(diào)節(jié)參數(shù)為ω、b、c,通過對比分析輸出結(jié)果與標(biāo)準(zhǔn)結(jié)果,調(diào)節(jié)各種群內(nèi)的個體參數(shù)值,進(jìn)而實(shí)現(xiàn)生態(tài)系統(tǒng)的動態(tài)演進(jìn)。
通過對生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)的整體構(gòu)造,可知其與標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)具有很多相似點(diǎn),如卷積層的構(gòu)造,激活函數(shù)的選擇,負(fù)反饋調(diào)節(jié)原理等;相比于標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò),生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)的特異之處主要有:一是隱含層神經(jīng)元數(shù)目的不確定性。相比于標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)的固定數(shù)目隱含層神經(jīng)元,生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)可根據(jù)輸出結(jié)果的不同,使用分解者去除不必要的分解者種群神經(jīng)元,或者增加新的種群神經(jīng)元;二是隱含層神經(jīng)元的層數(shù)增加。對應(yīng)標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)的固定隱含層結(jié)構(gòu),生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)由于必須具備復(fù)雜系統(tǒng)結(jié)構(gòu),因此至少設(shè)置3層的消費(fèi)者層級,并可根據(jù)計(jì)算機(jī)性能設(shè)置5層以上的消費(fèi)者層級,實(shí)現(xiàn)特征信息的非線性流動,增加生態(tài)系統(tǒng)的自組織和自我調(diào)節(jié)能力。三是由全連接架構(gòu)變?yōu)橛邢捱B接架構(gòu)。標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)采用了隱含層神經(jīng)元的全連接架構(gòu),使得計(jì)算復(fù)雜度隨著神經(jīng)元數(shù)目增加呈指數(shù)級數(shù)增長,生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)采用有限連接取代全連接,上級消費(fèi)者只與有限數(shù)目的下級消費(fèi)者保持連接,且下級消費(fèi)者只能與單個上級消費(fèi)者連接,因而降低了算法的計(jì)算復(fù)雜度。
為了檢驗(yàn)生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)算法的優(yōu)缺點(diǎn),結(jié)合實(shí)際項(xiàng)目進(jìn)行網(wǎng)絡(luò)入侵檢測,選取KDDCup99公開數(shù)據(jù)集作為實(shí)驗(yàn)對象,以文獻(xiàn)[13]中提供的BP神經(jīng)網(wǎng)絡(luò)算法和文獻(xiàn)[14]中提供的CNN神經(jīng)網(wǎng)絡(luò)算法作為對比算法,對算法的訓(xùn)練和預(yù)測性能進(jìn)行綜合比較分析。KDD競賽是美國國防部高級規(guī)劃署(DARPA)在MIT林肯實(shí)驗(yàn)室進(jìn)行的入侵檢測評估項(xiàng)目,共收集了9周時間的網(wǎng)絡(luò)連接和系統(tǒng)審計(jì)數(shù)據(jù),用以仿真各種用戶類型以及不同的網(wǎng)絡(luò)流量攻擊手段,以模擬真實(shí)網(wǎng)絡(luò)環(huán)境入侵檢測算法的檢測有效性。雖然年代久遠(yuǎn)(最早用于1999年的KDDCup競賽),但KDDCup99數(shù)據(jù)仍然是網(wǎng)絡(luò)入侵檢測領(lǐng)域的標(biāo)準(zhǔn)化評估數(shù)據(jù)集,以此檢驗(yàn)各智能優(yōu)化算法的分類性能。KDDCup99數(shù)據(jù)集中,每條數(shù)據(jù)項(xiàng)由41項(xiàng)特征數(shù)據(jù)和1項(xiàng)標(biāo)簽數(shù)據(jù)組成,共區(qū)分為Nor、DoS、Pro、R2L、U2R五大類標(biāo)簽,具體標(biāo)簽含義如表1所示。
表1 KDDCup99數(shù)據(jù)標(biāo)簽含義表
為了有效檢驗(yàn)算法的分類有效性,采用十倍交叉驗(yàn)證的方法組織實(shí)驗(yàn),即以隨機(jī)選擇方式將數(shù)據(jù)集按標(biāo)簽類型分為10等份,每份子數(shù)據(jù)集中包含的標(biāo)簽數(shù)量相等,而后以其中1份子數(shù)據(jù)集作為測試集,剩余9份子數(shù)據(jù)集合并作為訓(xùn)練集進(jìn)行檢測實(shí)驗(yàn),為了盡可能避免實(shí)驗(yàn)中的偶發(fā)因素影響,選取不同的子數(shù)據(jù)集交替作為測試集,共進(jìn)行10次實(shí)驗(yàn),取實(shí)驗(yàn)結(jié)果的平均值作為衡量指標(biāo)。每組實(shí)驗(yàn)的訓(xùn)練集和測試集規(guī)模如表2所示。
表2 訓(xùn)練集和測試集劃分規(guī)模
為了評估算法的檢測精度和誤差度,使用假陽性率FPR和檢出率DR作為綜合評估指標(biāo),相應(yīng)計(jì)算公式如下
(4)
(5)
式中,TP表示真陽性特征數(shù)量,FN表示假陰性特征數(shù)量,FP表示假陽性特征數(shù)量,TN表示真陰性特征數(shù)量。
分別使用各神經(jīng)網(wǎng)絡(luò)算法對訓(xùn)練集的入侵檢測學(xué)習(xí),檢測結(jié)果如表3所示。
表3 各算法在訓(xùn)練集中的檢測結(jié)果比較(單位:%)
通過分析可知,三種神經(jīng)網(wǎng)絡(luò)算法中,本方法的綜合檢測假陽性率和檢出率均高于另兩種算法,具體指標(biāo)中,Nor、DoS、Pro三項(xiàng)指標(biāo)高于另兩種算法,在R2L和U2R指標(biāo)中和卷積神經(jīng)網(wǎng)絡(luò)持平。分析原因主要是由于另兩種神經(jīng)網(wǎng)絡(luò)算法的全連接結(jié)構(gòu),使得對于不同輸入特征數(shù)據(jù)的參數(shù)調(diào)節(jié)會改變所有的輸出結(jié)果,這就在一定程度上降低了算法的學(xué)習(xí)效率和學(xué)習(xí)精度,本方法采用了有限連接結(jié)構(gòu),利用了生態(tài)系統(tǒng)的自組織和自我調(diào)節(jié)能力,相比于 標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)算法具備更強(qiáng)的學(xué)習(xí)精度。
三種神經(jīng)網(wǎng)絡(luò)算法在相同訓(xùn)練集的情況下,綜合對比學(xué)習(xí)時間如表4所示。
表4 各方法的訓(xùn)練時間分析(單位:s)
通過對比分析,BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)時間最高,卷積神經(jīng)網(wǎng)絡(luò)由于采用了卷積層特征壓縮,時間相對縮短,但卷積時間的額外消耗,使得綜合學(xué)習(xí)時間相較BP神經(jīng)網(wǎng)絡(luò)優(yōu)勢不明顯。本方法的學(xué)習(xí)效率最高,主要是由于生態(tài)系統(tǒng)的單向有限連接的信息流傳遞方式,使得計(jì)算量相對前兩種方法有所壓縮,在負(fù)反饋調(diào)節(jié)時由于連接線路減少,產(chǎn)生的全局變化相較前兩種方法較少,因而學(xué)習(xí)效率更高,雖然在隱含層神經(jīng)元數(shù)量上,本方法遠(yuǎn)超過前兩種方法,但綜合算法執(zhí)行效率依然較高。
將綜合學(xué)習(xí)獲得的三種神經(jīng)網(wǎng)絡(luò)應(yīng)用于測試集檢測算法的假陽性率和檢出率,以判斷算法的檢測綜合能力。三種神經(jīng)網(wǎng)絡(luò)與對應(yīng)入侵方式的假陽性率和檢出率對比結(jié)果如圖6和圖7所示。
圖6 各方法在測試集中的假陽性率對比
圖7 各方法在測試集中的檢出率對比
通過對比分析可知,BP神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)對于DoS攻擊的檢測效果相對較好,主要是由于此種攻擊方式樣本數(shù)量較多,特征提取充分,因而保持了檢測優(yōu)勢,而本方法對于樣本相對較少的R2L和U2R攻擊方式的檢出率和假陽性率較高,證明本方法在小樣本學(xué)習(xí)過程中的特征提取和檢測識別能力更強(qiáng),也符合生態(tài)系統(tǒng)中自組織和自我調(diào)節(jié)能力較強(qiáng)的客觀現(xiàn)象。在綜合性能對比上,卷積神經(jīng)網(wǎng)絡(luò)檢測效果優(yōu)于BP神經(jīng)網(wǎng)絡(luò),本方法檢測效果優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)。
為了進(jìn)一步說明本方法在小樣本學(xué)習(xí)條件下的優(yōu)勢,選取不同規(guī)模的訓(xùn)練集進(jìn)行檢測準(zhǔn)確率實(shí)驗(yàn),分別使用100、500、1 000、5 000、10 000、50 000、100 000條數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練,而后對同一組測試集進(jìn)行檢測實(shí)驗(yàn),獲得的檢測準(zhǔn)確率如圖8所示。
圖8 不同規(guī)模訓(xùn)練集條件下的檢測準(zhǔn)確率對比
通過對比分析可知,在小樣本條件下,本方法的檢測準(zhǔn)確率明顯高于另兩種方法,隨著訓(xùn)練集樣本規(guī)模增大,三種方法的檢測準(zhǔn)確率在逐步縮小,但本方法的綜合準(zhǔn)確率始終保持優(yōu)勢,客觀證明本方法的神經(jīng)網(wǎng)絡(luò)有廣闊的應(yīng)用前景。
在十倍交叉驗(yàn)證的基礎(chǔ)上,為了檢驗(yàn)本方法在未知實(shí)驗(yàn)數(shù)據(jù)中的檢測能力,選取KDDCup數(shù)據(jù)中從未使用過的100條實(shí)驗(yàn)數(shù)據(jù)作為新測試集,用以檢測三種方法的假陽性率和檢出率,對比結(jié)果如表5所示。
表5 三種方法對于新測試集的檢測結(jié)果對比
實(shí)驗(yàn)結(jié)果可知,本文提出的生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)在對未知新數(shù)據(jù)的檢測效果上,要優(yōu)于BP神經(jīng)網(wǎng)絡(luò),并相比于卷積神經(jīng)網(wǎng)絡(luò)的檢測精度上也不遜色,且學(xué)習(xí)效率上具備明顯優(yōu)勢。通過上述綜合對比分析可知,在對新測試集的預(yù)測分析上,生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)稍好于BP和CNN神經(jīng)網(wǎng)絡(luò),從設(shè)計(jì)架構(gòu)上看,生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)的多層動態(tài)搭配的消費(fèi)者層級架構(gòu)產(chǎn)生了能夠體現(xiàn)更多涌現(xiàn)特性的復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu),同時變?nèi)B接模式為有限神經(jīng)元連接的模式又使網(wǎng)絡(luò)的計(jì)算復(fù)雜度可控,保證數(shù)據(jù)訓(xùn)練和預(yù)測的時間消耗能夠在忍受范圍內(nèi)。從訓(xùn)練和預(yù)測效率上分析,生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)的時間消耗遠(yuǎn)小于BP和CNN神經(jīng)網(wǎng)絡(luò),一方面是由于生態(tài)系統(tǒng)網(wǎng)絡(luò)內(nèi)部的有限連接減少了計(jì)算量,另一方面是每一層的神經(jīng)元數(shù)目動態(tài)變化,使全局神經(jīng)元的總體數(shù)目減少,從而減少了計(jì)算量。
本文借鑒了自然界中的生態(tài)系統(tǒng)內(nèi)部運(yùn)作原理,提出了一種基于生態(tài)系統(tǒng)原理的生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)算法,并將其應(yīng)用到網(wǎng)絡(luò)入侵檢測模型中,對于KDDCup99數(shù)據(jù)進(jìn)行了入侵檢測分析實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,本方法對于網(wǎng)絡(luò)入侵檢測具備良好的檢測精度和更高的學(xué)習(xí)效率,可作為標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)的輔助和擴(kuò)展神經(jīng)網(wǎng)絡(luò)加以應(yīng)用,具備廣闊的應(yīng)用前景。本文主要研究了生態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)的內(nèi)部算法流程和實(shí)現(xiàn)機(jī)理,并在卷積核基礎(chǔ)上改進(jìn)了神經(jīng)網(wǎng)絡(luò)的全連接結(jié)構(gòu),實(shí)驗(yàn)表明有限連接和不確定神經(jīng)元可代替全連接神經(jīng)元結(jié)構(gòu),獲取相同的學(xué)習(xí)效果和更高的學(xué)習(xí)效率,在今后的工作中,考慮對實(shí)驗(yàn)進(jìn)行更深層次的研究論證。