數(shù)據(jù)集與網(wǎng)絡(luò)結(jié)構(gòu)對(duì)基于FPGA的CNN加速器的抗軟錯(cuò)誤性能的影響

折夏煜,劉玉宏,王楊圣,郭 剛,王海濱,王 亮,韓光潔

1(河海大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,南京 211100)

2(中國(guó)原子能科學(xué)研究院,北京 102413)

3(北京微電子技術(shù)研究所,北京 100076)

1 引 言

人工神經(jīng)網(wǎng)絡(luò)是一種模擬動(dòng)物神經(jīng)細(xì)胞工作原理的算法模型.它通常由輸入層、隱藏層和輸出層構(gòu)成,每層之間呈全連接.得益于其獨(dú)特的神經(jīng)元結(jié)構(gòu),神經(jīng)網(wǎng)絡(luò)可以做大規(guī)模的并行處理.

相比人工神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)是一種更高效的算法.它最大的特點(diǎn)是增加了卷積層,該層可以將輸入和卷積核作卷積運(yùn)算,實(shí)現(xiàn)對(duì)輸入的特征提取.卷積層后通常跟隨著ReLU層和池化層,它們可以在保證一定精度情況下,對(duì)數(shù)據(jù)簡(jiǎn)化,大大減小運(yùn)算量.CNN如今已在圖像識(shí)別、無(wú)人駕駛、醫(yī)療健康等領(lǐng)域得到了廣泛的應(yīng)用[1-5].

值得注意的是,CNN特有的計(jì)算模式導(dǎo)致其在通用處理器上的實(shí)現(xiàn)效率不高.而現(xiàn)場(chǎng)可編程門陣列(Field Programmable Gate Array,FPGA)因?yàn)榫哂徐`活的架構(gòu),非常適合CNN的硬件實(shí)現(xiàn),許多學(xué)者對(duì)此已有研究[6-8].

然而,基于SRAM的FPGA對(duì)軟錯(cuò)誤高度敏感[9].并且隨著工藝尺寸的縮小,高能粒子打擊對(duì)諸如SRAM的存儲(chǔ)電路造成的影響變得不可忽略,進(jìn)而削弱電路的可靠性.因此,基于SRAM FPGA的CNN加速器在設(shè)計(jì)時(shí)有必要考慮其對(duì)軟錯(cuò)誤的耐受性.特別是在配置位,一旦有軟錯(cuò)誤發(fā)生,該錯(cuò)誤便有可能隨著電路邏輯繼續(xù)傳播,或影響其他部分電路的功能,直到重新配置[10].這種基于FPGA中運(yùn)行的CNN加速器對(duì)軟錯(cuò)誤的表征使分析其抗軟錯(cuò)誤性能成為可能.

為了從更多角度研究基于SRAM FPGA的CNN異構(gòu)加速器的可靠性,同時(shí)給關(guān)鍵任務(wù)中的CNN加速器設(shè)計(jì)給出參考性指導(dǎo),本文中以小型輕量級(jí)網(wǎng)絡(luò)ZynqNet為原型設(shè)計(jì)了5種CNN異構(gòu)加速器,并進(jìn)行了大量的故障注入測(cè)試,分析了數(shù)據(jù)集、網(wǎng)絡(luò)深度、寬度和資源開(kāi)銷對(duì)基于SRAM FPGA的CNN異構(gòu)加速器的抗軟錯(cuò)誤性能的影響.

2 相關(guān)研究

Boyang Du等人展示了基于Xilinx SRAM的FPGA上CNN實(shí)現(xiàn)的故障注入結(jié)果,結(jié)果表明,盡管CNN實(shí)現(xiàn)中存在內(nèi)置冗余,配置寄存器中的軟錯(cuò)誤仍會(huì)對(duì)任務(wù)執(zhí)行結(jié)果產(chǎn)生影響[11].

F.Libano等人通過(guò)故障注入實(shí)驗(yàn)表明CNN的可靠性受軟錯(cuò)誤出現(xiàn)位置的影響,相比于網(wǎng)絡(luò)中的其他層,隱藏層更加脆弱,并對(duì)輸出產(chǎn)生較大的負(fù)面貢獻(xiàn)[12].

此外,F.Libano等人對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了選擇性的三模冗余(Triple Modular Redundancy,TMR)加固,即僅TMR加固網(wǎng)絡(luò)中的敏感層.相比傳統(tǒng)的TMR加固,該方法對(duì)開(kāi)銷需求較低,同時(shí)獲得了軟錯(cuò)誤恢復(fù)性能的提升[13].

Wenshuo Li等人提出了一種錯(cuò)誤檢測(cè)方案來(lái)定位不正確的處理元素(Processing Element,PE),并給出一種實(shí)現(xiàn)容錯(cuò)的錯(cuò)誤屏蔽方法,用更小的開(kāi)銷實(shí)現(xiàn)了類似TMR加固網(wǎng)絡(luò)的容錯(cuò)性能[14].

F.Libano等人利用二級(jí)制量化卷積層實(shí)現(xiàn)了優(yōu)秀的抗軟錯(cuò)誤性能,該方法在精度方面有所犧牲[15].

H.-B.Wang等人提出的量化網(wǎng)絡(luò)可以有效降低CNN加速器在故障注入期間的錯(cuò)誤率,這種量化的方法不會(huì)對(duì)網(wǎng)絡(luò)精度產(chǎn)生過(guò)大影響[16].

然而,以上研究都未針對(duì)網(wǎng)絡(luò)深度、寬度或者數(shù)據(jù)集3個(gè)方面對(duì)基于FPGA的CNN加速器抗軟錯(cuò)誤性能進(jìn)行分析.深度和寬度作為CNN的基本維度,是在進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)與應(yīng)用時(shí)必須要考慮和優(yōu)化的參數(shù);同時(shí)表征應(yīng)用場(chǎng)景的數(shù)據(jù)集復(fù)雜度也值得在本例中考慮.因此,本文針對(duì)以上3點(diǎn)設(shè)計(jì)了故障注入實(shí)驗(yàn),并研究其對(duì)可靠性的影響.

3 CNN實(shí)現(xiàn)

3.1 基本網(wǎng)絡(luò)結(jié)構(gòu)

本案例中選用了ZynqNet作為基本網(wǎng)絡(luò)結(jié)構(gòu),并對(duì)其做了從XC7Z045到XC7Z020的遷移.ZynqNet具有適合FPGA加速器的高效CNN拓?fù)浣Y(jié)構(gòu)[17].其中使用到的Fire模塊在SqueezeNet中被最初定義[18].ZynqNet將Fire擠壓層卷積核大小由1×1改為了3×3,以實(shí)現(xiàn)在網(wǎng)絡(luò)未用池化層情況下減小特征映射,最終有效減少網(wǎng)絡(luò)權(quán)重的數(shù)量;為了讓網(wǎng)絡(luò)與本文中采用的數(shù)據(jù)集相匹配,原始ZynqNet的分類器中的輸出數(shù)量被由1024個(gè)減少到了10個(gè);此外,還將fire模塊數(shù)量減少了50%,并調(diào)整了每層的輸入和輸出通道數(shù).

3.2 網(wǎng)絡(luò)深度不同的CNN加速器

深度表征神經(jīng)網(wǎng)絡(luò)的層數(shù),更深的網(wǎng)絡(luò)意味著更好的非線性表達(dá)能力,從而能夠?qū)W習(xí)更加復(fù)雜的特征.大多數(shù)情況下,網(wǎng)絡(luò)深度的調(diào)節(jié)都是一種對(duì)模型訓(xùn)練與優(yōu)化的有力手段.因此,網(wǎng)絡(luò)深度對(duì)基于SRAM FPGA的CNN異構(gòu)加速器的影響有研究的必要.

本案例基于4層fire層的ZynqNet_baseline,實(shí)現(xiàn)了具有2、3和5層fire層的ZynqNet_less_2、ZynqNet _less_3和ZynqNet_more_5、網(wǎng)絡(luò),它們的拓?fù)浣Y(jié)構(gòu)如圖1～圖3所示,每層的特征映射大小表示為2的冪.

圖1 ZynqNet_less_2拓?fù)浣Y(jié)構(gòu)結(jié)構(gòu)圖Fig.1 Topology structures of ZynqNet_less_2

圖2 ZynqNet_less_3拓?fù)浣Y(jié)構(gòu)結(jié)構(gòu)圖Fig.2 Topology structures of ZynqNet_less_3

圖3 ZynqNet_more_5拓?fù)浣Y(jié)構(gòu)結(jié)構(gòu)圖Fig.3 Topology structures of ZynqNet_more_5

在設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)時(shí),盡可能保證在相同層次的Fire層上輸入輸出通道數(shù)一致,以便讓網(wǎng)絡(luò)能在更好地收斂的同時(shí)將四者差異僅限于深度的不同.經(jīng)過(guò)大量的訓(xùn)練,在CIFAR-10數(shù)據(jù)集上得到深度由淺到深的4個(gè)模型最終精度分別為77.28%、80.59%、79.6%和75.08%.

3.3 網(wǎng)絡(luò)寬度不同的CNN加速器

網(wǎng)絡(luò)寬度指的是各層所具有的神經(jīng)元的數(shù)目,即通道的數(shù)量.其增加本質(zhì)上是該層網(wǎng)絡(luò)所學(xué)習(xí)的特征數(shù)目的增加,該參數(shù)的變化對(duì)輻照下加速器的軟錯(cuò)誤發(fā)生概率也存在影響.

為探究CNN網(wǎng)絡(luò)寬度與加速器可靠性之間的聯(lián)系,本案例中設(shè)計(jì)了兩組對(duì)照:ZynqNet_baseline vs.ZynqNet_baseline_ x2和ZynqNet_less_2 vs.ZynqNet _less_2_x2.其網(wǎng)絡(luò)拓?fù)浜蛥?shù)量如表1、表2所示.從中可看到,ZynqNet_less _2_x2在ZynqNet_less_2基礎(chǔ)上,將Conv1、Fire2、Fire3和Conv5層中的輸入輸出特征圖的維度增加了一倍.而對(duì)于ZynqNet_baseline _x2,由于FPGA資源的限制,只將ZynqNet_baseline中的Conv1、Fire2和Fire3的輸入輸出特征圖維度增加一倍,同時(shí)僅加寬了Fire4層輸入特征圖的維度.

表1 ZynqNet_less_2與ZynqNet_less_2_x2的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比Table 1 Network constructure comparison of ZynqNet_less_2 and ZynqNet_less_2_x2

表2 ZynqNet_baseline與ZynqNet_baseline_x2的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比Table 2 Network constructure comparison of ZynqNet_baseline and ZynqNet_baseline_x2

最終,ZynqNet_baseline_x2網(wǎng)絡(luò)的精度為81.66%,與ZynqNet_baseline的79.6%僅相差約2%;ZynqNet_less_2_x2網(wǎng)絡(luò)的精度為80.43%,與ZynqNet_less_2相差不到3%.

3.4 數(shù)據(jù)集不同的CNN加速器

對(duì)于不同的應(yīng)用場(chǎng)景,CNN加速器處理的目標(biāo)會(huì)有所不同.環(huán)境簡(jiǎn)單、背景單一的情況下會(huì)使用相對(duì)簡(jiǎn)單的數(shù)據(jù)集;而對(duì)于復(fù)雜環(huán)境下的任務(wù),則需要更加復(fù)雜的數(shù)據(jù)集以達(dá)到精度需求.

為了研究數(shù)據(jù)集復(fù)雜度的不同對(duì)基于SRAM FPGA的CNN加速器可靠性的影響,且使結(jié)論具有一定的普適性,本例中采用了MNIST和CIFAR-10兩種被廣泛使用的數(shù)據(jù)集.MNIST中為0～9的灰度手寫(xiě)數(shù)字圖片,CIFAR-10則包含鳥(niǎo)類、貓、飛機(jī)、汽車、蛙類、馬、卡車、船、狗和鹿共10類彩色圖片.

在本例中,CIFAR-10和MNIST兩種數(shù)據(jù)集都被應(yīng)用于具有4層Fire層的ZynqNet_baseline網(wǎng)絡(luò).經(jīng)過(guò)訓(xùn)練后,兩者在網(wǎng)絡(luò)精度上稍有所不同,分別為79.6%和98.4%,這種精度差異源自兩種數(shù)據(jù)集復(fù)雜程度的不同.

在實(shí)驗(yàn)中,選擇加速器能正確分類的圖片進(jìn)行故障注入,因此,網(wǎng)絡(luò)精度的差異不會(huì)對(duì)本課題的研究產(chǎn)生影響.

3.5 ZynqNet加速器實(shí)現(xiàn)

ZynqNet加速器系統(tǒng)由處理系統(tǒng)(Processing System,PS)和可編程邏輯(Programmable Logic,PL)兩部分構(gòu)成,如圖4所示.其中,PS端上運(yùn)行ZynqNet嵌入式軟件系統(tǒng)平臺(tái)Petalinux,該平臺(tái)由PetaLogix專為Xilinx FPGA中的微處理器開(kāi)發(fā).ZynqNet加速器位于PL部分,與CPU通過(guò)AXI互連.

圖4 ZynqNet加速器硬件實(shí)現(xiàn)框圖Fig.4 Block diagram of CNN accelerator hardware implementation

FPGA上電并完成初始化后,加載到片上存儲(chǔ)器(On Chip Memory,OCM)的第一階段引導(dǎo)加載程序(First Stage Boot Loader,FSBL)不僅會(huì)對(duì)PS進(jìn)行初始化,還利用比特流文件在PL端配置ZynqNet加速器.映像文件則用于啟動(dòng)Petalinux系統(tǒng).在Petalinux系統(tǒng)上運(yùn)行可執(zhí)行文件后,輸入圖片的權(quán)重和像素被ZynqNet加速器根據(jù)推理層的配置讀取,并輸出推理結(jié)果到DRAM.最后由CPU對(duì)推理結(jié)果進(jìn)行分類和排名.

3.6 性能比較

ZynqNet_cifar10與ZynqNet_mnist的資源開(kāi)銷如圖5所示,縱軸表示某項(xiàng)資源所使用的百分比,兩者僅有細(xì)微的差異.

圖5 數(shù)據(jù)集不同ZynqNet加速器資源開(kāi)銷對(duì)比Fig.5 Resource overhead comparison of ZynqNet heterogeneous accelerator with different datasets

由于CIFAR-10為32×32×3的彩色圖片,而MNIST為28×28的灰度圖片,前者在正向處理階段的速度要慢于后者.根據(jù)公式:

(1)

ZynqNet_cifar10的每秒傳輸幀數(shù)(Frame Per Second,FPS)為3.64,而ZynqNet_mnist的FPS為4.72.

深度不同的4種ZynqNet在FPGA上實(shí)現(xiàn)后的資源開(kāi)銷如圖6所示,從中可以看到,隨著網(wǎng)絡(luò)深度的增加,各項(xiàng)資源的開(kāi)銷都有所提升.

圖6 深度不同ZynqNet加速器資源開(kāi)銷對(duì)比Fig.6 Resource overhead comparison of ZynqNet heterogeneous accelerator with different depths

由于正向推理時(shí)網(wǎng)絡(luò)的計(jì)算量隨網(wǎng)絡(luò)深度的增加而增加,深度由深到淺的4種ZynqNet的FPS依次為3.37、3.64、4.39和4.02,大體呈增大趨勢(shì).ZynqNet_less_2的FPS未按照趨勢(shì)繼續(xù)增大是因?yàn)槠湎虏蓸哟螖?shù)較少,導(dǎo)致最后需要在卷積層處理的特征圖維度遠(yuǎn)大于其他三者,從而卷積耗費(fèi)更多時(shí)間.

網(wǎng)絡(luò)寬度導(dǎo)致的開(kāi)銷變化如圖7所示,由于在ZynqNet加速器的設(shè)計(jì)中,BRAM主要用于權(quán)重和輸入輸出特征圖的存取,因此變化主要體現(xiàn)在BRAM的開(kāi)銷增大,而其他資源上差異較小.

圖7 數(shù)據(jù)集不同ZynqNet加速器資源開(kāi)銷對(duì)比Fig.7 Resource overhead comparison of ZynqNet heterogeneous accelerator with different widths

由于增加寬度會(huì)進(jìn)一步增加卷積耗時(shí),ZynqNet_less_2_x2和ZynqNet_baseline_x2的FPS分別為1.85和 2.01,對(duì)比寬度增大前有46.02%和55.22%的明顯下降.

4 故障注入實(shí)驗(yàn)

4.1 故障注入系統(tǒng)

本文中采用的故障注入框架由故障注入軟件和硬件構(gòu)成,如圖8所示.故障注入軟件一方面負(fù)責(zé)在Petalinux操作系統(tǒng)被啟動(dòng)后,將隨機(jī)生成的故障注入指令通過(guò)串口發(fā)送到SEM(Soft Error Mitigation)控制器,從而內(nèi)部配置訪問(wèn)端口ICAP可以翻轉(zhuǎn)解析得到的指定配置內(nèi)存的值.另一方面,故障注入軟件通過(guò)向Petalinux發(fā)送重啟指令,來(lái)控制ZynqNet加速器開(kāi)始推斷圖像.通過(guò)將推理完成后的圖像結(jié)果與黃金結(jié)果比較,完成對(duì)是否發(fā)生分類錯(cuò)誤的判斷.若錯(cuò)誤分類發(fā)生,則對(duì)此做記錄并重新啟動(dòng)系統(tǒng).

圖8 故障注入系統(tǒng)框架Fig.8 Architecture of fault injection system

由于SEM控制器與ZynqNet加速器都在同一FPGA的PL端實(shí)現(xiàn),FPGA的配置內(nèi)存中隨機(jī)注入的故障也可能導(dǎo)致SEM控制器故障,此情況下需手動(dòng)重新配置FPGA.

本章2、3、4小節(jié)將從數(shù)據(jù)集、網(wǎng)絡(luò)深度和寬度3個(gè)角度對(duì)ZynqNet異構(gòu)加速器的故障注入結(jié)果進(jìn)行描述和分析.

4.2 數(shù)據(jù)集不同的CNN加速器實(shí)驗(yàn)分析

為使實(shí)驗(yàn)結(jié)果具有統(tǒng)計(jì)學(xué)規(guī)律,本案例采用廣泛應(yīng)用的MNIST和CIFAR-10兩種數(shù)據(jù)集,并進(jìn)行了大量的故障注入測(cè)試.從表3故障注入結(jié)果中可以看出,ZynqNet _cifar10對(duì)15699張圖片進(jìn)行了測(cè)試,最終產(chǎn)生了187張錯(cuò)誤分類的圖片,分類錯(cuò)誤率為1.191%.ZynqNet_mnist測(cè)試的17582張圖片中有103張出現(xiàn)了分類錯(cuò)誤,即存在0.586%的分類錯(cuò)誤率.ZynqNet_mnist的分類錯(cuò)誤率僅為ZynqNet_cifar10分類錯(cuò)誤率的49.20%.盡管兩種加速器開(kāi)銷類似,ZynqNet_mnist加速器的可靠性遠(yuǎn)高于ZynqNet_cifar10.

表3 ZynqNet_cifar10與ZynqNet_mnist的故障注入結(jié)果Table 3 Fault injection results for ZynqNet_cifar10 and ZynqNet_mnist

導(dǎo)致上述可靠性差異的原因有兩點(diǎn):

1)兩者在正確分類上輸出的值與其他分類上輸出的值之間的差異不同.ZynqNet_cifar10返回的結(jié)果顯示,盡管可以實(shí)現(xiàn)正確分類,但正確分類與其他分類之間輸出值的差值較小.例如一張CIFAR-10數(shù)據(jù)集中的圖片經(jīng)過(guò)分類等處理后,正確類別的返回值為2.59,排名第2的類別的返回值為1.11,排名第3的類別的返回值為-0.04,相應(yīng)地,排名由高到低前3名分類的概率依次為69.90%、15.86%和5.05%.而對(duì)于ZynqNet_mnist,輸出的結(jié)果在正確分類上的值比其他分類上的值大一個(gè)數(shù)量級(jí).例如一張MNIST數(shù)據(jù)集中的圖片在正確分類上的輸出值為2887.41,而在排名第2和第3分類上的輸出值僅為289.51和268.23,最終得到100%的正確分類概率.因此,在故障累積的過(guò)程中,ZynqNet_ cifar10在正確分類上的輸出值更容易受到影響從而導(dǎo)致分類結(jié)果出現(xiàn)錯(cuò)誤.

2)兩者數(shù)據(jù)集本身有較大差異.MNIST數(shù)據(jù)集中為灰度手寫(xiě)數(shù)字圖片,其背景單一、特征明顯,因而其特征容易被提取;而CIFAR-10數(shù)據(jù)集中圖片的背景明顯復(fù)雜于MNIST,特征的位置更加緊密,提取難度大.因此在受到軟錯(cuò)誤影響后,CIFAR-10圖片中的特征提取與識(shí)別更容易出現(xiàn)錯(cuò)誤,從而導(dǎo)致最后的分類錯(cuò)誤.

4.3 網(wǎng)絡(luò)深度不同的CNN加速器實(shí)驗(yàn)分析

ZynqNet_less_2、ZynqNet_less_3、ZynqNet_baseline和ZynqNet_more_5的故障注入結(jié)果如表4所示.隨著網(wǎng)絡(luò)深度的增加,ZynqNet加速器的分類錯(cuò)誤率逐步從0.89%上升至1.38%,即抗軟錯(cuò)誤性能逐漸降低.

表4 深度不同的4個(gè)ZynqNet加速器的故障注入結(jié)果Table 4 Fault injection results for four ZynqNet accelerators with different depths

結(jié)合資源開(kāi)銷和拓?fù)浣Y(jié)構(gòu)對(duì)故障注入結(jié)果進(jìn)行分析后,推理得出兩點(diǎn)原因.首先,ZynqNet加速器的可靠性與其設(shè)計(jì)時(shí)的資源開(kāi)銷相關(guān).隨著網(wǎng)絡(luò)深度的增加,如圖5所示,ZynqNet加速器使用更多資源,這會(huì)導(dǎo)致與ZynqNet加速器設(shè)計(jì)相關(guān)的配置寄存器有更大概率被軟錯(cuò)誤影響.

其次,網(wǎng)絡(luò)本身結(jié)構(gòu)對(duì)此有影響.分析網(wǎng)絡(luò)推理時(shí)每層的輸出后發(fā)現(xiàn),正數(shù)值數(shù)量遠(yuǎn)大于負(fù)數(shù)值數(shù)量,而ReLU層只能過(guò)濾掉負(fù)數(shù)值,因此大部分受軟錯(cuò)誤影響而翻轉(zhuǎn)的正值中間結(jié)果被繼續(xù)傳播,對(duì)CNN加速器可靠性有負(fù)面貢獻(xiàn).

4.4 網(wǎng)絡(luò)寬度不同的CNN加速器實(shí)驗(yàn)分析

兩組寬度不同的對(duì)照Z(yǔ)ynqNet_less_2 vs.ZynqNet_less _2_x2和ZynqNet_baseline vs.ZynqNet_baseline_x2的故障注入結(jié)果如表5所示.與網(wǎng)絡(luò)深度對(duì)可靠性的影響不同,隨著網(wǎng)絡(luò)寬度的增加,盡管開(kāi)銷也隨之增大,但ZynqNet加速器的分類錯(cuò)誤率反而有所下降.ZynqNet_baseline_x2、和ZynqNet _less_2_x2的實(shí)驗(yàn)結(jié)果顯示,錯(cuò)誤率分別由加寬前的1.19%和0.89%下降至1.00%和0.85%.

表5 寬度不同的兩組ZynqNet加速器的故障注入結(jié)果Table 5 Fault injection results for ZynqNet accelerators with different widths

這種抑制了資源開(kāi)銷所帶來(lái)的負(fù)面影響的機(jī)制與CNN本身的特性有關(guān).從本質(zhì)上來(lái)講,CNN是靠卷積完成特征的提取的,卷積核的數(shù)量會(huì)直接影響卷積層所提取的特征的數(shù)量.通常情況下,靠前的卷積層負(fù)責(zé)提取一些諸如色差的簡(jiǎn)單特征,靠后的卷積層所提取的特征則相對(duì)復(fù)雜.若卷積層因?yàn)檐涘e(cuò)誤而無(wú)法成功提取圖片中某一特征,其后卷積層的特征選擇和分類判斷也有很大概率受到影響.

當(dāng)卷積層的寬度增加時(shí),每層所提取特征的種類也相應(yīng)增加.此時(shí)的網(wǎng)絡(luò)在受到軟錯(cuò)誤的影響時(shí),即使某一特征在提取時(shí)出現(xiàn)問(wèn)題,依舊能通過(guò)因卷積層寬度增加而增加的提取特征將輸出特征圖的結(jié)果向正確的分類引導(dǎo).

5 總 結(jié)

本文主要評(píng)估了數(shù)據(jù)集、網(wǎng)絡(luò)深度和寬度3個(gè)因素對(duì)ZynqNet加速器抗軟錯(cuò)誤性能的影響.通過(guò)提出3種不同深度和兩組不同寬度的網(wǎng)絡(luò)拓?fù)?并利用故障注入系統(tǒng)對(duì)其進(jìn)行大量的故障注入測(cè)試,由分類錯(cuò)誤率表征軟錯(cuò)誤發(fā)生概率,分析實(shí)驗(yàn)結(jié)果后得出以下結(jié)論:對(duì)于同種網(wǎng)絡(luò)拓?fù)?輸入復(fù)雜度更高的數(shù)據(jù)集會(huì)導(dǎo)致其軟錯(cuò)誤恢復(fù)能力的降低;同樣是以更多的資源開(kāi)銷作為代價(jià),隨著網(wǎng)絡(luò)深度的增加,其對(duì)應(yīng)的ZynqNet加速器的可靠性會(huì)有所降低;相反,網(wǎng)絡(luò)層寬度的增加對(duì)ZynqNet加速器軟錯(cuò)誤耐受性有提升作用.