一種星載在軌神經(jīng)網(wǎng)絡的容錯設計方法

陳子洋 張 萌 張吉良

①(東南大學國家ASIC工程中心 南京 210096)

②(南京電子技術研究所 南京 210034)

③(湖南大學信息科學與工程學院 長沙 410012)

1 引言

星載在軌處理技術是未來航天智能化載荷的關鍵技術之一，隨著商業(yè)航天時代的到來，對星載在軌處理的指標與性能提出了越來越高的要求。合成孔徑雷達(Synthetic Aperture Radar, SAR)是一種主動式電磁對地觀測系統(tǒng)，具備全天時全天候的對地觀測能力，在災害應急、遙感測繪、海洋觀測以及國防軍事領域具備獨特的優(yōu)勢，通過對SAR成像結果進行分析，可以獲得目標區(qū)域的詳細信息[1]。

受到載荷平臺的計算性能限制，在傳統(tǒng)的SAR數(shù)據(jù)處理流程中，原始天線回波或者SAR成像處理結果數(shù)據(jù)在壓縮編碼后通過數(shù)傳系統(tǒng)傳輸至地面接收站，在地面進行進一步的成像、檢測等處理。為滿足遙感SAR成像高精度和高覆蓋度需要，圖像的分辨率和大小在逐步增加，這帶來了星上數(shù)據(jù)處理、存儲、下傳數(shù)據(jù)成倍增長的問題，使得傳統(tǒng)的星上數(shù)據(jù)處理術難以滿足上述需求，并且關鍵信息獲取時效性受到嚴重影響[2–6]。星載在軌SAR實時成像及檢測技術能夠有效地解決這一問題，通過在軌完成SAR成像并對結果直接進行目標檢測，例如艦船、車輛等機動目標，近年來已經(jīng)成為遙感領域的研究熱點[7]。

在SAR的實時處理性能方面，文獻[8]利用現(xiàn)場可編程門陣列設計了一種視頻SAR高分辨率地面回放系統(tǒng)，該系統(tǒng)可以在1 s內(nèi)完成一幀16k×2k原始數(shù)據(jù)處理，并輸出4k×2k圖像。文獻[9]完成了一種視頻SAR實時成像系統(tǒng)基礎設計結構，F(xiàn)PGA仿真結果表明當成像點數(shù)為2048×8 192時，成像處理時間為42 ms。文獻[10]對SAR艦船目標檢測進行了研究，通過改進的YoloV5網(wǎng)絡實現(xiàn)含噪聲目標的檢測，文獻[11,12]基于FPGA和MPSOC實現(xiàn)了SAR成像處理和檢測，在傳統(tǒng)基于特征的檢測方法上進行優(yōu)化，適合硬件實現(xiàn)。但是，上述研究對處理平臺在實際星載環(huán)境中的高可靠使用未進一步研究。

相對于傳統(tǒng)檢測方法，基于深度學習的目標檢測算法具有魯棒性強、目標檢測精度率高等優(yōu)點，是當前研究的熱點，但深度學習網(wǎng)絡存在計算需求大、參數(shù)存儲多等劣勢。綜合考慮到當前星載硬件的算力水平和復雜空間環(huán)境對硬件平臺的影響，本文提出了一種星載在軌神經(jīng)網(wǎng)絡的容錯設計方法，既充分發(fā)揮高性能SRAM型FPGA的并行計算能力實現(xiàn)SAR圖像艦船目標實時檢測，又基于空間單粒子翻轉(zhuǎn)對SRAM的影響特點，分析了神經(jīng)網(wǎng)絡的單粒子翻轉(zhuǎn)錯誤模型，在不損失處理幀率的情況下完成容錯設計，滿足未來星載應用中的可靠性要求。

2 輕量化網(wǎng)絡實時處理架構

2.1 MobilenetV2架構

2019年Sandler等提出的MobilenetV2則是一款輕量型的模型[13]，其模型框架如圖1所示，由53層卷積運算層組成，主干網(wǎng)絡包含了16個Block塊串行拼接，根據(jù)輸入輸出尺寸特點分為Block1塊和Block2塊，每個Block塊由前后兩個1×1卷積和中間的3×3卷積組成，卷積運算的結果經(jīng)過BN層和激活函數(shù)處理后輸出。MobilenetV2沿用了V1中提出的深度可分離卷積以減少卷積核參數(shù)量，加快模型推理速度。針對傳統(tǒng)瓶頸層先降維后升維的設計，創(chuàng)新性地提出了倒置殘差模塊，保證了網(wǎng)絡的訓練結果。本文實現(xiàn)的MobilenetV2網(wǎng)絡以SAR 成像后切片圖像作為輸入，每張均為800×800尺寸的灰度圖像，檢測輸入切片圖像中的艦船目標。

圖1 MobilenetV2網(wǎng)絡框架

如圖2(a)所示MobilenetV2中Block1為倒置殘差模塊，圖2(b)中Block2由于輸入輸出圖像尺寸不一致無殘差連接，按輸入800×800分析得到本文中MobilenetV2的乘法計算量每秒鐘操作數(shù)約為6.6×109次，參數(shù)大小為4.2 M。

圖2 Block結構

2.2 單粒子翻轉(zhuǎn)影響分析

2.2.1 單粒子翻轉(zhuǎn)

由于SRAM型FPGA(后文簡稱FPGA)的工藝特點，在空間環(huán)境中工作時易受單粒子翻轉(zhuǎn)影響引起SRAM單元的邏輯值發(fā)生比特翻轉(zhuǎn)，這是一種空間輻射環(huán)境中常見的電離輻射效應。在FPGA中存儲電路主要由配置CRAM和存儲BRAM組成，以XilinxXC7VX690T為例，配置CRAM 大小約為230 Mbit，存儲BRAM約為54 Mbit。當翻轉(zhuǎn)發(fā)生于配置CRAM時，F(xiàn)PGA內(nèi)部的Slice, IOB及布線等均有可能受到影響，當翻轉(zhuǎn)發(fā)生于存儲BRAM時，F(xiàn)PGA內(nèi)部緩存中的數(shù)據(jù)、參數(shù)等可能受到影響。

SAR成像衛(wèi)星一般工作于中低軌道[14]，當位于典型的中低軌道上時，SRAM型FPGA的單比特翻轉(zhuǎn)概率大約為每秒1.33×10-24，對于總參數(shù)量為N的神經(jīng)網(wǎng)絡，當比特間的翻轉(zhuǎn)是互相獨立時，其單比特翻轉(zhuǎn)的概率為

其中N表示網(wǎng)絡總的參數(shù)個數(shù)，W表示參數(shù)的量化位寬，T表示在軌運行時間，t表示計算的時間精度，Psingle表示在t時間內(nèi)的翻轉(zhuǎn)概率。對于MobilenetV2網(wǎng)絡模型參數(shù)量為4.2 M，根據(jù)公式計算在軌運行1個月內(nèi)其參數(shù)翻轉(zhuǎn)概率可達到20%以上。

2.2.2 網(wǎng)絡單粒子翻轉(zhuǎn)模型

本文所述的輕量級艦船目標檢測網(wǎng)絡在FPGA中的電路實現(xiàn)架構如圖3所示。

圖3 RTL級檢測網(wǎng)絡架構

典型的卷積神經(jīng)網(wǎng)絡計算框架由PE 計算單元陣列、輸入輸出數(shù)據(jù)緩存組成，各層間通過片外大容量存儲進行隔離，本層的輸入特征圖首先進入一級數(shù)據(jù)排列緩存中進行格式排列，排列后的數(shù)據(jù)進入PE計算陣列中進行卷積核運算，隨后進行通道間累加、BN、激活，將結果送入到二級數(shù)據(jù)緩存中進行數(shù)據(jù)重排產(chǎn)生最終的運算結果，并將結果按照特定格式送入到下一層存儲中，以此不斷循環(huán)直到完成最后一層操作。

如圖4所示為基于FPGA實現(xiàn)的卷積神經(jīng)網(wǎng)絡單粒子翻轉(zhuǎn)示意圖，網(wǎng)絡的特征圖和權值參數(shù)均存放于片上BRAM中，當BRAM中發(fā)生單粒子翻轉(zhuǎn)時會導致特征圖和權值產(chǎn)生異常值。特征圖中某個像素點發(fā)生翻轉(zhuǎn)后，基于該特征圖卷積得到的輸出特征圖對應的區(qū)域同樣會產(chǎn)生異常值，即特征圖的翻轉(zhuǎn)會影響所有通道的輸出特征圖對應區(qū)域。當1×1或者3×3權值參數(shù)中產(chǎn)生翻轉(zhuǎn)后，由于權值參與了本通道所有像素點的運算，即影響輸出單通道的特征圖結果。

圖4 CNN中單粒子翻轉(zhuǎn)

卷積網(wǎng)絡的運算主要是乘加計算，在FPGA中加法主要由Slice中的LUT查找表實現(xiàn)，乘法主要由片上的DSP硬核實現(xiàn)。由于LUT, DSP受配置位CRAM的上電配置才能按設定的功能工作，當單粒子翻轉(zhuǎn)發(fā)生于CRAM中時可能導致乘加運算產(chǎn)生錯誤結果，并將錯誤傳播至后續(xù)處理中。

(1)數(shù)據(jù)翻轉(zhuǎn)

緩存中特征圖的像素點受單粒子影響發(fā)生比特翻轉(zhuǎn)，常用的數(shù)據(jù)格式為單精度浮點數(shù)、半精度浮點數(shù)、定點數(shù)等[15]，圖5所示為FPGA中常用數(shù)據(jù)格式的存儲方式。當翻轉(zhuǎn)發(fā)生于符號位時，所有的數(shù)據(jù)格式均會變?yōu)橄喾磾?shù)。單精度浮點數(shù)表示為(-1)s×(1.M)×2E-127，當翻轉(zhuǎn)發(fā)生于浮點數(shù)的指數(shù)位E時，數(shù)值會存在2的 ?E次冪的縮放。當翻轉(zhuǎn)發(fā)生于整數(shù)位時，由定點數(shù)公式(-1)s×，數(shù) 值 會 存 在2?(K-F-1)差異。為了減少翻轉(zhuǎn)給特征圖帶來的影響，文中數(shù)據(jù)使用量化后的定點數(shù)表示。

圖5 數(shù)據(jù)格式

根據(jù)卷積運算的特點，輸入特征圖的某個像素點發(fā)生翻轉(zhuǎn)后，只會影響到輸出特征圖的對應區(qū)塊的K×K個像素點，其中K為卷積核的尺寸。

(2)權重參數(shù)翻轉(zhuǎn)

權重參數(shù)的格式與特征圖一致，采用定點量化方式。當K×K的權重塊中出現(xiàn)翻轉(zhuǎn)時，會導致當前計算通道的特征圖全部發(fā)生變化，可以看到數(shù)據(jù)翻轉(zhuǎn)是特征圖維度的變化，而權重翻轉(zhuǎn)是通道維度的變化。

(3)計算翻轉(zhuǎn)

計算翻轉(zhuǎn)分為乘法翻轉(zhuǎn)、加法翻轉(zhuǎn)，由對應LUT, DSP的配置位翻轉(zhuǎn)產(chǎn)生，對于定點數(shù)的乘加運算，翻轉(zhuǎn)導致結果部分比特位產(chǎn)生0→1或1→0的變化，或者結果部分比特位固定為0, 1。

3 星載在軌網(wǎng)絡的FPGA實現(xiàn)

3.1 整體架構設計

文中MobilenetV2的實現(xiàn)架構如圖6所示，在圖6(a)中，整個系統(tǒng)由SAR圖像切片輸入緩存、Block計算單元以及Crossbar-DDR組成。SAR圖像切片數(shù)據(jù)經(jīng)過通道重排后，經(jīng)過Crossbar寫入外部存儲DDR中，當Block計算單元檢測到數(shù)據(jù)輸入后，啟動讀數(shù)據(jù)操作。在圖6(b)中，計算單元1首先將當前層的權值參數(shù)由DDR中讀出，分配給3個不同的卷積計算單元，當完成數(shù)據(jù)讀取后，開始進行第1層數(shù)據(jù)計算，在文中MobilenetV2的前3層不同于普通的Block模塊，需要定制化處理。當完成前3層計算后，將中間結果寫入DDR中，計算單元1再次從DDR中讀取下一個Block的權值參數(shù)及網(wǎng)絡結構參數(shù)，進行下一個Block的計算，依次循環(huán)反復，直到完成最后一層Block計算。對于最后2層1×1卷積同樣利用Block計算單元中的1×1卷積核進行處理，將3×3卷積置于直通狀態(tài)，完成最終結果的輸出。同樣對于計算單元2，當DDR緩存中存有待處理的SAR圖像切片時，其按時前文所述計算單元1的處理流程完成圖像的處理，在資源和DDR讀寫帶寬允許的情況下，可例化多個計算單元同時進行處理。

圖6 RTL級系統(tǒng)架構設計

3.2 并行卷積計算設計

本文架構在實現(xiàn)多幅圖像并行計算的基礎上，對單張圖像內(nèi)部的卷積計算也進行了并行優(yōu)化。

3.2.1 1×1卷積

Pointwise卷積(后文簡稱PW卷積)主要通過1×1卷積核完成對通道的升維和降維，如圖7(a)所示卷積核內(nèi)部采用多個計算顆粒并行處理，每個計算顆粒采用多個乘加樹實現(xiàn)，考慮到網(wǎng)絡結構中通道數(shù)均為8的倍數(shù)，計算顆粒同時完成8個通道乘權計算，并完成通道間并行加。計算得到結果轉(zhuǎn)成串行格式后輸出給BN和激活函數(shù)進行處理，其中BN層通過公式Y=γ×x+β完 成歸一化操作，γ與β值為參數(shù)，激活函數(shù)通過比較器實現(xiàn)，通過公式Y=min(6,max(0,X))將小于零的輸入置零，大于6的輸入置為6。

圖7 并行卷積設計

3.2.2 3×3卷積

Depthwise卷積(后文簡稱DW卷積)通過3×3的卷積核完成對輸入圖像的特征提取，如圖7(b)所示首先完成單通道卷積核內(nèi)部的9個乘權運算，并將得到的結果進行累加，在完成BN層和激活處理后得到單通道的輸出特征圖值，以每8個通道為一組計算單元，可以根據(jù)參數(shù)配置同時例化多個計算單元進行計算，N個計算單元可以得到N行的特征圖值，從而實現(xiàn)并行加速處理。

4 容錯設計

針對星載環(huán)境中的抗單粒子翻轉(zhuǎn)需求，在第3節(jié)FPGA架構設計基礎上進行容錯設計。

4.1 整體容錯設計

系統(tǒng)級容錯架構設計如圖8所示。

本文將實時處理的并行加速架構與高可靠設計的三模冗余架構進行統(tǒng)一，根據(jù)是否進行動態(tài)重配置將片上資源劃分為靜態(tài)區(qū)與動態(tài)重構區(qū)，其中靜態(tài)區(qū)為FPGA運行過程中配置信息不會更新的區(qū)域，動態(tài)重構區(qū)為運行過程中可根據(jù)需要更新配置信息的區(qū)域，即當單粒子翻轉(zhuǎn)發(fā)生于動態(tài)重構區(qū)后，可通過重新加載更新配置信息進行容錯。為了滿足在軌實時處理的需求，在動態(tài)重構區(qū)中例化了3個獨立的Block計算單元，每個計算單元可根據(jù)控制指令進行在線重加載。

如圖9(a)所示進行單粒子翻轉(zhuǎn)自檢步驟，F(xiàn)PGA在上電初始化后開始進行圖像切片計算并對已處理圖像切片進行計數(shù)，當完成一幅全尺寸圖像檢測后，為了檢測計算單元內(nèi)是否發(fā)生單粒子翻轉(zhuǎn)，由校驗控制模塊控制FPGA進入自檢狀態(tài)，3個Block計算單元同時從外部存儲中讀取同樣的自檢圖像切片并進行處理。自檢判斷由圖9(b)所示，每個1×1卷積、3×3卷積、1×1卷積均將計算結果送入三取二校驗中進行故障判斷，為了提高故障檢出率，將激活前的結果送出。若當前某個Block計算單元產(chǎn)生錯誤，由動態(tài)重配置控制器將對應動態(tài)區(qū)內(nèi)的Block計算單元進行重加載，糾正配置區(qū)內(nèi)的比特翻轉(zhuǎn)錯誤。

圖9 自檢操作

4.2 模塊容錯設計

(1)三模冗余設計

由圖8所示在靜態(tài)區(qū)內(nèi)Block參數(shù)配置模塊和自檢校驗控制模塊負責對3個Block計算單元進行參數(shù)配置和重加載，作為關鍵模塊對上述兩模塊進行三模冗余(TMR)設計，防止受單粒子翻轉(zhuǎn)影響產(chǎn)生錯誤配置導致計算結果出錯。

(2)ECC校驗

由圖6(b)所示Block計算單元內(nèi)存在著大量用于數(shù)據(jù)重排與緩存的片上BRAM，為了防止數(shù)據(jù)在存儲的過程中產(chǎn)生翻轉(zhuǎn)，對RAM進行ECC校驗。

(3)狀態(tài)機Hamming編碼

校驗控制、參數(shù)配置模塊里，存在著較多狀態(tài)機控制電路，為了保證狀態(tài)機里的狀態(tài)寄存器發(fā)生翻轉(zhuǎn)后能及時恢復，對狀態(tài)機通過增加校驗位實現(xiàn)檢測并糾正單比特翻轉(zhuǎn)，原來狀態(tài)插入k個比特作為校驗位 2k-1≥m，把原來的n比特狀態(tài)表示變?yōu)閙(m=n+k) bit。

5 測試結果

文中基于Xilinx公司的XC7V690T SRAM型FPGA對MobilenetV2網(wǎng)絡進行了RTL級實現(xiàn)，例化了兩組DDR控制器，每組外掛4 GB容量的DDR3存儲，并且支持8 bit ECC校驗。例化了3組Block計算單元，可支持同時對3幅圖像切片進行處理，數(shù)據(jù)與權值均按8 bit整型進行量化，在未進行網(wǎng)絡壓縮的情況下，其資源消耗如表1所示，相對未加固資源只增加了不到20%，相較于傳統(tǒng)三模冗余加固設計其資源消耗大大降低。

表1 加固設計前后資源對比

由表1可以看到，采用直接TMR方式將會導致Slice LUTs和BRAM資源使用超過了單片F(xiàn)PGA的容量，工程上很難實現(xiàn)。相較于傳統(tǒng)的直接TMR方式，本文中基于靜態(tài)區(qū)、動態(tài)重構區(qū)劃分的容錯加固方法在資源使用上只占直接TMR方式的約50%。表2給出了本文相較于其他MobilenetV2的實現(xiàn)結果對比，文中的FPGA實現(xiàn)的能耗比為每秒每瓦特操作數(shù)為1.188×1010次，優(yōu)于其他實現(xiàn)，適合星載這種對資源、功耗有著極其嚴格要求的工作場景。

表2 不同F(xiàn)PGA實現(xiàn)性能對比

5.1 檢測性能

圖10顯示了FPGA處理得到的檢測框結果，將測試數(shù)據(jù)集中的SAR圖像切片存放于回放板卡中，在測試數(shù)據(jù)集上進行回放驗證，經(jīng)過實際測試本文的SAR圖像切片處理的吞吐率達到每秒42 幀。

圖10 SAR艦船檢測結果

由表3可以看到，文獻[17]中基于特征提取的傳統(tǒng)SAR圖像艦船目標檢測方法對實際艦船目標的檢測精度未超過78%，文中所述基于MobilenetV2的檢測方法可到79.80%以上，具備精度更高的檢測性能。

表3 SAR艦船目標檢測精度(%)

5.2 抗單粒子翻轉(zhuǎn)性能

圖11所示為單粒子翻轉(zhuǎn)注入平臺，由上位機控制軟件和單粒子翻轉(zhuǎn)故障注入板組成。主控FPGA完成對上位機指令的接收與數(shù)據(jù)交互，通過DUT配置模塊對待測試網(wǎng)絡進行配置，激勵模塊由高速記錄回放板卡組成，將SAR圖像切片通過高速接口發(fā)送給容錯FPGA和未進行容錯設計的原型FPGA，測試結果通過對比模塊收集并進行處理后發(fā)送給上位機軟件。

圖11 單粒子翻轉(zhuǎn)注入平臺

(1)特征圖翻轉(zhuǎn)

SAR圖像切片像素點以及網(wǎng)絡中間層特征圖像素點均按8 bit定點數(shù)量化表示，輸入圖像切片由DDR控制器從外部存儲中讀取進入片上緩存，緩存由具備ECC校驗的FIFO/RAM組成，支持對單比特翻轉(zhuǎn)進行檢測與糾正。根據(jù)Block計算參數(shù)配置，各個Block計算單元完成對圖像的讀取與處理，直至得到檢測結果。本文對輸入輸出緩存以及計算單元內(nèi)部的特征圖緩存以及寄存器進行翻轉(zhuǎn)注入測試，從圖12(a)中結果可以看到，原始未進行容錯設計網(wǎng)絡的特征圖發(fā)生比特翻轉(zhuǎn)時，精度有2%左右的下降，特別當翻轉(zhuǎn)發(fā)生于符號位時，精度降低達到7%以上，而容錯設計后的網(wǎng)絡僅下降1%左右。

圖12 特征圖與權重翻轉(zhuǎn)測試結果

(2)權重翻轉(zhuǎn)

Block計算單元根據(jù)配置通過外部存儲的特定地址得到權重參數(shù)，由前文分析可得當權重參數(shù)發(fā)生翻轉(zhuǎn)時，對當前層用到該權重的所有輸出通道均產(chǎn)生影響。由圖12(b)可以看到，隨著對權重翻轉(zhuǎn)注入個數(shù)的增加，原始未加固網(wǎng)絡與加固后網(wǎng)絡的精度均有所下降，相較于未加固網(wǎng)絡，加固后的設計在權重緩存采用ECC校驗，并對暫存在寄存器中的權重參數(shù)進行TMR三模冗余加固，在注入翻轉(zhuǎn)數(shù)量達500處時，其抗單粒子翻轉(zhuǎn)性能有了近8%的提升。

(3)計算單元翻轉(zhuǎn)

Block計算單元基于可動態(tài)重配置的比特流實現(xiàn)，采用配置位比特翻轉(zhuǎn)的方式進行測試，直接對比特流進行修改后對檢測結果進行統(tǒng)計分析。在自檢周期中，一旦檢測到3個計算單元輸出不一致時便對出錯單元進行重配置，表4顯示了2次重配置間，統(tǒng)計激活操作前卷積計算得到的特征圖錯誤次數(shù)。3個卷積運算為串行結構，當前層計算出錯時錯誤值會向后一層進行傳播，進入下一個卷積運算中。從表中可以看到PW卷積1的翻轉(zhuǎn)次數(shù)大于DW卷積，且DW卷積翻轉(zhuǎn)次數(shù)大于PW卷積2，即觸發(fā)1次最終結果錯誤時，網(wǎng)絡中靠后的部分錯誤次數(shù)更低，說明網(wǎng)絡結構中后層計算結果對最終結果影響更大。分析激活函數(shù)設置為ReLU6時，將所有小于零以及大于6的值均設為固定數(shù)，僅允許[0,6]范圍內(nèi)的特征圖值按原值向后輸出，能夠減小前級出錯后向后傳播的概率。即當配置區(qū)翻轉(zhuǎn)導致PW卷積1中計算結果出錯后，并不一定會直接使DW卷積的輸入出錯，所以前一層卷積檢測到的錯誤計數(shù)要大于后一層卷積與運算。

表4 Block單元各層結果出錯統(tǒng)計

6 結束語

本文完成了一種面向星載在軌實時處理的輕量級MobilenetV2神經(jīng)網(wǎng)絡容錯設計方法，一方面通過并行計算實現(xiàn)了對SAR艦船目標的實時檢測，另一方面通過三模冗余與動態(tài)重配置的結合有效減小了空間單粒子翻轉(zhuǎn)對系統(tǒng)檢測性能的影響。通過在SRAM型FPGA中的加速實現(xiàn)，實時處理能力達到每秒42幀并通過單粒子翻轉(zhuǎn)注入試驗對容錯加固后的神經(jīng)網(wǎng)絡進行測試，在資源消耗只增加不到20%的情況下，精度增加了8%，性能提升效果較明顯，相比于傳統(tǒng)加固方式更適合星載場景應用。