• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于FPGA 的Winograd 算法卷積神經(jīng)網(wǎng)絡(luò)加速器設(shè)計(jì)與實(shí)現(xiàn)

    2023-11-18 12:12:58牛朝旭孫海江
    液晶與顯示 2023年11期
    關(guān)鍵詞:加速器乘法卷積

    牛朝旭,孫海江*

    (1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,吉林 長(zhǎng)春 130033;2.中國(guó)科學(xué)院大學(xué),北京 100049)

    1 引 言

    卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于許多深度學(xué)習(xí)系統(tǒng)中,并在全息圖像重建[1]、光學(xué)計(jì)量[2]和自動(dòng)駕駛[3]等多種計(jì)算機(jī)視覺任務(wù)中取得了顯著的成效。為了達(dá)到更高的精度,一些研究引入了多尺度特征增強(qiáng)[4]、弱光照?qǐng)D像增強(qiáng)[5]以及RGB-D 特征融合[6]等更為復(fù)雜的算法,使得網(wǎng)絡(luò)計(jì)算復(fù)雜度和模型規(guī)模也更為龐大,進(jìn)而導(dǎo)致了計(jì)算功耗的提升[7]。在一些低功耗的應(yīng)用場(chǎng)景中,如星上AI 計(jì)算、遙感圖像在軌處理等,常規(guī)的硬件平臺(tái)部署卷積神經(jīng)網(wǎng)絡(luò)十分困難[8]:通用的中央處理器(Central Processing Unit,CPU)無(wú)法滿足卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算需求;圖形處理器(Graphic Processing Units,GPU)功耗太高,無(wú)法應(yīng)用于嵌入式環(huán)境;專用集成電路(Application Specific Integrated Circuit,ASIC)成本高昂且通用性差。與之相比,計(jì)算并行度高、功耗低、可重復(fù)編程的現(xiàn)場(chǎng)可編程門陣列(Field Programmable Gate Array,F(xiàn)PGA)更適合應(yīng)用于星上智能計(jì)算、在軌目標(biāo)識(shí)別等低功耗環(huán)境下的卷積神經(jīng)網(wǎng)絡(luò)的硬件加速中。

    傳統(tǒng)的空間卷積算法通過循環(huán)展開、并行計(jì)算的方法進(jìn)行加速計(jì)算,在早期被人們廣泛使用,如脈動(dòng)陣列[9]、層集群并行映射方法[10]等加速方法被先后提出。隨著卷積神經(jīng)網(wǎng)絡(luò)的層次變深、卷積核尺寸變小,傳統(tǒng)的卷積方法在卷積效率上已經(jīng)逐漸落后,快速卷積算法顯現(xiàn)出它的優(yōu)勢(shì)。文獻(xiàn)[11]將快速傅里葉變換FFT 算法應(yīng)用于卷積中以加速計(jì)算,但此方法只對(duì)大尺寸卷積核具有良好的加速效果,否則其轉(zhuǎn)換過程會(huì)引入大量補(bǔ)零操作,得不償失。文獻(xiàn)[12]提出在卷積計(jì)算中使用Winograd 算法降低計(jì)算復(fù)雜度。Winograd 算法是通過對(duì)輸入特征矩陣和權(quán)重矩陣做線性變換后再求哈達(dá)瑪積,減少了乘法次數(shù),實(shí)現(xiàn)了硬件上計(jì)算效率的提升。文獻(xiàn)[13]提出在FPGA 上使用行緩存結(jié)構(gòu)提高Winograd 算法切片之間的行數(shù)據(jù)重用。文獻(xiàn)[14]提出雙緩沖區(qū)5×5 流水線卷積方法。但是上述文獻(xiàn)并沒有充分復(fù)用重疊數(shù)據(jù),也沒有在目前使用廣泛的小卷積核網(wǎng)絡(luò)上充分發(fā)揮FPGA 低功耗的特性。

    本文設(shè)計(jì)了一種Winograd 算法卷積神經(jīng)網(wǎng)絡(luò)加速器。首先設(shè)計(jì)了輸入數(shù)據(jù)緩存復(fù)用模塊,結(jié)合行緩存和列緩存重疊數(shù)據(jù),最大化重用了片上數(shù)據(jù),減少了頻繁數(shù)據(jù)搬運(yùn)的開銷。針對(duì)FPGA并行運(yùn)算特性,設(shè)計(jì)多通道并行Winograd 卷積運(yùn)算陣列,并將卷積過程分解為六級(jí)流水線,提高了運(yùn)算效率和吞吐量。為了提升計(jì)算速度和數(shù)據(jù)傳輸速度,使用權(quán)重8 位定點(diǎn)數(shù)(INT8)量化的方式來(lái)壓縮模型,數(shù)據(jù)量減少到1/4。最后針對(duì)遙感圖像分類數(shù)據(jù)集修改VGG16 網(wǎng)絡(luò),將加速器部署至ZCU104 平臺(tái)進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,本設(shè)計(jì)相比其他FPGA 設(shè)計(jì)方案在功耗和計(jì)算效率上都有一定的提升。

    2 Winograd 算法

    文獻(xiàn)[15]提出的Winograd 算法可以用于減少有限脈沖響應(yīng)(Finite Impulse Response,F(xiàn)IR)濾波器的乘法次數(shù),之后被應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)加速中以減少乘法數(shù)量的方式來(lái)提升計(jì)算速度。在一維Winograd 卷積計(jì)算中,設(shè)卷積核尺寸為r,卷積結(jié)果輸出長(zhǎng)度為m,則一維Winograd 卷積計(jì)算公式F(m,r)需要的乘法數(shù)量為m+r-1,而傳統(tǒng)卷積為m×r??梢钥闯觯?dāng)r和m都大于1時(shí),Winograd 卷積乘法數(shù)量更少。

    以F(2,3)為例,用d=[d0d1d2d3]T表示輸入向量,g=[g0g1g2]T表示卷積核,r=[r0r1]T表示輸出向量,其計(jì)算過程可以表示為:

    因此可知,普通卷積需要6 次乘法和4 次加法,即:

    而F(2,3)的Winograd 卷積可寫成如下矩陣乘法形式:

    其中m0、m1、m2、m3計(jì)算如下:

    其中,輸入信號(hào)d的變換需要4 次加法。而對(duì)于卷積神經(jīng)網(wǎng)絡(luò)推理階段的卷積核g,其數(shù)值是固定的,其變換可以預(yù)先計(jì)算好進(jìn)行存儲(chǔ),同時(shí)其中的除2 操作可以用位移代替,所以計(jì)算需求可以忽略。輸出項(xiàng)r還需要中間項(xiàng)m進(jìn)行4 次乘法和4 次加法,所以F(2,3)的Winograd 乘法數(shù)量為4 次、加法數(shù)量為8 次。相較于傳統(tǒng)卷積,以加法為代價(jià),節(jié)省了33%的乘法數(shù),考慮到在硬件實(shí)現(xiàn)的乘法的實(shí)現(xiàn)成本遠(yuǎn)高于加法。因此使用Winograd 算法能夠提升運(yùn)算速度。

    上述計(jì)算可以整理為如下的矩陣形式:

    一維Winograd 卷積推廣到二維Winograd 卷積,可得到如下矩陣形式:

    其中W和In 是輸入數(shù)據(jù),Out 是輸出結(jié)果。AT、G、BT都是常數(shù)矩陣,在F(22,32)時(shí)為:

    Winograd 卷積計(jì)算F(22,32)的過程如圖1 所示。一次F(22,32)卷積計(jì)算可以將乘法數(shù)從36次降低為16 次,計(jì)算效率提升了2.25 倍。

    圖1 Winograd 卷積過程示意圖Fig.1 Schematic diagram of Winograd convolution process

    3 卷積神經(jīng)網(wǎng)絡(luò)加速器的構(gòu)成

    卷積神經(jīng)網(wǎng)絡(luò)加速器的整體架構(gòu)如圖2 所示。因?yàn)榛赯YNQ 平臺(tái),所以分為可編程邏輯(Progarmmable Logic,PL)端和處 理系統(tǒng)(Processing System,PS)端兩部分。PL 端負(fù)責(zé)計(jì)算卷積神經(jīng)網(wǎng)絡(luò)的卷積、池化、全連接等相關(guān)層,PS 端負(fù)責(zé)控制PL 端的運(yùn)行以及傳輸數(shù)據(jù)。兩部分主要通過AXI-DMA 進(jìn)行數(shù)據(jù)交互,并使用AXI-FIFO起到對(duì)數(shù)據(jù)流緩沖的作用,防止數(shù)據(jù)接收不及時(shí)造成的數(shù)據(jù)丟失。

    圖2 卷積神經(jīng)網(wǎng)絡(luò)加速器硬件架構(gòu)圖Fig.2 Hardware architecture diagram of convolutional neural network accelerator

    PS 端讀取SD 卡中的權(quán)重?cái)?shù)據(jù)和特征數(shù)據(jù)到DDR 內(nèi)存,通過寫寄存器控制當(dāng)前PL 端運(yùn)行網(wǎng)絡(luò)的層數(shù)。之后開始計(jì)算,通過AXI-DMA 使用AXI-Stream 總線向PL 端寫入DDR 上的數(shù)據(jù),緩存至特征數(shù)據(jù)緩存模塊或權(quán)重?cái)?shù)據(jù)緩存模塊。在卷積層中,將卷積計(jì)算按照并行計(jì)算方式循環(huán)展開,之后根據(jù)計(jì)算窗口位置的不同,輸出數(shù)據(jù)到六級(jí)流水線卷積層,得到中間計(jì)算結(jié)果后累加緩存,完成整幅輸出通道的計(jì)算后經(jīng)AXI-DMA輸出數(shù)據(jù)到DDR 上,作為下一層特征數(shù)據(jù)存儲(chǔ)。依此類推,直至完成網(wǎng)絡(luò)全部層的計(jì)算,得到輸出結(jié)果。

    4 卷積神經(jīng)網(wǎng)絡(luò)加速器設(shè)計(jì)

    4.1 硬件8 位定點(diǎn)數(shù)量化

    32 位浮點(diǎn)數(shù)在FPGA 上進(jìn)行乘加運(yùn)算時(shí)會(huì)消耗更多的片上資源,占用更多的位寬。為了提高數(shù)據(jù)吞吐速率和加速器計(jì)算效率,可以使用量化后的8 位定點(diǎn)數(shù),在精度損失不大的情況下達(dá)到壓縮模型的目的。為了更適合FPGA 硬件電路實(shí)現(xiàn),本文選擇了線性對(duì)稱且逐層的量化方式。

    量化的過程就是放縮的過程。將32 位浮點(diǎn)數(shù)的數(shù)值范圍線性縮小到8 位定點(diǎn)數(shù)的數(shù)值范圍,就得到了INT8 的權(quán)重?cái)?shù)據(jù)。其量化公式如式(11)所示:其中:x表示32 位浮點(diǎn)數(shù)據(jù),scale 表示縮放比例,zero_point 表示映射零點(diǎn)偏移,round 表示四舍五入的取整操作。因?yàn)椴捎脤?duì)稱式量化,所以zero_point 為0。通過KL 散度校準(zhǔn)訓(xùn)練可以得到最優(yōu)縮放比例,提升量化后精度。VGG16 網(wǎng)絡(luò)逐層量化后的部分結(jié)果如表1 所示,可以看到量化后結(jié)果全部為整數(shù),且縮放比例均為2 的整數(shù)冪,可以通過移位實(shí)現(xiàn)縮放,易于在硬件上實(shí)現(xiàn)8 位定點(diǎn)數(shù)量化。

    表1 VGG-16 網(wǎng)絡(luò)量化后的部分結(jié)果Tab.1 Partial results after quantification of VGG-16 network

    硬件量化流程如圖3 所示。將32 位浮點(diǎn)數(shù)權(quán)重經(jīng)過訓(xùn)練后量化,可以得到8 位定點(diǎn)權(quán)重,與8 位定點(diǎn)特征數(shù)據(jù)卷積后,擴(kuò)展位寬到16 位。經(jīng)過多通道累加,輸出數(shù)據(jù)位寬擴(kuò)展到32 位。之后累加上偏置,利用移位量化得到下一層計(jì)算所需的8 位定點(diǎn)特征數(shù)據(jù)。為減小誤差,移位量化時(shí)對(duì)需要舍去的小數(shù)位采用向偶數(shù)進(jìn)位的模式。

    圖3 硬件量化流程圖Fig.3 Diagram of hardware quantification flow

    4.2 輸入數(shù)據(jù)緩存復(fù)用模塊

    FPGA 的存儲(chǔ)資源可以分為片上存儲(chǔ)和片外存儲(chǔ)兩種。片上存儲(chǔ)主要是Block RAM,它存儲(chǔ)和讀取的速度快,但是容量小,無(wú)法將網(wǎng)絡(luò)權(quán)重?cái)?shù)據(jù)全部保存在片上,只能夠?qū)⑵浯嬗谄獯鎯?chǔ)DDR 中,再分批輸入到片上進(jìn)行計(jì)算。

    卷積計(jì)算時(shí)一個(gè)輸出通道的結(jié)果需要累加全部輸入通道的中間計(jì)算結(jié)果。為了減少片上緩存的占用,采用輸入通道切片的方式處理特征數(shù)據(jù)。計(jì)算完成一組輸出通道對(duì)應(yīng)的全部輸入通道切片后,再切換到下一組輸出通道。

    切片卷積的整體流程如圖4 所示。開始某一卷積層計(jì)算后,循環(huán)完成部分卷積核的切片卷積計(jì)算。待部分卷積核的全部層卷積完成后,更換卷積核繼續(xù)進(jìn)行循環(huán)卷積,直至全部卷積核都已運(yùn)算完成,結(jié)束當(dāng)前卷積層運(yùn)算。

    圖4 切片卷積流程圖Fig.4 Slice convolution flow chart

    為了便于不同輸入通道同時(shí)計(jì)算,使用特征數(shù)據(jù)融合設(shè)計(jì)。原輸入順序是輸入第一通道后再輸入下一通道,這種方式需要將全部數(shù)據(jù)輸入完成后才可開始計(jì)算,占用較多的存儲(chǔ)空間。而經(jīng)過數(shù)據(jù)融合,可以將同一位置的4 個(gè)輸入通道數(shù)據(jù)組合傳輸,如圖5 所示。這種設(shè)計(jì)可以充分利用輸入數(shù)據(jù)位寬,在得到中間結(jié)果后,不需要暫存中間數(shù)據(jù)就可以完成結(jié)果累加,減少了片上緩存的占用。

    圖5 特征數(shù)據(jù)融合設(shè)計(jì)圖Fig.5 Design drawing of feature data fusion

    在輸入數(shù)據(jù)緩存復(fù)用模塊中,因?yàn)閃inograd卷積的特殊性,輸出窗口大小為4×4,步長(zhǎng)為2。這就導(dǎo)致相鄰窗口間有步長(zhǎng)為2 的數(shù)據(jù)重疊。為了復(fù)用行重疊數(shù)據(jù),本文設(shè)計(jì)了循環(huán)復(fù)用的輸入數(shù)據(jù)緩存模塊,如圖6 所示。設(shè)置6 個(gè)Block RAM,每個(gè)存儲(chǔ)一行特征數(shù)據(jù)。數(shù)據(jù)以128 bit 位寬順序?qū)懭?,?dāng)寫入完成前4 個(gè)Block RAM 后,在寫入第5 個(gè)Block RAM 的同時(shí),并行輸出前4 個(gè)Block RAM。當(dāng)Block RAM 數(shù)據(jù)全部輸出后,第5、6 個(gè)Block RAM 也完成寫入,此時(shí)在寫入第1 個(gè)Block RAM 的同時(shí),復(fù)用第3、4 個(gè)Block RAM 數(shù)據(jù),并行輸出后4 個(gè)Block RAM。依此交替,3 個(gè)狀態(tài)構(gòu)成循環(huán)的一個(gè)周期。在降低片上存儲(chǔ)占用的同時(shí),實(shí)現(xiàn)了串并轉(zhuǎn)換和行數(shù)據(jù)復(fù)用。

    圖6 輸入數(shù)據(jù)緩存復(fù)用模塊示意圖Fig.6 Schematic diagram of input data buffer reuse module

    4.3 Winograd 流水線卷積模塊

    卷積計(jì)算存在內(nèi)部的并行性,分別是行并行、列并行、輸入通道并行、輸出通道并行和核內(nèi)并行。從算法層面看,這5 種并行方式可以任意組合先后順序。但從硬件實(shí)現(xiàn)的角度,合理的并行計(jì)算方式可以節(jié)省片上資源,提高計(jì)算效率。經(jīng)分析,本文選擇使用4 輸入通道并行、8 輸出通道并行、核內(nèi)16 并行度的方式進(jìn)行卷積計(jì)算。

    Winograd 卷積需要逐步計(jì)算完成,采用流水線的設(shè)計(jì)方式可以提高計(jì)算效率。卷積模塊共分為六級(jí)流水線,其結(jié)構(gòu)如圖7 所示。

    圖7 六級(jí)流水線卷積設(shè)計(jì)圖Fig.7 Convolution design drawing of six stage assembly line

    第一級(jí)是列數(shù)據(jù)復(fù)用組合輸出。模塊接收并暫存輸入數(shù)據(jù)緩存模塊輸出的4×2 數(shù)據(jù),即圖中的灰色數(shù)據(jù)塊。等下一周期橙色數(shù)據(jù)塊輸入后,組合為4×4 窗口大小輸出到第二級(jí),便于下一級(jí)進(jìn)行Winograd 矩陣變換。暫存數(shù)據(jù)也替換為橙色數(shù)據(jù)塊。下一周期綠色數(shù)據(jù)塊輸入后再次組合輸出,如此循環(huán)往復(fù)。緩存的4 行2 列數(shù)據(jù)每周期切換,實(shí)現(xiàn)了相鄰窗口之間的列重疊數(shù)據(jù)復(fù)用,提高了數(shù)據(jù)利用效率。

    第二級(jí)和第三級(jí)是矩陣變換。特征矩陣和權(quán)重矩陣都需要進(jìn)行變換。由于權(quán)重是預(yù)先訓(xùn)練完成的,可以提前變換后保存在DDR 上直接輸入,降低片上資源的占用。因此只需要對(duì)特征矩陣乘上常數(shù)矩陣進(jìn)行變換。

    第四級(jí)是多通道并行乘加。多輸入通道和多輸出通道可以并行相乘,這也是計(jì)算最為集中的環(huán)節(jié)。不同輸入通道的中間結(jié)果累加后才可以得到輸出數(shù)據(jù),為了優(yōu)化時(shí)序,使用加法樹的方式進(jìn)行累加。

    最后經(jīng)過第五級(jí)和第六級(jí)矩陣變換之后,就可以得到8 個(gè)輸出通道的2×2 輸出數(shù)據(jù)。作為中間結(jié)果輸出到緩存模塊暫存。

    以VGG-16 網(wǎng)絡(luò)的第一層卷積為例,當(dāng)輸入圖像為圖8 時(shí),可以得到輸出前8 個(gè)輸出通道結(jié)果以灰度圖展示如圖9。

    圖8 河流圖的遙感圖像Fig.8 Remote sensing image of river map

    圖9 卷積輸出灰度圖Fig.9 Grayscale image of convolution output

    4.4 數(shù)據(jù)累加輸出模塊

    數(shù)據(jù)累加輸出模塊(圖10)獲取到卷積模塊的輸出數(shù)據(jù)后,按照輸出通道不同,暫存在緩存A 的不同Block RAM 中。當(dāng)存儲(chǔ)完一組卷積核的一組輸出結(jié)果后,在下一組結(jié)果輸入前依次讀出,一起輸入加法樹累加后再次存入Block RAM,覆蓋之前的結(jié)果。當(dāng)這組卷積核的全部結(jié)果計(jì)算完成后,切換緩存,使緩存B 繼續(xù)存儲(chǔ)結(jié)果,緩存A 則輸出所有計(jì)算結(jié)果到DDR 中。這種設(shè)計(jì)可以在不中斷數(shù)據(jù)輸入和計(jì)算的同時(shí)輸出結(jié)果,減少了數(shù)據(jù)輸出時(shí)的阻塞時(shí)間。

    圖10 數(shù)據(jù)累加輸出模塊狀態(tài)圖Fig.10 Status diagram of data accumulation output module

    在卷積計(jì)算之后,裁剪了邊緣處的數(shù)據(jù),輸出特征圖像的尺寸會(huì)減小。隨著網(wǎng)絡(luò)層數(shù)的加深,如果不做處理,特征圖像尺寸會(huì)越來(lái)越小,造成信息的丟失。為了防止這一現(xiàn)象,在一層數(shù)據(jù)輸出時(shí)進(jìn)行padding 填充,即對(duì)特征圖像周圍補(bǔ)0。為了減少數(shù)據(jù)傳輸時(shí)間、節(jié)省存儲(chǔ)資源,在設(shè)計(jì)中省略了第一行和最后一行全部數(shù)據(jù)為0 的值,只在中間行的首尾列補(bǔ)0,在特征數(shù)據(jù)窗口讀取時(shí)再補(bǔ)首末行的0。

    5 實(shí)驗(yàn)結(jié)果及分析

    5.1 實(shí)驗(yàn)環(huán)境

    本文的實(shí)驗(yàn)平臺(tái)為Xilinx 公司的ZCU104 開發(fā)板,芯片型號(hào)為XCZU7EV-2FFVC1156。PS 端片外存儲(chǔ)為2 GB 大小的DDR4,PL 端片上存儲(chǔ)為38 Mb 的Block RAM 和Ultra RAM,可以滿足實(shí)驗(yàn)需求。在RTL 代碼編寫完成后,使用Vivado 2018.3 進(jìn)行仿真測(cè)試。在綜合實(shí)現(xiàn)完成后,編寫SDK 程序,燒錄上板進(jìn)行實(shí)驗(yàn)。

    本文基于經(jīng)典的VGG-16 網(wǎng)絡(luò)進(jìn)行了改進(jìn)。VGG-16 網(wǎng)絡(luò)具有提取特征能力強(qiáng),結(jié)構(gòu)清晰簡(jiǎn)單、易于修改的特點(diǎn),且其卷積核尺寸小,全部為3×3,更便于Winograd 算法的應(yīng)用。但是VGG-16 網(wǎng)絡(luò)主 要針對(duì)ImageNet ILSVRC2012 數(shù)據(jù)集進(jìn)行1 000 種標(biāo)簽的分類,為了將其適用于遙感圖像分類的任務(wù)中,使用NWPU-RESISC45 數(shù)據(jù)集對(duì)其進(jìn)行遷移學(xué)習(xí),并修改最后的全連接層輸出為45,對(duì)應(yīng)數(shù)據(jù)集的飛機(jī)、機(jī)場(chǎng)、棒球場(chǎng)、籃球場(chǎng)、沙灘等45 種標(biāo)簽。修改后的VGG-16 網(wǎng)絡(luò)結(jié)構(gòu)如表2 所示。

    表2 修改后的VGG-16 的網(wǎng)絡(luò)結(jié)構(gòu)Tab.2 Revised VGG-16 network structure table

    5.2 性能分析

    設(shè)定加速器時(shí)鐘頻率為200 MHz,經(jīng)綜合實(shí)現(xiàn)后硬件資源占用情況如表3 所示。其中LUT表示片上所有查找表;LUTRAM 表示作為存儲(chǔ)資源使用的查找表;BRAM 和URAM 表示片上的專用塊RAM 存儲(chǔ)器;DSP 則表示片上運(yùn)算單元,主要用于乘法運(yùn)算當(dāng)中。

    表3 硬件資源占用情況Tab.3 Hardware resource usage

    可以看出,加速器使用DSP 資源比例相較LUT 和BRAM 等資源比例較低,原因在于數(shù)據(jù)帶寬限制了數(shù)據(jù)傳輸速度。如果通過提高DSP 使用量的方式繼續(xù)提升加速效果,可以更換硬件資源更豐富、帶寬更大的開發(fā)板平臺(tái)或者使用PL 端的DDR 存儲(chǔ)圖像和權(quán)重?cái)?shù)據(jù)。在時(shí)序穩(wěn)定的前提下,也可以通過提高時(shí)鐘頻率來(lái)獲得更快的加速效果。

    實(shí)驗(yàn)時(shí),首先讀取SD 卡中的權(quán)重?cái)?shù)據(jù)和圖像數(shù)據(jù)到DDR 內(nèi)存上,讀取后的圖像數(shù)據(jù)如圖11所示,位于DDR內(nèi)存的0×1 000 000地址處。

    圖11 圖像數(shù)據(jù)存入DDR 內(nèi)存展示圖Fig.11 Display diagram of image data stored in DDR memory

    硬件實(shí)驗(yàn)平臺(tái)如圖12 所示。讀取圖8 所示圖像后完成計(jì)算,通過串口輸出到上位機(jī)得到圖像分類的標(biāo)簽與分類概率,如圖13 所示。

    圖12 ZCU104 硬件平臺(tái)測(cè)試圖Fig.12 ZCU104 hardware platform test diagram

    在NWPU-RESISC45 數(shù)據(jù)集上驗(yàn)證后得到FPGA 實(shí)現(xiàn)遙感圖像分類的TOP-1 準(zhǔn)確率,與GPU 實(shí)現(xiàn)的準(zhǔn)確率對(duì)比如表4 所示。在精度損失不超過1%的情況下,將網(wǎng)絡(luò)大小壓縮為原大小的28.6%,效果顯著。

    表4 硬件實(shí)現(xiàn)后網(wǎng)絡(luò)精度對(duì)比Tab.4 Comparison of network accuracy after hardware implementation

    將加速器與其他方案的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比,如表5 所示。由于不同的設(shè)計(jì)方案采用的FPGA平臺(tái)不同,因此將計(jì)算效率和能效作為主要性能指標(biāo)進(jìn)行分析。本文提出的加速器與文獻(xiàn)[16]的Caffeine 結(jié)構(gòu)、文獻(xiàn)[17]的Angel-Eye 結(jié)構(gòu)相比,使用了更少的硬件DSP 資源,實(shí)現(xiàn)了更高的計(jì)算吞吐量。與文獻(xiàn)[18]中提出的將乘加樹與脈動(dòng)陣列相結(jié)合的乘加陣列相比,雖然由于硬件規(guī)模不同,在卷積層計(jì)算性能方面存在差距,但是本設(shè)計(jì)在能效比上較為接近,且DSP 計(jì)算效率提升為1.635 倍。

    表5 與現(xiàn)有FPGA 加速方案的對(duì)比Tab.5 Comparison with existing FPGA acceleration schemes

    6 結(jié) 論

    本文提出了一種基于FPGA 的Winograd 算法卷積神經(jīng)網(wǎng)絡(luò)加速器。在卷積算法方面,采用Winograd算法減少乘法運(yùn)算量,并設(shè)計(jì)了輸入數(shù)據(jù)緩存復(fù)用和流水線相結(jié)合的方式,充分復(fù)用了行列間的重疊數(shù)據(jù),提高了傳輸效率。使用8 位定點(diǎn)數(shù)對(duì)權(quán)重和數(shù)據(jù)量化,提高數(shù)據(jù)吞吐速率和加速器計(jì)算效率。經(jīng)過六級(jí)流水線并行卷積計(jì)算之后,得到的數(shù)據(jù)分組循環(huán)累加,降低了片上緩存的占用。在ZCU104開發(fā)板上的實(shí)驗(yàn)表明,加速器卷積層計(jì)算性能達(dá)到了354.5 GOPS,片上DSP 計(jì)算效率達(dá)到0.69,與相關(guān)研究相比,實(shí)現(xiàn)了1.6 倍以上的提升。本設(shè)計(jì)在計(jì)算效率上優(yōu)于其他FPGA加速器設(shè)計(jì)方案,能夠以較高能效完成遙感圖像分類任務(wù)中的硬件加速計(jì)算。

    猜你喜歡
    加速器乘法卷積
    輪滑加速器
    化學(xué)工業(yè)的“加速器”
    算乘法
    我們一起來(lái)學(xué)習(xí)“乘法的初步認(rèn)識(shí)”
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    全民小康路上的“加速器”
    《整式的乘法與因式分解》鞏固練習(xí)
    把加法變成乘法
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    97在线人人人人妻| 日本免费在线观看一区| 极品人妻少妇av视频| 国产高清国产精品国产三级| 亚洲综合精品二区| 国产深夜福利视频在线观看| 人人妻人人爽人人添夜夜欢视频 | 久久午夜综合久久蜜桃| 99热6这里只有精品| 又黄又爽又刺激的免费视频.| 五月开心婷婷网| 午夜av观看不卡| 国产亚洲最大av| 国产在视频线精品| 国产高清三级在线| 永久网站在线| 亚州av有码| 99九九在线精品视频 | 国产精品人妻久久久影院| 99久久综合免费| 一级av片app| 欧美老熟妇乱子伦牲交| 街头女战士在线观看网站| 97在线视频观看| 五月天丁香电影| 久久久a久久爽久久v久久| 精品酒店卫生间| 亚洲天堂av无毛| 久久影院123| 97精品久久久久久久久久精品| 国产免费又黄又爽又色| 美女大奶头黄色视频| 极品人妻少妇av视频| 一本—道久久a久久精品蜜桃钙片| 成人漫画全彩无遮挡| 免费大片18禁| 色视频www国产| 熟女av电影| 午夜日本视频在线| 青青草视频在线视频观看| 久久人人爽人人片av| 日韩一区二区视频免费看| 亚洲第一区二区三区不卡| 国产成人91sexporn| av卡一久久| 国产91av在线免费观看| 成人亚洲欧美一区二区av| 日韩不卡一区二区三区视频在线| 一区二区三区四区激情视频| 久久久久久久国产电影| 久久久国产精品麻豆| 少妇被粗大猛烈的视频| 久久韩国三级中文字幕| 亚洲国产精品国产精品| 国产熟女欧美一区二区| 黑人高潮一二区| 日韩免费高清中文字幕av| 久久精品国产鲁丝片午夜精品| 成人亚洲精品一区在线观看| 日韩精品有码人妻一区| 亚洲国产最新在线播放| 在线观看一区二区三区激情| 在线天堂最新版资源| 一本色道久久久久久精品综合| 一区二区三区乱码不卡18| 中文在线观看免费www的网站| 国产精品一区二区在线观看99| 少妇丰满av| 91精品国产国语对白视频| 美女视频免费永久观看网站| 国产伦理片在线播放av一区| 如日韩欧美国产精品一区二区三区 | 亚洲精品久久久久久婷婷小说| 国产精品一区二区在线不卡| 久久人人爽人人片av| 尾随美女入室| 日韩不卡一区二区三区视频在线| 亚洲婷婷狠狠爱综合网| 一级爰片在线观看| 欧美亚洲 丝袜 人妻 在线| 日韩强制内射视频| 久热久热在线精品观看| 午夜福利,免费看| 制服丝袜香蕉在线| av播播在线观看一区| 看非洲黑人一级黄片| 亚洲一级一片aⅴ在线观看| 爱豆传媒免费全集在线观看| 欧美国产精品一级二级三级 | 亚洲性久久影院| 亚洲经典国产精华液单| 亚洲国产精品一区二区三区在线| 日本色播在线视频| 亚洲国产欧美在线一区| 少妇裸体淫交视频免费看高清| 亚洲精品国产av成人精品| 国产乱来视频区| 日本91视频免费播放| 内射极品少妇av片p| 三级国产精品欧美在线观看| 一级毛片电影观看| 女的被弄到高潮叫床怎么办| 色94色欧美一区二区| 国产成人免费观看mmmm| 中文乱码字字幕精品一区二区三区| 日韩一区二区视频免费看| 亚洲精品日韩在线中文字幕| 一级二级三级毛片免费看| 丰满饥渴人妻一区二区三| 精品人妻熟女毛片av久久网站| 3wmmmm亚洲av在线观看| 久久国内精品自在自线图片| 国产淫语在线视频| 国产精品无大码| 色网站视频免费| 久久久久精品久久久久真实原创| 午夜福利影视在线免费观看| h视频一区二区三区| 亚洲一区二区三区欧美精品| 男女国产视频网站| 欧美日韩亚洲高清精品| 欧美三级亚洲精品| 青春草亚洲视频在线观看| 亚洲成人一二三区av| 女性生殖器流出的白浆| 最近最新中文字幕免费大全7| 国产精品熟女久久久久浪| h视频一区二区三区| 只有这里有精品99| 精品少妇久久久久久888优播| 午夜精品国产一区二区电影| 欧美区成人在线视频| 亚洲av福利一区| 亚洲欧美一区二区三区国产| 亚洲性久久影院| 深夜a级毛片| 久久国产亚洲av麻豆专区| 伊人久久国产一区二区| 男女边摸边吃奶| 日韩成人av中文字幕在线观看| 亚洲不卡免费看| 永久网站在线| 视频中文字幕在线观看| 亚洲av成人精品一区久久| 精品人妻偷拍中文字幕| 久久国产亚洲av麻豆专区| 观看免费一级毛片| 一区二区三区精品91| 日日爽夜夜爽网站| av在线老鸭窝| 中文欧美无线码| 久久国产亚洲av麻豆专区| 国产精品麻豆人妻色哟哟久久| 男的添女的下面高潮视频| 人人澡人人妻人| 日日啪夜夜爽| 国产成人精品无人区| 9色porny在线观看| 日本91视频免费播放| 欧美精品人与动牲交sv欧美| 午夜免费鲁丝| 青春草视频在线免费观看| 亚洲精品,欧美精品| 国产成人免费无遮挡视频| 在线观看人妻少妇| 亚洲精品日韩av片在线观看| 一本久久精品| 久久久久久久久久成人| 亚洲自偷自拍三级| 香蕉精品网在线| 中文字幕人妻丝袜制服| 亚洲精品久久午夜乱码| 久久狼人影院| 只有这里有精品99| 高清欧美精品videossex| 在线播放无遮挡| 免费播放大片免费观看视频在线观看| 精品一区二区三区视频在线| 内射极品少妇av片p| 成人国产av品久久久| 免费黄色在线免费观看| 亚洲成人av在线免费| 精品久久久久久久久av| 青春草国产在线视频| 成人亚洲精品一区在线观看| √禁漫天堂资源中文www| 极品教师在线视频| 伊人亚洲综合成人网| 视频中文字幕在线观看| 在线观看免费视频网站a站| 国产一区二区三区av在线| 美女cb高潮喷水在线观看| 国产又色又爽无遮挡免| 国产精品秋霞免费鲁丝片| 国产片特级美女逼逼视频| 99re6热这里在线精品视频| 日日撸夜夜添| 香蕉精品网在线| 国产免费福利视频在线观看| 天美传媒精品一区二区| 99久久精品一区二区三区| 婷婷色综合大香蕉| 亚洲精品第二区| 夫妻性生交免费视频一级片| 免费av中文字幕在线| 中文字幕亚洲精品专区| 在线观看av片永久免费下载| 久久国产亚洲av麻豆专区| av专区在线播放| 人人妻人人澡人人看| 曰老女人黄片| 国产在线免费精品| 丰满乱子伦码专区| 美女视频免费永久观看网站| 人人妻人人爽人人添夜夜欢视频 | 视频中文字幕在线观看| 日韩一区二区视频免费看| 亚洲欧洲国产日韩| 建设人人有责人人尽责人人享有的| 人妻一区二区av| 日韩不卡一区二区三区视频在线| 精品一区二区三区视频在线| 亚洲,欧美,日韩| 国产精品成人在线| 国产精品免费大片| 欧美日韩av久久| 国产一区有黄有色的免费视频| 日韩熟女老妇一区二区性免费视频| 婷婷色综合大香蕉| 美女福利国产在线| 日韩欧美一区视频在线观看 | 99热这里只有是精品50| 黄片无遮挡物在线观看| 亚洲欧美中文字幕日韩二区| 性高湖久久久久久久久免费观看| 免费av中文字幕在线| 亚洲国产精品国产精品| 看非洲黑人一级黄片| 狂野欧美白嫩少妇大欣赏| 久久久久久久久久人人人人人人| 久久ye,这里只有精品| 十八禁高潮呻吟视频 | 99久久人妻综合| 亚洲一区二区三区欧美精品| 亚洲欧美清纯卡通| www.av在线官网国产| 夫妻午夜视频| 国产免费又黄又爽又色| 十分钟在线观看高清视频www | 亚洲精品自拍成人| 最后的刺客免费高清国语| 亚洲性久久影院| 中文精品一卡2卡3卡4更新| 国产精品蜜桃在线观看| 免费人妻精品一区二区三区视频| 日韩欧美精品免费久久| 久久精品国产亚洲av涩爱| 大片电影免费在线观看免费| 亚洲精品乱码久久久v下载方式| 免费高清在线观看视频在线观看| 我要看黄色一级片免费的| 内射极品少妇av片p| 2018国产大陆天天弄谢| 在线观看www视频免费| 国产免费福利视频在线观看| 在线观看免费高清a一片| 赤兔流量卡办理| 国产成人免费观看mmmm| 亚洲人成网站在线播| 亚洲av国产av综合av卡| 男人和女人高潮做爰伦理| 十八禁网站网址无遮挡 | 久久精品国产亚洲av涩爱| √禁漫天堂资源中文www| 国产亚洲av片在线观看秒播厂| 欧美日韩在线观看h| videossex国产| 精品人妻熟女毛片av久久网站| 一级a做视频免费观看| 中文字幕人妻熟人妻熟丝袜美| 欧美精品一区二区免费开放| 狂野欧美白嫩少妇大欣赏| 在线天堂最新版资源| 日日爽夜夜爽网站| 午夜福利,免费看| 有码 亚洲区| 欧美成人午夜免费资源| av福利片在线| 一级黄片播放器| 亚洲欧美一区二区三区黑人 | 边亲边吃奶的免费视频| 国产精品嫩草影院av在线观看| 女性生殖器流出的白浆| 观看美女的网站| 欧美精品高潮呻吟av久久| 少妇丰满av| 丰满饥渴人妻一区二区三| 成人毛片a级毛片在线播放| 午夜91福利影院| 欧美激情极品国产一区二区三区 | 国产国拍精品亚洲av在线观看| 黑人巨大精品欧美一区二区蜜桃 | 亚洲激情五月婷婷啪啪| 精品人妻熟女av久视频| 边亲边吃奶的免费视频| 下体分泌物呈黄色| 高清黄色对白视频在线免费看 | 久久免费观看电影| 中文乱码字字幕精品一区二区三区| 久久久国产精品麻豆| 色哟哟·www| 国产免费又黄又爽又色| 亚洲av福利一区| 精品亚洲成国产av| 少妇人妻久久综合中文| 国产深夜福利视频在线观看| 日韩伦理黄色片| a级毛色黄片| 男女啪啪激烈高潮av片| 日韩 亚洲 欧美在线| 永久网站在线| 国产老妇伦熟女老妇高清| 欧美区成人在线视频| 国产成人a∨麻豆精品| 亚洲欧美日韩东京热| 青青草视频在线视频观看| 欧美高清成人免费视频www| 一边亲一边摸免费视频| 久久国产精品男人的天堂亚洲 | 久久精品久久久久久噜噜老黄| 亚洲成人一二三区av| 蜜臀久久99精品久久宅男| 乱系列少妇在线播放| 国产免费一级a男人的天堂| 大香蕉97超碰在线| 成年美女黄网站色视频大全免费 | 精品亚洲成国产av| 99热网站在线观看| 日本91视频免费播放| 精品一区二区免费观看| 亚洲av在线观看美女高潮| 久久精品国产自在天天线| 成人二区视频| 国产熟女午夜一区二区三区 | 伊人久久精品亚洲午夜| 日本av手机在线免费观看| 熟女av电影| 搡老乐熟女国产| 两个人免费观看高清视频 | 欧美高清成人免费视频www| 国产亚洲午夜精品一区二区久久| 日韩精品免费视频一区二区三区 | 亚洲欧美精品自产自拍| 免费观看的影片在线观看| 亚洲成人av在线免费| 精品国产国语对白av| h日本视频在线播放| 高清不卡的av网站| 人人妻人人澡人人爽人人夜夜| 一二三四中文在线观看免费高清| 五月开心婷婷网| 久久精品久久精品一区二区三区| 久久狼人影院| 日日撸夜夜添| 久久久久久久久久久丰满| 人人妻人人澡人人看| 自线自在国产av| 少妇人妻 视频| 国产91av在线免费观看| 亚洲国产精品专区欧美| 国产高清三级在线| 国产国拍精品亚洲av在线观看| 夜夜爽夜夜爽视频| 亚洲欧洲日产国产| 91精品一卡2卡3卡4卡| 搡老乐熟女国产| 91精品一卡2卡3卡4卡| 国产日韩一区二区三区精品不卡 | 亚洲经典国产精华液单| 一本久久精品| 国产女主播在线喷水免费视频网站| 亚洲四区av| 亚洲电影在线观看av| 大香蕉97超碰在线| 在线观看av片永久免费下载| 亚洲精品日本国产第一区| 久久久久久久久久久免费av| 噜噜噜噜噜久久久久久91| 香蕉精品网在线| 天堂中文最新版在线下载| 亚洲情色 制服丝袜| 97超碰精品成人国产| 久久影院123| 亚洲性久久影院| 久久久久久久精品精品| 精品酒店卫生间| 热re99久久国产66热| 久久女婷五月综合色啪小说| 日韩欧美精品免费久久| 人妻夜夜爽99麻豆av| 人妻少妇偷人精品九色| 一区二区三区精品91| 国产精品久久久久久精品古装| 欧美日韩在线观看h| 女的被弄到高潮叫床怎么办| 视频区图区小说| 国产深夜福利视频在线观看| 亚洲一级一片aⅴ在线观看| 久久久a久久爽久久v久久| 国产男人的电影天堂91| 国产成人午夜福利电影在线观看| 综合色丁香网| av福利片在线观看| 老司机影院成人| 91久久精品电影网| 韩国av在线不卡| av播播在线观看一区| 欧美 日韩 精品 国产| 日韩中字成人| 91成人精品电影| 国产成人精品婷婷| 另类亚洲欧美激情| 91在线精品国自产拍蜜月| 亚洲中文av在线| 精品久久久精品久久久| 纵有疾风起免费观看全集完整版| 最近的中文字幕免费完整| 国产精品偷伦视频观看了| 婷婷色av中文字幕| 日本wwww免费看| 国产一区有黄有色的免费视频| 久久久国产一区二区| a级一级毛片免费在线观看| 成人影院久久| 日韩,欧美,国产一区二区三区| 美女福利国产在线| 欧美xxⅹ黑人| 免费黄色在线免费观看| 精品久久久久久久久亚洲| 乱人伦中国视频| 免费不卡的大黄色大毛片视频在线观看| 免费黄频网站在线观看国产| 亚洲一区二区三区欧美精品| 国产片特级美女逼逼视频| 日本-黄色视频高清免费观看| 午夜老司机福利剧场| 少妇高潮的动态图| 天美传媒精品一区二区| 人妻一区二区av| 成人影院久久| 亚洲人成网站在线观看播放| 欧美精品国产亚洲| 伦理电影免费视频| 精品一区二区三卡| 亚洲自偷自拍三级| 久久久国产欧美日韩av| 亚洲美女视频黄频| 午夜精品国产一区二区电影| 日本色播在线视频| 亚洲精品中文字幕在线视频 | 久久99热这里只频精品6学生| 中文资源天堂在线| 激情五月婷婷亚洲| 日韩一区二区视频免费看| 爱豆传媒免费全集在线观看| 黑人巨大精品欧美一区二区蜜桃 | 男女啪啪激烈高潮av片| 一级毛片我不卡| 久久久国产精品麻豆| 国产高清有码在线观看视频| av有码第一页| 男人和女人高潮做爰伦理| freevideosex欧美| 九九爱精品视频在线观看| av又黄又爽大尺度在线免费看| 成人午夜精彩视频在线观看| 久久99热这里只频精品6学生| 大陆偷拍与自拍| 中文乱码字字幕精品一区二区三区| 欧美亚洲 丝袜 人妻 在线| 亚洲人成网站在线播| 日韩三级伦理在线观看| 欧美高清成人免费视频www| 啦啦啦视频在线资源免费观看| 欧美区成人在线视频| 国产成人aa在线观看| 国产精品无大码| 精品人妻一区二区三区麻豆| 亚洲欧洲日产国产| 岛国毛片在线播放| 国产片特级美女逼逼视频| 亚洲欧美精品专区久久| 91成人精品电影| 国产av精品麻豆| 国产美女午夜福利| 日韩伦理黄色片| 成人美女网站在线观看视频| 天堂8中文在线网| 国产av码专区亚洲av| 午夜激情福利司机影院| 最新中文字幕久久久久| 成年女人在线观看亚洲视频| 亚洲欧美日韩卡通动漫| 午夜福利网站1000一区二区三区| 国产一级毛片在线| 精品午夜福利在线看| 伦精品一区二区三区| videossex国产| 男女啪啪激烈高潮av片| 亚洲不卡免费看| 国产精品三级大全| 伦理电影大哥的女人| 国产老妇伦熟女老妇高清| 国产 一区精品| 91成人精品电影| 中国国产av一级| 国产高清不卡午夜福利| 99热全是精品| 亚洲伊人久久精品综合| 男女无遮挡免费网站观看| 日韩成人av中文字幕在线观看| 日本免费在线观看一区| 欧美3d第一页| 一本—道久久a久久精品蜜桃钙片| 18+在线观看网站| 王馨瑶露胸无遮挡在线观看| 日日啪夜夜撸| 97在线人人人人妻| 成人18禁高潮啪啪吃奶动态图 | 亚洲激情五月婷婷啪啪| 乱人伦中国视频| 亚洲精品国产成人久久av| 亚洲av二区三区四区| 欧美日韩av久久| 又大又黄又爽视频免费| 精品一品国产午夜福利视频| 美女福利国产在线| 亚洲精品亚洲一区二区| 日日啪夜夜爽| 欧美性感艳星| 高清午夜精品一区二区三区| 建设人人有责人人尽责人人享有的| 久久久久久久久大av| 熟女av电影| 一本大道久久a久久精品| av在线观看视频网站免费| 久久久久久久久久久丰满| 日韩强制内射视频| 国产av码专区亚洲av| 性色av一级| 国产欧美另类精品又又久久亚洲欧美| 精品少妇黑人巨大在线播放| 男人和女人高潮做爰伦理| 日本午夜av视频| 成人美女网站在线观看视频| 久久6这里有精品| 精品人妻偷拍中文字幕| 久久精品国产鲁丝片午夜精品| 搡老乐熟女国产| 国产有黄有色有爽视频| 色视频www国产| 免费不卡的大黄色大毛片视频在线观看| 亚洲无线观看免费| 大香蕉97超碰在线| 看非洲黑人一级黄片| 国产av一区二区精品久久| 王馨瑶露胸无遮挡在线观看| 一区二区三区精品91| 久久久久久久亚洲中文字幕| 久久久久久久精品精品| 男的添女的下面高潮视频| 黑人巨大精品欧美一区二区蜜桃 | 国产国拍精品亚洲av在线观看| 黄色一级大片看看| 久久久久国产精品人妻一区二区| 亚洲国产av新网站| 亚洲精华国产精华液的使用体验| 亚洲综合精品二区| 五月伊人婷婷丁香| 国产在线男女| 丰满少妇做爰视频| 免费人妻精品一区二区三区视频| 午夜影院在线不卡| 在线观看免费高清a一片| freevideosex欧美| 亚洲av成人精品一区久久| 久久99热这里只频精品6学生| 久久久久久久久久久久大奶| 国产深夜福利视频在线观看| 亚洲情色 制服丝袜| 午夜福利网站1000一区二区三区| 高清毛片免费看| 国产精品女同一区二区软件| 国产成人精品无人区| 精品99又大又爽又粗少妇毛片| 久久久久久伊人网av| 美女中出高潮动态图| 成人漫画全彩无遮挡| 人妻制服诱惑在线中文字幕| 91精品伊人久久大香线蕉| 欧美+日韩+精品| 91精品伊人久久大香线蕉| 欧美日韩一区二区视频在线观看视频在线| 亚洲国产色片| 街头女战士在线观看网站| 国产深夜福利视频在线观看| 777米奇影视久久| 18+在线观看网站| 国产免费视频播放在线视频| 熟女电影av网| 少妇熟女欧美另类| 日韩中字成人| 成人综合一区亚洲| 视频中文字幕在线观看| 国产熟女欧美一区二区|