• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于FPGA 的Winograd 算法卷積神經(jīng)網(wǎng)絡(luò)加速器設(shè)計(jì)與實(shí)現(xiàn)

    2023-11-18 12:12:58牛朝旭孫海江
    液晶與顯示 2023年11期
    關(guān)鍵詞:加速器乘法卷積

    牛朝旭,孫海江*

    (1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,吉林 長(zhǎng)春 130033;2.中國(guó)科學(xué)院大學(xué),北京 100049)

    1 引 言

    卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于許多深度學(xué)習(xí)系統(tǒng)中,并在全息圖像重建[1]、光學(xué)計(jì)量[2]和自動(dòng)駕駛[3]等多種計(jì)算機(jī)視覺任務(wù)中取得了顯著的成效。為了達(dá)到更高的精度,一些研究引入了多尺度特征增強(qiáng)[4]、弱光照?qǐng)D像增強(qiáng)[5]以及RGB-D 特征融合[6]等更為復(fù)雜的算法,使得網(wǎng)絡(luò)計(jì)算復(fù)雜度和模型規(guī)模也更為龐大,進(jìn)而導(dǎo)致了計(jì)算功耗的提升[7]。在一些低功耗的應(yīng)用場(chǎng)景中,如星上AI 計(jì)算、遙感圖像在軌處理等,常規(guī)的硬件平臺(tái)部署卷積神經(jīng)網(wǎng)絡(luò)十分困難[8]:通用的中央處理器(Central Processing Unit,CPU)無(wú)法滿足卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算需求;圖形處理器(Graphic Processing Units,GPU)功耗太高,無(wú)法應(yīng)用于嵌入式環(huán)境;專用集成電路(Application Specific Integrated Circuit,ASIC)成本高昂且通用性差。與之相比,計(jì)算并行度高、功耗低、可重復(fù)編程的現(xiàn)場(chǎng)可編程門陣列(Field Programmable Gate Array,F(xiàn)PGA)更適合應(yīng)用于星上智能計(jì)算、在軌目標(biāo)識(shí)別等低功耗環(huán)境下的卷積神經(jīng)網(wǎng)絡(luò)的硬件加速中。

    傳統(tǒng)的空間卷積算法通過循環(huán)展開、并行計(jì)算的方法進(jìn)行加速計(jì)算,在早期被人們廣泛使用,如脈動(dòng)陣列[9]、層集群并行映射方法[10]等加速方法被先后提出。隨著卷積神經(jīng)網(wǎng)絡(luò)的層次變深、卷積核尺寸變小,傳統(tǒng)的卷積方法在卷積效率上已經(jīng)逐漸落后,快速卷積算法顯現(xiàn)出它的優(yōu)勢(shì)。文獻(xiàn)[11]將快速傅里葉變換FFT 算法應(yīng)用于卷積中以加速計(jì)算,但此方法只對(duì)大尺寸卷積核具有良好的加速效果,否則其轉(zhuǎn)換過程會(huì)引入大量補(bǔ)零操作,得不償失。文獻(xiàn)[12]提出在卷積計(jì)算中使用Winograd 算法降低計(jì)算復(fù)雜度。Winograd 算法是通過對(duì)輸入特征矩陣和權(quán)重矩陣做線性變換后再求哈達(dá)瑪積,減少了乘法次數(shù),實(shí)現(xiàn)了硬件上計(jì)算效率的提升。文獻(xiàn)[13]提出在FPGA 上使用行緩存結(jié)構(gòu)提高Winograd 算法切片之間的行數(shù)據(jù)重用。文獻(xiàn)[14]提出雙緩沖區(qū)5×5 流水線卷積方法。但是上述文獻(xiàn)并沒有充分復(fù)用重疊數(shù)據(jù),也沒有在目前使用廣泛的小卷積核網(wǎng)絡(luò)上充分發(fā)揮FPGA 低功耗的特性。

    本文設(shè)計(jì)了一種Winograd 算法卷積神經(jīng)網(wǎng)絡(luò)加速器。首先設(shè)計(jì)了輸入數(shù)據(jù)緩存復(fù)用模塊,結(jié)合行緩存和列緩存重疊數(shù)據(jù),最大化重用了片上數(shù)據(jù),減少了頻繁數(shù)據(jù)搬運(yùn)的開銷。針對(duì)FPGA并行運(yùn)算特性,設(shè)計(jì)多通道并行Winograd 卷積運(yùn)算陣列,并將卷積過程分解為六級(jí)流水線,提高了運(yùn)算效率和吞吐量。為了提升計(jì)算速度和數(shù)據(jù)傳輸速度,使用權(quán)重8 位定點(diǎn)數(shù)(INT8)量化的方式來(lái)壓縮模型,數(shù)據(jù)量減少到1/4。最后針對(duì)遙感圖像分類數(shù)據(jù)集修改VGG16 網(wǎng)絡(luò),將加速器部署至ZCU104 平臺(tái)進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,本設(shè)計(jì)相比其他FPGA 設(shè)計(jì)方案在功耗和計(jì)算效率上都有一定的提升。

    2 Winograd 算法

    文獻(xiàn)[15]提出的Winograd 算法可以用于減少有限脈沖響應(yīng)(Finite Impulse Response,F(xiàn)IR)濾波器的乘法次數(shù),之后被應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)加速中以減少乘法數(shù)量的方式來(lái)提升計(jì)算速度。在一維Winograd 卷積計(jì)算中,設(shè)卷積核尺寸為r,卷積結(jié)果輸出長(zhǎng)度為m,則一維Winograd 卷積計(jì)算公式F(m,r)需要的乘法數(shù)量為m+r-1,而傳統(tǒng)卷積為m×r??梢钥闯觯?dāng)r和m都大于1時(shí),Winograd 卷積乘法數(shù)量更少。

    以F(2,3)為例,用d=[d0d1d2d3]T表示輸入向量,g=[g0g1g2]T表示卷積核,r=[r0r1]T表示輸出向量,其計(jì)算過程可以表示為:

    因此可知,普通卷積需要6 次乘法和4 次加法,即:

    而F(2,3)的Winograd 卷積可寫成如下矩陣乘法形式:

    其中m0、m1、m2、m3計(jì)算如下:

    其中,輸入信號(hào)d的變換需要4 次加法。而對(duì)于卷積神經(jīng)網(wǎng)絡(luò)推理階段的卷積核g,其數(shù)值是固定的,其變換可以預(yù)先計(jì)算好進(jìn)行存儲(chǔ),同時(shí)其中的除2 操作可以用位移代替,所以計(jì)算需求可以忽略。輸出項(xiàng)r還需要中間項(xiàng)m進(jìn)行4 次乘法和4 次加法,所以F(2,3)的Winograd 乘法數(shù)量為4 次、加法數(shù)量為8 次。相較于傳統(tǒng)卷積,以加法為代價(jià),節(jié)省了33%的乘法數(shù),考慮到在硬件實(shí)現(xiàn)的乘法的實(shí)現(xiàn)成本遠(yuǎn)高于加法。因此使用Winograd 算法能夠提升運(yùn)算速度。

    上述計(jì)算可以整理為如下的矩陣形式:

    一維Winograd 卷積推廣到二維Winograd 卷積,可得到如下矩陣形式:

    其中W和In 是輸入數(shù)據(jù),Out 是輸出結(jié)果。AT、G、BT都是常數(shù)矩陣,在F(22,32)時(shí)為:

    Winograd 卷積計(jì)算F(22,32)的過程如圖1 所示。一次F(22,32)卷積計(jì)算可以將乘法數(shù)從36次降低為16 次,計(jì)算效率提升了2.25 倍。

    圖1 Winograd 卷積過程示意圖Fig.1 Schematic diagram of Winograd convolution process

    3 卷積神經(jīng)網(wǎng)絡(luò)加速器的構(gòu)成

    卷積神經(jīng)網(wǎng)絡(luò)加速器的整體架構(gòu)如圖2 所示。因?yàn)榛赯YNQ 平臺(tái),所以分為可編程邏輯(Progarmmable Logic,PL)端和處 理系統(tǒng)(Processing System,PS)端兩部分。PL 端負(fù)責(zé)計(jì)算卷積神經(jīng)網(wǎng)絡(luò)的卷積、池化、全連接等相關(guān)層,PS 端負(fù)責(zé)控制PL 端的運(yùn)行以及傳輸數(shù)據(jù)。兩部分主要通過AXI-DMA 進(jìn)行數(shù)據(jù)交互,并使用AXI-FIFO起到對(duì)數(shù)據(jù)流緩沖的作用,防止數(shù)據(jù)接收不及時(shí)造成的數(shù)據(jù)丟失。

    圖2 卷積神經(jīng)網(wǎng)絡(luò)加速器硬件架構(gòu)圖Fig.2 Hardware architecture diagram of convolutional neural network accelerator

    PS 端讀取SD 卡中的權(quán)重?cái)?shù)據(jù)和特征數(shù)據(jù)到DDR 內(nèi)存,通過寫寄存器控制當(dāng)前PL 端運(yùn)行網(wǎng)絡(luò)的層數(shù)。之后開始計(jì)算,通過AXI-DMA 使用AXI-Stream 總線向PL 端寫入DDR 上的數(shù)據(jù),緩存至特征數(shù)據(jù)緩存模塊或權(quán)重?cái)?shù)據(jù)緩存模塊。在卷積層中,將卷積計(jì)算按照并行計(jì)算方式循環(huán)展開,之后根據(jù)計(jì)算窗口位置的不同,輸出數(shù)據(jù)到六級(jí)流水線卷積層,得到中間計(jì)算結(jié)果后累加緩存,完成整幅輸出通道的計(jì)算后經(jīng)AXI-DMA輸出數(shù)據(jù)到DDR 上,作為下一層特征數(shù)據(jù)存儲(chǔ)。依此類推,直至完成網(wǎng)絡(luò)全部層的計(jì)算,得到輸出結(jié)果。

    4 卷積神經(jīng)網(wǎng)絡(luò)加速器設(shè)計(jì)

    4.1 硬件8 位定點(diǎn)數(shù)量化

    32 位浮點(diǎn)數(shù)在FPGA 上進(jìn)行乘加運(yùn)算時(shí)會(huì)消耗更多的片上資源,占用更多的位寬。為了提高數(shù)據(jù)吞吐速率和加速器計(jì)算效率,可以使用量化后的8 位定點(diǎn)數(shù),在精度損失不大的情況下達(dá)到壓縮模型的目的。為了更適合FPGA 硬件電路實(shí)現(xiàn),本文選擇了線性對(duì)稱且逐層的量化方式。

    量化的過程就是放縮的過程。將32 位浮點(diǎn)數(shù)的數(shù)值范圍線性縮小到8 位定點(diǎn)數(shù)的數(shù)值范圍,就得到了INT8 的權(quán)重?cái)?shù)據(jù)。其量化公式如式(11)所示:其中:x表示32 位浮點(diǎn)數(shù)據(jù),scale 表示縮放比例,zero_point 表示映射零點(diǎn)偏移,round 表示四舍五入的取整操作。因?yàn)椴捎脤?duì)稱式量化,所以zero_point 為0。通過KL 散度校準(zhǔn)訓(xùn)練可以得到最優(yōu)縮放比例,提升量化后精度。VGG16 網(wǎng)絡(luò)逐層量化后的部分結(jié)果如表1 所示,可以看到量化后結(jié)果全部為整數(shù),且縮放比例均為2 的整數(shù)冪,可以通過移位實(shí)現(xiàn)縮放,易于在硬件上實(shí)現(xiàn)8 位定點(diǎn)數(shù)量化。

    表1 VGG-16 網(wǎng)絡(luò)量化后的部分結(jié)果Tab.1 Partial results after quantification of VGG-16 network

    硬件量化流程如圖3 所示。將32 位浮點(diǎn)數(shù)權(quán)重經(jīng)過訓(xùn)練后量化,可以得到8 位定點(diǎn)權(quán)重,與8 位定點(diǎn)特征數(shù)據(jù)卷積后,擴(kuò)展位寬到16 位。經(jīng)過多通道累加,輸出數(shù)據(jù)位寬擴(kuò)展到32 位。之后累加上偏置,利用移位量化得到下一層計(jì)算所需的8 位定點(diǎn)特征數(shù)據(jù)。為減小誤差,移位量化時(shí)對(duì)需要舍去的小數(shù)位采用向偶數(shù)進(jìn)位的模式。

    圖3 硬件量化流程圖Fig.3 Diagram of hardware quantification flow

    4.2 輸入數(shù)據(jù)緩存復(fù)用模塊

    FPGA 的存儲(chǔ)資源可以分為片上存儲(chǔ)和片外存儲(chǔ)兩種。片上存儲(chǔ)主要是Block RAM,它存儲(chǔ)和讀取的速度快,但是容量小,無(wú)法將網(wǎng)絡(luò)權(quán)重?cái)?shù)據(jù)全部保存在片上,只能夠?qū)⑵浯嬗谄獯鎯?chǔ)DDR 中,再分批輸入到片上進(jìn)行計(jì)算。

    卷積計(jì)算時(shí)一個(gè)輸出通道的結(jié)果需要累加全部輸入通道的中間計(jì)算結(jié)果。為了減少片上緩存的占用,采用輸入通道切片的方式處理特征數(shù)據(jù)。計(jì)算完成一組輸出通道對(duì)應(yīng)的全部輸入通道切片后,再切換到下一組輸出通道。

    切片卷積的整體流程如圖4 所示。開始某一卷積層計(jì)算后,循環(huán)完成部分卷積核的切片卷積計(jì)算。待部分卷積核的全部層卷積完成后,更換卷積核繼續(xù)進(jìn)行循環(huán)卷積,直至全部卷積核都已運(yùn)算完成,結(jié)束當(dāng)前卷積層運(yùn)算。

    圖4 切片卷積流程圖Fig.4 Slice convolution flow chart

    為了便于不同輸入通道同時(shí)計(jì)算,使用特征數(shù)據(jù)融合設(shè)計(jì)。原輸入順序是輸入第一通道后再輸入下一通道,這種方式需要將全部數(shù)據(jù)輸入完成后才可開始計(jì)算,占用較多的存儲(chǔ)空間。而經(jīng)過數(shù)據(jù)融合,可以將同一位置的4 個(gè)輸入通道數(shù)據(jù)組合傳輸,如圖5 所示。這種設(shè)計(jì)可以充分利用輸入數(shù)據(jù)位寬,在得到中間結(jié)果后,不需要暫存中間數(shù)據(jù)就可以完成結(jié)果累加,減少了片上緩存的占用。

    圖5 特征數(shù)據(jù)融合設(shè)計(jì)圖Fig.5 Design drawing of feature data fusion

    在輸入數(shù)據(jù)緩存復(fù)用模塊中,因?yàn)閃inograd卷積的特殊性,輸出窗口大小為4×4,步長(zhǎng)為2。這就導(dǎo)致相鄰窗口間有步長(zhǎng)為2 的數(shù)據(jù)重疊。為了復(fù)用行重疊數(shù)據(jù),本文設(shè)計(jì)了循環(huán)復(fù)用的輸入數(shù)據(jù)緩存模塊,如圖6 所示。設(shè)置6 個(gè)Block RAM,每個(gè)存儲(chǔ)一行特征數(shù)據(jù)。數(shù)據(jù)以128 bit 位寬順序?qū)懭?,?dāng)寫入完成前4 個(gè)Block RAM 后,在寫入第5 個(gè)Block RAM 的同時(shí),并行輸出前4 個(gè)Block RAM。當(dāng)Block RAM 數(shù)據(jù)全部輸出后,第5、6 個(gè)Block RAM 也完成寫入,此時(shí)在寫入第1 個(gè)Block RAM 的同時(shí),復(fù)用第3、4 個(gè)Block RAM 數(shù)據(jù),并行輸出后4 個(gè)Block RAM。依此交替,3 個(gè)狀態(tài)構(gòu)成循環(huán)的一個(gè)周期。在降低片上存儲(chǔ)占用的同時(shí),實(shí)現(xiàn)了串并轉(zhuǎn)換和行數(shù)據(jù)復(fù)用。

    圖6 輸入數(shù)據(jù)緩存復(fù)用模塊示意圖Fig.6 Schematic diagram of input data buffer reuse module

    4.3 Winograd 流水線卷積模塊

    卷積計(jì)算存在內(nèi)部的并行性,分別是行并行、列并行、輸入通道并行、輸出通道并行和核內(nèi)并行。從算法層面看,這5 種并行方式可以任意組合先后順序。但從硬件實(shí)現(xiàn)的角度,合理的并行計(jì)算方式可以節(jié)省片上資源,提高計(jì)算效率。經(jīng)分析,本文選擇使用4 輸入通道并行、8 輸出通道并行、核內(nèi)16 并行度的方式進(jìn)行卷積計(jì)算。

    Winograd 卷積需要逐步計(jì)算完成,采用流水線的設(shè)計(jì)方式可以提高計(jì)算效率。卷積模塊共分為六級(jí)流水線,其結(jié)構(gòu)如圖7 所示。

    圖7 六級(jí)流水線卷積設(shè)計(jì)圖Fig.7 Convolution design drawing of six stage assembly line

    第一級(jí)是列數(shù)據(jù)復(fù)用組合輸出。模塊接收并暫存輸入數(shù)據(jù)緩存模塊輸出的4×2 數(shù)據(jù),即圖中的灰色數(shù)據(jù)塊。等下一周期橙色數(shù)據(jù)塊輸入后,組合為4×4 窗口大小輸出到第二級(jí),便于下一級(jí)進(jìn)行Winograd 矩陣變換。暫存數(shù)據(jù)也替換為橙色數(shù)據(jù)塊。下一周期綠色數(shù)據(jù)塊輸入后再次組合輸出,如此循環(huán)往復(fù)。緩存的4 行2 列數(shù)據(jù)每周期切換,實(shí)現(xiàn)了相鄰窗口之間的列重疊數(shù)據(jù)復(fù)用,提高了數(shù)據(jù)利用效率。

    第二級(jí)和第三級(jí)是矩陣變換。特征矩陣和權(quán)重矩陣都需要進(jìn)行變換。由于權(quán)重是預(yù)先訓(xùn)練完成的,可以提前變換后保存在DDR 上直接輸入,降低片上資源的占用。因此只需要對(duì)特征矩陣乘上常數(shù)矩陣進(jìn)行變換。

    第四級(jí)是多通道并行乘加。多輸入通道和多輸出通道可以并行相乘,這也是計(jì)算最為集中的環(huán)節(jié)。不同輸入通道的中間結(jié)果累加后才可以得到輸出數(shù)據(jù),為了優(yōu)化時(shí)序,使用加法樹的方式進(jìn)行累加。

    最后經(jīng)過第五級(jí)和第六級(jí)矩陣變換之后,就可以得到8 個(gè)輸出通道的2×2 輸出數(shù)據(jù)。作為中間結(jié)果輸出到緩存模塊暫存。

    以VGG-16 網(wǎng)絡(luò)的第一層卷積為例,當(dāng)輸入圖像為圖8 時(shí),可以得到輸出前8 個(gè)輸出通道結(jié)果以灰度圖展示如圖9。

    圖8 河流圖的遙感圖像Fig.8 Remote sensing image of river map

    圖9 卷積輸出灰度圖Fig.9 Grayscale image of convolution output

    4.4 數(shù)據(jù)累加輸出模塊

    數(shù)據(jù)累加輸出模塊(圖10)獲取到卷積模塊的輸出數(shù)據(jù)后,按照輸出通道不同,暫存在緩存A 的不同Block RAM 中。當(dāng)存儲(chǔ)完一組卷積核的一組輸出結(jié)果后,在下一組結(jié)果輸入前依次讀出,一起輸入加法樹累加后再次存入Block RAM,覆蓋之前的結(jié)果。當(dāng)這組卷積核的全部結(jié)果計(jì)算完成后,切換緩存,使緩存B 繼續(xù)存儲(chǔ)結(jié)果,緩存A 則輸出所有計(jì)算結(jié)果到DDR 中。這種設(shè)計(jì)可以在不中斷數(shù)據(jù)輸入和計(jì)算的同時(shí)輸出結(jié)果,減少了數(shù)據(jù)輸出時(shí)的阻塞時(shí)間。

    圖10 數(shù)據(jù)累加輸出模塊狀態(tài)圖Fig.10 Status diagram of data accumulation output module

    在卷積計(jì)算之后,裁剪了邊緣處的數(shù)據(jù),輸出特征圖像的尺寸會(huì)減小。隨著網(wǎng)絡(luò)層數(shù)的加深,如果不做處理,特征圖像尺寸會(huì)越來(lái)越小,造成信息的丟失。為了防止這一現(xiàn)象,在一層數(shù)據(jù)輸出時(shí)進(jìn)行padding 填充,即對(duì)特征圖像周圍補(bǔ)0。為了減少數(shù)據(jù)傳輸時(shí)間、節(jié)省存儲(chǔ)資源,在設(shè)計(jì)中省略了第一行和最后一行全部數(shù)據(jù)為0 的值,只在中間行的首尾列補(bǔ)0,在特征數(shù)據(jù)窗口讀取時(shí)再補(bǔ)首末行的0。

    5 實(shí)驗(yàn)結(jié)果及分析

    5.1 實(shí)驗(yàn)環(huán)境

    本文的實(shí)驗(yàn)平臺(tái)為Xilinx 公司的ZCU104 開發(fā)板,芯片型號(hào)為XCZU7EV-2FFVC1156。PS 端片外存儲(chǔ)為2 GB 大小的DDR4,PL 端片上存儲(chǔ)為38 Mb 的Block RAM 和Ultra RAM,可以滿足實(shí)驗(yàn)需求。在RTL 代碼編寫完成后,使用Vivado 2018.3 進(jìn)行仿真測(cè)試。在綜合實(shí)現(xiàn)完成后,編寫SDK 程序,燒錄上板進(jìn)行實(shí)驗(yàn)。

    本文基于經(jīng)典的VGG-16 網(wǎng)絡(luò)進(jìn)行了改進(jìn)。VGG-16 網(wǎng)絡(luò)具有提取特征能力強(qiáng),結(jié)構(gòu)清晰簡(jiǎn)單、易于修改的特點(diǎn),且其卷積核尺寸小,全部為3×3,更便于Winograd 算法的應(yīng)用。但是VGG-16 網(wǎng)絡(luò)主 要針對(duì)ImageNet ILSVRC2012 數(shù)據(jù)集進(jìn)行1 000 種標(biāo)簽的分類,為了將其適用于遙感圖像分類的任務(wù)中,使用NWPU-RESISC45 數(shù)據(jù)集對(duì)其進(jìn)行遷移學(xué)習(xí),并修改最后的全連接層輸出為45,對(duì)應(yīng)數(shù)據(jù)集的飛機(jī)、機(jī)場(chǎng)、棒球場(chǎng)、籃球場(chǎng)、沙灘等45 種標(biāo)簽。修改后的VGG-16 網(wǎng)絡(luò)結(jié)構(gòu)如表2 所示。

    表2 修改后的VGG-16 的網(wǎng)絡(luò)結(jié)構(gòu)Tab.2 Revised VGG-16 network structure table

    5.2 性能分析

    設(shè)定加速器時(shí)鐘頻率為200 MHz,經(jīng)綜合實(shí)現(xiàn)后硬件資源占用情況如表3 所示。其中LUT表示片上所有查找表;LUTRAM 表示作為存儲(chǔ)資源使用的查找表;BRAM 和URAM 表示片上的專用塊RAM 存儲(chǔ)器;DSP 則表示片上運(yùn)算單元,主要用于乘法運(yùn)算當(dāng)中。

    表3 硬件資源占用情況Tab.3 Hardware resource usage

    可以看出,加速器使用DSP 資源比例相較LUT 和BRAM 等資源比例較低,原因在于數(shù)據(jù)帶寬限制了數(shù)據(jù)傳輸速度。如果通過提高DSP 使用量的方式繼續(xù)提升加速效果,可以更換硬件資源更豐富、帶寬更大的開發(fā)板平臺(tái)或者使用PL 端的DDR 存儲(chǔ)圖像和權(quán)重?cái)?shù)據(jù)。在時(shí)序穩(wěn)定的前提下,也可以通過提高時(shí)鐘頻率來(lái)獲得更快的加速效果。

    實(shí)驗(yàn)時(shí),首先讀取SD 卡中的權(quán)重?cái)?shù)據(jù)和圖像數(shù)據(jù)到DDR 內(nèi)存上,讀取后的圖像數(shù)據(jù)如圖11所示,位于DDR內(nèi)存的0×1 000 000地址處。

    圖11 圖像數(shù)據(jù)存入DDR 內(nèi)存展示圖Fig.11 Display diagram of image data stored in DDR memory

    硬件實(shí)驗(yàn)平臺(tái)如圖12 所示。讀取圖8 所示圖像后完成計(jì)算,通過串口輸出到上位機(jī)得到圖像分類的標(biāo)簽與分類概率,如圖13 所示。

    圖12 ZCU104 硬件平臺(tái)測(cè)試圖Fig.12 ZCU104 hardware platform test diagram

    在NWPU-RESISC45 數(shù)據(jù)集上驗(yàn)證后得到FPGA 實(shí)現(xiàn)遙感圖像分類的TOP-1 準(zhǔn)確率,與GPU 實(shí)現(xiàn)的準(zhǔn)確率對(duì)比如表4 所示。在精度損失不超過1%的情況下,將網(wǎng)絡(luò)大小壓縮為原大小的28.6%,效果顯著。

    表4 硬件實(shí)現(xiàn)后網(wǎng)絡(luò)精度對(duì)比Tab.4 Comparison of network accuracy after hardware implementation

    將加速器與其他方案的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比,如表5 所示。由于不同的設(shè)計(jì)方案采用的FPGA平臺(tái)不同,因此將計(jì)算效率和能效作為主要性能指標(biāo)進(jìn)行分析。本文提出的加速器與文獻(xiàn)[16]的Caffeine 結(jié)構(gòu)、文獻(xiàn)[17]的Angel-Eye 結(jié)構(gòu)相比,使用了更少的硬件DSP 資源,實(shí)現(xiàn)了更高的計(jì)算吞吐量。與文獻(xiàn)[18]中提出的將乘加樹與脈動(dòng)陣列相結(jié)合的乘加陣列相比,雖然由于硬件規(guī)模不同,在卷積層計(jì)算性能方面存在差距,但是本設(shè)計(jì)在能效比上較為接近,且DSP 計(jì)算效率提升為1.635 倍。

    表5 與現(xiàn)有FPGA 加速方案的對(duì)比Tab.5 Comparison with existing FPGA acceleration schemes

    6 結(jié) 論

    本文提出了一種基于FPGA 的Winograd 算法卷積神經(jīng)網(wǎng)絡(luò)加速器。在卷積算法方面,采用Winograd算法減少乘法運(yùn)算量,并設(shè)計(jì)了輸入數(shù)據(jù)緩存復(fù)用和流水線相結(jié)合的方式,充分復(fù)用了行列間的重疊數(shù)據(jù),提高了傳輸效率。使用8 位定點(diǎn)數(shù)對(duì)權(quán)重和數(shù)據(jù)量化,提高數(shù)據(jù)吞吐速率和加速器計(jì)算效率。經(jīng)過六級(jí)流水線并行卷積計(jì)算之后,得到的數(shù)據(jù)分組循環(huán)累加,降低了片上緩存的占用。在ZCU104開發(fā)板上的實(shí)驗(yàn)表明,加速器卷積層計(jì)算性能達(dá)到了354.5 GOPS,片上DSP 計(jì)算效率達(dá)到0.69,與相關(guān)研究相比,實(shí)現(xiàn)了1.6 倍以上的提升。本設(shè)計(jì)在計(jì)算效率上優(yōu)于其他FPGA加速器設(shè)計(jì)方案,能夠以較高能效完成遙感圖像分類任務(wù)中的硬件加速計(jì)算。

    猜你喜歡
    加速器乘法卷積
    輪滑加速器
    化學(xué)工業(yè)的“加速器”
    算乘法
    我們一起來(lái)學(xué)習(xí)“乘法的初步認(rèn)識(shí)”
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    全民小康路上的“加速器”
    《整式的乘法與因式分解》鞏固練習(xí)
    把加法變成乘法
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    天堂8中文在线网| 国产亚洲一区二区精品| 亚洲成人免费av在线播放| 蜜桃国产av成人99| 国产片内射在线| 久久精品亚洲av国产电影网| a级片在线免费高清观看视频| 曰老女人黄片| 日韩免费高清中文字幕av| 看免费av毛片| 高清av免费在线| 国产精品亚洲av一区麻豆| 国产激情久久老熟女| 人人妻人人添人人爽欧美一区卜| 999精品在线视频| 久久天堂一区二区三区四区| 国产精品偷伦视频观看了| 久久久精品94久久精品| 亚洲成人免费电影在线观看| 精品少妇黑人巨大在线播放| 中文欧美无线码| 正在播放国产对白刺激| 国产亚洲av高清不卡| 国产成人系列免费观看| 欧美激情高清一区二区三区| 熟女少妇亚洲综合色aaa.| 超碰成人久久| 国产精品1区2区在线观看. | 91九色精品人成在线观看| 久热爱精品视频在线9| 成年动漫av网址| 精品免费久久久久久久清纯 | 在线观看舔阴道视频| 中文字幕制服av| 亚洲熟妇熟女久久| 老司机午夜十八禁免费视频| 欧美乱码精品一区二区三区| 欧美在线黄色| 麻豆av在线久日| 亚洲国产中文字幕在线视频| 久久国产精品影院| 天堂动漫精品| 亚洲色图 男人天堂 中文字幕| 亚洲情色 制服丝袜| 亚洲精品成人av观看孕妇| 久久亚洲精品不卡| 在线观看免费日韩欧美大片| 日日夜夜操网爽| 在线亚洲精品国产二区图片欧美| 亚洲精品粉嫩美女一区| 国产成人免费观看mmmm| 在线十欧美十亚洲十日本专区| 国产一区有黄有色的免费视频| 香蕉丝袜av| 国产97色在线日韩免费| 亚洲欧美一区二区三区久久| 午夜福利欧美成人| 日韩人妻精品一区2区三区| 欧美中文综合在线视频| 亚洲专区国产一区二区| avwww免费| 亚洲成人国产一区在线观看| 大型黄色视频在线免费观看| 亚洲精品在线美女| 亚洲午夜精品一区,二区,三区| 精品卡一卡二卡四卡免费| 国产aⅴ精品一区二区三区波| 国产精品欧美亚洲77777| 无人区码免费观看不卡 | 在线十欧美十亚洲十日本专区| 国产片内射在线| 欧美另类亚洲清纯唯美| 91麻豆av在线| 精品福利永久在线观看| 国产精品成人在线| 777米奇影视久久| 免费一级毛片在线播放高清视频 | 91九色精品人成在线观看| 国产亚洲一区二区精品| 免费少妇av软件| 高清视频免费观看一区二区| 一本一本久久a久久精品综合妖精| av视频免费观看在线观看| 在线天堂中文资源库| 国产精品一区二区在线观看99| 国产不卡av网站在线观看| 欧美日本中文国产一区发布| 丝袜美腿诱惑在线| 免费不卡黄色视频| 亚洲第一欧美日韩一区二区三区 | 男人舔女人的私密视频| 精品一品国产午夜福利视频| 搡老岳熟女国产| 美女高潮到喷水免费观看| 天天操日日干夜夜撸| 免费看十八禁软件| 大香蕉久久成人网| 亚洲色图 男人天堂 中文字幕| 中文字幕人妻熟女乱码| 久久ye,这里只有精品| 69av精品久久久久久 | 又紧又爽又黄一区二区| 久久久久久免费高清国产稀缺| 精品国产亚洲在线| 久久久久久久大尺度免费视频| 免费看a级黄色片| 午夜福利乱码中文字幕| 黄色视频不卡| 大型av网站在线播放| 99热网站在线观看| 午夜日韩欧美国产| 老汉色∧v一级毛片| 精品国产一区二区三区四区第35| 国产精品久久久人人做人人爽| 在线观看人妻少妇| 999久久久国产精品视频| 在线观看www视频免费| av线在线观看网站| videos熟女内射| 亚洲成人国产一区在线观看| 人妻一区二区av| 亚洲男人天堂网一区| 人人妻人人爽人人添夜夜欢视频| 宅男免费午夜| 女人久久www免费人成看片| 亚洲视频免费观看视频| 十八禁网站免费在线| 亚洲中文av在线| 国产成人精品无人区| 国产精品久久久久久人妻精品电影 | 美女视频免费永久观看网站| 一区福利在线观看| 中文字幕人妻丝袜制服| 国产一区二区在线观看av| 少妇的丰满在线观看| 青草久久国产| 免费人妻精品一区二区三区视频| a级毛片在线看网站| 欧美日韩一级在线毛片| 高清av免费在线| 咕卡用的链子| 国产日韩欧美视频二区| 99re在线观看精品视频| 老司机影院毛片| 久久免费观看电影| 可以免费在线观看a视频的电影网站| 亚洲精品av麻豆狂野| 亚洲欧美精品综合一区二区三区| 国产精品99久久99久久久不卡| 久久狼人影院| 欧美激情高清一区二区三区| 操出白浆在线播放| 欧美黄色淫秽网站| 精品第一国产精品| 天天躁日日躁夜夜躁夜夜| 蜜桃国产av成人99| 午夜福利乱码中文字幕| 国产精品免费一区二区三区在线 | 亚洲 国产 在线| 一区二区日韩欧美中文字幕| 午夜福利免费观看在线| 夜夜爽天天搞| 日本wwww免费看| 欧美大码av| 国产成+人综合+亚洲专区| 不卡一级毛片| 日本欧美视频一区| 黄色视频不卡| 亚洲精品自拍成人| 操美女的视频在线观看| 91老司机精品| 国产精品国产高清国产av | 日韩免费av在线播放| 他把我摸到了高潮在线观看 | 丝袜美足系列| 另类精品久久| 久久久国产欧美日韩av| 久久久水蜜桃国产精品网| 这个男人来自地球电影免费观看| 亚洲第一欧美日韩一区二区三区 | 悠悠久久av| 80岁老熟妇乱子伦牲交| 精品人妻熟女毛片av久久网站| 在线看a的网站| 久久久久国内视频| 视频区图区小说| 国产日韩一区二区三区精品不卡| 免费在线观看视频国产中文字幕亚洲| 老熟妇仑乱视频hdxx| 在线永久观看黄色视频| 狠狠婷婷综合久久久久久88av| 久久精品成人免费网站| 欧美成人免费av一区二区三区 | 一本色道久久久久久精品综合| 国产在线精品亚洲第一网站| 美女国产高潮福利片在线看| 好男人电影高清在线观看| 日本精品一区二区三区蜜桃| 老鸭窝网址在线观看| 国产精品亚洲av一区麻豆| 黄色毛片三级朝国网站| 国产亚洲av高清不卡| 精品国产一区二区三区四区第35| 日韩视频一区二区在线观看| 一区在线观看完整版| 成人18禁在线播放| 日韩视频在线欧美| 一进一出好大好爽视频| 大陆偷拍与自拍| 免费av中文字幕在线| 伊人久久大香线蕉亚洲五| 99国产精品一区二区蜜桃av | 精品一区二区三区视频在线观看免费 | 91九色精品人成在线观看| 久久天堂一区二区三区四区| 操出白浆在线播放| 一边摸一边抽搐一进一出视频| 欧美日本中文国产一区发布| 久久ye,这里只有精品| 97在线人人人人妻| 欧美日韩一级在线毛片| 成人特级黄色片久久久久久久 | 99精品在免费线老司机午夜| 两个人免费观看高清视频| 日韩有码中文字幕| 亚洲精品在线美女| 中国美女看黄片| 在线观看舔阴道视频| 亚洲第一青青草原| 国产亚洲午夜精品一区二区久久| 欧美av亚洲av综合av国产av| 久久香蕉激情| 一边摸一边做爽爽视频免费| 国产福利在线免费观看视频| 国产亚洲精品一区二区www | 欧美成狂野欧美在线观看| 色综合婷婷激情| 在线观看一区二区三区激情| 国产三级黄色录像| av超薄肉色丝袜交足视频| 日韩大片免费观看网站| 免费av中文字幕在线| 又黄又粗又硬又大视频| 丝袜在线中文字幕| 老熟女久久久| 中文字幕人妻丝袜一区二区| 国产精品av久久久久免费| 免费在线观看黄色视频的| 成人18禁在线播放| 国产成+人综合+亚洲专区| 热re99久久精品国产66热6| 另类亚洲欧美激情| 99国产综合亚洲精品| 亚洲人成电影免费在线| 男男h啪啪无遮挡| 亚洲国产毛片av蜜桃av| 日韩人妻精品一区2区三区| 久久久久久久久免费视频了| 欧美+亚洲+日韩+国产| 一个人免费在线观看的高清视频| 亚洲精品自拍成人| 国产男女内射视频| 国产亚洲一区二区精品| 亚洲精品美女久久久久99蜜臀| 久久香蕉激情| 又黄又粗又硬又大视频| 亚洲精品在线观看二区| 叶爱在线成人免费视频播放| 国产av国产精品国产| av在线播放免费不卡| 一边摸一边抽搐一进一小说 | 日本撒尿小便嘘嘘汇集6| 日韩免费高清中文字幕av| 久久毛片免费看一区二区三区| 天天操日日干夜夜撸| 人人妻人人澡人人看| 国产aⅴ精品一区二区三区波| 国产精品国产高清国产av | 亚洲 国产 在线| 亚洲精品国产精品久久久不卡| 国产精品美女特级片免费视频播放器 | 啦啦啦 在线观看视频| 精品久久蜜臀av无| 自线自在国产av| 国产精品成人在线| 国产亚洲一区二区精品| 汤姆久久久久久久影院中文字幕| 欧美日韩精品网址| 最近最新中文字幕大全免费视频| 国产精品久久久久成人av| 久久精品人人爽人人爽视色| 丰满迷人的少妇在线观看| h视频一区二区三区| 首页视频小说图片口味搜索| 国产亚洲精品第一综合不卡| av片东京热男人的天堂| 精品人妻1区二区| 午夜精品久久久久久毛片777| 亚洲专区国产一区二区| 最近最新免费中文字幕在线| 久久精品亚洲熟妇少妇任你| 性色av乱码一区二区三区2| 亚洲中文日韩欧美视频| 成人免费观看视频高清| 91精品国产国语对白视频| 日本精品一区二区三区蜜桃| 青青草视频在线视频观看| 少妇被粗大的猛进出69影院| 国产精品 欧美亚洲| 波多野结衣av一区二区av| 三级毛片av免费| 亚洲国产欧美日韩在线播放| 久久久国产成人免费| 一区二区三区激情视频| 色精品久久人妻99蜜桃| 变态另类成人亚洲欧美熟女 | 99九九在线精品视频| 午夜福利视频在线观看免费| 成在线人永久免费视频| av网站在线播放免费| 精品少妇内射三级| 老熟女久久久| 欧美激情 高清一区二区三区| 交换朋友夫妻互换小说| 亚洲成a人片在线一区二区| 无限看片的www在线观看| 国产在线视频一区二区| 日日夜夜操网爽| 亚洲,欧美精品.| 亚洲欧洲日产国产| 欧美变态另类bdsm刘玥| 免费av中文字幕在线| avwww免费| 亚洲成国产人片在线观看| 人人妻,人人澡人人爽秒播| 国产精品美女特级片免费视频播放器 | 91av网站免费观看| av不卡在线播放| 免费观看人在逋| 99久久99久久久精品蜜桃| 女人久久www免费人成看片| 香蕉国产在线看| 精品福利观看| 纵有疾风起免费观看全集完整版| 午夜激情av网站| 亚洲黑人精品在线| 亚洲精品一卡2卡三卡4卡5卡| 国产精品久久久久久人妻精品电影 | 国产在线视频一区二区| 中文字幕av电影在线播放| 欧美日本中文国产一区发布| 国产成人免费无遮挡视频| 久久久水蜜桃国产精品网| 午夜免费鲁丝| 亚洲中文av在线| 啦啦啦视频在线资源免费观看| 久久av网站| 色尼玛亚洲综合影院| 久热这里只有精品99| 国产精品久久电影中文字幕 | 99在线人妻在线中文字幕 | 大型黄色视频在线免费观看| 一区二区av电影网| 嫩草影视91久久| 国产成人av教育| 嫩草影视91久久| 久久久精品国产亚洲av高清涩受| 丁香六月天网| 人妻久久中文字幕网| 久久国产精品男人的天堂亚洲| 精品欧美一区二区三区在线| 国产主播在线观看一区二区| 国产高清国产精品国产三级| 亚洲久久久国产精品| 久久久久久久久免费视频了| 国产欧美亚洲国产| 王馨瑶露胸无遮挡在线观看| 狠狠婷婷综合久久久久久88av| 高清欧美精品videossex| 香蕉丝袜av| 99国产精品一区二区三区| 性色av乱码一区二区三区2| 欧美性长视频在线观看| 天天操日日干夜夜撸| 成年版毛片免费区| 高清毛片免费观看视频网站 | av天堂久久9| 考比视频在线观看| 久久人妻av系列| 高清视频免费观看一区二区| 国产成人免费无遮挡视频| 91成年电影在线观看| 国产成人精品久久二区二区免费| 肉色欧美久久久久久久蜜桃| 欧美日韩精品网址| 久久精品亚洲av国产电影网| 999久久久国产精品视频| 三级毛片av免费| 亚洲 国产 在线| 1024视频免费在线观看| 成人影院久久| 国产视频一区二区在线看| 国产在线视频一区二区| 亚洲成国产人片在线观看| 国产视频一区二区在线看| 亚洲精品美女久久久久99蜜臀| 丝袜人妻中文字幕| 人人妻人人添人人爽欧美一区卜| 国产精品久久久久久精品古装| 午夜福利,免费看| 欧美亚洲 丝袜 人妻 在线| 免费久久久久久久精品成人欧美视频| 麻豆成人av在线观看| 高清视频免费观看一区二区| 精品福利永久在线观看| 亚洲国产中文字幕在线视频| 9热在线视频观看99| 日韩欧美一区二区三区在线观看 | 99国产精品免费福利视频| 亚洲国产欧美一区二区综合| 成人影院久久| 蜜桃国产av成人99| 久久亚洲真实| 亚洲色图综合在线观看| 人妻 亚洲 视频| 成人国产av品久久久| 18禁美女被吸乳视频| 啦啦啦在线免费观看视频4| 两个人免费观看高清视频| 老鸭窝网址在线观看| 啦啦啦在线免费观看视频4| 国产精品国产av在线观看| 香蕉国产在线看| 男男h啪啪无遮挡| 国产真人三级小视频在线观看| 一边摸一边抽搐一进一小说 | 亚洲欧美一区二区三区久久| 亚洲男人天堂网一区| 欧美国产精品一级二级三级| 亚洲美女黄片视频| 99久久精品国产亚洲精品| 波多野结衣av一区二区av| 免费久久久久久久精品成人欧美视频| 1024香蕉在线观看| 91老司机精品| 久久久国产精品麻豆| 我要看黄色一级片免费的| av网站免费在线观看视频| 亚洲精品成人av观看孕妇| 一区在线观看完整版| av天堂在线播放| av又黄又爽大尺度在线免费看| 国产av一区二区精品久久| 人人澡人人妻人| av不卡在线播放| 久久精品国产亚洲av高清一级| 老司机在亚洲福利影院| 后天国语完整版免费观看| 老熟女久久久| 美女扒开内裤让男人捅视频| www.999成人在线观看| 9191精品国产免费久久| av网站免费在线观看视频| 精品国产超薄肉色丝袜足j| 热99re8久久精品国产| tube8黄色片| 久久久精品94久久精品| 亚洲精品国产精品久久久不卡| 久久精品亚洲精品国产色婷小说| 国产黄色免费在线视频| 大型黄色视频在线免费观看| 午夜激情久久久久久久| 人人妻人人爽人人添夜夜欢视频| 午夜91福利影院| 国产精品久久久久久人妻精品电影 | 久久中文字幕一级| 亚洲专区国产一区二区| 别揉我奶头~嗯~啊~动态视频| videos熟女内射| 一级毛片电影观看| 亚洲男人天堂网一区| 欧美久久黑人一区二区| 宅男免费午夜| 成人三级做爰电影| 亚洲伊人色综图| 久久性视频一级片| 另类精品久久| 无人区码免费观看不卡 | 久久九九热精品免费| 一级黄色大片毛片| 久久中文字幕一级| 9191精品国产免费久久| 99精国产麻豆久久婷婷| 国产精品98久久久久久宅男小说| 欧美日韩福利视频一区二区| 国产真人三级小视频在线观看| 国产一区二区 视频在线| 亚洲精品粉嫩美女一区| 岛国在线观看网站| 亚洲黑人精品在线| 亚洲午夜精品一区,二区,三区| 国产在线视频一区二区| 黑人欧美特级aaaaaa片| 国产一卡二卡三卡精品| 久久久久精品国产欧美久久久| 成人国产一区最新在线观看| 波多野结衣av一区二区av| 一级片免费观看大全| 精品卡一卡二卡四卡免费| 亚洲,欧美精品.| 91大片在线观看| av有码第一页| 亚洲色图av天堂| 中文字幕人妻熟女乱码| 午夜福利欧美成人| 国产精品电影一区二区三区 | 一本—道久久a久久精品蜜桃钙片| 91麻豆精品激情在线观看国产 | 国产99久久九九免费精品| 一夜夜www| 欧美日韩黄片免| 少妇的丰满在线观看| 午夜福利一区二区在线看| 91精品国产国语对白视频| 天天操日日干夜夜撸| 国产高清视频在线播放一区| 熟女少妇亚洲综合色aaa.| 在线天堂中文资源库| 在线 av 中文字幕| 在线观看免费午夜福利视频| 在线观看免费视频网站a站| 啦啦啦在线免费观看视频4| 久久久久久久精品吃奶| 欧美日韩亚洲高清精品| 免费久久久久久久精品成人欧美视频| 国产三级黄色录像| 九色亚洲精品在线播放| 国产精品秋霞免费鲁丝片| 少妇被粗大的猛进出69影院| netflix在线观看网站| 又大又爽又粗| 亚洲成人免费av在线播放| 黑人欧美特级aaaaaa片| 性色av乱码一区二区三区2| 欧美日韩黄片免| 亚洲国产欧美在线一区| 亚洲精品粉嫩美女一区| 水蜜桃什么品种好| 三级毛片av免费| 久久久欧美国产精品| 91九色精品人成在线观看| 嫁个100分男人电影在线观看| 精品亚洲成国产av| 人人妻人人添人人爽欧美一区卜| 男女免费视频国产| 飞空精品影院首页| 国产成人啪精品午夜网站| 久久精品人人爽人人爽视色| 久久国产精品影院| 最新在线观看一区二区三区| 中文字幕人妻丝袜一区二区| 在线 av 中文字幕| 黄色片一级片一级黄色片| 久久久欧美国产精品| 一本久久精品| 国产欧美日韩一区二区精品| 在线观看免费视频网站a站| 热re99久久国产66热| 99riav亚洲国产免费| 丝袜喷水一区| 亚洲 欧美一区二区三区| 电影成人av| 97在线人人人人妻| 精品一区二区三区av网在线观看 | 欧美日韩国产mv在线观看视频| 桃红色精品国产亚洲av| 丁香欧美五月| 国产1区2区3区精品| 一边摸一边抽搐一进一小说 | 最近最新中文字幕大全免费视频| 久久久久久久国产电影| 欧美精品av麻豆av| 天堂中文最新版在线下载| 在线亚洲精品国产二区图片欧美| 久久久久精品国产欧美久久久| 91av网站免费观看| 午夜视频精品福利| 久久久久精品国产欧美久久久| 91av网站免费观看| 纯流量卡能插随身wifi吗| 正在播放国产对白刺激| 国产亚洲精品久久久久5区| 国产高清视频在线播放一区| 丰满人妻熟妇乱又伦精品不卡| 久久中文字幕一级| 女人被躁到高潮嗷嗷叫费观| 在线播放国产精品三级| 狠狠婷婷综合久久久久久88av| 国产高清视频在线播放一区| 黄色丝袜av网址大全| 黄频高清免费视频| 亚洲全国av大片| 最近最新中文字幕大全电影3 | 国产欧美日韩一区二区精品| 久久精品国产亚洲av香蕉五月 | 免费少妇av软件| 热re99久久国产66热| 国产色视频综合| 国产高清激情床上av| 免费一级毛片在线播放高清视频 | 欧美精品人与动牲交sv欧美| 在线观看免费视频日本深夜| 69精品国产乱码久久久| 国产高清视频在线播放一区| 亚洲国产av新网站|