• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于FPGA 的Winograd 算法卷積神經(jīng)網(wǎng)絡(luò)加速器設(shè)計(jì)與實(shí)現(xiàn)

    2023-11-18 12:12:58牛朝旭孫海江
    液晶與顯示 2023年11期
    關(guān)鍵詞:加速器乘法卷積

    牛朝旭,孫海江*

    (1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,吉林 長(zhǎng)春 130033;2.中國(guó)科學(xué)院大學(xué),北京 100049)

    1 引 言

    卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于許多深度學(xué)習(xí)系統(tǒng)中,并在全息圖像重建[1]、光學(xué)計(jì)量[2]和自動(dòng)駕駛[3]等多種計(jì)算機(jī)視覺任務(wù)中取得了顯著的成效。為了達(dá)到更高的精度,一些研究引入了多尺度特征增強(qiáng)[4]、弱光照?qǐng)D像增強(qiáng)[5]以及RGB-D 特征融合[6]等更為復(fù)雜的算法,使得網(wǎng)絡(luò)計(jì)算復(fù)雜度和模型規(guī)模也更為龐大,進(jìn)而導(dǎo)致了計(jì)算功耗的提升[7]。在一些低功耗的應(yīng)用場(chǎng)景中,如星上AI 計(jì)算、遙感圖像在軌處理等,常規(guī)的硬件平臺(tái)部署卷積神經(jīng)網(wǎng)絡(luò)十分困難[8]:通用的中央處理器(Central Processing Unit,CPU)無(wú)法滿足卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算需求;圖形處理器(Graphic Processing Units,GPU)功耗太高,無(wú)法應(yīng)用于嵌入式環(huán)境;專用集成電路(Application Specific Integrated Circuit,ASIC)成本高昂且通用性差。與之相比,計(jì)算并行度高、功耗低、可重復(fù)編程的現(xiàn)場(chǎng)可編程門陣列(Field Programmable Gate Array,F(xiàn)PGA)更適合應(yīng)用于星上智能計(jì)算、在軌目標(biāo)識(shí)別等低功耗環(huán)境下的卷積神經(jīng)網(wǎng)絡(luò)的硬件加速中。

    傳統(tǒng)的空間卷積算法通過循環(huán)展開、并行計(jì)算的方法進(jìn)行加速計(jì)算,在早期被人們廣泛使用,如脈動(dòng)陣列[9]、層集群并行映射方法[10]等加速方法被先后提出。隨著卷積神經(jīng)網(wǎng)絡(luò)的層次變深、卷積核尺寸變小,傳統(tǒng)的卷積方法在卷積效率上已經(jīng)逐漸落后,快速卷積算法顯現(xiàn)出它的優(yōu)勢(shì)。文獻(xiàn)[11]將快速傅里葉變換FFT 算法應(yīng)用于卷積中以加速計(jì)算,但此方法只對(duì)大尺寸卷積核具有良好的加速效果,否則其轉(zhuǎn)換過程會(huì)引入大量補(bǔ)零操作,得不償失。文獻(xiàn)[12]提出在卷積計(jì)算中使用Winograd 算法降低計(jì)算復(fù)雜度。Winograd 算法是通過對(duì)輸入特征矩陣和權(quán)重矩陣做線性變換后再求哈達(dá)瑪積,減少了乘法次數(shù),實(shí)現(xiàn)了硬件上計(jì)算效率的提升。文獻(xiàn)[13]提出在FPGA 上使用行緩存結(jié)構(gòu)提高Winograd 算法切片之間的行數(shù)據(jù)重用。文獻(xiàn)[14]提出雙緩沖區(qū)5×5 流水線卷積方法。但是上述文獻(xiàn)并沒有充分復(fù)用重疊數(shù)據(jù),也沒有在目前使用廣泛的小卷積核網(wǎng)絡(luò)上充分發(fā)揮FPGA 低功耗的特性。

    本文設(shè)計(jì)了一種Winograd 算法卷積神經(jīng)網(wǎng)絡(luò)加速器。首先設(shè)計(jì)了輸入數(shù)據(jù)緩存復(fù)用模塊,結(jié)合行緩存和列緩存重疊數(shù)據(jù),最大化重用了片上數(shù)據(jù),減少了頻繁數(shù)據(jù)搬運(yùn)的開銷。針對(duì)FPGA并行運(yùn)算特性,設(shè)計(jì)多通道并行Winograd 卷積運(yùn)算陣列,并將卷積過程分解為六級(jí)流水線,提高了運(yùn)算效率和吞吐量。為了提升計(jì)算速度和數(shù)據(jù)傳輸速度,使用權(quán)重8 位定點(diǎn)數(shù)(INT8)量化的方式來(lái)壓縮模型,數(shù)據(jù)量減少到1/4。最后針對(duì)遙感圖像分類數(shù)據(jù)集修改VGG16 網(wǎng)絡(luò),將加速器部署至ZCU104 平臺(tái)進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,本設(shè)計(jì)相比其他FPGA 設(shè)計(jì)方案在功耗和計(jì)算效率上都有一定的提升。

    2 Winograd 算法

    文獻(xiàn)[15]提出的Winograd 算法可以用于減少有限脈沖響應(yīng)(Finite Impulse Response,F(xiàn)IR)濾波器的乘法次數(shù),之后被應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)加速中以減少乘法數(shù)量的方式來(lái)提升計(jì)算速度。在一維Winograd 卷積計(jì)算中,設(shè)卷積核尺寸為r,卷積結(jié)果輸出長(zhǎng)度為m,則一維Winograd 卷積計(jì)算公式F(m,r)需要的乘法數(shù)量為m+r-1,而傳統(tǒng)卷積為m×r??梢钥闯觯?dāng)r和m都大于1時(shí),Winograd 卷積乘法數(shù)量更少。

    以F(2,3)為例,用d=[d0d1d2d3]T表示輸入向量,g=[g0g1g2]T表示卷積核,r=[r0r1]T表示輸出向量,其計(jì)算過程可以表示為:

    因此可知,普通卷積需要6 次乘法和4 次加法,即:

    而F(2,3)的Winograd 卷積可寫成如下矩陣乘法形式:

    其中m0、m1、m2、m3計(jì)算如下:

    其中,輸入信號(hào)d的變換需要4 次加法。而對(duì)于卷積神經(jīng)網(wǎng)絡(luò)推理階段的卷積核g,其數(shù)值是固定的,其變換可以預(yù)先計(jì)算好進(jìn)行存儲(chǔ),同時(shí)其中的除2 操作可以用位移代替,所以計(jì)算需求可以忽略。輸出項(xiàng)r還需要中間項(xiàng)m進(jìn)行4 次乘法和4 次加法,所以F(2,3)的Winograd 乘法數(shù)量為4 次、加法數(shù)量為8 次。相較于傳統(tǒng)卷積,以加法為代價(jià),節(jié)省了33%的乘法數(shù),考慮到在硬件實(shí)現(xiàn)的乘法的實(shí)現(xiàn)成本遠(yuǎn)高于加法。因此使用Winograd 算法能夠提升運(yùn)算速度。

    上述計(jì)算可以整理為如下的矩陣形式:

    一維Winograd 卷積推廣到二維Winograd 卷積,可得到如下矩陣形式:

    其中W和In 是輸入數(shù)據(jù),Out 是輸出結(jié)果。AT、G、BT都是常數(shù)矩陣,在F(22,32)時(shí)為:

    Winograd 卷積計(jì)算F(22,32)的過程如圖1 所示。一次F(22,32)卷積計(jì)算可以將乘法數(shù)從36次降低為16 次,計(jì)算效率提升了2.25 倍。

    圖1 Winograd 卷積過程示意圖Fig.1 Schematic diagram of Winograd convolution process

    3 卷積神經(jīng)網(wǎng)絡(luò)加速器的構(gòu)成

    卷積神經(jīng)網(wǎng)絡(luò)加速器的整體架構(gòu)如圖2 所示。因?yàn)榛赯YNQ 平臺(tái),所以分為可編程邏輯(Progarmmable Logic,PL)端和處 理系統(tǒng)(Processing System,PS)端兩部分。PL 端負(fù)責(zé)計(jì)算卷積神經(jīng)網(wǎng)絡(luò)的卷積、池化、全連接等相關(guān)層,PS 端負(fù)責(zé)控制PL 端的運(yùn)行以及傳輸數(shù)據(jù)。兩部分主要通過AXI-DMA 進(jìn)行數(shù)據(jù)交互,并使用AXI-FIFO起到對(duì)數(shù)據(jù)流緩沖的作用,防止數(shù)據(jù)接收不及時(shí)造成的數(shù)據(jù)丟失。

    圖2 卷積神經(jīng)網(wǎng)絡(luò)加速器硬件架構(gòu)圖Fig.2 Hardware architecture diagram of convolutional neural network accelerator

    PS 端讀取SD 卡中的權(quán)重?cái)?shù)據(jù)和特征數(shù)據(jù)到DDR 內(nèi)存,通過寫寄存器控制當(dāng)前PL 端運(yùn)行網(wǎng)絡(luò)的層數(shù)。之后開始計(jì)算,通過AXI-DMA 使用AXI-Stream 總線向PL 端寫入DDR 上的數(shù)據(jù),緩存至特征數(shù)據(jù)緩存模塊或權(quán)重?cái)?shù)據(jù)緩存模塊。在卷積層中,將卷積計(jì)算按照并行計(jì)算方式循環(huán)展開,之后根據(jù)計(jì)算窗口位置的不同,輸出數(shù)據(jù)到六級(jí)流水線卷積層,得到中間計(jì)算結(jié)果后累加緩存,完成整幅輸出通道的計(jì)算后經(jīng)AXI-DMA輸出數(shù)據(jù)到DDR 上,作為下一層特征數(shù)據(jù)存儲(chǔ)。依此類推,直至完成網(wǎng)絡(luò)全部層的計(jì)算,得到輸出結(jié)果。

    4 卷積神經(jīng)網(wǎng)絡(luò)加速器設(shè)計(jì)

    4.1 硬件8 位定點(diǎn)數(shù)量化

    32 位浮點(diǎn)數(shù)在FPGA 上進(jìn)行乘加運(yùn)算時(shí)會(huì)消耗更多的片上資源,占用更多的位寬。為了提高數(shù)據(jù)吞吐速率和加速器計(jì)算效率,可以使用量化后的8 位定點(diǎn)數(shù),在精度損失不大的情況下達(dá)到壓縮模型的目的。為了更適合FPGA 硬件電路實(shí)現(xiàn),本文選擇了線性對(duì)稱且逐層的量化方式。

    量化的過程就是放縮的過程。將32 位浮點(diǎn)數(shù)的數(shù)值范圍線性縮小到8 位定點(diǎn)數(shù)的數(shù)值范圍,就得到了INT8 的權(quán)重?cái)?shù)據(jù)。其量化公式如式(11)所示:其中:x表示32 位浮點(diǎn)數(shù)據(jù),scale 表示縮放比例,zero_point 表示映射零點(diǎn)偏移,round 表示四舍五入的取整操作。因?yàn)椴捎脤?duì)稱式量化,所以zero_point 為0。通過KL 散度校準(zhǔn)訓(xùn)練可以得到最優(yōu)縮放比例,提升量化后精度。VGG16 網(wǎng)絡(luò)逐層量化后的部分結(jié)果如表1 所示,可以看到量化后結(jié)果全部為整數(shù),且縮放比例均為2 的整數(shù)冪,可以通過移位實(shí)現(xiàn)縮放,易于在硬件上實(shí)現(xiàn)8 位定點(diǎn)數(shù)量化。

    表1 VGG-16 網(wǎng)絡(luò)量化后的部分結(jié)果Tab.1 Partial results after quantification of VGG-16 network

    硬件量化流程如圖3 所示。將32 位浮點(diǎn)數(shù)權(quán)重經(jīng)過訓(xùn)練后量化,可以得到8 位定點(diǎn)權(quán)重,與8 位定點(diǎn)特征數(shù)據(jù)卷積后,擴(kuò)展位寬到16 位。經(jīng)過多通道累加,輸出數(shù)據(jù)位寬擴(kuò)展到32 位。之后累加上偏置,利用移位量化得到下一層計(jì)算所需的8 位定點(diǎn)特征數(shù)據(jù)。為減小誤差,移位量化時(shí)對(duì)需要舍去的小數(shù)位采用向偶數(shù)進(jìn)位的模式。

    圖3 硬件量化流程圖Fig.3 Diagram of hardware quantification flow

    4.2 輸入數(shù)據(jù)緩存復(fù)用模塊

    FPGA 的存儲(chǔ)資源可以分為片上存儲(chǔ)和片外存儲(chǔ)兩種。片上存儲(chǔ)主要是Block RAM,它存儲(chǔ)和讀取的速度快,但是容量小,無(wú)法將網(wǎng)絡(luò)權(quán)重?cái)?shù)據(jù)全部保存在片上,只能夠?qū)⑵浯嬗谄獯鎯?chǔ)DDR 中,再分批輸入到片上進(jìn)行計(jì)算。

    卷積計(jì)算時(shí)一個(gè)輸出通道的結(jié)果需要累加全部輸入通道的中間計(jì)算結(jié)果。為了減少片上緩存的占用,采用輸入通道切片的方式處理特征數(shù)據(jù)。計(jì)算完成一組輸出通道對(duì)應(yīng)的全部輸入通道切片后,再切換到下一組輸出通道。

    切片卷積的整體流程如圖4 所示。開始某一卷積層計(jì)算后,循環(huán)完成部分卷積核的切片卷積計(jì)算。待部分卷積核的全部層卷積完成后,更換卷積核繼續(xù)進(jìn)行循環(huán)卷積,直至全部卷積核都已運(yùn)算完成,結(jié)束當(dāng)前卷積層運(yùn)算。

    圖4 切片卷積流程圖Fig.4 Slice convolution flow chart

    為了便于不同輸入通道同時(shí)計(jì)算,使用特征數(shù)據(jù)融合設(shè)計(jì)。原輸入順序是輸入第一通道后再輸入下一通道,這種方式需要將全部數(shù)據(jù)輸入完成后才可開始計(jì)算,占用較多的存儲(chǔ)空間。而經(jīng)過數(shù)據(jù)融合,可以將同一位置的4 個(gè)輸入通道數(shù)據(jù)組合傳輸,如圖5 所示。這種設(shè)計(jì)可以充分利用輸入數(shù)據(jù)位寬,在得到中間結(jié)果后,不需要暫存中間數(shù)據(jù)就可以完成結(jié)果累加,減少了片上緩存的占用。

    圖5 特征數(shù)據(jù)融合設(shè)計(jì)圖Fig.5 Design drawing of feature data fusion

    在輸入數(shù)據(jù)緩存復(fù)用模塊中,因?yàn)閃inograd卷積的特殊性,輸出窗口大小為4×4,步長(zhǎng)為2。這就導(dǎo)致相鄰窗口間有步長(zhǎng)為2 的數(shù)據(jù)重疊。為了復(fù)用行重疊數(shù)據(jù),本文設(shè)計(jì)了循環(huán)復(fù)用的輸入數(shù)據(jù)緩存模塊,如圖6 所示。設(shè)置6 個(gè)Block RAM,每個(gè)存儲(chǔ)一行特征數(shù)據(jù)。數(shù)據(jù)以128 bit 位寬順序?qū)懭?,?dāng)寫入完成前4 個(gè)Block RAM 后,在寫入第5 個(gè)Block RAM 的同時(shí),并行輸出前4 個(gè)Block RAM。當(dāng)Block RAM 數(shù)據(jù)全部輸出后,第5、6 個(gè)Block RAM 也完成寫入,此時(shí)在寫入第1 個(gè)Block RAM 的同時(shí),復(fù)用第3、4 個(gè)Block RAM 數(shù)據(jù),并行輸出后4 個(gè)Block RAM。依此交替,3 個(gè)狀態(tài)構(gòu)成循環(huán)的一個(gè)周期。在降低片上存儲(chǔ)占用的同時(shí),實(shí)現(xiàn)了串并轉(zhuǎn)換和行數(shù)據(jù)復(fù)用。

    圖6 輸入數(shù)據(jù)緩存復(fù)用模塊示意圖Fig.6 Schematic diagram of input data buffer reuse module

    4.3 Winograd 流水線卷積模塊

    卷積計(jì)算存在內(nèi)部的并行性,分別是行并行、列并行、輸入通道并行、輸出通道并行和核內(nèi)并行。從算法層面看,這5 種并行方式可以任意組合先后順序。但從硬件實(shí)現(xiàn)的角度,合理的并行計(jì)算方式可以節(jié)省片上資源,提高計(jì)算效率。經(jīng)分析,本文選擇使用4 輸入通道并行、8 輸出通道并行、核內(nèi)16 并行度的方式進(jìn)行卷積計(jì)算。

    Winograd 卷積需要逐步計(jì)算完成,采用流水線的設(shè)計(jì)方式可以提高計(jì)算效率。卷積模塊共分為六級(jí)流水線,其結(jié)構(gòu)如圖7 所示。

    圖7 六級(jí)流水線卷積設(shè)計(jì)圖Fig.7 Convolution design drawing of six stage assembly line

    第一級(jí)是列數(shù)據(jù)復(fù)用組合輸出。模塊接收并暫存輸入數(shù)據(jù)緩存模塊輸出的4×2 數(shù)據(jù),即圖中的灰色數(shù)據(jù)塊。等下一周期橙色數(shù)據(jù)塊輸入后,組合為4×4 窗口大小輸出到第二級(jí),便于下一級(jí)進(jìn)行Winograd 矩陣變換。暫存數(shù)據(jù)也替換為橙色數(shù)據(jù)塊。下一周期綠色數(shù)據(jù)塊輸入后再次組合輸出,如此循環(huán)往復(fù)。緩存的4 行2 列數(shù)據(jù)每周期切換,實(shí)現(xiàn)了相鄰窗口之間的列重疊數(shù)據(jù)復(fù)用,提高了數(shù)據(jù)利用效率。

    第二級(jí)和第三級(jí)是矩陣變換。特征矩陣和權(quán)重矩陣都需要進(jìn)行變換。由于權(quán)重是預(yù)先訓(xùn)練完成的,可以提前變換后保存在DDR 上直接輸入,降低片上資源的占用。因此只需要對(duì)特征矩陣乘上常數(shù)矩陣進(jìn)行變換。

    第四級(jí)是多通道并行乘加。多輸入通道和多輸出通道可以并行相乘,這也是計(jì)算最為集中的環(huán)節(jié)。不同輸入通道的中間結(jié)果累加后才可以得到輸出數(shù)據(jù),為了優(yōu)化時(shí)序,使用加法樹的方式進(jìn)行累加。

    最后經(jīng)過第五級(jí)和第六級(jí)矩陣變換之后,就可以得到8 個(gè)輸出通道的2×2 輸出數(shù)據(jù)。作為中間結(jié)果輸出到緩存模塊暫存。

    以VGG-16 網(wǎng)絡(luò)的第一層卷積為例,當(dāng)輸入圖像為圖8 時(shí),可以得到輸出前8 個(gè)輸出通道結(jié)果以灰度圖展示如圖9。

    圖8 河流圖的遙感圖像Fig.8 Remote sensing image of river map

    圖9 卷積輸出灰度圖Fig.9 Grayscale image of convolution output

    4.4 數(shù)據(jù)累加輸出模塊

    數(shù)據(jù)累加輸出模塊(圖10)獲取到卷積模塊的輸出數(shù)據(jù)后,按照輸出通道不同,暫存在緩存A 的不同Block RAM 中。當(dāng)存儲(chǔ)完一組卷積核的一組輸出結(jié)果后,在下一組結(jié)果輸入前依次讀出,一起輸入加法樹累加后再次存入Block RAM,覆蓋之前的結(jié)果。當(dāng)這組卷積核的全部結(jié)果計(jì)算完成后,切換緩存,使緩存B 繼續(xù)存儲(chǔ)結(jié)果,緩存A 則輸出所有計(jì)算結(jié)果到DDR 中。這種設(shè)計(jì)可以在不中斷數(shù)據(jù)輸入和計(jì)算的同時(shí)輸出結(jié)果,減少了數(shù)據(jù)輸出時(shí)的阻塞時(shí)間。

    圖10 數(shù)據(jù)累加輸出模塊狀態(tài)圖Fig.10 Status diagram of data accumulation output module

    在卷積計(jì)算之后,裁剪了邊緣處的數(shù)據(jù),輸出特征圖像的尺寸會(huì)減小。隨著網(wǎng)絡(luò)層數(shù)的加深,如果不做處理,特征圖像尺寸會(huì)越來(lái)越小,造成信息的丟失。為了防止這一現(xiàn)象,在一層數(shù)據(jù)輸出時(shí)進(jìn)行padding 填充,即對(duì)特征圖像周圍補(bǔ)0。為了減少數(shù)據(jù)傳輸時(shí)間、節(jié)省存儲(chǔ)資源,在設(shè)計(jì)中省略了第一行和最后一行全部數(shù)據(jù)為0 的值,只在中間行的首尾列補(bǔ)0,在特征數(shù)據(jù)窗口讀取時(shí)再補(bǔ)首末行的0。

    5 實(shí)驗(yàn)結(jié)果及分析

    5.1 實(shí)驗(yàn)環(huán)境

    本文的實(shí)驗(yàn)平臺(tái)為Xilinx 公司的ZCU104 開發(fā)板,芯片型號(hào)為XCZU7EV-2FFVC1156。PS 端片外存儲(chǔ)為2 GB 大小的DDR4,PL 端片上存儲(chǔ)為38 Mb 的Block RAM 和Ultra RAM,可以滿足實(shí)驗(yàn)需求。在RTL 代碼編寫完成后,使用Vivado 2018.3 進(jìn)行仿真測(cè)試。在綜合實(shí)現(xiàn)完成后,編寫SDK 程序,燒錄上板進(jìn)行實(shí)驗(yàn)。

    本文基于經(jīng)典的VGG-16 網(wǎng)絡(luò)進(jìn)行了改進(jìn)。VGG-16 網(wǎng)絡(luò)具有提取特征能力強(qiáng),結(jié)構(gòu)清晰簡(jiǎn)單、易于修改的特點(diǎn),且其卷積核尺寸小,全部為3×3,更便于Winograd 算法的應(yīng)用。但是VGG-16 網(wǎng)絡(luò)主 要針對(duì)ImageNet ILSVRC2012 數(shù)據(jù)集進(jìn)行1 000 種標(biāo)簽的分類,為了將其適用于遙感圖像分類的任務(wù)中,使用NWPU-RESISC45 數(shù)據(jù)集對(duì)其進(jìn)行遷移學(xué)習(xí),并修改最后的全連接層輸出為45,對(duì)應(yīng)數(shù)據(jù)集的飛機(jī)、機(jī)場(chǎng)、棒球場(chǎng)、籃球場(chǎng)、沙灘等45 種標(biāo)簽。修改后的VGG-16 網(wǎng)絡(luò)結(jié)構(gòu)如表2 所示。

    表2 修改后的VGG-16 的網(wǎng)絡(luò)結(jié)構(gòu)Tab.2 Revised VGG-16 network structure table

    5.2 性能分析

    設(shè)定加速器時(shí)鐘頻率為200 MHz,經(jīng)綜合實(shí)現(xiàn)后硬件資源占用情況如表3 所示。其中LUT表示片上所有查找表;LUTRAM 表示作為存儲(chǔ)資源使用的查找表;BRAM 和URAM 表示片上的專用塊RAM 存儲(chǔ)器;DSP 則表示片上運(yùn)算單元,主要用于乘法運(yùn)算當(dāng)中。

    表3 硬件資源占用情況Tab.3 Hardware resource usage

    可以看出,加速器使用DSP 資源比例相較LUT 和BRAM 等資源比例較低,原因在于數(shù)據(jù)帶寬限制了數(shù)據(jù)傳輸速度。如果通過提高DSP 使用量的方式繼續(xù)提升加速效果,可以更換硬件資源更豐富、帶寬更大的開發(fā)板平臺(tái)或者使用PL 端的DDR 存儲(chǔ)圖像和權(quán)重?cái)?shù)據(jù)。在時(shí)序穩(wěn)定的前提下,也可以通過提高時(shí)鐘頻率來(lái)獲得更快的加速效果。

    實(shí)驗(yàn)時(shí),首先讀取SD 卡中的權(quán)重?cái)?shù)據(jù)和圖像數(shù)據(jù)到DDR 內(nèi)存上,讀取后的圖像數(shù)據(jù)如圖11所示,位于DDR內(nèi)存的0×1 000 000地址處。

    圖11 圖像數(shù)據(jù)存入DDR 內(nèi)存展示圖Fig.11 Display diagram of image data stored in DDR memory

    硬件實(shí)驗(yàn)平臺(tái)如圖12 所示。讀取圖8 所示圖像后完成計(jì)算,通過串口輸出到上位機(jī)得到圖像分類的標(biāo)簽與分類概率,如圖13 所示。

    圖12 ZCU104 硬件平臺(tái)測(cè)試圖Fig.12 ZCU104 hardware platform test diagram

    在NWPU-RESISC45 數(shù)據(jù)集上驗(yàn)證后得到FPGA 實(shí)現(xiàn)遙感圖像分類的TOP-1 準(zhǔn)確率,與GPU 實(shí)現(xiàn)的準(zhǔn)確率對(duì)比如表4 所示。在精度損失不超過1%的情況下,將網(wǎng)絡(luò)大小壓縮為原大小的28.6%,效果顯著。

    表4 硬件實(shí)現(xiàn)后網(wǎng)絡(luò)精度對(duì)比Tab.4 Comparison of network accuracy after hardware implementation

    將加速器與其他方案的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比,如表5 所示。由于不同的設(shè)計(jì)方案采用的FPGA平臺(tái)不同,因此將計(jì)算效率和能效作為主要性能指標(biāo)進(jìn)行分析。本文提出的加速器與文獻(xiàn)[16]的Caffeine 結(jié)構(gòu)、文獻(xiàn)[17]的Angel-Eye 結(jié)構(gòu)相比,使用了更少的硬件DSP 資源,實(shí)現(xiàn)了更高的計(jì)算吞吐量。與文獻(xiàn)[18]中提出的將乘加樹與脈動(dòng)陣列相結(jié)合的乘加陣列相比,雖然由于硬件規(guī)模不同,在卷積層計(jì)算性能方面存在差距,但是本設(shè)計(jì)在能效比上較為接近,且DSP 計(jì)算效率提升為1.635 倍。

    表5 與現(xiàn)有FPGA 加速方案的對(duì)比Tab.5 Comparison with existing FPGA acceleration schemes

    6 結(jié) 論

    本文提出了一種基于FPGA 的Winograd 算法卷積神經(jīng)網(wǎng)絡(luò)加速器。在卷積算法方面,采用Winograd算法減少乘法運(yùn)算量,并設(shè)計(jì)了輸入數(shù)據(jù)緩存復(fù)用和流水線相結(jié)合的方式,充分復(fù)用了行列間的重疊數(shù)據(jù),提高了傳輸效率。使用8 位定點(diǎn)數(shù)對(duì)權(quán)重和數(shù)據(jù)量化,提高數(shù)據(jù)吞吐速率和加速器計(jì)算效率。經(jīng)過六級(jí)流水線并行卷積計(jì)算之后,得到的數(shù)據(jù)分組循環(huán)累加,降低了片上緩存的占用。在ZCU104開發(fā)板上的實(shí)驗(yàn)表明,加速器卷積層計(jì)算性能達(dá)到了354.5 GOPS,片上DSP 計(jì)算效率達(dá)到0.69,與相關(guān)研究相比,實(shí)現(xiàn)了1.6 倍以上的提升。本設(shè)計(jì)在計(jì)算效率上優(yōu)于其他FPGA加速器設(shè)計(jì)方案,能夠以較高能效完成遙感圖像分類任務(wù)中的硬件加速計(jì)算。

    猜你喜歡
    加速器乘法卷積
    輪滑加速器
    化學(xué)工業(yè)的“加速器”
    算乘法
    我們一起來(lái)學(xué)習(xí)“乘法的初步認(rèn)識(shí)”
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    全民小康路上的“加速器”
    《整式的乘法與因式分解》鞏固練習(xí)
    把加法變成乘法
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    亚洲天堂国产精品一区在线| 国产精品一区二区三区四区免费观看 | 久久伊人香网站| 性色avwww在线观看| 最近视频中文字幕2019在线8| 精品人妻1区二区| 国产精品乱码一区二三区的特点| 黑人欧美特级aaaaaa片| 午夜激情欧美在线| a在线观看视频网站| 国产高清有码在线观看视频| 哪里可以看免费的av片| 久久久久亚洲av毛片大全| 麻豆成人av在线观看| 亚洲一区二区三区不卡视频| 久久国产精品人妻蜜桃| 性欧美人与动物交配| 国产欧美日韩一区二区精品| 狠狠狠狠99中文字幕| 亚洲无线在线观看| 在线免费观看的www视频| 午夜福利欧美成人| 婷婷精品国产亚洲av在线| 无遮挡黄片免费观看| 男女下面进入的视频免费午夜| 亚洲国产欧洲综合997久久,| 亚洲精品美女久久av网站| 国产精品日韩av在线免费观看| 亚洲中文av在线| 嫩草影院精品99| 久久久水蜜桃国产精品网| 亚洲中文字幕一区二区三区有码在线看 | 午夜福利高清视频| 成人三级黄色视频| 亚洲熟妇熟女久久| 国产精品久久久久久人妻精品电影| 久久久色成人| 色av中文字幕| 久久久久久久久中文| 老司机深夜福利视频在线观看| 亚洲成人免费电影在线观看| 国产成人系列免费观看| 国产私拍福利视频在线观看| 淫秽高清视频在线观看| 亚洲欧美一区二区三区黑人| www.www免费av| 国产精品亚洲av一区麻豆| 看片在线看免费视频| 亚洲国产精品合色在线| 欧美乱色亚洲激情| 亚洲欧洲精品一区二区精品久久久| 日日摸夜夜添夜夜添小说| 欧美激情久久久久久爽电影| 午夜福利在线观看免费完整高清在 | 性欧美人与动物交配| 一本精品99久久精品77| 啦啦啦韩国在线观看视频| 黑人操中国人逼视频| 亚洲人成网站在线播放欧美日韩| 美女大奶头视频| 最近视频中文字幕2019在线8| 精品一区二区三区视频在线 | 国产1区2区3区精品| 老熟妇乱子伦视频在线观看| 久久欧美精品欧美久久欧美| 丰满的人妻完整版| 嫩草影院精品99| 免费观看的影片在线观看| 亚洲一区高清亚洲精品| 国产成人av激情在线播放| 国产午夜精品论理片| 国产精品综合久久久久久久免费| 国产精品香港三级国产av潘金莲| av在线天堂中文字幕| 日本一二三区视频观看| 成熟少妇高潮喷水视频| 国产欧美日韩精品一区二区| 熟妇人妻久久中文字幕3abv| 九九在线视频观看精品| 国产一区在线观看成人免费| 日本精品一区二区三区蜜桃| 亚洲欧美一区二区三区黑人| 可以在线观看的亚洲视频| svipshipincom国产片| 国产激情偷乱视频一区二区| 麻豆一二三区av精品| 国产亚洲精品av在线| 亚洲精品一卡2卡三卡4卡5卡| 亚洲成人免费电影在线观看| 999精品在线视频| 精品国产超薄肉色丝袜足j| 国产精品亚洲一级av第二区| 身体一侧抽搐| 国产一级毛片七仙女欲春2| 国产午夜福利久久久久久| 免费在线观看影片大全网站| 亚洲一区二区三区色噜噜| 国产精品久久久av美女十八| 国产成人福利小说| 中亚洲国语对白在线视频| 国内精品久久久久久久电影| 亚洲成人久久爱视频| 欧美日韩一级在线毛片| 成人鲁丝片一二三区免费| 精品一区二区三区四区五区乱码| 三级毛片av免费| 日本在线视频免费播放| netflix在线观看网站| 午夜两性在线视频| 天天躁狠狠躁夜夜躁狠狠躁| 欧美午夜高清在线| 麻豆国产97在线/欧美| 1024香蕉在线观看| 成人特级av手机在线观看| 亚洲七黄色美女视频| 精品一区二区三区视频在线 | av黄色大香蕉| 又黄又粗又硬又大视频| 黄色 视频免费看| 99久久精品热视频| 黄色视频,在线免费观看| 两性夫妻黄色片| 国产v大片淫在线免费观看| 亚洲av成人一区二区三| 999久久久精品免费观看国产| 国产免费av片在线观看野外av| 性色avwww在线观看| 中文字幕久久专区| 99re在线观看精品视频| 欧美色视频一区免费| 亚洲av片天天在线观看| 国产伦精品一区二区三区视频9 | 亚洲欧美精品综合久久99| 婷婷精品国产亚洲av| 在线免费观看的www视频| 日韩有码中文字幕| 老熟妇乱子伦视频在线观看| 亚洲av成人av| 国产亚洲欧美98| 免费无遮挡裸体视频| 欧美黄色片欧美黄色片| 性欧美人与动物交配| 亚洲欧美精品综合一区二区三区| 亚洲无线在线观看| 欧美国产日韩亚洲一区| 久久欧美精品欧美久久欧美| www.www免费av| 日日摸夜夜添夜夜添小说| 精品久久久久久,| 中亚洲国语对白在线视频| 高潮久久久久久久久久久不卡| 97碰自拍视频| 久久久久国内视频| 亚洲一区二区三区不卡视频| 男女床上黄色一级片免费看| 亚洲第一欧美日韩一区二区三区| 悠悠久久av| 99国产综合亚洲精品| 法律面前人人平等表现在哪些方面| 国产一级毛片七仙女欲春2| 国产一区二区三区在线臀色熟女| 级片在线观看| 国产三级在线视频| 久久性视频一级片| 免费看光身美女| 久久中文看片网| 无人区码免费观看不卡| 一级黄色大片毛片| 91av网站免费观看| 脱女人内裤的视频| 久久精品aⅴ一区二区三区四区| 好男人在线观看高清免费视频| 亚洲成av人片在线播放无| 久久精品aⅴ一区二区三区四区| 久久久色成人| 女警被强在线播放| 婷婷精品国产亚洲av| 日韩三级视频一区二区三区| 欧洲精品卡2卡3卡4卡5卡区| 久久久久久九九精品二区国产| 18禁美女被吸乳视频| 久久国产精品人妻蜜桃| 99re在线观看精品视频| 国产成人一区二区三区免费视频网站| 黑人巨大精品欧美一区二区mp4| 综合色av麻豆| 两个人看的免费小视频| 国产精品久久久av美女十八| 国产成人aa在线观看| 国内精品一区二区在线观看| 成人特级av手机在线观看| 成年免费大片在线观看| 91在线观看av| 亚洲精品在线观看二区| 亚洲精品色激情综合| 天天躁狠狠躁夜夜躁狠狠躁| 岛国在线免费视频观看| 精品99又大又爽又粗少妇毛片 | 美女免费视频网站| 麻豆国产97在线/欧美| 1024手机看黄色片| 久久久久免费精品人妻一区二区| av天堂在线播放| 亚洲精品中文字幕一二三四区| 亚洲男人的天堂狠狠| 日本熟妇午夜| 2021天堂中文幕一二区在线观| 观看美女的网站| 首页视频小说图片口味搜索| 久久精品亚洲精品国产色婷小说| 国产精品影院久久| 欧美性猛交黑人性爽| 18禁黄网站禁片午夜丰满| 亚洲中文日韩欧美视频| 嫩草影视91久久| 哪里可以看免费的av片| 欧美日韩福利视频一区二区| 国产伦精品一区二区三区四那| 麻豆久久精品国产亚洲av| 亚洲av成人av| 丝袜人妻中文字幕| 日韩欧美国产在线观看| 国产精品99久久99久久久不卡| 18禁黄网站禁片免费观看直播| 日本a在线网址| 欧美日韩亚洲国产一区二区在线观看| 岛国在线观看网站| 五月伊人婷婷丁香| 午夜免费激情av| 国产又黄又爽又无遮挡在线| 欧美日韩综合久久久久久 | 国产野战对白在线观看| 琪琪午夜伦伦电影理论片6080| 欧美日韩一级在线毛片| 成人精品一区二区免费| 色在线成人网| 亚洲七黄色美女视频| 一卡2卡三卡四卡精品乱码亚洲| 国产激情欧美一区二区| 日韩中文字幕欧美一区二区| 日本精品一区二区三区蜜桃| 欧美色视频一区免费| 99久久精品一区二区三区| 亚洲 国产 在线| 日韩欧美免费精品| 欧美极品一区二区三区四区| 三级男女做爰猛烈吃奶摸视频| 天堂√8在线中文| 免费在线观看成人毛片| 脱女人内裤的视频| 久久精品人妻少妇| 国产精品精品国产色婷婷| 精品久久蜜臀av无| 成人国产综合亚洲| 久久精品国产亚洲av香蕉五月| 成人无遮挡网站| 久久人妻av系列| 亚洲成人久久性| 舔av片在线| 婷婷丁香在线五月| 国产亚洲精品久久久久久毛片| 国产私拍福利视频在线观看| 欧美成人性av电影在线观看| 国产麻豆成人av免费视频| 中文字幕最新亚洲高清| 国产精品电影一区二区三区| 1000部很黄的大片| 国产成年人精品一区二区| 女警被强在线播放| 久久精品亚洲精品国产色婷小说| 国产免费av片在线观看野外av| 欧美zozozo另类| 日本黄色片子视频| 国产黄片美女视频| 久久天堂一区二区三区四区| 久久久国产成人免费| 亚洲av成人一区二区三| 国产精品久久久av美女十八| 日本 欧美在线| 高潮久久久久久久久久久不卡| 日韩人妻高清精品专区| 国产精品av久久久久免费| 色综合欧美亚洲国产小说| 国产熟女xx| 人人妻人人澡欧美一区二区| 国产精品女同一区二区软件 | 一进一出抽搐动态| 亚洲 欧美一区二区三区| 黄色 视频免费看| or卡值多少钱| 久久久久国产一级毛片高清牌| 亚洲专区国产一区二区| 亚洲av美国av| 非洲黑人性xxxx精品又粗又长| 国产精品亚洲美女久久久| 日本 av在线| 亚洲欧美日韩高清专用| 9191精品国产免费久久| 少妇丰满av| 午夜精品在线福利| 韩国av一区二区三区四区| 精品国产三级普通话版| 后天国语完整版免费观看| 久久精品国产综合久久久| 亚洲国产精品999在线| 亚洲av熟女| xxx96com| 嫩草影视91久久| or卡值多少钱| 色综合欧美亚洲国产小说| 久久香蕉精品热| 九色成人免费人妻av| 欧美中文日本在线观看视频| 欧美不卡视频在线免费观看| 欧美在线黄色| 国产精品久久视频播放| 欧美一级a爱片免费观看看| 国产精品影院久久| 99久久无色码亚洲精品果冻| 淫妇啪啪啪对白视频| 波多野结衣高清无吗| 欧美黑人巨大hd| 淫妇啪啪啪对白视频| 日韩成人在线观看一区二区三区| 男女视频在线观看网站免费| 男女那种视频在线观看| 国产精品影院久久| 狠狠狠狠99中文字幕| 日韩欧美在线二视频| 18禁观看日本| 性色av乱码一区二区三区2| 亚洲精品456在线播放app | 熟女电影av网| 国产精品自产拍在线观看55亚洲| 国产成人啪精品午夜网站| 麻豆久久精品国产亚洲av| 一个人免费在线观看电影 | 国产成年人精品一区二区| 色视频www国产| 99视频精品全部免费 在线 | 欧美乱码精品一区二区三区| 国产蜜桃级精品一区二区三区| 亚洲人成电影免费在线| 岛国在线观看网站| 十八禁网站免费在线| 夜夜夜夜夜久久久久| 黑人巨大精品欧美一区二区mp4| 噜噜噜噜噜久久久久久91| 99久久成人亚洲精品观看| av天堂在线播放| 黄片大片在线免费观看| 欧美乱色亚洲激情| 精品国产美女av久久久久小说| 成年人黄色毛片网站| 中文字幕高清在线视频| 午夜福利欧美成人| 麻豆国产av国片精品| 超碰成人久久| 在线观看一区二区三区| 欧美在线一区亚洲| 亚洲人成网站高清观看| 国产高潮美女av| 亚洲aⅴ乱码一区二区在线播放| 啦啦啦观看免费观看视频高清| 91av网一区二区| 亚洲国产色片| 网址你懂的国产日韩在线| 麻豆国产97在线/欧美| 特大巨黑吊av在线直播| 国产精品亚洲一级av第二区| 在线观看美女被高潮喷水网站 | 国产亚洲av高清不卡| 国产一区二区三区在线臀色熟女| 成人亚洲精品av一区二区| 国产爱豆传媒在线观看| 欧美成人性av电影在线观看| 亚洲国产精品久久男人天堂| 亚洲成人免费电影在线观看| 舔av片在线| 国产精品永久免费网站| 人人妻,人人澡人人爽秒播| 一本久久中文字幕| 在线十欧美十亚洲十日本专区| 日本精品一区二区三区蜜桃| 人妻久久中文字幕网| 又粗又爽又猛毛片免费看| 性色avwww在线观看| 国产伦一二天堂av在线观看| 十八禁网站免费在线| 欧美日韩亚洲国产一区二区在线观看| 日韩免费av在线播放| 日韩高清综合在线| 日韩国内少妇激情av| 19禁男女啪啪无遮挡网站| 国内久久婷婷六月综合欲色啪| 色在线成人网| 麻豆成人午夜福利视频| 在线a可以看的网站| 亚洲欧美一区二区三区黑人| 一区二区三区国产精品乱码| 免费电影在线观看免费观看| 校园春色视频在线观看| 国产蜜桃级精品一区二区三区| 亚洲天堂国产精品一区在线| 亚洲精品美女久久av网站| 国产激情偷乱视频一区二区| 精品国产乱码久久久久久男人| 亚洲欧美日韩东京热| 免费搜索国产男女视频| 欧美三级亚洲精品| 99久久国产精品久久久| 美女大奶头视频| 亚洲国产中文字幕在线视频| 岛国视频午夜一区免费看| 精品国内亚洲2022精品成人| 天天添夜夜摸| 激情在线观看视频在线高清| 一本久久中文字幕| 日韩人妻高清精品专区| www国产在线视频色| 国产又色又爽无遮挡免费看| 欧美国产日韩亚洲一区| 国产欧美日韩精品亚洲av| 波多野结衣巨乳人妻| 99国产综合亚洲精品| 少妇熟女aⅴ在线视频| 国产精品 国内视频| 亚洲中文字幕日韩| bbb黄色大片| 国产野战对白在线观看| 午夜成年电影在线免费观看| 又紧又爽又黄一区二区| 亚洲中文字幕一区二区三区有码在线看 | cao死你这个sao货| 欧美高清成人免费视频www| 在线永久观看黄色视频| 欧美色欧美亚洲另类二区| 999精品在线视频| 亚洲黑人精品在线| 中文资源天堂在线| 久久精品综合一区二区三区| 国产aⅴ精品一区二区三区波| 国产精品综合久久久久久久免费| 日日干狠狠操夜夜爽| 麻豆一二三区av精品| 亚洲,欧美精品.| 美女 人体艺术 gogo| 超碰成人久久| 五月玫瑰六月丁香| 女人被狂操c到高潮| 97碰自拍视频| 麻豆国产av国片精品| 国产亚洲精品久久久久久毛片| 51午夜福利影视在线观看| 成年版毛片免费区| 男人和女人高潮做爰伦理| 日韩欧美国产一区二区入口| 欧美极品一区二区三区四区| 深夜精品福利| 国产熟女xx| 国产精品 国内视频| 国产一区二区三区视频了| 国内精品久久久久久久电影| 好男人电影高清在线观看| 在线观看午夜福利视频| 不卡av一区二区三区| 国产黄a三级三级三级人| 日本三级黄在线观看| 神马国产精品三级电影在线观看| 免费看十八禁软件| 亚洲va日本ⅴa欧美va伊人久久| 天天添夜夜摸| 亚洲欧美日韩高清在线视频| 欧美午夜高清在线| 熟女人妻精品中文字幕| 网址你懂的国产日韩在线| 免费观看人在逋| 黑人欧美特级aaaaaa片| 一区福利在线观看| 又爽又黄无遮挡网站| 免费看a级黄色片| 亚洲欧美激情综合另类| 久久精品人妻少妇| 可以在线观看的亚洲视频| 亚洲中文字幕一区二区三区有码在线看 | 高清毛片免费观看视频网站| 久久精品亚洲精品国产色婷小说| 国产一区二区三区在线臀色熟女| 最新美女视频免费是黄的| 日本五十路高清| 男人的好看免费观看在线视频| 国产精品国产高清国产av| 我要搜黄色片| 丁香六月欧美| 国产免费av片在线观看野外av| 精品日产1卡2卡| 午夜福利在线在线| 18禁黄网站禁片午夜丰满| 日韩免费av在线播放| 精品欧美国产一区二区三| 夜夜看夜夜爽夜夜摸| 欧美成人一区二区免费高清观看 | 欧美日韩乱码在线| 日本熟妇午夜| 亚洲欧美日韩高清专用| 搡老岳熟女国产| 黑人欧美特级aaaaaa片| av在线天堂中文字幕| 小说图片视频综合网站| 免费在线观看成人毛片| 国产欧美日韩一区二区三| 久久久久久久久中文| 男女视频在线观看网站免费| 999久久久国产精品视频| 色av中文字幕| 国产成人福利小说| 老熟妇乱子伦视频在线观看| 欧美日韩福利视频一区二区| 最新中文字幕久久久久 | 宅男免费午夜| 香蕉久久夜色| 国产亚洲精品久久久com| 午夜福利18| 国产高清三级在线| 日本免费a在线| 夜夜看夜夜爽夜夜摸| 桃色一区二区三区在线观看| 国产精品,欧美在线| 黑人操中国人逼视频| 亚洲精品久久国产高清桃花| 女人高潮潮喷娇喘18禁视频| 最新美女视频免费是黄的| av在线天堂中文字幕| 国产亚洲精品久久久久久毛片| 日本撒尿小便嘘嘘汇集6| 色综合亚洲欧美另类图片| 国产在线精品亚洲第一网站| 亚洲av美国av| 国内精品久久久久精免费| 长腿黑丝高跟| 美女被艹到高潮喷水动态| 国产欧美日韩精品亚洲av| 淫妇啪啪啪对白视频| АⅤ资源中文在线天堂| 欧美最黄视频在线播放免费| 亚洲国产欧美人成| 9191精品国产免费久久| 中文字幕熟女人妻在线| 99久久精品一区二区三区| 国产精品九九99| 国产亚洲精品综合一区在线观看| 嫩草影院精品99| 国产成+人综合+亚洲专区| 亚洲av第一区精品v没综合| 一个人看的www免费观看视频| 在线观看午夜福利视频| 国产午夜福利久久久久久| 一级作爱视频免费观看| 国产精品影院久久| 亚洲精品456在线播放app | 一本精品99久久精品77| 国内毛片毛片毛片毛片毛片| 不卡一级毛片| 亚洲男人的天堂狠狠| 90打野战视频偷拍视频| 亚洲熟女毛片儿| 又爽又黄无遮挡网站| 亚洲精品美女久久av网站| 精品福利观看| 亚洲人成伊人成综合网2020| 18禁国产床啪视频网站| 日韩国内少妇激情av| 欧美日韩一级在线毛片| 在线永久观看黄色视频| 特级一级黄色大片| 久9热在线精品视频| 男人舔女人下体高潮全视频| 久久久久久久久中文| 男插女下体视频免费在线播放| 搡老岳熟女国产| 国产1区2区3区精品| www.www免费av| 少妇人妻一区二区三区视频| 精品久久久久久久末码| 久久精品国产综合久久久| 淫秽高清视频在线观看| 成人永久免费在线观看视频| 母亲3免费完整高清在线观看| 国产一区二区三区视频了| av片东京热男人的天堂| 日韩欧美一区二区三区在线观看| 精品国内亚洲2022精品成人| 叶爱在线成人免费视频播放| 三级男女做爰猛烈吃奶摸视频| 99精品久久久久人妻精品| 少妇人妻一区二区三区视频| 高清在线国产一区| 国产黄a三级三级三级人| 99久久99久久久精品蜜桃| 99久久无色码亚洲精品果冻| 成年女人看的毛片在线观看| 免费在线观看成人毛片| 最新中文字幕久久久久 | 精品久久久久久久人妻蜜臀av| 亚洲性夜色夜夜综合| 欧美精品啪啪一区二区三区| 久久久久九九精品影院| 日韩欧美 国产精品| av片东京热男人的天堂| 婷婷六月久久综合丁香| 亚洲在线自拍视频| 成在线人永久免费视频| 一个人看的www免费观看视频| 久9热在线精品视频| 亚洲欧美日韩无卡精品|