• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多視圖并行的可配置卷積神經(jīng)網(wǎng)絡(luò)加速器設(shè)計(jì)

    2022-03-28 06:50:50應(yīng)三叢
    工程科學(xué)與技術(shù) 2022年2期
    關(guān)鍵詞:池化加速器寄存器

    應(yīng)三叢,彭 鈴

    (1.四川大學(xué) 計(jì)算機(jī)學(xué)院,四川 成都 610065;2.四川大學(xué) 視覺合成圖形圖像技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室,四川 成都 610065)

    卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的算法模型優(yōu)化,是提升性能的關(guān)鍵。目前,CNN算法的實(shí)現(xiàn)平臺(tái)主要有中央處理單元(central processing unit,CPU),圖形處理單元 (graphic processing unit,GPU)和可編輯邏輯門陣列(filed programmable gated array,F(xiàn)PGA)。GPU雖然并行度高,但能耗和成本也較高;CPU無(wú)法實(shí)現(xiàn)高效的并行運(yùn)算,導(dǎo)致模型計(jì)算效率低下;而FPGA的可重構(gòu)、低延時(shí)、高吞吐量等特性更適用于人工智能算法加速。但隨著CNN算法日趨復(fù)雜,基于FPGA的軟硬件協(xié)同技術(shù)被廣泛應(yīng)用。

    Meloni和Xue等采用軟硬件協(xié)同設(shè)計(jì)方法,其通用處理器是基于ARM(advanced RISC machines)架構(gòu),存在定制成本高、靈活性不足等問題。而第五代精簡(jiǎn)指令集(reduced instruction sets computing,RISC-V)作為當(dāng)下熱門的開源精簡(jiǎn)指令集架構(gòu),是解決上述問題的不二之選。RISC-V指令集由基本指令集和擴(kuò)展指令集構(gòu)成,其中,基本指令集是設(shè)計(jì)RISC-V處理器不可或缺的,擴(kuò)展指令集則根據(jù)用戶需求定制。目前,市面上涌現(xiàn)出眾多基于RISC-V指令集的開源處理器,伯克利大學(xué)設(shè)計(jì)的Rocket處理器和芯來科技研發(fā)的E203處理器深受廣大科研工作者推崇。Liao和Yang等選用Rocket處理器實(shí)現(xiàn)卷積加速,雖然加速效果明顯,但該RISC-V處理器的硬件設(shè)計(jì)代碼是由高級(jí)語(yǔ)言轉(zhuǎn)換生成,可讀性差,同時(shí),該硬件設(shè)計(jì)實(shí)現(xiàn)于FPGA,會(huì)消耗額外的查找表 (look-up-table,LUT)。而E203處理器代碼均由人工編寫,可讀性強(qiáng)且易于理解,該處理器核的功耗和面積與同級(jí)ARM Cortex-M核相比極具競(jìng)爭(zhēng)力。Wu等利用專用協(xié)處理器接口去設(shè)計(jì)擴(kuò)展指令,從而實(shí)現(xiàn)CNN加速和物聯(lián)網(wǎng)領(lǐng)域多種算法的配置,但其不適用于配置不同模型的卷積、池化、全連接等單元;且未設(shè)計(jì)片外存儲(chǔ)器單元,不適合數(shù)據(jù)量大的CNN模型。Zhang等采用軟硬件協(xié)同技術(shù)設(shè)計(jì)CNN加速器,加速效果顯著,但該CNN加速器不可配置。Ayat和英偉達(dá)的NVDLA主要針對(duì)卷積層加速,未結(jié)合CNN各個(gè)運(yùn)算單元加速。Ma等結(jié)合理論原理,探索卷積層的循環(huán)展開方法。Cao設(shè)計(jì)的CNN加速器在各個(gè)運(yùn)算單元實(shí)現(xiàn)了全并行展開,對(duì)硬件平臺(tái)要求較高。

    綜合以上因素,本文進(jìn)行了如下研究:第一,擴(kuò)展協(xié)處理器的控制訪問接口,實(shí)現(xiàn)RISC-V對(duì)CNN加速器的參數(shù)配置;擴(kuò)展片外存儲(chǔ)器與協(xié)處速器的數(shù)據(jù)訪問接口,實(shí)現(xiàn)批量數(shù)據(jù)傳輸。第二,將卷積層的四重循環(huán)展開方法與英偉達(dá)NVDLA的并性設(shè)計(jì)方法相結(jié)合,實(shí)現(xiàn)多視圖部分并行展開,同時(shí)該方法可應(yīng)用于池化和全連接單元。各單元的硬件架構(gòu)決定寄存器組的設(shè)計(jì),由此完成可配置功能。

    1 RISC?V處理器

    本文的RISC-V處理器是一款變長(zhǎng)兩級(jí)流水線的32位處理器。其中:第1級(jí)流水線完成取指功能;第2級(jí)流水線實(shí)現(xiàn)譯碼、執(zhí)行、交付和寫回功能。它的系統(tǒng)總線稱為內(nèi)部芯片總線(internal chip bus,ICB))。該總線沿用高級(jí)可擴(kuò)展接口(advanced extensible interface,AXI)的握手機(jī)制,僅兩個(gè)通道,易于控制。

    2 基于RISC?V的CNN加速器SoC設(shè)計(jì)

    本文構(gòu)建的片上系統(tǒng)(system on chip,SoC)如圖1所示,系統(tǒng)包括RISC-V處理器、協(xié)處理器接口單元、CNN協(xié)加速器和片外存儲(chǔ)器。

    圖1 SoC系統(tǒng)框圖Fig. 1 Architecture of SoC system

    圖1中,協(xié)處理器接口單元由控制訪問接口和數(shù)據(jù)訪問接口構(gòu)成,分別適用AXI-LITE和AXI-FULL總線。RISC-V處理器作為該SoC的配置管理器,控制CNN加速器的寄存器單元。CNN加速器主要完成寄存器單元的信息解析,然后根據(jù)譯碼信息,實(shí)現(xiàn)直接存儲(chǔ)訪問(direct memory access,DMA)與片外存儲(chǔ)器的數(shù)據(jù)交互,執(zhí)行卷積層、池化層和全連接層的實(shí)時(shí)運(yùn)算。

    2.1 高速協(xié)處理器接口設(shè)計(jì)

    本文的高速協(xié)處理器接口包括協(xié)處理器控制訪問接口和協(xié)處理器數(shù)據(jù)訪問接口,如圖2所示。

    由于ICB通用性弱,不適合直接連接高速模塊,因此,為協(xié)處理器擴(kuò)展高速控制訪問接口,完成RISC-V與CNN加速器的控制訪問總線的銜接,并使其兼具高速特性。具體實(shí)現(xiàn)方式是先利用總線橋?qū)CB接口轉(zhuǎn)換為適用于控制訪問單元的AXI接口(兼容AXI-LITE接口);然后為該橋接單元設(shè)計(jì)一個(gè)專用的異步先入先出(first-in first-out,F(xiàn)IFO)緩沖器,實(shí)現(xiàn)硬件加速單元能以高于RISC-V處理器的時(shí)鐘獨(dú)立工作。實(shí)現(xiàn)框圖如圖2(a)所示。

    圖2(b)為協(xié)處理器的數(shù)據(jù)訪問接口框圖。由于CNN運(yùn)算的數(shù)據(jù)量龐大,僅靠片內(nèi)存儲(chǔ)器不僅耗費(fèi)資源,且無(wú)法實(shí)現(xiàn)批量傳輸,因此為其開辟適用AXI-FULL的片外存儲(chǔ)接口,以片外存儲(chǔ)器來實(shí)現(xiàn)數(shù)據(jù)的高速傳輸。該接口的突發(fā)傳輸參數(shù)包括突發(fā)包首地址和數(shù)據(jù)個(gè)數(shù)等,單次突發(fā)傳輸?shù)臄?shù)據(jù)個(gè)數(shù)最大為256。CNN加速器的數(shù)據(jù)接口由卷積、池化和權(quán)重對(duì)應(yīng)的讀通道和卷積、池化對(duì)應(yīng)的寫通道構(gòu)成;其中,讀通道包括讀命令通道和讀數(shù)據(jù)通道。經(jīng)多路仲裁器輪詢仲裁,從3組讀命令通道確定存儲(chǔ)器的讀命令通道,同時(shí)根據(jù)讀命令值,將存儲(chǔ)器中待讀取的數(shù)據(jù)分發(fā)給CNN加速器對(duì)應(yīng)的讀數(shù)據(jù)通道。而寫命令通道、寫數(shù)據(jù)通道和寫反饋通道共同構(gòu)成了寫通道。為了提升總線資源的利用率,將寫數(shù)據(jù)的最高位作為寫通道數(shù)據(jù)類型的判斷依據(jù),從而實(shí)現(xiàn)CNN加速器寫命令通道和寫數(shù)據(jù)通道的復(fù)用。如果是寫命令,則分發(fā)給卷積或池化的寫命令緩存單元,然后再以輪詢仲裁方式發(fā)送給存儲(chǔ)器的寫命令通道,同時(shí)存入狀態(tài)緩存器。對(duì)于寫數(shù)據(jù),先分發(fā)給對(duì)應(yīng)的緩存單元;然后,根據(jù)寫命令值,發(fā)送卷積或池化單元的數(shù)據(jù)到存儲(chǔ)器寫數(shù)據(jù)通道;最后,對(duì)寫響應(yīng)通道的數(shù)據(jù)和當(dāng)前狀態(tài)緩存器的數(shù)據(jù)進(jìn)行判決,以判決器的輸出作為存儲(chǔ)器寫響應(yīng)通道數(shù)據(jù)分發(fā)的標(biāo)志。

    圖2 協(xié)處理器高速接口框圖Fig. 2 Diagram of coprocessor high-speed interface

    2.2 CNN協(xié)加速器設(shè)計(jì)與分析

    CNN的基本結(jié)構(gòu)主要包括卷積、池化和全連接層,且各算法層包含多重循環(huán)。因此,結(jié)合硬件設(shè)計(jì)的并行思想,采用多視圖并行來設(shè)計(jì)本文的CNN加速器,其中并行展開度為

    K

    ,其值可配置為8、16、32。

    2.2.1 卷積設(shè)計(jì)與分析

    卷積的輸入特征圖和輸出特征圖分別表示為

    I

    O

    ,權(quán)重和偏置分別為

    W

    B

    。

    3維卷積輸出特征圖的相關(guān)計(jì)算公式如下:

    式(1)~(4)中,

    H

    、

    H

    H

    分別為輸出特征圖、輸入特征圖和權(quán)重卷積核的列大小,

    W

    、

    W

    、

    W

    分別為輸出特征圖、輸入特征圖和權(quán)重卷積核的行大小,

    P

    、

    P

    為沿行方向和沿列方向的填充行數(shù),

    S

    、

    S

    為沿行方向和沿列方向的滑動(dòng)步長(zhǎng),

    x

    、

    y

    為 輸出特征圖的坐標(biāo)點(diǎn),

    m

    n

    分別為輸出通道和輸入通道的參數(shù)值,

    f

    為激活函數(shù)。本文實(shí)現(xiàn)的三重循環(huán)并行展開方法,其基本單元由乘累加器和累加器構(gòu)成,有利于提升模塊的資源利用率。以并行度

    K

    實(shí)現(xiàn),此時(shí),三重循環(huán)展開可抽象為多個(gè)矩陣的并行運(yùn)算。由于每個(gè)視圖的基本運(yùn)算單元最大并行度為32,因此單個(gè)視圖的并行乘累加陣列個(gè)數(shù)為32。圖3為卷積并行展開示意圖,其中,

    N

    /

    K

    M

    /

    K

    分別表示特征矩陣沿輸入通道(輸入通道長(zhǎng)度為

    N

    )和輸出通道(輸出通道長(zhǎng)度為

    M

    ),按并行度

    K

    展開的總運(yùn)算次數(shù)(“/”代表的除法運(yùn)算,若不能整除,則向上取整,即即 「

    N

    /

    K

    」,下同)。為簡(jiǎn)化硬件設(shè)計(jì),對(duì)輸入特征圖的列以并行度

    K

    展開,其運(yùn)算次數(shù)為

    H

    ×

    W

    /

    K

    。圖3中序號(hào)①表示沿輸入通道方向的

    K

    個(gè)大小為1 ×1的特征矩陣參與卷積運(yùn)算;序號(hào)②表示列長(zhǎng)為

    K

    ,輸入通道長(zhǎng)度為

    K

    ,大小為1 ×1的特征矩陣參與卷積運(yùn)算;序號(hào)③則是沿輸出通道方向,同時(shí)進(jìn)行輸出通道長(zhǎng)度為

    K

    的序號(hào)②運(yùn)算過程。

    M

    M

    分別表示輸入特征圖和權(quán)重的運(yùn)算次數(shù)。

    圖3 卷積并行展開示意圖Fig. 3 Diagram of convolution parallel expansion

    卷積運(yùn)算的理論計(jì)算公式如下:

    式(5)~(7)中,

    T

    T

    分別為CPU和CNN加速器的卷積運(yùn)算時(shí)間,

    T

    T

    分別為CPU和CNN加速器的單次運(yùn)算時(shí)間,

    A

    為卷積加速比。

    2.2.2 池化設(shè)計(jì)與分析

    類似卷積的并行展開算法,對(duì)池化矩陣在輸入通道方向上、對(duì)輸出池化特征圖在列方向上分別執(zhí)行

    K

    并行度展開,同時(shí)將池化單元設(shè)計(jì)為行池化和列池化級(jí)聯(lián)結(jié)構(gòu)。池化設(shè)計(jì)的相關(guān)參數(shù)如下:

    I

    O

    分別為池化的輸入和輸出特征圖,

    N

    為池化的通道數(shù),

    H

    、

    W

    分別為池化輸入特征圖的行大小和列大小,

    H

    、

    W

    分別為池化輸出特征圖的行大小和列大小,

    H

    、

    W

    為池化窗口的高和寬。池化的并行展開過程如圖4所示。針對(duì)行池化,其輸出特征圖大小為

    H

    ×

    W

    ,因此,行池化的通道參數(shù)和特征圖列大小的并行展開次數(shù)可表示為

    N

    /

    K

    H

    ×

    W

    /

    K

    。由于只實(shí)現(xiàn)了行運(yùn)算,因此池化窗口的運(yùn)算次數(shù)為

    W

    ×

    K

    ,圖4中每個(gè)矩形框的大小為1×

    K

    。列池化的展開原理類似。

    M

    M

    是行池化和列池化的運(yùn)算次數(shù)。

    圖4 池化并行展開示意圖Fig. 4 Diagram of pooling parallel expansion

    池化運(yùn)算時(shí)間的理論計(jì)算公式如下:

    式(8)~(12)中,

    T

    為CPU的池化運(yùn)行總時(shí)間,

    T

    T

    分別為行池化耗時(shí)和列池化耗時(shí),

    T

    T

    分別為CPU和CNN加速器的單次運(yùn)算時(shí)間,

    A

    為池化加速比。

    2.2.3 全連接設(shè)計(jì)與分析

    為減少額外的資源消耗,全連接模型可經(jīng)處理而映射到卷積運(yùn)算電路。其轉(zhuǎn)換思想是將維度為

    N

    的輸入向量

    I

    轉(zhuǎn)換為大小為1 ×1, 輸入通道數(shù)為

    N

    +1的卷積輸入特征圖。將偏置矩陣合并到權(quán)重矩陣,矩陣權(quán)重卷積核大小為1 ×1,輸入通道數(shù)和輸出通道數(shù)分別為

    N

    +1和

    M

    。而轉(zhuǎn)換后的輸出特征圖

    O

    的大小為1 ×1, 輸出通道數(shù)為

    M

    。按卷積并行展開法,其運(yùn)算展開過程如圖3所示。理論計(jì)算公式如下:

    式(13)~(15)中,

    T

    T

    分別為全連接運(yùn)算和CPU的總耗時(shí),

    T

    T

    為 兩者所對(duì)應(yīng)的單次耗時(shí),

    A

    為兩者的加速比。

    2.3 CNN協(xié)加速器設(shè)計(jì)與實(shí)現(xiàn)

    通過分析CNN加速器的各運(yùn)算單元,劃分其硬件單元為寄存器組、定點(diǎn)模塊、通用運(yùn)算單元和池化單元。根據(jù)設(shè)計(jì)的硬件電路結(jié)構(gòu),設(shè)計(jì)CNN加速器的寄存器組,它由1個(gè)系統(tǒng)控制寄存器,33個(gè)通用寄存器和26個(gè)池化寄存器構(gòu)成。通過配置寄存器組信息,來完成不同模型在CNN加速器上的部署。其中,通用寄存器組適用于卷積或全連接單元,而系統(tǒng)寄存器決定運(yùn)算單元開始或結(jié)束。

    2.3.1 定點(diǎn)量化

    根據(jù)Hubara等的研究,數(shù)據(jù)量化對(duì)圖像任務(wù)干擾較小,且對(duì)數(shù)據(jù)參數(shù)的精度要求不高,因此為解決CNN主流模型存在的計(jì)算量大、存儲(chǔ)占用大等問題,本文將32位單精度浮點(diǎn)數(shù)處理為16位定點(diǎn)數(shù),這樣既可降低數(shù)據(jù)存儲(chǔ)量,又可簡(jiǎn)化硬件加速器的設(shè)計(jì)。模型的存儲(chǔ)量可降低1倍。

    2.3.2 通用運(yùn)算單元設(shè)計(jì)與實(shí)現(xiàn)

    通用運(yùn)算單元包括通用寄存器組、卷積讀DMA、權(quán)重讀DMA、卷積緩存器、權(quán)重緩存器、卷積片上存儲(chǔ)器、權(quán)重片上存儲(chǔ)器、卷積控制單元、乘累加單元、累加單元和激活單元。同時(shí),由于卷積與全連接的運(yùn)算結(jié)構(gòu)相似,因此,僅設(shè)計(jì)卷積計(jì)算單元來作為通用計(jì)算單元,以復(fù)用形式實(shí)現(xiàn)卷積與全連接運(yùn)算。

    圖5展示了通用運(yùn)算單元的結(jié)構(gòu),其卷積運(yùn)算的具體運(yùn)算流程為:首先,配置系統(tǒng)寄存器,產(chǎn)生系統(tǒng)控制信號(hào),然后,配置卷積運(yùn)算參數(shù)寄存器,確定特征圖的行大小、列大小、通道數(shù)、卷積核大小等,并產(chǎn)生卷積單元的控制信號(hào)。接著,配置卷積的數(shù)據(jù)訪問寄存器參數(shù),如突發(fā)包的讀地址和讀數(shù)據(jù)長(zhǎng)度等,根據(jù)這些參數(shù),將卷積和權(quán)重?cái)?shù)據(jù)經(jīng)DMA從片外存儲(chǔ)器寫入片上存儲(chǔ)器。如此,將所需的運(yùn)算數(shù)據(jù)準(zhǔn)備好。再根據(jù)卷積單元的運(yùn)算控制信號(hào)實(shí)現(xiàn)數(shù)據(jù)的乘累加和累加運(yùn)算。其中,乘累加單元是由

    K

    路并行乘累加器構(gòu)成,其值在硬件電路設(shè)計(jì)中可配置為8、16、32。該運(yùn)算電路可被復(fù)用在3維視圖并行實(shí)現(xiàn)的CNN加速器中,如最大并行度為32,輸入通道為3,則復(fù)用該結(jié)構(gòu)1次;輸出特征圖高為224,復(fù)用7次;輸出通道為64,復(fù)用2次。

    圖5 通用運(yùn)算單元結(jié)構(gòu)Fig. 5 Structure of general operation units

    對(duì)于全連接運(yùn)算,可通過處理其模型參數(shù),配置通用寄存器組,來實(shí)現(xiàn)卷積與全連接模型兼容,同時(shí)以運(yùn)算單元之間的復(fù)用來降低硬件資源消耗和設(shè)計(jì)的復(fù)雜度。例如,對(duì)全連接結(jié)構(gòu) 4096×1000,按卷積結(jié)構(gòu)處理,可得到結(jié)構(gòu)為 4 096×1×1的卷積輸入特征圖和結(jié)構(gòu)為4 096×1×1×1的權(quán)重特征圖,由此將全連接運(yùn)算轉(zhuǎn)化為卷積運(yùn)算,實(shí)現(xiàn)卷積與全連接結(jié)構(gòu)復(fù)用。

    經(jīng)過乘累加和累加單元運(yùn)算后,根據(jù)激活函數(shù)寄存器的值,決定該運(yùn)算結(jié)果是否進(jìn)行激活運(yùn)算,并將最終結(jié)果存入結(jié)果緩存器。由于該通用運(yùn)算單元的輸出數(shù)據(jù)將作為下一運(yùn)算單元的輸入數(shù)據(jù),因此按通用寄存器組配置的輸出數(shù)據(jù)地址、數(shù)據(jù)長(zhǎng)度和存儲(chǔ)方式等,將結(jié)果經(jīng)卷積寫DMA寫回片外存儲(chǔ)器,并向寄存器返回運(yùn)算完成標(biāo)志。

    2.3.3 池化運(yùn)算單元設(shè)計(jì)與實(shí)現(xiàn)

    池化運(yùn)算單元由池化寄存器組、池化讀DMA、池化寫DMA、池化讀緩存器、池化寫緩存器、池化控制單元、行池化和列池化組成。其運(yùn)算結(jié)構(gòu)如圖6所示。

    圖6 池化運(yùn)算單元結(jié)構(gòu)Fig. 6 Structure of pooling unit

    與通用運(yùn)算單元類似,系統(tǒng)寄存器配置完成后,池化寄存器組開始對(duì)池化運(yùn)算參數(shù)寄存器(如輸入特征圖大小、輸出特征圖大小、池化窗口大小等)進(jìn)行配置。接著,池化模式寄存器被配置為最大池化、最小池化或平均池化之一,并產(chǎn)生相應(yīng)的控制信號(hào),發(fā)送給行池化和列池化單元。在完成池化運(yùn)算參數(shù)寄存器配置后,對(duì)池化數(shù)據(jù)參數(shù)寄存器進(jìn)行數(shù)據(jù)參數(shù)值寫入。根據(jù)這組寄存器提供的讀地址、讀數(shù)據(jù)長(zhǎng)度、讀數(shù)據(jù)形式(如行或面),從片外存儲(chǔ)器讀取與之對(duì)應(yīng)的有效數(shù)據(jù),并經(jīng)池化讀DMA存入池化讀緩存單元,然后執(zhí)行池化運(yùn)算。

    池化的實(shí)際運(yùn)算單元包括行池化和列池化。其中,行池化的基本運(yùn)算電路是由最大池化電路、最小池化電路、平均池化電路和3選1多路選擇器構(gòu)成,池化方法控制信號(hào)決定行池化的輸出數(shù)據(jù)來源。對(duì)于列池化,其輸入源于行池化的輸出,因此列池化單元可由并行的行池化電路構(gòu)成。

    根據(jù)池化運(yùn)算結(jié)構(gòu)框(圖6),列池化的輸出結(jié)果是池化的最終輸出結(jié)果。該結(jié)果通常作為全連接或卷積的輸入數(shù)據(jù),因此需要根據(jù)池化輸出數(shù)據(jù)參數(shù)寄存器,給定輸出存儲(chǔ)地址、存儲(chǔ)大小、行存儲(chǔ)參數(shù)、面存儲(chǔ)參數(shù)等,將池化輸出結(jié)果寫回片外存儲(chǔ)器的相應(yīng)單元。

    3 實(shí)驗(yàn)結(jié)果

    3.1 FPGA平臺(tái)驗(yàn)證

    使用開發(fā)工具Vivado2018對(duì)本文的設(shè)計(jì)進(jìn)行綜合和布局布線,其中RISC-V和CNN協(xié)加速器的時(shí)鐘頻率分別為16 MHz和110 MHz。表1列出了CNN協(xié)加速器資源消耗情況,CNN協(xié)加速器功耗為1.883 W。

    表1 CNN協(xié)加速器資源消耗
    Tab. 1 CNN accelerator resource utilization

    資源名稱 資源消耗數(shù)目/個(gè) 資源占用率/%LUT 61 656 20.31 FF 84 115 13.85 BRAM 912 88.54 DSP 1 095 39.11

    3.2 CNN協(xié)加速器性能

    本文在相同測(cè)試條件下,分別將卷積、池化和全連接模型部署在CPU、GPU和本文設(shè)計(jì)的CNN協(xié)加速器,獲取各自的運(yùn)算時(shí)間、能耗等性能指標(biāo)。

    表2為相同測(cè)試模型分別被部署在3個(gè)平臺(tái)(頻率2.4 GHz,功耗45 W的英特爾i5-9300處理器;頻率1.15 GHz,功耗235 W的英偉達(dá)GPU K40M處理器;頻率110 MHz,功耗1.883 W的CNN協(xié)加速器)的性能指標(biāo)。測(cè)試模型包括3個(gè)卷積模型,4個(gè)池化模型和3個(gè)全連接模型,卷積核大小均為 3 ×3。其中,本文的CNN加速器的卷積算力均值為221 GOPS。表2中的能耗比是GPU與CPU、本文協(xié)加速器與CPU的能耗比值;速度比是GPU與CPU、本文協(xié)加速器與CPU的運(yùn)算時(shí)間之比。

    表2 不同平臺(tái)不同運(yùn)算單元性能
    Tab. 2 Performance of different kits and different computing units

    硬件平臺(tái) 運(yùn)算單元運(yùn)算時(shí)間/ms能耗/(W·s)能耗比速度比CPU i5-9th卷積 8 845.760 398.059 1 1池化 112.515 5.063 1 1全連接 11.960 0.538 1 1 GPU Tesla-K40M卷積 0.973 0.229 1 7429 095池化 0.914 0.215 24 123全連接 1.553 0.365 2 8本文協(xié)加速器卷積 46.676 0.087 4 554189池化 10.279 0.010 491 11全連接 2.184 0.004 131 6

    為了更準(zhǔn)確地描述CNN模型的性能,將經(jīng)典模型VGG16的卷積層部署于CNN協(xié)加速器,表3列出了部署VGG16的5個(gè)卷積單元組時(shí),本文設(shè)計(jì)的加速器的性能。表3中,GOP(giga operations)代表十億次定點(diǎn)運(yùn)算數(shù),GOPS(giga operations per second)表示每秒執(zhí)行的十億次定點(diǎn)運(yùn)算數(shù)。

    表3 VGG16卷積單元組性能
    Tab. 3 Performance of convolution groups for VGG16 network

    硬件平臺(tái) 卷積組 運(yùn)算時(shí)間/ms運(yùn)算量 吞吐量本文協(xié)加速器第1組 27.14 3.87 GOP142.59 GOPS第2組 27.14 5.55 GOP204.50 GOPS第3組 45.28 9.25 GOP204.28 GOPS第4組 46.35 9.25 GOP199.57 GOPS第5組 16.26 2.31 GOP142.07 GOPS

    表4是本文設(shè)計(jì)的CNN加速器與部分前人工作的對(duì)比,從表4中可知,本文設(shè)計(jì)的CNN加速器的吞吐量為178.6 GOPS,與其他3種加速器相比,吞吐量分別提高94.3 GOPS、44.5 GOPS和55.9 GOPS。

    表4 實(shí)驗(yàn)對(duì)比
    Tab. 4 Comparison with previous implementations

    平臺(tái) FPGA型號(hào)時(shí)鐘頻率/MHz運(yùn)行時(shí)間/ms運(yùn)算量 吞吐量Angel-eye[28]XC7Z020214364.0030.69 GOP84.30 GOPS ALAMO[29] GXA7 100 9.821.46 GOP134.10 GOPS ConvNets加速器[30]XC7Z045125249.5030.70 GOP123.12 GOPS本文協(xié)加速器VC707 110162.1730.69 GOP178.60 GOPS

    4 結(jié) 論

    本文基于RISC-V擴(kuò)展了控制訪問接口,用于參數(shù)配置,擴(kuò)展CNN加速器的數(shù)據(jù)訪問接口,完成數(shù)據(jù)高速傳輸,然后設(shè)計(jì)多視圖并行的卷積神經(jīng)網(wǎng)絡(luò)的協(xié)加速器,最后構(gòu)建包含RISC-V處理器和CNN協(xié)加速器的SoC。將CNN模型部署在本文設(shè)計(jì)的CNN協(xié)加速器、CPU、GPU平臺(tái),在測(cè)試模型和卷積核大小相同情況下,分別對(duì)各平臺(tái)的卷積、池化、全連接單元進(jìn)行仿真驗(yàn)證。其中,CNN的各運(yùn)算單元運(yùn)行在本文設(shè)計(jì)的CNN加速器的運(yùn)算速度分別是運(yùn)行在CPU平臺(tái)的189倍,11倍和6倍,但明顯低于GPU。而對(duì)比GPU與本文的加速器的能耗,各運(yùn)算單元運(yùn)行在GPU平臺(tái)的能耗分別是本文設(shè)計(jì)的CNN加速器的2.6倍,20.5倍和65.5倍。根據(jù)表3可知,全連接單元的加速比遠(yuǎn)小于卷積單元,其原因是全連接單元需經(jīng)轉(zhuǎn)換才能復(fù)用卷積單元結(jié)構(gòu),而轉(zhuǎn)換生成的卷積輸入特征圖的行和列大小都為1,這將導(dǎo)致訪問外部存儲(chǔ)器的帶寬降低。

    為進(jìn)一步驗(yàn)證本文設(shè)計(jì)對(duì)具體CNN模型的影響,對(duì)VGG16的5組卷積單元進(jìn)行獨(dú)立驗(yàn)證,其卷積的運(yùn)算性能可達(dá)178.6 GOPS,與其他的CNN加速器相比,性能得以提升。雖然本文構(gòu)建的可配置CNN協(xié)加速器SoC的加速效果顯著,但僅僅是對(duì)卷積、池化、全連接單元的單獨(dú)測(cè)試,未進(jìn)行完整網(wǎng)絡(luò)的性能分析,下一步將搭建完整的CNN網(wǎng)絡(luò)模型進(jìn)行整體性能分析。

    猜你喜歡
    池化加速器寄存器
    輪滑加速器
    化學(xué)工業(yè)的“加速器”
    面向神經(jīng)網(wǎng)絡(luò)池化層的靈活高效硬件設(shè)計(jì)
    基于Sobel算子的池化算法設(shè)計(jì)
    卷積神經(jīng)網(wǎng)絡(luò)中的自適應(yīng)加權(quán)池化
    全民小康路上的“加速器”
    Lite寄存器模型的設(shè)計(jì)與實(shí)現(xiàn)
    基于卷積神經(jīng)網(wǎng)絡(luò)和池化算法的表情識(shí)別研究
    分簇結(jié)構(gòu)向量寄存器分配策略研究*
    等待“加速器”
    欧美亚洲日本最大视频资源| 韩国高清视频一区二区三区| 少妇精品久久久久久久| 国产一区二区激情短视频 | 伊人亚洲综合成人网| 日韩不卡一区二区三区视频在线| 校园人妻丝袜中文字幕| 国产精品久久久久久精品古装| 久久久精品免费免费高清| 久久女婷五月综合色啪小说| 日本色播在线视频| 精品第一国产精品| 超碰97精品在线观看| 亚洲精品久久成人aⅴ小说| 香蕉丝袜av| 亚洲av成人精品一二三区| 亚洲精品久久午夜乱码| 国产69精品久久久久777片| 午夜免费观看性视频| 最近最新中文字幕大全免费视频 | 成人综合一区亚洲| 免费女性裸体啪啪无遮挡网站| 少妇人妻 视频| 亚洲精品av麻豆狂野| 欧美3d第一页| 国产在线免费精品| av免费观看日本| 久久人人爽av亚洲精品天堂| 热re99久久精品国产66热6| 免费看不卡的av| 久久久久久久久久久久大奶| 丰满乱子伦码专区| 麻豆乱淫一区二区| 深夜精品福利| 精品国产乱码久久久久久小说| 国产片内射在线| 久久久久精品性色| 赤兔流量卡办理| 精品人妻偷拍中文字幕| 91久久精品国产一区二区三区| 一本大道久久a久久精品| 日韩一区二区三区影片| 黄色 视频免费看| 日韩欧美一区视频在线观看| 最新的欧美精品一区二区| 国产男女内射视频| 人妻少妇偷人精品九色| 国产又色又爽无遮挡免| 超色免费av| 丰满乱子伦码专区| 日日爽夜夜爽网站| 亚洲欧美中文字幕日韩二区| 18+在线观看网站| 日韩人妻精品一区2区三区| 久久久国产一区二区| 老司机亚洲免费影院| 丝袜喷水一区| 久久久久久久久久久久大奶| 国产精品女同一区二区软件| 麻豆精品久久久久久蜜桃| 久久亚洲国产成人精品v| 一区二区三区精品91| 欧美少妇被猛烈插入视频| 久久久久精品性色| 久久久国产欧美日韩av| 亚洲国产日韩一区二区| 26uuu在线亚洲综合色| 菩萨蛮人人尽说江南好唐韦庄| 毛片一级片免费看久久久久| 国产亚洲av片在线观看秒播厂| 成人亚洲精品一区在线观看| 亚洲一级一片aⅴ在线观看| 美国免费a级毛片| 亚洲少妇的诱惑av| 交换朋友夫妻互换小说| 搡老乐熟女国产| 建设人人有责人人尽责人人享有的| 日韩在线高清观看一区二区三区| 蜜臀久久99精品久久宅男| 搡老乐熟女国产| 久久久精品区二区三区| 伦理电影大哥的女人| 日本wwww免费看| 卡戴珊不雅视频在线播放| 国产欧美日韩一区二区三区在线| 全区人妻精品视频| 国产精品免费大片| 97精品久久久久久久久久精品| 亚洲精华国产精华液的使用体验| 香蕉国产在线看| 亚洲色图综合在线观看| 久久久久久人人人人人| 在线天堂最新版资源| 亚洲精品乱久久久久久| 在线免费观看不下载黄p国产| 国产精品国产av在线观看| 成人黄色视频免费在线看| 国产综合精华液| 国产精品久久久久久精品古装| 久久精品国产亚洲av涩爱| 日本午夜av视频| 91精品国产国语对白视频| 久久人人97超碰香蕉20202| 国产精品一区二区在线观看99| 久久久久精品久久久久真实原创| 王馨瑶露胸无遮挡在线观看| 男女无遮挡免费网站观看| 一级片免费观看大全| 丰满乱子伦码专区| 成人二区视频| 国产av码专区亚洲av| 国产欧美另类精品又又久久亚洲欧美| 国产黄色视频一区二区在线观看| 亚洲国产日韩一区二区| 国产精品秋霞免费鲁丝片| 久久精品国产综合久久久 | 亚洲av福利一区| 狂野欧美激情性bbbbbb| 人人妻人人爽人人添夜夜欢视频| 亚洲国产av新网站| 天美传媒精品一区二区| 我要看黄色一级片免费的| 亚洲精品第二区| 在线观看人妻少妇| 久久av网站| 国产福利在线免费观看视频| 国产欧美日韩综合在线一区二区| 搡老乐熟女国产| 好男人视频免费观看在线| 妹子高潮喷水视频| 欧美成人午夜精品| 精品国产一区二区三区四区第35| 黑人高潮一二区| 中文精品一卡2卡3卡4更新| av在线播放精品| 天堂俺去俺来也www色官网| 少妇被粗大的猛进出69影院 | 中文字幕人妻熟女乱码| 男女国产视频网站| 亚洲国产最新在线播放| 999精品在线视频| 考比视频在线观看| 肉色欧美久久久久久久蜜桃| 国产一区二区三区av在线| 狂野欧美激情性xxxx在线观看| 性色av一级| 岛国毛片在线播放| 午夜久久久在线观看| 欧美丝袜亚洲另类| 中文字幕另类日韩欧美亚洲嫩草| 免费大片18禁| 亚洲第一av免费看| 日韩中字成人| 日韩 亚洲 欧美在线| 人人妻人人爽人人添夜夜欢视频| 一本—道久久a久久精品蜜桃钙片| 美女国产高潮福利片在线看| 欧美人与善性xxx| 日韩制服骚丝袜av| 国产日韩欧美视频二区| 色网站视频免费| 国产亚洲欧美精品永久| 建设人人有责人人尽责人人享有的| 欧美激情极品国产一区二区三区 | 欧美激情 高清一区二区三区| 精品国产乱码久久久久久小说| 中文字幕精品免费在线观看视频 | 亚洲,一卡二卡三卡| 91成人精品电影| 伊人亚洲综合成人网| 亚洲精品久久午夜乱码| 免费少妇av软件| 亚洲精品,欧美精品| 男男h啪啪无遮挡| 久久精品熟女亚洲av麻豆精品| 一区二区三区精品91| 久久午夜福利片| 久热这里只有精品99| 制服诱惑二区| 国产片特级美女逼逼视频| 人妻一区二区av| 亚洲国产av新网站| 国产无遮挡羞羞视频在线观看| 国产精品一区二区在线观看99| 亚洲欧洲日产国产| 高清在线视频一区二区三区| 久久99蜜桃精品久久| 性色avwww在线观看| 少妇被粗大的猛进出69影院 | 韩国av在线不卡| 亚洲成色77777| 男女边吃奶边做爰视频| 男人舔女人的私密视频| 满18在线观看网站| 久久韩国三级中文字幕| a级片在线免费高清观看视频| 26uuu在线亚洲综合色| 国产老妇伦熟女老妇高清| 国产毛片在线视频| 国产成人91sexporn| 国产精品99久久99久久久不卡 | 少妇被粗大的猛进出69影院 | 成人二区视频| 国产永久视频网站| 久久久久久久精品精品| 考比视频在线观看| 黑人高潮一二区| 免费看av在线观看网站| 国产免费一级a男人的天堂| 久久精品久久精品一区二区三区| 秋霞伦理黄片| 中国三级夫妇交换| 国产69精品久久久久777片| 一级毛片黄色毛片免费观看视频| 国产日韩一区二区三区精品不卡| 巨乳人妻的诱惑在线观看| 国产黄频视频在线观看| 在线 av 中文字幕| 国产成人精品在线电影| 在线观看美女被高潮喷水网站| 久久久久久久亚洲中文字幕| 国产极品粉嫩免费观看在线| 久久精品久久久久久久性| 免费观看在线日韩| 国产成人av激情在线播放| 天天影视国产精品| 少妇人妻久久综合中文| 久久久久久人人人人人| 日本与韩国留学比较| 欧美人与性动交α欧美软件 | 一区二区三区乱码不卡18| 最近的中文字幕免费完整| 久久久国产精品麻豆| 色哟哟·www| 亚洲av在线观看美女高潮| 亚洲av国产av综合av卡| 成年人午夜在线观看视频| 欧美激情极品国产一区二区三区 | 亚洲国产日韩一区二区| 成人18禁高潮啪啪吃奶动态图| 精品人妻一区二区三区麻豆| 少妇被粗大猛烈的视频| 国产精品一二三区在线看| 欧美日韩一区二区视频在线观看视频在线| 91精品伊人久久大香线蕉| 国产午夜精品一二区理论片| 国产欧美另类精品又又久久亚洲欧美| 亚洲av在线观看美女高潮| 久久99精品国语久久久| 国产精品一区www在线观看| 久久久久久久久久久免费av| 亚洲精品久久午夜乱码| 欧美老熟妇乱子伦牲交| 又粗又硬又长又爽又黄的视频| 久久久久久久大尺度免费视频| 中文天堂在线官网| 欧美国产精品va在线观看不卡| 国产在线视频一区二区| 亚洲精品国产色婷婷电影| 精品亚洲成a人片在线观看| 国产 一区精品| a级毛片黄视频| 国产白丝娇喘喷水9色精品| 免费av中文字幕在线| 亚洲少妇的诱惑av| 国产精品秋霞免费鲁丝片| 丰满饥渴人妻一区二区三| 男女免费视频国产| videossex国产| 色5月婷婷丁香| 国产男人的电影天堂91| 涩涩av久久男人的天堂| 欧美人与性动交α欧美精品济南到 | 少妇人妻 视频| 久久99热6这里只有精品| 国产成人精品久久久久久| 久久97久久精品| 97超碰精品成人国产| 五月玫瑰六月丁香| 精品亚洲乱码少妇综合久久| 日韩伦理黄色片| 一二三四在线观看免费中文在 | 高清不卡的av网站| 亚洲精品美女久久久久99蜜臀 | 免费看光身美女| 国国产精品蜜臀av免费| 成人综合一区亚洲| 五月玫瑰六月丁香| 一级爰片在线观看| 亚洲av男天堂| 十八禁高潮呻吟视频| 欧美日韩精品成人综合77777| 国产片特级美女逼逼视频| 色网站视频免费| 一区二区三区四区激情视频| 人人妻人人爽人人添夜夜欢视频| 精品第一国产精品| 欧美激情 高清一区二区三区| 国产国拍精品亚洲av在线观看| 国产深夜福利视频在线观看| 91aial.com中文字幕在线观看| 一二三四在线观看免费中文在 | 好男人视频免费观看在线| 免费看光身美女| 国产精品一区二区在线不卡| 蜜桃在线观看..| 又粗又硬又长又爽又黄的视频| 极品少妇高潮喷水抽搐| 极品人妻少妇av视频| 晚上一个人看的免费电影| 欧美亚洲 丝袜 人妻 在线| 丝袜脚勾引网站| 免费观看av网站的网址| 最后的刺客免费高清国语| 女人久久www免费人成看片| 人人妻人人添人人爽欧美一区卜| a级片在线免费高清观看视频| 一级a做视频免费观看| 天天影视国产精品| 中文精品一卡2卡3卡4更新| videos熟女内射| 免费播放大片免费观看视频在线观看| 久久久久久久大尺度免费视频| 黄片无遮挡物在线观看| 蜜桃国产av成人99| 日韩av不卡免费在线播放| 大香蕉97超碰在线| 免费观看av网站的网址| av不卡在线播放| 国产高清不卡午夜福利| 成人无遮挡网站| 欧美激情极品国产一区二区三区 | 人体艺术视频欧美日本| 咕卡用的链子| 在线天堂最新版资源| 精品国产国语对白av| videosex国产| 国产精品久久久久久av不卡| 国产白丝娇喘喷水9色精品| 久久97久久精品| 亚洲精品美女久久久久99蜜臀 | 黑丝袜美女国产一区| 免费av中文字幕在线| 日韩制服丝袜自拍偷拍| 午夜日本视频在线| 丝袜美足系列| 午夜免费男女啪啪视频观看| 一级毛片电影观看| 97超碰精品成人国产| 激情五月婷婷亚洲| 热99久久久久精品小说推荐| 在线观看国产h片| 午夜免费观看性视频| 国产男女内射视频| 赤兔流量卡办理| 国国产精品蜜臀av免费| 国产又色又爽无遮挡免| 欧美性感艳星| 国产在线视频一区二区| 亚洲欧美日韩卡通动漫| 国产成人精品在线电影| 亚洲综合精品二区| 日本黄大片高清| 日韩免费高清中文字幕av| 大陆偷拍与自拍| av国产久精品久网站免费入址| av有码第一页| 午夜91福利影院| 成人亚洲欧美一区二区av| 久久精品国产综合久久久 | 最近2019中文字幕mv第一页| 2022亚洲国产成人精品| 丰满饥渴人妻一区二区三| 免费人妻精品一区二区三区视频| 在线观看www视频免费| 91国产中文字幕| 啦啦啦啦在线视频资源| av福利片在线| 国产乱人偷精品视频| 国产精品秋霞免费鲁丝片| 乱人伦中国视频| 精品久久久久久电影网| 乱人伦中国视频| 久久久久久伊人网av| 丁香六月天网| 国产亚洲欧美精品永久| 国产又色又爽无遮挡免| 在线观看美女被高潮喷水网站| 99国产精品免费福利视频| 色视频在线一区二区三区| 国产在线视频一区二区| 美女内射精品一级片tv| 熟女电影av网| 曰老女人黄片| 男女边摸边吃奶| 亚洲欧美日韩另类电影网站| 日本av免费视频播放| 欧美亚洲日本最大视频资源| 精品国产一区二区久久| 极品少妇高潮喷水抽搐| av又黄又爽大尺度在线免费看| 日本欧美视频一区| 激情五月婷婷亚洲| 伦精品一区二区三区| 午夜免费鲁丝| 五月开心婷婷网| 王馨瑶露胸无遮挡在线观看| 亚洲欧美精品自产自拍| 97精品久久久久久久久久精品| 免费高清在线观看视频在线观看| 久久ye,这里只有精品| 欧美老熟妇乱子伦牲交| 亚洲 欧美一区二区三区| 黄色配什么色好看| videossex国产| 欧美日韩一区二区视频在线观看视频在线| av女优亚洲男人天堂| 男的添女的下面高潮视频| 下体分泌物呈黄色| 在线观看免费日韩欧美大片| 纯流量卡能插随身wifi吗| 少妇人妻 视频| 老女人水多毛片| 精品久久蜜臀av无| 考比视频在线观看| 校园人妻丝袜中文字幕| 老司机影院毛片| 春色校园在线视频观看| 久久久亚洲精品成人影院| 亚洲欧美日韩另类电影网站| 欧美人与性动交α欧美精品济南到 | 亚洲欧美一区二区三区国产| 国产一区二区三区av在线| 精品99又大又爽又粗少妇毛片| av片东京热男人的天堂| 成人综合一区亚洲| 久久影院123| 在线天堂中文资源库| 好男人视频免费观看在线| 成年美女黄网站色视频大全免费| 久久久久国产精品人妻一区二区| 一区在线观看完整版| 久久久久久人人人人人| 国产精品国产三级国产av玫瑰| 成年女人在线观看亚洲视频| 青青草视频在线视频观看| 亚洲中文av在线| videossex国产| 久久99一区二区三区| 久久精品夜色国产| 男人操女人黄网站| 国产乱人偷精品视频| 国产免费视频播放在线视频| 90打野战视频偷拍视频| 热99国产精品久久久久久7| 日韩av不卡免费在线播放| 免费看av在线观看网站| 国产成人91sexporn| 亚洲国产看品久久| 欧美日韩视频高清一区二区三区二| 成人免费观看视频高清| 欧美国产精品va在线观看不卡| 午夜日本视频在线| 国产爽快片一区二区三区| 亚洲av男天堂| 考比视频在线观看| 高清不卡的av网站| 国产免费福利视频在线观看| 亚洲欧美日韩另类电影网站| 久久久久精品久久久久真实原创| 国产免费又黄又爽又色| 久久午夜综合久久蜜桃| 人人妻人人澡人人爽人人夜夜| 老司机亚洲免费影院| 国产精品国产三级专区第一集| 纯流量卡能插随身wifi吗| 国产精品国产三级国产av玫瑰| 国产av一区二区精品久久| 天美传媒精品一区二区| 大陆偷拍与自拍| 熟女人妻精品中文字幕| 亚洲天堂av无毛| 乱码一卡2卡4卡精品| 亚洲欧洲日产国产| 国产在线免费精品| 国产老妇伦熟女老妇高清| 成人手机av| 亚洲美女搞黄在线观看| 2018国产大陆天天弄谢| 国产在线视频一区二区| 亚洲四区av| 一区二区三区精品91| 老熟女久久久| 日本猛色少妇xxxxx猛交久久| 人妻一区二区av| 精品国产国语对白av| 一级片免费观看大全| 女的被弄到高潮叫床怎么办| av又黄又爽大尺度在线免费看| 国产精品不卡视频一区二区| 99九九在线精品视频| 日韩人妻精品一区2区三区| 女人被躁到高潮嗷嗷叫费观| 日本vs欧美在线观看视频| 两个人免费观看高清视频| 黄色怎么调成土黄色| 一级毛片黄色毛片免费观看视频| 国产精品国产三级国产专区5o| 精品国产一区二区久久| 两个人免费观看高清视频| 高清不卡的av网站| 人成视频在线观看免费观看| 成人二区视频| 最近最新中文字幕免费大全7| kizo精华| 18禁在线无遮挡免费观看视频| 久久久久久久久久久久大奶| 18禁观看日本| xxx大片免费视频| 深夜精品福利| 亚洲精品国产av成人精品| 这个男人来自地球电影免费观看 | 99热这里只有是精品在线观看| 免费播放大片免费观看视频在线观看| 亚洲精品久久成人aⅴ小说| 亚洲色图综合在线观看| 纵有疾风起免费观看全集完整版| 黄色 视频免费看| xxx大片免费视频| 99国产精品免费福利视频| 久久国内精品自在自线图片| 免费人妻精品一区二区三区视频| 乱码一卡2卡4卡精品| 成人18禁高潮啪啪吃奶动态图| 大陆偷拍与自拍| 国产日韩欧美视频二区| 女人精品久久久久毛片| 国产毛片在线视频| av不卡在线播放| 欧美日韩视频精品一区| 久久久久久久亚洲中文字幕| 久久久久久久精品精品| 成人毛片60女人毛片免费| 晚上一个人看的免费电影| 国产成人精品婷婷| 精品酒店卫生间| 男人爽女人下面视频在线观看| 国产熟女午夜一区二区三区| 免费人成在线观看视频色| 日日摸夜夜添夜夜爱| 一级片免费观看大全| 黑人巨大精品欧美一区二区蜜桃 | 国产白丝娇喘喷水9色精品| 亚洲欧美一区二区三区国产| 日韩制服骚丝袜av| 欧美老熟妇乱子伦牲交| 一本大道久久a久久精品| 欧美日韩视频精品一区| 青春草视频在线免费观看| 最近中文字幕高清免费大全6| 国产成人精品无人区| 中文字幕免费在线视频6| 97在线视频观看| 国产高清不卡午夜福利| 性色av一级| 在线观看三级黄色| 精品酒店卫生间| 久久精品夜色国产| 桃花免费在线播放| 久久精品国产亚洲av涩爱| 国产片特级美女逼逼视频| 国产国语露脸激情在线看| 午夜视频国产福利| 人妻人人澡人人爽人人| 亚洲色图 男人天堂 中文字幕 | 日日撸夜夜添| 深夜精品福利| 中文乱码字字幕精品一区二区三区| 26uuu在线亚洲综合色| 欧美变态另类bdsm刘玥| 一本久久精品| 亚洲美女黄色视频免费看| 日本欧美视频一区| 91精品国产国语对白视频| freevideosex欧美| tube8黄色片| 国精品久久久久久国模美| 亚洲激情五月婷婷啪啪| 日本91视频免费播放| 久久青草综合色| 男的添女的下面高潮视频| 日日啪夜夜爽| 日本av手机在线免费观看| 中文天堂在线官网| av黄色大香蕉| 在线观看美女被高潮喷水网站| 边亲边吃奶的免费视频| 亚洲精品一区蜜桃| 人人妻人人添人人爽欧美一区卜| 成人毛片a级毛片在线播放| 亚洲av在线观看美女高潮| 国产综合精华液| 美女大奶头黄色视频| 97在线人人人人妻| 亚洲精品久久午夜乱码| 男女边摸边吃奶| 又黄又爽又刺激的免费视频.| 最近中文字幕高清免费大全6| 日韩av不卡免费在线播放| 丝袜喷水一区| 国产免费视频播放在线视频| av在线观看视频网站免费| 男人添女人高潮全过程视频| 久久午夜福利片| 国产 一区精品|