• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多視圖并行的可配置卷積神經(jīng)網(wǎng)絡(luò)加速器設(shè)計(jì)

    2022-03-28 06:50:50應(yīng)三叢
    工程科學(xué)與技術(shù) 2022年2期
    關(guān)鍵詞:池化加速器寄存器

    應(yīng)三叢,彭 鈴

    (1.四川大學(xué) 計(jì)算機(jī)學(xué)院,四川 成都 610065;2.四川大學(xué) 視覺合成圖形圖像技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室,四川 成都 610065)

    卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的算法模型優(yōu)化,是提升性能的關(guān)鍵。目前,CNN算法的實(shí)現(xiàn)平臺(tái)主要有中央處理單元(central processing unit,CPU),圖形處理單元 (graphic processing unit,GPU)和可編輯邏輯門陣列(filed programmable gated array,F(xiàn)PGA)。GPU雖然并行度高,但能耗和成本也較高;CPU無(wú)法實(shí)現(xiàn)高效的并行運(yùn)算,導(dǎo)致模型計(jì)算效率低下;而FPGA的可重構(gòu)、低延時(shí)、高吞吐量等特性更適用于人工智能算法加速。但隨著CNN算法日趨復(fù)雜,基于FPGA的軟硬件協(xié)同技術(shù)被廣泛應(yīng)用。

    Meloni和Xue等采用軟硬件協(xié)同設(shè)計(jì)方法,其通用處理器是基于ARM(advanced RISC machines)架構(gòu),存在定制成本高、靈活性不足等問題。而第五代精簡(jiǎn)指令集(reduced instruction sets computing,RISC-V)作為當(dāng)下熱門的開源精簡(jiǎn)指令集架構(gòu),是解決上述問題的不二之選。RISC-V指令集由基本指令集和擴(kuò)展指令集構(gòu)成,其中,基本指令集是設(shè)計(jì)RISC-V處理器不可或缺的,擴(kuò)展指令集則根據(jù)用戶需求定制。目前,市面上涌現(xiàn)出眾多基于RISC-V指令集的開源處理器,伯克利大學(xué)設(shè)計(jì)的Rocket處理器和芯來科技研發(fā)的E203處理器深受廣大科研工作者推崇。Liao和Yang等選用Rocket處理器實(shí)現(xiàn)卷積加速,雖然加速效果明顯,但該RISC-V處理器的硬件設(shè)計(jì)代碼是由高級(jí)語(yǔ)言轉(zhuǎn)換生成,可讀性差,同時(shí),該硬件設(shè)計(jì)實(shí)現(xiàn)于FPGA,會(huì)消耗額外的查找表 (look-up-table,LUT)。而E203處理器代碼均由人工編寫,可讀性強(qiáng)且易于理解,該處理器核的功耗和面積與同級(jí)ARM Cortex-M核相比極具競(jìng)爭(zhēng)力。Wu等利用專用協(xié)處理器接口去設(shè)計(jì)擴(kuò)展指令,從而實(shí)現(xiàn)CNN加速和物聯(lián)網(wǎng)領(lǐng)域多種算法的配置,但其不適用于配置不同模型的卷積、池化、全連接等單元;且未設(shè)計(jì)片外存儲(chǔ)器單元,不適合數(shù)據(jù)量大的CNN模型。Zhang等采用軟硬件協(xié)同技術(shù)設(shè)計(jì)CNN加速器,加速效果顯著,但該CNN加速器不可配置。Ayat和英偉達(dá)的NVDLA主要針對(duì)卷積層加速,未結(jié)合CNN各個(gè)運(yùn)算單元加速。Ma等結(jié)合理論原理,探索卷積層的循環(huán)展開方法。Cao設(shè)計(jì)的CNN加速器在各個(gè)運(yùn)算單元實(shí)現(xiàn)了全并行展開,對(duì)硬件平臺(tái)要求較高。

    綜合以上因素,本文進(jìn)行了如下研究:第一,擴(kuò)展協(xié)處理器的控制訪問接口,實(shí)現(xiàn)RISC-V對(duì)CNN加速器的參數(shù)配置;擴(kuò)展片外存儲(chǔ)器與協(xié)處速器的數(shù)據(jù)訪問接口,實(shí)現(xiàn)批量數(shù)據(jù)傳輸。第二,將卷積層的四重循環(huán)展開方法與英偉達(dá)NVDLA的并性設(shè)計(jì)方法相結(jié)合,實(shí)現(xiàn)多視圖部分并行展開,同時(shí)該方法可應(yīng)用于池化和全連接單元。各單元的硬件架構(gòu)決定寄存器組的設(shè)計(jì),由此完成可配置功能。

    1 RISC?V處理器

    本文的RISC-V處理器是一款變長(zhǎng)兩級(jí)流水線的32位處理器。其中:第1級(jí)流水線完成取指功能;第2級(jí)流水線實(shí)現(xiàn)譯碼、執(zhí)行、交付和寫回功能。它的系統(tǒng)總線稱為內(nèi)部芯片總線(internal chip bus,ICB))。該總線沿用高級(jí)可擴(kuò)展接口(advanced extensible interface,AXI)的握手機(jī)制,僅兩個(gè)通道,易于控制。

    2 基于RISC?V的CNN加速器SoC設(shè)計(jì)

    本文構(gòu)建的片上系統(tǒng)(system on chip,SoC)如圖1所示,系統(tǒng)包括RISC-V處理器、協(xié)處理器接口單元、CNN協(xié)加速器和片外存儲(chǔ)器。

    圖1 SoC系統(tǒng)框圖Fig. 1 Architecture of SoC system

    圖1中,協(xié)處理器接口單元由控制訪問接口和數(shù)據(jù)訪問接口構(gòu)成,分別適用AXI-LITE和AXI-FULL總線。RISC-V處理器作為該SoC的配置管理器,控制CNN加速器的寄存器單元。CNN加速器主要完成寄存器單元的信息解析,然后根據(jù)譯碼信息,實(shí)現(xiàn)直接存儲(chǔ)訪問(direct memory access,DMA)與片外存儲(chǔ)器的數(shù)據(jù)交互,執(zhí)行卷積層、池化層和全連接層的實(shí)時(shí)運(yùn)算。

    2.1 高速協(xié)處理器接口設(shè)計(jì)

    本文的高速協(xié)處理器接口包括協(xié)處理器控制訪問接口和協(xié)處理器數(shù)據(jù)訪問接口,如圖2所示。

    由于ICB通用性弱,不適合直接連接高速模塊,因此,為協(xié)處理器擴(kuò)展高速控制訪問接口,完成RISC-V與CNN加速器的控制訪問總線的銜接,并使其兼具高速特性。具體實(shí)現(xiàn)方式是先利用總線橋?qū)CB接口轉(zhuǎn)換為適用于控制訪問單元的AXI接口(兼容AXI-LITE接口);然后為該橋接單元設(shè)計(jì)一個(gè)專用的異步先入先出(first-in first-out,F(xiàn)IFO)緩沖器,實(shí)現(xiàn)硬件加速單元能以高于RISC-V處理器的時(shí)鐘獨(dú)立工作。實(shí)現(xiàn)框圖如圖2(a)所示。

    圖2(b)為協(xié)處理器的數(shù)據(jù)訪問接口框圖。由于CNN運(yùn)算的數(shù)據(jù)量龐大,僅靠片內(nèi)存儲(chǔ)器不僅耗費(fèi)資源,且無(wú)法實(shí)現(xiàn)批量傳輸,因此為其開辟適用AXI-FULL的片外存儲(chǔ)接口,以片外存儲(chǔ)器來實(shí)現(xiàn)數(shù)據(jù)的高速傳輸。該接口的突發(fā)傳輸參數(shù)包括突發(fā)包首地址和數(shù)據(jù)個(gè)數(shù)等,單次突發(fā)傳輸?shù)臄?shù)據(jù)個(gè)數(shù)最大為256。CNN加速器的數(shù)據(jù)接口由卷積、池化和權(quán)重對(duì)應(yīng)的讀通道和卷積、池化對(duì)應(yīng)的寫通道構(gòu)成;其中,讀通道包括讀命令通道和讀數(shù)據(jù)通道。經(jīng)多路仲裁器輪詢仲裁,從3組讀命令通道確定存儲(chǔ)器的讀命令通道,同時(shí)根據(jù)讀命令值,將存儲(chǔ)器中待讀取的數(shù)據(jù)分發(fā)給CNN加速器對(duì)應(yīng)的讀數(shù)據(jù)通道。而寫命令通道、寫數(shù)據(jù)通道和寫反饋通道共同構(gòu)成了寫通道。為了提升總線資源的利用率,將寫數(shù)據(jù)的最高位作為寫通道數(shù)據(jù)類型的判斷依據(jù),從而實(shí)現(xiàn)CNN加速器寫命令通道和寫數(shù)據(jù)通道的復(fù)用。如果是寫命令,則分發(fā)給卷積或池化的寫命令緩存單元,然后再以輪詢仲裁方式發(fā)送給存儲(chǔ)器的寫命令通道,同時(shí)存入狀態(tài)緩存器。對(duì)于寫數(shù)據(jù),先分發(fā)給對(duì)應(yīng)的緩存單元;然后,根據(jù)寫命令值,發(fā)送卷積或池化單元的數(shù)據(jù)到存儲(chǔ)器寫數(shù)據(jù)通道;最后,對(duì)寫響應(yīng)通道的數(shù)據(jù)和當(dāng)前狀態(tài)緩存器的數(shù)據(jù)進(jìn)行判決,以判決器的輸出作為存儲(chǔ)器寫響應(yīng)通道數(shù)據(jù)分發(fā)的標(biāo)志。

    圖2 協(xié)處理器高速接口框圖Fig. 2 Diagram of coprocessor high-speed interface

    2.2 CNN協(xié)加速器設(shè)計(jì)與分析

    CNN的基本結(jié)構(gòu)主要包括卷積、池化和全連接層,且各算法層包含多重循環(huán)。因此,結(jié)合硬件設(shè)計(jì)的并行思想,采用多視圖并行來設(shè)計(jì)本文的CNN加速器,其中并行展開度為

    K

    ,其值可配置為8、16、32。

    2.2.1 卷積設(shè)計(jì)與分析

    卷積的輸入特征圖和輸出特征圖分別表示為

    I

    O

    ,權(quán)重和偏置分別為

    W

    B

    。

    3維卷積輸出特征圖的相關(guān)計(jì)算公式如下:

    式(1)~(4)中,

    H

    、

    H

    H

    分別為輸出特征圖、輸入特征圖和權(quán)重卷積核的列大小,

    W

    、

    W

    、

    W

    分別為輸出特征圖、輸入特征圖和權(quán)重卷積核的行大小,

    P

    、

    P

    為沿行方向和沿列方向的填充行數(shù),

    S

    、

    S

    為沿行方向和沿列方向的滑動(dòng)步長(zhǎng),

    x

    、

    y

    為 輸出特征圖的坐標(biāo)點(diǎn),

    m

    n

    分別為輸出通道和輸入通道的參數(shù)值,

    f

    為激活函數(shù)。本文實(shí)現(xiàn)的三重循環(huán)并行展開方法,其基本單元由乘累加器和累加器構(gòu)成,有利于提升模塊的資源利用率。以并行度

    K

    實(shí)現(xiàn),此時(shí),三重循環(huán)展開可抽象為多個(gè)矩陣的并行運(yùn)算。由于每個(gè)視圖的基本運(yùn)算單元最大并行度為32,因此單個(gè)視圖的并行乘累加陣列個(gè)數(shù)為32。圖3為卷積并行展開示意圖,其中,

    N

    /

    K

    M

    /

    K

    分別表示特征矩陣沿輸入通道(輸入通道長(zhǎng)度為

    N

    )和輸出通道(輸出通道長(zhǎng)度為

    M

    ),按并行度

    K

    展開的總運(yùn)算次數(shù)(“/”代表的除法運(yùn)算,若不能整除,則向上取整,即即 「

    N

    /

    K

    」,下同)。為簡(jiǎn)化硬件設(shè)計(jì),對(duì)輸入特征圖的列以并行度

    K

    展開,其運(yùn)算次數(shù)為

    H

    ×

    W

    /

    K

    。圖3中序號(hào)①表示沿輸入通道方向的

    K

    個(gè)大小為1 ×1的特征矩陣參與卷積運(yùn)算;序號(hào)②表示列長(zhǎng)為

    K

    ,輸入通道長(zhǎng)度為

    K

    ,大小為1 ×1的特征矩陣參與卷積運(yùn)算;序號(hào)③則是沿輸出通道方向,同時(shí)進(jìn)行輸出通道長(zhǎng)度為

    K

    的序號(hào)②運(yùn)算過程。

    M

    M

    分別表示輸入特征圖和權(quán)重的運(yùn)算次數(shù)。

    圖3 卷積并行展開示意圖Fig. 3 Diagram of convolution parallel expansion

    卷積運(yùn)算的理論計(jì)算公式如下:

    式(5)~(7)中,

    T

    T

    分別為CPU和CNN加速器的卷積運(yùn)算時(shí)間,

    T

    T

    分別為CPU和CNN加速器的單次運(yùn)算時(shí)間,

    A

    為卷積加速比。

    2.2.2 池化設(shè)計(jì)與分析

    類似卷積的并行展開算法,對(duì)池化矩陣在輸入通道方向上、對(duì)輸出池化特征圖在列方向上分別執(zhí)行

    K

    并行度展開,同時(shí)將池化單元設(shè)計(jì)為行池化和列池化級(jí)聯(lián)結(jié)構(gòu)。池化設(shè)計(jì)的相關(guān)參數(shù)如下:

    I

    O

    分別為池化的輸入和輸出特征圖,

    N

    為池化的通道數(shù),

    H

    、

    W

    分別為池化輸入特征圖的行大小和列大小,

    H

    、

    W

    分別為池化輸出特征圖的行大小和列大小,

    H

    、

    W

    為池化窗口的高和寬。池化的并行展開過程如圖4所示。針對(duì)行池化,其輸出特征圖大小為

    H

    ×

    W

    ,因此,行池化的通道參數(shù)和特征圖列大小的并行展開次數(shù)可表示為

    N

    /

    K

    H

    ×

    W

    /

    K

    。由于只實(shí)現(xiàn)了行運(yùn)算,因此池化窗口的運(yùn)算次數(shù)為

    W

    ×

    K

    ,圖4中每個(gè)矩形框的大小為1×

    K

    。列池化的展開原理類似。

    M

    M

    是行池化和列池化的運(yùn)算次數(shù)。

    圖4 池化并行展開示意圖Fig. 4 Diagram of pooling parallel expansion

    池化運(yùn)算時(shí)間的理論計(jì)算公式如下:

    式(8)~(12)中,

    T

    為CPU的池化運(yùn)行總時(shí)間,

    T

    T

    分別為行池化耗時(shí)和列池化耗時(shí),

    T

    T

    分別為CPU和CNN加速器的單次運(yùn)算時(shí)間,

    A

    為池化加速比。

    2.2.3 全連接設(shè)計(jì)與分析

    為減少額外的資源消耗,全連接模型可經(jīng)處理而映射到卷積運(yùn)算電路。其轉(zhuǎn)換思想是將維度為

    N

    的輸入向量

    I

    轉(zhuǎn)換為大小為1 ×1, 輸入通道數(shù)為

    N

    +1的卷積輸入特征圖。將偏置矩陣合并到權(quán)重矩陣,矩陣權(quán)重卷積核大小為1 ×1,輸入通道數(shù)和輸出通道數(shù)分別為

    N

    +1和

    M

    。而轉(zhuǎn)換后的輸出特征圖

    O

    的大小為1 ×1, 輸出通道數(shù)為

    M

    。按卷積并行展開法,其運(yùn)算展開過程如圖3所示。理論計(jì)算公式如下:

    式(13)~(15)中,

    T

    T

    分別為全連接運(yùn)算和CPU的總耗時(shí),

    T

    T

    為 兩者所對(duì)應(yīng)的單次耗時(shí),

    A

    為兩者的加速比。

    2.3 CNN協(xié)加速器設(shè)計(jì)與實(shí)現(xiàn)

    通過分析CNN加速器的各運(yùn)算單元,劃分其硬件單元為寄存器組、定點(diǎn)模塊、通用運(yùn)算單元和池化單元。根據(jù)設(shè)計(jì)的硬件電路結(jié)構(gòu),設(shè)計(jì)CNN加速器的寄存器組,它由1個(gè)系統(tǒng)控制寄存器,33個(gè)通用寄存器和26個(gè)池化寄存器構(gòu)成。通過配置寄存器組信息,來完成不同模型在CNN加速器上的部署。其中,通用寄存器組適用于卷積或全連接單元,而系統(tǒng)寄存器決定運(yùn)算單元開始或結(jié)束。

    2.3.1 定點(diǎn)量化

    根據(jù)Hubara等的研究,數(shù)據(jù)量化對(duì)圖像任務(wù)干擾較小,且對(duì)數(shù)據(jù)參數(shù)的精度要求不高,因此為解決CNN主流模型存在的計(jì)算量大、存儲(chǔ)占用大等問題,本文將32位單精度浮點(diǎn)數(shù)處理為16位定點(diǎn)數(shù),這樣既可降低數(shù)據(jù)存儲(chǔ)量,又可簡(jiǎn)化硬件加速器的設(shè)計(jì)。模型的存儲(chǔ)量可降低1倍。

    2.3.2 通用運(yùn)算單元設(shè)計(jì)與實(shí)現(xiàn)

    通用運(yùn)算單元包括通用寄存器組、卷積讀DMA、權(quán)重讀DMA、卷積緩存器、權(quán)重緩存器、卷積片上存儲(chǔ)器、權(quán)重片上存儲(chǔ)器、卷積控制單元、乘累加單元、累加單元和激活單元。同時(shí),由于卷積與全連接的運(yùn)算結(jié)構(gòu)相似,因此,僅設(shè)計(jì)卷積計(jì)算單元來作為通用計(jì)算單元,以復(fù)用形式實(shí)現(xiàn)卷積與全連接運(yùn)算。

    圖5展示了通用運(yùn)算單元的結(jié)構(gòu),其卷積運(yùn)算的具體運(yùn)算流程為:首先,配置系統(tǒng)寄存器,產(chǎn)生系統(tǒng)控制信號(hào),然后,配置卷積運(yùn)算參數(shù)寄存器,確定特征圖的行大小、列大小、通道數(shù)、卷積核大小等,并產(chǎn)生卷積單元的控制信號(hào)。接著,配置卷積的數(shù)據(jù)訪問寄存器參數(shù),如突發(fā)包的讀地址和讀數(shù)據(jù)長(zhǎng)度等,根據(jù)這些參數(shù),將卷積和權(quán)重?cái)?shù)據(jù)經(jīng)DMA從片外存儲(chǔ)器寫入片上存儲(chǔ)器。如此,將所需的運(yùn)算數(shù)據(jù)準(zhǔn)備好。再根據(jù)卷積單元的運(yùn)算控制信號(hào)實(shí)現(xiàn)數(shù)據(jù)的乘累加和累加運(yùn)算。其中,乘累加單元是由

    K

    路并行乘累加器構(gòu)成,其值在硬件電路設(shè)計(jì)中可配置為8、16、32。該運(yùn)算電路可被復(fù)用在3維視圖并行實(shí)現(xiàn)的CNN加速器中,如最大并行度為32,輸入通道為3,則復(fù)用該結(jié)構(gòu)1次;輸出特征圖高為224,復(fù)用7次;輸出通道為64,復(fù)用2次。

    圖5 通用運(yùn)算單元結(jié)構(gòu)Fig. 5 Structure of general operation units

    對(duì)于全連接運(yùn)算,可通過處理其模型參數(shù),配置通用寄存器組,來實(shí)現(xiàn)卷積與全連接模型兼容,同時(shí)以運(yùn)算單元之間的復(fù)用來降低硬件資源消耗和設(shè)計(jì)的復(fù)雜度。例如,對(duì)全連接結(jié)構(gòu) 4096×1000,按卷積結(jié)構(gòu)處理,可得到結(jié)構(gòu)為 4 096×1×1的卷積輸入特征圖和結(jié)構(gòu)為4 096×1×1×1的權(quán)重特征圖,由此將全連接運(yùn)算轉(zhuǎn)化為卷積運(yùn)算,實(shí)現(xiàn)卷積與全連接結(jié)構(gòu)復(fù)用。

    經(jīng)過乘累加和累加單元運(yùn)算后,根據(jù)激活函數(shù)寄存器的值,決定該運(yùn)算結(jié)果是否進(jìn)行激活運(yùn)算,并將最終結(jié)果存入結(jié)果緩存器。由于該通用運(yùn)算單元的輸出數(shù)據(jù)將作為下一運(yùn)算單元的輸入數(shù)據(jù),因此按通用寄存器組配置的輸出數(shù)據(jù)地址、數(shù)據(jù)長(zhǎng)度和存儲(chǔ)方式等,將結(jié)果經(jīng)卷積寫DMA寫回片外存儲(chǔ)器,并向寄存器返回運(yùn)算完成標(biāo)志。

    2.3.3 池化運(yùn)算單元設(shè)計(jì)與實(shí)現(xiàn)

    池化運(yùn)算單元由池化寄存器組、池化讀DMA、池化寫DMA、池化讀緩存器、池化寫緩存器、池化控制單元、行池化和列池化組成。其運(yùn)算結(jié)構(gòu)如圖6所示。

    圖6 池化運(yùn)算單元結(jié)構(gòu)Fig. 6 Structure of pooling unit

    與通用運(yùn)算單元類似,系統(tǒng)寄存器配置完成后,池化寄存器組開始對(duì)池化運(yùn)算參數(shù)寄存器(如輸入特征圖大小、輸出特征圖大小、池化窗口大小等)進(jìn)行配置。接著,池化模式寄存器被配置為最大池化、最小池化或平均池化之一,并產(chǎn)生相應(yīng)的控制信號(hào),發(fā)送給行池化和列池化單元。在完成池化運(yùn)算參數(shù)寄存器配置后,對(duì)池化數(shù)據(jù)參數(shù)寄存器進(jìn)行數(shù)據(jù)參數(shù)值寫入。根據(jù)這組寄存器提供的讀地址、讀數(shù)據(jù)長(zhǎng)度、讀數(shù)據(jù)形式(如行或面),從片外存儲(chǔ)器讀取與之對(duì)應(yīng)的有效數(shù)據(jù),并經(jīng)池化讀DMA存入池化讀緩存單元,然后執(zhí)行池化運(yùn)算。

    池化的實(shí)際運(yùn)算單元包括行池化和列池化。其中,行池化的基本運(yùn)算電路是由最大池化電路、最小池化電路、平均池化電路和3選1多路選擇器構(gòu)成,池化方法控制信號(hào)決定行池化的輸出數(shù)據(jù)來源。對(duì)于列池化,其輸入源于行池化的輸出,因此列池化單元可由并行的行池化電路構(gòu)成。

    根據(jù)池化運(yùn)算結(jié)構(gòu)框(圖6),列池化的輸出結(jié)果是池化的最終輸出結(jié)果。該結(jié)果通常作為全連接或卷積的輸入數(shù)據(jù),因此需要根據(jù)池化輸出數(shù)據(jù)參數(shù)寄存器,給定輸出存儲(chǔ)地址、存儲(chǔ)大小、行存儲(chǔ)參數(shù)、面存儲(chǔ)參數(shù)等,將池化輸出結(jié)果寫回片外存儲(chǔ)器的相應(yīng)單元。

    3 實(shí)驗(yàn)結(jié)果

    3.1 FPGA平臺(tái)驗(yàn)證

    使用開發(fā)工具Vivado2018對(duì)本文的設(shè)計(jì)進(jìn)行綜合和布局布線,其中RISC-V和CNN協(xié)加速器的時(shí)鐘頻率分別為16 MHz和110 MHz。表1列出了CNN協(xié)加速器資源消耗情況,CNN協(xié)加速器功耗為1.883 W。

    表1 CNN協(xié)加速器資源消耗
    Tab. 1 CNN accelerator resource utilization

    資源名稱 資源消耗數(shù)目/個(gè) 資源占用率/%LUT 61 656 20.31 FF 84 115 13.85 BRAM 912 88.54 DSP 1 095 39.11

    3.2 CNN協(xié)加速器性能

    本文在相同測(cè)試條件下,分別將卷積、池化和全連接模型部署在CPU、GPU和本文設(shè)計(jì)的CNN協(xié)加速器,獲取各自的運(yùn)算時(shí)間、能耗等性能指標(biāo)。

    表2為相同測(cè)試模型分別被部署在3個(gè)平臺(tái)(頻率2.4 GHz,功耗45 W的英特爾i5-9300處理器;頻率1.15 GHz,功耗235 W的英偉達(dá)GPU K40M處理器;頻率110 MHz,功耗1.883 W的CNN協(xié)加速器)的性能指標(biāo)。測(cè)試模型包括3個(gè)卷積模型,4個(gè)池化模型和3個(gè)全連接模型,卷積核大小均為 3 ×3。其中,本文的CNN加速器的卷積算力均值為221 GOPS。表2中的能耗比是GPU與CPU、本文協(xié)加速器與CPU的能耗比值;速度比是GPU與CPU、本文協(xié)加速器與CPU的運(yùn)算時(shí)間之比。

    表2 不同平臺(tái)不同運(yùn)算單元性能
    Tab. 2 Performance of different kits and different computing units

    硬件平臺(tái) 運(yùn)算單元運(yùn)算時(shí)間/ms能耗/(W·s)能耗比速度比CPU i5-9th卷積 8 845.760 398.059 1 1池化 112.515 5.063 1 1全連接 11.960 0.538 1 1 GPU Tesla-K40M卷積 0.973 0.229 1 7429 095池化 0.914 0.215 24 123全連接 1.553 0.365 2 8本文協(xié)加速器卷積 46.676 0.087 4 554189池化 10.279 0.010 491 11全連接 2.184 0.004 131 6

    為了更準(zhǔn)確地描述CNN模型的性能,將經(jīng)典模型VGG16的卷積層部署于CNN協(xié)加速器,表3列出了部署VGG16的5個(gè)卷積單元組時(shí),本文設(shè)計(jì)的加速器的性能。表3中,GOP(giga operations)代表十億次定點(diǎn)運(yùn)算數(shù),GOPS(giga operations per second)表示每秒執(zhí)行的十億次定點(diǎn)運(yùn)算數(shù)。

    表3 VGG16卷積單元組性能
    Tab. 3 Performance of convolution groups for VGG16 network

    硬件平臺(tái) 卷積組 運(yùn)算時(shí)間/ms運(yùn)算量 吞吐量本文協(xié)加速器第1組 27.14 3.87 GOP142.59 GOPS第2組 27.14 5.55 GOP204.50 GOPS第3組 45.28 9.25 GOP204.28 GOPS第4組 46.35 9.25 GOP199.57 GOPS第5組 16.26 2.31 GOP142.07 GOPS

    表4是本文設(shè)計(jì)的CNN加速器與部分前人工作的對(duì)比,從表4中可知,本文設(shè)計(jì)的CNN加速器的吞吐量為178.6 GOPS,與其他3種加速器相比,吞吐量分別提高94.3 GOPS、44.5 GOPS和55.9 GOPS。

    表4 實(shí)驗(yàn)對(duì)比
    Tab. 4 Comparison with previous implementations

    平臺(tái) FPGA型號(hào)時(shí)鐘頻率/MHz運(yùn)行時(shí)間/ms運(yùn)算量 吞吐量Angel-eye[28]XC7Z020214364.0030.69 GOP84.30 GOPS ALAMO[29] GXA7 100 9.821.46 GOP134.10 GOPS ConvNets加速器[30]XC7Z045125249.5030.70 GOP123.12 GOPS本文協(xié)加速器VC707 110162.1730.69 GOP178.60 GOPS

    4 結(jié) 論

    本文基于RISC-V擴(kuò)展了控制訪問接口,用于參數(shù)配置,擴(kuò)展CNN加速器的數(shù)據(jù)訪問接口,完成數(shù)據(jù)高速傳輸,然后設(shè)計(jì)多視圖并行的卷積神經(jīng)網(wǎng)絡(luò)的協(xié)加速器,最后構(gòu)建包含RISC-V處理器和CNN協(xié)加速器的SoC。將CNN模型部署在本文設(shè)計(jì)的CNN協(xié)加速器、CPU、GPU平臺(tái),在測(cè)試模型和卷積核大小相同情況下,分別對(duì)各平臺(tái)的卷積、池化、全連接單元進(jìn)行仿真驗(yàn)證。其中,CNN的各運(yùn)算單元運(yùn)行在本文設(shè)計(jì)的CNN加速器的運(yùn)算速度分別是運(yùn)行在CPU平臺(tái)的189倍,11倍和6倍,但明顯低于GPU。而對(duì)比GPU與本文的加速器的能耗,各運(yùn)算單元運(yùn)行在GPU平臺(tái)的能耗分別是本文設(shè)計(jì)的CNN加速器的2.6倍,20.5倍和65.5倍。根據(jù)表3可知,全連接單元的加速比遠(yuǎn)小于卷積單元,其原因是全連接單元需經(jīng)轉(zhuǎn)換才能復(fù)用卷積單元結(jié)構(gòu),而轉(zhuǎn)換生成的卷積輸入特征圖的行和列大小都為1,這將導(dǎo)致訪問外部存儲(chǔ)器的帶寬降低。

    為進(jìn)一步驗(yàn)證本文設(shè)計(jì)對(duì)具體CNN模型的影響,對(duì)VGG16的5組卷積單元進(jìn)行獨(dú)立驗(yàn)證,其卷積的運(yùn)算性能可達(dá)178.6 GOPS,與其他的CNN加速器相比,性能得以提升。雖然本文構(gòu)建的可配置CNN協(xié)加速器SoC的加速效果顯著,但僅僅是對(duì)卷積、池化、全連接單元的單獨(dú)測(cè)試,未進(jìn)行完整網(wǎng)絡(luò)的性能分析,下一步將搭建完整的CNN網(wǎng)絡(luò)模型進(jìn)行整體性能分析。

    猜你喜歡
    池化加速器寄存器
    輪滑加速器
    化學(xué)工業(yè)的“加速器”
    面向神經(jīng)網(wǎng)絡(luò)池化層的靈活高效硬件設(shè)計(jì)
    基于Sobel算子的池化算法設(shè)計(jì)
    卷積神經(jīng)網(wǎng)絡(luò)中的自適應(yīng)加權(quán)池化
    全民小康路上的“加速器”
    Lite寄存器模型的設(shè)計(jì)與實(shí)現(xiàn)
    基于卷積神經(jīng)網(wǎng)絡(luò)和池化算法的表情識(shí)別研究
    分簇結(jié)構(gòu)向量寄存器分配策略研究*
    等待“加速器”
    久久精品人妻少妇| 嫩草影院精品99| 欧美精品国产亚洲| 日韩精品青青久久久久久| .国产精品久久| 看黄色毛片网站| 国产在线男女| 老熟妇仑乱视频hdxx| 99久久中文字幕三级久久日本| 色吧在线观看| 香蕉av资源在线| 成年av动漫网址| 女同久久另类99精品国产91| 99视频精品全部免费 在线| 国产午夜福利久久久久久| 免费观看在线日韩| 国产午夜精品久久久久久一区二区三区 | 成人性生交大片免费视频hd| 国产淫片久久久久久久久| 精品久久久久久久久久久久久| 国产高清三级在线| 午夜精品一区二区三区免费看| 国产又黄又爽又无遮挡在线| 久久鲁丝午夜福利片| 人人妻,人人澡人人爽秒播| 免费高清视频大片| 黄色视频,在线免费观看| 在线观看一区二区三区| 日韩av不卡免费在线播放| 久久久久免费精品人妻一区二区| 中文字幕av在线有码专区| 免费av观看视频| 亚洲,欧美,日韩| 国产成人freesex在线 | 天美传媒精品一区二区| 亚洲av熟女| 国模一区二区三区四区视频| 一级毛片我不卡| 亚洲国产精品成人久久小说 | 精品久久久久久成人av| 欧美不卡视频在线免费观看| 国产伦精品一区二区三区视频9| 在线观看美女被高潮喷水网站| 最近的中文字幕免费完整| 精品国内亚洲2022精品成人| 欧美一区二区精品小视频在线| 日韩三级伦理在线观看| 国产成人影院久久av| 国产精品久久电影中文字幕| 人妻制服诱惑在线中文字幕| avwww免费| 一个人免费在线观看电影| 99热全是精品| 中国美白少妇内射xxxbb| 在线观看av片永久免费下载| 国产精品三级大全| 亚洲国产精品成人综合色| 日产精品乱码卡一卡2卡三| 99热全是精品| 少妇人妻精品综合一区二区 | 日日撸夜夜添| 亚洲熟妇中文字幕五十中出| 免费观看人在逋| 欧美成人一区二区免费高清观看| 国产精品久久久久久av不卡| 免费看美女性在线毛片视频| 国产精品一区www在线观看| 久久精品国产鲁丝片午夜精品| 特大巨黑吊av在线直播| 一本精品99久久精品77| 日韩一区二区视频免费看| 亚洲无线观看免费| 午夜免费男女啪啪视频观看 | av免费在线看不卡| 日韩欧美一区二区三区在线观看| 国产一区二区三区在线臀色熟女| 99久国产av精品国产电影| 18禁在线无遮挡免费观看视频 | 黄色配什么色好看| 国产极品精品免费视频能看的| 国产乱人视频| 日韩中字成人| 亚洲av美国av| 噜噜噜噜噜久久久久久91| 男女视频在线观看网站免费| 好男人在线观看高清免费视频| 午夜激情欧美在线| 精品久久久久久成人av| 大又大粗又爽又黄少妇毛片口| 久久久久国产精品人妻aⅴ院| 亚洲中文字幕一区二区三区有码在线看| 色在线成人网| 国产av不卡久久| 日本一二三区视频观看| av专区在线播放| 22中文网久久字幕| 美女xxoo啪啪120秒动态图| 日本撒尿小便嘘嘘汇集6| 赤兔流量卡办理| 久久欧美精品欧美久久欧美| 亚洲最大成人av| 99热全是精品| 中国美白少妇内射xxxbb| 国产精品福利在线免费观看| 91久久精品国产一区二区成人| 老司机午夜福利在线观看视频| 少妇熟女aⅴ在线视频| 亚洲精品日韩av片在线观看| 免费人成视频x8x8入口观看| 观看免费一级毛片| 22中文网久久字幕| 日本爱情动作片www.在线观看 | 亚洲av.av天堂| 久久久久国内视频| 日韩大尺度精品在线看网址| 神马国产精品三级电影在线观看| 欧美激情在线99| 高清毛片免费看| 一级黄色大片毛片| 国产成年人精品一区二区| 日本一本二区三区精品| 精品福利观看| 国产精品人妻久久久影院| 在线免费十八禁| 国产av麻豆久久久久久久| 久久欧美精品欧美久久欧美| 亚洲五月天丁香| 精品人妻一区二区三区麻豆 | 99久久无色码亚洲精品果冻| 啦啦啦观看免费观看视频高清| 91久久精品电影网| 欧美日韩乱码在线| 午夜久久久久精精品| 午夜福利在线观看免费完整高清在 | 国产精品一及| 在线免费十八禁| 在线国产一区二区在线| 一a级毛片在线观看| 欧美成人一区二区免费高清观看| 国产色婷婷99| 91午夜精品亚洲一区二区三区| 乱人视频在线观看| 尤物成人国产欧美一区二区三区| 国产乱人视频| 毛片一级片免费看久久久久| 乱码一卡2卡4卡精品| 色哟哟哟哟哟哟| 女生性感内裤真人,穿戴方法视频| 一级黄片播放器| 精品少妇黑人巨大在线播放 | 国产精品无大码| 免费人成视频x8x8入口观看| 十八禁国产超污无遮挡网站| 日产精品乱码卡一卡2卡三| 亚洲av熟女| 国产aⅴ精品一区二区三区波| 精品一区二区三区人妻视频| 中国国产av一级| 亚洲欧美精品综合久久99| 在线a可以看的网站| 亚洲av美国av| 啦啦啦啦在线视频资源| 在线天堂最新版资源| 国产精品一区二区三区四区久久| 久久99热6这里只有精品| 日韩精品中文字幕看吧| 十八禁网站免费在线| 亚洲人与动物交配视频| 国产白丝娇喘喷水9色精品| 国产私拍福利视频在线观看| 热99re8久久精品国产| 欧美人与善性xxx| 久久这里只有精品中国| 国产人妻一区二区三区在| 日日摸夜夜添夜夜添av毛片| 免费av毛片视频| 精品欧美国产一区二区三| 免费av观看视频| 精品久久久久久久久亚洲| av卡一久久| 乱码一卡2卡4卡精品| 国产高清视频在线播放一区| 嫩草影院新地址| 日韩欧美国产在线观看| 91午夜精品亚洲一区二区三区| 亚洲av第一区精品v没综合| 天堂影院成人在线观看| 波多野结衣高清无吗| 一区二区三区四区激情视频 | 欧美三级亚洲精品| av在线天堂中文字幕| 免费黄网站久久成人精品| 三级国产精品欧美在线观看| 日日干狠狠操夜夜爽| 亚洲人成网站高清观看| 国产一区二区在线观看日韩| 日韩亚洲欧美综合| 精品福利观看| 99九九线精品视频在线观看视频| 观看免费一级毛片| eeuss影院久久| 日本一二三区视频观看| 91狼人影院| 精品一区二区免费观看| 桃色一区二区三区在线观看| 国内精品美女久久久久久| 国产一区二区三区在线臀色熟女| 天堂影院成人在线观看| 少妇被粗大猛烈的视频| 亚洲成a人片在线一区二区| 99视频精品全部免费 在线| 黄色视频,在线免费观看| 国产在视频线在精品| 99国产极品粉嫩在线观看| 亚洲精品久久国产高清桃花| 不卡视频在线观看欧美| 亚洲内射少妇av| 老司机福利观看| 国产女主播在线喷水免费视频网站 | 成人精品一区二区免费| 久久婷婷人人爽人人干人人爱| 欧美xxxx性猛交bbbb| 人人妻人人澡人人爽人人夜夜 | 午夜精品一区二区三区免费看| 美女大奶头视频| 国产精品嫩草影院av在线观看| 成人永久免费在线观看视频| 波多野结衣高清作品| 亚洲欧美精品综合久久99| 老熟妇仑乱视频hdxx| 欧美成人a在线观看| 国产精品人妻久久久久久| 国产精品一及| 亚洲不卡免费看| 人人妻,人人澡人人爽秒播| 男人的好看免费观看在线视频| 国产成人一区二区在线| 久久久久久大精品| 人妻丰满熟妇av一区二区三区| 色噜噜av男人的天堂激情| 精品人妻熟女av久视频| 精品一区二区三区视频在线观看免费| 色播亚洲综合网| 午夜视频国产福利| 黑人高潮一二区| 成人性生交大片免费视频hd| 伦精品一区二区三区| 久久精品91蜜桃| 日本a在线网址| 久久久久久久久久久丰满| 少妇高潮的动态图| 色哟哟·www| 久久人人爽人人片av| 亚洲性久久影院| 五月玫瑰六月丁香| 少妇人妻精品综合一区二区 | 2021天堂中文幕一二区在线观| 免费观看的影片在线观看| 黄色欧美视频在线观看| 97人妻精品一区二区三区麻豆| 99在线人妻在线中文字幕| 成年av动漫网址| 亚洲精品一区av在线观看| 偷拍熟女少妇极品色| 麻豆精品久久久久久蜜桃| 午夜精品国产一区二区电影 | 九色成人免费人妻av| 成人性生交大片免费视频hd| 免费av观看视频| 18禁黄网站禁片免费观看直播| 亚洲国产欧美人成| 老司机福利观看| 久久久欧美国产精品| 成人毛片a级毛片在线播放| eeuss影院久久| 舔av片在线| 简卡轻食公司| 十八禁国产超污无遮挡网站| 人妻制服诱惑在线中文字幕| 欧美+亚洲+日韩+国产| 99热网站在线观看| 女人十人毛片免费观看3o分钟| 免费在线观看成人毛片| 又黄又爽又刺激的免费视频.| 看十八女毛片水多多多| 色在线成人网| 一级毛片电影观看 | 精品午夜福利视频在线观看一区| 麻豆一二三区av精品| 一进一出抽搐gif免费好疼| av免费在线看不卡| 特大巨黑吊av在线直播| 亚洲电影在线观看av| 男女边吃奶边做爰视频| 日本三级黄在线观看| 国产一区二区三区av在线 | a级毛片a级免费在线| 日日干狠狠操夜夜爽| 久久久久精品国产欧美久久久| 波野结衣二区三区在线| 九九热线精品视视频播放| 校园春色视频在线观看| 男人舔女人下体高潮全视频| 欧美色视频一区免费| 国产av麻豆久久久久久久| 日本 av在线| 精品欧美国产一区二区三| 亚洲美女搞黄在线观看 | 日本色播在线视频| 久久九九热精品免费| 午夜日韩欧美国产| 亚洲精品粉嫩美女一区| 精品日产1卡2卡| 亚洲电影在线观看av| 午夜福利在线观看吧| 国产欧美日韩精品一区二区| 丰满人妻一区二区三区视频av| 国产成人aa在线观看| 内射极品少妇av片p| 久久久精品欧美日韩精品| 亚洲久久久久久中文字幕| 精品一区二区三区视频在线观看免费| 狠狠狠狠99中文字幕| 亚洲成av人片在线播放无| 日本 av在线| av女优亚洲男人天堂| 日本黄色视频三级网站网址| 中文字幕熟女人妻在线| 直男gayav资源| 免费在线观看影片大全网站| 精品免费久久久久久久清纯| 熟妇人妻久久中文字幕3abv| 波多野结衣高清作品| 成人二区视频| 国产av在哪里看| 18禁在线无遮挡免费观看视频 | 我要搜黄色片| 天堂网av新在线| 亚洲自拍偷在线| 亚洲精品国产av成人精品 | 中国美女看黄片| 国产激情偷乱视频一区二区| 一a级毛片在线观看| 免费看日本二区| av.在线天堂| 超碰av人人做人人爽久久| 欧美日本视频| 国产亚洲91精品色在线| 国内精品久久久久精免费| 精华霜和精华液先用哪个| 国产精品伦人一区二区| 日韩精品青青久久久久久| 午夜爱爱视频在线播放| 在线天堂最新版资源| 俄罗斯特黄特色一大片| 久久久久久久久久成人| 国产成人福利小说| 国产在视频线在精品| 久久久成人免费电影| 麻豆乱淫一区二区| 女同久久另类99精品国产91| 日本爱情动作片www.在线观看 | 亚洲最大成人av| 精品无人区乱码1区二区| 国产精品人妻久久久久久| 日韩欧美精品v在线| 禁无遮挡网站| .国产精品久久| 亚洲最大成人av| 精品国内亚洲2022精品成人| 搡女人真爽免费视频火全软件 | 成年av动漫网址| 蜜臀久久99精品久久宅男| 春色校园在线视频观看| 99久久九九国产精品国产免费| 国产一区二区激情短视频| 免费一级毛片在线播放高清视频| 久久久久久久久久黄片| 男女那种视频在线观看| 五月伊人婷婷丁香| 国产亚洲欧美98| 国产午夜精品久久久久久一区二区三区 | 久久午夜福利片| 国产精品一区二区三区四区免费观看 | 99久国产av精品国产电影| 午夜福利在线观看免费完整高清在 | 亚洲国产精品成人综合色| 久久久久国产网址| 国产一区二区亚洲精品在线观看| 国产激情偷乱视频一区二区| 国产精品一区二区三区四区久久| 亚洲三级黄色毛片| 香蕉av资源在线| 十八禁国产超污无遮挡网站| 精品国产三级普通话版| 别揉我奶头 嗯啊视频| av在线观看视频网站免费| 一本久久中文字幕| 高清午夜精品一区二区三区 | 男人的好看免费观看在线视频| 亚洲最大成人中文| 欧美成人a在线观看| 中国美白少妇内射xxxbb| 天美传媒精品一区二区| 亚洲人成网站在线观看播放| 综合色丁香网| 亚洲人成网站在线观看播放| 美女xxoo啪啪120秒动态图| 黄色欧美视频在线观看| 女生性感内裤真人,穿戴方法视频| 国产精品永久免费网站| 美女大奶头视频| 成年免费大片在线观看| 午夜a级毛片| 成人二区视频| 男人舔女人下体高潮全视频| 中出人妻视频一区二区| 村上凉子中文字幕在线| 99久国产av精品| 国内少妇人妻偷人精品xxx网站| 欧美激情在线99| 亚洲av成人精品一区久久| 亚洲av.av天堂| 久久草成人影院| 日本 av在线| 亚洲成a人片在线一区二区| 成年女人看的毛片在线观看| 国产黄色视频一区二区在线观看 | 亚洲一区高清亚洲精品| 久久精品久久久久久噜噜老黄 | 久久久午夜欧美精品| 欧美色欧美亚洲另类二区| 麻豆久久精品国产亚洲av| videossex国产| 国产午夜精品论理片| 亚洲18禁久久av| 观看免费一级毛片| 久久精品久久久久久噜噜老黄 | 偷拍熟女少妇极品色| 国产精品电影一区二区三区| 久久中文看片网| av专区在线播放| 国产精品人妻久久久影院| 一卡2卡三卡四卡精品乱码亚洲| 亚洲精品日韩av片在线观看| 免费在线观看成人毛片| 国内揄拍国产精品人妻在线| 色av中文字幕| 国产不卡一卡二| 九九爱精品视频在线观看| 美女免费视频网站| 国产真实乱freesex| 日本五十路高清| 欧美xxxx性猛交bbbb| 成人av一区二区三区在线看| 99久国产av精品国产电影| 国产老妇女一区| 简卡轻食公司| 国产免费一级a男人的天堂| 插阴视频在线观看视频| 欧美激情国产日韩精品一区| 男女边吃奶边做爰视频| 美女被艹到高潮喷水动态| 亚洲性夜色夜夜综合| 看片在线看免费视频| 天堂动漫精品| 国产伦在线观看视频一区| 国产精品精品国产色婷婷| 青春草视频在线免费观看| 嫩草影院精品99| 在线国产一区二区在线| 一级毛片电影观看 | 免费人成视频x8x8入口观看| 日韩国内少妇激情av| 午夜亚洲福利在线播放| 国产精品久久久久久久电影| 在线观看午夜福利视频| 欧美不卡视频在线免费观看| 亚洲最大成人手机在线| 99视频精品全部免费 在线| 最后的刺客免费高清国语| 天天躁夜夜躁狠狠久久av| 国产精品嫩草影院av在线观看| 国产午夜福利久久久久久| 少妇熟女欧美另类| 日韩一本色道免费dvd| 国模一区二区三区四区视频| 亚洲av二区三区四区| 亚洲欧美日韩高清专用| 精品一区二区三区视频在线观看免费| 男人的好看免费观看在线视频| 国产三级中文精品| 18禁黄网站禁片免费观看直播| 国产精品一区www在线观看| 在线观看av片永久免费下载| 国产麻豆成人av免费视频| 婷婷色综合大香蕉| 精品午夜福利视频在线观看一区| 不卡一级毛片| 夜夜夜夜夜久久久久| 日日啪夜夜撸| 国产人妻一区二区三区在| 亚洲精品成人久久久久久| 成人二区视频| 我的老师免费观看完整版| 啦啦啦啦在线视频资源| 蜜臀久久99精品久久宅男| 久99久视频精品免费| 亚洲精品成人久久久久久| 性欧美人与动物交配| 在线观看av片永久免费下载| 国产日本99.免费观看| 又粗又爽又猛毛片免费看| 51国产日韩欧美| 日日啪夜夜撸| 最新在线观看一区二区三区| 91麻豆精品激情在线观看国产| 久久精品国产鲁丝片午夜精品| 搡老岳熟女国产| 国产大屁股一区二区在线视频| 国产精品国产三级国产av玫瑰| 久久人妻av系列| 中国国产av一级| 91在线观看av| 日韩欧美精品免费久久| 欧美三级亚洲精品| 国产成人影院久久av| 人人妻人人澡欧美一区二区| 欧美丝袜亚洲另类| 久久久久久九九精品二区国产| 精品午夜福利视频在线观看一区| av国产免费在线观看| 免费观看精品视频网站| 男女边吃奶边做爰视频| 少妇的逼水好多| videossex国产| 在线天堂最新版资源| 最新在线观看一区二区三区| 美女大奶头视频| 黄色欧美视频在线观看| 久久精品综合一区二区三区| 国产激情偷乱视频一区二区| 欧美成人a在线观看| 女同久久另类99精品国产91| 亚洲成a人片在线一区二区| 欧美日本亚洲视频在线播放| 久久久久性生活片| 日韩欧美一区二区三区在线观看| 真实男女啪啪啪动态图| 深爱激情五月婷婷| 国产精品亚洲美女久久久| 一级毛片久久久久久久久女| 亚洲欧美精品自产自拍| 亚洲最大成人手机在线| av国产免费在线观看| 国内久久婷婷六月综合欲色啪| 国产一区二区三区在线臀色熟女| 内射极品少妇av片p| 女人被狂操c到高潮| 日本免费一区二区三区高清不卡| 亚洲精品乱码久久久v下载方式| 久久久久久大精品| 成人欧美大片| 亚洲无线在线观看| 一级黄色大片毛片| 一本一本综合久久| 五月伊人婷婷丁香| 老女人水多毛片| 久久久久久伊人网av| 欧美日本视频| 亚洲18禁久久av| 麻豆一二三区av精品| 日韩欧美一区二区三区在线观看| 国产成人a区在线观看| 淫秽高清视频在线观看| 又黄又爽又免费观看的视频| 免费人成视频x8x8入口观看| 神马国产精品三级电影在线观看| 久久99热6这里只有精品| 国产高清视频在线观看网站| 国产激情偷乱视频一区二区| 久久久久久大精品| 久久精品91蜜桃| 好男人在线观看高清免费视频| 精品国产三级普通话版| av在线老鸭窝| 日日摸夜夜添夜夜爱| 亚洲av二区三区四区| 一边摸一边抽搐一进一小说| 亚洲欧美日韩无卡精品| 亚洲国产精品国产精品| 一级毛片久久久久久久久女| h日本视频在线播放| 夜夜夜夜夜久久久久| 国产高清激情床上av| 欧美日韩国产亚洲二区| 日本爱情动作片www.在线观看 | 午夜老司机福利剧场| 成人毛片a级毛片在线播放| 国产av一区在线观看免费| 精品乱码久久久久久99久播| 日韩大尺度精品在线看网址| 六月丁香七月| 悠悠久久av| 久久久久精品国产欧美久久久| 亚洲国产欧洲综合997久久,| 亚洲av二区三区四区| 又爽又黄无遮挡网站| 久久久久久久久大av| 少妇熟女aⅴ在线视频| 春色校园在线视频观看| avwww免费| 一卡2卡三卡四卡精品乱码亚洲| 乱人视频在线观看| 国产毛片a区久久久久|