• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    Winograd 快速卷積相關(guān)研究綜述

    2022-05-17 06:01:16黃立波
    計算機與生活 2022年5期
    關(guān)鍵詞:剪枝切片乘法

    童 敢,黃立波

    國防科技大學 計算機學院,長沙410073

    卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)在計算機視覺、自然語言處理等任務(wù)上應(yīng)用廣泛。越來越多的研究嘗試加速CNN 的訓練和推理,使用快速卷積算子就是其中的重要方法??焖倬矸e算子包括快速傅里葉變換(fast Fourier transformation,F(xiàn)FT)卷積和Winograd 卷積,這類卷積通過把輸入特征映射和卷積核線性變換到相應(yīng)的空間,將原來的運算轉(zhuǎn)換為對應(yīng)位相乘,運算結(jié)果再經(jīng)過逆線性變換即可得到原特征映射空間的輸出。

    在“變換-運算-逆變換”的過程中,乘法運算的次數(shù)比直接卷積有可觀的減少,而代價則是加法運算次數(shù)的增加。在絕大多數(shù)現(xiàn)代處理器上,加法的執(zhí)行效率遠高于乘法,因此可以使用快速卷積算子來提高模型執(zhí)行效率。由于FFT 變換是映射到復(fù)數(shù)空間,Winograd 卷積運算過程中對內(nèi)存的占用只需FFT卷積的一半,使其迅速成為最流行的快速卷積算子。

    但是直接應(yīng)用Winograd 卷積存在很多挑戰(zhàn)。首先,基本的Winograd 卷積適用范圍有限,僅可在單位步長、小卷積核的二維卷積上應(yīng)用,在大卷積核上應(yīng)用則會有數(shù)值不穩(wěn)定的情況。其次,由于線性變換和逆線性變換的復(fù)雜性,快速卷積算子在特定平臺上的優(yōu)化難以實現(xiàn),比如利用并行性和數(shù)據(jù)局部性。此外,Winograd 卷積與以剪枝和量化為代表的網(wǎng)絡(luò)壓縮技術(shù)難以直接結(jié)合,因此不易在算力不足和有能耗限制的平臺上部署實現(xiàn)。針對這些問題,研究者做了大量的工作,但至今還未有公開的文章對相關(guān)工作進行系統(tǒng)性的總結(jié)。為給后續(xù)研究者提供參考,本文從算法拓展、算法優(yōu)化、實現(xiàn)與應(yīng)用三方面綜述Winograd 的發(fā)展,并對未來可能的研究方向做出展望。

    1 Winograd 卷積原理

    Winograd 于1980 年提出了有限脈沖響應(yīng)(finite impulse response,F(xiàn)IR)濾波的最小濾波算法。最小濾波算法指出,由拍的FIR濾波器生成個輸出,即(,),需要的最少乘法數(shù)量((,))為+-1。以(2,3)為例,涉及到的乘法數(shù)量為((2,3))=2+3-1=4,從6 次降低到了4 次。

    2015 年,Winograd 最小濾波算法初次被應(yīng)用在CNN 中,利用減少的乘法次數(shù)提升卷積算子性能。如果用矩陣的形式表示W(wǎng)inograd 最小濾波算法,則可以得到:

    其中,為濾波器向量,為輸入數(shù)據(jù)向量,為輸出數(shù)據(jù)向量,表示濾波器變換矩陣,表示數(shù)據(jù)變換矩陣,⊙表示矩陣的對應(yīng)位相乘(Hadamard積),表示輸出變換矩陣。通過嵌套一維最小濾波算法(,),可以得到二維的最小濾波算法(×,×):

    二維最小濾波算法所需乘法數(shù)為(+-1),而原始卷積算法需要乘法數(shù)為×××。對于(2×2,3×3)而言,乘法次數(shù)從36降低到了16,減少了55.6%。

    根據(jù)二維矩陣形式,可以自然地將Winograd卷積分為四個分離的階段:輸入變換(input transformation,ITrans)、卷積核變換(kernel transformation,KTrans)、對應(yīng)位相乘(element-wise matrix multiplication,EWMM)和輸出變換(output transformation,OTrans),如圖1所示。

    圖1 Winograd 卷積的四個階段Fig.1 Four stages of Winograd convolution

    對于二維卷積算子,需要先將卷積輸入劃分為相互重疊的(+-1)×(+-1)的切片,切片之間有-1 的重疊部分。實驗表明,(2×2,3×3)在多個卷積上的實現(xiàn)性能超過了NVIDIAcuDNN,而且使用的內(nèi)存大小遠低于FFT 卷積。

    2 Winograd 卷積的一般化和拓展

    2.1 Winograd 卷積的一般化

    基本的Winograd 卷積僅支持=3 和=2 的二維卷積算子,且切片大小不超過6,無法滿足現(xiàn)代CNN 中豐富的卷積算子類型,需要對其進行一般化。Winograd 卷積的一般化主要分為四個方向,分別是支持任意維度、支持任意切片大小、支持任意常規(guī)卷積、支持特殊卷積。

    三維卷積是三維CNN 的主要組件,常用于處理空間相關(guān)的信息。通過對一維Winograd 卷積進行嵌套,可以得到其二維形式,重復(fù)進行嵌套則可以得到任意維度的Winograd 卷積。Budden 等給出了維Winograd 卷積的一般形式,并將二維Winograd 卷積視為特殊情況在CPU 上實現(xiàn),但并未實現(xiàn)三維的情況。其他研究者使用了同樣的嵌套方法,并針對特定平臺完成了三維Winograd 卷積的實現(xiàn)。由于不同維度上算法的實現(xiàn)有統(tǒng)一性,Shen 等提出了二維、三維統(tǒng)一的現(xiàn)場可編程邏輯門陣列(field programmable gate array,F(xiàn)PGA)模板實現(xiàn)。Deng 等提出了可變分解方法,支持三維卷積的同時也支持了非單位步長的卷積。

    更大的切片大小會減少切片之間的重疊部分,但同時也會帶來更大的數(shù)值誤差,因此在對精度要求不太嚴格的場合會直接使用更大的切片尺寸以提升性能。大尺寸的卷積核也在卷積網(wǎng)絡(luò)模型中經(jīng)常出現(xiàn),通常為了保持Winograd 卷積的精度,這里卷積也會被替換為小尺寸的卷積。Lu 等在FPGA 上評估了大尺寸切片分別在=3 和=5 下的精度情況,實驗表明小的切片尺寸在=3 時可以保持模型的高精度。Huang 等也完成了類似的工作。Mazaheri等則基于符號編程構(gòu)建了支持不同硬件后端的實現(xiàn),同時也支持不同尺寸的切片。

    此類直接實現(xiàn)的方法會在大尺寸切片和大尺寸卷積核上顯著損失精度,因此將這類卷積分解為更小的卷積成為了研究者常用的方法。Yang 等使用分解方法統(tǒng)一了常規(guī)卷積、depth-wise 卷積以及分組卷積,而大切片尺寸、大卷積核卷積和非單位步長卷積也都可以通過分解方法轉(zhuǎn)換為基本的Winograd 卷積。常用的分解單元實現(xiàn)包括(2×2,3×3)、(2×3,3×3)、(3×2,3×3)、(3×3,3×3)等。Liu 等同樣基于分解方法,在FPGA 上實現(xiàn)了使用相同資源支持任意卷積核大小的Winograd 卷積。利用大卷積核上計算的對稱性,Sabir 等使用近似計算技術(shù)支持了=5 大小的卷積核。

    包括空洞卷積和轉(zhuǎn)置卷積在內(nèi)的特殊卷積常用于圖像分割、超分辨率等領(lǐng)域。空洞卷積的Winograd形式被提出用于支持擴張為2 和4 的情況,原理是擴張輸入變換矩陣的規(guī)模。Shi 等通過預(yù)定義的分解和交織操作將轉(zhuǎn)置卷積轉(zhuǎn)換為多個基本卷積,從而實現(xiàn)了對轉(zhuǎn)置卷積的支持。

    總結(jié)Winograd 卷積一般化研究工作相關(guān)文獻如表1 所示。通過結(jié)合嵌套方法和分解方法,理論上可以實現(xiàn)CNN 中所有卷積的Winograd 卷積形式。

    表1 Winograd 卷積的一般化Table 1 Generalization of Winograd convolution

    2.2 Winograd 卷積的拓展

    除了一般化到各類卷積,還有一些研究嘗試拓展Winograd 卷積本身的線性變換。Winograd 算法族首先將輸入的切片和卷積核線性變換到Winograd域,執(zhí)行Hadamard 積之后再逆變換回特征映射域。對于指定的卷積核和切片尺寸,線性變換矩陣、、是給定的。卷積可以表示為多項式乘法,將卷積核和輸入向量的元素分別映射到多項式()和()的系數(shù),則輸出向量(和的卷積)的元素等于多項式()=()()的系數(shù)。Winograd 卷積算法族基于多項式上的中國剩余定理(Chinese remainder theorem,CRT)對不可約且互質(zhì)的多項式同余系統(tǒng)內(nèi)的多項式取余即可得到卷積輸出,對同余方程組進行求解即根據(jù)多項式的系數(shù)得到線性變換矩陣的具體解。因此,對Winograd 卷積的拓展可以從兩個角度入手:一是使用不同的變換,將運算映射到不同的域;二是采用不同的變換矩陣生成多項式。

    Barabasz 等將Winograd卷積算法中使用的卷積多項式拓展為高階多項式,實驗表明使用二階多項式會顯著降低誤差,但同時也會增加乘法次數(shù),因此需要在乘法次數(shù)和浮點數(shù)精度之間做權(quán)衡。Ju等提出的雙線性多項式與此方法原理相同,保持了大卷積核上的數(shù)值穩(wěn)定性。而Meng 等將多項式乘法拓展到復(fù)數(shù)域,利用共軛復(fù)數(shù)乘法的對稱性可以進一步減少乘法數(shù)量。Liu等提出將余數(shù)系統(tǒng)(residual number system,RNS)引入到Winograd 卷積,通過取余的操作實現(xiàn)Winograd 卷積的量化操作,進一步支持更大的輸入切片尺寸而不會引入顯著誤差。Xu等創(chuàng)新地引入了費馬數(shù)變換(Fermat number transformation,F(xiàn)NT),使用這種變換一方面可以確保中間運算結(jié)果均為無符號數(shù),另一方面還將所有的計算都簡化為移位和加法操作,有利于在FPGA等設(shè)備上實現(xiàn)。

    根據(jù)最小濾波算法的描述,Winograd 卷積已經(jīng)達到了最少的乘法運算次數(shù)。FFT 卷積由于使用了傅里葉變換,在乘法次數(shù)和內(nèi)存占用上遠高于Winograd 卷積,但保持了很好的精度。探索不同的變換可能會引入更多的乘法次數(shù),但若能保持模型精度也是可選的實現(xiàn)技術(shù)。而生成多項式的選擇則是在不增加乘法次數(shù)的前提下減少了精度損失,且無需修改算法,因此在應(yīng)用上更具有現(xiàn)實意義。

    2.3 其他

    Winograd 卷積還被用于和Strassen 算法結(jié)合。Strassen 算法是一種減少矩陣運算次數(shù)的算法。雖然有研究指出Strassen 算法減少的運算遠小于Winograd 算法,但該工作將在Strassen 算法中使用的卷積替換為Winograd 卷積,結(jié)合了兩者帶來的運算減少實現(xiàn)了更進一步的優(yōu)化。Winograd 卷積也被應(yīng)用在加法神經(jīng)網(wǎng)絡(luò)上,用加法代替乘法,保持了相當?shù)男阅芮医档土斯摹?/p>

    3 Winograd 卷積的優(yōu)化

    3.1 剪枝和利用稀疏性

    剪枝是CNN 優(yōu)化中常用的有效技術(shù)。剪枝主要用于對CNN 中卷積算子的權(quán)值進行修剪,對輸出影響很小的權(quán)值會被置零。剪枝后的卷積核成為稀疏張量,這帶來了兩點好處:一是按照特定的壓縮格式存儲稀疏的卷積核張量權(quán)值可以減少內(nèi)存使用;二是稀疏張量中大量元素為0,因此可以減少卷積的計算量。對于卷積層和全連接層的卷積可以將參數(shù)減少90%以上。但在Winograd 卷積上直接應(yīng)用剪枝是有困難的,因為稀疏的卷積核在變換到Winograd 域后又會變回稠密矩陣,這違背了剪枝的初衷。

    Liu 等首 先提出 在Winograd 卷積和FFT 卷積上應(yīng)用剪枝,在卷積核變換之后引入剪枝以得到稀疏的Winograd 域卷積核。他們在后續(xù)的研究中又將線性整流單元(rectified linear unit,ReLU)置于輸入變換之后,結(jié)合稀疏的卷積核進一步提升了稀疏性,如圖2 所示,Wang 等也使用了相同的剪枝方法。Li等提出在本地學習剪枝系數(shù),減少了剪枝帶來的精度損失。Lu 等和Shi 等也分別在卷積核變換后引入了剪枝。Yu 等指出,添加ReLU 的方法改變了網(wǎng)絡(luò)結(jié)構(gòu),重訓練的代價也大,因此他們提出在輸入變換前進行結(jié)構(gòu)化剪枝傳遞稀疏性,同時對卷積核進行剪枝。為了兼顧速度和準確性,Zheng 等在Liu等工作的基礎(chǔ)上,提出了動態(tài)學習批量的大小。

    圖2 在Winograd 卷積中應(yīng)用ReLU 以實現(xiàn)剪枝Fig.2 Pruning by applying ReLU in Winograd convolution

    在對稀疏性的利用上,包括計算優(yōu)化和模型壓縮兩方面。Park 等提出Zero-Skip 技術(shù),軟硬件上分別實現(xiàn)在EWMM 階段計算時跳過零權(quán)值,是經(jīng)典的計算優(yōu)化方法。Choi 等首次提出了利用Winograd 卷積剪枝的模型壓縮方法,區(qū)別于Liu 等工作,他們使用池化代替了ReLU。Yang 等提出了一種規(guī)則的剪枝模式,以優(yōu)化模型的壓縮,Wang 等則是提出了一種新的編碼方式來確保壓縮與解壓縮。

    Winograd 卷積的剪枝技術(shù)主要相關(guān)工作的總結(jié)與分析如表2 所示。

    表2 Winograd 卷積中的剪枝Table 2 Pruning in Winograd convolution

    3.2 低精度與量化

    Winograd 卷積也可以與量化結(jié)合,犧牲精度以換取更小的模型和更快的運算速度。Zhuge 等首先使用了8 位定點數(shù)的Winograd 卷積,但與16 位定點數(shù)相比誤差顯著。Zhang 等使用的精度與他們一致,但引入了細粒度調(diào)度,因此在性能上有顯著提升。Meng 等在變換后的卷積核上應(yīng)用量化,使用精度縮放技術(shù)量化到INT8 精度上。Liu 等在把Winograd 卷積拓展到余數(shù)系統(tǒng)的同時也使得可以將卷積量化到INT8 精度。Ye 等實現(xiàn)了12 位的混合卷積FPGA 實現(xiàn),還有一些研究也使用了8 位的量化精度。Han 等還進一步探索了ARMCPU 上的2~8位量化精度。Li等直接在Winograd域插入線性量化,對2~8 位的量化精度進行了全面評估。他們的實驗表明,8 位以下的量化精度會帶來不可忽視的模型精度下降。

    對于低精度和量化帶來的精度損失,F(xiàn)ernandez等提出通過學習訓練減少INT8 精度Winograd 卷積的誤差,與剪枝技術(shù)中的重訓練原理相同。而Ahmad 等提出對精度損失建模,為特征映射和卷積核使用不同的量化級別。Barabasz用勒讓德基多項式取代Winograd 變換中的規(guī)范基多項式,提出基于基變技術(shù)的9 位量化精度Winograd 卷積,維持了數(shù)值穩(wěn)定性。Sabir 等在特征映射切片上應(yīng)用量化,應(yīng)用粒子群優(yōu)化技術(shù)找到量化的閾值以保持精度。可以根據(jù)他們的工作,總結(jié)緩解量化帶來的精度損失的方法如表3 所示。

    表3 緩解量化Winograd 卷積精度損失的方法Table 3 Methods to alleviate accuracy loss of quantization in Winograd convolution

    3.3 數(shù)值穩(wěn)定性

    Winograd 卷積在初期只應(yīng)用在3×3 的卷積核和小的輸入切片上,原因在于Winograd 卷積計算中內(nèi)在的數(shù)值不穩(wěn)定性。在更大的卷積核或輸入切片上,Winograd 變換的多項式系數(shù)呈指數(shù)增長,這種不平衡會反映在變換矩陣的元素上,造成很大的相對誤差。Vincent 等指出這種數(shù)值不穩(wěn)定性的來源是變換中大尺寸的范德蒙德矩陣,提出精心挑選出最小指數(shù)增長的值相應(yīng)的多項式,同時對變換矩陣進行縮放以緩解數(shù)值不穩(wěn)定性。

    Barabasz 團隊從數(shù)學的角度在Winograd 卷積數(shù)值穩(wěn)定性的維持上做了大量工作。他們首先提出使用超線性多項式來構(gòu)造Winograd 變換矩陣,在運算次數(shù)和計算精度之間進行平衡,Ju 等提出的雙線性方法與他們的想法一致;之后他們又提出基變技術(shù),通過額外引入一個正則化變換矩陣,在實現(xiàn)了量化的同時保持了數(shù)值穩(wěn)定性;他們進一步的研究表明,線性變換過程中浮點數(shù)乘加的運算順序會影響到結(jié)果的準確性,這同樣是由于變換矩陣中元素的指數(shù)級不平衡導(dǎo)致的,通過霍夫曼編碼運算順序就可以減少這種誤差,從而允許更大的切片尺寸和卷積核尺寸。

    在前文提到的工作中,也有很多研究嘗試優(yōu)化Winograd 卷積的數(shù)值穩(wěn)定性,總結(jié)相關(guān)工作的主要思路有四點:

    (1)將卷積拆分為小切片或小卷積核的Winograd 卷積,如分解方法;

    (2)對Winograd 變換作出修改映射到精度更高的空間,如使用超線性多項式;

    (3)選擇變換矩陣生成多項式中相對誤差更小的,如使用變換矩陣最大最小元素比值最小的;

    (4)更改計算中乘累加的順序,優(yōu)先累加乘積更小的結(jié)果。

    其中分解方法已經(jīng)大量使用于研究中,而選擇變換矩陣的方法由于無需修改Winograd 卷積算法本身也具備直接應(yīng)用的可行性。而超線性變換會突破現(xiàn)有Winograd 卷積實現(xiàn)的架構(gòu),在數(shù)學上論證該方法優(yōu)越性之前距離實際應(yīng)用還有一定的距離。

    4 Winograd 卷積的實現(xiàn)、優(yōu)化與應(yīng)用

    4.1 實現(xiàn)

    Winograd 卷積帶來的高性能使得研究者們迅速將其部署到各類平臺,除了CPU、GPU 等,還包括對效率和功耗有嚴格要求的FPGA 平臺、移動端和邊緣計算設(shè)備。對實現(xiàn)了Winograd 卷積的實現(xiàn)進行統(tǒng)計,得到特定平臺上的研究占比如圖3 所示。

    圖3 Winograd 卷積實現(xiàn)的平臺分布情況Fig.3 Platform distribution of Winograd convolution implementation

    從圖中可以看到,在FPGA 上的Winograd 卷積實現(xiàn)幾乎達到了總數(shù)的一半。這個具有統(tǒng)治地位的比值一方面說明Winograd 卷積在硬編碼的FPGA 平臺上更容易實現(xiàn)并發(fā)揮優(yōu)勢,另一方面也說明越來越多的人工智能應(yīng)用在向低功耗的平臺上部署。與之類似的是移動端和邊緣計算上的實現(xiàn),在這類平臺上計算資源十分有限,對功耗的要求也更高,因此Winograd 卷積帶來的乘法數(shù)量減少是有重大收益的。CPU 端和GPU 端具備很強的算力,通常用于神經(jīng)網(wǎng)絡(luò)的訓練,因此相關(guān)工作也集中在對訓練速度的優(yōu)化上。而也有部分供應(yīng)商仍在使用云服務(wù)器上的CPU 和GPU 為用戶提供人工智能服務(wù),因此相關(guān)研究也具備一定的市場。GPGPU-Sim 作為模擬GPU 的軟件平臺,可以模擬對GPU 硬件的修改,在GPGPU-Sim 上的研究可以為SIMT 體系結(jié)構(gòu)的設(shè)計提供方向。

    對于上述傳統(tǒng)平臺,部分研究實現(xiàn)了相應(yīng)的深度學習框架,在其中集成了Winograd 卷積以提升模型執(zhí)行效率。Perkins實現(xiàn)的Cltorch 是基于OpenCL實現(xiàn)的硬件無關(guān)的后端平臺。Xiao 等實現(xiàn)了一個Caffe 模型到FPGA 映射的工具,基于動態(tài)規(guī)劃選擇是否應(yīng)用Winograd 卷積。Dicecco 等設(shè)計了CPUFPGA 異構(gòu)平臺上的開源后端框架,但僅支持單位步長的Winograd 卷積。Demidovskij 等還實現(xiàn)了面向Intel 硬件的、支持Winograd 卷積的軟件棧,面向包括CPU、集顯、神經(jīng)計算棒等生成高效負載。

    值得注意的是,除了上述傳統(tǒng)平臺,還有一些研究嘗試將Winograd 卷積部署在其他非傳統(tǒng)平臺上。比如基于內(nèi)存的計算平臺,Lin 等在ReRAM 上實現(xiàn)了Winograd卷積,基于切片提高了數(shù)據(jù)重用,而Ghaffar等則基于DRAM 架構(gòu)實現(xiàn)了8-bit 的量化卷積。隨機計算和近似計算也用于實現(xiàn)Winograd 卷積。Chen 等實現(xiàn)了向量DSP(domain specific processor)上的三維Winograd 卷積。而第五代精簡指令集計算機(reduced instruction set computer-V,RISC-V)指令集作為新流行的開源指令集,同樣吸引了部分研究者在相關(guān)平臺上部署人工智能應(yīng)用。Wang 等通過拓展一條(2×2,3×3)的卷積指令并新增計算模塊,在一個開源RISC-V框架上實現(xiàn)了Winograd 卷積。

    4.2 優(yōu)化

    性能是部署在特定平臺上必須要考慮的事情,對于不同的平臺,研究者們采用的優(yōu)化方法也大相徑庭,現(xiàn)分平臺總結(jié)相關(guān)優(yōu)化技術(shù)如下。

    Heinecke 等將即時(just-in-time,JIT)編譯優(yōu)化技術(shù)用于加速x86 CPU 架構(gòu)上直接卷積和Winograd卷積在小卷積核上的實現(xiàn),在編譯過程中提前計算卷積核調(diào)用時的地址偏移量。Ragate依賴編譯器的自動向量化,可將計算階段轉(zhuǎn)換為批量矩陣乘法(batched general matrix multiplication,BGEMM),利用CPU 的高級向量擴展(advanced vector extensions,AVX)指令集實現(xiàn)性能提升。Jia 等提出了CPU 上的自定義數(shù)據(jù)布局,同樣利用CPU 上的向量化指令實現(xiàn)高效訪存。在數(shù)據(jù)重用方面,Gelashvili 等利用CPU 的L3 Cache 駐留卷積核實現(xiàn)了對卷積核的重用,但無法支持通道數(shù)過大的卷積,而Wu 等利用Winograd 卷積中的相似性也可以實現(xiàn)CPU 上的深度數(shù)據(jù)重用。

    在GPU 上同樣可以將Winograd 卷積的計算階段轉(zhuǎn)換為批量矩陣乘法,然后調(diào)用高效的矩陣乘法實現(xiàn)。Lan 等和Wang 等分別在GPU 上實現(xiàn)了三維Winograd 卷積,但前者的計算階段直接調(diào)用了cuBLAS 中的矩陣乘法實現(xiàn),后者則是手動編寫了特定的實現(xiàn)。Hong 等在大規(guī)模GPU 集群上利用Winograd 卷積的數(shù)據(jù)并行性和切片內(nèi)并行性實現(xiàn)了多維并行訓練。Jia 等利用MegaKernel 技術(shù)將Winograd 卷積的四個階段融合,同時利用精心設(shè)計的任務(wù)映射算法可在GPU 上達成顯著的性能提升。另外,Yan 等將源代碼和匯編(source and assembly,SASS)級別的匯編器優(yōu)化用于優(yōu)化Winograd 卷積,通過合并全局訪存并使共享訪存無沖突,利用緩存設(shè)計流水線,提高計算強度,還利用常規(guī)寄存器填補了謂詞寄存器不足的缺陷。

    與CPU和GPU不同的是,F(xiàn)PGA上沒有高效的神經(jīng)網(wǎng)絡(luò)計算庫可供直接調(diào)用,但可定制的特性給予了FPGA 上進行優(yōu)化更多可能性。Cariow 等首先研究了Winograd 卷積硬件實現(xiàn)的最小需求,并在FPGA 上實現(xiàn)了Winograd 卷積的基本模塊。在數(shù)據(jù)重用方面,Aydonat 等利用流緩沖區(qū)暫存所有的中間特征映射實現(xiàn)了高能耗比的FPGA 實現(xiàn),而Lu等設(shè)計了線緩存結(jié)構(gòu)來暫存特征映射并重用不同切片的數(shù)據(jù),并在后續(xù)工作中針對稀疏的情況進行了優(yōu)化。

    由于FPGA 可定制化的特性,對計算資源的充分利用是優(yōu)化的重點。一些研究統(tǒng)一了二維和三維的Winograd,構(gòu)建了FPGA 上的統(tǒng)一模板。另一些研究聚焦于統(tǒng)一Winograd 卷積和矩陣乘的實現(xiàn),以最大化模塊的可重用性。對硬件實現(xiàn)方案進行系統(tǒng)評估才能最大化資源利用率并提升計算效率。Ahmad 等和Liu 等還對FPGA 上實現(xiàn)Winograd 卷積進行了全面的設(shè)計空間探索。此外,還有其他工作也在FPGA 上實現(xiàn)了Winograd 卷積并對設(shè)計空間進行了探索,他們還在設(shè)計高效數(shù)據(jù)布局等方面進行了大量研究。

    各個平臺上的優(yōu)化雖然方法各異,但相互有共同之處。例如,CPU 和GPU 均為多級內(nèi)存層級體系結(jié)構(gòu),因此均可利用各級緩存駐留數(shù)據(jù)實現(xiàn)數(shù)據(jù)重用。三個平臺上的優(yōu)化方法總結(jié)比較如表4 所示。

    表4 不同平臺上的性能優(yōu)化方法Table 4 Performance optimization methods on different platforms

    4.3 應(yīng)用

    Winograd 卷積提出的初衷是為了實現(xiàn)高性能卷積,但由于其內(nèi)在的數(shù)值不穩(wěn)定性,初期僅有小卷積核 上應(yīng) 用Winograd 卷積。CPU 上和GPU 上均有對FFT 和Winograd 的性能進行的比較,他們的結(jié)論是一致的,即FFT 在大尺寸卷積核的卷積上性能更好,而Winograd 卷積適用于小尺寸卷積。而Zlateski等指出,隨著CPU 的內(nèi)存帶寬越來越大,Winograd 卷積的性能優(yōu)勢也會減少。不過隨著拓展和優(yōu)化的進一步深入,Winograd 卷積也成為了最適合小尺寸卷積核的快速卷積實現(xiàn),在各神經(jīng)網(wǎng)絡(luò)計算庫和深度學習編譯框架上均有實現(xiàn)。

    Winograd 卷積旨在加速卷積以提高CNN 模型的執(zhí)行效率,對實時性有要求的場景都可以嘗試使用。Zhuge 等利用混合卷積實現(xiàn)了人臉識別系統(tǒng)。Lou 等基于三維Winograd 卷積實現(xiàn)了用于動作識別的加速器。Shi 等和Yen 等分別將其用于實時超分辨率,但在上采樣上有區(qū)別,前者使用的是轉(zhuǎn)置卷積的Winograd 實現(xiàn),而后者使用shuffle 層代替了轉(zhuǎn)置卷積。Yao 等還實現(xiàn)了穿戴設(shè)備上的語音識別加速器,應(yīng)用了一維的8 bit 整數(shù)Winograd 卷積網(wǎng)絡(luò)。Winograd 卷積的應(yīng)用不止于此,未來還可以有更多對實時性有要求的人工智能應(yīng)用Winograd卷積實現(xiàn),尤其是在移動端、物聯(lián)網(wǎng)和邊緣計算設(shè)備上。

    5 總結(jié)與展望

    Winograd 卷積是當前應(yīng)用最廣泛的快速卷積算子。從引入到CNN 至今,其使用范圍隨著研究的深入逐漸覆蓋了現(xiàn)代CNN 中的各類卷積,與剪枝、量化等技術(shù)的結(jié)合也走向成熟。在各種平臺深度學習框架和神經(jīng)網(wǎng)絡(luò)庫中均已集成Winograd 卷積,可以為各類硬件平臺生成高效的工作負載。

    這里對未來的研究方向給出幾點展望。在算法本身的優(yōu)化方面,數(shù)學方法仍然是突破Winograd 卷積局限性的根本方法,由于其內(nèi)在的最小乘法次數(shù)屬性,有望在未來的研究中基本取代現(xiàn)有的基于一般矩陣乘的卷積。現(xiàn)已有從數(shù)學角度解決數(shù)值穩(wěn)定性的方法,但由于引入了新的計算機制或額外的步驟,在各平臺上還沒有高效的實現(xiàn),對硬件友好優(yōu)化方法的研究可能會是后續(xù)研究的重點方向。在實現(xiàn)與應(yīng)用方面,F(xiàn)PGA 平臺上可以輕松為Winograd 卷積定制軟硬件協(xié)同的實現(xiàn),但現(xiàn)有FPGA 實現(xiàn)對數(shù)值穩(wěn)定性的關(guān)注太少。FPGA 實現(xiàn)具備很高的靈活性,可參照相關(guān)優(yōu)化方法率先部署更快更精確的Winograd卷積。由于Winograd 卷積數(shù)據(jù)流的內(nèi)在復(fù)雜性,在CPU、GPU 這類通用計算平臺上,如何利用好算力和內(nèi)存層級還有待進一步研究。比如Winograd 四個階段現(xiàn)大多實現(xiàn)為四個分離的計算核,CPU 上已經(jīng)有研究嘗試利用L3Cache 進行融合。但GPU 上嘗試的融合屬于任務(wù)調(diào)度層面的融合,利用高速緩存的融合還未有相關(guān)研究。GPU 等設(shè)備近年都引入了類似TensorCore的高性能運算單元,但Winograd 卷積相關(guān)研究均未利用這類部件,因此對新硬件特性的利用也可以成為另一個突破口。此外,在非常規(guī)平臺的實現(xiàn)明顯滯后于理論,比如基于內(nèi)存的計算平臺、開源RISC-V框架上的實現(xiàn)還局限于小卷積核,下一步可以嘗試在這類平臺上實現(xiàn)更一般化的Winograd卷積。

    猜你喜歡
    剪枝切片乘法
    算乘法
    人到晚年宜“剪枝”
    我們一起來學習“乘法的初步認識”
    基于YOLOv4-Tiny模型剪枝算法
    《整式的乘法與因式分解》鞏固練習
    把加法變成乘法
    剪枝
    天津詩人(2017年2期)2017-03-16 03:09:39
    基于SDN與NFV的網(wǎng)絡(luò)切片架構(gòu)
    電信科學(2016年11期)2016-11-23 05:07:58
    腎穿刺組織冷凍切片技術(shù)的改進方法
    冰凍切片、快速石蠟切片在中樞神經(jīng)系統(tǒng)腫瘤診斷中的應(yīng)用價值比較
    av线在线观看网站| 高清黄色对白视频在线免费看| 欧美在线一区亚洲| 亚洲成国产人片在线观看| 午夜免费鲁丝| 一二三四在线观看免费中文在| 十八禁高潮呻吟视频| 亚洲国产精品999| 亚洲一码二码三码区别大吗| 国产成人免费观看mmmm| 精品高清国产在线一区| 午夜视频精品福利| 男女床上黄色一级片免费看| 日本av免费视频播放| 国产亚洲欧美精品永久| 在线 av 中文字幕| 国产成人系列免费观看| 男女之事视频高清在线观看| 色婷婷av一区二区三区视频| 在线观看舔阴道视频| 老熟妇仑乱视频hdxx| 欧美黄色片欧美黄色片| 后天国语完整版免费观看| 久久久久精品国产欧美久久久 | 亚洲av美国av| 欧美成狂野欧美在线观看| 男女高潮啪啪啪动态图| 黄网站色视频无遮挡免费观看| h视频一区二区三区| 免费女性裸体啪啪无遮挡网站| 操美女的视频在线观看| 欧美人与性动交α欧美软件| 欧美成人午夜精品| 亚洲欧美激情在线| 狠狠精品人妻久久久久久综合| 成人av一区二区三区在线看 | 国产精品 国内视频| 久久人妻熟女aⅴ| 母亲3免费完整高清在线观看| 日本vs欧美在线观看视频| 精品国产一区二区久久| 精品欧美一区二区三区在线| 久久99热这里只频精品6学生| 亚洲五月色婷婷综合| 亚洲精品国产av蜜桃| 黄色 视频免费看| 亚洲精品国产区一区二| 欧美亚洲日本最大视频资源| 丝瓜视频免费看黄片| 韩国精品一区二区三区| 另类精品久久| 自线自在国产av| 啦啦啦啦在线视频资源| 亚洲三区欧美一区| 男人爽女人下面视频在线观看| 成年人午夜在线观看视频| 超碰成人久久| 亚洲欧美激情在线| 无遮挡黄片免费观看| 少妇精品久久久久久久| 国产一区有黄有色的免费视频| 欧美av亚洲av综合av国产av| 欧美午夜高清在线| 女性生殖器流出的白浆| 国产精品一区二区在线观看99| 日韩熟女老妇一区二区性免费视频| www.av在线官网国产| 亚洲久久久国产精品| 亚洲视频免费观看视频| 国产日韩欧美亚洲二区| 老熟妇仑乱视频hdxx| 波多野结衣av一区二区av| 80岁老熟妇乱子伦牲交| 热99久久久久精品小说推荐| 51午夜福利影视在线观看| 亚洲精品乱久久久久久| 免费在线观看视频国产中文字幕亚洲 | 91老司机精品| 丰满饥渴人妻一区二区三| 国产不卡av网站在线观看| 久久久久国内视频| 老司机午夜福利在线观看视频 | 满18在线观看网站| 十八禁人妻一区二区| 国产成人精品无人区| 日本撒尿小便嘘嘘汇集6| 午夜91福利影院| 97在线人人人人妻| a级毛片在线看网站| 丰满人妻熟妇乱又伦精品不卡| 九色亚洲精品在线播放| 国产欧美日韩一区二区三 | 精品国产一区二区久久| 色婷婷av一区二区三区视频| 777米奇影视久久| 9色porny在线观看| 老熟女久久久| 欧美在线一区亚洲| 久久青草综合色| 亚洲国产成人一精品久久久| 日韩欧美免费精品| 久久久精品94久久精品| 成人av一区二区三区在线看 | 色老头精品视频在线观看| 日韩 欧美 亚洲 中文字幕| cao死你这个sao货| 精品国内亚洲2022精品成人 | 日日摸夜夜添夜夜添小说| 久久久久久久国产电影| 黄频高清免费视频| 午夜久久久在线观看| 老司机在亚洲福利影院| 国产一卡二卡三卡精品| 黄色片一级片一级黄色片| 王馨瑶露胸无遮挡在线观看| 青春草视频在线免费观看| 一级片免费观看大全| 久久久久精品国产欧美久久久 | 人人妻人人澡人人爽人人夜夜| 亚洲人成电影观看| 欧美亚洲 丝袜 人妻 在线| 精品国产乱码久久久久久小说| 日本一区二区免费在线视频| 亚洲精品国产一区二区精华液| 国产成人免费无遮挡视频| 国产精品国产三级国产专区5o| 国产又爽黄色视频| 嫁个100分男人电影在线观看| 亚洲 欧美一区二区三区| 亚洲伊人色综图| 欧美激情高清一区二区三区| 亚洲国产精品一区三区| 亚洲精品一区蜜桃| 亚洲人成电影观看| 国产免费视频播放在线视频| 丰满饥渴人妻一区二区三| 亚洲欧美色中文字幕在线| 免费在线观看完整版高清| 香蕉丝袜av| 中亚洲国语对白在线视频| 国产成人av教育| 黄色片一级片一级黄色片| 精品一区二区三区四区五区乱码| 中文字幕最新亚洲高清| 亚洲精品中文字幕在线视频| 亚洲欧美一区二区三区黑人| 正在播放国产对白刺激| 妹子高潮喷水视频| 久久精品aⅴ一区二区三区四区| 男女床上黄色一级片免费看| 久久久国产精品麻豆| 母亲3免费完整高清在线观看| 国产成人一区二区三区免费视频网站| 色综合欧美亚洲国产小说| 精品高清国产在线一区| 日本91视频免费播放| 国产有黄有色有爽视频| 三级毛片av免费| 中文字幕人妻熟女乱码| 国产成人精品无人区| 亚洲精品日韩在线中文字幕| 欧美大码av| 曰老女人黄片| 天天影视国产精品| 久久人妻福利社区极品人妻图片| 亚洲精品自拍成人| 夫妻午夜视频| 曰老女人黄片| 欧美精品高潮呻吟av久久| 亚洲九九香蕉| 久久综合国产亚洲精品| 免费黄频网站在线观看国产| av超薄肉色丝袜交足视频| 女警被强在线播放| 久久久久久久精品精品| 水蜜桃什么品种好| 国产高清videossex| 亚洲国产中文字幕在线视频| 国产成人免费无遮挡视频| 久久久久久免费高清国产稀缺| 国产淫语在线视频| 91av网站免费观看| 国产国语露脸激情在线看| 制服人妻中文乱码| 国产精品久久久av美女十八| tocl精华| 老司机在亚洲福利影院| 日韩视频一区二区在线观看| 国产高清videossex| 欧美+亚洲+日韩+国产| 亚洲七黄色美女视频| 国产精品一区二区免费欧美 | 中文字幕人妻熟女乱码| 少妇 在线观看| 宅男免费午夜| 超色免费av| 亚洲欧洲精品一区二区精品久久久| 91九色精品人成在线观看| 国产高清视频在线播放一区 | 国产精品一区二区在线不卡| 久久久久久久大尺度免费视频| 少妇裸体淫交视频免费看高清 | av在线app专区| a级毛片在线看网站| 精品高清国产在线一区| 美女高潮喷水抽搐中文字幕| 国产一区二区在线观看av| 亚洲成人手机| 悠悠久久av| 国产又色又爽无遮挡免| 啪啪无遮挡十八禁网站| 日韩中文字幕视频在线看片| av电影中文网址| 国产91精品成人一区二区三区 | 91精品伊人久久大香线蕉| 国产主播在线观看一区二区| 日本vs欧美在线观看视频| 亚洲精品第二区| 国产免费现黄频在线看| 9色porny在线观看| 考比视频在线观看| 在线观看免费午夜福利视频| 久久国产亚洲av麻豆专区| 丝袜在线中文字幕| 亚洲,欧美精品.| 最近最新中文字幕大全免费视频| 欧美日韩视频精品一区| 法律面前人人平等表现在哪些方面 | 亚洲成人免费av在线播放| 丝袜人妻中文字幕| 色播在线永久视频| 一二三四社区在线视频社区8| 久久久久视频综合| 日韩中文字幕欧美一区二区| 国产日韩欧美在线精品| 一级a爱视频在线免费观看| 亚洲精品一区蜜桃| 亚洲精品美女久久av网站| 麻豆国产av国片精品| 国产高清国产精品国产三级| 日韩免费高清中文字幕av| 自线自在国产av| 国产欧美日韩精品亚洲av| 久久人妻福利社区极品人妻图片| 国产精品国产av在线观看| 欧美日韩亚洲综合一区二区三区_| 国产成人av教育| 日本av手机在线免费观看| 狠狠精品人妻久久久久久综合| 色94色欧美一区二区| 免费不卡黄色视频| 王馨瑶露胸无遮挡在线观看| 男人舔女人的私密视频| 一个人免费在线观看的高清视频 | 成人国语在线视频| 婷婷成人精品国产| 纵有疾风起免费观看全集完整版| 咕卡用的链子| 人人妻人人澡人人爽人人夜夜| 制服人妻中文乱码| 国产精品久久久人人做人人爽| 十分钟在线观看高清视频www| 动漫黄色视频在线观看| 亚洲精品自拍成人| 黄色视频在线播放观看不卡| 最近最新中文字幕大全免费视频| 国产成+人综合+亚洲专区| 日韩三级视频一区二区三区| 精品第一国产精品| 国产免费av片在线观看野外av| 十分钟在线观看高清视频www| 12—13女人毛片做爰片一| 男女边摸边吃奶| 一区二区三区四区激情视频| 男人爽女人下面视频在线观看| 精品国内亚洲2022精品成人 | 国产高清视频在线播放一区 | 中文字幕人妻丝袜制服| 精品国产一区二区久久| 中文字幕最新亚洲高清| 国产无遮挡羞羞视频在线观看| 久久国产精品男人的天堂亚洲| 香蕉丝袜av| 亚洲国产中文字幕在线视频| 亚洲精品一卡2卡三卡4卡5卡 | 在线观看免费日韩欧美大片| 91大片在线观看| 欧美成人午夜精品| 1024香蕉在线观看| 18在线观看网站| 久久热在线av| 日韩制服丝袜自拍偷拍| 亚洲九九香蕉| 人妻久久中文字幕网| 欧美日韩av久久| 欧美黄色片欧美黄色片| 久久ye,这里只有精品| 亚洲国产毛片av蜜桃av| 成人国语在线视频| 无遮挡黄片免费观看| 18禁黄网站禁片午夜丰满| 亚洲精品在线美女| 欧美精品一区二区免费开放| 97精品久久久久久久久久精品| 狠狠狠狠99中文字幕| 久久精品国产综合久久久| 欧美黑人欧美精品刺激| 亚洲av电影在线观看一区二区三区| 在线观看一区二区三区激情| 亚洲伊人久久精品综合| 自线自在国产av| 亚洲天堂av无毛| 亚洲三区欧美一区| 在线观看免费日韩欧美大片| 动漫黄色视频在线观看| 亚洲美女黄色视频免费看| 午夜激情av网站| 亚洲欧美精品自产自拍| 色婷婷久久久亚洲欧美| 日本a在线网址| 人人澡人人妻人| 亚洲国产毛片av蜜桃av| cao死你这个sao货| 亚洲色图综合在线观看| 亚洲伊人色综图| 99国产精品一区二区蜜桃av | 亚洲性夜色夜夜综合| 午夜免费鲁丝| 日韩三级视频一区二区三区| 国精品久久久久久国模美| 91精品三级在线观看| 国产一区二区 视频在线| 国产精品国产av在线观看| 国产激情久久老熟女| 无遮挡黄片免费观看| 韩国精品一区二区三区| 成年人黄色毛片网站| 麻豆乱淫一区二区| 久久精品亚洲av国产电影网| 国产无遮挡羞羞视频在线观看| 亚洲人成电影观看| 啦啦啦啦在线视频资源| 亚洲天堂av无毛| 国产无遮挡羞羞视频在线观看| 亚洲人成电影观看| 超碰97精品在线观看| 成人手机av| 黄网站色视频无遮挡免费观看| 免费看十八禁软件| 日韩中文字幕欧美一区二区| 香蕉国产在线看| 麻豆乱淫一区二区| 成年人黄色毛片网站| 精品国产超薄肉色丝袜足j| 少妇裸体淫交视频免费看高清 | 大陆偷拍与自拍| 成年女人毛片免费观看观看9 | 日韩欧美免费精品| 亚洲avbb在线观看| 亚洲精品在线美女| 黑丝袜美女国产一区| 国产亚洲午夜精品一区二区久久| 成年动漫av网址| 午夜久久久在线观看| 在线观看免费视频网站a站| 大码成人一级视频| 日韩欧美一区视频在线观看| 一级毛片电影观看| 丝瓜视频免费看黄片| 午夜福利免费观看在线| 国产精品久久久人人做人人爽| 狠狠狠狠99中文字幕| 久久国产精品人妻蜜桃| 18禁观看日本| 69av精品久久久久久 | 一进一出抽搐动态| 黑人巨大精品欧美一区二区蜜桃| 美女主播在线视频| 亚洲精品一区蜜桃| 日韩中文字幕视频在线看片| 精品一品国产午夜福利视频| 亚洲成国产人片在线观看| 久久久久久免费高清国产稀缺| 美女脱内裤让男人舔精品视频| 9色porny在线观看| 久久亚洲国产成人精品v| 欧美国产精品一级二级三级| 欧美老熟妇乱子伦牲交| 久久青草综合色| 一本一本久久a久久精品综合妖精| 国产97色在线日韩免费| 久久狼人影院| svipshipincom国产片| av欧美777| 免费av中文字幕在线| 国产又色又爽无遮挡免| 久久久久久久精品精品| 久久女婷五月综合色啪小说| 搡老熟女国产l中国老女人| 欧美激情高清一区二区三区| 手机成人av网站| 亚洲黑人精品在线| 亚洲五月色婷婷综合| 91国产中文字幕| 免费在线观看影片大全网站| 国产国语露脸激情在线看| 久久精品国产a三级三级三级| 桃花免费在线播放| 天天影视国产精品| 精品一区在线观看国产| 久久久久精品人妻al黑| 午夜91福利影院| 男女之事视频高清在线观看| 亚洲欧美精品综合一区二区三区| 两性夫妻黄色片| 亚洲国产成人一精品久久久| 国产成人免费观看mmmm| 久久精品熟女亚洲av麻豆精品| 一级毛片电影观看| www.999成人在线观看| 黄色毛片三级朝国网站| 免费观看人在逋| 亚洲国产精品成人久久小说| 国产黄频视频在线观看| 久久久久久久大尺度免费视频| 亚洲国产av影院在线观看| 女人高潮潮喷娇喘18禁视频| 欧美另类亚洲清纯唯美| 人妻一区二区av| 丁香六月欧美| 美女高潮到喷水免费观看| 成人影院久久| 不卡一级毛片| 一二三四在线观看免费中文在| 老汉色av国产亚洲站长工具| 大码成人一级视频| 亚洲国产成人一精品久久久| 国产精品偷伦视频观看了| a在线观看视频网站| 97人妻天天添夜夜摸| 亚洲一码二码三码区别大吗| 亚洲成人免费电影在线观看| 99久久国产精品久久久| 亚洲第一av免费看| 久久久久精品国产欧美久久久 | 麻豆国产av国片精品| www.自偷自拍.com| 最新在线观看一区二区三区| 考比视频在线观看| 国精品久久久久久国模美| 色94色欧美一区二区| av不卡在线播放| 欧美精品人与动牲交sv欧美| 久久久精品区二区三区| 黄色片一级片一级黄色片| av在线老鸭窝| 欧美大码av| 美女高潮到喷水免费观看| 亚洲精品国产av成人精品| 电影成人av| 999久久久精品免费观看国产| 亚洲欧美成人综合另类久久久| 国产一区有黄有色的免费视频| 久久久精品94久久精品| 岛国毛片在线播放| 无限看片的www在线观看| 欧美精品一区二区大全| 国产成人欧美| 亚洲精品乱久久久久久| 91麻豆精品激情在线观看国产 | 99国产精品一区二区蜜桃av | 亚洲欧美精品综合一区二区三区| 久久久国产成人免费| 精品亚洲成a人片在线观看| 国产精品免费大片| 人人妻人人爽人人添夜夜欢视频| 欧美乱码精品一区二区三区| 男女边摸边吃奶| 国产高清视频在线播放一区 | 久久亚洲国产成人精品v| 午夜福利视频精品| 交换朋友夫妻互换小说| 12—13女人毛片做爰片一| 亚洲免费av在线视频| 久久精品熟女亚洲av麻豆精品| 91老司机精品| 欧美激情高清一区二区三区| 日韩一区二区三区影片| 亚洲色图 男人天堂 中文字幕| 亚洲少妇的诱惑av| 伦理电影免费视频| 久久女婷五月综合色啪小说| 国产精品99久久99久久久不卡| 一区在线观看完整版| 日本91视频免费播放| 久久ye,这里只有精品| 国产免费现黄频在线看| 国产精品一区二区精品视频观看| 欧美日韩一级在线毛片| 亚洲国产看品久久| 国产成人av激情在线播放| 俄罗斯特黄特色一大片| 麻豆乱淫一区二区| 日本撒尿小便嘘嘘汇集6| 国产av一区二区精品久久| 日日摸夜夜添夜夜添小说| 免费女性裸体啪啪无遮挡网站| 国产精品国产三级国产专区5o| 精品国产一区二区久久| 国产免费一区二区三区四区乱码| 男女边摸边吃奶| 每晚都被弄得嗷嗷叫到高潮| 777米奇影视久久| 高清视频免费观看一区二区| 中文字幕精品免费在线观看视频| 国产精品偷伦视频观看了| 极品少妇高潮喷水抽搐| 国产日韩一区二区三区精品不卡| 俄罗斯特黄特色一大片| 黄网站色视频无遮挡免费观看| 99热网站在线观看| 亚洲,欧美精品.| 女人爽到高潮嗷嗷叫在线视频| 免费看十八禁软件| 亚洲少妇的诱惑av| 亚洲国产精品一区三区| 欧美激情高清一区二区三区| 动漫黄色视频在线观看| 狂野欧美激情性xxxx| 亚洲男人天堂网一区| 亚洲欧美清纯卡通| 亚洲美女黄色视频免费看| av在线老鸭窝| 高潮久久久久久久久久久不卡| 天堂中文最新版在线下载| 999久久久精品免费观看国产| 国产成人欧美在线观看 | 国产免费av片在线观看野外av| 91精品伊人久久大香线蕉| av超薄肉色丝袜交足视频| 韩国精品一区二区三区| 国产高清videossex| 黑丝袜美女国产一区| 99热全是精品| 最新在线观看一区二区三区| 人人妻人人爽人人添夜夜欢视频| 国产精品久久久久成人av| 亚洲色图 男人天堂 中文字幕| 国产日韩欧美在线精品| av在线播放精品| av网站免费在线观看视频| 久久人人97超碰香蕉20202| 一级毛片电影观看| 精品国产一区二区三区久久久樱花| 又紧又爽又黄一区二区| 国产一区二区在线观看av| 国产一卡二卡三卡精品| 亚洲专区字幕在线| 国产熟女午夜一区二区三区| 美女午夜性视频免费| 日日爽夜夜爽网站| 中亚洲国语对白在线视频| 国产在线一区二区三区精| 成人18禁高潮啪啪吃奶动态图| 日韩欧美免费精品| 亚洲国产欧美日韩在线播放| 亚洲欧洲日产国产| 色94色欧美一区二区| 午夜两性在线视频| 大码成人一级视频| 女人久久www免费人成看片| 97精品久久久久久久久久精品| 99久久精品国产亚洲精品| 人人妻人人爽人人添夜夜欢视频| 色婷婷久久久亚洲欧美| 国产极品粉嫩免费观看在线| 欧美午夜高清在线| 老司机深夜福利视频在线观看 | 午夜福利视频在线观看免费| 精品少妇久久久久久888优播| 久久精品国产亚洲av高清一级| 在线亚洲精品国产二区图片欧美| 国产激情久久老熟女| 老司机影院毛片| 建设人人有责人人尽责人人享有的| 国产97色在线日韩免费| 国产在线视频一区二区| 日韩 亚洲 欧美在线| 国产97色在线日韩免费| 国产一区二区三区综合在线观看| 美女国产高潮福利片在线看| 一进一出抽搐动态| 日本欧美视频一区| 欧美国产精品一级二级三级| 欧美日本中文国产一区发布| av一本久久久久| 在线十欧美十亚洲十日本专区| 天堂中文最新版在线下载| 女性被躁到高潮视频| 久久久久久久久久久久大奶| 亚洲国产精品成人久久小说| 欧美日韩成人在线一区二区| 亚洲国产欧美日韩在线播放| 精品久久久久久电影网| 国产又爽黄色视频| 久久国产精品人妻蜜桃| 色94色欧美一区二区| 色老头精品视频在线观看| 青草久久国产| 国产深夜福利视频在线观看| 高清av免费在线| 国产精品二区激情视频| 色播在线永久视频| 男女下面插进去视频免费观看| 国产高清视频在线播放一区 |