• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    Winograd 快速卷積相關(guān)研究綜述

    2022-05-17 06:01:16黃立波
    計算機與生活 2022年5期
    關(guān)鍵詞:剪枝切片乘法

    童 敢,黃立波

    國防科技大學 計算機學院,長沙410073

    卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)在計算機視覺、自然語言處理等任務(wù)上應(yīng)用廣泛。越來越多的研究嘗試加速CNN 的訓練和推理,使用快速卷積算子就是其中的重要方法??焖倬矸e算子包括快速傅里葉變換(fast Fourier transformation,F(xiàn)FT)卷積和Winograd 卷積,這類卷積通過把輸入特征映射和卷積核線性變換到相應(yīng)的空間,將原來的運算轉(zhuǎn)換為對應(yīng)位相乘,運算結(jié)果再經(jīng)過逆線性變換即可得到原特征映射空間的輸出。

    在“變換-運算-逆變換”的過程中,乘法運算的次數(shù)比直接卷積有可觀的減少,而代價則是加法運算次數(shù)的增加。在絕大多數(shù)現(xiàn)代處理器上,加法的執(zhí)行效率遠高于乘法,因此可以使用快速卷積算子來提高模型執(zhí)行效率。由于FFT 變換是映射到復(fù)數(shù)空間,Winograd 卷積運算過程中對內(nèi)存的占用只需FFT卷積的一半,使其迅速成為最流行的快速卷積算子。

    但是直接應(yīng)用Winograd 卷積存在很多挑戰(zhàn)。首先,基本的Winograd 卷積適用范圍有限,僅可在單位步長、小卷積核的二維卷積上應(yīng)用,在大卷積核上應(yīng)用則會有數(shù)值不穩(wěn)定的情況。其次,由于線性變換和逆線性變換的復(fù)雜性,快速卷積算子在特定平臺上的優(yōu)化難以實現(xiàn),比如利用并行性和數(shù)據(jù)局部性。此外,Winograd 卷積與以剪枝和量化為代表的網(wǎng)絡(luò)壓縮技術(shù)難以直接結(jié)合,因此不易在算力不足和有能耗限制的平臺上部署實現(xiàn)。針對這些問題,研究者做了大量的工作,但至今還未有公開的文章對相關(guān)工作進行系統(tǒng)性的總結(jié)。為給后續(xù)研究者提供參考,本文從算法拓展、算法優(yōu)化、實現(xiàn)與應(yīng)用三方面綜述Winograd 的發(fā)展,并對未來可能的研究方向做出展望。

    1 Winograd 卷積原理

    Winograd 于1980 年提出了有限脈沖響應(yīng)(finite impulse response,F(xiàn)IR)濾波的最小濾波算法。最小濾波算法指出,由拍的FIR濾波器生成個輸出,即(,),需要的最少乘法數(shù)量((,))為+-1。以(2,3)為例,涉及到的乘法數(shù)量為((2,3))=2+3-1=4,從6 次降低到了4 次。

    2015 年,Winograd 最小濾波算法初次被應(yīng)用在CNN 中,利用減少的乘法次數(shù)提升卷積算子性能。如果用矩陣的形式表示W(wǎng)inograd 最小濾波算法,則可以得到:

    其中,為濾波器向量,為輸入數(shù)據(jù)向量,為輸出數(shù)據(jù)向量,表示濾波器變換矩陣,表示數(shù)據(jù)變換矩陣,⊙表示矩陣的對應(yīng)位相乘(Hadamard積),表示輸出變換矩陣。通過嵌套一維最小濾波算法(,),可以得到二維的最小濾波算法(×,×):

    二維最小濾波算法所需乘法數(shù)為(+-1),而原始卷積算法需要乘法數(shù)為×××。對于(2×2,3×3)而言,乘法次數(shù)從36降低到了16,減少了55.6%。

    根據(jù)二維矩陣形式,可以自然地將Winograd卷積分為四個分離的階段:輸入變換(input transformation,ITrans)、卷積核變換(kernel transformation,KTrans)、對應(yīng)位相乘(element-wise matrix multiplication,EWMM)和輸出變換(output transformation,OTrans),如圖1所示。

    圖1 Winograd 卷積的四個階段Fig.1 Four stages of Winograd convolution

    對于二維卷積算子,需要先將卷積輸入劃分為相互重疊的(+-1)×(+-1)的切片,切片之間有-1 的重疊部分。實驗表明,(2×2,3×3)在多個卷積上的實現(xiàn)性能超過了NVIDIAcuDNN,而且使用的內(nèi)存大小遠低于FFT 卷積。

    2 Winograd 卷積的一般化和拓展

    2.1 Winograd 卷積的一般化

    基本的Winograd 卷積僅支持=3 和=2 的二維卷積算子,且切片大小不超過6,無法滿足現(xiàn)代CNN 中豐富的卷積算子類型,需要對其進行一般化。Winograd 卷積的一般化主要分為四個方向,分別是支持任意維度、支持任意切片大小、支持任意常規(guī)卷積、支持特殊卷積。

    三維卷積是三維CNN 的主要組件,常用于處理空間相關(guān)的信息。通過對一維Winograd 卷積進行嵌套,可以得到其二維形式,重復(fù)進行嵌套則可以得到任意維度的Winograd 卷積。Budden 等給出了維Winograd 卷積的一般形式,并將二維Winograd 卷積視為特殊情況在CPU 上實現(xiàn),但并未實現(xiàn)三維的情況。其他研究者使用了同樣的嵌套方法,并針對特定平臺完成了三維Winograd 卷積的實現(xiàn)。由于不同維度上算法的實現(xiàn)有統(tǒng)一性,Shen 等提出了二維、三維統(tǒng)一的現(xiàn)場可編程邏輯門陣列(field programmable gate array,F(xiàn)PGA)模板實現(xiàn)。Deng 等提出了可變分解方法,支持三維卷積的同時也支持了非單位步長的卷積。

    更大的切片大小會減少切片之間的重疊部分,但同時也會帶來更大的數(shù)值誤差,因此在對精度要求不太嚴格的場合會直接使用更大的切片尺寸以提升性能。大尺寸的卷積核也在卷積網(wǎng)絡(luò)模型中經(jīng)常出現(xiàn),通常為了保持Winograd 卷積的精度,這里卷積也會被替換為小尺寸的卷積。Lu 等在FPGA 上評估了大尺寸切片分別在=3 和=5 下的精度情況,實驗表明小的切片尺寸在=3 時可以保持模型的高精度。Huang 等也完成了類似的工作。Mazaheri等則基于符號編程構(gòu)建了支持不同硬件后端的實現(xiàn),同時也支持不同尺寸的切片。

    此類直接實現(xiàn)的方法會在大尺寸切片和大尺寸卷積核上顯著損失精度,因此將這類卷積分解為更小的卷積成為了研究者常用的方法。Yang 等使用分解方法統(tǒng)一了常規(guī)卷積、depth-wise 卷積以及分組卷積,而大切片尺寸、大卷積核卷積和非單位步長卷積也都可以通過分解方法轉(zhuǎn)換為基本的Winograd 卷積。常用的分解單元實現(xiàn)包括(2×2,3×3)、(2×3,3×3)、(3×2,3×3)、(3×3,3×3)等。Liu 等同樣基于分解方法,在FPGA 上實現(xiàn)了使用相同資源支持任意卷積核大小的Winograd 卷積。利用大卷積核上計算的對稱性,Sabir 等使用近似計算技術(shù)支持了=5 大小的卷積核。

    包括空洞卷積和轉(zhuǎn)置卷積在內(nèi)的特殊卷積常用于圖像分割、超分辨率等領(lǐng)域。空洞卷積的Winograd形式被提出用于支持擴張為2 和4 的情況,原理是擴張輸入變換矩陣的規(guī)模。Shi 等通過預(yù)定義的分解和交織操作將轉(zhuǎn)置卷積轉(zhuǎn)換為多個基本卷積,從而實現(xiàn)了對轉(zhuǎn)置卷積的支持。

    總結(jié)Winograd 卷積一般化研究工作相關(guān)文獻如表1 所示。通過結(jié)合嵌套方法和分解方法,理論上可以實現(xiàn)CNN 中所有卷積的Winograd 卷積形式。

    表1 Winograd 卷積的一般化Table 1 Generalization of Winograd convolution

    2.2 Winograd 卷積的拓展

    除了一般化到各類卷積,還有一些研究嘗試拓展Winograd 卷積本身的線性變換。Winograd 算法族首先將輸入的切片和卷積核線性變換到Winograd域,執(zhí)行Hadamard 積之后再逆變換回特征映射域。對于指定的卷積核和切片尺寸,線性變換矩陣、、是給定的。卷積可以表示為多項式乘法,將卷積核和輸入向量的元素分別映射到多項式()和()的系數(shù),則輸出向量(和的卷積)的元素等于多項式()=()()的系數(shù)。Winograd 卷積算法族基于多項式上的中國剩余定理(Chinese remainder theorem,CRT)對不可約且互質(zhì)的多項式同余系統(tǒng)內(nèi)的多項式取余即可得到卷積輸出,對同余方程組進行求解即根據(jù)多項式的系數(shù)得到線性變換矩陣的具體解。因此,對Winograd 卷積的拓展可以從兩個角度入手:一是使用不同的變換,將運算映射到不同的域;二是采用不同的變換矩陣生成多項式。

    Barabasz 等將Winograd卷積算法中使用的卷積多項式拓展為高階多項式,實驗表明使用二階多項式會顯著降低誤差,但同時也會增加乘法次數(shù),因此需要在乘法次數(shù)和浮點數(shù)精度之間做權(quán)衡。Ju等提出的雙線性多項式與此方法原理相同,保持了大卷積核上的數(shù)值穩(wěn)定性。而Meng 等將多項式乘法拓展到復(fù)數(shù)域,利用共軛復(fù)數(shù)乘法的對稱性可以進一步減少乘法數(shù)量。Liu等提出將余數(shù)系統(tǒng)(residual number system,RNS)引入到Winograd 卷積,通過取余的操作實現(xiàn)Winograd 卷積的量化操作,進一步支持更大的輸入切片尺寸而不會引入顯著誤差。Xu等創(chuàng)新地引入了費馬數(shù)變換(Fermat number transformation,F(xiàn)NT),使用這種變換一方面可以確保中間運算結(jié)果均為無符號數(shù),另一方面還將所有的計算都簡化為移位和加法操作,有利于在FPGA等設(shè)備上實現(xiàn)。

    根據(jù)最小濾波算法的描述,Winograd 卷積已經(jīng)達到了最少的乘法運算次數(shù)。FFT 卷積由于使用了傅里葉變換,在乘法次數(shù)和內(nèi)存占用上遠高于Winograd 卷積,但保持了很好的精度。探索不同的變換可能會引入更多的乘法次數(shù),但若能保持模型精度也是可選的實現(xiàn)技術(shù)。而生成多項式的選擇則是在不增加乘法次數(shù)的前提下減少了精度損失,且無需修改算法,因此在應(yīng)用上更具有現(xiàn)實意義。

    2.3 其他

    Winograd 卷積還被用于和Strassen 算法結(jié)合。Strassen 算法是一種減少矩陣運算次數(shù)的算法。雖然有研究指出Strassen 算法減少的運算遠小于Winograd 算法,但該工作將在Strassen 算法中使用的卷積替換為Winograd 卷積,結(jié)合了兩者帶來的運算減少實現(xiàn)了更進一步的優(yōu)化。Winograd 卷積也被應(yīng)用在加法神經(jīng)網(wǎng)絡(luò)上,用加法代替乘法,保持了相當?shù)男阅芮医档土斯摹?/p>

    3 Winograd 卷積的優(yōu)化

    3.1 剪枝和利用稀疏性

    剪枝是CNN 優(yōu)化中常用的有效技術(shù)。剪枝主要用于對CNN 中卷積算子的權(quán)值進行修剪,對輸出影響很小的權(quán)值會被置零。剪枝后的卷積核成為稀疏張量,這帶來了兩點好處:一是按照特定的壓縮格式存儲稀疏的卷積核張量權(quán)值可以減少內(nèi)存使用;二是稀疏張量中大量元素為0,因此可以減少卷積的計算量。對于卷積層和全連接層的卷積可以將參數(shù)減少90%以上。但在Winograd 卷積上直接應(yīng)用剪枝是有困難的,因為稀疏的卷積核在變換到Winograd 域后又會變回稠密矩陣,這違背了剪枝的初衷。

    Liu 等首 先提出 在Winograd 卷積和FFT 卷積上應(yīng)用剪枝,在卷積核變換之后引入剪枝以得到稀疏的Winograd 域卷積核。他們在后續(xù)的研究中又將線性整流單元(rectified linear unit,ReLU)置于輸入變換之后,結(jié)合稀疏的卷積核進一步提升了稀疏性,如圖2 所示,Wang 等也使用了相同的剪枝方法。Li等提出在本地學習剪枝系數(shù),減少了剪枝帶來的精度損失。Lu 等和Shi 等也分別在卷積核變換后引入了剪枝。Yu 等指出,添加ReLU 的方法改變了網(wǎng)絡(luò)結(jié)構(gòu),重訓練的代價也大,因此他們提出在輸入變換前進行結(jié)構(gòu)化剪枝傳遞稀疏性,同時對卷積核進行剪枝。為了兼顧速度和準確性,Zheng 等在Liu等工作的基礎(chǔ)上,提出了動態(tài)學習批量的大小。

    圖2 在Winograd 卷積中應(yīng)用ReLU 以實現(xiàn)剪枝Fig.2 Pruning by applying ReLU in Winograd convolution

    在對稀疏性的利用上,包括計算優(yōu)化和模型壓縮兩方面。Park 等提出Zero-Skip 技術(shù),軟硬件上分別實現(xiàn)在EWMM 階段計算時跳過零權(quán)值,是經(jīng)典的計算優(yōu)化方法。Choi 等首次提出了利用Winograd 卷積剪枝的模型壓縮方法,區(qū)別于Liu 等工作,他們使用池化代替了ReLU。Yang 等提出了一種規(guī)則的剪枝模式,以優(yōu)化模型的壓縮,Wang 等則是提出了一種新的編碼方式來確保壓縮與解壓縮。

    Winograd 卷積的剪枝技術(shù)主要相關(guān)工作的總結(jié)與分析如表2 所示。

    表2 Winograd 卷積中的剪枝Table 2 Pruning in Winograd convolution

    3.2 低精度與量化

    Winograd 卷積也可以與量化結(jié)合,犧牲精度以換取更小的模型和更快的運算速度。Zhuge 等首先使用了8 位定點數(shù)的Winograd 卷積,但與16 位定點數(shù)相比誤差顯著。Zhang 等使用的精度與他們一致,但引入了細粒度調(diào)度,因此在性能上有顯著提升。Meng 等在變換后的卷積核上應(yīng)用量化,使用精度縮放技術(shù)量化到INT8 精度上。Liu 等在把Winograd 卷積拓展到余數(shù)系統(tǒng)的同時也使得可以將卷積量化到INT8 精度。Ye 等實現(xiàn)了12 位的混合卷積FPGA 實現(xiàn),還有一些研究也使用了8 位的量化精度。Han 等還進一步探索了ARMCPU 上的2~8位量化精度。Li等直接在Winograd域插入線性量化,對2~8 位的量化精度進行了全面評估。他們的實驗表明,8 位以下的量化精度會帶來不可忽視的模型精度下降。

    對于低精度和量化帶來的精度損失,F(xiàn)ernandez等提出通過學習訓練減少INT8 精度Winograd 卷積的誤差,與剪枝技術(shù)中的重訓練原理相同。而Ahmad 等提出對精度損失建模,為特征映射和卷積核使用不同的量化級別。Barabasz用勒讓德基多項式取代Winograd 變換中的規(guī)范基多項式,提出基于基變技術(shù)的9 位量化精度Winograd 卷積,維持了數(shù)值穩(wěn)定性。Sabir 等在特征映射切片上應(yīng)用量化,應(yīng)用粒子群優(yōu)化技術(shù)找到量化的閾值以保持精度。可以根據(jù)他們的工作,總結(jié)緩解量化帶來的精度損失的方法如表3 所示。

    表3 緩解量化Winograd 卷積精度損失的方法Table 3 Methods to alleviate accuracy loss of quantization in Winograd convolution

    3.3 數(shù)值穩(wěn)定性

    Winograd 卷積在初期只應(yīng)用在3×3 的卷積核和小的輸入切片上,原因在于Winograd 卷積計算中內(nèi)在的數(shù)值不穩(wěn)定性。在更大的卷積核或輸入切片上,Winograd 變換的多項式系數(shù)呈指數(shù)增長,這種不平衡會反映在變換矩陣的元素上,造成很大的相對誤差。Vincent 等指出這種數(shù)值不穩(wěn)定性的來源是變換中大尺寸的范德蒙德矩陣,提出精心挑選出最小指數(shù)增長的值相應(yīng)的多項式,同時對變換矩陣進行縮放以緩解數(shù)值不穩(wěn)定性。

    Barabasz 團隊從數(shù)學的角度在Winograd 卷積數(shù)值穩(wěn)定性的維持上做了大量工作。他們首先提出使用超線性多項式來構(gòu)造Winograd 變換矩陣,在運算次數(shù)和計算精度之間進行平衡,Ju 等提出的雙線性方法與他們的想法一致;之后他們又提出基變技術(shù),通過額外引入一個正則化變換矩陣,在實現(xiàn)了量化的同時保持了數(shù)值穩(wěn)定性;他們進一步的研究表明,線性變換過程中浮點數(shù)乘加的運算順序會影響到結(jié)果的準確性,這同樣是由于變換矩陣中元素的指數(shù)級不平衡導(dǎo)致的,通過霍夫曼編碼運算順序就可以減少這種誤差,從而允許更大的切片尺寸和卷積核尺寸。

    在前文提到的工作中,也有很多研究嘗試優(yōu)化Winograd 卷積的數(shù)值穩(wěn)定性,總結(jié)相關(guān)工作的主要思路有四點:

    (1)將卷積拆分為小切片或小卷積核的Winograd 卷積,如分解方法;

    (2)對Winograd 變換作出修改映射到精度更高的空間,如使用超線性多項式;

    (3)選擇變換矩陣生成多項式中相對誤差更小的,如使用變換矩陣最大最小元素比值最小的;

    (4)更改計算中乘累加的順序,優(yōu)先累加乘積更小的結(jié)果。

    其中分解方法已經(jīng)大量使用于研究中,而選擇變換矩陣的方法由于無需修改Winograd 卷積算法本身也具備直接應(yīng)用的可行性。而超線性變換會突破現(xiàn)有Winograd 卷積實現(xiàn)的架構(gòu),在數(shù)學上論證該方法優(yōu)越性之前距離實際應(yīng)用還有一定的距離。

    4 Winograd 卷積的實現(xiàn)、優(yōu)化與應(yīng)用

    4.1 實現(xiàn)

    Winograd 卷積帶來的高性能使得研究者們迅速將其部署到各類平臺,除了CPU、GPU 等,還包括對效率和功耗有嚴格要求的FPGA 平臺、移動端和邊緣計算設(shè)備。對實現(xiàn)了Winograd 卷積的實現(xiàn)進行統(tǒng)計,得到特定平臺上的研究占比如圖3 所示。

    圖3 Winograd 卷積實現(xiàn)的平臺分布情況Fig.3 Platform distribution of Winograd convolution implementation

    從圖中可以看到,在FPGA 上的Winograd 卷積實現(xiàn)幾乎達到了總數(shù)的一半。這個具有統(tǒng)治地位的比值一方面說明Winograd 卷積在硬編碼的FPGA 平臺上更容易實現(xiàn)并發(fā)揮優(yōu)勢,另一方面也說明越來越多的人工智能應(yīng)用在向低功耗的平臺上部署。與之類似的是移動端和邊緣計算上的實現(xiàn),在這類平臺上計算資源十分有限,對功耗的要求也更高,因此Winograd 卷積帶來的乘法數(shù)量減少是有重大收益的。CPU 端和GPU 端具備很強的算力,通常用于神經(jīng)網(wǎng)絡(luò)的訓練,因此相關(guān)工作也集中在對訓練速度的優(yōu)化上。而也有部分供應(yīng)商仍在使用云服務(wù)器上的CPU 和GPU 為用戶提供人工智能服務(wù),因此相關(guān)研究也具備一定的市場。GPGPU-Sim 作為模擬GPU 的軟件平臺,可以模擬對GPU 硬件的修改,在GPGPU-Sim 上的研究可以為SIMT 體系結(jié)構(gòu)的設(shè)計提供方向。

    對于上述傳統(tǒng)平臺,部分研究實現(xiàn)了相應(yīng)的深度學習框架,在其中集成了Winograd 卷積以提升模型執(zhí)行效率。Perkins實現(xiàn)的Cltorch 是基于OpenCL實現(xiàn)的硬件無關(guān)的后端平臺。Xiao 等實現(xiàn)了一個Caffe 模型到FPGA 映射的工具,基于動態(tài)規(guī)劃選擇是否應(yīng)用Winograd 卷積。Dicecco 等設(shè)計了CPUFPGA 異構(gòu)平臺上的開源后端框架,但僅支持單位步長的Winograd 卷積。Demidovskij 等還實現(xiàn)了面向Intel 硬件的、支持Winograd 卷積的軟件棧,面向包括CPU、集顯、神經(jīng)計算棒等生成高效負載。

    值得注意的是,除了上述傳統(tǒng)平臺,還有一些研究嘗試將Winograd 卷積部署在其他非傳統(tǒng)平臺上。比如基于內(nèi)存的計算平臺,Lin 等在ReRAM 上實現(xiàn)了Winograd卷積,基于切片提高了數(shù)據(jù)重用,而Ghaffar等則基于DRAM 架構(gòu)實現(xiàn)了8-bit 的量化卷積。隨機計算和近似計算也用于實現(xiàn)Winograd 卷積。Chen 等實現(xiàn)了向量DSP(domain specific processor)上的三維Winograd 卷積。而第五代精簡指令集計算機(reduced instruction set computer-V,RISC-V)指令集作為新流行的開源指令集,同樣吸引了部分研究者在相關(guān)平臺上部署人工智能應(yīng)用。Wang 等通過拓展一條(2×2,3×3)的卷積指令并新增計算模塊,在一個開源RISC-V框架上實現(xiàn)了Winograd 卷積。

    4.2 優(yōu)化

    性能是部署在特定平臺上必須要考慮的事情,對于不同的平臺,研究者們采用的優(yōu)化方法也大相徑庭,現(xiàn)分平臺總結(jié)相關(guān)優(yōu)化技術(shù)如下。

    Heinecke 等將即時(just-in-time,JIT)編譯優(yōu)化技術(shù)用于加速x86 CPU 架構(gòu)上直接卷積和Winograd卷積在小卷積核上的實現(xiàn),在編譯過程中提前計算卷積核調(diào)用時的地址偏移量。Ragate依賴編譯器的自動向量化,可將計算階段轉(zhuǎn)換為批量矩陣乘法(batched general matrix multiplication,BGEMM),利用CPU 的高級向量擴展(advanced vector extensions,AVX)指令集實現(xiàn)性能提升。Jia 等提出了CPU 上的自定義數(shù)據(jù)布局,同樣利用CPU 上的向量化指令實現(xiàn)高效訪存。在數(shù)據(jù)重用方面,Gelashvili 等利用CPU 的L3 Cache 駐留卷積核實現(xiàn)了對卷積核的重用,但無法支持通道數(shù)過大的卷積,而Wu 等利用Winograd 卷積中的相似性也可以實現(xiàn)CPU 上的深度數(shù)據(jù)重用。

    在GPU 上同樣可以將Winograd 卷積的計算階段轉(zhuǎn)換為批量矩陣乘法,然后調(diào)用高效的矩陣乘法實現(xiàn)。Lan 等和Wang 等分別在GPU 上實現(xiàn)了三維Winograd 卷積,但前者的計算階段直接調(diào)用了cuBLAS 中的矩陣乘法實現(xiàn),后者則是手動編寫了特定的實現(xiàn)。Hong 等在大規(guī)模GPU 集群上利用Winograd 卷積的數(shù)據(jù)并行性和切片內(nèi)并行性實現(xiàn)了多維并行訓練。Jia 等利用MegaKernel 技術(shù)將Winograd 卷積的四個階段融合,同時利用精心設(shè)計的任務(wù)映射算法可在GPU 上達成顯著的性能提升。另外,Yan 等將源代碼和匯編(source and assembly,SASS)級別的匯編器優(yōu)化用于優(yōu)化Winograd 卷積,通過合并全局訪存并使共享訪存無沖突,利用緩存設(shè)計流水線,提高計算強度,還利用常規(guī)寄存器填補了謂詞寄存器不足的缺陷。

    與CPU和GPU不同的是,F(xiàn)PGA上沒有高效的神經(jīng)網(wǎng)絡(luò)計算庫可供直接調(diào)用,但可定制的特性給予了FPGA 上進行優(yōu)化更多可能性。Cariow 等首先研究了Winograd 卷積硬件實現(xiàn)的最小需求,并在FPGA 上實現(xiàn)了Winograd 卷積的基本模塊。在數(shù)據(jù)重用方面,Aydonat 等利用流緩沖區(qū)暫存所有的中間特征映射實現(xiàn)了高能耗比的FPGA 實現(xiàn),而Lu等設(shè)計了線緩存結(jié)構(gòu)來暫存特征映射并重用不同切片的數(shù)據(jù),并在后續(xù)工作中針對稀疏的情況進行了優(yōu)化。

    由于FPGA 可定制化的特性,對計算資源的充分利用是優(yōu)化的重點。一些研究統(tǒng)一了二維和三維的Winograd,構(gòu)建了FPGA 上的統(tǒng)一模板。另一些研究聚焦于統(tǒng)一Winograd 卷積和矩陣乘的實現(xiàn),以最大化模塊的可重用性。對硬件實現(xiàn)方案進行系統(tǒng)評估才能最大化資源利用率并提升計算效率。Ahmad 等和Liu 等還對FPGA 上實現(xiàn)Winograd 卷積進行了全面的設(shè)計空間探索。此外,還有其他工作也在FPGA 上實現(xiàn)了Winograd 卷積并對設(shè)計空間進行了探索,他們還在設(shè)計高效數(shù)據(jù)布局等方面進行了大量研究。

    各個平臺上的優(yōu)化雖然方法各異,但相互有共同之處。例如,CPU 和GPU 均為多級內(nèi)存層級體系結(jié)構(gòu),因此均可利用各級緩存駐留數(shù)據(jù)實現(xiàn)數(shù)據(jù)重用。三個平臺上的優(yōu)化方法總結(jié)比較如表4 所示。

    表4 不同平臺上的性能優(yōu)化方法Table 4 Performance optimization methods on different platforms

    4.3 應(yīng)用

    Winograd 卷積提出的初衷是為了實現(xiàn)高性能卷積,但由于其內(nèi)在的數(shù)值不穩(wěn)定性,初期僅有小卷積核 上應(yīng) 用Winograd 卷積。CPU 上和GPU 上均有對FFT 和Winograd 的性能進行的比較,他們的結(jié)論是一致的,即FFT 在大尺寸卷積核的卷積上性能更好,而Winograd 卷積適用于小尺寸卷積。而Zlateski等指出,隨著CPU 的內(nèi)存帶寬越來越大,Winograd 卷積的性能優(yōu)勢也會減少。不過隨著拓展和優(yōu)化的進一步深入,Winograd 卷積也成為了最適合小尺寸卷積核的快速卷積實現(xiàn),在各神經(jīng)網(wǎng)絡(luò)計算庫和深度學習編譯框架上均有實現(xiàn)。

    Winograd 卷積旨在加速卷積以提高CNN 模型的執(zhí)行效率,對實時性有要求的場景都可以嘗試使用。Zhuge 等利用混合卷積實現(xiàn)了人臉識別系統(tǒng)。Lou 等基于三維Winograd 卷積實現(xiàn)了用于動作識別的加速器。Shi 等和Yen 等分別將其用于實時超分辨率,但在上采樣上有區(qū)別,前者使用的是轉(zhuǎn)置卷積的Winograd 實現(xiàn),而后者使用shuffle 層代替了轉(zhuǎn)置卷積。Yao 等還實現(xiàn)了穿戴設(shè)備上的語音識別加速器,應(yīng)用了一維的8 bit 整數(shù)Winograd 卷積網(wǎng)絡(luò)。Winograd 卷積的應(yīng)用不止于此,未來還可以有更多對實時性有要求的人工智能應(yīng)用Winograd卷積實現(xiàn),尤其是在移動端、物聯(lián)網(wǎng)和邊緣計算設(shè)備上。

    5 總結(jié)與展望

    Winograd 卷積是當前應(yīng)用最廣泛的快速卷積算子。從引入到CNN 至今,其使用范圍隨著研究的深入逐漸覆蓋了現(xiàn)代CNN 中的各類卷積,與剪枝、量化等技術(shù)的結(jié)合也走向成熟。在各種平臺深度學習框架和神經(jīng)網(wǎng)絡(luò)庫中均已集成Winograd 卷積,可以為各類硬件平臺生成高效的工作負載。

    這里對未來的研究方向給出幾點展望。在算法本身的優(yōu)化方面,數(shù)學方法仍然是突破Winograd 卷積局限性的根本方法,由于其內(nèi)在的最小乘法次數(shù)屬性,有望在未來的研究中基本取代現(xiàn)有的基于一般矩陣乘的卷積。現(xiàn)已有從數(shù)學角度解決數(shù)值穩(wěn)定性的方法,但由于引入了新的計算機制或額外的步驟,在各平臺上還沒有高效的實現(xiàn),對硬件友好優(yōu)化方法的研究可能會是后續(xù)研究的重點方向。在實現(xiàn)與應(yīng)用方面,F(xiàn)PGA 平臺上可以輕松為Winograd 卷積定制軟硬件協(xié)同的實現(xiàn),但現(xiàn)有FPGA 實現(xiàn)對數(shù)值穩(wěn)定性的關(guān)注太少。FPGA 實現(xiàn)具備很高的靈活性,可參照相關(guān)優(yōu)化方法率先部署更快更精確的Winograd卷積。由于Winograd 卷積數(shù)據(jù)流的內(nèi)在復(fù)雜性,在CPU、GPU 這類通用計算平臺上,如何利用好算力和內(nèi)存層級還有待進一步研究。比如Winograd 四個階段現(xiàn)大多實現(xiàn)為四個分離的計算核,CPU 上已經(jīng)有研究嘗試利用L3Cache 進行融合。但GPU 上嘗試的融合屬于任務(wù)調(diào)度層面的融合,利用高速緩存的融合還未有相關(guān)研究。GPU 等設(shè)備近年都引入了類似TensorCore的高性能運算單元,但Winograd 卷積相關(guān)研究均未利用這類部件,因此對新硬件特性的利用也可以成為另一個突破口。此外,在非常規(guī)平臺的實現(xiàn)明顯滯后于理論,比如基于內(nèi)存的計算平臺、開源RISC-V框架上的實現(xiàn)還局限于小卷積核,下一步可以嘗試在這類平臺上實現(xiàn)更一般化的Winograd卷積。

    猜你喜歡
    剪枝切片乘法
    算乘法
    人到晚年宜“剪枝”
    我們一起來學習“乘法的初步認識”
    基于YOLOv4-Tiny模型剪枝算法
    《整式的乘法與因式分解》鞏固練習
    把加法變成乘法
    剪枝
    天津詩人(2017年2期)2017-03-16 03:09:39
    基于SDN與NFV的網(wǎng)絡(luò)切片架構(gòu)
    電信科學(2016年11期)2016-11-23 05:07:58
    腎穿刺組織冷凍切片技術(shù)的改進方法
    冰凍切片、快速石蠟切片在中樞神經(jīng)系統(tǒng)腫瘤診斷中的應(yīng)用價值比較
    久久久亚洲精品成人影院| 日韩成人av中文字幕在线观看| 美女脱内裤让男人舔精品视频| 99热精品在线国产| 亚洲不卡免费看| 又爽又黄无遮挡网站| 非洲黑人性xxxx精品又粗又长| 欧美色视频一区免费| 精品一区二区三区视频在线| 亚洲婷婷狠狠爱综合网| 久久6这里有精品| 黄色配什么色好看| 在线播放无遮挡| 国产高清三级在线| 亚洲国产精品久久男人天堂| 中文在线观看免费www的网站| 国产在线一区二区三区精 | 99久久成人亚洲精品观看| 亚洲久久久久久中文字幕| 直男gayav资源| 日本三级黄在线观看| 男人舔女人下体高潮全视频| 欧美成人a在线观看| 在现免费观看毛片| 国产精品永久免费网站| 亚洲,欧美,日韩| 亚洲精品aⅴ在线观看| 久久精品夜夜夜夜夜久久蜜豆| 久久国产乱子免费精品| 日韩欧美三级三区| 亚洲精品国产成人久久av| 成人午夜高清在线视频| 一区二区三区乱码不卡18| 中文乱码字字幕精品一区二区三区 | 国产精品99久久久久久久久| 女人久久www免费人成看片 | 日日干狠狠操夜夜爽| 久久午夜福利片| 亚洲成人久久爱视频| 一级av片app| 女人被狂操c到高潮| 免费看日本二区| 国产精品久久久久久久久免| 亚洲av不卡在线观看| 久久精品国产鲁丝片午夜精品| 午夜久久久久精精品| 亚洲在线自拍视频| 小蜜桃在线观看免费完整版高清| 国产伦在线观看视频一区| 精品不卡国产一区二区三区| 中文亚洲av片在线观看爽| 成人毛片60女人毛片免费| 午夜福利在线观看免费完整高清在| 网址你懂的国产日韩在线| 精品不卡国产一区二区三区| 在线天堂最新版资源| 熟女电影av网| 寂寞人妻少妇视频99o| 国产成人精品久久久久久| 国产老妇女一区| 人体艺术视频欧美日本| av福利片在线观看| 在线观看66精品国产| 全区人妻精品视频| ponron亚洲| 日韩精品青青久久久久久| 亚洲精品日韩在线中文字幕| 国产午夜福利久久久久久| 日本黄大片高清| 成人综合一区亚洲| 老司机福利观看| 看免费成人av毛片| 亚洲伊人久久精品综合 | 日日摸夜夜添夜夜添av毛片| 久久久久久久亚洲中文字幕| 亚洲在线观看片| 亚洲av不卡在线观看| 青春草国产在线视频| 成人二区视频| 欧美日韩国产亚洲二区| 一区二区三区高清视频在线| 高清日韩中文字幕在线| 久久6这里有精品| 乱系列少妇在线播放| 国产精品蜜桃在线观看| 国产美女午夜福利| 小蜜桃在线观看免费完整版高清| 搡老妇女老女人老熟妇| 97在线视频观看| 国产精品一及| 看非洲黑人一级黄片| av国产免费在线观看| 男人舔奶头视频| 亚洲欧美成人综合另类久久久 | 亚洲精品国产av成人精品| 人妻系列 视频| 欧美一级a爱片免费观看看| 三级经典国产精品| 婷婷色综合大香蕉| 九九热线精品视视频播放| 亚洲va在线va天堂va国产| 蜜桃亚洲精品一区二区三区| 伊人久久精品亚洲午夜| 91aial.com中文字幕在线观看| 高清av免费在线| 亚洲五月天丁香| 少妇熟女欧美另类| 国产色婷婷99| 欧美三级亚洲精品| 日韩大片免费观看网站 | 成年av动漫网址| 国产成人午夜福利电影在线观看| 色网站视频免费| 在线天堂最新版资源| 国产成人91sexporn| 人妻夜夜爽99麻豆av| 夜夜看夜夜爽夜夜摸| 免费观看在线日韩| 九九在线视频观看精品| 天天一区二区日本电影三级| 人人妻人人看人人澡| 亚洲丝袜综合中文字幕| 联通29元200g的流量卡| 天堂av国产一区二区熟女人妻| 国产精品人妻久久久久久| 欧美人与善性xxx| 寂寞人妻少妇视频99o| 精品一区二区免费观看| 亚洲五月天丁香| 蜜桃久久精品国产亚洲av| 97超碰精品成人国产| 日本黄色视频三级网站网址| 国产精品,欧美在线| 丝袜美腿在线中文| 尤物成人国产欧美一区二区三区| 久久久久久久久久久免费av| 看非洲黑人一级黄片| 我要搜黄色片| 国产精品国产三级国产专区5o | 午夜福利在线观看免费完整高清在| 精品久久久久久电影网 | 在线播放无遮挡| 22中文网久久字幕| 国产亚洲午夜精品一区二区久久 | 纵有疾风起免费观看全集完整版 | 在线观看av片永久免费下载| av免费在线看不卡| 一级毛片我不卡| 亚洲欧美精品综合久久99| kizo精华| 亚洲精品亚洲一区二区| 噜噜噜噜噜久久久久久91| 国内精品宾馆在线| 国产在线一区二区三区精 | 2022亚洲国产成人精品| 嫩草影院新地址| 国产精品国产三级国产专区5o | 日韩av不卡免费在线播放| 最近最新中文字幕免费大全7| 成人国产麻豆网| 最近的中文字幕免费完整| 成人午夜高清在线视频| 我要搜黄色片| 久久精品久久精品一区二区三区| 欧美zozozo另类| 一本久久精品| 久久久精品欧美日韩精品| 91久久精品国产一区二区三区| 国产精品日韩av在线免费观看| 青青草视频在线视频观看| 岛国在线免费视频观看| 国产精品熟女久久久久浪| 久久精品国产99精品国产亚洲性色| 国产亚洲av片在线观看秒播厂 | 亚洲综合色惰| av国产免费在线观看| 久久这里只有精品中国| 国产精品无大码| 日本黄色视频三级网站网址| av天堂中文字幕网| 精品一区二区三区人妻视频| 一区二区三区高清视频在线| 少妇人妻一区二区三区视频| 日本色播在线视频| 我的女老师完整版在线观看| 在线天堂最新版资源| 国产精品伦人一区二区| 亚洲欧美日韩卡通动漫| videossex国产| 毛片女人毛片| 99久久无色码亚洲精品果冻| 男人和女人高潮做爰伦理| 麻豆乱淫一区二区| 久久久久久久久大av| 大又大粗又爽又黄少妇毛片口| 免费在线观看成人毛片| 美女高潮的动态| 建设人人有责人人尽责人人享有的 | 日韩av在线免费看完整版不卡| 国产私拍福利视频在线观看| 日日干狠狠操夜夜爽| 非洲黑人性xxxx精品又粗又长| 国产午夜精品一二区理论片| 精品熟女少妇av免费看| 免费不卡的大黄色大毛片视频在线观看 | 色哟哟·www| 久久国内精品自在自线图片| 成人亚洲精品av一区二区| 亚洲人成网站在线观看播放| 亚洲av日韩在线播放| 国产精品,欧美在线| 深爱激情五月婷婷| 丰满乱子伦码专区| 亚洲国产最新在线播放| 91精品伊人久久大香线蕉| 国产麻豆成人av免费视频| 久久精品国产亚洲网站| 啦啦啦啦在线视频资源| 啦啦啦观看免费观看视频高清| 亚洲欧美日韩东京热| 国产精品一区二区三区四区免费观看| 精品酒店卫生间| 免费av不卡在线播放| 大话2 男鬼变身卡| 91aial.com中文字幕在线观看| 日韩欧美三级三区| 亚洲婷婷狠狠爱综合网| 午夜激情欧美在线| 精品久久久久久久久久久久久| 白带黄色成豆腐渣| 亚洲乱码一区二区免费版| 爱豆传媒免费全集在线观看| 一个人免费在线观看电影| 成人无遮挡网站| 国产麻豆成人av免费视频| 亚洲av不卡在线观看| 黄色欧美视频在线观看| 中文字幕av在线有码专区| 欧美+日韩+精品| 午夜福利成人在线免费观看| 日本爱情动作片www.在线观看| 一二三四中文在线观看免费高清| 日韩亚洲欧美综合| 一本一本综合久久| 男人狂女人下面高潮的视频| 亚洲天堂国产精品一区在线| kizo精华| 你懂的网址亚洲精品在线观看 | 国产精品av视频在线免费观看| 亚洲最大成人手机在线| 久久久久免费精品人妻一区二区| 国产真实伦视频高清在线观看| 嫩草影院入口| 国产伦精品一区二区三区四那| 国产精品无大码| 久久韩国三级中文字幕| 久久精品熟女亚洲av麻豆精品 | 99在线人妻在线中文字幕| 亚洲第一区二区三区不卡| 国内精品美女久久久久久| 小说图片视频综合网站| 中文欧美无线码| 91久久精品国产一区二区三区| 日韩av在线大香蕉| 国产黄色视频一区二区在线观看 | 欧美潮喷喷水| 国产白丝娇喘喷水9色精品| 亚洲精品乱码久久久久久按摩| 亚洲国产欧洲综合997久久,| av视频在线观看入口| 人妻少妇偷人精品九色| 可以在线观看毛片的网站| 国产爱豆传媒在线观看| 日本猛色少妇xxxxx猛交久久| av卡一久久| 日日撸夜夜添| 性色avwww在线观看| 特大巨黑吊av在线直播| 色综合色国产| eeuss影院久久| 国产中年淑女户外野战色| 免费av不卡在线播放| 国产av不卡久久| 色视频www国产| 成年版毛片免费区| 又粗又硬又长又爽又黄的视频| 国产中年淑女户外野战色| 久久久久国产网址| 熟女电影av网| 我的老师免费观看完整版| 欧美成人免费av一区二区三区| 色尼玛亚洲综合影院| 亚洲av中文字字幕乱码综合| 精品国产三级普通话版| 久久久国产成人免费| 一级毛片aaaaaa免费看小| 人人妻人人澡欧美一区二区| 我的女老师完整版在线观看| 99视频精品全部免费 在线| 亚洲av不卡在线观看| 99热精品在线国产| 熟妇人妻久久中文字幕3abv| h日本视频在线播放| 国产精品国产三级专区第一集| 搡女人真爽免费视频火全软件| 亚洲内射少妇av| 欧美激情在线99| 国产视频内射| 人人妻人人看人人澡| 中文亚洲av片在线观看爽| 免费播放大片免费观看视频在线观看 | 久久久久网色| 蜜桃亚洲精品一区二区三区| 亚洲丝袜综合中文字幕| 国产黄片美女视频| 午夜福利在线观看免费完整高清在| 国产精品福利在线免费观看| 国产精品一及| 69av精品久久久久久| 高清毛片免费看| 我的老师免费观看完整版| 午夜亚洲福利在线播放| 高清在线视频一区二区三区 | 亚洲av免费在线观看| 国产美女午夜福利| 少妇熟女aⅴ在线视频| 国产精品国产三级国产av玫瑰| 午夜激情欧美在线| 在线a可以看的网站| 青春草亚洲视频在线观看| 久久久久久久久久久丰满| 亚洲精品日韩在线中文字幕| 亚洲va在线va天堂va国产| 丝袜喷水一区| 神马国产精品三级电影在线观看| 男女边吃奶边做爰视频| 中文在线观看免费www的网站| 九草在线视频观看| 日韩av在线免费看完整版不卡| 男人舔奶头视频| 黄片无遮挡物在线观看| 色哟哟·www| 久久精品影院6| 亚洲av免费高清在线观看| 超碰97精品在线观看| 波多野结衣巨乳人妻| 久久久午夜欧美精品| 高清日韩中文字幕在线| 18禁裸乳无遮挡免费网站照片| 欧美成人免费av一区二区三区| 天天一区二区日本电影三级| 久久国产乱子免费精品| 久久精品久久精品一区二区三区| 一级av片app| 天天一区二区日本电影三级| 久久热精品热| av免费在线看不卡| 两个人视频免费观看高清| 嘟嘟电影网在线观看| 国产亚洲精品av在线| av.在线天堂| av免费观看日本| 一本久久精品| 尾随美女入室| 国产成人精品婷婷| 乱码一卡2卡4卡精品| 91午夜精品亚洲一区二区三区| 亚洲欧美日韩卡通动漫| 亚洲人成网站在线观看播放| 免费电影在线观看免费观看| 婷婷色av中文字幕| 中文天堂在线官网| 一区二区三区乱码不卡18| 国产成人午夜福利电影在线观看| 久久久久久伊人网av| a级毛色黄片| 亚洲欧美精品自产自拍| 精品免费久久久久久久清纯| 日韩一区二区视频免费看| 亚洲国产欧美在线一区| 啦啦啦啦在线视频资源| 男女啪啪激烈高潮av片| 免费黄色在线免费观看| 日韩欧美精品v在线| 婷婷色av中文字幕| 国内揄拍国产精品人妻在线| 直男gayav资源| 色综合亚洲欧美另类图片| 免费黄网站久久成人精品| 亚洲怡红院男人天堂| 尤物成人国产欧美一区二区三区| 99热网站在线观看| 一级爰片在线观看| 国产亚洲午夜精品一区二区久久 | 久热久热在线精品观看| 男女下面进入的视频免费午夜| 精品99又大又爽又粗少妇毛片| 男女下面进入的视频免费午夜| 亚洲久久久久久中文字幕| 久久久久精品久久久久真实原创| 久久久久久久久久久丰满| av免费在线看不卡| 青春草视频在线免费观看| 国产一区二区亚洲精品在线观看| 中文字幕av在线有码专区| 一级二级三级毛片免费看| 欧美人与善性xxx| 两个人视频免费观看高清| 女人久久www免费人成看片 | 日日啪夜夜撸| 国产一级毛片在线| 精品一区二区免费观看| 亚洲在线自拍视频| 综合色av麻豆| 国产成人freesex在线| 非洲黑人性xxxx精品又粗又长| 亚洲精品日韩在线中文字幕| 久久精品国产99精品国产亚洲性色| 黄片wwwwww| 色尼玛亚洲综合影院| 免费不卡的大黄色大毛片视频在线观看 | 可以在线观看毛片的网站| 97在线视频观看| 国产伦理片在线播放av一区| 99国产精品一区二区蜜桃av| 人体艺术视频欧美日本| 在线免费十八禁| 汤姆久久久久久久影院中文字幕 | 亚洲天堂国产精品一区在线| 天堂√8在线中文| 国产又色又爽无遮挡免| 一级毛片电影观看 | 黄色一级大片看看| 久久久精品大字幕| 成人毛片60女人毛片免费| av视频在线观看入口| 美女被艹到高潮喷水动态| 久久国产乱子免费精品| 精品人妻熟女av久视频| 精品不卡国产一区二区三区| 久久精品久久精品一区二区三区| 最近最新中文字幕大全电影3| 国产成人免费观看mmmm| 国产免费又黄又爽又色| 亚洲av电影在线观看一区二区三区 | 亚洲精品影视一区二区三区av| 色网站视频免费| 久久久色成人| 欧美日本亚洲视频在线播放| 蜜桃久久精品国产亚洲av| 97超视频在线观看视频| 亚洲人成网站在线观看播放| 成人午夜高清在线视频| 亚洲中文字幕日韩| 51国产日韩欧美| 日韩欧美精品v在线| 国产精品久久电影中文字幕| 国产亚洲91精品色在线| 久久久久免费精品人妻一区二区| 亚洲精品影视一区二区三区av| 免费观看在线日韩| 建设人人有责人人尽责人人享有的 | 一夜夜www| av福利片在线观看| 成人性生交大片免费视频hd| 日韩欧美精品v在线| 国产精品永久免费网站| 九色成人免费人妻av| 欧美日韩国产亚洲二区| 好男人视频免费观看在线| 国产免费一级a男人的天堂| 国产乱来视频区| 26uuu在线亚洲综合色| 丝袜喷水一区| 听说在线观看完整版免费高清| 国产毛片a区久久久久| 国产亚洲精品久久久com| 日韩av在线免费看完整版不卡| 亚洲欧美精品综合久久99| 日日撸夜夜添| 免费av观看视频| 欧美激情在线99| 午夜福利在线观看免费完整高清在| 午夜激情欧美在线| 久久亚洲精品不卡| 国产淫语在线视频| 两个人视频免费观看高清| 中文亚洲av片在线观看爽| 热99re8久久精品国产| 人人妻人人澡欧美一区二区| 久久精品国产亚洲av天美| 国产黄a三级三级三级人| av在线亚洲专区| 国模一区二区三区四区视频| 中文字幕av成人在线电影| 中文字幕亚洲精品专区| 日韩三级伦理在线观看| 伦精品一区二区三区| 欧美激情在线99| 高清午夜精品一区二区三区| 久久人人爽人人片av| 成人三级黄色视频| 国产又黄又爽又无遮挡在线| 中文字幕熟女人妻在线| 在线a可以看的网站| 国产美女午夜福利| 久久亚洲精品不卡| 国产欧美日韩精品一区二区| 丝袜美腿在线中文| 一区二区三区高清视频在线| 国产乱来视频区| 亚洲国产精品sss在线观看| 久久久国产成人精品二区| 国产色婷婷99| 汤姆久久久久久久影院中文字幕 | 国产成人福利小说| 国产成人a区在线观看| 亚洲国产欧洲综合997久久,| 亚洲三级黄色毛片| 久久人人爽人人爽人人片va| 成人美女网站在线观看视频| 国产一区亚洲一区在线观看| 亚洲天堂国产精品一区在线| 色吧在线观看| 欧美极品一区二区三区四区| 亚洲av成人精品一二三区| 一卡2卡三卡四卡精品乱码亚洲| 精品国产三级普通话版| 国产在线一区二区三区精 | 男人的好看免费观看在线视频| 寂寞人妻少妇视频99o| av女优亚洲男人天堂| 日韩欧美 国产精品| 水蜜桃什么品种好| 日韩av不卡免费在线播放| 亚洲国产精品成人久久小说| 午夜福利高清视频| 国产精品美女特级片免费视频播放器| 午夜福利网站1000一区二区三区| 成人av在线播放网站| 人妻夜夜爽99麻豆av| 午夜福利视频1000在线观看| 日韩,欧美,国产一区二区三区 | 亚洲成av人片在线播放无| 成年女人永久免费观看视频| 亚洲av中文字字幕乱码综合| 舔av片在线| 亚洲精华国产精华液的使用体验| 免费电影在线观看免费观看| 久久久精品大字幕| 亚洲熟妇中文字幕五十中出| 国产探花在线观看一区二区| 国产国拍精品亚洲av在线观看| 亚洲无线观看免费| 日本一二三区视频观看| 欧美又色又爽又黄视频| 亚洲国产精品国产精品| 听说在线观看完整版免费高清| 国产精品久久久久久久电影| 精品无人区乱码1区二区| 免费播放大片免费观看视频在线观看 | 永久网站在线| 亚洲欧美精品综合久久99| 国产黄a三级三级三级人| 免费无遮挡裸体视频| 国产黄色视频一区二区在线观看 | 看片在线看免费视频| av卡一久久| 免费看a级黄色片| 成人美女网站在线观看视频| 国产高清有码在线观看视频| 午夜福利高清视频| 亚洲国产精品国产精品| 免费观看人在逋| 1000部很黄的大片| 久久精品国产亚洲av天美| 欧美性猛交╳xxx乱大交人| 亚洲欧美精品自产自拍| 99热这里只有精品一区| 国产高清国产精品国产三级 | 在线免费观看不下载黄p国产| 美女国产视频在线观看| 国产免费男女视频| 99在线视频只有这里精品首页| 最新中文字幕久久久久| 18+在线观看网站| 大香蕉97超碰在线| 少妇被粗大猛烈的视频| 日韩欧美在线乱码| 亚洲欧美清纯卡通| 欧美bdsm另类| 国产精品不卡视频一区二区| 亚洲四区av| eeuss影院久久| 赤兔流量卡办理| 亚洲精品国产av成人精品| 国产精品国产三级专区第一集| 国产一级毛片在线| 99久久中文字幕三级久久日本| 久久精品熟女亚洲av麻豆精品 | 国产免费男女视频| 亚洲av熟女| 日本免费在线观看一区| 成人性生交大片免费视频hd| 哪个播放器可以免费观看大片| 日韩欧美国产在线观看| 国产国拍精品亚洲av在线观看| 熟妇人妻久久中文字幕3abv| 女人十人毛片免费观看3o分钟| 99视频精品全部免费 在线| 国产黄色视频一区二区在线观看 | 人妻系列 视频| 亚洲自拍偷在线| 99久久人妻综合| 最近最新中文字幕免费大全7|