• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于自動修補策略的網絡剪枝

    2022-02-17 05:59:20蘇啟航錢燁強王春香
    模式識別與人工智能 2022年1期
    關鍵詞:每層剪枝變異

    蘇啟航 錢燁強 袁 偉 楊 明 王春香

    深度神經網絡(Deep Neural Network, DNN)已廣泛應用于計算機視覺任務中,如圖像分類[1]、目標檢測[2]、語義分割[3]等.但是,DNN計算資源需求較大、功耗較高,導致其在智能駕駛系統(tǒng)、移動設備處理等場景中應用受限.為了減少內存占用和加快推理時間,研究者們提出許多壓縮策略,主要分為權值量化[4]、知識蒸餾[5]、低秩分解[6]、剪枝[7].

    剪枝作為一種加速預訓練較大模型的方法,可進一步分為非結構化剪枝[8]和結構化剪枝[9].結構化剪枝可簡化為2個問題:1)如何判斷是否應該剪去一個指定的卷積核;2)確定每層中應該剪去多少個卷積核.現(xiàn)有的剪枝方法試圖最大限度地壓縮網絡而不造成太大的精度損失,大多數(shù)遵循相同流程:訓練、剪枝、微調.

    對于問題1),通常使用人工規(guī)則選擇不重要的卷積核并將其剪去,剪枝過程方便快捷.一個典型的剪枝思想是:如果網絡中某個對象的值足夠小,就可對其進行剪枝.這里的對象可是卷積核的L1范數(shù)[10]、批量歸一化層(Batch Normalization, BN)的比例因子[7]、輸出特征圖的重構誤差[11]、網絡掩膜的值[12-13]、下一層輸出特征圖的變化[14]等.同時,也有一些關于“越小越不重要”思想的正確性討論[15-16].另一個思想是刪減冗余的卷積核.冗余卷積核中包含的信息或知識可被其它卷積核替代.例如,一層中兩個權重完全相同的卷積核可被認為是冗余的.在此基礎上,Ding等[17]研究卷積核之間的相似性評價方法.更進一步,He等[15]利用幾何中值選擇冗余卷積核,Lin等[18]將低秩特征圖定義為冗余通道.實際上,不論“小”思想和“冗余”思想,都是一種選擇網絡保留參數(shù)的策略.

    對于問題2),其目標等價于尋找最佳剪枝網絡子結構.最簡單的方法是使用預定義的剪枝率,直接確定每層中應剪去多少個卷積核[11,14-15,18-19].常用方法是以相同比率修剪每層.然而,剪枝得到的網絡可能不是最佳的子結構.方法2)是使用迭代剪枝[10]逐層確定最優(yōu)剪枝率.這種策略通常耗時較長,并未充分研究外層間的剪枝順序.方法3)是使用全局閾值[7,20],可自動確定每層中剪去的卷積核數(shù)量.該策略的問題是全局閾值對每層是否公平.方法4)是給網絡添加一個附屬掩膜[12-13],通過掩膜值確定待剪的卷積核.在訓練時,這些掩膜通常與網絡參數(shù)一起學習.Lin等[12]交替更新掩膜和網絡參數(shù),獲得近似解.Huang等[13]利用正則化方法,使掩膜的某些值趨于0.然而,這種策略存在掩膜參數(shù)和網絡參數(shù)數(shù)量不平衡的問題.方法5)是使用網絡架構搜索[9,21].受Liu等[22]工作的影響,減少剪枝任務與神經架構搜索(Neural Architecture Search, NAS)任務之間的差異.利用基于遺傳算法[23]和強化學習[24]的搜索策略,NAS可更公平地確定每層的通道數(shù).Liu等[21]通過元學習為剪枝子網絡分配權重,通過遺傳算法進行搜索.Lin等[9]使用人工蜂群算法尋找最優(yōu)的剪枝結構.

    為了解決結構化剪枝的問題,本文提出基于自動修補策略的網絡剪枝(Network Pruning via Auto-matic Mending Strategy, PAM).不同于傳統(tǒng)的三階段網絡剪枝流程,本文方法在剪枝后增加一個修補階段,即流程包括訓練、預剪枝、修補、微調.對于預先訓練好的模型,以相同的剪枝率對每層進行剪枝,稱為預剪枝階段.該階段用于判斷不同卷積核的重要性,主要解決問題1).然而,在給定的剪枝率下,預剪枝模型通常不是最優(yōu)結構.因此,在保持整體剪枝率不變的前提下,在預剪枝網絡的每層添加或刪除卷積核,稱為修補階段.這個階段用于尋找最佳剪枝結構,主要解決問題2).此外本文還研究預訓練較大模型中權重的價值.實驗表明,使用這些權重可使性能估計策略更快、更可靠.

    1 基于自動修補策略的網絡剪枝

    1.1 符號和說明

    1.2. 預剪枝

    (1)

    卷積核相似性度量常和聚類算法一起用于剪枝[17].一般來說,簇的數(shù)目等于保留卷積核的總數(shù),并且每簇中只保留一個卷積核.與此不同的是,本文使用式(1)和凝聚聚類算法對每層中的卷積核進行重要性排序.卷積核的排序不僅可在預剪枝階段作為剪枝標準,還對修補階段的設計起到重要作用.

    在某一卷積層實現(xiàn)聚類算法時,在同簇內可認為模長最大的卷積核最重要[10,17],因此令每個簇中模長最大的卷積核作為簇的聚類中心,此外,聚合一層的卷積核直到只形成唯一一個簇,并記錄聚類過程.若卷積核或簇越早聚合,則簇的聚類中心卷積核越不重要,以此得到各層卷積核的重要性排序.以一層有A、B、C、D四個卷積核為例,初始集合

    I=[[A],[B],[C],[D]],

    首先劃分為4個簇,每個卷積核作為本簇的聚類中心.2個簇的距離等于聚類中心間的距離,2個聚類中心(2個卷積核)的距離按照式(1)計算.計算距離最近的2個簇,假設[A]、[B]之間距離最小且A的模長大于B,則A和B聚合成一個簇,

    I=[[A,B],[C],[D]],

    A為新簇的聚類中心,B放入排序隊列中.然后,假設簇[A,B]、[C]的距離最小,C的模長大于A,則

    I=[[C,A,B],[D]],

    C為新簇的聚類中心,A放入排序隊列中.最后聚合僅剩2個簇,假設C的模長大于D,則C為最終的簇的聚類中心,D放入排序隊列中.最終得到的卷積核重要性排序為B

    1.3 修補

    在修補階段,本文使用NAS調整預剪枝模型中每層的卷積核數(shù)量,并保持網絡的卷積核總數(shù)不變,即本文的目標是在保持剪枝率不變的條件下得到一個更好的剪枝結構.這里的剪枝率為被剪的數(shù)量除以總數(shù).由于不同層中卷積核的大小可能不同,導致不同子網絡在剪枝率相同的情況下依然可能具有不同的浮點運算次數(shù)(Floating-Point Operations per Second, FLOPs).

    NAS設計的要素一般包括搜索空間、搜索策略和性能估計策略[25].搜索策略在搜索空間中發(fā)現(xiàn)一個新的結構,并利用性能估計策略對結構進行評估.

    本文采用基于遺傳算法的NAS進行搜索,將剪枝子網絡結構編碼為基因.具體地,將預剪枝的網絡結構編碼為0號基因:

    G0=[0,0,…,0],len(G0)=L.

    基因G0給變異操作提供一個初始基因,性能也可作為參考基線.顯然,如果想給第l層增加2個卷積核,則只需將G0,l從0更改為2,其中G0,l表示G0的第l個值.

    值得注意的是:1)網絡的編碼基因只能代表一個子網絡的結構,即只能得到每層中卷積核的數(shù)量,而不能得到權重.2)不同剪枝率下的G0是相同的.只有同時根據(jù)預剪枝結構和基因,才能得到目標結構.

    圖1為修補階段使用基因和預剪枝結構解碼出目標結構的一個例子.修補階段的任務是尋找最佳基因,以獲得最優(yōu)的精剪枝結構.

    圖1 修補預剪枝網絡示意圖Fig.1 Sketch map of mending pre-pruned network

    在NAS領域,利用遺傳算法尋找最優(yōu)結構[23,26].變異操作是促進種群適應度不斷提高的重要操作.然而,在本文的搜索空間中使用變異操作會存在一個問題:典型的變異只發(fā)生在基因的一個位置,無論增加或減少卷積核的數(shù)量,都會引起整體剪枝率的變化.因此,本文設計新的變異方法,稱為成對變異.“對”意味著選擇一對位置同時變異,并產生一對后代.

    以基因Gk進行成對變異操作為例:首先選擇2個互不相同的隨機變異位點i、j,1≤i≤L,1≤j≤L.然后,根據(jù)一個給定的變異尺度S,使父代基因產生2個子代基因,即

    Gchild1=[…,Gk,i+S,…,Gk,j-S,…],

    Gchild2=[…,Gk,i-S,…,Gk,j+S,…].

    成對變異操作的示意圖如圖2所示,S表示增加或減少的卷積核數(shù)量.最后,根據(jù)性能評估策略計算2個基因的適合度,將較好的一個基因加入群體中,直接丟棄另一個表現(xiàn)較差的基因.以這種變異方式,一個基因向量中所有值的和可始終保持為0,即整體剪枝率保持不變.此外,作為一種直觀的設計,如果第i、j層中的一層需要更多的卷積核以提高子網絡的性能,并且減少另一層的卷積核數(shù)量,不會造成更多的性能損失,在兩個子代中將會有一個具有更好的性能.

    圖2 成對變異操作的示意圖Fig.2 Sketch map of pair-mutation operation

    本文采用錦標賽選擇法對當前種群進行采樣.在每個周期中,刪除群體中最老的基因[26].這種刪除策略在NAS領域被證明可防止高適應度基因永遠留在群體中,從而產生大量后代.此外,本文采用逐步變小的變異尺度S實現(xiàn)從粗到精的搜索.特別地,如果變異操作導致第l層中的卷積核數(shù)量超過[1,Nl]的限制范圍,則限制此次循環(huán)中使用的變異尺度,使卷積核數(shù)量控制在合法范圍內.具體地:如果變異操作得到的結果小于1,將該層的卷積核數(shù)量置為1;如果結果大于Nl,將該層的卷積核數(shù)量置為Nl.

    本文還為搜索策略設計一個可選步驟——交叉操作.上述成對變異操作可在保持剪枝率不變的前提下快速提高種群適應度,但本文還希望能尋找剪枝率更高但性能更優(yōu)的子網絡,稱為幸運子網絡.此目標類似于Chin等[20]的目標,旨在生成一組具有不同精度和延遲權衡的子網絡.在本文的網絡編碼模式中,更高的剪枝率意味著基因向量所有值的和小于0.具體地,在候選基因中選擇2個不同的基因作為父代基因,隨機選擇一個位置交叉的2個基因,產生2個子代Gchild3和Gchild4.若2個父代基因向量的所有值的和都是0,不妨假設2個子代基因

    sum(Gchild3)≤sum(Gchild4),

    則一定可推導出

    sum(Gchild3)≤0,sum(Gchild4)≥0.

    本文直接丟棄Gchild4,計算Gchild3的適應度,并放入種群中.在特殊情況下,如果將交叉操作產生的基因用作父代基因,則可能導致sum(Gchild3)和sum(Gchild4)同時小于0.假設

    sum(Gchild3)>sum(Gchild4),

    則直接舍棄Gchild4,保留和設定剪枝率更接近的子代,確保交叉操作只需要計算一個子代的適合度.

    性能評估策略用于計算基因的適應度.評估網絡結構性能的一種簡單方法是從頭開始訓練網絡,并在驗證集上評估準確率,但耗時較大.因此,NAS領域中已研究一些加速估計策略[27],或稱為代理度量,只需計算不同結構的相對性能,即可對比好壞.Zhou等[28]綜合不同的加速方法,設計不同的代理度量,并通過基于網絡性能排名計算的Spearman系數(shù)評價不同代理度量的優(yōu)劣.

    本文的代理度量包括:1)只使用少量的訓練輪數(shù)微調子網絡以計算它們的適合度,但會引入評估偏差.2)利用預剪枝階段的卷積核排序快速初始化新結構.使用卷積核排序對保留的卷積核進行初始化相當于剪枝操作,即保留排序中重要的卷積核,刪掉不重要的結構.本文通過實驗證實這種初始化方法可減少評估偏差,提高評估策略的穩(wěn)定性.對于由基因產生的目標結構,可將其看作是對原大網絡進行剪枝得到的子結構,不同于預剪枝的操作,每層卷積核的數(shù)量不再由剪枝率決定,而由基因決定.

    最終本文方法框圖如圖3所示.

    圖3 本文方法框圖Fig.3 Flow chart of the proposed method

    2 實驗及結果分析

    2.1 實驗設置

    為了驗證本文方法(PAM)的有效性,在CIFAR-10[29]、CUB-200[30]數(shù)據(jù)集上進行對比實驗.本文研究剪枝算法在卷積神經網絡(Convolutional Neural Network, CNN)上的性能,包括單分支網絡(V-GG)[1]和殘差網絡(Residual Network, ResNet)[31].

    本文選擇如下對比方法:Slim(Network Slim-ming)[7],Soft(Soft Pruning)[19],FPGM(Filter Pru-ning via Geometric Median)[15],HRank(High-Rank Feature)[18].Slim使用BN層比例因子和一個全局閾值.在高壓縮比的情況下,這種剪枝策略有可能剪掉一層中所有卷積核,導致網絡無法正確推理.在此次實驗中,保證剪枝后網絡的每層至少保留一個卷積核.Soft和FPGM在每層都使用相同的剪枝率.HRank使用特征圖的秩判斷卷積核的重要性,在每層中使用一個預定義但各層不同的剪枝率.本文控制不同剪枝方法的壓縮情況(參數(shù)量和FLOPs)彼此之間相差不至過大,實現(xiàn)更公平的對比.

    本文采用動量為0.9、權重衰減為0.000 1的隨機梯度下降法(Stochastic Gradient Descent, SGD)[32]作為優(yōu)化器.在修補階段,設置種群大小為50,候選集大小為15,迭代次數(shù)為200.此外,初始變異尺度為16,變異尺度在第80輪調整為8,在第160輪調整為4.在計算基因適合度時,將代理度量的微調輪數(shù)設置為5.在最后的微調階段,訓練160輪.在種群演化的每輪中,首先進行成對變異操作,種群增加一個由變異得到的子代基因,刪除最老的一個基因.再執(zhí)行交叉操作,種群增加一個由交叉得到的子代基因,刪除最老的一個基因.

    2.2 實驗結果對比

    對于VGG網絡,使用深度為19的結構,基礎剪枝率為90%.除了Soft和FPGM以外,其它方法得到的網絡結構各不相同.因此,剪枝模型的FLOPs和參數(shù)量存在差異.在CIFAR-10數(shù)據(jù)集上,各方法在VGG19網絡上的剪枝結果如表1所示,表中baseline表示原始的預訓練模型.由表可知,PAM得到的網絡具有最高的精度、最少的FLOPs和最少的參數(shù)量.

    表1 各方法在VGG19網絡上的剪枝結果Table 1 Pruning results of different methods in VGG19 network

    為了更清晰地展示預剪枝和修補的作用,各階段模型的準確率如下:預訓練模型為93.76%,預剪枝模型為56.89%,精剪枝模型為85.96%,輸出模型為92.02%.PAM得到的剪枝網絡各層的剪枝情況如圖4所示.由圖可看出,網絡輸入端和輸出端卷積層的剪枝率存在較大差異,VGG19是一個不同層卷積核冗余度差異較大的網絡.實驗證實PAM對其搜索最佳剪枝結構的有效性.

    圖4 VGG19網絡各層的剪枝率Fig.4 Pruning rate of each layer in VGG19 network

    在實驗中,ResNet網絡的深度為18,基礎剪枝率為90%.因為在殘差塊的輸出部分有一個加法運算,所以必須保持輸入輸出通道的對應關系.如同大多數(shù)剪枝策略,PAM不剪枝殘差塊最后的卷積層和跨連分支.在CIFAR-10數(shù)據(jù)集上,各方法在ResNet-18網絡上的剪枝結果如表2所示.由表可見,PAM的綜合性能最好.

    表2 各方法在ResNet18在網絡上的剪枝結果Table 2 Pruning results of different methods in ResNet18 network

    ResNet網絡各層的剪枝情況如圖5所示,圖中只展示可剪的卷積層.從網絡不同層的剪枝率差異可看出,ResNet18各層的冗余度差異小于VGG19,這可能是因為殘差結構具有恢復剪枝造成的信息丟失的能力.

    圖5 ResNet18網絡各層的剪枝率Fig.5 Pruning rate of each layer in ResNet18 network

    對VGG19、ResNet18網絡通過交叉操作可獲得“幸運子網絡”的結果.在搜索過程中增加交叉操作,可得到許多不同剪枝率的剪枝子網絡.本文選擇幾種不同的剪枝率,并給出在每個選定的剪枝率下的最佳剪枝網絡.結果見表3和表4.正如假設可見,在搜索過程中有一些幸運的子網絡.例如,剪枝率為90.83%的ResNet18比基礎剪枝率為90.00%的ResNet18性能更優(yōu).

    表3 對VGG19進行交叉操作的結果Table 3 Crossover operation results of VGG19

    表4 對ResNet18進行交叉操作的結果Table 4 Crossover operation results of ResNet18

    此外,針對VGG19修補的種群,演化過程如圖6所示.圖中橫坐標是從初始化種群開始計數(shù)的基因數(shù)目,縱坐標是使用性能評估策略得到的基因適應度,水平虛線是0號基因,即預剪枝模型的適應度.由圖可見變異操作和交叉操作對修補VGG19預剪枝網絡的影響,上述操作使種群適應度逐步上升最后趨于收斂.

    圖6 修補階段的種群演化過程Fig.6 Evolutionary process of population in mending stage

    本文分析剪枝的ResNet18網絡在遷移學習中的性能.由于NAS技術資源消耗較大,在大數(shù)據(jù)集上搜索會耗時較多.所以一些工作[24,28]會將CIFAR-10數(shù)據(jù)集上搜索到的結構遷移到較大數(shù)據(jù)集上,如ImageNet、CUB-200數(shù)據(jù)集,以間接證實有效性.本文采取類似的實驗方法.針對已在CIFAR-10數(shù)據(jù)集上剪枝和微調的網絡,改變第一個卷積層和最后一個全連接層,其它部分不變.基線網絡(baseline)訓練160輪.使用相同的遷移學習超參數(shù)設置,PAM與baseline的剪枝結果如表5所示,PAM-TL表示PAM的遷移學習結果,PAM-scratch表示剪枝過的網絡從頭開始訓練,Top-1準確率(Top-1 Accuracy)指預測的最大概率類別與真實類別相同的樣本所占的比率.因為基線和剪枝模型的訓練計算量差異較大,本文參考文獻[22]的工作,對剪枝模型使用與baseline相同的計算量進行訓練,表示為PAM-TL-B.表5說明PAM的剪枝模型可較好地轉移到其它數(shù)據(jù)集.從PAM-TL-B的結果可知,當剪枝率較高時,最好使用更多的訓練輪數(shù),提高模型的準確率.

    表5 ResNet18剪枝網絡的遷移學習結果Table 5 Transfer learning results of pruned ResNet18 network

    2.3 代理度量分析

    本節(jié)討論剪枝后保留參數(shù)的價值,并說明本文性能估計策略的有效性.受Zhou等[28]的啟發(fā),本文使用Spearman系數(shù)評估代理度量.首先,隨機生成50個VGG19的剪枝子網結構(剪枝率均為90%),并進行充分訓練(在CIFAR-10數(shù)據(jù)集上訓練160輪),稱為原始設置.然后,對這50個子網絡結構,使用性能評估策略中的代理度量進行訓練微調,并將這個簡化的設置表示為“我們的代理度量”.為了對比,還使用隨機權值初始化子網絡,再進行訓練微調,即這些網絡結構不再使用保留參數(shù),將此簡化設置稱為“對比的代理度量”.最后,利用Spearman系數(shù)計算原始設置和每個簡化設置之間的相關性,結果如圖7所示,Spearman系數(shù)越高,說明代理度量越可靠.

    實驗表明,相比隨機初始化方法,本文的代理度量方法能更好地保持不同子網絡精度的排序.在剪枝算法中,保留權重的一般作用是加速剪枝后的微調過程.該實驗還說明保留權重的另一個作用,即當使用少量的訓練輪數(shù)評價不同子網的相對性能時,可提高評價的可靠性.

    從實驗結果可得出另一個結論:估計策略中使用的訓練輪數(shù)越多,可靠性越強.這對于調整搜索過程成本具有重要意義,可通過調整代理度量中使用的輪數(shù)控制整個算法的耗時.

    3 結 束 語

    本文結合人工規(guī)則和自動搜索方法,提出基于自動修補策略的網絡剪枝.在預剪枝階段,基于角度和范數(shù)信息,識別冗余的卷積核,并在預剪枝后設計基于神經架構搜索實現(xiàn)的修補階段.相比基于貪心思想的經典網絡剪枝算法,本文方法可求解更佳的網絡剪枝結構,獲得更高的網絡性能.同時,基于預剪枝結構的基因編碼策略及策略中的成對變異,結合預剪枝階段的先驗知識都可提高本文方法的搜索效率.實驗表明,本文方法能較好地剪枝分類任務的網絡.

    從算法的搜索和評估策略的角度分析,還可進一步改進本文方法.在修補階段種群演化的初期,得到的剪枝網絡之間性能差距較大,因此在評估策略中只需設置少量的訓練輪數(shù)就可區(qū)分不同剪枝網絡的優(yōu)劣.而在演化的后期,得到剪枝網絡之間性能差距較小,需要更多的訓練輪數(shù),可考慮在種群演化過程中動態(tài)調整評估策略使用的訓練輪數(shù),更合理地分配計算資源,提高搜索效率.此外,相比本文實驗部分的分類網絡,目標檢測、語義分割任務的網絡結構更復雜,需要進一步驗證剪枝算法的有效性.將本文方法應用于更多的視覺任務是下一步研究的重點.

    猜你喜歡
    每層剪枝變異
    人到晚年宜“剪枝”
    攀登腳手架
    基于YOLOv4-Tiny模型剪枝算法
    智取鉆石
    變異危機
    變異
    支部建設(2020年15期)2020-07-08 12:34:32
    每層球有多重
    剪枝
    天津詩人(2017年2期)2017-03-16 03:09:39
    變異的蚊子
    百科知識(2015年18期)2015-09-10 07:22:44
    一種面向不平衡數(shù)據(jù)分類的組合剪枝方法
    計算機工程(2014年6期)2014-02-28 01:26:33
    亚洲欧美清纯卡通| 国产激情偷乱视频一区二区| 干丝袜人妻中文字幕| 精品人妻视频免费看| 男女那种视频在线观看| 成人亚洲精品av一区二区| 免费黄网站久久成人精品| 亚洲第一电影网av| 欧美一级a爱片免费观看看| 精品久久久久久久人妻蜜臀av| 99久久九九国产精品国产免费| 欧美区成人在线视频| 一区二区三区高清视频在线| 亚洲成人久久性| 国内精品美女久久久久久| 国产极品精品免费视频能看的| 午夜福利在线观看免费完整高清在 | 成人三级黄色视频| 国产午夜精品久久久久久一区二区三区 | 欧美+亚洲+日韩+国产| 国产午夜精品久久久久久一区二区三区 | 国产免费男女视频| 在线免费十八禁| 日本欧美国产在线视频| 非洲黑人性xxxx精品又粗又长| 秋霞在线观看毛片| 久久久国产成人精品二区| 内地一区二区视频在线| 国产 一区 欧美 日韩| 一级毛片aaaaaa免费看小| 精品久久久久久久人妻蜜臀av| 国产精品一区二区免费欧美| 十八禁国产超污无遮挡网站| 成人综合一区亚洲| 亚洲精华国产精华液的使用体验 | 一级毛片aaaaaa免费看小| 国产成人一区二区在线| 又黄又爽又免费观看的视频| 国产午夜福利久久久久久| 色噜噜av男人的天堂激情| 日韩三级伦理在线观看| 久久午夜福利片| 亚洲欧美日韩卡通动漫| 亚洲精品乱码久久久v下载方式| 黄色配什么色好看| 久久久成人免费电影| 欧美成人a在线观看| 免费观看在线日韩| 亚洲av成人av| 少妇熟女欧美另类| 成人高潮视频无遮挡免费网站| 国产 一区精品| 少妇裸体淫交视频免费看高清| 97超级碰碰碰精品色视频在线观看| 欧美高清成人免费视频www| 午夜福利在线在线| 欧美激情在线99| 成年女人毛片免费观看观看9| 熟妇人妻久久中文字幕3abv| 久久精品国产亚洲av香蕉五月| 久久天躁狠狠躁夜夜2o2o| 九九爱精品视频在线观看| 国语自产精品视频在线第100页| 少妇丰满av| 久久韩国三级中文字幕| 久久久久久久亚洲中文字幕| 欧美日韩一区二区视频在线观看视频在线 | 蜜臀久久99精品久久宅男| 淫秽高清视频在线观看| 韩国av在线不卡| 在线播放无遮挡| 日本与韩国留学比较| 深爱激情五月婷婷| 亚洲美女搞黄在线观看 | 亚洲成人久久爱视频| 免费一级毛片在线播放高清视频| 国产三级在线视频| 亚洲欧美日韩卡通动漫| 日本在线视频免费播放| av在线蜜桃| 精品久久久久久久久av| 欧美3d第一页| 一级黄色大片毛片| 成年免费大片在线观看| 免费人成在线观看视频色| 成人av一区二区三区在线看| 国产男人的电影天堂91| 色播亚洲综合网| av中文乱码字幕在线| 国产极品精品免费视频能看的| 亚洲精品日韩av片在线观看| 18禁在线播放成人免费| 天天躁日日操中文字幕| 午夜激情欧美在线| 九九爱精品视频在线观看| 一本精品99久久精品77| 亚洲av中文字字幕乱码综合| 亚洲av二区三区四区| 日韩av不卡免费在线播放| 国内揄拍国产精品人妻在线| 亚洲内射少妇av| 一区二区三区四区激情视频 | 一边摸一边抽搐一进一小说| 国产成人aa在线观看| 精品人妻一区二区三区麻豆 | 18禁黄网站禁片免费观看直播| 日日干狠狠操夜夜爽| 别揉我奶头 嗯啊视频| h日本视频在线播放| 高清日韩中文字幕在线| 精品欧美国产一区二区三| 麻豆一二三区av精品| 人人妻人人澡欧美一区二区| 日日干狠狠操夜夜爽| 精品久久久久久久久久久久久| 欧美三级亚洲精品| 听说在线观看完整版免费高清| 成人二区视频| 欧美日韩一区二区视频在线观看视频在线 | 欧美bdsm另类| 日韩高清综合在线| 91在线观看av| 久久久久久伊人网av| 99久国产av精品国产电影| 日韩一区二区视频免费看| av天堂在线播放| 男女之事视频高清在线观看| 日本一本二区三区精品| 欧美又色又爽又黄视频| 六月丁香七月| 天堂av国产一区二区熟女人妻| 日产精品乱码卡一卡2卡三| 欧美日韩乱码在线| 丝袜喷水一区| 国产乱人视频| 色播亚洲综合网| 精品久久久久久久久久免费视频| 自拍偷自拍亚洲精品老妇| 一级毛片久久久久久久久女| 国产一区二区三区在线臀色熟女| 嫩草影院入口| 干丝袜人妻中文字幕| 在线国产一区二区在线| 中文字幕av成人在线电影| 精品国产三级普通话版| 丰满乱子伦码专区| 春色校园在线视频观看| 成人亚洲精品av一区二区| 国产精品不卡视频一区二区| 国产精品综合久久久久久久免费| 国产成人91sexporn| 欧美日韩乱码在线| 狂野欧美白嫩少妇大欣赏| 国产在线精品亚洲第一网站| 三级男女做爰猛烈吃奶摸视频| 搡女人真爽免费视频火全软件 | 精品午夜福利视频在线观看一区| 99热精品在线国产| 三级经典国产精品| av中文乱码字幕在线| 亚洲熟妇熟女久久| 最后的刺客免费高清国语| 亚洲av电影不卡..在线观看| 搡老熟女国产l中国老女人| 亚洲激情五月婷婷啪啪| 国产av不卡久久| 日韩亚洲欧美综合| av黄色大香蕉| 看免费成人av毛片| 免费在线观看影片大全网站| 午夜日韩欧美国产| 欧美高清成人免费视频www| 大型黄色视频在线免费观看| 久久精品影院6| 男人的好看免费观看在线视频| 中文字幕精品亚洲无线码一区| 国产又黄又爽又无遮挡在线| 免费无遮挡裸体视频| 国产不卡一卡二| 69av精品久久久久久| 久久久国产成人精品二区| 久久久久免费精品人妻一区二区| 国产精品久久久久久亚洲av鲁大| 国产精品三级大全| 久久久色成人| 亚洲丝袜综合中文字幕| 国产精品一区二区性色av| 国产高清视频在线观看网站| 午夜福利视频1000在线观看| 成人美女网站在线观看视频| 国内精品美女久久久久久| 床上黄色一级片| 欧美中文日本在线观看视频| 两个人的视频大全免费| 国产黄色小视频在线观看| 丝袜喷水一区| 国产午夜精品久久久久久一区二区三区 | 免费观看的影片在线观看| 97超碰精品成人国产| 久久精品夜夜夜夜夜久久蜜豆| 人妻少妇偷人精品九色| 国产精品亚洲一级av第二区| 亚洲七黄色美女视频| 成人美女网站在线观看视频| 成人国产麻豆网| 国产真实乱freesex| 看免费成人av毛片| 国产黄a三级三级三级人| 联通29元200g的流量卡| 搡老岳熟女国产| av在线天堂中文字幕| 秋霞在线观看毛片| 日日摸夜夜添夜夜添小说| 悠悠久久av| 中国国产av一级| 午夜精品国产一区二区电影 | 欧美又色又爽又黄视频| 国产精品嫩草影院av在线观看| 欧美人与善性xxx| 精品乱码久久久久久99久播| 夜夜夜夜夜久久久久| 欧美区成人在线视频| 美女xxoo啪啪120秒动态图| 直男gayav资源| 大型黄色视频在线免费观看| 在现免费观看毛片| 搡老熟女国产l中国老女人| 亚洲一级一片aⅴ在线观看| 女人被狂操c到高潮| 三级国产精品欧美在线观看| 99riav亚洲国产免费| 欧美日韩国产亚洲二区| 精品久久国产蜜桃| 国产91av在线免费观看| 亚洲成人久久性| 嫩草影院入口| 看免费成人av毛片| 一级毛片久久久久久久久女| 在线国产一区二区在线| 国产成人福利小说| av黄色大香蕉| 日本 av在线| 秋霞在线观看毛片| 欧美一区二区精品小视频在线| 夜夜爽天天搞| 色5月婷婷丁香| 波多野结衣高清作品| 午夜福利成人在线免费观看| 2021天堂中文幕一二区在线观| 亚洲最大成人手机在线| 少妇高潮的动态图| 噜噜噜噜噜久久久久久91| 一本精品99久久精品77| 亚洲成人中文字幕在线播放| 99热这里只有是精品在线观看| 夜夜看夜夜爽夜夜摸| 日韩成人av中文字幕在线观看 | 天美传媒精品一区二区| 免费av观看视频| 免费不卡的大黄色大毛片视频在线观看 | 22中文网久久字幕| 美女cb高潮喷水在线观看| 又黄又爽又免费观看的视频| 日韩成人av中文字幕在线观看 | 亚洲欧美日韩卡通动漫| 国产精品99久久久久久久久| 中文字幕熟女人妻在线| 亚洲人成网站在线观看播放| 国产国拍精品亚洲av在线观看| 内地一区二区视频在线| 久久精品国产自在天天线| 热99re8久久精品国产| 国产熟女欧美一区二区| 日本a在线网址| 日日摸夜夜添夜夜添小说| 久久久久久伊人网av| 国产v大片淫在线免费观看| 男人舔奶头视频| 国内精品宾馆在线| 亚洲电影在线观看av| 男女视频在线观看网站免费| 国产毛片a区久久久久| 中国国产av一级| 免费人成在线观看视频色| 我的女老师完整版在线观看| av黄色大香蕉| 国产精品久久久久久精品电影| 干丝袜人妻中文字幕| 又粗又爽又猛毛片免费看| 午夜福利视频1000在线观看| 中文亚洲av片在线观看爽| 狠狠狠狠99中文字幕| 少妇的逼水好多| 深夜精品福利| 又黄又爽又刺激的免费视频.| 一a级毛片在线观看| 99热这里只有是精品在线观看| 国产精品综合久久久久久久免费| 99在线视频只有这里精品首页| 黄色配什么色好看| 日韩三级伦理在线观看| 婷婷色综合大香蕉| 精品久久国产蜜桃| a级毛色黄片| 日韩在线高清观看一区二区三区| 日日啪夜夜撸| 亚洲av第一区精品v没综合| 午夜久久久久精精品| 中出人妻视频一区二区| 欧美日本视频| 亚洲自拍偷在线| 亚洲aⅴ乱码一区二区在线播放| 久久久久精品国产欧美久久久| 色哟哟哟哟哟哟| 嫩草影院精品99| 内地一区二区视频在线| 成人av一区二区三区在线看| 欧美一区二区亚洲| 久久精品国产鲁丝片午夜精品| 亚洲成人久久性| 我要搜黄色片| 久久人妻av系列| av在线观看视频网站免费| 中国美女看黄片| 中文字幕av在线有码专区| 看非洲黑人一级黄片| 成人性生交大片免费视频hd| 免费看光身美女| 国产国拍精品亚洲av在线观看| 国产v大片淫在线免费观看| 九九在线视频观看精品| 欧美xxxx黑人xx丫x性爽| 日韩精品中文字幕看吧| 久久韩国三级中文字幕| 欧美最新免费一区二区三区| 一级毛片我不卡| av天堂中文字幕网| 俺也久久电影网| 亚洲成人av在线免费| 嫩草影院入口| 国产精品亚洲一级av第二区| 美女cb高潮喷水在线观看| 日本成人三级电影网站| 最近手机中文字幕大全| 精品熟女少妇av免费看| 在现免费观看毛片| 欧美一区二区精品小视频在线| 麻豆国产av国片精品| 亚洲一区二区三区色噜噜| 国产亚洲av嫩草精品影院| 亚洲成人av在线免费| 一区二区三区免费毛片| 国产老妇女一区| 中国美女看黄片| av天堂中文字幕网| 亚洲欧美清纯卡通| 色哟哟哟哟哟哟| 日韩亚洲欧美综合| 久久久久久九九精品二区国产| 别揉我奶头~嗯~啊~动态视频| 亚洲一区二区三区色噜噜| 给我免费播放毛片高清在线观看| 免费在线观看影片大全网站| 国产麻豆成人av免费视频| 在线观看av片永久免费下载| 少妇熟女欧美另类| 日韩欧美精品v在线| 啦啦啦啦在线视频资源| 91av网一区二区| 欧美成人精品欧美一级黄| 日本色播在线视频| 午夜福利成人在线免费观看| 菩萨蛮人人尽说江南好唐韦庄 | 99在线人妻在线中文字幕| 十八禁国产超污无遮挡网站| 99在线人妻在线中文字幕| 99精品在免费线老司机午夜| 色哟哟·www| 麻豆一二三区av精品| 91久久精品国产一区二区三区| 久久久久久久久中文| or卡值多少钱| 久久精品国产亚洲av涩爱 | 人妻久久中文字幕网| 色噜噜av男人的天堂激情| 欧美成人免费av一区二区三区| 3wmmmm亚洲av在线观看| 久久精品国产鲁丝片午夜精品| 99热网站在线观看| 午夜精品一区二区三区免费看| 国产精品一区二区三区四区久久| 99久久精品一区二区三区| 亚洲精品国产成人久久av| 久久久欧美国产精品| 露出奶头的视频| 国产精品不卡视频一区二区| 两个人视频免费观看高清| 人妻制服诱惑在线中文字幕| 一个人观看的视频www高清免费观看| 伦理电影大哥的女人| 久久韩国三级中文字幕| 你懂的网址亚洲精品在线观看 | 性插视频无遮挡在线免费观看| 国产高清不卡午夜福利| 亚洲欧美日韩高清专用| 日韩一本色道免费dvd| 在线免费观看不下载黄p国产| 自拍偷自拍亚洲精品老妇| 一级av片app| 日本色播在线视频| 亚洲国产精品国产精品| 欧美精品国产亚洲| 小蜜桃在线观看免费完整版高清| 午夜亚洲福利在线播放| .国产精品久久| 美女cb高潮喷水在线观看| 人妻夜夜爽99麻豆av| 欧美xxxx性猛交bbbb| 亚洲精品一区av在线观看| 成人二区视频| 国产蜜桃级精品一区二区三区| 久久久a久久爽久久v久久| 国产高清视频在线观看网站| 18+在线观看网站| 99九九线精品视频在线观看视频| 婷婷亚洲欧美| 最近手机中文字幕大全| 天天躁夜夜躁狠狠久久av| a级毛色黄片| av国产免费在线观看| 免费黄网站久久成人精品| 99久久中文字幕三级久久日本| 国产色婷婷99| 乱人视频在线观看| 成年版毛片免费区| 国产亚洲av嫩草精品影院| ponron亚洲| 桃色一区二区三区在线观看| 久久亚洲精品不卡| 精品久久久久久久久久免费视频| 淫秽高清视频在线观看| 黄色一级大片看看| 国产成人影院久久av| av在线蜜桃| 免费在线观看成人毛片| 最新中文字幕久久久久| 久久人妻av系列| 国产一区二区亚洲精品在线观看| 国产探花极品一区二区| 一级毛片我不卡| 成人av一区二区三区在线看| 干丝袜人妻中文字幕| 色噜噜av男人的天堂激情| 欧美另类亚洲清纯唯美| 黑人高潮一二区| 国产av麻豆久久久久久久| 偷拍熟女少妇极品色| 免费无遮挡裸体视频| 禁无遮挡网站| av在线观看视频网站免费| 中文字幕免费在线视频6| 99热只有精品国产| 亚洲精华国产精华液的使用体验 | 特大巨黑吊av在线直播| 国产精品一及| 国产探花在线观看一区二区| 欧美精品国产亚洲| 久久久精品大字幕| 成人漫画全彩无遮挡| 国产成人freesex在线 | 人妻制服诱惑在线中文字幕| 久久久久国内视频| 亚洲激情五月婷婷啪啪| 欧美另类亚洲清纯唯美| 久久人人爽人人爽人人片va| 国产精品亚洲美女久久久| 亚洲婷婷狠狠爱综合网| 久久热精品热| 校园春色视频在线观看| 亚洲熟妇中文字幕五十中出| 联通29元200g的流量卡| 长腿黑丝高跟| 亚洲丝袜综合中文字幕| 深夜精品福利| 级片在线观看| 搡女人真爽免费视频火全软件 | 欧美激情国产日韩精品一区| 黄色视频,在线免费观看| 18+在线观看网站| 在线观看66精品国产| 男女之事视频高清在线观看| 成人永久免费在线观看视频| 俄罗斯特黄特色一大片| 日韩在线高清观看一区二区三区| 亚洲精品国产成人久久av| 亚洲中文日韩欧美视频| 亚洲内射少妇av| 可以在线观看毛片的网站| 国产一区二区在线av高清观看| 欧美潮喷喷水| 国产一区二区在线av高清观看| 天堂av国产一区二区熟女人妻| 久久人人爽人人爽人人片va| 国内精品久久久久精免费| 白带黄色成豆腐渣| 亚洲自偷自拍三级| 日日摸夜夜添夜夜添小说| 亚洲美女视频黄频| 亚洲精品乱码久久久v下载方式| 久久欧美精品欧美久久欧美| 色视频www国产| av国产免费在线观看| 亚洲人成网站在线播| 热99在线观看视频| 精品日产1卡2卡| av中文乱码字幕在线| 成人鲁丝片一二三区免费| 国产真实伦视频高清在线观看| 特大巨黑吊av在线直播| 黄片wwwwww| 久久久久精品国产欧美久久久| 亚洲av美国av| 亚洲三级黄色毛片| 欧美一区二区国产精品久久精品| 尾随美女入室| 91久久精品国产一区二区成人| 真人做人爱边吃奶动态| 国产精品女同一区二区软件| 成人高潮视频无遮挡免费网站| 欧美成人a在线观看| 黄色日韩在线| 一边摸一边抽搐一进一小说| 国产精品亚洲一级av第二区| 久久九九热精品免费| 国产精品久久久久久久电影| 99riav亚洲国产免费| 免费观看在线日韩| 久久久国产成人免费| 大型黄色视频在线免费观看| 99热全是精品| 精品人妻视频免费看| 欧美另类亚洲清纯唯美| 国产精品久久久久久精品电影| 最近最新中文字幕大全电影3| 精品午夜福利在线看| 成人综合一区亚洲| 女生性感内裤真人,穿戴方法视频| 日日摸夜夜添夜夜添小说| 国产一区二区三区在线臀色熟女| 国产精品亚洲美女久久久| av在线播放精品| 欧美最新免费一区二区三区| 久久久久九九精品影院| 午夜福利在线观看免费完整高清在 | 男女视频在线观看网站免费| 国产熟女欧美一区二区| 国产真实乱freesex| 亚洲国产精品sss在线观看| 亚洲三级黄色毛片| 免费搜索国产男女视频| 久久欧美精品欧美久久欧美| 国产又黄又爽又无遮挡在线| 国产黄色小视频在线观看| 免费在线观看影片大全网站| 免费黄网站久久成人精品| 淫秽高清视频在线观看| 亚洲中文字幕日韩| 国产v大片淫在线免费观看| 床上黄色一级片| 国产精品1区2区在线观看.| 国产日本99.免费观看| 亚洲av美国av| 国产毛片a区久久久久| 三级毛片av免费| 免费电影在线观看免费观看| 亚洲,欧美,日韩| 99在线视频只有这里精品首页| 日韩精品有码人妻一区| 久久久欧美国产精品| 春色校园在线视频观看| 精华霜和精华液先用哪个| 大又大粗又爽又黄少妇毛片口| 久久韩国三级中文字幕| 日本五十路高清| 久久久精品大字幕| 夜夜爽天天搞| 人人妻人人澡欧美一区二区| 欧美一级a爱片免费观看看| 色播亚洲综合网| av中文乱码字幕在线| 亚洲在线观看片| 毛片一级片免费看久久久久| 人人妻人人澡欧美一区二区| 亚洲三级黄色毛片| 性插视频无遮挡在线免费观看| 亚洲精品一区av在线观看| 精品久久久噜噜| 欧美成人a在线观看| 亚洲美女黄片视频| 一级毛片aaaaaa免费看小| 成人无遮挡网站| 亚洲国产精品sss在线观看| 免费一级毛片在线播放高清视频| 18禁裸乳无遮挡免费网站照片| 搡老岳熟女国产| 久久久欧美国产精品| 亚洲av免费高清在线观看| 久久亚洲精品不卡| 国产成人一区二区在线| 人妻少妇偷人精品九色| 免费电影在线观看免费观看| 又黄又爽又免费观看的视频| aaaaa片日本免费| 天堂动漫精品| 波野结衣二区三区在线|