• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于自動修補策略的網絡剪枝

    2022-02-17 05:59:20蘇啟航錢燁強王春香
    模式識別與人工智能 2022年1期
    關鍵詞:每層剪枝變異

    蘇啟航 錢燁強 袁 偉 楊 明 王春香

    深度神經網絡(Deep Neural Network, DNN)已廣泛應用于計算機視覺任務中,如圖像分類[1]、目標檢測[2]、語義分割[3]等.但是,DNN計算資源需求較大、功耗較高,導致其在智能駕駛系統(tǒng)、移動設備處理等場景中應用受限.為了減少內存占用和加快推理時間,研究者們提出許多壓縮策略,主要分為權值量化[4]、知識蒸餾[5]、低秩分解[6]、剪枝[7].

    剪枝作為一種加速預訓練較大模型的方法,可進一步分為非結構化剪枝[8]和結構化剪枝[9].結構化剪枝可簡化為2個問題:1)如何判斷是否應該剪去一個指定的卷積核;2)確定每層中應該剪去多少個卷積核.現(xiàn)有的剪枝方法試圖最大限度地壓縮網絡而不造成太大的精度損失,大多數(shù)遵循相同流程:訓練、剪枝、微調.

    對于問題1),通常使用人工規(guī)則選擇不重要的卷積核并將其剪去,剪枝過程方便快捷.一個典型的剪枝思想是:如果網絡中某個對象的值足夠小,就可對其進行剪枝.這里的對象可是卷積核的L1范數(shù)[10]、批量歸一化層(Batch Normalization, BN)的比例因子[7]、輸出特征圖的重構誤差[11]、網絡掩膜的值[12-13]、下一層輸出特征圖的變化[14]等.同時,也有一些關于“越小越不重要”思想的正確性討論[15-16].另一個思想是刪減冗余的卷積核.冗余卷積核中包含的信息或知識可被其它卷積核替代.例如,一層中兩個權重完全相同的卷積核可被認為是冗余的.在此基礎上,Ding等[17]研究卷積核之間的相似性評價方法.更進一步,He等[15]利用幾何中值選擇冗余卷積核,Lin等[18]將低秩特征圖定義為冗余通道.實際上,不論“小”思想和“冗余”思想,都是一種選擇網絡保留參數(shù)的策略.

    對于問題2),其目標等價于尋找最佳剪枝網絡子結構.最簡單的方法是使用預定義的剪枝率,直接確定每層中應剪去多少個卷積核[11,14-15,18-19].常用方法是以相同比率修剪每層.然而,剪枝得到的網絡可能不是最佳的子結構.方法2)是使用迭代剪枝[10]逐層確定最優(yōu)剪枝率.這種策略通常耗時較長,并未充分研究外層間的剪枝順序.方法3)是使用全局閾值[7,20],可自動確定每層中剪去的卷積核數(shù)量.該策略的問題是全局閾值對每層是否公平.方法4)是給網絡添加一個附屬掩膜[12-13],通過掩膜值確定待剪的卷積核.在訓練時,這些掩膜通常與網絡參數(shù)一起學習.Lin等[12]交替更新掩膜和網絡參數(shù),獲得近似解.Huang等[13]利用正則化方法,使掩膜的某些值趨于0.然而,這種策略存在掩膜參數(shù)和網絡參數(shù)數(shù)量不平衡的問題.方法5)是使用網絡架構搜索[9,21].受Liu等[22]工作的影響,減少剪枝任務與神經架構搜索(Neural Architecture Search, NAS)任務之間的差異.利用基于遺傳算法[23]和強化學習[24]的搜索策略,NAS可更公平地確定每層的通道數(shù).Liu等[21]通過元學習為剪枝子網絡分配權重,通過遺傳算法進行搜索.Lin等[9]使用人工蜂群算法尋找最優(yōu)的剪枝結構.

    為了解決結構化剪枝的問題,本文提出基于自動修補策略的網絡剪枝(Network Pruning via Auto-matic Mending Strategy, PAM).不同于傳統(tǒng)的三階段網絡剪枝流程,本文方法在剪枝后增加一個修補階段,即流程包括訓練、預剪枝、修補、微調.對于預先訓練好的模型,以相同的剪枝率對每層進行剪枝,稱為預剪枝階段.該階段用于判斷不同卷積核的重要性,主要解決問題1).然而,在給定的剪枝率下,預剪枝模型通常不是最優(yōu)結構.因此,在保持整體剪枝率不變的前提下,在預剪枝網絡的每層添加或刪除卷積核,稱為修補階段.這個階段用于尋找最佳剪枝結構,主要解決問題2).此外本文還研究預訓練較大模型中權重的價值.實驗表明,使用這些權重可使性能估計策略更快、更可靠.

    1 基于自動修補策略的網絡剪枝

    1.1 符號和說明

    1.2. 預剪枝

    (1)

    卷積核相似性度量常和聚類算法一起用于剪枝[17].一般來說,簇的數(shù)目等于保留卷積核的總數(shù),并且每簇中只保留一個卷積核.與此不同的是,本文使用式(1)和凝聚聚類算法對每層中的卷積核進行重要性排序.卷積核的排序不僅可在預剪枝階段作為剪枝標準,還對修補階段的設計起到重要作用.

    在某一卷積層實現(xiàn)聚類算法時,在同簇內可認為模長最大的卷積核最重要[10,17],因此令每個簇中模長最大的卷積核作為簇的聚類中心,此外,聚合一層的卷積核直到只形成唯一一個簇,并記錄聚類過程.若卷積核或簇越早聚合,則簇的聚類中心卷積核越不重要,以此得到各層卷積核的重要性排序.以一層有A、B、C、D四個卷積核為例,初始集合

    I=[[A],[B],[C],[D]],

    首先劃分為4個簇,每個卷積核作為本簇的聚類中心.2個簇的距離等于聚類中心間的距離,2個聚類中心(2個卷積核)的距離按照式(1)計算.計算距離最近的2個簇,假設[A]、[B]之間距離最小且A的模長大于B,則A和B聚合成一個簇,

    I=[[A,B],[C],[D]],

    A為新簇的聚類中心,B放入排序隊列中.然后,假設簇[A,B]、[C]的距離最小,C的模長大于A,則

    I=[[C,A,B],[D]],

    C為新簇的聚類中心,A放入排序隊列中.最后聚合僅剩2個簇,假設C的模長大于D,則C為最終的簇的聚類中心,D放入排序隊列中.最終得到的卷積核重要性排序為B

    1.3 修補

    在修補階段,本文使用NAS調整預剪枝模型中每層的卷積核數(shù)量,并保持網絡的卷積核總數(shù)不變,即本文的目標是在保持剪枝率不變的條件下得到一個更好的剪枝結構.這里的剪枝率為被剪的數(shù)量除以總數(shù).由于不同層中卷積核的大小可能不同,導致不同子網絡在剪枝率相同的情況下依然可能具有不同的浮點運算次數(shù)(Floating-Point Operations per Second, FLOPs).

    NAS設計的要素一般包括搜索空間、搜索策略和性能估計策略[25].搜索策略在搜索空間中發(fā)現(xiàn)一個新的結構,并利用性能估計策略對結構進行評估.

    本文采用基于遺傳算法的NAS進行搜索,將剪枝子網絡結構編碼為基因.具體地,將預剪枝的網絡結構編碼為0號基因:

    G0=[0,0,…,0],len(G0)=L.

    基因G0給變異操作提供一個初始基因,性能也可作為參考基線.顯然,如果想給第l層增加2個卷積核,則只需將G0,l從0更改為2,其中G0,l表示G0的第l個值.

    值得注意的是:1)網絡的編碼基因只能代表一個子網絡的結構,即只能得到每層中卷積核的數(shù)量,而不能得到權重.2)不同剪枝率下的G0是相同的.只有同時根據(jù)預剪枝結構和基因,才能得到目標結構.

    圖1為修補階段使用基因和預剪枝結構解碼出目標結構的一個例子.修補階段的任務是尋找最佳基因,以獲得最優(yōu)的精剪枝結構.

    圖1 修補預剪枝網絡示意圖Fig.1 Sketch map of mending pre-pruned network

    在NAS領域,利用遺傳算法尋找最優(yōu)結構[23,26].變異操作是促進種群適應度不斷提高的重要操作.然而,在本文的搜索空間中使用變異操作會存在一個問題:典型的變異只發(fā)生在基因的一個位置,無論增加或減少卷積核的數(shù)量,都會引起整體剪枝率的變化.因此,本文設計新的變異方法,稱為成對變異.“對”意味著選擇一對位置同時變異,并產生一對后代.

    以基因Gk進行成對變異操作為例:首先選擇2個互不相同的隨機變異位點i、j,1≤i≤L,1≤j≤L.然后,根據(jù)一個給定的變異尺度S,使父代基因產生2個子代基因,即

    Gchild1=[…,Gk,i+S,…,Gk,j-S,…],

    Gchild2=[…,Gk,i-S,…,Gk,j+S,…].

    成對變異操作的示意圖如圖2所示,S表示增加或減少的卷積核數(shù)量.最后,根據(jù)性能評估策略計算2個基因的適合度,將較好的一個基因加入群體中,直接丟棄另一個表現(xiàn)較差的基因.以這種變異方式,一個基因向量中所有值的和可始終保持為0,即整體剪枝率保持不變.此外,作為一種直觀的設計,如果第i、j層中的一層需要更多的卷積核以提高子網絡的性能,并且減少另一層的卷積核數(shù)量,不會造成更多的性能損失,在兩個子代中將會有一個具有更好的性能.

    圖2 成對變異操作的示意圖Fig.2 Sketch map of pair-mutation operation

    本文采用錦標賽選擇法對當前種群進行采樣.在每個周期中,刪除群體中最老的基因[26].這種刪除策略在NAS領域被證明可防止高適應度基因永遠留在群體中,從而產生大量后代.此外,本文采用逐步變小的變異尺度S實現(xiàn)從粗到精的搜索.特別地,如果變異操作導致第l層中的卷積核數(shù)量超過[1,Nl]的限制范圍,則限制此次循環(huán)中使用的變異尺度,使卷積核數(shù)量控制在合法范圍內.具體地:如果變異操作得到的結果小于1,將該層的卷積核數(shù)量置為1;如果結果大于Nl,將該層的卷積核數(shù)量置為Nl.

    本文還為搜索策略設計一個可選步驟——交叉操作.上述成對變異操作可在保持剪枝率不變的前提下快速提高種群適應度,但本文還希望能尋找剪枝率更高但性能更優(yōu)的子網絡,稱為幸運子網絡.此目標類似于Chin等[20]的目標,旨在生成一組具有不同精度和延遲權衡的子網絡.在本文的網絡編碼模式中,更高的剪枝率意味著基因向量所有值的和小于0.具體地,在候選基因中選擇2個不同的基因作為父代基因,隨機選擇一個位置交叉的2個基因,產生2個子代Gchild3和Gchild4.若2個父代基因向量的所有值的和都是0,不妨假設2個子代基因

    sum(Gchild3)≤sum(Gchild4),

    則一定可推導出

    sum(Gchild3)≤0,sum(Gchild4)≥0.

    本文直接丟棄Gchild4,計算Gchild3的適應度,并放入種群中.在特殊情況下,如果將交叉操作產生的基因用作父代基因,則可能導致sum(Gchild3)和sum(Gchild4)同時小于0.假設

    sum(Gchild3)>sum(Gchild4),

    則直接舍棄Gchild4,保留和設定剪枝率更接近的子代,確保交叉操作只需要計算一個子代的適合度.

    性能評估策略用于計算基因的適應度.評估網絡結構性能的一種簡單方法是從頭開始訓練網絡,并在驗證集上評估準確率,但耗時較大.因此,NAS領域中已研究一些加速估計策略[27],或稱為代理度量,只需計算不同結構的相對性能,即可對比好壞.Zhou等[28]綜合不同的加速方法,設計不同的代理度量,并通過基于網絡性能排名計算的Spearman系數(shù)評價不同代理度量的優(yōu)劣.

    本文的代理度量包括:1)只使用少量的訓練輪數(shù)微調子網絡以計算它們的適合度,但會引入評估偏差.2)利用預剪枝階段的卷積核排序快速初始化新結構.使用卷積核排序對保留的卷積核進行初始化相當于剪枝操作,即保留排序中重要的卷積核,刪掉不重要的結構.本文通過實驗證實這種初始化方法可減少評估偏差,提高評估策略的穩(wěn)定性.對于由基因產生的目標結構,可將其看作是對原大網絡進行剪枝得到的子結構,不同于預剪枝的操作,每層卷積核的數(shù)量不再由剪枝率決定,而由基因決定.

    最終本文方法框圖如圖3所示.

    圖3 本文方法框圖Fig.3 Flow chart of the proposed method

    2 實驗及結果分析

    2.1 實驗設置

    為了驗證本文方法(PAM)的有效性,在CIFAR-10[29]、CUB-200[30]數(shù)據(jù)集上進行對比實驗.本文研究剪枝算法在卷積神經網絡(Convolutional Neural Network, CNN)上的性能,包括單分支網絡(V-GG)[1]和殘差網絡(Residual Network, ResNet)[31].

    本文選擇如下對比方法:Slim(Network Slim-ming)[7],Soft(Soft Pruning)[19],FPGM(Filter Pru-ning via Geometric Median)[15],HRank(High-Rank Feature)[18].Slim使用BN層比例因子和一個全局閾值.在高壓縮比的情況下,這種剪枝策略有可能剪掉一層中所有卷積核,導致網絡無法正確推理.在此次實驗中,保證剪枝后網絡的每層至少保留一個卷積核.Soft和FPGM在每層都使用相同的剪枝率.HRank使用特征圖的秩判斷卷積核的重要性,在每層中使用一個預定義但各層不同的剪枝率.本文控制不同剪枝方法的壓縮情況(參數(shù)量和FLOPs)彼此之間相差不至過大,實現(xiàn)更公平的對比.

    本文采用動量為0.9、權重衰減為0.000 1的隨機梯度下降法(Stochastic Gradient Descent, SGD)[32]作為優(yōu)化器.在修補階段,設置種群大小為50,候選集大小為15,迭代次數(shù)為200.此外,初始變異尺度為16,變異尺度在第80輪調整為8,在第160輪調整為4.在計算基因適合度時,將代理度量的微調輪數(shù)設置為5.在最后的微調階段,訓練160輪.在種群演化的每輪中,首先進行成對變異操作,種群增加一個由變異得到的子代基因,刪除最老的一個基因.再執(zhí)行交叉操作,種群增加一個由交叉得到的子代基因,刪除最老的一個基因.

    2.2 實驗結果對比

    對于VGG網絡,使用深度為19的結構,基礎剪枝率為90%.除了Soft和FPGM以外,其它方法得到的網絡結構各不相同.因此,剪枝模型的FLOPs和參數(shù)量存在差異.在CIFAR-10數(shù)據(jù)集上,各方法在VGG19網絡上的剪枝結果如表1所示,表中baseline表示原始的預訓練模型.由表可知,PAM得到的網絡具有最高的精度、最少的FLOPs和最少的參數(shù)量.

    表1 各方法在VGG19網絡上的剪枝結果Table 1 Pruning results of different methods in VGG19 network

    為了更清晰地展示預剪枝和修補的作用,各階段模型的準確率如下:預訓練模型為93.76%,預剪枝模型為56.89%,精剪枝模型為85.96%,輸出模型為92.02%.PAM得到的剪枝網絡各層的剪枝情況如圖4所示.由圖可看出,網絡輸入端和輸出端卷積層的剪枝率存在較大差異,VGG19是一個不同層卷積核冗余度差異較大的網絡.實驗證實PAM對其搜索最佳剪枝結構的有效性.

    圖4 VGG19網絡各層的剪枝率Fig.4 Pruning rate of each layer in VGG19 network

    在實驗中,ResNet網絡的深度為18,基礎剪枝率為90%.因為在殘差塊的輸出部分有一個加法運算,所以必須保持輸入輸出通道的對應關系.如同大多數(shù)剪枝策略,PAM不剪枝殘差塊最后的卷積層和跨連分支.在CIFAR-10數(shù)據(jù)集上,各方法在ResNet-18網絡上的剪枝結果如表2所示.由表可見,PAM的綜合性能最好.

    表2 各方法在ResNet18在網絡上的剪枝結果Table 2 Pruning results of different methods in ResNet18 network

    ResNet網絡各層的剪枝情況如圖5所示,圖中只展示可剪的卷積層.從網絡不同層的剪枝率差異可看出,ResNet18各層的冗余度差異小于VGG19,這可能是因為殘差結構具有恢復剪枝造成的信息丟失的能力.

    圖5 ResNet18網絡各層的剪枝率Fig.5 Pruning rate of each layer in ResNet18 network

    對VGG19、ResNet18網絡通過交叉操作可獲得“幸運子網絡”的結果.在搜索過程中增加交叉操作,可得到許多不同剪枝率的剪枝子網絡.本文選擇幾種不同的剪枝率,并給出在每個選定的剪枝率下的最佳剪枝網絡.結果見表3和表4.正如假設可見,在搜索過程中有一些幸運的子網絡.例如,剪枝率為90.83%的ResNet18比基礎剪枝率為90.00%的ResNet18性能更優(yōu).

    表3 對VGG19進行交叉操作的結果Table 3 Crossover operation results of VGG19

    表4 對ResNet18進行交叉操作的結果Table 4 Crossover operation results of ResNet18

    此外,針對VGG19修補的種群,演化過程如圖6所示.圖中橫坐標是從初始化種群開始計數(shù)的基因數(shù)目,縱坐標是使用性能評估策略得到的基因適應度,水平虛線是0號基因,即預剪枝模型的適應度.由圖可見變異操作和交叉操作對修補VGG19預剪枝網絡的影響,上述操作使種群適應度逐步上升最后趨于收斂.

    圖6 修補階段的種群演化過程Fig.6 Evolutionary process of population in mending stage

    本文分析剪枝的ResNet18網絡在遷移學習中的性能.由于NAS技術資源消耗較大,在大數(shù)據(jù)集上搜索會耗時較多.所以一些工作[24,28]會將CIFAR-10數(shù)據(jù)集上搜索到的結構遷移到較大數(shù)據(jù)集上,如ImageNet、CUB-200數(shù)據(jù)集,以間接證實有效性.本文采取類似的實驗方法.針對已在CIFAR-10數(shù)據(jù)集上剪枝和微調的網絡,改變第一個卷積層和最后一個全連接層,其它部分不變.基線網絡(baseline)訓練160輪.使用相同的遷移學習超參數(shù)設置,PAM與baseline的剪枝結果如表5所示,PAM-TL表示PAM的遷移學習結果,PAM-scratch表示剪枝過的網絡從頭開始訓練,Top-1準確率(Top-1 Accuracy)指預測的最大概率類別與真實類別相同的樣本所占的比率.因為基線和剪枝模型的訓練計算量差異較大,本文參考文獻[22]的工作,對剪枝模型使用與baseline相同的計算量進行訓練,表示為PAM-TL-B.表5說明PAM的剪枝模型可較好地轉移到其它數(shù)據(jù)集.從PAM-TL-B的結果可知,當剪枝率較高時,最好使用更多的訓練輪數(shù),提高模型的準確率.

    表5 ResNet18剪枝網絡的遷移學習結果Table 5 Transfer learning results of pruned ResNet18 network

    2.3 代理度量分析

    本節(jié)討論剪枝后保留參數(shù)的價值,并說明本文性能估計策略的有效性.受Zhou等[28]的啟發(fā),本文使用Spearman系數(shù)評估代理度量.首先,隨機生成50個VGG19的剪枝子網結構(剪枝率均為90%),并進行充分訓練(在CIFAR-10數(shù)據(jù)集上訓練160輪),稱為原始設置.然后,對這50個子網絡結構,使用性能評估策略中的代理度量進行訓練微調,并將這個簡化的設置表示為“我們的代理度量”.為了對比,還使用隨機權值初始化子網絡,再進行訓練微調,即這些網絡結構不再使用保留參數(shù),將此簡化設置稱為“對比的代理度量”.最后,利用Spearman系數(shù)計算原始設置和每個簡化設置之間的相關性,結果如圖7所示,Spearman系數(shù)越高,說明代理度量越可靠.

    實驗表明,相比隨機初始化方法,本文的代理度量方法能更好地保持不同子網絡精度的排序.在剪枝算法中,保留權重的一般作用是加速剪枝后的微調過程.該實驗還說明保留權重的另一個作用,即當使用少量的訓練輪數(shù)評價不同子網的相對性能時,可提高評價的可靠性.

    從實驗結果可得出另一個結論:估計策略中使用的訓練輪數(shù)越多,可靠性越強.這對于調整搜索過程成本具有重要意義,可通過調整代理度量中使用的輪數(shù)控制整個算法的耗時.

    3 結 束 語

    本文結合人工規(guī)則和自動搜索方法,提出基于自動修補策略的網絡剪枝.在預剪枝階段,基于角度和范數(shù)信息,識別冗余的卷積核,并在預剪枝后設計基于神經架構搜索實現(xiàn)的修補階段.相比基于貪心思想的經典網絡剪枝算法,本文方法可求解更佳的網絡剪枝結構,獲得更高的網絡性能.同時,基于預剪枝結構的基因編碼策略及策略中的成對變異,結合預剪枝階段的先驗知識都可提高本文方法的搜索效率.實驗表明,本文方法能較好地剪枝分類任務的網絡.

    從算法的搜索和評估策略的角度分析,還可進一步改進本文方法.在修補階段種群演化的初期,得到的剪枝網絡之間性能差距較大,因此在評估策略中只需設置少量的訓練輪數(shù)就可區(qū)分不同剪枝網絡的優(yōu)劣.而在演化的后期,得到剪枝網絡之間性能差距較小,需要更多的訓練輪數(shù),可考慮在種群演化過程中動態(tài)調整評估策略使用的訓練輪數(shù),更合理地分配計算資源,提高搜索效率.此外,相比本文實驗部分的分類網絡,目標檢測、語義分割任務的網絡結構更復雜,需要進一步驗證剪枝算法的有效性.將本文方法應用于更多的視覺任務是下一步研究的重點.

    猜你喜歡
    每層剪枝變異
    人到晚年宜“剪枝”
    攀登腳手架
    基于YOLOv4-Tiny模型剪枝算法
    智取鉆石
    變異危機
    變異
    支部建設(2020年15期)2020-07-08 12:34:32
    每層球有多重
    剪枝
    天津詩人(2017年2期)2017-03-16 03:09:39
    變異的蚊子
    百科知識(2015年18期)2015-09-10 07:22:44
    一種面向不平衡數(shù)據(jù)分類的組合剪枝方法
    計算機工程(2014年6期)2014-02-28 01:26:33
    日韩精品青青久久久久久| 黄色毛片三级朝国网站| 亚洲自偷自拍图片 自拍| 午夜视频精品福利| 深夜精品福利| 在线观看免费日韩欧美大片| 成熟少妇高潮喷水视频| 国产av一区在线观看免费| netflix在线观看网站| 妹子高潮喷水视频| 国产精品免费一区二区三区在线| 一个人观看的视频www高清免费观看 | 长腿黑丝高跟| 国产亚洲av嫩草精品影院| 精品久久久久久成人av| 亚洲va日本ⅴa欧美va伊人久久| 99国产极品粉嫩在线观看| 亚洲精品美女久久久久99蜜臀| 亚洲精品久久国产高清桃花| 日本在线视频免费播放| 日本黄色视频三级网站网址| 精品乱码久久久久久99久播| 丝袜人妻中文字幕| 午夜免费鲁丝| 亚洲电影在线观看av| 免费av毛片视频| 人成视频在线观看免费观看| 免费久久久久久久精品成人欧美视频| 99国产精品一区二区三区| 最好的美女福利视频网| 亚洲av第一区精品v没综合| 国产亚洲欧美98| 亚洲av成人一区二区三| 亚洲成人精品中文字幕电影| 大型av网站在线播放| www国产在线视频色| 亚洲午夜理论影院| 91成人精品电影| 90打野战视频偷拍视频| 无人区码免费观看不卡| 亚洲专区字幕在线| 色在线成人网| 大型av网站在线播放| 老司机福利观看| 超碰成人久久| 美女午夜性视频免费| 久久人妻熟女aⅴ| av福利片在线| 9191精品国产免费久久| 国产精品久久久av美女十八| 老鸭窝网址在线观看| 99久久综合精品五月天人人| 在线观看66精品国产| 国产av一区二区精品久久| 啪啪无遮挡十八禁网站| 国产高清videossex| 九色亚洲精品在线播放| 岛国视频午夜一区免费看| 99riav亚洲国产免费| 亚洲国产精品久久男人天堂| 波多野结衣巨乳人妻| 一级毛片高清免费大全| 欧美性长视频在线观看| 亚洲一区中文字幕在线| 亚洲三区欧美一区| 黄片小视频在线播放| 嫁个100分男人电影在线观看| 天堂影院成人在线观看| 99久久久亚洲精品蜜臀av| 国产欧美日韩精品亚洲av| 麻豆国产av国片精品| 国产99久久九九免费精品| 老司机靠b影院| 变态另类丝袜制服| 国产区一区二久久| 欧美不卡视频在线免费观看 | 亚洲中文字幕日韩| 国产一区二区在线av高清观看| 欧美日韩一级在线毛片| 熟妇人妻久久中文字幕3abv| 日韩欧美一区二区三区在线观看| 欧美色视频一区免费| 看免费av毛片| 午夜影院日韩av| 欧美激情高清一区二区三区| 久久伊人香网站| 变态另类成人亚洲欧美熟女 | 成人精品一区二区免费| 亚洲第一av免费看| 一区二区三区精品91| 国产av一区在线观看免费| 成人18禁在线播放| 午夜成年电影在线免费观看| 欧美大码av| 精品高清国产在线一区| 久久久久国产精品人妻aⅴ院| av免费在线观看网站| 亚洲国产欧美日韩在线播放| 日本欧美视频一区| 亚洲熟妇中文字幕五十中出| 国产亚洲精品久久久久5区| 男人的好看免费观看在线视频 | 男女床上黄色一级片免费看| 亚洲七黄色美女视频| 男人操女人黄网站| 久久精品国产综合久久久| 涩涩av久久男人的天堂| 久久精品成人免费网站| 夜夜躁狠狠躁天天躁| 少妇粗大呻吟视频| 乱人伦中国视频| 黄色a级毛片大全视频| 国产成人免费无遮挡视频| 午夜日韩欧美国产| 亚洲精品中文字幕在线视频| 国产私拍福利视频在线观看| 久久久久久久久久久久大奶| 在线av久久热| 亚洲中文日韩欧美视频| 欧美成人午夜精品| 精品国产美女av久久久久小说| 电影成人av| svipshipincom国产片| 侵犯人妻中文字幕一二三四区| 午夜影院日韩av| 亚洲av电影在线进入| 无人区码免费观看不卡| 精品卡一卡二卡四卡免费| 亚洲电影在线观看av| 黑人巨大精品欧美一区二区蜜桃| 十八禁网站免费在线| 成人手机av| 中文字幕最新亚洲高清| 精品不卡国产一区二区三区| 日韩欧美一区视频在线观看| 免费看美女性在线毛片视频| 后天国语完整版免费观看| 正在播放国产对白刺激| 精品久久久久久久人妻蜜臀av | 精品人妻1区二区| 国产成人系列免费观看| 99在线人妻在线中文字幕| 日日干狠狠操夜夜爽| 国产亚洲av嫩草精品影院| 精品国内亚洲2022精品成人| 国产在线观看jvid| 99香蕉大伊视频| 亚洲av成人一区二区三| 欧美老熟妇乱子伦牲交| 99久久国产精品久久久| 少妇 在线观看| 天堂√8在线中文| 日韩一卡2卡3卡4卡2021年| 久久精品亚洲熟妇少妇任你| АⅤ资源中文在线天堂| 欧美黄色淫秽网站| av免费在线观看网站| 久久精品影院6| 两人在一起打扑克的视频| 成年版毛片免费区| 久久久国产精品麻豆| 成熟少妇高潮喷水视频| 18禁观看日本| 国产精品 国内视频| 精品一区二区三区av网在线观看| 美女大奶头视频| 免费看十八禁软件| 亚洲国产日韩欧美精品在线观看 | 亚洲七黄色美女视频| 狠狠狠狠99中文字幕| 欧美在线一区亚洲| 久久香蕉激情| 亚洲欧美激情综合另类| 亚洲自偷自拍图片 自拍| 国产免费av片在线观看野外av| 欧美色视频一区免费| 美国免费a级毛片| 日本 av在线| 一区在线观看完整版| 久久精品亚洲精品国产色婷小说| 亚洲熟妇中文字幕五十中出| 欧美另类亚洲清纯唯美| 一进一出抽搐gif免费好疼| 俄罗斯特黄特色一大片| 久久人妻av系列| 国产精品久久久久久亚洲av鲁大| 亚洲一码二码三码区别大吗| 成人精品一区二区免费| 日本 av在线| 免费在线观看黄色视频的| 超碰成人久久| 亚洲av日韩精品久久久久久密| 婷婷丁香在线五月| 此物有八面人人有两片| 成年人黄色毛片网站| 亚洲专区字幕在线| 中文字幕人妻丝袜一区二区| 欧美另类亚洲清纯唯美| 纯流量卡能插随身wifi吗| 亚洲av熟女| 久久人妻av系列| 国产野战对白在线观看| 别揉我奶头~嗯~啊~动态视频| 免费在线观看日本一区| 成人国产综合亚洲| 悠悠久久av| 免费在线观看完整版高清| 母亲3免费完整高清在线观看| 精品日产1卡2卡| 9191精品国产免费久久| 大型黄色视频在线免费观看| 免费在线观看完整版高清| 亚洲国产精品成人综合色| 亚洲av电影不卡..在线观看| 精品国产国语对白av| 精品国产亚洲在线| 欧美在线黄色| 久久中文字幕一级| 女人精品久久久久毛片| 午夜日韩欧美国产| 日日夜夜操网爽| 黄网站色视频无遮挡免费观看| 久久天堂一区二区三区四区| 一本久久中文字幕| 欧美国产日韩亚洲一区| 一本大道久久a久久精品| 免费看a级黄色片| 国产成人精品在线电影| 国产精品秋霞免费鲁丝片| 黄色a级毛片大全视频| 亚洲精品国产区一区二| 国产成年人精品一区二区| 禁无遮挡网站| 亚洲情色 制服丝袜| 久久香蕉精品热| 人人妻人人爽人人添夜夜欢视频| 一本久久中文字幕| 精品一区二区三区av网在线观看| 老司机靠b影院| 一二三四社区在线视频社区8| 操出白浆在线播放| 黄色毛片三级朝国网站| 国产男靠女视频免费网站| 国产成人精品无人区| 日日摸夜夜添夜夜添小说| 男女做爰动态图高潮gif福利片 | 不卡一级毛片| 久久人妻熟女aⅴ| 亚洲色图综合在线观看| 精品一品国产午夜福利视频| 国产精品秋霞免费鲁丝片| 亚洲三区欧美一区| 色精品久久人妻99蜜桃| 欧美日韩瑟瑟在线播放| 中文字幕另类日韩欧美亚洲嫩草| 亚洲国产欧美网| 欧美黄色片欧美黄色片| 欧美国产日韩亚洲一区| 午夜福利欧美成人| 在线av久久热| 人人妻人人澡欧美一区二区 | 咕卡用的链子| 久久精品国产清高在天天线| 久久久国产成人精品二区| 亚洲电影在线观看av| 最近最新中文字幕大全免费视频| 成人精品一区二区免费| 在线天堂中文资源库| 亚洲国产中文字幕在线视频| 色在线成人网| 亚洲成a人片在线一区二区| 不卡一级毛片| 国产色视频综合| 欧美日韩瑟瑟在线播放| 国产伦人伦偷精品视频| 亚洲 欧美一区二区三区| 国产精品香港三级国产av潘金莲| 十分钟在线观看高清视频www| 精品一区二区三区视频在线观看免费| 69av精品久久久久久| 国产亚洲精品综合一区在线观看 | 黄色女人牲交| 免费久久久久久久精品成人欧美视频| 国产真人三级小视频在线观看| 国产麻豆69| 精品一区二区三区视频在线观看免费| www.www免费av| 亚洲最大成人中文| 成人免费观看视频高清| 国产1区2区3区精品| 国产av一区二区精品久久| 中文字幕色久视频| 久久人人精品亚洲av| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲 欧美 日韩 在线 免费| 久久久久国内视频| 又紧又爽又黄一区二区| 啪啪无遮挡十八禁网站| 国产免费男女视频| 日韩欧美免费精品| 无限看片的www在线观看| 欧美久久黑人一区二区| 国产成人系列免费观看| 可以免费在线观看a视频的电影网站| 18禁观看日本| 操出白浆在线播放| 亚洲专区中文字幕在线| 一区在线观看完整版| 久久国产精品影院| 亚洲精华国产精华精| 亚洲国产精品合色在线| 搡老妇女老女人老熟妇| 国产亚洲精品av在线| 日韩三级视频一区二区三区| 啦啦啦观看免费观看视频高清 | 色综合婷婷激情| 美女高潮喷水抽搐中文字幕| 午夜久久久久精精品| 国产不卡一卡二| 少妇的丰满在线观看| 亚洲全国av大片| 成年人黄色毛片网站| 久久香蕉精品热| 久久天躁狠狠躁夜夜2o2o| 757午夜福利合集在线观看| 俄罗斯特黄特色一大片| 亚洲国产欧美网| av有码第一页| 夜夜躁狠狠躁天天躁| 宅男免费午夜| 亚洲天堂国产精品一区在线| 午夜免费观看网址| xxx96com| 黄片小视频在线播放| 高清在线国产一区| 国产91精品成人一区二区三区| 国产精品 欧美亚洲| 免费少妇av软件| 在线av久久热| 美女免费视频网站| 精品午夜福利视频在线观看一区| 日韩 欧美 亚洲 中文字幕| 首页视频小说图片口味搜索| 亚洲国产毛片av蜜桃av| 性欧美人与动物交配| 亚洲专区中文字幕在线| 电影成人av| 国产精品野战在线观看| 国产在线观看jvid| 久久久国产成人免费| 久久久久国产精品人妻aⅴ院| www.999成人在线观看| e午夜精品久久久久久久| 亚洲av成人不卡在线观看播放网| 日本vs欧美在线观看视频| 亚洲全国av大片| 免费在线观看黄色视频的| 99久久久亚洲精品蜜臀av| 好男人在线观看高清免费视频 | 欧美日本中文国产一区发布| 欧美最黄视频在线播放免费| 久久精品影院6| 怎么达到女性高潮| 国产精品日韩av在线免费观看 | 男女下面插进去视频免费观看| 在线十欧美十亚洲十日本专区| 性色av乱码一区二区三区2| 国产亚洲精品一区二区www| 亚洲狠狠婷婷综合久久图片| 一本综合久久免费| av视频在线观看入口| 欧美国产精品va在线观看不卡| 免费观看人在逋| 亚洲专区字幕在线| cao死你这个sao货| 黑人巨大精品欧美一区二区mp4| 欧美成人一区二区免费高清观看 | 国产极品粉嫩免费观看在线| 男人舔女人的私密视频| 老司机午夜十八禁免费视频| 亚洲国产精品sss在线观看| 国产精品亚洲av一区麻豆| 亚洲欧美日韩无卡精品| 婷婷丁香在线五月| av视频免费观看在线观看| 成人18禁在线播放| 午夜福利一区二区在线看| 精品一区二区三区四区五区乱码| 亚洲精品国产区一区二| 最近最新中文字幕大全免费视频| 亚洲av片天天在线观看| 日本精品一区二区三区蜜桃| 国产人伦9x9x在线观看| 一a级毛片在线观看| 99久久国产精品久久久| 999久久久精品免费观看国产| 久久精品91无色码中文字幕| 国产精品乱码一区二三区的特点 | 久久国产亚洲av麻豆专区| 男女床上黄色一级片免费看| 中文字幕最新亚洲高清| 午夜福利欧美成人| 女人被狂操c到高潮| 大型黄色视频在线免费观看| 在线观看免费日韩欧美大片| 少妇熟女aⅴ在线视频| 精品乱码久久久久久99久播| 老司机午夜福利在线观看视频| 午夜精品国产一区二区电影| 免费看十八禁软件| 91九色精品人成在线观看| 18禁国产床啪视频网站| 可以免费在线观看a视频的电影网站| 国产xxxxx性猛交| 国产亚洲欧美精品永久| 在线永久观看黄色视频| 久久青草综合色| 色综合站精品国产| 老司机深夜福利视频在线观看| 大型av网站在线播放| 一级黄色大片毛片| tocl精华| 精品人妻1区二区| 中出人妻视频一区二区| 国产欧美日韩一区二区三| 久久人人爽av亚洲精品天堂| 视频区欧美日本亚洲| 黑人操中国人逼视频| 日韩欧美免费精品| 亚洲精品一卡2卡三卡4卡5卡| 嫁个100分男人电影在线观看| 亚洲精品中文字幕在线视频| 国内精品久久久久久久电影| 国产真人三级小视频在线观看| 成人18禁在线播放| 天堂√8在线中文| 午夜日韩欧美国产| 亚洲精品中文字幕一二三四区| 欧美精品亚洲一区二区| 久久九九热精品免费| 每晚都被弄得嗷嗷叫到高潮| 国产区一区二久久| 国产成人免费无遮挡视频| 俄罗斯特黄特色一大片| 777久久人妻少妇嫩草av网站| 大香蕉久久成人网| 久久欧美精品欧美久久欧美| 欧美日韩亚洲国产一区二区在线观看| 在线免费观看的www视频| 怎么达到女性高潮| 丝袜美腿诱惑在线| 午夜激情av网站| 欧美乱妇无乱码| 自线自在国产av| 久久久久国产一级毛片高清牌| 国产蜜桃级精品一区二区三区| 国产成人系列免费观看| 操美女的视频在线观看| 精品人妻在线不人妻| 夜夜躁狠狠躁天天躁| 国产精品爽爽va在线观看网站 | 国产亚洲精品综合一区在线观看 | 一个人免费在线观看的高清视频| 在线十欧美十亚洲十日本专区| 一边摸一边抽搐一进一小说| 麻豆久久精品国产亚洲av| 非洲黑人性xxxx精品又粗又长| 波多野结衣高清无吗| 好男人在线观看高清免费视频 | 国产又爽黄色视频| 亚洲国产中文字幕在线视频| 男人舔女人下体高潮全视频| 人妻久久中文字幕网| 国产91精品成人一区二区三区| 脱女人内裤的视频| 性色av乱码一区二区三区2| 侵犯人妻中文字幕一二三四区| 午夜福利视频1000在线观看 | 亚洲avbb在线观看| 免费高清视频大片| netflix在线观看网站| 免费搜索国产男女视频| 老司机靠b影院| 欧美成狂野欧美在线观看| 老熟妇仑乱视频hdxx| 国产单亲对白刺激| 国产一卡二卡三卡精品| 精品卡一卡二卡四卡免费| 国产精品久久久久久人妻精品电影| 亚洲熟女毛片儿| 日本一区二区免费在线视频| 久久国产精品男人的天堂亚洲| 级片在线观看| 免费高清在线观看日韩| 国产精品免费视频内射| 亚洲人成电影免费在线| 天天躁夜夜躁狠狠躁躁| 国产成人欧美在线观看| 88av欧美| 女人爽到高潮嗷嗷叫在线视频| 最近最新免费中文字幕在线| 久久人人97超碰香蕉20202| 色综合欧美亚洲国产小说| 亚洲第一青青草原| 女人爽到高潮嗷嗷叫在线视频| 亚洲精品中文字幕一二三四区| 亚洲电影在线观看av| 操美女的视频在线观看| 1024香蕉在线观看| 91九色精品人成在线观看| 18美女黄网站色大片免费观看| 老汉色∧v一级毛片| 女人精品久久久久毛片| 亚洲第一青青草原| 香蕉久久夜色| 桃红色精品国产亚洲av| 久久人人精品亚洲av| av天堂久久9| 亚洲av电影在线进入| 黄色成人免费大全| 国产麻豆69| 少妇被粗大的猛进出69影院| 真人做人爱边吃奶动态| 国产精品久久久久久人妻精品电影| 99久久久亚洲精品蜜臀av| 亚洲第一欧美日韩一区二区三区| 欧美黑人欧美精品刺激| 两性午夜刺激爽爽歪歪视频在线观看 | 国产亚洲精品久久久久久毛片| 精品国产一区二区久久| 丰满的人妻完整版| 丝袜美足系列| 色精品久久人妻99蜜桃| 亚洲伊人色综图| 色尼玛亚洲综合影院| 亚洲无线在线观看| 国产精品98久久久久久宅男小说| 非洲黑人性xxxx精品又粗又长| av视频免费观看在线观看| 看黄色毛片网站| 麻豆av在线久日| 亚洲精品在线观看二区| 最新美女视频免费是黄的| 欧美日韩亚洲综合一区二区三区_| 少妇 在线观看| 极品人妻少妇av视频| 久久精品国产清高在天天线| av电影中文网址| 国产色视频综合| 搡老岳熟女国产| 欧美最黄视频在线播放免费| 夜夜爽天天搞| 亚洲精品在线观看二区| 久久国产精品人妻蜜桃| 日本免费a在线| 久久婷婷成人综合色麻豆| 精品日产1卡2卡| 国产精品九九99| 黄色成人免费大全| 97超级碰碰碰精品色视频在线观看| 国产精品,欧美在线| 韩国av一区二区三区四区| 禁无遮挡网站| 巨乳人妻的诱惑在线观看| 久久热在线av| 亚洲av第一区精品v没综合| 国产高清视频在线播放一区| 亚洲国产精品久久男人天堂| 天天添夜夜摸| 亚洲中文字幕一区二区三区有码在线看 | 亚洲国产欧美日韩在线播放| 免费久久久久久久精品成人欧美视频| 视频区欧美日本亚洲| 在线观看免费视频日本深夜| 欧美黄色淫秽网站| 国产一区二区三区综合在线观看| 国产乱人伦免费视频| 亚洲人成伊人成综合网2020| 亚洲av美国av| 久久精品亚洲熟妇少妇任你| 日本一区二区免费在线视频| 国产欧美日韩一区二区三| 无限看片的www在线观看| 欧美人与性动交α欧美精品济南到| 在线观看免费视频网站a站| 国产成人av激情在线播放| 黑丝袜美女国产一区| 午夜激情av网站| 欧美色视频一区免费| 涩涩av久久男人的天堂| 亚洲国产精品久久男人天堂| 亚洲av成人av| 国产成+人综合+亚洲专区| 1024视频免费在线观看| ponron亚洲| 国产97色在线日韩免费| 久久精品国产清高在天天线| 91老司机精品| 国产av精品麻豆| 亚洲欧美精品综合一区二区三区| 好男人在线观看高清免费视频 | 国产真人三级小视频在线观看| 亚洲欧洲精品一区二区精品久久久| 一进一出好大好爽视频| 制服人妻中文乱码| 国产午夜精品久久久久久| 又黄又粗又硬又大视频| 丝袜人妻中文字幕| 成人国产一区最新在线观看| 国内精品久久久久久久电影| av在线播放免费不卡| 亚洲欧洲精品一区二区精品久久久| 欧美日本中文国产一区发布| 免费在线观看视频国产中文字幕亚洲| 欧美成人一区二区免费高清观看 |