• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種超低損失的深度神經(jīng)網(wǎng)絡(luò)量化壓縮方法?

    2021-11-09 02:45:28代素蓉劉方鑫陳新偉
    軟件學報 2021年8期
    關(guān)鍵詞:二值正態(tài)分布權(quán)值

    龔 成 ,盧 冶 ,代素蓉 ,劉方鑫 ,陳新偉 ,李 濤,4

    1(南開大學 計算機學院,天津 300350)

    2(天津市網(wǎng)絡(luò)和數(shù)據(jù)安全技術(shù)重點實驗室(南開大學),天津 300350)

    3(工業(yè)機器人應(yīng)用福建省高校工程研究中心(閩江學院),福建 福州 350121)

    4(計算機體系結(jié)構(gòu)國家重點實驗室(中國科學院 計算技術(shù)研究所),北京 100190)

    隨著深度神經(jīng)網(wǎng)絡(luò)(DNN)在多個研究領(lǐng)域取得實質(zhì)性突破,邊緣智能場景下DNN 模型的應(yīng)用和部署,吸引了研究人員的廣泛關(guān)注.為了追求更高的推理精度,近年來,DNN 模型的計算規(guī)模變得愈加龐大、網(wǎng)絡(luò)結(jié)構(gòu)愈加復(fù)雜且不規(guī)則[12]、參數(shù)量巨大[3?13],其運行時需要強大的計算能力支持并且極其耗能[3].然而,邊緣智能設(shè)備的計算資源與存儲資源有限,并且對能耗及延遲具有嚴格的約束.因此,在資源受限的邊緣設(shè)備上部署龐大而復(fù)雜的DNN 模型極具挑戰(zhàn)[11].將DNN 模型進行壓縮,可以有效減少模型的復(fù)雜度,使DNN 模型得以應(yīng)用于邊緣智能計算場景.

    DNN 模型壓縮的主要目的是:在確保DNN 模型推理精度的前提下,消除冗余的模型參數(shù),減少中間結(jié)果并降低網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度,從而得到滿足精度要求的精簡模型.DNN 量化是DNN 模型壓縮的一種重要方法[14],它利用低位寬的參數(shù)來表示原始的全精度模型,顯著降低DNN 模型的計算復(fù)雜度和內(nèi)存占用,使得DNN 模型能夠直接在資源受限的邊緣設(shè)備上進行部署.當原始的模型被量化到極低的位寬時,模型壓縮效果尤為明顯[15?18].例如,二值神經(jīng)網(wǎng)絡(luò)BNN[15]和三值神經(jīng)網(wǎng)絡(luò)TWNs[16]可分別將32 位全精度模型的尺寸壓縮32 倍和16 倍.

    但是,現(xiàn)有的DNN 量化方法存在諸多問題,通常依賴于經(jīng)驗猜測和實驗嘗試[15?17,19],缺乏有效的理論支撐.具體表現(xiàn)如下:

    ?第一,現(xiàn)有量化方法難以在數(shù)據(jù)位寬和模型精度之間進行有效權(quán)衡.通過極少量的比特位表示DNN 模型,將導致模型精度明顯下降而失去應(yīng)用價值.例如,利用二值量化或三值量化的DNN 可以獲得極高的壓縮比,但在實際應(yīng)用中無法滿足精度要求[15?18,20];而保留較多數(shù)量的比特位[19,21],雖然能夠防止精度顯著下降,但量化后的DNN 模型仍然過于龐大,難以直接部署[22,23].

    ?第二,啟發(fā)式的參數(shù)選擇需要大量的人工嘗試,而現(xiàn)有的量化方法在將全精度模型數(shù)據(jù)轉(zhuǎn)換成低位寬數(shù)據(jù)之前,需要尋找恰當?shù)膮?shù)來限制中間結(jié)果數(shù)據(jù)的表示范圍.該步驟通常需要引入縮放參數(shù)[18],而現(xiàn)有的量化方法在確定縮放參數(shù)時,往往是啟發(fā)式的[17,22].

    ?第三,對權(quán)值數(shù)據(jù)分布的擬合程度會直接影響量化后的模型精度,而現(xiàn)有量化方法通常會忽視權(quán)值數(shù)據(jù)的分布規(guī)律.例如,Dorefa-Net[17]和FP[19]等工作由于量化后的權(quán)值不擬合原始的權(quán)值分布,從而導致精度顯著下降.盡管DNN 模型中各層數(shù)據(jù)的分布規(guī)律不同,但均可通過數(shù)學變換而近似滿足標準正態(tài)分布.本文例舉了4 種典型的DNN 模型的各層的權(quán)值數(shù)據(jù),如圖1 所示,其數(shù)據(jù)皆近似服從標準正態(tài)分布.量化方法的設(shè)計應(yīng)該充分利用權(quán)值數(shù)據(jù)分布規(guī)律,以有效提高DNN 模型量化后的精度.

    為了解決上述問題,本文提出一種超低損失的模型量化方法(ultra-low loss quantization,簡稱μL2Q).該方法在模型量化時充分考慮了原始權(quán)值數(shù)據(jù)的分布規(guī)律并進行了定量分析,并在確定縮放參數(shù)時有效地減少了人工實驗次數(shù),為模型量化提供了新的實現(xiàn)途徑.

    Fig.1 Distributions of layer weights of four DNN models圖1 4 種DNN 模型中各層的權(quán)值數(shù)據(jù)分布

    本文的主要貢獻包括3 點:

    ?提出了一種有效的超低損失量化方法,該方法可在給定位寬下,根據(jù)模型輸入數(shù)據(jù)的分布規(guī)律,通過求解解析式的極值來獲得最優(yōu)量化參數(shù)配置,有效降低數(shù)據(jù)量化損失,以保證量化后的DNN 模型推理精度;

    ?設(shè)計了最優(yōu)量化參數(shù)表,通過呈現(xiàn)各種位寬條件下的最低量化損失方案,為量化服從正態(tài)分布的權(quán)值數(shù)據(jù)提供了參考依據(jù),有效地減少了啟發(fā)式參數(shù)搜索的實驗次數(shù);

    ?實現(xiàn)了基于μL2Q 的DNN 模型訓練方法,將μL2Q 嵌入到主流機器學習框架(如Caffe,Keras)中進行推理精度的實驗驗證,以便捷的調(diào)用方式加速了DNN 模型量化的端到端設(shè)計與訓練流程.

    1 相關(guān)工作與研究動機

    首先,本節(jié)闡明了DNN 模型權(quán)值數(shù)據(jù)的分布規(guī)律;然后,總結(jié)現(xiàn)有典型的模型量化方法的特點;最后討論了本文的研究動機.為表達上簡潔明了,本文采用wf∈Rd表示權(quán)值向量,即全精度模型的權(quán)值數(shù)據(jù);采用wq∈Rd來表示經(jīng)過量化后的權(quán)值向量,其中,d代表權(quán)值數(shù)據(jù)的維度.

    1.1 DNN權(quán)值數(shù)據(jù)分布

    在DNN 研究領(lǐng)域的權(quán)威著作《Pattern recognition and machine learning》[24]和《Machine learning:A probabilistic perspective》[25]中,皆假設(shè)DNN 權(quán)值數(shù)據(jù)服從正態(tài)分布來進行相關(guān)研究.具體來講,對于任意給定的DNN 模型,設(shè)其輸入特征為X,分類結(jié)果為y,w為模型的權(quán)值,根據(jù)貝葉斯后驗概率理論[24,25],則有:

    其中,p(w|X,y)是在數(shù)據(jù)集{X,y}上計算得到w的最大后驗概率,p(X,y|w)是似然函數(shù),p(w)是w的先驗概率.假設(shè)w滿足正態(tài)分布,即p(wi)=N(wi|μ,σ2),則式(1)中的最大似然對數(shù)函數(shù)為

    1.2 典型量化方法

    現(xiàn)有的典型量化方法可歸納為3 種類型,即二值量化、三值量化和定點數(shù)量化.

    ?二值量化[15,17,18]

    該方法用1 個比特來代替原始的全精度浮點數(shù).經(jīng)典的二值量化方法如式(3)所示[18].

    ?三值量化

    受二值量化的啟發(fā),三值量化方法利用3 個值,即{?1,0,+1},并結(jié)合縮放參數(shù)[16,26,27]表示網(wǎng)絡(luò)模型,即

    其中縮放參數(shù)為

    ?定點數(shù)量化

    定點數(shù)量化由于實現(xiàn)過程較為簡單,因此成為最常用的量化方法[17,19,28].該方法的總體思路是,按一定的比特位數(shù)來保留數(shù)據(jù)中的整數(shù)部分和小數(shù)部分.將wf量化為k比特的數(shù)據(jù)wq可表示為

    其中,wf是待量化的輸入數(shù)據(jù);max(?)函數(shù)用來計算最大值;p代表需要進行移位的比特數(shù)量,計算p的作用在于有效防止數(shù)據(jù)溢出.定點數(shù)量化方法中,高比特位具有高優(yōu)先級,所以需要優(yōu)先保留|wf|中的最大值max(|wf|),由此計算相應(yīng)的p值,以確保最大的絕對值max(|wf|)的高位n=max{i:max(|wf|)>2i}不會被舍去而導致較大的舍入誤差.如式(6)所示,n可由log2(?)函數(shù)計算.R(?)代表舍入操作,即丟棄浮點數(shù)的小數(shù)部分.由于符號位占用1 比特,對wf應(yīng)用k比特的定點數(shù)量化方法,則需要保留從第n比特開始的連續(xù)k?1 個比特位,即從n?(k?2)至n位的總共k?1 個比特,并舍去其他比特位,因此定點數(shù)的總比特數(shù)量為k?1 個.

    1.3 研究動機

    從上文所述可知,以往的量化方法依賴人工選擇或經(jīng)驗猜測,需要通過反復(fù)實驗才能確定相關(guān)參數(shù),缺乏行之有效的理論分析和實踐指導,從而導致這些方法難以兼顧量化位寬和模型精度.如上文所述,二值量化和三值量化會導致模型精度急劇下降;而定點數(shù)量化雖在高位寬時表現(xiàn)良好,但針對低位寬量化時也會失效[17,19].這些方法忽視了權(quán)值數(shù)據(jù)的分布規(guī)律,缺乏對量化損失的準確評估.由此可見,僅靠減少數(shù)據(jù)位寬來進行模型量化將很難保證模型精度.對此,本文在模型量化時充分考慮權(quán)值數(shù)據(jù)的分布規(guī)律,并建立相應(yīng)的定量評估方法來衡量模型量化的損失;然后,結(jié)合對結(jié)果值的分析和擇優(yōu),通過不同數(shù)據(jù)位寬下的最優(yōu)量化結(jié)果來揭示數(shù)據(jù)位寬和量化損失之間的關(guān)系.

    此外,一些方法盡管能夠量化模型并得到較好的模型精度,但是量化后的權(quán)值由于是浮點數(shù)類型,所以難以加速計算過程.例如,文獻[29]所提出的權(quán)值共享并結(jié)合知識蒸餾的手段,在其利用k-means算法進行實現(xiàn)時,需要處理復(fù)雜的聚類迭代,而聚類中心是非均勻的浮點型數(shù)值,其計算過程仍然是典型的浮點數(shù)計算.需要說明的是:知識蒸餾方法雖與量化方法并不沖突,但是知識蒸餾往往需要更龐大的教師網(wǎng)絡(luò)進行指導,將極大增加訓練時間,因而許多量化工作并未主動使用知識蒸餾來提升模型量化的精度.為了與其他量化方法進行客觀公正的比較,本文暫不引入知識蒸餾來提升量化模型的精度.

    綜上所述,本文在模型量化時除了考慮數(shù)據(jù)分布對模型精度的影響外,還需兼顧量化后權(quán)值是否有利于模型的計算加速.即在量化過程中,本文充分考慮DNN 模型各層權(quán)值的數(shù)據(jù)分布規(guī)律,減少模型量化造成的精度損失,并采用均勻量化的方式,通過簡潔的舍入操作,將原始權(quán)值量化為間隔均勻的定點數(shù),來加速量化模型的乘法計算.

    2 μL2Q 量化設(shè)計

    本節(jié)闡述模型量化的精度損失評估方法.首先定義了量化損失,然后論述了μL2Q 量化思想的依據(jù),并據(jù)此提出基于權(quán)值數(shù)據(jù)分布分析的μL2Q 量化過程的形式化表達.

    2.1 損失評估

    經(jīng)過模型量化后的權(quán)值數(shù)據(jù)由wq表示,則量化的一般過程可由式(7)表示.

    其中,Quantize(?)是量化函數(shù),它將輸入數(shù)據(jù)wf∈Rd的空間映射到僅由有限的且間隔均勻的離散數(shù)據(jù)所構(gòu)成的數(shù)據(jù)空間.在式(7)中,n=2k,k是量化位寬.基于前人的研究工作[16,18,21,30],本文將量化損失定義為wf和wq的歐式距離的平方,即L2 距離:

    考慮到DNN 模型自身的復(fù)雜性和不確定性,本文使用距離J作為量化損失評估依據(jù)而非模型的最終推理精度,這樣能夠更為準確地反映量化方法所產(chǎn)生的直接結(jié)果.

    2.2 數(shù)據(jù)空間轉(zhuǎn)換

    對于給定的滿足正態(tài)分布的權(quán)值wf=N(μ,σ2),將其轉(zhuǎn)換成標準正態(tài)分布的過程可表示為

    μL2Q 的量化結(jié)合了數(shù)據(jù)標準正態(tài)分布的規(guī)律,則縮放參數(shù)α和偏移參數(shù)β可表示為

    其中,λ是量化參數(shù),通過λ將數(shù)據(jù)縮放到恰當范圍.則式(9)可轉(zhuǎn)換為

    由此,μL2Q 的量化思路可歸納為:利用μ和σ將一組服從或近似服從一般正態(tài)分布的數(shù)據(jù)轉(zhuǎn)換為服從標準正態(tài)分布的數(shù)據(jù),再利用λ將其縮放到恰當?shù)慕o定范圍,最后通過截斷和舍入操作將其映射到整數(shù)值空間.

    2.3 量化過程

    μL2Q 量化思路的關(guān)鍵環(huán)節(jié)是將滿足標準正態(tài)分布的權(quán)值分割為等寬的量化區(qū)域,即均勻的量化間隔.實際上,第2.2 節(jié)中的λ即可表示量化區(qū)域的分割寬度,即量化間隔.如圖2 所示,量化過程是:首先,假設(shè)量化目標的位寬是k,式(9)中的φ空間被分割成寬度為λ的2k個量化區(qū)域;然后將每個量化區(qū)域中所有的權(quán)值替換為該區(qū)域中的某個最優(yōu)值.經(jīng)過標準正態(tài)分布的數(shù)據(jù)空間轉(zhuǎn)換之后,μL2Q 的量化過程可總結(jié)為以下3 個步驟.

    (1) 如圖2(a)所示,將原始全精度浮點數(shù)據(jù)wf量化為k個比特位所表示的離散數(shù)據(jù)wq,即被量化為n=2k個數(shù).φ被分割為n個區(qū)域{R1,R2,…,Rn},Ri和Ri+1區(qū)域的分割邊界為si.為了方便表示,令s0=?∞,sn=+∞,S表示分割邊界的集合:S={s0,s1,…,sn}.

    (2) 對于每個量化區(qū)域Ri(i=1,2,…,n),在其中搜索最優(yōu)的量化值qi.qi的計算方法將在第3 節(jié)具體闡述.

    (3) 利用所選取的最優(yōu)量化值qi來代替區(qū)域Ri中的所有值,最終得到量化后的數(shù)據(jù)空間,如圖2(b)所示.

    Fig.2 Quantization process of μL2Q圖2 μL2Q 的量化過程

    至此,DNN 模型的權(quán)值數(shù)據(jù)被量化成了n個值,可表示為Q={q1,q2,…,qn}.利用μL2Q 具有均勻的量化間隔λ的特征,即|q2?q1|=…=|qn?qn?1|=λ,可以進行相應(yīng)的求解.如前文所述,盡管可以通過復(fù)雜的精細化的非均勻劃分來得到較高的量化模型精度,但是這樣的設(shè)計思路難以在硬件上真正實現(xiàn),僅僅只能起到壓縮模型的效果,而本文采用均勻劃分的方式,能夠在壓縮率、模型精度和硬件計算加速上達到很好的平衡.

    二值、三值和定點數(shù)量化時往往需要特定的縮放參數(shù),但其縮放參數(shù)無法直接與量化損失建立關(guān)聯(lián).相比之下,μL2Q 所需的縮放參數(shù)和偏移參數(shù)與量化損失直接相關(guān),其關(guān)聯(lián)關(guān)系如式(12)所示.

    其中,C(?)是截斷操作,它有3 個參數(shù),若其第1 個參數(shù)的值超出由第2 個參數(shù)和第3 個參數(shù)所表示的范圍,即[?2k?1,2k?1,?1],則將第1 個參數(shù)轉(zhuǎn)換為離其最近的邊界值(?2k?1或2k?1?1).R(?)是舍入操作,其作用是舍棄浮點數(shù)的小數(shù)部分.偏移量1/2 的作用是可將縮放(1/λ倍)后的量化位置移動1/2 個區(qū)域,借此防止形成以0 為中心的對稱量化值,從而保證能夠獲得2k個有效的量化值,減少模型量化帶來的直接損失.值得注意的是:由于式(12)中使用舍入操作R(?)來實現(xiàn)量化,而R(?)是不可導的,所以式(12)不可導.這將導致在模型訓練時無法收斂,因此還需關(guān)注如何實現(xiàn)可導的量化過程,本文利用直通量估計來解決這一問題,具體步驟將在第3.3 節(jié)中闡釋.

    3 μL2Q 量化實現(xiàn)

    本節(jié)討論如何對量化參數(shù)λ進行最優(yōu)分析和最優(yōu)值計算,并結(jié)合算法偽代碼來闡述μL2Q 量化方法的實現(xiàn)步驟;最后,本節(jié)闡明將μL2Q 融合到典型DNN 框架Caffe 及Keras 來進行模型訓練的關(guān)鍵環(huán)節(jié).

    3.1 最優(yōu)值分析

    由第2.2 節(jié)可知,λ是μL2Q 量化方法中的關(guān)鍵參數(shù),與量化損失評估直接相關(guān).它將標準正態(tài)分布的數(shù)據(jù)縮放到恰當?shù)姆秶?以確保目標數(shù)據(jù)范圍能夠覆蓋指定位寬所表示的量化范圍[?2k?1+1/2,2k?1?1/2].如圖3 所示:當λ=2 時,數(shù)據(jù)只能被量化為4 個定點數(shù){?1.5,?0.5,0.5,1.5}.當k>2,將出現(xiàn)位寬空閑,未能表示有效數(shù)據(jù)的比特位將會造成位寬浪費.因此,需要更緊致的量化間隔,比如λ=1 或者λ=0.5.

    Fig.3 λ can scale the standard normal distribution to different ranges圖3 標準正態(tài)分布由λ放縮到不同范圍

    μL2Q 的量化值擇優(yōu)目標是獲得式(8)中量化損失為最小的值,可表示為

    其中,λ*是使得量化損失最小的縮放參數(shù)與窮舉求解的方法[31]不同,本文探索在已知的權(quán)值數(shù)據(jù)分布下,求解λ*的最優(yōu)解析解.量化損失可進一步表示為

    其中,d是φ的維度,si是分割邊界,qi是每個量化區(qū)域Ri中的量化值,p(t)=N(t;0,1).為了求解式(13),還需要定義式(14)中si和qi的具體值,它們只依賴于λ.

    其中,n=2k,k為量化位寬.

    至此,式(14)中的量化損失J只與參數(shù)λ相關(guān),并且分析可知,J是關(guān)于λ的可導凸函數(shù).因此,通過求解量化損失的極值即可得到量化損失的最小值.μL2Q 的量化損失J,在不同量化位寬k下關(guān)于λ的變化曲線如圖4 所示,紅色五角星代表相應(yīng)曲線的極值點.

    Fig.4 Curve of quantization loss J with different λ圖4 量化損失J 關(guān)于λ值的曲線

    由圖4 可知,在各種位寬條件下,J都存在最小值,即λ都存在最優(yōu)解.通過上述方法可計算1~8 比特位寬下的λ的最優(yōu)解,并能夠獲得相應(yīng)的最小量化損失,其結(jié)果見表1.

    Table 1 Optimal value of λ for different bit widths表1 不同位寬對應(yīng)的最佳λ值

    3.2 算法實現(xiàn)

    μL2Q 的實現(xiàn)流程如算法1 所示:首先,將滿足正態(tài)分布的輸入數(shù)據(jù)轉(zhuǎn)換為標準正態(tài)分布,其中,需要記錄偏移量β=μ和標準差σ;然后,基于該標準正態(tài)分布,分析和計算最優(yōu)參數(shù)λ的值,得到縮放參數(shù)α=λσ.

    3.3 模型訓練

    模型訓練的過程往往十分耗時,本文將μL2Q 量化方法融合進主流機器學習訓練框架如Caffe[32]和Keras[33]來加速模型量化的實現(xiàn)速度,借此來滿足廣泛的DNN 模型量化需求.具體來講,對于DNN 模型中的每一層l,在其前向傳播時,首先使用μL2Q 量化方法將wf(l)量化到wq(l),然后使用wq(l)計算每一層在前向傳播中的輸出,得到前向傳播的最終DNN 損失L(wq).在反向傳播時,由于式(12)和算法1 中的量化過程不可導,本文采用直通量估計(straight through estimation,簡稱STE)來實現(xiàn)μL2Q 量化.STE 在許多量化工作中[16,17,19]被廣泛應(yīng)用于可訓練的量化實現(xiàn),其將wq(l)對wf(l)的梯度設(shè)定為固定數(shù)值1,然后利用鏈式求導法則計算網(wǎng)絡(luò)損失L(wq)對wf的梯度,以此來進行量化模型的訓練.基于STE 和鏈式求導法則,可以計算L(wq)對wf的梯度如下:

    4 實驗評估

    本節(jié)從數(shù)據(jù)仿真實驗和真實的DNN 模型精度實驗兩個方面來評估μL2Q.其中,數(shù)據(jù)仿真用于對比現(xiàn)有的典型量化方法與μL2Q 的量化損失情況.DNN 模型精度實驗選取了圖像分類和顯著性物體檢測兩類真實應(yīng)用.在精度評估實驗中,本文將μL2Q 融合進DNN 訓練框架Caffe 和Keras 中,加速DNN 模型量化實現(xiàn),利用模型的實際推理精度來觀測μL2Q 的真實效果.除了權(quán)值量化的實現(xiàn),本文還在Keras 上實現(xiàn)了激活值量化,以驗證μL2Q 在激活值量化方面的性能.Caffe 框架和Keras 框架分別采用1.0.0 版本和2.2.4 版本.μL2Q 量化方法對于框架融合并無挑剔,從其實現(xiàn)過程和實驗結(jié)果上來講,使用Caffe 和Keras 框架,兩者并無顯著差異.

    μL2Q 和定點數(shù)量化可以實現(xiàn)任意位寬的數(shù)據(jù)量化,μL2Q-x和Fixed-x分別表示兩種方法在位寬為x時,數(shù)據(jù)仿真的量化效果.在DNN 模型精度評估中,μL2Q-x和Fixed-x表示將模型的權(quán)值數(shù)據(jù)(包括卷積層和全連接層的權(quán)值數(shù)據(jù))量化到x比特.

    4.1 數(shù)據(jù)仿真評估

    ?實驗設(shè)置

    首先,隨機生成滿足正態(tài)分布N(μ,σ2)的100 000 個數(shù)據(jù).分別考量條件參數(shù)的變化對量化損失所產(chǎn)生的影響:(1) 不同的量化位寬;(2) 滿足標準差σ=1.0 但均值μ不同的正態(tài)分布;(3) 滿足均值μ=0,但標準差σ不同的正態(tài)分布.圖5 展示了μL2Q 在仿真數(shù)據(jù)上的結(jié)果.

    Fig.5 Quantization losses for data with different means and standard deviations圖5 具有不同均值和標準差的數(shù)據(jù)的量化損失

    ?不同的量化位寬

    如圖5(a)所示,μL2Q 能在任何給定位寬下保證最低的量化損失.在二值量化時,量化后的數(shù)據(jù)僅占用1 比特,而μL2Q 能和文獻[18]保持相同的量化損失.三值量化的數(shù)據(jù)只占用2 比特,μL2Q 的量化損失比三值量化方法[16]的損失更低.這是因為三值量化的2 個比特只存儲了3 個值{?1,0,1},而μL2Q 使用2 比特存儲4 個值{?2,?1,0,1},能夠表示更多數(shù)據(jù)信息.由圖5(a)可知,μL2Q 的量化損失在任意位寬下都比定點數(shù)量化的結(jié)果要低.其原因是:定點量化沒有考慮數(shù)據(jù)分布規(guī)律,而僅僅針對數(shù)據(jù)本身進行了處理;而μL2Q 利用數(shù)據(jù)正態(tài)分布的特性,并將其貫穿于整個量化實現(xiàn)過程.

    ?不同均值和標準差

    如圖5(b)所示:當均值偏離原始位置時,二值量化和三值量化的損失都會增加.對于定點數(shù)量化,由于符號位的設(shè)置是不支持1 比特的量化,但仍把這個值放在圖中便于比較.由圖5(b)可知,定點數(shù)量化在位寬為2 時波動很大,但是在4 和8 位時表現(xiàn)穩(wěn)定.這是因為擁有足夠的比特數(shù)可以表示更多的數(shù)據(jù).而相比之下,μL2Q 的量化損失不隨均值的變化而變化.此外,μL2Q 的1 比特量化甚至可以達到定點數(shù)4 比特量化的效果.如圖5(c)所示:相同位寬下,μL2Q 在不同標準差下的量化損失仍要比其他方法要低.由此可知,不同均值和不同標準差條件下,μL2Q 量化方法與其他方法相比,性能表現(xiàn)最為穩(wěn)定.

    4.2 圖像分類實驗

    圖像分類任務(wù)能夠體現(xiàn)模型量化方法的性能,可用于評估μL2Q 的有效性和優(yōu)勢.實驗中,DNN 模型中所有卷積層和全連接層(包括第1 層和最后一層)的權(quán)值數(shù)據(jù)都被量化到相同的位寬.

    ?數(shù)據(jù)集與模型

    本文實驗選取代表性數(shù)據(jù)集MNIST[34]、Cifar10[35]和ImageNet[36],詳細信息見表2.選取幾種應(yīng)用廣泛的DNN 模型來進行量化效果的評估,包括應(yīng)用于MNIST 的模型Lenet-5[34]、應(yīng)用于Cifar-10 上的模型CifaNet[35],VGG-like[3]以及應(yīng)用在ImageNet 上的模型AlexNe[37],Resnet-18[4]和輕量級深度模型MobileNetV2[38].表3 中展示了實驗中用于評估的DNN 規(guī)模(參數(shù)量)和具體訓練參數(shù).

    Table 2 Dataset attributes表2 數(shù)據(jù)集信息

    Table 3 Model size and training parameter setting表3 模型規(guī)模及訓練參數(shù)

    為了與最新的方法進行公平對比,實驗時,對CifarNet 使用TWN[16]中應(yīng)用的數(shù)據(jù)增強方法,對ImageNet 使用Tensorflow 標準庫中使用的數(shù)據(jù)增強方法.本文基于Keras 框架進行權(quán)值量化和激活值量化等實驗,由于Caffe 自身難以實現(xiàn)復(fù)雜數(shù)據(jù)集的數(shù)據(jù)增強,所以本文僅在Caffe 上測試了LeNet5 的權(quán)值量化的結(jié)果.

    ?評估

    MNIST 和Cifar10 數(shù)據(jù)集由于分類較少,僅有10 個類別,因此只用Top1 的分類精度作為DNN 模型評估指標.ImageNet 數(shù)據(jù)集有1 000 個分類類別,因此可使用Top1 和Top5 的分類精度作為評估指標.

    ?權(quán)值量化

    不同于二值量化、三值量化等方法,μL2Q 支持靈活的量化位寬.實驗結(jié)果見表4.在1 比特位寬下進行權(quán)值量化,模型的分類精度嚴重下降.這是因為μL2Q 將權(quán)值量化為{?1,1},存在極大的信息損失,進而導致較大的精度下降.但是從2 比特開始,μL2Q 量化模型的精度顯著提升,能夠在除MobileNetV2 外的模型上達到低于1.58%的平均精度損失(與全精度模型相比).對于輕量級模型MobileNetV2,盡管其對低位寬量化更為敏感,但在4 比特的MobileNetV2 量化模型上,μL2Q 甚至能達到高于全精度模型的推理精度.隨著給定位寬的增加,量化模型的精度也隨之提升.Lenet5、CifarNet 和VGG-like 的分類精度分別在4 比特、8 比特和8 比特時達到99.51%,81.66%和93.53%,其中,LeNet 和VGG-like 的結(jié)果甚至比全精度模型還提升了0.11%和0.04%.在ImageNet 數(shù)據(jù)集上,μL2Q 能使AlexNet、ResNet18 和MobileNetV2 在8 比特量化位寬下達到61.4%,70.23%和72.23%(Top1)的分類精度,與全精度模型的結(jié)果相比分別提升了1.39%,0.63%和0.93%.以上的實驗結(jié)果說明,利用μL2Q 進行權(quán)值量化有助于提升模型的泛化能力,即有助于提升模型的分類精度.

    Results of μL2Q across various bit widths表4 μL2Q 在不同比特位寬下的結(jié)果

    ? 激活值量化

    與權(quán)值不同,DNN 模型中每層的激活值會隨著輸入變化而變化.這意味著如果進行激活值量化,則必須在每次推理時進行實時的計算.為了減少實時計算量,本文對量化參數(shù)(α,β)進行離線計算,以提升推理效率.本文利用指數(shù)移動平均算法,在模型訓練過程中來估計每層的激活值在整個訓練集上的量化參數(shù),并離線應(yīng)用到模型推理的過程中.表4 給出了基于μL2Q 進行8 比特激活值量化的實驗結(jié)果.在表4 中,與具有全精度激活值的模型相比,具有2/4/8 比特權(quán)值和8 比特激活值的量化模型的推理精度僅僅下降不到0.49%(在ResNet18 上),0.29%(在VGG-like 上),0.27%(在AlexNet 上).在ImageNet 數(shù)據(jù)集和MobileNetV2 上,基于8 比特μL2Q 的激活值量化的結(jié)果比全精度激活值的量化模型的結(jié)果分別高了0.49%(2 比特權(quán)值量化),0.21%(4 比特權(quán)值量化)和0.05%(8比特權(quán)值量化).實驗結(jié)果表明,μL2Q 可應(yīng)用于激活值量化并且不會造成額外的精度損失,還能降低推理過程中的內(nèi)存占用和計算消耗.

    ?模型存儲容量與運行時內(nèi)存占用

    表5 中給出了基于μL2Q 的不同量化位寬下,不同量化模型的存儲容量和運行時內(nèi)存占用.模型存儲容量主要包括模型權(quán)值的存儲,運行時內(nèi)存占用是指模型推理一張圖片時所需耗費的權(quán)值和激活值的內(nèi)存占用.在1比特權(quán)值量化下,模型存儲容量壓縮率可達32 倍,比如CifarNet 的模型存儲容量甚至只有10.64KB.全精度模型AlexNet 的存儲容量高達203.38MB,在經(jīng)過μL2Q 壓縮后,其模型存儲容量最小可至6.36MB,被壓縮了96.87%,極大地降低了模型的存儲代價.此外,LeNet5,CifarNet 和VGG-like 的運行時內(nèi)存占用最低可達360.54KB(1/32),64.39KB(2/8)和 1.57MB(2/8),其運行時內(nèi)存占用量比全精度的模型(32/32)分別降低了 94.71%,87.44%和92.97%.在基于ImageNet 訓練的模型AlexNet,ResNet18 和MobileNetV2 上,其運行時內(nèi)存占用降至8.79MB,5.61MB 和7.55MB,比全精度模型(32/32)分別減少了95.73%,90.24%和81.40%.此外,低位寬的權(quán)值和激活表示也將有效地降低計算資源消耗.μL2Q 可在極低的模型存儲容量和運行時內(nèi)存占用的情況下,保證極低的量化損失,提升量化模型的精度.比如表4 和表5 中,具有2 比特權(quán)值和8 比特激活值的MobileNetV2 規(guī)模只有867.69KB,運行時內(nèi)存占用只有7.55MB,但其在ImageNet 上的top1 精度可達64.39%.極低的存儲容量和運行時內(nèi)存占用,確保了基于μL2Q 量化的DNN 模型可廣泛部署到存儲和計算資源受限的邊緣設(shè)備上,而且模型精度能夠提供可靠的推理服務(wù).

    Table 5 Model size and runtime memory of μL2Q across various bit widths表5 μL2Q 在不同比特位寬的模型大小和運行時內(nèi)存占用

    ?方法對比

    選擇當前最為先進且典型的量化方法來進行比較,這些量化方法見表6.

    Table 6 State-of-the-art quantization methods表6 最新的量化方法

    表7 展示了在相同位寬條件下,μL2Q 和其他量化方法在幾種DNN 模型上的圖像分類精度.其中,對于最新的量化方法,本文直接引用其文獻中的結(jié)果進行比較.本文關(guān)于結(jié)果分析中精度平均提升值的計算方式如下.

    (1) μL2Q 與二值量化的對比:在VGG-like 上,μL2Q 相對ReBNet(M=3)精度提升了3.08%,相對BC 精度提升了1.62%.因此μL2Q 與最新的二值量化方法相比,量化后模型精度平均提升了(3.08%+1.62%)/2=2.35%.同理可得μL2Q 與其他三值量化方法的對比結(jié)果.

    (2) μL2Q 與定點數(shù)量化的對比:在CifarNet 上,2 比特位寬下μL2Q 相對FP 提升了61.16%,4 比特位寬下μL2Q 相對FP 提升了5.42%,8 比特位寬下μL2Q 相對FP 提升了0.26%.因此,μL2Q 相對FP,精度平均提升了(61.16%+5.42%+0.26%)/3=22.28%.

    Table 7 Comparison with state-of-the-art methods表7 與最新方法的比較

    ?μL2Q 與二值量化

    二值量化只能將權(quán)值量化為{?1,1}兩個值,如表7 所示,在1 比特量化時,μL2Q 在LeNet5、VGG-like 和ResNet18 上與二值量化方法的結(jié)果相比,平均提升了0.78%,2.35%和4.25%(Top1).這是因為二值量化對權(quán)值的均值變化和標準差變化比較敏感,導致了額外的精度下降.與之相比,由于存在平移參數(shù)和縮放參數(shù),μL2Q 對不同均值和標準差的權(quán)值是魯棒的,能夠有效保證量化模型的精度.在AlexNet 上,μL2Q 與BWN 相比存在一定程度的精度下降,這是因為BWN 使用的模型具有61MB 參數(shù)量,而μL2Q 使用了較小的模型,只有50.88MB,而且量化了模型中的所有層的權(quán)值到1 比特,包括第1 層和最后一層.在1 比特時,μL2Q 量化模型的精度比最新的二值量化方法的結(jié)果平均高1.94%.

    ?μL2Q 與三值量化

    三值量化將權(quán)值量化為{?1,0,1},其位寬最少為2 比特.在位寬為2 比特時,與最新的方法相比,μL2Q 在LeNet5、VGG-like、AlexNet 和ResNet18 上分別平均提升了6.16%,4.94%,1.25%和2.98%.顯著優(yōu)于其他量化方法的原因是:首先,因為與啟發(fā)式的量化方法相比,μL2Q 對權(quán)值的均值和標準差的變化是更魯棒的;其次,μL2Q 還充分利用2 比特的位寬來表示4 個數(shù){?2,?1,0,1},從而可以得到較低的數(shù)據(jù)量化損失和較高的模型精度.在位寬為2 比特時,μL2Q 量化模型的推理精度比最新的三值量化模型的推理精度平均高3.73%.

    ?μL2Q 與定點數(shù)量化

    定點數(shù)量化可以實現(xiàn)靈活的量化位寬.與最新方法相比,μL2Q 在LeNet5、CifarNet、AlexNet 和MobileNetV2上分別平均提升了0.39%,22.28%,8.34%和1.93%.在2 比特量化時,FP 只實現(xiàn)了19.10%的分類精度,而μL2Q 卻能實現(xiàn)80.26%的精度,甚至在1 比特量化時,μL2Q 也能實現(xiàn)79.28%的精度.主要原因在于:FP 使用定點數(shù)量化,而μL2Q 則引入了平移參數(shù)和縮放參數(shù),在幾乎不增加額外計算量的情況下,實現(xiàn)了極大的精度提升.Dorefa-Net和QAT/TQT 方法則因忽略了權(quán)值數(shù)據(jù)的分布,沒有對量化損失和量化參數(shù)的內(nèi)在聯(lián)系進行定量分析,僅使用啟發(fā)式的量化參數(shù)設(shè)置,造成了額外的精度下降.值得注意的是:QAT 保留了MobileNetV2 的第1 層和最后一層數(shù)據(jù)為全精度的浮點數(shù),而TQT 使用全局損失感知來學習量化參數(shù)的方法.QAT 和TQT 沒有相應(yīng)的低比特位寬的量化結(jié)果,與之對比,μL2Q 在低比特位寬時更具優(yōu)勢,即使在8 比特的權(quán)值量化結(jié)果上也能得到出具有競爭力的結(jié)果.在相同的位寬下,μL2Q 的模型精度比最新的定點數(shù)量化模型的精度平均提高8.24%.

    4.3 顯著性物體檢測實驗

    顯著性物體檢測旨在突出圖像中顯著的目標區(qū)域[45],它提供了可供觀測的方法依據(jù)和重要的評價指標.前述實驗結(jié)果表明,μL2Q 在2 比特量化時能夠在精度和量化位寬之間取得較好的平衡.因此,本實驗選取2 比特的μL2Q 權(quán)值量化進行驗證.

    ?數(shù)據(jù)集與模型

    訓練集采用MSRA10K[47]數(shù)據(jù)集中的訓練數(shù)據(jù)(占整個數(shù)據(jù)集的80%).訓練后,在多個數(shù)據(jù)集上進行評估,包括MSRA10K 的測試集(整個數(shù)據(jù)集的20%)、ECSSD[47]、HKU-IS[48]、DUTS[49]和DUT-OMRRON[50]中包含目標對象和現(xiàn)有的真值圖.所選數(shù)據(jù)集的詳細信息見表8.為了便于訓練和測試,實驗中將所有圖像的大小都調(diào)整為224×224.實驗中選擇了3 個著名的端到端語義分割模型U-Net[51]、LinkNet[52]和UNet++[53]進行綜合比較,其詳細信息見表9.這些模型都以ResNet50[4]作為骨干網(wǎng),并使用ImageNet 數(shù)據(jù)集上訓練的權(quán)值進行初始化.

    Table 8 Datasets for salient object detection表8 顯著性物體檢測數(shù)據(jù)集

    Table 9 Models for salient object detection表9 顯著性物體檢測模型

    ?評價指標

    選擇4 個廣泛使用的度量指標進行綜合評價,包括平均絕對誤差(MAE)[54]、最大F-measure(MaxF)[55]、結(jié)構(gòu)度量(S-measure)[56]和增強對齊度量(E-measure)[57].MAE 越低,MaxF、S-measure 和E-measure 越高,代表結(jié)果越理想.

    ?實驗結(jié)果

    如表10 所示,UNet++、U-Net 和LinkNet 是3 個端到端的顯著性物體檢測模型,用*標記的表示量化后的模型.偏差記錄量化模型與全精度的模型在不同數(shù)據(jù)集的不同指標上的差異;規(guī)模表示模型的大小,單位為兆字節(jié)(MB).M,F,S,E分別表示4 個指標:MAE、MaxF、S-measure、E-measure,箭頭表示指標的評價趨勢,↑表示指標越高越好,↓表示指標越低越好.表格中,指標降低在0.01 以內(nèi)的所有結(jié)果用粗體表示,表示較低的性能下降.從表10 的實驗結(jié)果可知,在數(shù)據(jù)集MSRA10K 上,μL2Q 的精度下降最少.與全精度的模型相比,μL2Q 的精度在幾乎所有指標上的下降都低于0.01.這是因為該實驗中所使用的模型,包括全精度的模型和量化模型,都是基于MSRA10K 的,其訓練集和驗證集基于同一數(shù)據(jù)集進行劃分,數(shù)據(jù)偏差小,可以達到較好的驗證效果.而其余的幾個數(shù)據(jù)集只作為驗證集,由于不同的數(shù)據(jù)集之間存在偏差,因此在這些數(shù)據(jù)集上出現(xiàn)了一定的性能波動.但模型的尺寸通過μL2Q 量化可減少93%以上,實現(xiàn)了極高的壓縮率.顯著性物體檢測的實驗表明了:μL2Q 可以應(yīng)用到實際的計算機視覺任務(wù)中,且能有效保證性能.

    Table 10 Quantization results on salient object detection models表10 在顯著性目標檢測模型上的量化結(jié)果

    Table 10 Quantization results on salient object detection models (Continued)表10 在顯著性目標檢測模型上的量化結(jié)果(續(xù))

    5 總結(jié)

    本文提出了一種超低損失的DNN 模型量化方法μL2Q,該方法的設(shè)計考慮了DNN 權(quán)值數(shù)據(jù)的分布規(guī)律,通過定量分析量化位寬與量化損失間的關(guān)系,呈現(xiàn)了不同量化位寬條件下的最低損失所對應(yīng)的量化參數(shù),實現(xiàn)了極低的量化損失,從而能對DNN 模型有效壓縮并能保證模型推理精度.此外,本文還將μL2Q 融合進主流機器學習訓練框架中如Keras,為DNN 模型壓縮的設(shè)計和實現(xiàn)提供了便捷途徑,并顯著降低了工程實現(xiàn)的難度,也有效減少了人工嘗試等重復(fù)性勞動.實驗評估結(jié)果表明,本文提出的μL2Q 實現(xiàn)了極低的量化損失,顯著優(yōu)于其他對比方法,其優(yōu)秀的量化模型精度能夠滿足邊緣計算場景中的DNN 應(yīng)用需求.

    猜你喜歡
    二值正態(tài)分布權(quán)值
    一種融合時間權(quán)值和用戶行為序列的電影推薦模型
    混沌偽隨機二值序列的性能分析方法研究綜述
    支持CNN與LSTM的二值權(quán)重神經(jīng)網(wǎng)絡(luò)芯片
    CONTENTS
    基于二值形態(tài)學算子的軌道圖像分割新算法
    視頻圖像文字的二值化
    基于對數(shù)正態(tài)分布的出行時長可靠性計算
    基于權(quán)值動量的RBM加速學習算法研究
    自動化學報(2017年7期)2017-04-18 13:41:02
    正態(tài)分布及其應(yīng)用
    正態(tài)分布題型剖析
    七月丁香在线播放| 亚洲精品国产色婷婷电影| 人人妻人人添人人爽欧美一区卜| av女优亚洲男人天堂| 丁香六月天网| 老汉色av国产亚洲站长工具| 亚洲精品久久久久久婷婷小说| 久久久久国产一级毛片高清牌| 亚洲 欧美一区二区三区| 亚洲精品成人av观看孕妇| 久久国产精品男人的天堂亚洲| 国产成人精品在线电影| 99热国产这里只有精品6| 9色porny在线观看| 国产精品免费视频内射| 精品一品国产午夜福利视频| 狠狠婷婷综合久久久久久88av| 视频区图区小说| 天美传媒精品一区二区| 国产无遮挡羞羞视频在线观看| 少妇的逼水好多| 精品福利永久在线观看| 啦啦啦在线观看免费高清www| 一区二区三区乱码不卡18| 妹子高潮喷水视频| 亚洲国产精品999| 纵有疾风起免费观看全集完整版| 亚洲国产欧美在线一区| 日本欧美国产在线视频| 国产精品麻豆人妻色哟哟久久| av视频免费观看在线观看| 欧美激情高清一区二区三区 | freevideosex欧美| 国产片内射在线| 曰老女人黄片| 成年女人在线观看亚洲视频| 制服丝袜香蕉在线| 中文字幕色久视频| 国产精品久久久久成人av| 十八禁高潮呻吟视频| 亚洲av电影在线进入| 26uuu在线亚洲综合色| 人人妻人人添人人爽欧美一区卜| 飞空精品影院首页| 欧美日本中文国产一区发布| 久久精品国产自在天天线| 天堂8中文在线网| 青春草国产在线视频| 蜜桃在线观看..| 日韩av在线免费看完整版不卡| √禁漫天堂资源中文www| 五月天丁香电影| 一级爰片在线观看| 亚洲一码二码三码区别大吗| 大片电影免费在线观看免费| 人妻少妇偷人精品九色| 两个人免费观看高清视频| 成人毛片a级毛片在线播放| 久久久久国产一级毛片高清牌| 亚洲四区av| 欧美av亚洲av综合av国产av | 亚洲一级一片aⅴ在线观看| 亚洲欧美一区二区三区久久| 91成人精品电影| 香蕉丝袜av| 亚洲成国产人片在线观看| 人妻人人澡人人爽人人| 在线观看一区二区三区激情| 边亲边吃奶的免费视频| 国产精品 欧美亚洲| 黄色视频在线播放观看不卡| 80岁老熟妇乱子伦牲交| 欧美日韩成人在线一区二区| 综合色丁香网| 天天躁夜夜躁狠狠躁躁| 大陆偷拍与自拍| 搡女人真爽免费视频火全软件| 少妇猛男粗大的猛烈进出视频| 成年av动漫网址| 国产免费现黄频在线看| 桃花免费在线播放| 不卡av一区二区三区| 国产日韩欧美在线精品| 纵有疾风起免费观看全集完整版| 国产人伦9x9x在线观看 | 一区二区av电影网| 天天躁日日躁夜夜躁夜夜| 国产亚洲精品第一综合不卡| 天堂中文最新版在线下载| 久久久久国产一级毛片高清牌| 亚洲精品日本国产第一区| h视频一区二区三区| 1024视频免费在线观看| 国产精品女同一区二区软件| 精品99又大又爽又粗少妇毛片| 久久久国产精品麻豆| 亚洲国产av新网站| 五月天丁香电影| 两个人免费观看高清视频| 最新的欧美精品一区二区| 青春草亚洲视频在线观看| 另类精品久久| 久久精品人人爽人人爽视色| 一本—道久久a久久精品蜜桃钙片| 国产精品嫩草影院av在线观看| 日韩精品免费视频一区二区三区| 欧美日韩成人在线一区二区| av国产精品久久久久影院| 午夜精品国产一区二区电影| 在线天堂最新版资源| 成年女人毛片免费观看观看9 | 欧美日韩亚洲国产一区二区在线观看 | 黑丝袜美女国产一区| 日韩大片免费观看网站| 亚洲欧美中文字幕日韩二区| 黄片小视频在线播放| 波多野结衣一区麻豆| 在线观看免费高清a一片| 亚洲国产精品国产精品| 男女免费视频国产| 国产亚洲最大av| 久久精品久久久久久久性| 精品人妻熟女毛片av久久网站| 最新中文字幕久久久久| 女性被躁到高潮视频| 午夜福利一区二区在线看| 亚洲人成电影观看| 国产成人免费无遮挡视频| 日日啪夜夜爽| 国产成人精品久久二区二区91 | 91精品国产国语对白视频| 精品亚洲成a人片在线观看| 欧美xxⅹ黑人| 亚洲情色 制服丝袜| 另类精品久久| 久久国产精品大桥未久av| 少妇的丰满在线观看| 下体分泌物呈黄色| 伦精品一区二区三区| 欧美bdsm另类| 99久国产av精品国产电影| 亚洲精品久久成人aⅴ小说| 亚洲精品久久久久久婷婷小说| 看免费av毛片| av在线app专区| 最近最新中文字幕大全免费视频 | 爱豆传媒免费全集在线观看| 在线免费观看不下载黄p国产| 在线精品无人区一区二区三| 99热网站在线观看| 亚洲精品第二区| 不卡视频在线观看欧美| 七月丁香在线播放| 狂野欧美激情性bbbbbb| 老汉色av国产亚洲站长工具| 中文字幕色久视频| 亚洲精品在线美女| 黑丝袜美女国产一区| 免费久久久久久久精品成人欧美视频| 狠狠精品人妻久久久久久综合| 国产精品av久久久久免费| 2018国产大陆天天弄谢| 亚洲国产欧美日韩在线播放| 黑丝袜美女国产一区| 日本猛色少妇xxxxx猛交久久| 性色av一级| 国产白丝娇喘喷水9色精品| 亚洲精品乱久久久久久| 欧美国产精品va在线观看不卡| 国产不卡av网站在线观看| 少妇被粗大猛烈的视频| 成年人午夜在线观看视频| 国产不卡av网站在线观看| 国产欧美日韩综合在线一区二区| 色婷婷久久久亚洲欧美| 熟女av电影| 精品国产一区二区久久| 欧美精品亚洲一区二区| 亚洲中文av在线| av又黄又爽大尺度在线免费看| 精品少妇一区二区三区视频日本电影 | 亚洲三级黄色毛片| 观看av在线不卡| 婷婷色综合www| 国产午夜精品一二区理论片| 免费播放大片免费观看视频在线观看| 老司机亚洲免费影院| 亚洲男人天堂网一区| 精品久久久久久电影网| 一级a爱视频在线免费观看| 在线精品无人区一区二区三| 免费不卡的大黄色大毛片视频在线观看| 亚洲欧美精品综合一区二区三区 | 亚洲欧洲精品一区二区精品久久久 | 女性被躁到高潮视频| 人人妻人人爽人人添夜夜欢视频| 一级毛片 在线播放| 一边摸一边做爽爽视频免费| 国产有黄有色有爽视频| 天堂8中文在线网| av在线老鸭窝| 国产精品无大码| 国语对白做爰xxxⅹ性视频网站| 80岁老熟妇乱子伦牲交| 亚洲av.av天堂| 在线免费观看不下载黄p国产| 国产免费现黄频在线看| 久久久久人妻精品一区果冻| 在线观看人妻少妇| 制服诱惑二区| 亚洲国产精品成人久久小说| 欧美激情极品国产一区二区三区| 欧美中文综合在线视频| 久久精品国产a三级三级三级| 一级片免费观看大全| 日日爽夜夜爽网站| 热99久久久久精品小说推荐| av免费在线看不卡| 亚洲成人一二三区av| 一级毛片黄色毛片免费观看视频| 久久精品久久精品一区二区三区| 日韩电影二区| 最黄视频免费看| 男人爽女人下面视频在线观看| 精品人妻熟女毛片av久久网站| 亚洲av福利一区| 婷婷成人精品国产| av网站免费在线观看视频| 啦啦啦中文免费视频观看日本| 国产成人精品一,二区| 国产一区二区三区av在线| 国产在视频线精品| 成年人免费黄色播放视频| 高清av免费在线| 久久久久久久国产电影| 麻豆av在线久日| 亚洲欧美一区二区三区久久| 国产在线视频一区二区| 亚洲精品国产一区二区精华液| 国产爽快片一区二区三区| 日韩av不卡免费在线播放| av卡一久久| 欧美老熟妇乱子伦牲交| 亚洲综合色网址| 晚上一个人看的免费电影| av网站免费在线观看视频| 午夜日韩欧美国产| 亚洲,欧美,日韩| 久久久久国产一级毛片高清牌| 晚上一个人看的免费电影| 日韩人妻精品一区2区三区| 亚洲婷婷狠狠爱综合网| 老汉色av国产亚洲站长工具| 国产人伦9x9x在线观看 | 国产高清国产精品国产三级| 亚洲国产毛片av蜜桃av| 亚洲国产av影院在线观看| 日韩一区二区三区影片| 边亲边吃奶的免费视频| 夜夜骑夜夜射夜夜干| 亚洲久久久国产精品| 国产男人的电影天堂91| 十八禁高潮呻吟视频| 如日韩欧美国产精品一区二区三区| 国产老妇伦熟女老妇高清| 女性生殖器流出的白浆| 在线观看美女被高潮喷水网站| 男人添女人高潮全过程视频| 国产精品秋霞免费鲁丝片| 亚洲精品第二区| 天堂中文最新版在线下载| 黄色毛片三级朝国网站| 久久av网站| 午夜久久久在线观看| 亚洲少妇的诱惑av| 免费播放大片免费观看视频在线观看| 蜜桃国产av成人99| 只有这里有精品99| 水蜜桃什么品种好| 国产成人精品久久二区二区91 | 97人妻天天添夜夜摸| 叶爱在线成人免费视频播放| 午夜福利视频精品| 在线精品无人区一区二区三| 亚洲av电影在线观看一区二区三区| 欧美97在线视频| 久久这里只有精品19| 国产精品久久久久久精品古装| 亚洲一码二码三码区别大吗| 最近手机中文字幕大全| 国产免费现黄频在线看| 中文字幕av电影在线播放| 午夜免费观看性视频| 极品人妻少妇av视频| 国产一级毛片在线| 中文欧美无线码| 欧美日韩精品网址| 午夜福利网站1000一区二区三区| 最近手机中文字幕大全| 99精国产麻豆久久婷婷| 好男人视频免费观看在线| 久久久久精品人妻al黑| 国产成人av激情在线播放| 久久这里有精品视频免费| 桃花免费在线播放| 国产乱人偷精品视频| 欧美日韩视频精品一区| 99热全是精品| 亚洲av国产av综合av卡| 国产精品免费视频内射| 日韩人妻精品一区2区三区| 日本欧美国产在线视频| 免费女性裸体啪啪无遮挡网站| 精品少妇内射三级| 女性生殖器流出的白浆| 国产免费视频播放在线视频| 成年人免费黄色播放视频| 久久热在线av| 亚洲精品一二三| 欧美日韩亚洲国产一区二区在线观看 | 精品国产一区二区三区久久久樱花| 看免费av毛片| 欧美日本中文国产一区发布| 久久青草综合色| 国产伦理片在线播放av一区| 中文字幕最新亚洲高清| 热99久久久久精品小说推荐| 啦啦啦在线观看免费高清www| 91成人精品电影| 国产麻豆69| 久久久久久久国产电影| 免费播放大片免费观看视频在线观看| 成年av动漫网址| 婷婷色综合大香蕉| 美女视频免费永久观看网站| 午夜av观看不卡| 国产亚洲一区二区精品| 久久精品亚洲av国产电影网| 国产精品一二三区在线看| 电影成人av| 男人爽女人下面视频在线观看| 狠狠婷婷综合久久久久久88av| 99九九在线精品视频| 国产在线免费精品| 少妇猛男粗大的猛烈进出视频| 日本黄色日本黄色录像| 久久99热这里只频精品6学生| 亚洲第一青青草原| 黑人欧美特级aaaaaa片| 中文字幕人妻丝袜一区二区 | 蜜桃国产av成人99| 五月伊人婷婷丁香| 熟妇人妻不卡中文字幕| 亚洲伊人久久精品综合| 精品亚洲成a人片在线观看| 极品人妻少妇av视频| 熟妇人妻不卡中文字幕| 精品一区二区免费观看| 久久久国产欧美日韩av| 在线观看三级黄色| 亚洲精品久久成人aⅴ小说| 高清av免费在线| 亚洲三级黄色毛片| 欧美国产精品一级二级三级| 免费看不卡的av| 一级毛片电影观看| 亚洲视频免费观看视频| 久久热在线av| 十八禁网站网址无遮挡| 在线观看免费高清a一片| 国产精品.久久久| 一二三四中文在线观看免费高清| 女性生殖器流出的白浆| 丰满少妇做爰视频| 狠狠婷婷综合久久久久久88av| 春色校园在线视频观看| 纵有疾风起免费观看全集完整版| 亚洲欧美精品综合一区二区三区 | 欧美 亚洲 国产 日韩一| 国产精品av久久久久免费| 天天躁日日躁夜夜躁夜夜| 99精国产麻豆久久婷婷| 国产精品熟女久久久久浪| 国产免费福利视频在线观看| 亚洲国产色片| 男女边摸边吃奶| 在线免费观看不下载黄p国产| 亚洲av中文av极速乱| 少妇熟女欧美另类| 久久99蜜桃精品久久| 超碰97精品在线观看| 国产精品成人在线| 国产欧美日韩一区二区三区在线| 少妇人妻 视频| 熟妇人妻不卡中文字幕| 色吧在线观看| 国产xxxxx性猛交| 国产精品免费大片| 尾随美女入室| 免费观看无遮挡的男女| 精品国产一区二区三区久久久樱花| 日韩免费高清中文字幕av| 国产有黄有色有爽视频| 久久久久精品性色| 免费高清在线观看视频在线观看| 婷婷色av中文字幕| 99热国产这里只有精品6| 丝瓜视频免费看黄片| 亚洲国产av影院在线观看| videos熟女内射| 日韩大片免费观看网站| 亚洲精品久久成人aⅴ小说| 久久久精品94久久精品| 国产精品二区激情视频| 热re99久久国产66热| 叶爱在线成人免费视频播放| 亚洲国产精品成人久久小说| 汤姆久久久久久久影院中文字幕| 黄色 视频免费看| 欧美日韩一级在线毛片| 精品人妻一区二区三区麻豆| 国产亚洲欧美精品永久| 久久久欧美国产精品| 精品第一国产精品| 在线天堂中文资源库| 亚洲国产欧美网| 国产熟女欧美一区二区| 欧美日韩av久久| 国产精品国产三级专区第一集| 丰满饥渴人妻一区二区三| 欧美人与性动交α欧美精品济南到 | 日韩,欧美,国产一区二区三区| 卡戴珊不雅视频在线播放| 夫妻性生交免费视频一级片| 十八禁网站网址无遮挡| 久久97久久精品| 欧美最新免费一区二区三区| 我要看黄色一级片免费的| 欧美精品一区二区大全| 国产精品一二三区在线看| 观看av在线不卡| 久久精品国产a三级三级三级| 一本—道久久a久久精品蜜桃钙片| 美女中出高潮动态图| 久久ye,这里只有精品| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 巨乳人妻的诱惑在线观看| 97在线视频观看| 国产成人一区二区在线| 美女福利国产在线| 亚洲第一区二区三区不卡| 丝袜脚勾引网站| 只有这里有精品99| 国产深夜福利视频在线观看| 久久久久国产一级毛片高清牌| 少妇的逼水好多| 精品少妇久久久久久888优播| 久久女婷五月综合色啪小说| 欧美国产精品va在线观看不卡| 日韩一本色道免费dvd| 久久精品久久久久久久性| 视频区图区小说| 亚洲第一av免费看| 久久影院123| 国产在线免费精品| av不卡在线播放| 这个男人来自地球电影免费观看 | 黄色配什么色好看| 亚洲欧美清纯卡通| 18在线观看网站| 国产欧美日韩一区二区三区在线| 亚洲精品乱久久久久久| 18+在线观看网站| 一区二区三区四区激情视频| 天堂中文最新版在线下载| 精品少妇一区二区三区视频日本电影 | 男女下面插进去视频免费观看| 少妇熟女欧美另类| 国产精品秋霞免费鲁丝片| 巨乳人妻的诱惑在线观看| 国产精品一区二区在线不卡| 90打野战视频偷拍视频| 成年人午夜在线观看视频| 国产精品偷伦视频观看了| 欧美成人午夜免费资源| 日韩av免费高清视频| 亚洲,欧美,日韩| 丰满少妇做爰视频| 视频在线观看一区二区三区| 国产欧美日韩一区二区三区在线| 国产男人的电影天堂91| 在线精品无人区一区二区三| 婷婷色综合www| 2022亚洲国产成人精品| 男人舔女人的私密视频| 亚洲综合色网址| 亚洲男人天堂网一区| 久久精品国产综合久久久| av网站免费在线观看视频| 国产一级毛片在线| 久久久久视频综合| 深夜精品福利| 一本大道久久a久久精品| 日韩av不卡免费在线播放| 亚洲国产成人一精品久久久| 日韩三级伦理在线观看| 欧美+日韩+精品| 亚洲国产最新在线播放| 亚洲激情五月婷婷啪啪| 久久人人97超碰香蕉20202| 一边亲一边摸免费视频| 久久久久国产网址| www日本在线高清视频| 丝袜人妻中文字幕| 亚洲少妇的诱惑av| 欧美精品av麻豆av| 亚洲成色77777| 国产精品99久久99久久久不卡 | 国产成人a∨麻豆精品| 热re99久久精品国产66热6| 日本色播在线视频| 国产精品久久久av美女十八| 久久综合国产亚洲精品| 狠狠婷婷综合久久久久久88av| 青春草国产在线视频| 久久久久久伊人网av| 国产又色又爽无遮挡免| 好男人视频免费观看在线| 日韩av在线免费看完整版不卡| 999久久久国产精品视频| 久久久国产一区二区| 日韩,欧美,国产一区二区三区| 国产精品熟女久久久久浪| 制服诱惑二区| 国产又爽黄色视频| 青春草亚洲视频在线观看| 国产一区二区激情短视频 | 欧美日韩成人在线一区二区| videos熟女内射| 亚洲国产精品一区三区| 你懂的网址亚洲精品在线观看| 建设人人有责人人尽责人人享有的| 国产极品粉嫩免费观看在线| 久久久精品免费免费高清| 热re99久久国产66热| 亚洲激情五月婷婷啪啪| 高清在线视频一区二区三区| 男女国产视频网站| 黄色配什么色好看| 午夜激情av网站| 一区二区av电影网| 免费看不卡的av| 一级毛片我不卡| 91国产中文字幕| 免费黄频网站在线观看国产| 综合色丁香网| 成人毛片60女人毛片免费| 中文字幕亚洲精品专区| √禁漫天堂资源中文www| 久久精品人人爽人人爽视色| 亚洲精品成人av观看孕妇| 日日撸夜夜添| 国产精品二区激情视频| 亚洲精品日本国产第一区| 精品国产乱码久久久久久小说| 日韩一区二区视频免费看| 丝袜美足系列| 亚洲精品,欧美精品| 一级爰片在线观看| 亚洲,一卡二卡三卡| 精品人妻偷拍中文字幕| 日日啪夜夜爽| 天堂8中文在线网| 久久99一区二区三区| 国产精品蜜桃在线观看| www.精华液| 久久女婷五月综合色啪小说| 国产乱来视频区| 日韩三级伦理在线观看| 看免费成人av毛片| 国产精品免费视频内射| 十分钟在线观看高清视频www| 亚洲在久久综合| 亚洲欧美中文字幕日韩二区| 精品一区二区三区四区五区乱码 | 热re99久久精品国产66热6| 中文精品一卡2卡3卡4更新| 欧美激情极品国产一区二区三区| 久久精品夜色国产| 最近最新中文字幕免费大全7| 捣出白浆h1v1| 9热在线视频观看99| 性少妇av在线| 伦精品一区二区三区| 曰老女人黄片| 国产成人91sexporn| 高清视频免费观看一区二区| 色婷婷久久久亚洲欧美| 精品国产一区二区久久| 久久av网站| 亚洲国产精品成人久久小说| 亚洲伊人久久精品综合| 亚洲久久久国产精品| 人妻少妇偷人精品九色| 亚洲av.av天堂| 日本黄色日本黄色录像| 久久久久国产精品人妻一区二区| 99热网站在线观看| 日本黄色日本黄色录像| 97精品久久久久久久久久精品| 免费不卡的大黄色大毛片视频在线观看| 成年人免费黄色播放视频| 侵犯人妻中文字幕一二三四区| 久久久久视频综合| 日韩熟女老妇一区二区性免费视频|