• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于自適應(yīng)學(xué)習(xí)率優(yōu)化的AdaNet改進(jìn)

    2020-10-18 12:56:58顧進(jìn)廣
    計(jì)算機(jī)應(yīng)用 2020年10期
    關(guān)鍵詞:子網(wǎng)梯度權(quán)重

    劉 然,劉 宇*,顧進(jìn)廣

    (1.武漢科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,武漢 430065;2.智能信息處理與實(shí)時工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室(武漢科技大學(xué)),武漢 430065;3.武漢科技大學(xué)大數(shù)據(jù)科學(xué)與工程研究院,武漢 430065;4.國家新聞出版署富媒體數(shù)字出版內(nèi)容組織與知識服務(wù)重點(diǎn)實(shí)驗(yàn)室(武漢科技大學(xué)),北京 100038)

    (*通信作者電子郵箱liuyu@wust.edu.cn)

    0 引言

    人工神經(jīng)網(wǎng)絡(luò)的自適應(yīng)結(jié)構(gòu)學(xué)習(xí)(Adaptive structural learning of artificial neural Networks,AdaNet)是一種基于集成學(xué)習(xí)的神經(jīng)結(jié)構(gòu)搜索(Neural Architecture Search,NAS)框架,它不僅可以學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu),還可以將最優(yōu)的架構(gòu)組合成一個高質(zhì)量的集成模型。AdaNet 借鑒了Boosting 集成學(xué)習(xí)中提出的估計(jì)泛化誤差上界的公式“泛化誤差項(xiàng)<經(jīng)驗(yàn)誤差項(xiàng)+學(xué)習(xí)算法容量相關(guān)項(xiàng)”,并且在NAS 領(lǐng)域?qū)Α皩W(xué)習(xí)算法容量相關(guān)項(xiàng)”給出了具體的定義[1],這樣AdaNet在訓(xùn)練的過程中就能夠評估所得模型的泛化誤差。

    AdaNet是以神經(jīng)網(wǎng)絡(luò)作為個體學(xué)習(xí)器,也就是AdaNet子網(wǎng),多個子網(wǎng)通過混合權(quán)重進(jìn)行集成,最后得到AdaNet 都會評估AdaNet 集成體泛化誤差上界,找到使得泛化誤差最大限度減小的子網(wǎng),并將其添加到AdaNet 集成體中,再根據(jù)所添加的這個子網(wǎng)來調(diào)整搜索空間。

    圖1 AdaNet子網(wǎng)搜索過程Fig.1 AdaNet subnet search process

    AdaNet 為了找到每輪迭代性能最好的子網(wǎng),會使用Momentum 優(yōu)化算法來得到子網(wǎng)的網(wǎng)絡(luò)權(quán)重和子網(wǎng)集成時的混合權(quán)重。Momentum 優(yōu)化算法是在隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)優(yōu)化算法中引入了動量相關(guān)概念,并且在整個尋優(yōu)過程中學(xué)習(xí)率是固定的。這類優(yōu)化算法在損失函數(shù)為凸函數(shù)時,能夠保證收斂到全局最優(yōu)值,缺點(diǎn)是收斂的時間較長。同時,受初始學(xué)習(xí)率的影響很大,每個維度的學(xué)習(xí)率一樣。因此,AdaNet 通過Momentum 優(yōu)化算法得到的子網(wǎng),雖然能夠保證具有較好的性能,但是子網(wǎng)之間差異性并不大。

    由于AdaNet 是基于集成學(xué)習(xí)的,而集成學(xué)習(xí)的關(guān)鍵是產(chǎn)生“好而不同”的子網(wǎng),即子網(wǎng)之間需存在差異性,并在一定誤差率限定下對子網(wǎng)進(jìn)行集成。AdaNet 集成體的泛化誤差,可通過的誤差分歧分解式子[2]來進(jìn)行表示:

    其中:E表示AdaNet 集成體的泛化誤差;表示所有子網(wǎng)泛化誤差的均值;表示子網(wǎng)的加分分歧項(xiàng),即所有子網(wǎng)的差異性度量最后取平均。該式子表明越小,并且越大,集成的效果越好。但是僅僅在集成體構(gòu)造好后才能進(jìn)行估計(jì),所以不能夠直接最小化。

    現(xiàn)有的AdaNet 處理過程中,每次均從候選子網(wǎng)中選擇了最好的子網(wǎng),其實(shí)在訓(xùn)練的過程中已經(jīng)對進(jìn)行了限制,因此為了進(jìn)一步提高AdaNet 集成體的效果,應(yīng)從提升子網(wǎng)的差異性入手,也就是從增大入手。而AdaNet 使用Momentum 優(yōu)化算法得到的集成模型,往往為了追求較小的,而導(dǎo)致較小,難以減小AdaNet集成體的泛化誤差。

    在另一方面,神經(jīng)網(wǎng)絡(luò)中存在著大量非線性變換,它的損失函數(shù)幾乎都是非凸和高維度的,不可避免存在大量的局部最小值。在實(shí)際情況中,往往存在大量梯度為0 的點(diǎn),導(dǎo)致無論用什么優(yōu)化算法都很難找到唯一全局最小值。Li等[3]通過實(shí)驗(yàn)說明了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練依賴于尋找高維度非凸損失函數(shù)的“較好”極小值能力,這些“較好的”局部極小值表現(xiàn)可能和全局最小值相差無幾。同時,根據(jù)Kearns 等[4]提出的集成學(xué)習(xí)中“弱學(xué)習(xí)器等價(jià)于強(qiáng)學(xué)習(xí)器”理論,以及Schapire[5]對這一理論給出的構(gòu)造性證明,Boosting類算法的個體學(xué)習(xí)器并不要求強(qiáng)學(xué)習(xí)器。

    本文在多組實(shí)驗(yàn)中比較了不同的優(yōu)化算法,實(shí)驗(yàn)結(jié)果表明,在AdaNet 中使用RMSProp、Adam、RAdam 這類自適應(yīng)學(xué)習(xí)率算法來訓(xùn)練子網(wǎng)以及優(yōu)化混合權(quán)重時,不僅因?yàn)樽赃m應(yīng)學(xué)習(xí)率,不容易跳出極值點(diǎn),使得收斂變快,同時由于增大了子網(wǎng)差異性,最后得到AdaNet集成體的性能更佳。

    1 相關(guān)工作

    NAS 是自動機(jī)器學(xué)習(xí)(Automated Machine Learning,AutoML)領(lǐng)域熱點(diǎn)之一,它可以針對特定的數(shù)據(jù)集從頭開始設(shè)計(jì)性能良好的模型,在某些任務(wù)上甚至可以達(dá)到人類專家的設(shè)計(jì)水準(zhǔn),甚至有可能發(fā)現(xiàn)某些人類之前未曾提出的網(wǎng)絡(luò)結(jié)構(gòu),所以國內(nèi)外都對NAS進(jìn)行了深入研究。

    Zoph 等[7]將NAS 問題轉(zhuǎn)化成了序列生成問題,并且將循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)作為控制器來對序列進(jìn)行求解,之后使用強(qiáng)化學(xué)習(xí)算法近端策略優(yōu)化(Proximal Policy Optimization,PPO)學(xué)習(xí)控制器的參數(shù)。這種方法每一層的參數(shù)都是獨(dú)立的,需要學(xué)習(xí)整個網(wǎng)絡(luò),參數(shù)搜索空間非常大,最終論文的實(shí)驗(yàn)動用了800 個GPU。之后,Zoph等[8]又根據(jù)經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)每層的網(wǎng)絡(luò)結(jié)構(gòu)都具有一定相似性,提出自動搜索的網(wǎng)絡(luò)結(jié)構(gòu)也可以是基于層的,可以針對某一層來設(shè)計(jì)一種特定的結(jié)構(gòu),然后將這種結(jié)構(gòu)重復(fù)多次,來得到一個完整的網(wǎng)絡(luò)結(jié)構(gòu),實(shí)驗(yàn)使用了500 個GPU 并行處理。后續(xù)研究中,Liu 等[9]根據(jù)啟發(fā)式搜索,只訓(xùn)練有可能得到最優(yōu)結(jié)果的網(wǎng)絡(luò)結(jié)構(gòu),這樣降低了需要完整訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)數(shù)量,但是搜索空間還是很大。

    但是上述幾種方法都有著巨大的搜索空間,導(dǎo)致整個搜索過程計(jì)算量非常大,必須要有大量的GPU 支撐。AdaNet 是一種基于強(qiáng)化學(xué)習(xí)和集成學(xué)習(xí)的方法,優(yōu)勢在于子網(wǎng)基本架構(gòu)是可以自定義的,后面產(chǎn)生的子網(wǎng)都是在這個基本架構(gòu)上演化來的,因此需要完整訓(xùn)練的子網(wǎng)個數(shù)并不多。AdaNet 通過簡單的人工干預(yù),就大幅度減小了NAS 搜索空間。同時AdaNet 在搜索過程中估計(jì)泛化誤差上界的機(jī)制,也導(dǎo)致了AdaNet中驗(yàn)證子網(wǎng)泛化誤差的環(huán)節(jié)并不復(fù)雜。

    優(yōu)化算法在深度學(xué)習(xí)領(lǐng)域的應(yīng)用很廣泛,最早出現(xiàn)的優(yōu)化算法是隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)。也就是隨機(jī)抽取一批樣本,并且以此為根據(jù)來更新參數(shù)。SGD 優(yōu)化算法的優(yōu)點(diǎn)是容易得到全局最優(yōu)解,但是缺點(diǎn)也很明顯:一是受初始學(xué)習(xí)率的影響很大,存在不收斂的可能;二是每個維度的學(xué)習(xí)率一樣,很難學(xué)習(xí)到稀疏數(shù)據(jù)上的有用信息;三是學(xué)習(xí)曲線有時會產(chǎn)生劇烈震蕩。

    對于SGD 優(yōu)化算法中的學(xué)習(xí)曲線震蕩和鞍點(diǎn)停滯問題,Momentum 優(yōu)化算法[10]可以比較好地緩解這個問題。與SGD優(yōu)化算法相比,Momentum 優(yōu)化算法收斂更快,收斂曲線也更加穩(wěn)定,但是Momentum 優(yōu)化算法還是存在每個維度學(xué)習(xí)率一樣的問題。

    在實(shí)際應(yīng)用中,更新頻率低的參數(shù)應(yīng)該擁有較大的學(xué)習(xí)率,而更新頻率高的參數(shù)應(yīng)該擁有較小的學(xué)習(xí)率。Adagrad優(yōu)化算法[11]采用“歷史梯度累計(jì)平方和的平方根”(常用r表示)來衡量不同參數(shù)梯度的稀疏性,并且將r作為學(xué)習(xí)率的分母,某參數(shù)的r越小,則表明該參數(shù)越稀疏,該參數(shù)的學(xué)習(xí)率也就越大。

    RMSProp優(yōu)化算法[12]將Adagrad優(yōu)化算法中的“歷史梯度累計(jì)平方和的平方根”改為了“歷史梯度平均平方和的平方根”,避免了分母隨著時間單調(diào)遞增,解決了訓(xùn)練提前結(jié)束的問題。RMSProp 優(yōu)化算法雖然解決了訓(xùn)練過早結(jié)束的問題,但是同樣容易陷入到局部最優(yōu)解。

    Adam 優(yōu)化算法[13]集成了Momentum 優(yōu)化算法訓(xùn)練比較穩(wěn)定的優(yōu)點(diǎn),以及RMSProp 優(yōu)化算法學(xué)習(xí)率隨著迭代次數(shù)發(fā)生變化的優(yōu)點(diǎn),可以認(rèn)為是帶有動量項(xiàng)的RMSProp。Adam 算法通過記錄梯度一階矩,保證了梯度之間不會相差太大,即梯度平滑、穩(wěn)定地過渡,這樣可以適應(yīng)不穩(wěn)定的目標(biāo)函數(shù)。同時通過記錄梯度二階矩,保證了環(huán)境感知能力,為不同參數(shù)產(chǎn)生自適應(yīng)的學(xué)習(xí)率。Adam 優(yōu)化算法可以實(shí)現(xiàn)快速收斂,但是它對初始學(xué)習(xí)率不夠魯棒,也會存在收斂到局部最優(yōu)解的問題。并且Adam 優(yōu)化算法在最初幾次迭代,常常需要用很小的學(xué)習(xí)率,也就是“預(yù)熱”,否則可能會陷入糟糕的開始,使得訓(xùn)練曲線出現(xiàn)過度跳躍,變得更長、更困難。

    近期,最優(yōu)化算法領(lǐng)域也有許多新的研究成果,來自UIUC(University of Illinois at Urbana-Champaign)的Liu 等[14]提出了一個新的優(yōu)化算法RAdam,它在保證收斂較快的前提下,建立了一個“整流器(rectifier)項(xiàng)”來進(jìn)行自動預(yù)熱,在大部分預(yù)熱長度和學(xué)習(xí)率的情況下都優(yōu)于手動預(yù)熱。RAdam提供了更好的訓(xùn)練穩(wěn)定性,省去了手動預(yù)熱的過程,在大部分人工智能(Artificial Intelligence,AI)領(lǐng)域都有較好的通用性。

    2 AdaNet算法

    2.1 AdaNet集成體

    AdaNet 的首要對象是集成體,每次搜索得到的子網(wǎng),都會作為集成體的一部分。集成體由一個或多個子網(wǎng)組成,這些子網(wǎng)的輸出通過集成器進(jìn)行組合。

    AdaNet中的集成模型e可以表示為:

    其中:集成模型e是所有子模型的加權(quán)和;l是集成體中的子網(wǎng)個數(shù);wk代表第k個子網(wǎng)的混合權(quán)重;hk代表第k個子網(wǎng)。

    2.2 AdaNet目標(biāo)函數(shù)和子網(wǎng)搜索過程

    AdaNet 在搜索與訓(xùn)練的過程中,需要有一個指標(biāo)來評價(jià)整個集成模型的好壞,通過最小化這個指標(biāo),來尋找子網(wǎng)進(jìn)行集成時的最優(yōu)混合權(quán)重。AdaNet 使用如下目標(biāo)函數(shù)作為指標(biāo):

    其中:λ≥0,β≥0,均為常數(shù);m是訓(xùn)練集的樣本個數(shù);N是集成體中子網(wǎng)的個數(shù);hj是序號為j的子網(wǎng);wj是序號為j的子網(wǎng)的混合權(quán)重;φ是子網(wǎng)訓(xùn)練時所用的損失函數(shù)(在AdaNet中常常使用指數(shù)損失函數(shù),即φ(x)=ex);r(hj)是序號為j的子網(wǎng)的Rademacher復(fù)雜度。

    F(w)借鑒了Boosting 算法中估計(jì)泛化誤差的方式,它是E(w)和R(w)兩者的和,E(w)為AdaNet 集成體的訓(xùn)練誤差項(xiàng),R(w)為AdaNet集成體的復(fù)雜度懲罰項(xiàng),F(xiàn)(w)則是AdaNet集成體泛化誤差上界的估計(jì)。上述標(biāo)準(zhǔn)可用于判定候選子網(wǎng)能否添加至AdaNet 集成體中:當(dāng)嘗試添加某個候選子網(wǎng)后,訓(xùn)練誤差項(xiàng)的減小幅度大于復(fù)雜度懲罰項(xiàng)的增大幅度,即F(w)減小時,該候選子網(wǎng)會被正式添加到AdaNet集成體。

    假設(shè)在t-1 輪迭代之后得到的AdaNet 模型為et-1,當(dāng)前混合權(quán)重向量為wt-1,集成模型的深度為lt-1。對于第t輪迭代,子網(wǎng)生成器會得到兩個子網(wǎng)h、h′,其中h是深度為lt-1的子網(wǎng),h′是深度為lt-1+1 的子網(wǎng),子網(wǎng)的具體形式由自定義的子網(wǎng)搜索空間指定。

    此時,將第t輪迭代的子網(wǎng)添加到集成體的問題,可以轉(zhuǎn)化為在候選子網(wǎng)u∈{h,h′},并且候選子網(wǎng)u的混合權(quán)重w∈R 的條件下,最小化第t-1 輪迭代的目標(biāo)函數(shù)Ft(w,u)的問題,F(xiàn)t(w,u)的具體公式如下:

    而在使用Ft(w,u)之前,需要先對子網(wǎng)進(jìn)行局部的訓(xùn)練,即得到子網(wǎng)u內(nèi)部的網(wǎng)絡(luò)權(quán)重wu,這樣的子網(wǎng)u才可以添加到集成體中,此時需要最小化子網(wǎng)u的目標(biāo)函數(shù)Ft(w,u),具體公式如下:

    F(w)用來比較前后兩次迭代的集成體性能,判斷集成體是否需要添加當(dāng)前子網(wǎng)。Ft(w,u)用來代入優(yōu)化算法中,最小化Ft(w,u)的過程就是確定當(dāng)前子網(wǎng)混合權(quán)重w的過程。Fu(wu,u)用來對子網(wǎng)進(jìn)行局部的訓(xùn)練,最小化Fu(wu,u)的過程就是確定當(dāng)前子網(wǎng)內(nèi)部網(wǎng)絡(luò)權(quán)重wu的過程(最小化Ft(w,u)和Fu(wu,u)之前需要先確定u為某個固定的候選子網(wǎng)h或h′)。根據(jù)式(5)、(6)、(9),AdaNet 子網(wǎng)搜索流程可以具體表述為:

    第1)行:初始化AdaNet 集成體子網(wǎng)搜索空間、子網(wǎng)生成器,子網(wǎng)搜索空間定義了生成子網(wǎng)的基本類型,子網(wǎng)生成器用來生成具體的子網(wǎng),并且對子網(wǎng)進(jìn)行訓(xùn)練(本文主要討論子網(wǎng)為基本CNN架構(gòu)的情況)。

    第3)行:子網(wǎng)生成器生成兩個候選子網(wǎng)h、h′的網(wǎng)絡(luò)架構(gòu),將u=h、u=h′分別代入到Fu(wu,u)中,之后用優(yōu)化算法來得到h、h′內(nèi)部的網(wǎng)絡(luò)權(quán)重,用MINIMIZE()來指代某種優(yōu)化算法,每種優(yōu)化算法的具體步驟將在后文介紹。

    第4)~5)行:將u=h、u=h′分別代入到Ft(w,u)中,并且用優(yōu)化算法MINIMIZE()得到h、h′的最佳混合權(quán)重w1、w2。

    第6)~9)行:比較Ft(w1,h)、Ft(w2,h′),h、h′中使得Ft(w,u)更小的子網(wǎng)表示為ht,對應(yīng)的混合權(quán)重稱為w*。

    第10)~14)行:比較F(wt-1+w*)、F(wt-1),如果F(wt-1+w*)<F(wt-1),則認(rèn)為引入子網(wǎng)ht后集成模型訓(xùn)練誤差的減小程度要優(yōu)于復(fù)雜度的增大程度,也就是說引入子網(wǎng)ht能夠減小集成體的泛化誤差上界。此時上一次迭代的集成體et-1應(yīng)該包含這個子網(wǎng)ht,剝離子網(wǎng)ht的softmax 層以暴露最后一個隱藏層,然后通過混合權(quán)重w*將ht最后一個隱藏層連接到集成體的輸出,得到新的集成體et,并且根據(jù)當(dāng)前迭代獲得的反饋信息調(diào)整子網(wǎng)搜索空間。如果F(wt-1+w*)≥F(wt-1),則認(rèn)為繼續(xù)引入子網(wǎng)對于減小集成體的泛化誤差上界沒有幫助,此時直接返回上一次迭代的集成體et-1。

    第15)行:完整進(jìn)行T輪迭代后得到集成體eT,最后返回它。

    2.3 AdaNet的權(quán)重優(yōu)化算法

    AdaNet 子網(wǎng)搜索流程中第3)行的使用優(yōu)化算法最小化Fu(wu,u)得到子網(wǎng)內(nèi)部的網(wǎng)絡(luò)權(quán)重wu,以及第4)~5)行的使用優(yōu)化算法最小化Ft(w,u)得到子網(wǎng)集成時的混合權(quán)重w,在AdaNet 中都是使用同一種優(yōu)化算法來求解的。在AdaNet 中為了得到全局最優(yōu)的子網(wǎng),常常都會使用Momentum 優(yōu)化算法來對上述兩步進(jìn)行求解,也就是在u設(shè)置為定值的情況下,分別將Fu(wu,u)、Ft(w,u)作為Momentum 優(yōu)化算法目標(biāo)函數(shù)ft(w),分別對wu、w進(jìn)行尋優(yōu),Momentum 優(yōu)化算法的具體流程如下。

    但是Momentum 優(yōu)化算法收斂較慢,導(dǎo)致AdaNet 的整個子網(wǎng)搜索過程較慢;同時使用Momentum 優(yōu)化算法時,由于在整個訓(xùn)練過程中學(xué)習(xí)率都是固定的,所以每個維度的學(xué)習(xí)率都是一樣的,難以學(xué)習(xí)到稀疏數(shù)據(jù)上的有用信息;并且Momentum 優(yōu)化算法得到的AdaNet 集成體中子網(wǎng)的差異性較小,這樣不利于AdaNet集成體泛化誤差的減小。

    3 自適應(yīng)學(xué)習(xí)率的優(yōu)化算法

    本文為了增大不同子網(wǎng)內(nèi)部的網(wǎng)絡(luò)權(quán)重之間的差異性,改用自適應(yīng)學(xué)習(xí)率的優(yōu)化算法來對上述兩步進(jìn)行求解,具體使用了Adagrad、RMSProp、Adam、RAdam 這4 種優(yōu)化算法,下面給出了它們的完整流程。

    3.1 Adagrad優(yōu)化算法

    3.2 RMSProp優(yōu)化算法

    3.3 Adam優(yōu)化算法

    3.4 RAdam優(yōu)化算法

    4 實(shí)驗(yàn)與評估

    本文使用了上述幾種方法,在AdaNet 的子網(wǎng)搜索空間設(shè)置為基本CNN 的前提下,優(yōu)化子網(wǎng)內(nèi)部的網(wǎng)絡(luò)權(quán)重和子網(wǎng)集成時的混合權(quán)重,并且在標(biāo)準(zhǔn)測評數(shù)據(jù)集上測試了上述方法建立AdaNet 集成模型的性能,以說明使用RMSProp、Adam、RAdam 這類優(yōu)化算法時,相較于AdaNet 常用的Momentum 優(yōu)化算法,AdaNet 的整個訓(xùn)練過程不僅能夠快速收斂,并且得到的AdaNet集成模型效果也更好。

    4.1 數(shù)據(jù)集

    MNIST是美國國家標(biāo)準(zhǔn)與技術(shù)研究院收集整理的大型手寫數(shù)字?jǐn)?shù)據(jù)庫,包含60 000 個訓(xùn)練集樣本以及10 000 個測試集樣本,樣本是28×28的圖片,共有10個類別。這個數(shù)據(jù)集較為簡單,AdaNet 原始CNN 模型就能獲得較好效果,對于這個數(shù)據(jù)集的分類,目的是為了檢驗(yàn)本文觀點(diǎn),即能否讓AdaNet集成體學(xué)習(xí)到一些比較難學(xué)到的內(nèi)容。

    Fashion-MNIST 是一個替代MNIST 手寫數(shù)字集的圖像數(shù)據(jù)集。Fashion-MNIST 的格式、大小和訓(xùn)練集/測試集劃分與MNIST 完全一致,主要是增加了分類的難度。對這個數(shù)據(jù)集的分類更加具有挑戰(zhàn),目的是為了檢驗(yàn)本文觀點(diǎn)在更復(fù)雜的分類問題上是否同樣有效。

    為了檢驗(yàn)通過本文方法所得到的AdaNet 集成體,能否保持集成學(xué)習(xí)類算法能避免噪聲的特性。本文又在添加了高斯噪聲后的Fashion-MNIST 上進(jìn)行了對比實(shí)驗(yàn),具體添加方法為:源數(shù)據(jù)在分批訓(xùn)練時,隨機(jī)選取20 批次的數(shù)據(jù),為這些數(shù)據(jù)中的所有圖像都引入高斯噪聲。

    4.2 輸入?yún)?shù)設(shè)置

    對于不同的優(yōu)化算法,需要給定對應(yīng)的輸入?yún)?shù)。首先是全部優(yōu)化算法共有的兩個輸入?yún)?shù),即初始參數(shù)w0和學(xué)習(xí)率α。初始參數(shù)w0決定了在梯度下降過程中出現(xiàn)梯度消失或者梯度爆炸的可能性大小,本文使用He initialization[15]這種初始化方法來給定,這種方法不僅盡可能保持輸入和輸出服從相同分布,避免出現(xiàn)激活函數(shù)輸出值趨向于0 的情況,而且它還能很好適應(yīng)ReLU(Rectified Linear Unit)這種非線性激活函數(shù)。學(xué)習(xí)率α決定了權(quán)重更新比率,它需要根據(jù)訓(xùn)練集的大小來選擇,一般訓(xùn)練集數(shù)據(jù)量越大,α就應(yīng)該設(shè)在更小的值上[16]。如果α設(shè)得太小,訓(xùn)練速度會很慢,但可能將目標(biāo)函數(shù)值降到最低,如果α設(shè)得太大,訓(xùn)練速度會很快,但可能會導(dǎo)致學(xué)習(xí)震蕩,甚至可能無法收斂[17]。本文嘗試了α為1、0.5、0.1、0.05、0.01、0.005、0.001、0.000 5 這些情況,經(jīng)過前期測試,當(dāng)α為0.005時,既能夠保證訓(xùn)練速度,又能夠得到一個很低的目標(biāo)函數(shù)值。同時,由于Momentum 優(yōu)化算法在整個尋優(yōu)過程中都使用唯一的α,如果α選擇不當(dāng)可能出現(xiàn)非常差的情況。而Adagrad 等自適應(yīng)學(xué)習(xí)率優(yōu)化算法每次迭代都對α進(jìn)行不同程度的縮放,前期距離尋優(yōu)目標(biāo)遠(yuǎn),對α進(jìn)行放大,能夠更有效率地進(jìn)行探索,后期距離尋優(yōu)目標(biāo)近,對α進(jìn)行縮小,保證能夠收斂到一個較好的結(jié)果,所以Adagrad 等自適應(yīng)學(xué)習(xí)率優(yōu)化算法對α的要求比Momentum 優(yōu)化算法更低。由于本文3 組對比實(shí)驗(yàn)的訓(xùn)練集數(shù)據(jù)量大致相同,所以本文所有實(shí)驗(yàn)都基于相同的w0和α來進(jìn)行。

    然后是每個優(yōu)化算法特有的輸入?yún)?shù),本文根據(jù)Ruder[18]以及仝衛(wèi)國等[19]的研究進(jìn)行相關(guān)設(shè)置。對于Momentum 優(yōu)化算法,動量衰減參數(shù)γ取0.9,它類似物理中的摩擦系數(shù),用來抑制動量,在接近尋優(yōu)目標(biāo)后能快速收斂。對于Adagrad優(yōu)化算法,數(shù)值穩(wěn)定量ε取10-8,ε用一個極小的正數(shù),防止計(jì)算過程出現(xiàn)除以0,其他3 種自適應(yīng)學(xué)習(xí)率優(yōu)化算法RMSProp、Adam、RAdam中的ε也取相同值。對于RMSProp優(yōu)化算法,衰減速率ρ取0.9,它用來實(shí)現(xiàn)只累積近期梯度信息,用平均平方梯度替換累計(jì)平方梯度,避免梯度累計(jì)量過大。對于Adam 優(yōu)化算法和RAdam 優(yōu)化算法,梯度一階矩衰減系數(shù)β1取0.9,梯度二階矩衰減系數(shù)β2取0.999,梯度一階矩是歷史梯度與當(dāng)前梯度的平均,它借鑒于Momentum 用來保持慣性,實(shí)現(xiàn)梯度平滑、穩(wěn)定的過渡,梯度二階矩是歷史梯度平方與當(dāng)前梯度平方的平均,它借鑒于RMSProp 用來環(huán)境感知,保留能為不同維度參數(shù)自適應(yīng)地縮放學(xué)習(xí)率的優(yōu)點(diǎn)。

    4.3 評價(jià)標(biāo)準(zhǔn)

    在對比實(shí)驗(yàn)中,本文采用在測試集上的正確率(precision)、召回率(recall)、F1 值(F1_score)作為集成模型性能的評價(jià)指標(biāo),定義如下:

    而對于子網(wǎng)之間的差異性,由于AdaNet 中各個子網(wǎng)架構(gòu)都是相同的,主要差別在于子網(wǎng)內(nèi)部的網(wǎng)絡(luò)權(quán)重。本文先計(jì)算了每個子網(wǎng)網(wǎng)絡(luò)權(quán)重均值,并將兩子網(wǎng)網(wǎng)絡(luò)權(quán)重均值之差取平方作為它們之間的“差異性距離”,之后讓AdaNet 集成體中所有子網(wǎng)兩兩組合,對所有組合結(jié)果的“差異性距離”求和,最后對這個和取均值作為子網(wǎng)分歧項(xiàng)。具體定義如下:

    同時為了比較AdaNet 在使用不同優(yōu)化算法時的網(wǎng)絡(luò)架構(gòu)搜索速度,本文對所有實(shí)驗(yàn)的訓(xùn)練過程所用時間進(jìn)行了統(tǒng)計(jì)(本文在8 塊NVIDIA Tesla V100-SXM2-16GB 的GPU 分布式計(jì)算環(huán)境中進(jìn)行實(shí)驗(yàn),并且用TensorBoard 對整個訓(xùn)練過程進(jìn)行了監(jiān)控)。

    4.4 實(shí)驗(yàn)分析

    表1 展示了5 種優(yōu)化算法在MNIST 數(shù)據(jù)集上的結(jié)果,可以看到F1 值最高的是RAdam,同時它有著最大的子網(wǎng)分歧項(xiàng)。在這個較簡單數(shù)據(jù)集上RMSProp、Adam、RAdam 這3 種優(yōu)化算法效果普遍更好,即它們能讓AdaNet 集成體學(xué)習(xí)到一部分難以學(xué)到的內(nèi)容。

    表1 在MNIST數(shù)據(jù)集上不同優(yōu)化算法的結(jié)果Tab.1 Results of different optimization algorithms on MNIST dataset

    表2 則展示了在Fashion-MNIST 數(shù)據(jù)集上的結(jié)果,可以看到F1值最高的是RAdam,它同樣有著最大的子網(wǎng)分歧項(xiàng)。在Fashion-MNIST 數(shù)據(jù)集上RMSProp、Adam、RAdam 這3 種優(yōu)化算法也得到了更好的效果,即它們在使用AdaNet 處理更復(fù)雜的分類任務(wù)時也是有幫助的。

    表3 則展示了在添加高斯噪聲的Fashion-MNIST 數(shù)據(jù)集上的結(jié)果,F(xiàn)1值最高的都是Adam,它同樣有著最大的子網(wǎng)分歧項(xiàng)??梢钥吹絉MSProp、Adam、RAdam 在數(shù)據(jù)集中添加了噪聲后,損失函數(shù)均值和F1 值的影響比較小,即它們能夠幫助AdaNet集成體在一定程度上避免噪聲。

    3 組對比實(shí)驗(yàn)所用數(shù)據(jù)集的復(fù)雜程度是依次遞增的,它們對應(yīng)的損失函數(shù)曲面復(fù)雜程度也是依次遞增的??梢钥吹綋p失函數(shù)曲面越復(fù)雜,“較好的”局部極小值點(diǎn)越多,不同優(yōu)化算法得到的子網(wǎng)分歧項(xiàng)差別越大,即對于復(fù)雜問題,本文的改進(jìn)方法可以獲得更好的效果。

    在收斂方面,本文的3 組實(shí)驗(yàn)都是Adagrad 優(yōu)化算法收斂最快,但是Adagrad優(yōu)化算法所得到結(jié)果的F1值普遍不高,這是因?yàn)锳dagrad 流程中式子的分母隨著時間單調(diào)遞增。當(dāng)分母積累值過大后,收斂變得很小,導(dǎo)致訓(xùn)練后期變化幅度很小。對于SGD 和Momentum,隨機(jī)的特性導(dǎo)致了其收斂本身就不快,它們所得F1 值也不高。對于RMSProp、Adam、RAdam 則可以在保證較快收斂的前提下,同時得到較高的F1值。

    表3 在添加了高斯噪聲的Fashion-MNIST數(shù)據(jù)集上不同優(yōu)化算法的結(jié)果Tab.3 Results of different optimization algorithms on Fashion-MNIST dataset with Gaussian noise

    5 結(jié)語

    本文基于AdaNet 這種NAS 方法,引入RMSProp、Adam、RAdam 等自適應(yīng)學(xué)習(xí)率優(yōu)化算法來得到子網(wǎng)內(nèi)部的網(wǎng)絡(luò)權(quán)重和子網(wǎng)集成時的混合權(quán)重。實(shí)驗(yàn)結(jié)果表明,相對于現(xiàn)有的Momentum 優(yōu)化算法,本文方法在保證收斂較快,也就是網(wǎng)絡(luò)搜索效率較高的前提下,還能夠通過提高子網(wǎng)之間的差異性,使得AdaNet 集成模型擁有更高的準(zhǔn)確率,在越復(fù)雜的分類任務(wù)中優(yōu)化效果越明顯。

    本文的方法在AdaNet子網(wǎng)為簡單CNN 架構(gòu)時效果較好,在未來的工作中,將探討AdaNet子網(wǎng)為各種復(fù)雜CNN 架構(gòu)以及RNN架構(gòu)時,如何將它們組合為更好的AdaNet集成模型。

    猜你喜歡
    子網(wǎng)梯度權(quán)重
    一種簡單子網(wǎng)劃分方法及教學(xué)案例*
    一個改進(jìn)的WYL型三項(xiàng)共軛梯度法
    權(quán)重常思“浮名輕”
    一種自適應(yīng)Dai-Liao共軛梯度法
    子網(wǎng)劃分問題研究及應(yīng)用
    一類扭積形式的梯度近Ricci孤立子
    為黨督政勤履職 代民行權(quán)重?fù)?dān)當(dāng)
    基于公約式權(quán)重的截短線性分組碼盲識別方法
    子網(wǎng)劃分的簡易方法
    基于安全協(xié)議的虛擬專用子網(wǎng)研究
    河南科技(2014年16期)2014-02-27 14:13:04
    在线观看免费视频网站a站| 1024香蕉在线观看| 一区二区日韩欧美中文字幕| 久久精品国产亚洲av高清一级| 中文字幕人妻熟女乱码| 黄色怎么调成土黄色| 香蕉久久夜色| 波多野结衣av一区二区av| 国产伦理片在线播放av一区| 亚洲一区二区三区欧美精品| 成人18禁在线播放| 女性被躁到高潮视频| 天天躁夜夜躁狠狠躁躁| www.999成人在线观看| a级毛片在线看网站| 日本撒尿小便嘘嘘汇集6| 啦啦啦中文免费视频观看日本| 精品福利观看| 欧美变态另类bdsm刘玥| 久久久久国内视频| 国产亚洲午夜精品一区二区久久| 97人妻天天添夜夜摸| 国产成人系列免费观看| 国产伦人伦偷精品视频| 一进一出抽搐动态| 国产成人免费无遮挡视频| 国产一区二区三区视频了| 欧美午夜高清在线| 久久精品成人免费网站| 成人18禁高潮啪啪吃奶动态图| 少妇猛男粗大的猛烈进出视频| 最近最新中文字幕大全免费视频| 怎么达到女性高潮| 欧美黄色淫秽网站| 免费观看人在逋| 中文字幕人妻丝袜制服| a级毛片在线看网站| 亚洲熟女精品中文字幕| 桃花免费在线播放| svipshipincom国产片| 精品国产乱子伦一区二区三区| 亚洲午夜理论影院| 女性被躁到高潮视频| 在线观看www视频免费| 好男人电影高清在线观看| 日本欧美视频一区| 国产在线视频一区二区| 久久精品国产亚洲av高清一级| 亚洲一区二区三区欧美精品| svipshipincom国产片| 下体分泌物呈黄色| 精品乱码久久久久久99久播| 中文字幕人妻熟女乱码| 亚洲成人手机| 精品人妻1区二区| 成年人免费黄色播放视频| 桃红色精品国产亚洲av| 精品国产乱子伦一区二区三区| 欧美日韩黄片免| 免费在线观看完整版高清| 18在线观看网站| 丰满人妻熟妇乱又伦精品不卡| 欧美精品亚洲一区二区| 久久av网站| 大香蕉久久成人网| 啦啦啦在线免费观看视频4| 老汉色∧v一级毛片| 91精品三级在线观看| 两性夫妻黄色片| 国产在线精品亚洲第一网站| 亚洲精品中文字幕在线视频| 日韩三级视频一区二区三区| 亚洲国产精品一区二区三区在线| 肉色欧美久久久久久久蜜桃| 色婷婷久久久亚洲欧美| avwww免费| 国产不卡一卡二| 一本一本久久a久久精品综合妖精| 欧美日韩中文字幕国产精品一区二区三区 | 美女扒开内裤让男人捅视频| 一级毛片女人18水好多| 免费日韩欧美在线观看| 美女视频免费永久观看网站| 国产野战对白在线观看| 精品少妇黑人巨大在线播放| 久久久久久久精品吃奶| 操出白浆在线播放| 久久国产精品人妻蜜桃| 亚洲中文日韩欧美视频| 蜜桃国产av成人99| 90打野战视频偷拍视频| 日韩中文字幕视频在线看片| 国产精品一区二区精品视频观看| 亚洲成av片中文字幕在线观看| 如日韩欧美国产精品一区二区三区| 高潮久久久久久久久久久不卡| 欧美亚洲日本最大视频资源| 精品久久久久久久毛片微露脸| 久久这里只有精品19| 国产亚洲精品一区二区www | 免费高清在线观看日韩| 狂野欧美激情性xxxx| 在线十欧美十亚洲十日本专区| 99re在线观看精品视频| 一区二区三区精品91| 夫妻午夜视频| 大型黄色视频在线免费观看| 黄色视频在线播放观看不卡| 看免费av毛片| 成人精品一区二区免费| 曰老女人黄片| 亚洲专区中文字幕在线| 久久精品国产亚洲av香蕉五月 | 日韩免费av在线播放| 国产主播在线观看一区二区| av有码第一页| 午夜福利在线观看吧| 亚洲成a人片在线一区二区| 丰满迷人的少妇在线观看| 久久久久网色| 免费看a级黄色片| a级片在线免费高清观看视频| 色94色欧美一区二区| 亚洲人成伊人成综合网2020| 欧美国产精品va在线观看不卡| 国产不卡一卡二| 亚洲精品自拍成人| 国产1区2区3区精品| 日本五十路高清| 久久人妻熟女aⅴ| 夫妻午夜视频| 亚洲专区中文字幕在线| 黄色视频不卡| 国产精品.久久久| 午夜激情av网站| 黄片播放在线免费| 欧美国产精品一级二级三级| 黄片播放在线免费| 真人做人爱边吃奶动态| 欧美日韩av久久| 国产日韩欧美亚洲二区| 亚洲久久久国产精品| 免费看十八禁软件| 国产成人欧美在线观看 | 人人妻人人澡人人看| 久久午夜综合久久蜜桃| 亚洲自偷自拍图片 自拍| 少妇粗大呻吟视频| 国产主播在线观看一区二区| 黄频高清免费视频| 99香蕉大伊视频| 国产精品电影一区二区三区 | 99精品欧美一区二区三区四区| 午夜精品久久久久久毛片777| 午夜日韩欧美国产| 国产av一区二区精品久久| 久久性视频一级片| av不卡在线播放| 热99久久久久精品小说推荐| 热99re8久久精品国产| 无限看片的www在线观看| 一区福利在线观看| 日韩有码中文字幕| 9热在线视频观看99| 久久av网站| 一区二区av电影网| 国产视频一区二区在线看| 国产一区二区三区综合在线观看| 91麻豆av在线| 久久久久久久国产电影| 久久久久久久久久久久大奶| 日本av手机在线免费观看| av天堂在线播放| 纵有疾风起免费观看全集完整版| 国产精品电影一区二区三区 | 成人亚洲精品一区在线观看| 色尼玛亚洲综合影院| 蜜桃国产av成人99| 大陆偷拍与自拍| 欧美国产精品一级二级三级| 欧美 日韩 精品 国产| 久久人妻福利社区极品人妻图片| 亚洲精品国产一区二区精华液| 欧美日韩黄片免| 99精国产麻豆久久婷婷| 欧美国产精品一级二级三级| 久久久久久人人人人人| 搡老乐熟女国产| 咕卡用的链子| 另类亚洲欧美激情| 久久久久久亚洲精品国产蜜桃av| 日韩一区二区三区影片| 成人亚洲精品一区在线观看| 午夜成年电影在线免费观看| 99久久人妻综合| 久久亚洲真实| 大片免费播放器 马上看| 精品一区二区三卡| 日本一区二区免费在线视频| 侵犯人妻中文字幕一二三四区| 国产精品.久久久| 欧美另类亚洲清纯唯美| 女同久久另类99精品国产91| 狠狠婷婷综合久久久久久88av| 国产片内射在线| 韩国精品一区二区三区| 夜夜爽天天搞| 亚洲 欧美一区二区三区| 亚洲国产毛片av蜜桃av| 两性夫妻黄色片| 国产成+人综合+亚洲专区| 国产成人系列免费观看| 日本一区二区免费在线视频| 国产精品1区2区在线观看. | 国产三级黄色录像| av一本久久久久| 亚洲av成人不卡在线观看播放网| 久久九九热精品免费| av电影中文网址| 蜜桃在线观看..| 日本wwww免费看| 国产精品一区二区精品视频观看| 日韩欧美免费精品| 窝窝影院91人妻| av在线播放免费不卡| 久9热在线精品视频| 免费在线观看视频国产中文字幕亚洲| 国产在线免费精品| 最近最新中文字幕大全电影3 | 999精品在线视频| 18禁美女被吸乳视频| 青青草视频在线视频观看| 午夜福利视频在线观看免费| 免费观看a级毛片全部| 色婷婷久久久亚洲欧美| 99精国产麻豆久久婷婷| 亚洲专区中文字幕在线| 国产伦人伦偷精品视频| 色综合婷婷激情| 80岁老熟妇乱子伦牲交| 亚洲国产欧美在线一区| 国产深夜福利视频在线观看| a级毛片在线看网站| 王馨瑶露胸无遮挡在线观看| 欧美黄色片欧美黄色片| 色尼玛亚洲综合影院| 人人妻,人人澡人人爽秒播| 丝袜人妻中文字幕| 日韩免费高清中文字幕av| 久久av网站| 亚洲国产欧美在线一区| 久久久久久久大尺度免费视频| 国产精品久久久久久人妻精品电影 | 日日夜夜操网爽| 成年动漫av网址| 日本wwww免费看| 国产精品亚洲一级av第二区| 丝袜美腿诱惑在线| av国产精品久久久久影院| 精品视频人人做人人爽| 热99re8久久精品国产| 精品福利观看| 欧美日韩亚洲综合一区二区三区_| 黑人猛操日本美女一级片| 五月天丁香电影| 777久久人妻少妇嫩草av网站| 国产黄色免费在线视频| 午夜激情久久久久久久| 一本综合久久免费| 丰满饥渴人妻一区二区三| 国产成人欧美| av线在线观看网站| 黄片小视频在线播放| 国产精品 国内视频| 在线播放国产精品三级| 国产亚洲一区二区精品| 欧美激情极品国产一区二区三区| 一进一出抽搐动态| 丰满少妇做爰视频| 亚洲精品久久成人aⅴ小说| 亚洲一区二区三区欧美精品| 人人澡人人妻人| 久久久久久久大尺度免费视频| 精品久久久久久久毛片微露脸| 精品欧美一区二区三区在线| 精品福利观看| 91精品三级在线观看| 久久这里只有精品19| 中文字幕精品免费在线观看视频| 两个人免费观看高清视频| 亚洲一卡2卡3卡4卡5卡精品中文| 国产片内射在线| 久久久久久久大尺度免费视频| 久久久久国内视频| 老司机亚洲免费影院| 90打野战视频偷拍视频| 真人做人爱边吃奶动态| 久久久水蜜桃国产精品网| 国产片内射在线| 国产xxxxx性猛交| 色婷婷av一区二区三区视频| 久久久久久久大尺度免费视频| 最新的欧美精品一区二区| 在线十欧美十亚洲十日本专区| 90打野战视频偷拍视频| 真人做人爱边吃奶动态| 国产亚洲欧美在线一区二区| 看免费av毛片| 国产在线视频一区二区| 一级毛片女人18水好多| 一二三四社区在线视频社区8| 国产高清videossex| 在线观看一区二区三区激情| 亚洲免费av在线视频| 亚洲 国产 在线| 久久精品亚洲av国产电影网| 日本黄色视频三级网站网址 | a级毛片在线看网站| 超碰成人久久| 日韩欧美免费精品| 成人永久免费在线观看视频 | 一本大道久久a久久精品| 国产精品.久久久| 精品一区二区三区av网在线观看 | 久久这里只有精品19| 亚洲国产欧美日韩在线播放| a在线观看视频网站| 老司机在亚洲福利影院| cao死你这个sao货| 老熟妇乱子伦视频在线观看| 天天操日日干夜夜撸| 两性午夜刺激爽爽歪歪视频在线观看 | a在线观看视频网站| 我的亚洲天堂| av天堂在线播放| av网站免费在线观看视频| 国产精品一区二区免费欧美| 精品人妻1区二区| 1024视频免费在线观看| 午夜免费鲁丝| 亚洲国产毛片av蜜桃av| 超色免费av| 精品卡一卡二卡四卡免费| 美女午夜性视频免费| a在线观看视频网站| 丝袜美足系列| av在线播放免费不卡| 久久午夜亚洲精品久久| 看免费av毛片| 精品国产一区二区三区四区第35| 亚洲第一欧美日韩一区二区三区 | 国产成人精品久久二区二区91| 黑人操中国人逼视频| 大香蕉久久网| 亚洲成人手机| 精品国产一区二区三区久久久樱花| 国产1区2区3区精品| 99在线人妻在线中文字幕 | 变态另类成人亚洲欧美熟女 | 我要看黄色一级片免费的| 成在线人永久免费视频| 久久久精品94久久精品| 真人做人爱边吃奶动态| 久9热在线精品视频| 精品第一国产精品| tube8黄色片| 国产欧美日韩综合在线一区二区| 一二三四在线观看免费中文在| 国产欧美日韩精品亚洲av| 91av网站免费观看| 亚洲人成电影免费在线| 法律面前人人平等表现在哪些方面| 欧美精品亚洲一区二区| 亚洲熟妇熟女久久| 亚洲avbb在线观看| 建设人人有责人人尽责人人享有的| 日韩熟女老妇一区二区性免费视频| 国产精品免费大片| 极品少妇高潮喷水抽搐| 超色免费av| 99国产精品一区二区三区| 一区福利在线观看| 免费看十八禁软件| 精品国产一区二区久久| 91精品国产国语对白视频| 99久久人妻综合| 一级,二级,三级黄色视频| 丰满迷人的少妇在线观看| 伊人久久大香线蕉亚洲五| 亚洲精品自拍成人| 久久人妻av系列| 97在线人人人人妻| 91av网站免费观看| 黄色片一级片一级黄色片| 性少妇av在线| 美国免费a级毛片| videosex国产| 日本wwww免费看| 免费在线观看日本一区| 国产一区有黄有色的免费视频| 亚洲一区二区三区欧美精品| 老司机午夜福利在线观看视频 | 97人妻天天添夜夜摸| 亚洲精品国产精品久久久不卡| 一级片'在线观看视频| 亚洲全国av大片| 1024视频免费在线观看| 久久精品国产综合久久久| 他把我摸到了高潮在线观看 | 自线自在国产av| 欧美亚洲 丝袜 人妻 在线| 一本综合久久免费| 老汉色av国产亚洲站长工具| 久久久国产一区二区| 韩国精品一区二区三区| 免费观看人在逋| 男男h啪啪无遮挡| 露出奶头的视频| 亚洲av成人一区二区三| 久久久水蜜桃国产精品网| 国产激情久久老熟女| 亚洲三区欧美一区| 久久天堂一区二区三区四区| 欧美日韩福利视频一区二区| 欧美乱码精品一区二区三区| 日韩 欧美 亚洲 中文字幕| 男女免费视频国产| 99国产精品99久久久久| 91麻豆精品激情在线观看国产 | 亚洲av成人不卡在线观看播放网| 国产精品偷伦视频观看了| 色老头精品视频在线观看| 精品久久久久久久毛片微露脸| 两个人看的免费小视频| 美女午夜性视频免费| 亚洲人成伊人成综合网2020| 亚洲精品国产区一区二| 最近最新免费中文字幕在线| 香蕉久久夜色| 视频区欧美日本亚洲| 高清在线国产一区| 久久久久精品人妻al黑| 搡老熟女国产l中国老女人| 男女免费视频国产| 亚洲熟女毛片儿| 欧美激情高清一区二区三区| 欧美日韩国产mv在线观看视频| 男女之事视频高清在线观看| av免费在线观看网站| 91国产中文字幕| 在线亚洲精品国产二区图片欧美| 国产成人免费观看mmmm| 国产高清激情床上av| 国产一区二区 视频在线| 久久久欧美国产精品| 日韩中文字幕视频在线看片| 啦啦啦免费观看视频1| 亚洲国产欧美在线一区| 亚洲成人免费电影在线观看| 国产高清视频在线播放一区| 悠悠久久av| 亚洲国产欧美一区二区综合| 午夜91福利影院| 亚洲情色 制服丝袜| 国产av一区二区精品久久| 老司机福利观看| 丁香六月天网| 无人区码免费观看不卡 | 色94色欧美一区二区| 国产成人av激情在线播放| 考比视频在线观看| 老司机福利观看| 免费黄频网站在线观看国产| 精品国产一区二区久久| 亚洲国产欧美日韩在线播放| 一区二区三区精品91| 少妇 在线观看| 天天操日日干夜夜撸| 免费在线观看视频国产中文字幕亚洲| 五月开心婷婷网| 久久久久久久久免费视频了| 在线永久观看黄色视频| 久久人妻av系列| 岛国毛片在线播放| 夜夜骑夜夜射夜夜干| 母亲3免费完整高清在线观看| 精品国产亚洲在线| 国产精品秋霞免费鲁丝片| 巨乳人妻的诱惑在线观看| av天堂久久9| 女人久久www免费人成看片| 两性午夜刺激爽爽歪歪视频在线观看 | 国精品久久久久久国模美| 国产av精品麻豆| 97人妻天天添夜夜摸| 欧美日韩视频精品一区| 波多野结衣av一区二区av| 国产高清videossex| av有码第一页| 在线十欧美十亚洲十日本专区| 欧美日韩成人在线一区二区| av天堂在线播放| www.精华液| 欧美日本中文国产一区发布| 我要看黄色一级片免费的| 国产成人影院久久av| 日韩制服丝袜自拍偷拍| 国产亚洲午夜精品一区二区久久| 国产在线免费精品| 一边摸一边抽搐一进一出视频| 如日韩欧美国产精品一区二区三区| 极品少妇高潮喷水抽搐| 正在播放国产对白刺激| 亚洲人成77777在线视频| 亚洲一区中文字幕在线| 麻豆国产av国片精品| 波多野结衣av一区二区av| 久久午夜综合久久蜜桃| 日韩视频一区二区在线观看| 亚洲欧美日韩另类电影网站| 午夜老司机福利片| 国产av一区二区精品久久| 国产1区2区3区精品| 大型av网站在线播放| 妹子高潮喷水视频| 少妇的丰满在线观看| 欧美黄色片欧美黄色片| 国产成+人综合+亚洲专区| 欧美日韩成人在线一区二区| 国产亚洲精品第一综合不卡| 成人18禁高潮啪啪吃奶动态图| 日韩视频一区二区在线观看| 在线观看免费视频日本深夜| 日本撒尿小便嘘嘘汇集6| 久久毛片免费看一区二区三区| 中文字幕高清在线视频| 一级片免费观看大全| 久久久久久人人人人人| 免费久久久久久久精品成人欧美视频| 日本黄色日本黄色录像| 国产精品国产高清国产av | 欧美精品av麻豆av| 日韩视频一区二区在线观看| 麻豆乱淫一区二区| 亚洲成a人片在线一区二区| 亚洲精品一二三| 天天躁日日躁夜夜躁夜夜| 超色免费av| 丁香六月天网| 精品一区二区三区av网在线观看 | 精品少妇久久久久久888优播| 肉色欧美久久久久久久蜜桃| 另类精品久久| 可以免费在线观看a视频的电影网站| 一本一本久久a久久精品综合妖精| 国产成+人综合+亚洲专区| 国产精品成人在线| 少妇精品久久久久久久| 高潮久久久久久久久久久不卡| 亚洲欧美一区二区三区黑人| 免费在线观看影片大全网站| 亚洲avbb在线观看| videosex国产| 亚洲精品成人av观看孕妇| 国产麻豆69| 国产91精品成人一区二区三区 | 电影成人av| 韩国精品一区二区三区| 久久久久精品国产欧美久久久| 大陆偷拍与自拍| 成人特级黄色片久久久久久久 | 美女视频免费永久观看网站| 久久久国产一区二区| av有码第一页| 一级黄色大片毛片| 国产97色在线日韩免费| 国产不卡av网站在线观看| 香蕉久久夜色| tocl精华| 午夜福利欧美成人| 国产免费视频播放在线视频| 中亚洲国语对白在线视频| 黑人巨大精品欧美一区二区蜜桃| 正在播放国产对白刺激| 中文字幕另类日韩欧美亚洲嫩草| 999精品在线视频| 国产男女内射视频| 精品久久久久久久毛片微露脸| 建设人人有责人人尽责人人享有的| 久久精品国产99精品国产亚洲性色 | 亚洲成人国产一区在线观看| 老司机深夜福利视频在线观看| 制服诱惑二区| 一区福利在线观看| 久久精品国产综合久久久| 欧美乱妇无乱码| 国产精品香港三级国产av潘金莲| 男男h啪啪无遮挡| 欧美精品人与动牲交sv欧美| 激情视频va一区二区三区| 黄色片一级片一级黄色片| 在线观看人妻少妇| 国产极品粉嫩免费观看在线| 午夜福利视频在线观看免费| 亚洲国产精品一区二区三区在线| 激情视频va一区二区三区| 亚洲伊人久久精品综合| 午夜福利乱码中文字幕| 怎么达到女性高潮| 国产有黄有色有爽视频| 久久精品国产综合久久久| 久久中文字幕一级| 超碰成人久久| 中文欧美无线码| 久久精品国产a三级三级三级|