• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于RBF神經(jīng)網(wǎng)絡(luò)的集成增量學(xué)習(xí)算法

    2016-07-19 02:13:57彭玉青趙翠翠高晴晴
    計算機應(yīng)用與軟件 2016年6期
    關(guān)鍵詞:增量權(quán)值類別

    彭玉青 趙翠翠 高晴晴

    (河北工業(yè)大學(xué)計算機科學(xué)與軟件學(xué)院 天津 300401)

    ?

    基于RBF神經(jīng)網(wǎng)絡(luò)的集成增量學(xué)習(xí)算法

    彭玉青趙翠翠高晴晴

    (河北工業(yè)大學(xué)計算機科學(xué)與軟件學(xué)院天津 300401)

    摘要針對增量學(xué)習(xí)的遺忘性問題和集成增量學(xué)習(xí)的網(wǎng)絡(luò)增長過快問題,提出基于徑向基神經(jīng)網(wǎng)絡(luò)(RBF)的集成增量學(xué)習(xí)方法。為了避免網(wǎng)絡(luò)的遺忘性,每次學(xué)習(xí)新類別知識時都訓(xùn)練一個RBF神經(jīng)網(wǎng)絡(luò),把新訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)加入到集成系統(tǒng)中,從而組建成一個大的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。分別采用最近中心法、最大概率法、最近中心與最大概率相結(jié)合的方法進行確定獲勝子網(wǎng)絡(luò),最終結(jié)果由獲勝子網(wǎng)絡(luò)進行輸出。在最大概率法中引入自組織映(SOM)的原型向量來解決類中心相近問題。為了驗證網(wǎng)絡(luò)的增量學(xué)習(xí),用UCI 機器學(xué)習(xí)庫中Statlog(Landsat Satellite)數(shù)據(jù)集做實驗,結(jié)果顯示該網(wǎng)絡(luò)在學(xué)習(xí)新類別知識后,既獲得了新類別的知識也沒有遺忘已學(xué)知識。

    關(guān)鍵詞RBFSOM增量學(xué)習(xí)

    0引言

    傳統(tǒng)神經(jīng)網(wǎng)絡(luò)只能進行一次學(xué)習(xí),不能在第一次學(xué)習(xí)的基礎(chǔ)上實現(xiàn)二次學(xué)習(xí)?,F(xiàn)實生活中不可能一次性獲得所有的神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù),所以很多學(xué)者提出了增量學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。但是設(shè)計增量學(xué)習(xí)網(wǎng)絡(luò)必須要面對網(wǎng)絡(luò)的穩(wěn)定性和可塑性這個難題[1]。所謂穩(wěn)定性就是為了記住已學(xué)過的知識,網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)不能發(fā)生改變;可塑性就是為了學(xué)習(xí)新的知識,要對已有網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)進行調(diào)整,不能完全保持網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)不變。但是網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)一旦發(fā)生改變,網(wǎng)絡(luò)就會產(chǎn)生遺忘性,這樣的增量學(xué)習(xí)網(wǎng)絡(luò)是沒有意義的,所以要實現(xiàn)增量學(xué)習(xí)就必須建立在穩(wěn)定性的基礎(chǔ)之上。

    神經(jīng)網(wǎng)絡(luò)集成就是保持穩(wěn)定性和可塑性之間很好的折中方法。Learn++算法[2]和負(fù)相關(guān)算法[3]都是神經(jīng)網(wǎng)絡(luò)集成的增量學(xué)習(xí)算法。通過對新知識的學(xué)習(xí)產(chǎn)生多個弱分類器,加入到增量學(xué)習(xí)系統(tǒng)中。這種網(wǎng)絡(luò)能夠很好地保留已學(xué)知識,但是網(wǎng)絡(luò)增長的速度非???,使得網(wǎng)絡(luò)過于龐大,不具有實用性。雖然有些學(xué)者又提出了選擇性負(fù)相關(guān)的增量學(xué)習(xí)[4],但是在進行網(wǎng)絡(luò)選擇的過程中,會使得網(wǎng)絡(luò)產(chǎn)生一定的遺忘性。

    RBF神經(jīng)網(wǎng)絡(luò)和模糊規(guī)則相結(jié)合的增量學(xué)習(xí)[5,6],通過規(guī)則增長條件判斷是否增加RBF的核函數(shù)來進行增量學(xué)習(xí)。選用高斯函數(shù)作為RBF的核函數(shù),該函數(shù)能夠?qū)斎胧噶慨a(chǎn)生局部響應(yīng),輸出節(jié)點對隱層節(jié)點的輸出進行線性加權(quán),從而實現(xiàn)輸入空間到輸出空間的映射,使整個網(wǎng)絡(luò)達到分類和函數(shù)逼近的目的[7]。但是這種增量學(xué)習(xí)網(wǎng)絡(luò)在學(xué)習(xí)的過程中會修改已學(xué)規(guī)則的參數(shù),從而產(chǎn)生遺忘性。

    自組織映射與概率神經(jīng)網(wǎng)絡(luò)相結(jié)合的增量學(xué)習(xí)網(wǎng)絡(luò)(IMSOMPNN)[13],通過SOM對每一個類別的訓(xùn)練數(shù)據(jù)進行學(xué)習(xí)并得到原型向量,用原型向量構(gòu)建PNN。這種增量學(xué)習(xí)在沒有遺忘已學(xué)知識的前提下實現(xiàn)了增量學(xué)習(xí)。但是IMSOMPNN每次只能學(xué)習(xí)一個類別的知識,不能實現(xiàn)知識的多類別學(xué)習(xí),會使得網(wǎng)絡(luò)的學(xué)習(xí)過于繁瑣。

    針對以上問題本文提出了基于RBF集成增量的學(xué)習(xí)方法。當(dāng)新知識到來時通過RBF神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí),在RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程中,采用k-均值聚類算法找中心和相應(yīng)的寬度,用偽逆法[8]求子網(wǎng)絡(luò)權(quán)值和偏置權(quán)值,將得到的子網(wǎng)絡(luò)加入到神經(jīng)網(wǎng)絡(luò)集成系統(tǒng)中,通過最近中心確定獲勝子網(wǎng)絡(luò),最終結(jié)果由獲勝子網(wǎng)絡(luò)輸出。

    由于RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不能去除噪聲數(shù)據(jù),也不能包含所有的特征信息,所以本文又提出了RBF與SOM相結(jié)合的集成增量學(xué)習(xí)方法。與上述方法不同之處在于:該方法采用SOM對子網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)進行學(xué)習(xí),子網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)有可能是一個類別的訓(xùn)練數(shù)據(jù),也可能是多個類別的訓(xùn)練數(shù)據(jù)。用SOM訓(xùn)練后的原型向量構(gòu)建概率神經(jīng)網(wǎng)絡(luò),用于求出每個子網(wǎng)絡(luò)的最大概率,通過最大概率準(zhǔn)則確定獲勝子網(wǎng)絡(luò),而不是通過最近中心確定獲勝子網(wǎng)絡(luò)。

    結(jié)合以上兩種方法,本文又提出了最近中心與最大概率相結(jié)合的方法來確定獲勝子網(wǎng)絡(luò)。最后分別采用這三種方法進行實驗。實驗結(jié)果表明了這三種集成的增量學(xué)習(xí)方法沒有改變已學(xué)知識的子網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù),不會對已學(xué)知識產(chǎn)生遺忘性,所以本文提出的增量學(xué)習(xí)網(wǎng)絡(luò)可以在對已學(xué)知識不產(chǎn)生遺忘的基礎(chǔ)上,進行增量學(xué)習(xí),而且增量學(xué)習(xí)后的網(wǎng)絡(luò)識別率很高;與其他集成增量學(xué)習(xí)相比,本文的方法每次增量學(xué)習(xí)只增加一個子網(wǎng)絡(luò),避免了網(wǎng)絡(luò)系統(tǒng)過于龐大的問題;每次增量學(xué)習(xí)可以實現(xiàn)多類別知識的學(xué)習(xí),避免了逐個類別知識學(xué)習(xí)的繁瑣性。

    1網(wǎng)絡(luò)結(jié)構(gòu)

    如圖1所示本網(wǎng)絡(luò)分為四層。第一層為網(wǎng)絡(luò)輸入層,輸入為xi(i=1,2,…,n)。第二層為核函數(shù)層,本網(wǎng)絡(luò)采用高斯函數(shù)作為核函數(shù),核函數(shù)為:

    (1)

    (2)

    圖1 RBF增量學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)圖

    第三層為子網(wǎng)絡(luò)輸出層,期望輸出公式為:

    (3)

    第四層為集成系統(tǒng)的輸出,輸出公式為:

    (4)

    其中,bj為第j個子網(wǎng)絡(luò)與系統(tǒng)輸出之間的輸出權(quán)值,j的取值為:j=1,…,u,y為集成系統(tǒng)的總輸出。

    2增量學(xué)習(xí)過程

    本文的RBF神經(jīng)網(wǎng)絡(luò)采用K-均值聚類算法得到中心,用偽逆法求得權(quán)值和偏置。分別用最近中心法、最大概率法、最近中心與最大概率相結(jié)合的方法確定獲勝子網(wǎng)絡(luò)。獲勝子網(wǎng)絡(luò)的輸出權(quán)值為1,非獲勝子網(wǎng)絡(luò)的輸出權(quán)值為0,網(wǎng)絡(luò)的最終結(jié)果由獲勝子網(wǎng)絡(luò)進行輸出。最大概率法中用SOM已學(xué)過的原型向量通過PNN(概率神經(jīng)網(wǎng)絡(luò))得到子網(wǎng)絡(luò)的最大概率。

    本文每次增量學(xué)習(xí)只增加一個子網(wǎng)絡(luò),避免了網(wǎng)絡(luò)系統(tǒng)過于龐大的問題;每次增量學(xué)習(xí)可以實現(xiàn)多類別知識的學(xué)習(xí),避免了逐個類別知識學(xué)習(xí)的繁瑣性。

    2.1K-均值算法選取網(wǎng)絡(luò)中心

    K-均值聚類算法[9,10]是一種模式聚類算法,聚類分析是根據(jù)數(shù)據(jù)空間的內(nèi)在性質(zhì)將其分成一些聚合類,它是在不對數(shù)據(jù)作任何假設(shè)的條件下進行的,是完全非監(jiān)督的學(xué)習(xí)過程。其原理是首先初始化中心,中心的個數(shù)主觀確定。然后將輸入樣本按最鄰近規(guī)則分組。

    假設(shè)初始中心的個數(shù)為m,即將xi(i=1,2,…,n)按最鄰近規(guī)則分配給中心m個初始中心,得到m個輸入樣本聚類集合θk(k=1,…,m)。要求滿足:

    (5)

    中心確定以后,相應(yīng)的計算寬度σk,本文的寬度為:

    σk=λ×dk

    (6)

    經(jīng)過多次實驗,本文取λ為2。

    2.2偽逆求子網(wǎng)絡(luò)的權(quán)值和偏置

    在中心和寬度已知的情況下,用偽逆法可直接求解核函數(shù)層與子網(wǎng)絡(luò)輸出層的輸出權(quán)值和偏置權(quán)值。

    用k-均值聚類法計算出中心并求出相應(yīng)的寬度,根據(jù)中心和寬度求出核函數(shù)層輸出矩陣R。由于加了一個偏置神經(jīng)元,并且偏置神經(jīng)元的取值為1,所以要擴展核函數(shù)輸出矩陣為:

    (7)

    其中,G比R增加了一維偏置神經(jīng)元的輸出,期望輸出矩陣D,權(quán)值矩陣W的輸出公式為:

    W=DG+

    (8)

    其中G+為G的偽逆:

    G+=(GTG)GT

    (9)

    2.3確定獲勝子網(wǎng)絡(luò)

    本文采用三種方法確定獲勝子網(wǎng)絡(luò),分別是用最近中心確定獲勝子網(wǎng)絡(luò)、最大概率確定獲勝子網(wǎng)絡(luò)、最近中心與最大概率相結(jié)合的方法確定獲勝子網(wǎng)絡(luò)。

    2.3.1最近中心確定獲勝子網(wǎng)絡(luò)

    RBF是一種局部分布的、中心對稱衰減的非負(fù)非線性函數(shù)[11]。局部分布是指僅當(dāng)輸入落在輸入空間一個很小的指定區(qū)域時,隱單元的徑向基函數(shù)才做出有意義的非零響應(yīng)。中心徑向?qū)ΨQ衰減是指與基函數(shù)中心徑向距離相同的輸入,隱節(jié)點中的徑向基函數(shù)都產(chǎn)生相同的輸出[12]。并且輸入與RBF的中心越近,核函數(shù)的響應(yīng)越大,所以本論文中子網(wǎng)絡(luò)與集成系統(tǒng)輸出之間的權(quán)值由測試數(shù)據(jù)與RBF的最近中心決定,所謂最近中心就是指輸入數(shù)據(jù)與RBF所有中心的徑向距離中最小的一個中心。圖2為最近中心確定獲勝子網(wǎng)絡(luò)增量學(xué)習(xí)方法。

    圖2 最近中心法確定獲勝子網(wǎng)絡(luò)方法

    具體算法如下:

    (1) 計算測試數(shù)據(jù)與網(wǎng)絡(luò)集成中心的徑向距離,找出徑向距離最小的中心,即為最近中心。

    (2) 判斷最近中心所屬子網(wǎng)絡(luò),即為獲勝子網(wǎng)絡(luò);獲勝子網(wǎng)絡(luò)的輸出權(quán)值為1,非獲勝子網(wǎng)絡(luò)的輸出權(quán)值為0。

    RBF訓(xùn)練過程中不能去除噪聲數(shù)據(jù),而且網(wǎng)絡(luò)的中心個數(shù)是有限的,如果中心太多RBF的訓(xùn)練會出現(xiàn)過擬合現(xiàn)象。由于RBF中心個數(shù)的限制,每個中心都包含了一部分特征信息,導(dǎo)致網(wǎng)絡(luò)中心不能完全包含所有的特征信息。如果兩個子網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)特別相似,就會出現(xiàn)部分中心相似性,當(dāng)用最近中心確定獲勝子網(wǎng)時,很有可能選錯子網(wǎng)絡(luò)。而通過SOM學(xué)習(xí)得到的原型向量包含了訓(xùn)練數(shù)據(jù)更多的特征信息,同時也會去除噪聲數(shù)據(jù),所以本文考慮采用SOM的原型向量進一步確定獲勝子網(wǎng)絡(luò)。

    2.3.2最大概率確定獲勝子網(wǎng)絡(luò)

    SOM是無導(dǎo)師學(xué)習(xí)的方法,具有良好的自組織能力。通過SOM學(xué)習(xí)可以去除含有噪聲的特征數(shù)據(jù),得到更為緊湊的原型向量,并且原型向量的維數(shù)和輸入數(shù)據(jù)的維數(shù)相同,用得到的原型向量來構(gòu)建PNN。SOM[12,13]訓(xùn)練時,采用批量處理的訓(xùn)練方式,鄰域函數(shù)為高斯函數(shù)。

    具體算法如下:

    (2) 根據(jù)劃分到Voronoi區(qū)域Vj中的樣本個數(shù)nj,計算這些樣本的均值,公式如下:

    (10)

    其中,xp∈Vj,1≤p≤nj。

    (3) 更新原型向量:

    (11)

    其中,hjk(t)為鄰域函數(shù),hjk(t)依賴于獲勝神經(jīng)元k和興奮神經(jīng)元j在輸出空間的側(cè)向距離,本文中鄰域函數(shù)為高斯函數(shù)。

    由于k-均值聚類法沒有對訓(xùn)練數(shù)據(jù)進行去除噪聲,不同網(wǎng)絡(luò)的相似性高的訓(xùn)練數(shù)據(jù)會得到相似的中心,從而在選擇獲勝子網(wǎng)絡(luò)時發(fā)生錯誤,所以增加了子網(wǎng)絡(luò)的最大概率這個判定條件,圖3為最大概率確定獲勝網(wǎng)絡(luò)的整體增量學(xué)習(xí)過程圖。

    圖3 增量學(xué)習(xí)過程

    最大概率確定獲勝子網(wǎng)絡(luò)具體算法如下:

    (12)

    p(x|ωj)=max(pl(x|ωj))

    (13)

    式中,第j個子網(wǎng)絡(luò)的概率p(x|ωj)為pl(x|ωj)中最大的一個。其中δ為平滑因子,公式如下:

    (14)

    其中‖χu,l-χu,j‖為兩個原型向量的徑向距離。

    2.3.3最近中心與最大概率確定獲勝子網(wǎng)絡(luò)

    經(jīng)過多次的實驗發(fā)現(xiàn),最近中心和次近中心如果屬于同一個子網(wǎng)絡(luò),那么僅根據(jù)最近中心確定的獲勝子網(wǎng)絡(luò)輸出的結(jié)果正確率很高,所謂最近中心就是指輸入數(shù)據(jù)與RBF所有中心的徑向距離中最小的一個中心,輸入數(shù)據(jù)與RBF所有中心的徑向距離中第二小的中心為次近中心;如果最近中心和次近中心所屬的子網(wǎng)絡(luò)不同,那么僅根據(jù)最近中心確定的獲勝子網(wǎng)絡(luò)對結(jié)果的輸出,有少部分會出現(xiàn)錯誤。這就說明當(dāng)最近中心和次近中心所屬子網(wǎng)絡(luò)不同時,它們所屬的子網(wǎng)絡(luò)都有可能為真正的獲勝子網(wǎng)絡(luò),僅憑借最近中心確定的獲勝的正確率顯然要低。

    最大概率法確定獲勝子網(wǎng)絡(luò)也存在上述問題,所以想結(jié)合以上兩種方法來解決該問題。本文又提出了最近中心與最大概率相結(jié)合的方法來確定獲勝子網(wǎng)絡(luò)。

    該方法的主要思想是:如果最近中心和次近中心所屬的子網(wǎng)絡(luò)是同一個網(wǎng)絡(luò),那么它們所在的網(wǎng)絡(luò)為獲勝子網(wǎng)絡(luò);如果最近中心和次近中心的所屬的網(wǎng)絡(luò)不同,并且最近中心所在子網(wǎng)絡(luò)的最大概率大于次近中心所在網(wǎng)絡(luò)的最大概率,那么最近中心所在子網(wǎng)絡(luò)為獲勝子網(wǎng)絡(luò);如果最近中心和次近中心所屬子網(wǎng)絡(luò)不同,而且最近中心所在子網(wǎng)絡(luò)的最大概率小于次近中心所在網(wǎng)絡(luò)的最大概率,就要考慮最近中心和次近中心距離了,假設(shè)最近中心、次近中心的徑向距離分別為d1和d2,并且d1≤d2,離中心越近,核函數(shù)的響應(yīng)越大,所以d1/(d1+d2)的取值越小,代表最近中心的重要性越大。最近中心和次近中心所在子網(wǎng)的最大概率為pj和pg,j=1,2,…,u;g=1,2,…,u,圖4為最近中心與最大概率確定獲勝子網(wǎng)絡(luò)方法。

    圖4 最近中心與最大概率確定獲勝子網(wǎng)絡(luò)方法

    具體算法如下:

    (1) 計算出測試數(shù)據(jù)與最近中心、次近中心的徑向距離d1和d2,并用PNN求出最近中心和次近中心所在子網(wǎng)絡(luò)的最大概率pj和pg。

    (2) 如果最近中心和次近中心屬于相同的網(wǎng)絡(luò),則最近中心和次近中心所在的網(wǎng)絡(luò)為獲勝子網(wǎng)絡(luò),輸出權(quán)值為1;其他網(wǎng)絡(luò)為非獲勝子網(wǎng)絡(luò),輸出權(quán)值為0。

    (3) 如果最近中心和次近中心屬于不同的網(wǎng)絡(luò)yj和yg,pj大于等于pg,則yj為獲勝子網(wǎng),輸出權(quán)值為1;其他網(wǎng)絡(luò)為非獲勝子網(wǎng)絡(luò),輸出權(quán)值為0。

    (4) 如果最近中心和次近中心屬于不同的子網(wǎng)絡(luò)yj和yg,pj小于pg,d1/(d1+d2)大于閾值T,則yg為獲勝子網(wǎng)絡(luò),輸出權(quán)值為1;其他網(wǎng)絡(luò)為非獲勝子網(wǎng)絡(luò),輸出權(quán)值為0。

    (5) 如果最近中心和次近中心屬于不同的子網(wǎng)絡(luò)yj和yg,pj小于pg,d1/(d1+d2)小于閾值T,則yj為獲勝子網(wǎng)絡(luò),輸出權(quán)值為1;其他網(wǎng)絡(luò)為非獲勝子網(wǎng)絡(luò),輸出權(quán)值為0。

    3實驗結(jié)果分析

    本文采用自組織映射與概率神經(jīng)網(wǎng)絡(luò)的增量式學(xué)習(xí)算法(IMSOMPNN)的實驗數(shù)據(jù)[13]。該實驗數(shù)據(jù)為UCI機器學(xué)習(xí)庫中Statlog(LandsatSatellite)數(shù)據(jù)集。該數(shù)據(jù)集共有36個屬性,6個類別 ,6435個樣本,其中4435個是訓(xùn)練樣本,2000個為測試樣本。T1∪T2∪…∪T6,分別代表6個類別的訓(xùn)練數(shù)據(jù),6個類別的測試數(shù)據(jù)為E1∪E2∪…∪E6。

    3.1最近中心確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)

    首先使用T1∪T2來訓(xùn)練一個初始的RBF網(wǎng)絡(luò)集成系統(tǒng),然后使用E1∪E2來對模型進行測試;在第t步(2≤t≤5)時,用Tt+1訓(xùn)練一個RBF網(wǎng)絡(luò),并把新訓(xùn)練的RBF加入到RBF集成系統(tǒng)中,然后使用E1∪E2∪…∪Et+1測試模型。表1為最近中心確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)結(jié)果。

    表1 最近中心確定獲勝子網(wǎng)絡(luò)的增量學(xué)習(xí)

    3.2最大概率確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)

    首先使用T1∪T2來訓(xùn)練一個初始的RBF網(wǎng)絡(luò)集成系統(tǒng),訓(xùn)練一個SOM神經(jīng)網(wǎng)絡(luò),從而得到SOM的原型向量。然后使用E1∪E2來對模型進行測試;在第t步(2≤t≤5)時,用Tt+1訓(xùn)練一個RBF網(wǎng)絡(luò)和一個SOM,并把新訓(xùn)練的RBF加入到RBF集成系統(tǒng)中,把新的SOM原型向量加入到神經(jīng)網(wǎng)絡(luò)集成系統(tǒng)中,然后使用E1∪E2∪…∪Et+1測試模型。如表2所示。

    表2 最大概率確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)

    3.3最近中心與最大概率確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)

    首先使用T1∪T2來訓(xùn)練一個初始的RBF網(wǎng)絡(luò)集成系統(tǒng),訓(xùn)練一個SOM神經(jīng)網(wǎng)絡(luò),從而得到SOM的原型向量。然后使用E1∪E2來對模型進行測試;在第t步(2≤t≤5)時,用Tt+1訓(xùn)練一個RBF網(wǎng)絡(luò)和一個SOM,并把新訓(xùn)練的RBF加入到RBF集成系統(tǒng)中,把新的SOM原型向量加入到神經(jīng)網(wǎng)絡(luò)集成系統(tǒng)中,然后使用E1∪E2∪…∪Et+1測試模型。表3為最近中心與最大概率確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)結(jié)果。

    表3 最近中心與最大概率確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)

    3.4IMSOMPNN

    首先,使用T1∪T2來訓(xùn)練一個初始的IMSOMPNN,然后使用E1∪E2來對模型行進行測試;在第t步2≤t≤5時,將Tt+1提交至IMSOMPNN進行增量學(xué)習(xí),然后使用E1∪E2∪…∪Et+1測試模型。表4給出了增量學(xué)習(xí)的每一步中,模型分類性能的變化。表4為自組織映射與概率神經(jīng)網(wǎng)絡(luò)相結(jié)合的單類別增量學(xué)習(xí)結(jié)果。

    表4 自組織映射與概率神經(jīng)網(wǎng)絡(luò)相結(jié)合的增量學(xué)習(xí)

    3.5最大概率確定獲勝子網(wǎng)絡(luò)的多類別增量學(xué)習(xí)

    為了體現(xiàn)每次增量學(xué)習(xí)可以實現(xiàn)多個類別的學(xué)習(xí),本次實驗第一步使用T1∪T2訓(xùn)練一個初始的RBF網(wǎng)絡(luò)集成系統(tǒng)和SOM,然后使用E1∪E2來對模型進行測試;第二步使用T3訓(xùn)練一個RBF和SOM,并把新訓(xùn)練的RBF加入RBF網(wǎng)絡(luò)集成系統(tǒng)中,用E3對模型進行測試;第三步使用T4∪T5訓(xùn)練一個RBF和SOM,并把新訓(xùn)練的RBF加入到RBF集成系統(tǒng)中,用E4∪E5對模型進行測試;第四步使用T6訓(xùn)練一個RBF和SOM,并把新訓(xùn)練的RBF加入到RBF集成系統(tǒng)中,用E6對模型進行測試。表5為最大概率確定獲勝子網(wǎng)絡(luò)的多類別增量學(xué)習(xí)結(jié)果。

    表5 最大概率確定獲勝子網(wǎng)絡(luò)的多類別增量學(xué)習(xí)

    3.6實驗分析

    圖6為四種方法的性能對比圖。從結(jié)果和性能對比圖上可以看出最近中心確定獲勝子網(wǎng)絡(luò)的性能比較低,其他三種方法的性能相差不多,都沒有遺忘已學(xué)知識,同時也可以學(xué)習(xí)新類別的知識,每次增量學(xué)習(xí)只增加一個子網(wǎng)絡(luò),避免了網(wǎng)絡(luò)系統(tǒng)過于龐大的問題。

    圖6 單類別學(xué)習(xí)性能對比圖

    IMSOMPNN對六類知識學(xué)習(xí)需要學(xué)習(xí)六次,也就是每次只能學(xué)習(xí)一個類別的知識,不能進行多個類別知識的學(xué)習(xí),會使得學(xué)習(xí)過程很繁瑣,不具有實用性。多類別增量學(xué)習(xí)實驗證實了該網(wǎng)絡(luò)可以進行多個類別的增量學(xué)習(xí),表5給出了實驗結(jié)果。通過實驗表明了本文的方法既可以單個類別的增量學(xué)習(xí),也可以進行多類別的增量學(xué)習(xí),即在第3步增量學(xué)習(xí)中,同時學(xué)習(xí)了類別4和類別5的知識,這是IMSOMPNN所不能實現(xiàn)的,在現(xiàn)實生活中多類別的增量學(xué)習(xí)更具有使用價值。

    從以上實驗可知,本文方法每次增量學(xué)習(xí)只增加了一個子網(wǎng)絡(luò),避免了網(wǎng)絡(luò)系統(tǒng)過于龐大的問題,同時在保證性能基本不變的基礎(chǔ)上實現(xiàn)了多個類別的學(xué)習(xí),具有實用意義。

    4結(jié)語

    本文提出了一種基于RBF的集成增量學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。這種增量學(xué)習(xí)模型主要是通過最近中心法、最大概率法以及以上兩種方法相結(jié)合的方法來決定獲勝子網(wǎng)絡(luò),通過獲勝網(wǎng)絡(luò)進而得到最終輸出。這種增量學(xué)習(xí)系統(tǒng)是建立在系統(tǒng)穩(wěn)定的基礎(chǔ)上進行增量學(xué)習(xí)的,所以對已學(xué)知識沒有遺忘,同時避免了逐個類別訓(xùn)練的繁瑣性和網(wǎng)絡(luò)系統(tǒng)過于龐大的問題。該算法通過確定獲勝子網(wǎng)絡(luò)的方法進行確定獲勝子網(wǎng)絡(luò),最終結(jié)果由獲勝子網(wǎng)絡(luò)進行輸出。獲勝子網(wǎng)絡(luò)中可能包含單類別信息,也可能包含多個類別的信息,從而既可以實現(xiàn)單類別增量學(xué)習(xí),也可以實現(xiàn)多個類別的增量學(xué)習(xí),通過實驗論證了該方法的有效性。

    參考文獻

    [1]GrossbergS.Nonlinearneuralnetworks:Principles,mechanismsandarchitectures[J].NeuralNetworks,1988,1(1):17-61.

    [2]PolikarR,UpdaL,UpdaSS,etal.Learn++:Anincrementallearningalgorithmforsupervisedneuralnetworks[J].Systems,Man,andCybernetics,PartC:ApplicationsandReviews,IEEETransactionson,2001,31(4):497-508.

    [3]MinkuFL,InoueH,YaoX.Negativecorrelationinincrementallearning[J].NaturalComputing,2009,8(2):289-320.

    [4] 林民龍.基于神經(jīng)網(wǎng)絡(luò)集成的增量式學(xué)習(xí)[D].中國科學(xué)技術(shù)大學(xué),2012.

    [5]WangN,ErMJ,MengX.Afastandaccurateonlineself-organizingschemeforparsimoniousfuzzyneuralnetworks[J].Neurocomputing,2009,72(16):3818-3829.

    [6] 胡蓉,徐蔚鴻,甘嵐.一種連續(xù)增量學(xué)習(xí)模糊神經(jīng)網(wǎng)絡(luò)[J].模式識別與人工智能,2013,26(8):794-799.

    [7] 夏長亮,王明超.基于RBF神經(jīng)網(wǎng)絡(luò)的開關(guān)磁阻電機單神經(jīng)元PID控制[J].中國電機工程學(xué)報,2005,25(15):161-165.

    [8] 鄧?yán)^雄,李志舜,梁紅.確定RBF神經(jīng)網(wǎng)絡(luò)參數(shù)的新方法[J].微處理機,2006,27(4):48-49.

    [9] 劉小華,劉沛,張步涵,等.逐級均值聚類算法的RBFN模型在負(fù)荷預(yù)測中的應(yīng)用[J].中國電機工程學(xué)報,2004,24(2):17-21.

    [10] 李鑫濱,楊景明,丁喜峰.基于遞推k-均值聚類算法的RBF神經(jīng)網(wǎng)絡(luò)及其在系統(tǒng)辨識中的應(yīng)用[J].燕山大學(xué)學(xué)報,1999,23(4):363-366.

    [11] 王永驥,涂健.神經(jīng)元網(wǎng)絡(luò)控制[M].北京:機械工業(yè)出版社,1998:68.

    [12]YuDJ,ShenHB,YangJY.SOMPNN:anefficientnon-parametricmodelforpredictingtransmembranehelices[J].Aminoacids,2012,42(6):2195-2205.

    [13] 戚湧,胡俊,於東軍.基于自組織映射與概率神經(jīng)網(wǎng)絡(luò)的增量式學(xué)習(xí)算法[J].南京理工大學(xué)學(xué)報:自然科學(xué)版,2013(1):1-6.

    RESEARCH ON RBF NEURAL NETWORK-BASED ENSEMBLE INCREMENTALLEARNINGALGORITHM

    Peng YuqingZhao CuicuiGao Qingqing

    (School of Computer Science and Engineering,Hebei University of Technology,Tianjin 300401,China)

    AbstractAiming at the forgetfulness problem of incremental learning and the excessive network growth problem of the integrated incremental learning, this paper proposes an integrated incremental learning method which is based on the radial basis function (RBF) neural network. In order to avoid the forgetfulness of the network, for each knowledge learning of new category we all trained an RBF neural network, and added the newly trained RBF neural network to the integrated system so as to form a large system of neural networks. To determine the winning sub-network, we adopted the nearest centre method, the maximum probability method and the combination of these two methods, and the final result was outputted by the winning sub-network. Moreover, we introduced the prototype vectors of self-organising map to maximum probability method for solving the problem of class centre similarity. For verifying the proposed network incremental learning, we made the experiments using the Statlog (Landsat Satellite) dataset in UCI machine learning library. Experimental results showed that after learning the knowledge of new category, this network could accept the new without forgetting the learned knowledge.

    KeywordsRBFSOMIncremental learning

    收稿日期:2015-01-13。國家自然科學(xué)基金項目(51175145);天津市自然科學(xué)基金項目(13JCYBJC15400);河北省高等學(xué)??茖W(xué)技術(shù)研究項目(ZD2014030)。彭玉青,教授,主研領(lǐng)域:計算機視覺,數(shù)據(jù)庫,智能信息處理。趙翠翠,碩士生。高晴晴,碩士生。

    中圖分類號TP183

    文獻標(biāo)識碼A

    DOI:10.3969/j.issn.1000-386x.2016.06.059

    猜你喜歡
    增量權(quán)值類別
    一種融合時間權(quán)值和用戶行為序列的電影推薦模型
    提質(zhì)和增量之間的“辯證”
    CONTENTS
    “價增量減”型應(yīng)用題點撥
    基于權(quán)值動量的RBM加速學(xué)習(xí)算法研究
    基于均衡增量近鄰查詢的位置隱私保護方法
    服務(wù)類別
    新校長(2016年8期)2016-01-10 06:43:59
    德州儀器(TI)發(fā)布了一對32位增量-累加模數(shù)轉(zhuǎn)換器(ADC):ADS1262和ADS126
    論類別股東會
    商事法論集(2014年1期)2014-06-27 01:20:42
    中醫(yī)類別全科醫(yī)師培養(yǎng)模式的探討
    日韩 欧美 亚洲 中文字幕| 国产一区二区三区视频了| 老汉色∧v一级毛片| 老司机在亚洲福利影院| 天天影视国产精品| 黄色视频,在线免费观看| 成年人黄色毛片网站| av网站在线播放免费| 91九色精品人成在线观看| 纯流量卡能插随身wifi吗| 国产不卡av网站在线观看| 纵有疾风起免费观看全集完整版| 国产成人欧美在线观看 | 少妇猛男粗大的猛烈进出视频| 一边摸一边做爽爽视频免费| 午夜福利乱码中文字幕| 日本a在线网址| 日本vs欧美在线观看视频| 亚洲精品av麻豆狂野| 成人特级黄色片久久久久久久 | 三级毛片av免费| 50天的宝宝边吃奶边哭怎么回事| 免费在线观看影片大全网站| 日本黄色日本黄色录像| 后天国语完整版免费观看| 成人影院久久| 亚洲精品成人av观看孕妇| 日韩精品免费视频一区二区三区| 亚洲黑人精品在线| www.熟女人妻精品国产| 成人特级黄色片久久久久久久 | 久久久久国产一级毛片高清牌| 91九色精品人成在线观看| 成人国产一区最新在线观看| 国产av精品麻豆| 无人区码免费观看不卡 | 日韩人妻精品一区2区三区| 成人黄色视频免费在线看| 国产高清国产精品国产三级| 中文亚洲av片在线观看爽 | 18在线观看网站| 久久久精品94久久精品| 国产精品亚洲一级av第二区| 人人妻人人爽人人添夜夜欢视频| 久9热在线精品视频| 男女高潮啪啪啪动态图| 一级毛片女人18水好多| 天天添夜夜摸| 无遮挡黄片免费观看| 一进一出好大好爽视频| 国产三级黄色录像| 免费观看人在逋| 99热国产这里只有精品6| 中文字幕最新亚洲高清| 夜夜骑夜夜射夜夜干| 麻豆乱淫一区二区| av天堂在线播放| 国产精品免费一区二区三区在线 | 天堂俺去俺来也www色官网| 国产精品影院久久| 中文字幕人妻丝袜一区二区| 中文字幕另类日韩欧美亚洲嫩草| 69av精品久久久久久 | 欧美日韩av久久| 伊人久久大香线蕉亚洲五| 久久精品国产a三级三级三级| 国产免费av片在线观看野外av| 一二三四社区在线视频社区8| 久久性视频一级片| 黄色毛片三级朝国网站| 国产亚洲精品第一综合不卡| 亚洲一码二码三码区别大吗| 亚洲欧洲精品一区二区精品久久久| 国产精品一区二区精品视频观看| 国产精品香港三级国产av潘金莲| 成年动漫av网址| 咕卡用的链子| 黄色毛片三级朝国网站| 精品国内亚洲2022精品成人 | 国产在线视频一区二区| 别揉我奶头~嗯~啊~动态视频| 国产激情久久老熟女| 又黄又粗又硬又大视频| 久久国产精品男人的天堂亚洲| 最近最新中文字幕大全免费视频| 欧美精品av麻豆av| 欧美 日韩 精品 国产| 人人妻人人爽人人添夜夜欢视频| 国产麻豆69| 精品卡一卡二卡四卡免费| 精品人妻1区二区| 极品教师在线免费播放| 人妻久久中文字幕网| 欧美激情久久久久久爽电影 | 怎么达到女性高潮| 18禁观看日本| 男女免费视频国产| 久久人妻av系列| 妹子高潮喷水视频| 国产男女超爽视频在线观看| 午夜久久久在线观看| 久热爱精品视频在线9| avwww免费| 久久精品91无色码中文字幕| 国产99久久九九免费精品| 中文字幕制服av| 91成年电影在线观看| 操美女的视频在线观看| 777久久人妻少妇嫩草av网站| 国产欧美日韩一区二区三| 一区二区三区精品91| 黄片播放在线免费| 国产野战对白在线观看| 男女边摸边吃奶| 人人澡人人妻人| 成人av一区二区三区在线看| 亚洲av第一区精品v没综合| 亚洲精品国产一区二区精华液| av免费在线观看网站| 欧美老熟妇乱子伦牲交| 欧美日韩福利视频一区二区| 国产老妇伦熟女老妇高清| 久久精品国产亚洲av香蕉五月 | 怎么达到女性高潮| 国产成人系列免费观看| 亚洲一区二区三区欧美精品| 真人做人爱边吃奶动态| 一区福利在线观看| 日本av免费视频播放| 精品少妇内射三级| 亚洲精品久久成人aⅴ小说| 欧美日韩成人在线一区二区| 怎么达到女性高潮| 巨乳人妻的诱惑在线观看| 色精品久久人妻99蜜桃| 一区二区三区国产精品乱码| 80岁老熟妇乱子伦牲交| 久9热在线精品视频| 精品国产国语对白av| 巨乳人妻的诱惑在线观看| 久久精品成人免费网站| 亚洲精品av麻豆狂野| 女人高潮潮喷娇喘18禁视频| 久久精品91无色码中文字幕| 9191精品国产免费久久| 国产精品香港三级国产av潘金莲| 精品国产乱码久久久久久小说| 咕卡用的链子| av视频免费观看在线观看| 成年人黄色毛片网站| 精品卡一卡二卡四卡免费| 国产又爽黄色视频| 丝袜人妻中文字幕| 美女福利国产在线| 日本欧美视频一区| 91av网站免费观看| 国产精品成人在线| 人人妻人人澡人人看| 亚洲欧美日韩高清在线视频 | 精品久久久久久电影网| av天堂久久9| 丝袜在线中文字幕| 亚洲黑人精品在线| 精品卡一卡二卡四卡免费| 精品视频人人做人人爽| 波多野结衣一区麻豆| 国产成人精品久久二区二区免费| 巨乳人妻的诱惑在线观看| 黄片大片在线免费观看| 久久精品亚洲精品国产色婷小说| 日本精品一区二区三区蜜桃| 大片电影免费在线观看免费| www.自偷自拍.com| 18在线观看网站| 99国产精品99久久久久| 国产一卡二卡三卡精品| 亚洲免费av在线视频| 亚洲专区国产一区二区| 亚洲性夜色夜夜综合| 久久久精品94久久精品| 亚洲美女黄片视频| 久久久久国内视频| 国产精品久久久久成人av| 另类亚洲欧美激情| 欧美日韩一级在线毛片| 侵犯人妻中文字幕一二三四区| 日本黄色日本黄色录像| www.精华液| 亚洲国产成人一精品久久久| 久久免费观看电影| 一区二区三区国产精品乱码| 国产精品免费一区二区三区在线 | 熟女少妇亚洲综合色aaa.| 日本黄色视频三级网站网址 | 精品久久久久久电影网| 另类精品久久| 一级片免费观看大全| 99精品在免费线老司机午夜| 人妻 亚洲 视频| 99香蕉大伊视频| 在线十欧美十亚洲十日本专区| 亚洲成人国产一区在线观看| 亚洲第一欧美日韩一区二区三区 | 麻豆av在线久日| 美女福利国产在线| 日韩欧美三级三区| 大片电影免费在线观看免费| 人人妻,人人澡人人爽秒播| 一级,二级,三级黄色视频| 美女福利国产在线| 日本精品一区二区三区蜜桃| 法律面前人人平等表现在哪些方面| 成人av一区二区三区在线看| 又大又爽又粗| 久久精品亚洲熟妇少妇任你| 90打野战视频偷拍视频| 怎么达到女性高潮| 国产不卡av网站在线观看| 性少妇av在线| 婷婷成人精品国产| 亚洲国产欧美一区二区综合| 欧美人与性动交α欧美软件| 国产亚洲欧美在线一区二区| 成人18禁高潮啪啪吃奶动态图| 人人妻,人人澡人人爽秒播| 汤姆久久久久久久影院中文字幕| 久久精品国产综合久久久| 国产不卡av网站在线观看| 日本撒尿小便嘘嘘汇集6| 午夜两性在线视频| 母亲3免费完整高清在线观看| 窝窝影院91人妻| 男女无遮挡免费网站观看| 免费在线观看黄色视频的| 国产精品98久久久久久宅男小说| 国产有黄有色有爽视频| 在线观看免费高清a一片| 国产高清激情床上av| 一进一出抽搐动态| 亚洲五月色婷婷综合| 久久国产精品大桥未久av| 国产高清国产精品国产三级| 精品一品国产午夜福利视频| 日韩大片免费观看网站| 日韩欧美国产一区二区入口| 制服诱惑二区| 777久久人妻少妇嫩草av网站| 国产精品一区二区在线观看99| 男女高潮啪啪啪动态图| 国产精品香港三级国产av潘金莲| 亚洲成国产人片在线观看| 婷婷成人精品国产| 久久免费观看电影| 色老头精品视频在线观看| 国产免费现黄频在线看| 国产人伦9x9x在线观看| 久久精品熟女亚洲av麻豆精品| 18禁黄网站禁片午夜丰满| 黄色成人免费大全| 久久中文字幕人妻熟女| 少妇猛男粗大的猛烈进出视频| 91麻豆精品激情在线观看国产 | 一区二区av电影网| 女人被躁到高潮嗷嗷叫费观| 电影成人av| netflix在线观看网站| 久久av网站| 成人三级做爰电影| 午夜福利视频在线观看免费| 性少妇av在线| 黑人巨大精品欧美一区二区蜜桃| 亚洲一卡2卡3卡4卡5卡精品中文| 丰满饥渴人妻一区二区三| 狠狠狠狠99中文字幕| 91精品国产国语对白视频| 1024香蕉在线观看| 成人18禁在线播放| 国产不卡一卡二| 亚洲国产av影院在线观看| 国产一区二区三区视频了| 最近最新免费中文字幕在线| 国产老妇伦熟女老妇高清| 国产精品自产拍在线观看55亚洲 | 成人av一区二区三区在线看| 久久午夜亚洲精品久久| 国产日韩欧美视频二区| av超薄肉色丝袜交足视频| 在线观看舔阴道视频| 国产欧美日韩精品亚洲av| 在线播放国产精品三级| 国产高清激情床上av| 国产精品亚洲av一区麻豆| 三上悠亚av全集在线观看| 亚洲av国产av综合av卡| 变态另类成人亚洲欧美熟女 | 日韩中文字幕欧美一区二区| 最近最新免费中文字幕在线| 97人妻天天添夜夜摸| 免费观看人在逋| 少妇猛男粗大的猛烈进出视频| 男女床上黄色一级片免费看| 久久久精品94久久精品| 美女午夜性视频免费| 国产成人免费观看mmmm| 国产男靠女视频免费网站| 欧美日韩一级在线毛片| 女人被躁到高潮嗷嗷叫费观| 亚洲一卡2卡3卡4卡5卡精品中文| 免费在线观看影片大全网站| 免费观看a级毛片全部| 国产亚洲av高清不卡| 久久人妻熟女aⅴ| 精品高清国产在线一区| 90打野战视频偷拍视频| 国精品久久久久久国模美| 一本一本久久a久久精品综合妖精| 亚洲avbb在线观看| 成年动漫av网址| 中文字幕色久视频| 日本欧美视频一区| 一区二区三区乱码不卡18| 精品人妻熟女毛片av久久网站| www.熟女人妻精品国产| 欧美午夜高清在线| 亚洲精品国产色婷婷电影| 精品国产一区二区三区四区第35| 国产亚洲欧美精品永久| 精品一区二区三卡| 欧美人与性动交α欧美精品济南到| 午夜日韩欧美国产| 免费看a级黄色片| 老鸭窝网址在线观看| xxxhd国产人妻xxx| 波多野结衣av一区二区av| 岛国毛片在线播放| 国产成人av教育| 国产一区二区 视频在线| 亚洲精品在线观看二区| av网站免费在线观看视频| 国产人伦9x9x在线观看| 亚洲精品中文字幕在线视频| 老司机影院毛片| 国产精品欧美亚洲77777| 久久久精品区二区三区| 国产精品自产拍在线观看55亚洲 | 国产精品免费大片| 另类精品久久| 日韩欧美免费精品| 久久久久国产一级毛片高清牌| 日韩一区二区三区影片| 女人久久www免费人成看片| 18禁裸乳无遮挡动漫免费视频| 亚洲中文字幕日韩| 人成视频在线观看免费观看| 国产精品一区二区精品视频观看| 久久精品成人免费网站| 亚洲三区欧美一区| 久久九九热精品免费| 一级黄色大片毛片| 国产色视频综合| 国产日韩欧美视频二区| 如日韩欧美国产精品一区二区三区| 日韩一区二区三区影片| 男人操女人黄网站| 亚洲国产成人一精品久久久| 精品国产一区二区久久| 十八禁高潮呻吟视频| av片东京热男人的天堂| 91成人精品电影| av片东京热男人的天堂| 国产日韩欧美在线精品| 国产亚洲午夜精品一区二区久久| 国产精品久久久人人做人人爽| 多毛熟女@视频| 国产免费av片在线观看野外av| 一级毛片电影观看| 久久av网站| 精品一区二区三区av网在线观看 | 黑人猛操日本美女一级片| 久久狼人影院| www.熟女人妻精品国产| 人人妻人人爽人人添夜夜欢视频| 亚洲 欧美一区二区三区| 欧美日本中文国产一区发布| 91精品国产国语对白视频| 亚洲av日韩精品久久久久久密| 精品少妇内射三级| 免费观看人在逋| 亚洲va日本ⅴa欧美va伊人久久| 在线看a的网站| 五月天丁香电影| 国产福利在线免费观看视频| 成年版毛片免费区| 一边摸一边抽搐一进一小说 | 精品乱码久久久久久99久播| 精品少妇久久久久久888优播| 十八禁网站网址无遮挡| 久久国产亚洲av麻豆专区| 露出奶头的视频| 亚洲午夜理论影院| 在线看a的网站| 黄色视频在线播放观看不卡| 欧美日韩成人在线一区二区| 成人av一区二区三区在线看| 日韩一卡2卡3卡4卡2021年| 精品亚洲成国产av| 亚洲综合色网址| 男女无遮挡免费网站观看| 亚洲欧洲日产国产| 欧美黄色片欧美黄色片| 少妇猛男粗大的猛烈进出视频| 天天添夜夜摸| 亚洲一区中文字幕在线| 十八禁人妻一区二区| 天堂俺去俺来也www色官网| 欧美日韩视频精品一区| av线在线观看网站| 久久精品国产99精品国产亚洲性色 | 午夜福利乱码中文字幕| 丰满迷人的少妇在线观看| 精品人妻熟女毛片av久久网站| 丁香六月欧美| 久久中文字幕人妻熟女| 老司机在亚洲福利影院| 国产色视频综合| 日韩免费av在线播放| aaaaa片日本免费| 精品久久蜜臀av无| 国产又爽黄色视频| 久久ye,这里只有精品| 国产91精品成人一区二区三区 | 国产精品自产拍在线观看55亚洲 | 久久人人97超碰香蕉20202| 桃红色精品国产亚洲av| 亚洲精品在线美女| 亚洲国产av新网站| 男人舔女人的私密视频| 99香蕉大伊视频| 日韩免费av在线播放| 操美女的视频在线观看| 久久精品aⅴ一区二区三区四区| 制服人妻中文乱码| 视频区欧美日本亚洲| 午夜福利影视在线免费观看| a级毛片在线看网站| 亚洲欧美激情在线| 99热国产这里只有精品6| 亚洲美女黄片视频| 夫妻午夜视频| 十八禁网站免费在线| 午夜福利视频精品| 男女之事视频高清在线观看| 麻豆乱淫一区二区| 国产成人一区二区三区免费视频网站| 国产一区有黄有色的免费视频| www.精华液| 99精品欧美一区二区三区四区| 午夜福利视频精品| 久久久久久久精品吃奶| 一区二区三区激情视频| 国产成人一区二区三区免费视频网站| 精品一区二区三卡| 我的亚洲天堂| 一个人免费在线观看的高清视频| 9热在线视频观看99| a在线观看视频网站| 久久久久久久国产电影| 中文字幕色久视频| 亚洲,欧美精品.| 少妇猛男粗大的猛烈进出视频| 天堂中文最新版在线下载| 亚洲欧美日韩另类电影网站| 国产欧美日韩一区二区精品| 男女午夜视频在线观看| 国产精品欧美亚洲77777| 一二三四社区在线视频社区8| 9191精品国产免费久久| 中亚洲国语对白在线视频| 欧美日韩黄片免| 极品人妻少妇av视频| 一区福利在线观看| 99精品在免费线老司机午夜| 51午夜福利影视在线观看| 亚洲欧美激情在线| 精品久久久久久电影网| 考比视频在线观看| 真人做人爱边吃奶动态| 精品福利永久在线观看| 久久久久久久大尺度免费视频| 两人在一起打扑克的视频| 两个人免费观看高清视频| 亚洲色图综合在线观看| 在线看a的网站| 热re99久久精品国产66热6| 精品国产一区二区久久| 久热这里只有精品99| 窝窝影院91人妻| 日本a在线网址| 丰满饥渴人妻一区二区三| 三级毛片av免费| 成年动漫av网址| 久久青草综合色| 人人妻人人添人人爽欧美一区卜| 老司机影院毛片| av免费在线观看网站| 精品熟女少妇八av免费久了| 精品一区二区三卡| 啦啦啦中文免费视频观看日本| 天堂中文最新版在线下载| 丰满饥渴人妻一区二区三| 操美女的视频在线观看| 18禁国产床啪视频网站| 9191精品国产免费久久| 国产黄色免费在线视频| 嫩草影视91久久| 国产亚洲午夜精品一区二区久久| 亚洲中文av在线| 国产精品国产高清国产av | 精品午夜福利视频在线观看一区 | 中文欧美无线码| 在线亚洲精品国产二区图片欧美| 热99re8久久精品国产| 精品亚洲成a人片在线观看| 国产97色在线日韩免费| 丁香欧美五月| 精品欧美一区二区三区在线| 日本欧美视频一区| 欧美日韩亚洲国产一区二区在线观看 | 丰满迷人的少妇在线观看| 免费在线观看完整版高清| 精品国产乱子伦一区二区三区| 日本精品一区二区三区蜜桃| 免费在线观看日本一区| 亚洲熟妇熟女久久| 成人精品一区二区免费| 国产男女超爽视频在线观看| 亚洲国产欧美一区二区综合| 日韩有码中文字幕| 色在线成人网| 亚洲综合色网址| 欧美变态另类bdsm刘玥| 国产成人av激情在线播放| 亚洲中文av在线| 亚洲情色 制服丝袜| 国产在线观看jvid| 久久久久久亚洲精品国产蜜桃av| 亚洲国产欧美日韩在线播放| 男女下面插进去视频免费观看| 一本大道久久a久久精品| 亚洲一码二码三码区别大吗| 国产精品98久久久久久宅男小说| 久久天躁狠狠躁夜夜2o2o| 国产精品 欧美亚洲| 亚洲午夜理论影院| 亚洲中文av在线| 黄色a级毛片大全视频| 国产不卡av网站在线观看| 亚洲精品国产色婷婷电影| 亚洲欧美色中文字幕在线| 自拍欧美九色日韩亚洲蝌蚪91| 男女无遮挡免费网站观看| 高清视频免费观看一区二区| 91大片在线观看| 成年人免费黄色播放视频| 视频区图区小说| 在线观看一区二区三区激情| 亚洲国产中文字幕在线视频| av在线播放免费不卡| 国产亚洲午夜精品一区二区久久| 一进一出好大好爽视频| 91老司机精品| 黄色视频不卡| 天天躁日日躁夜夜躁夜夜| 亚洲国产精品一区二区三区在线| 国产精品1区2区在线观看. | 久热这里只有精品99| 久久热在线av| 亚洲熟妇熟女久久| 亚洲午夜理论影院| 亚洲一码二码三码区别大吗| 麻豆乱淫一区二区| 日韩有码中文字幕| 少妇精品久久久久久久| 欧美另类亚洲清纯唯美| 一本一本久久a久久精品综合妖精| 真人做人爱边吃奶动态| 一夜夜www| 一边摸一边做爽爽视频免费| 操出白浆在线播放| 国产在线观看jvid| 91大片在线观看| 岛国毛片在线播放| 亚洲自偷自拍图片 自拍| 久久亚洲真实| 好男人电影高清在线观看| 久久影院123| 一夜夜www| www.自偷自拍.com| 久久人人爽av亚洲精品天堂| 久久精品国产亚洲av高清一级| 欧美+亚洲+日韩+国产| 国产一区二区 视频在线| 欧美在线一区亚洲| 女人高潮潮喷娇喘18禁视频| xxxhd国产人妻xxx| 1024视频免费在线观看| 在线观看一区二区三区激情| 中文字幕高清在线视频| 中文欧美无线码| 国产高清激情床上av| 一本综合久久免费| 国产欧美日韩综合在线一区二区| 久久久欧美国产精品| 久久精品国产综合久久久| 国产熟女午夜一区二区三区|