• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于RBF神經(jīng)網(wǎng)絡(luò)的集成增量學(xué)習(xí)算法

    2016-07-19 02:13:57彭玉青趙翠翠高晴晴
    計算機應(yīng)用與軟件 2016年6期
    關(guān)鍵詞:增量權(quán)值類別

    彭玉青 趙翠翠 高晴晴

    (河北工業(yè)大學(xué)計算機科學(xué)與軟件學(xué)院 天津 300401)

    ?

    基于RBF神經(jīng)網(wǎng)絡(luò)的集成增量學(xué)習(xí)算法

    彭玉青趙翠翠高晴晴

    (河北工業(yè)大學(xué)計算機科學(xué)與軟件學(xué)院天津 300401)

    摘要針對增量學(xué)習(xí)的遺忘性問題和集成增量學(xué)習(xí)的網(wǎng)絡(luò)增長過快問題,提出基于徑向基神經(jīng)網(wǎng)絡(luò)(RBF)的集成增量學(xué)習(xí)方法。為了避免網(wǎng)絡(luò)的遺忘性,每次學(xué)習(xí)新類別知識時都訓(xùn)練一個RBF神經(jīng)網(wǎng)絡(luò),把新訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)加入到集成系統(tǒng)中,從而組建成一個大的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。分別采用最近中心法、最大概率法、最近中心與最大概率相結(jié)合的方法進行確定獲勝子網(wǎng)絡(luò),最終結(jié)果由獲勝子網(wǎng)絡(luò)進行輸出。在最大概率法中引入自組織映(SOM)的原型向量來解決類中心相近問題。為了驗證網(wǎng)絡(luò)的增量學(xué)習(xí),用UCI 機器學(xué)習(xí)庫中Statlog(Landsat Satellite)數(shù)據(jù)集做實驗,結(jié)果顯示該網(wǎng)絡(luò)在學(xué)習(xí)新類別知識后,既獲得了新類別的知識也沒有遺忘已學(xué)知識。

    關(guān)鍵詞RBFSOM增量學(xué)習(xí)

    0引言

    傳統(tǒng)神經(jīng)網(wǎng)絡(luò)只能進行一次學(xué)習(xí),不能在第一次學(xué)習(xí)的基礎(chǔ)上實現(xiàn)二次學(xué)習(xí)?,F(xiàn)實生活中不可能一次性獲得所有的神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù),所以很多學(xué)者提出了增量學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。但是設(shè)計增量學(xué)習(xí)網(wǎng)絡(luò)必須要面對網(wǎng)絡(luò)的穩(wěn)定性和可塑性這個難題[1]。所謂穩(wěn)定性就是為了記住已學(xué)過的知識,網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)不能發(fā)生改變;可塑性就是為了學(xué)習(xí)新的知識,要對已有網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)進行調(diào)整,不能完全保持網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)不變。但是網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)一旦發(fā)生改變,網(wǎng)絡(luò)就會產(chǎn)生遺忘性,這樣的增量學(xué)習(xí)網(wǎng)絡(luò)是沒有意義的,所以要實現(xiàn)增量學(xué)習(xí)就必須建立在穩(wěn)定性的基礎(chǔ)之上。

    神經(jīng)網(wǎng)絡(luò)集成就是保持穩(wěn)定性和可塑性之間很好的折中方法。Learn++算法[2]和負(fù)相關(guān)算法[3]都是神經(jīng)網(wǎng)絡(luò)集成的增量學(xué)習(xí)算法。通過對新知識的學(xué)習(xí)產(chǎn)生多個弱分類器,加入到增量學(xué)習(xí)系統(tǒng)中。這種網(wǎng)絡(luò)能夠很好地保留已學(xué)知識,但是網(wǎng)絡(luò)增長的速度非???,使得網(wǎng)絡(luò)過于龐大,不具有實用性。雖然有些學(xué)者又提出了選擇性負(fù)相關(guān)的增量學(xué)習(xí)[4],但是在進行網(wǎng)絡(luò)選擇的過程中,會使得網(wǎng)絡(luò)產(chǎn)生一定的遺忘性。

    RBF神經(jīng)網(wǎng)絡(luò)和模糊規(guī)則相結(jié)合的增量學(xué)習(xí)[5,6],通過規(guī)則增長條件判斷是否增加RBF的核函數(shù)來進行增量學(xué)習(xí)。選用高斯函數(shù)作為RBF的核函數(shù),該函數(shù)能夠?qū)斎胧噶慨a(chǎn)生局部響應(yīng),輸出節(jié)點對隱層節(jié)點的輸出進行線性加權(quán),從而實現(xiàn)輸入空間到輸出空間的映射,使整個網(wǎng)絡(luò)達到分類和函數(shù)逼近的目的[7]。但是這種增量學(xué)習(xí)網(wǎng)絡(luò)在學(xué)習(xí)的過程中會修改已學(xué)規(guī)則的參數(shù),從而產(chǎn)生遺忘性。

    自組織映射與概率神經(jīng)網(wǎng)絡(luò)相結(jié)合的增量學(xué)習(xí)網(wǎng)絡(luò)(IMSOMPNN)[13],通過SOM對每一個類別的訓(xùn)練數(shù)據(jù)進行學(xué)習(xí)并得到原型向量,用原型向量構(gòu)建PNN。這種增量學(xué)習(xí)在沒有遺忘已學(xué)知識的前提下實現(xiàn)了增量學(xué)習(xí)。但是IMSOMPNN每次只能學(xué)習(xí)一個類別的知識,不能實現(xiàn)知識的多類別學(xué)習(xí),會使得網(wǎng)絡(luò)的學(xué)習(xí)過于繁瑣。

    針對以上問題本文提出了基于RBF集成增量的學(xué)習(xí)方法。當(dāng)新知識到來時通過RBF神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí),在RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程中,采用k-均值聚類算法找中心和相應(yīng)的寬度,用偽逆法[8]求子網(wǎng)絡(luò)權(quán)值和偏置權(quán)值,將得到的子網(wǎng)絡(luò)加入到神經(jīng)網(wǎng)絡(luò)集成系統(tǒng)中,通過最近中心確定獲勝子網(wǎng)絡(luò),最終結(jié)果由獲勝子網(wǎng)絡(luò)輸出。

    由于RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不能去除噪聲數(shù)據(jù),也不能包含所有的特征信息,所以本文又提出了RBF與SOM相結(jié)合的集成增量學(xué)習(xí)方法。與上述方法不同之處在于:該方法采用SOM對子網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)進行學(xué)習(xí),子網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)有可能是一個類別的訓(xùn)練數(shù)據(jù),也可能是多個類別的訓(xùn)練數(shù)據(jù)。用SOM訓(xùn)練后的原型向量構(gòu)建概率神經(jīng)網(wǎng)絡(luò),用于求出每個子網(wǎng)絡(luò)的最大概率,通過最大概率準(zhǔn)則確定獲勝子網(wǎng)絡(luò),而不是通過最近中心確定獲勝子網(wǎng)絡(luò)。

    結(jié)合以上兩種方法,本文又提出了最近中心與最大概率相結(jié)合的方法來確定獲勝子網(wǎng)絡(luò)。最后分別采用這三種方法進行實驗。實驗結(jié)果表明了這三種集成的增量學(xué)習(xí)方法沒有改變已學(xué)知識的子網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù),不會對已學(xué)知識產(chǎn)生遺忘性,所以本文提出的增量學(xué)習(xí)網(wǎng)絡(luò)可以在對已學(xué)知識不產(chǎn)生遺忘的基礎(chǔ)上,進行增量學(xué)習(xí),而且增量學(xué)習(xí)后的網(wǎng)絡(luò)識別率很高;與其他集成增量學(xué)習(xí)相比,本文的方法每次增量學(xué)習(xí)只增加一個子網(wǎng)絡(luò),避免了網(wǎng)絡(luò)系統(tǒng)過于龐大的問題;每次增量學(xué)習(xí)可以實現(xiàn)多類別知識的學(xué)習(xí),避免了逐個類別知識學(xué)習(xí)的繁瑣性。

    1網(wǎng)絡(luò)結(jié)構(gòu)

    如圖1所示本網(wǎng)絡(luò)分為四層。第一層為網(wǎng)絡(luò)輸入層,輸入為xi(i=1,2,…,n)。第二層為核函數(shù)層,本網(wǎng)絡(luò)采用高斯函數(shù)作為核函數(shù),核函數(shù)為:

    (1)

    (2)

    圖1 RBF增量學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)圖

    第三層為子網(wǎng)絡(luò)輸出層,期望輸出公式為:

    (3)

    第四層為集成系統(tǒng)的輸出,輸出公式為:

    (4)

    其中,bj為第j個子網(wǎng)絡(luò)與系統(tǒng)輸出之間的輸出權(quán)值,j的取值為:j=1,…,u,y為集成系統(tǒng)的總輸出。

    2增量學(xué)習(xí)過程

    本文的RBF神經(jīng)網(wǎng)絡(luò)采用K-均值聚類算法得到中心,用偽逆法求得權(quán)值和偏置。分別用最近中心法、最大概率法、最近中心與最大概率相結(jié)合的方法確定獲勝子網(wǎng)絡(luò)。獲勝子網(wǎng)絡(luò)的輸出權(quán)值為1,非獲勝子網(wǎng)絡(luò)的輸出權(quán)值為0,網(wǎng)絡(luò)的最終結(jié)果由獲勝子網(wǎng)絡(luò)進行輸出。最大概率法中用SOM已學(xué)過的原型向量通過PNN(概率神經(jīng)網(wǎng)絡(luò))得到子網(wǎng)絡(luò)的最大概率。

    本文每次增量學(xué)習(xí)只增加一個子網(wǎng)絡(luò),避免了網(wǎng)絡(luò)系統(tǒng)過于龐大的問題;每次增量學(xué)習(xí)可以實現(xiàn)多類別知識的學(xué)習(xí),避免了逐個類別知識學(xué)習(xí)的繁瑣性。

    2.1K-均值算法選取網(wǎng)絡(luò)中心

    K-均值聚類算法[9,10]是一種模式聚類算法,聚類分析是根據(jù)數(shù)據(jù)空間的內(nèi)在性質(zhì)將其分成一些聚合類,它是在不對數(shù)據(jù)作任何假設(shè)的條件下進行的,是完全非監(jiān)督的學(xué)習(xí)過程。其原理是首先初始化中心,中心的個數(shù)主觀確定。然后將輸入樣本按最鄰近規(guī)則分組。

    假設(shè)初始中心的個數(shù)為m,即將xi(i=1,2,…,n)按最鄰近規(guī)則分配給中心m個初始中心,得到m個輸入樣本聚類集合θk(k=1,…,m)。要求滿足:

    (5)

    中心確定以后,相應(yīng)的計算寬度σk,本文的寬度為:

    σk=λ×dk

    (6)

    經(jīng)過多次實驗,本文取λ為2。

    2.2偽逆求子網(wǎng)絡(luò)的權(quán)值和偏置

    在中心和寬度已知的情況下,用偽逆法可直接求解核函數(shù)層與子網(wǎng)絡(luò)輸出層的輸出權(quán)值和偏置權(quán)值。

    用k-均值聚類法計算出中心并求出相應(yīng)的寬度,根據(jù)中心和寬度求出核函數(shù)層輸出矩陣R。由于加了一個偏置神經(jīng)元,并且偏置神經(jīng)元的取值為1,所以要擴展核函數(shù)輸出矩陣為:

    (7)

    其中,G比R增加了一維偏置神經(jīng)元的輸出,期望輸出矩陣D,權(quán)值矩陣W的輸出公式為:

    W=DG+

    (8)

    其中G+為G的偽逆:

    G+=(GTG)GT

    (9)

    2.3確定獲勝子網(wǎng)絡(luò)

    本文采用三種方法確定獲勝子網(wǎng)絡(luò),分別是用最近中心確定獲勝子網(wǎng)絡(luò)、最大概率確定獲勝子網(wǎng)絡(luò)、最近中心與最大概率相結(jié)合的方法確定獲勝子網(wǎng)絡(luò)。

    2.3.1最近中心確定獲勝子網(wǎng)絡(luò)

    RBF是一種局部分布的、中心對稱衰減的非負(fù)非線性函數(shù)[11]。局部分布是指僅當(dāng)輸入落在輸入空間一個很小的指定區(qū)域時,隱單元的徑向基函數(shù)才做出有意義的非零響應(yīng)。中心徑向?qū)ΨQ衰減是指與基函數(shù)中心徑向距離相同的輸入,隱節(jié)點中的徑向基函數(shù)都產(chǎn)生相同的輸出[12]。并且輸入與RBF的中心越近,核函數(shù)的響應(yīng)越大,所以本論文中子網(wǎng)絡(luò)與集成系統(tǒng)輸出之間的權(quán)值由測試數(shù)據(jù)與RBF的最近中心決定,所謂最近中心就是指輸入數(shù)據(jù)與RBF所有中心的徑向距離中最小的一個中心。圖2為最近中心確定獲勝子網(wǎng)絡(luò)增量學(xué)習(xí)方法。

    圖2 最近中心法確定獲勝子網(wǎng)絡(luò)方法

    具體算法如下:

    (1) 計算測試數(shù)據(jù)與網(wǎng)絡(luò)集成中心的徑向距離,找出徑向距離最小的中心,即為最近中心。

    (2) 判斷最近中心所屬子網(wǎng)絡(luò),即為獲勝子網(wǎng)絡(luò);獲勝子網(wǎng)絡(luò)的輸出權(quán)值為1,非獲勝子網(wǎng)絡(luò)的輸出權(quán)值為0。

    RBF訓(xùn)練過程中不能去除噪聲數(shù)據(jù),而且網(wǎng)絡(luò)的中心個數(shù)是有限的,如果中心太多RBF的訓(xùn)練會出現(xiàn)過擬合現(xiàn)象。由于RBF中心個數(shù)的限制,每個中心都包含了一部分特征信息,導(dǎo)致網(wǎng)絡(luò)中心不能完全包含所有的特征信息。如果兩個子網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)特別相似,就會出現(xiàn)部分中心相似性,當(dāng)用最近中心確定獲勝子網(wǎng)時,很有可能選錯子網(wǎng)絡(luò)。而通過SOM學(xué)習(xí)得到的原型向量包含了訓(xùn)練數(shù)據(jù)更多的特征信息,同時也會去除噪聲數(shù)據(jù),所以本文考慮采用SOM的原型向量進一步確定獲勝子網(wǎng)絡(luò)。

    2.3.2最大概率確定獲勝子網(wǎng)絡(luò)

    SOM是無導(dǎo)師學(xué)習(xí)的方法,具有良好的自組織能力。通過SOM學(xué)習(xí)可以去除含有噪聲的特征數(shù)據(jù),得到更為緊湊的原型向量,并且原型向量的維數(shù)和輸入數(shù)據(jù)的維數(shù)相同,用得到的原型向量來構(gòu)建PNN。SOM[12,13]訓(xùn)練時,采用批量處理的訓(xùn)練方式,鄰域函數(shù)為高斯函數(shù)。

    具體算法如下:

    (2) 根據(jù)劃分到Voronoi區(qū)域Vj中的樣本個數(shù)nj,計算這些樣本的均值,公式如下:

    (10)

    其中,xp∈Vj,1≤p≤nj。

    (3) 更新原型向量:

    (11)

    其中,hjk(t)為鄰域函數(shù),hjk(t)依賴于獲勝神經(jīng)元k和興奮神經(jīng)元j在輸出空間的側(cè)向距離,本文中鄰域函數(shù)為高斯函數(shù)。

    由于k-均值聚類法沒有對訓(xùn)練數(shù)據(jù)進行去除噪聲,不同網(wǎng)絡(luò)的相似性高的訓(xùn)練數(shù)據(jù)會得到相似的中心,從而在選擇獲勝子網(wǎng)絡(luò)時發(fā)生錯誤,所以增加了子網(wǎng)絡(luò)的最大概率這個判定條件,圖3為最大概率確定獲勝網(wǎng)絡(luò)的整體增量學(xué)習(xí)過程圖。

    圖3 增量學(xué)習(xí)過程

    最大概率確定獲勝子網(wǎng)絡(luò)具體算法如下:

    (12)

    p(x|ωj)=max(pl(x|ωj))

    (13)

    式中,第j個子網(wǎng)絡(luò)的概率p(x|ωj)為pl(x|ωj)中最大的一個。其中δ為平滑因子,公式如下:

    (14)

    其中‖χu,l-χu,j‖為兩個原型向量的徑向距離。

    2.3.3最近中心與最大概率確定獲勝子網(wǎng)絡(luò)

    經(jīng)過多次的實驗發(fā)現(xiàn),最近中心和次近中心如果屬于同一個子網(wǎng)絡(luò),那么僅根據(jù)最近中心確定的獲勝子網(wǎng)絡(luò)輸出的結(jié)果正確率很高,所謂最近中心就是指輸入數(shù)據(jù)與RBF所有中心的徑向距離中最小的一個中心,輸入數(shù)據(jù)與RBF所有中心的徑向距離中第二小的中心為次近中心;如果最近中心和次近中心所屬的子網(wǎng)絡(luò)不同,那么僅根據(jù)最近中心確定的獲勝子網(wǎng)絡(luò)對結(jié)果的輸出,有少部分會出現(xiàn)錯誤。這就說明當(dāng)最近中心和次近中心所屬子網(wǎng)絡(luò)不同時,它們所屬的子網(wǎng)絡(luò)都有可能為真正的獲勝子網(wǎng)絡(luò),僅憑借最近中心確定的獲勝的正確率顯然要低。

    最大概率法確定獲勝子網(wǎng)絡(luò)也存在上述問題,所以想結(jié)合以上兩種方法來解決該問題。本文又提出了最近中心與最大概率相結(jié)合的方法來確定獲勝子網(wǎng)絡(luò)。

    該方法的主要思想是:如果最近中心和次近中心所屬的子網(wǎng)絡(luò)是同一個網(wǎng)絡(luò),那么它們所在的網(wǎng)絡(luò)為獲勝子網(wǎng)絡(luò);如果最近中心和次近中心的所屬的網(wǎng)絡(luò)不同,并且最近中心所在子網(wǎng)絡(luò)的最大概率大于次近中心所在網(wǎng)絡(luò)的最大概率,那么最近中心所在子網(wǎng)絡(luò)為獲勝子網(wǎng)絡(luò);如果最近中心和次近中心所屬子網(wǎng)絡(luò)不同,而且最近中心所在子網(wǎng)絡(luò)的最大概率小于次近中心所在網(wǎng)絡(luò)的最大概率,就要考慮最近中心和次近中心距離了,假設(shè)最近中心、次近中心的徑向距離分別為d1和d2,并且d1≤d2,離中心越近,核函數(shù)的響應(yīng)越大,所以d1/(d1+d2)的取值越小,代表最近中心的重要性越大。最近中心和次近中心所在子網(wǎng)的最大概率為pj和pg,j=1,2,…,u;g=1,2,…,u,圖4為最近中心與最大概率確定獲勝子網(wǎng)絡(luò)方法。

    圖4 最近中心與最大概率確定獲勝子網(wǎng)絡(luò)方法

    具體算法如下:

    (1) 計算出測試數(shù)據(jù)與最近中心、次近中心的徑向距離d1和d2,并用PNN求出最近中心和次近中心所在子網(wǎng)絡(luò)的最大概率pj和pg。

    (2) 如果最近中心和次近中心屬于相同的網(wǎng)絡(luò),則最近中心和次近中心所在的網(wǎng)絡(luò)為獲勝子網(wǎng)絡(luò),輸出權(quán)值為1;其他網(wǎng)絡(luò)為非獲勝子網(wǎng)絡(luò),輸出權(quán)值為0。

    (3) 如果最近中心和次近中心屬于不同的網(wǎng)絡(luò)yj和yg,pj大于等于pg,則yj為獲勝子網(wǎng),輸出權(quán)值為1;其他網(wǎng)絡(luò)為非獲勝子網(wǎng)絡(luò),輸出權(quán)值為0。

    (4) 如果最近中心和次近中心屬于不同的子網(wǎng)絡(luò)yj和yg,pj小于pg,d1/(d1+d2)大于閾值T,則yg為獲勝子網(wǎng)絡(luò),輸出權(quán)值為1;其他網(wǎng)絡(luò)為非獲勝子網(wǎng)絡(luò),輸出權(quán)值為0。

    (5) 如果最近中心和次近中心屬于不同的子網(wǎng)絡(luò)yj和yg,pj小于pg,d1/(d1+d2)小于閾值T,則yj為獲勝子網(wǎng)絡(luò),輸出權(quán)值為1;其他網(wǎng)絡(luò)為非獲勝子網(wǎng)絡(luò),輸出權(quán)值為0。

    3實驗結(jié)果分析

    本文采用自組織映射與概率神經(jīng)網(wǎng)絡(luò)的增量式學(xué)習(xí)算法(IMSOMPNN)的實驗數(shù)據(jù)[13]。該實驗數(shù)據(jù)為UCI機器學(xué)習(xí)庫中Statlog(LandsatSatellite)數(shù)據(jù)集。該數(shù)據(jù)集共有36個屬性,6個類別 ,6435個樣本,其中4435個是訓(xùn)練樣本,2000個為測試樣本。T1∪T2∪…∪T6,分別代表6個類別的訓(xùn)練數(shù)據(jù),6個類別的測試數(shù)據(jù)為E1∪E2∪…∪E6。

    3.1最近中心確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)

    首先使用T1∪T2來訓(xùn)練一個初始的RBF網(wǎng)絡(luò)集成系統(tǒng),然后使用E1∪E2來對模型進行測試;在第t步(2≤t≤5)時,用Tt+1訓(xùn)練一個RBF網(wǎng)絡(luò),并把新訓(xùn)練的RBF加入到RBF集成系統(tǒng)中,然后使用E1∪E2∪…∪Et+1測試模型。表1為最近中心確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)結(jié)果。

    表1 最近中心確定獲勝子網(wǎng)絡(luò)的增量學(xué)習(xí)

    3.2最大概率確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)

    首先使用T1∪T2來訓(xùn)練一個初始的RBF網(wǎng)絡(luò)集成系統(tǒng),訓(xùn)練一個SOM神經(jīng)網(wǎng)絡(luò),從而得到SOM的原型向量。然后使用E1∪E2來對模型進行測試;在第t步(2≤t≤5)時,用Tt+1訓(xùn)練一個RBF網(wǎng)絡(luò)和一個SOM,并把新訓(xùn)練的RBF加入到RBF集成系統(tǒng)中,把新的SOM原型向量加入到神經(jīng)網(wǎng)絡(luò)集成系統(tǒng)中,然后使用E1∪E2∪…∪Et+1測試模型。如表2所示。

    表2 最大概率確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)

    3.3最近中心與最大概率確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)

    首先使用T1∪T2來訓(xùn)練一個初始的RBF網(wǎng)絡(luò)集成系統(tǒng),訓(xùn)練一個SOM神經(jīng)網(wǎng)絡(luò),從而得到SOM的原型向量。然后使用E1∪E2來對模型進行測試;在第t步(2≤t≤5)時,用Tt+1訓(xùn)練一個RBF網(wǎng)絡(luò)和一個SOM,并把新訓(xùn)練的RBF加入到RBF集成系統(tǒng)中,把新的SOM原型向量加入到神經(jīng)網(wǎng)絡(luò)集成系統(tǒng)中,然后使用E1∪E2∪…∪Et+1測試模型。表3為最近中心與最大概率確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)結(jié)果。

    表3 最近中心與最大概率確定獲勝子網(wǎng)絡(luò)的單類別增量學(xué)習(xí)

    3.4IMSOMPNN

    首先,使用T1∪T2來訓(xùn)練一個初始的IMSOMPNN,然后使用E1∪E2來對模型行進行測試;在第t步2≤t≤5時,將Tt+1提交至IMSOMPNN進行增量學(xué)習(xí),然后使用E1∪E2∪…∪Et+1測試模型。表4給出了增量學(xué)習(xí)的每一步中,模型分類性能的變化。表4為自組織映射與概率神經(jīng)網(wǎng)絡(luò)相結(jié)合的單類別增量學(xué)習(xí)結(jié)果。

    表4 自組織映射與概率神經(jīng)網(wǎng)絡(luò)相結(jié)合的增量學(xué)習(xí)

    3.5最大概率確定獲勝子網(wǎng)絡(luò)的多類別增量學(xué)習(xí)

    為了體現(xiàn)每次增量學(xué)習(xí)可以實現(xiàn)多個類別的學(xué)習(xí),本次實驗第一步使用T1∪T2訓(xùn)練一個初始的RBF網(wǎng)絡(luò)集成系統(tǒng)和SOM,然后使用E1∪E2來對模型進行測試;第二步使用T3訓(xùn)練一個RBF和SOM,并把新訓(xùn)練的RBF加入RBF網(wǎng)絡(luò)集成系統(tǒng)中,用E3對模型進行測試;第三步使用T4∪T5訓(xùn)練一個RBF和SOM,并把新訓(xùn)練的RBF加入到RBF集成系統(tǒng)中,用E4∪E5對模型進行測試;第四步使用T6訓(xùn)練一個RBF和SOM,并把新訓(xùn)練的RBF加入到RBF集成系統(tǒng)中,用E6對模型進行測試。表5為最大概率確定獲勝子網(wǎng)絡(luò)的多類別增量學(xué)習(xí)結(jié)果。

    表5 最大概率確定獲勝子網(wǎng)絡(luò)的多類別增量學(xué)習(xí)

    3.6實驗分析

    圖6為四種方法的性能對比圖。從結(jié)果和性能對比圖上可以看出最近中心確定獲勝子網(wǎng)絡(luò)的性能比較低,其他三種方法的性能相差不多,都沒有遺忘已學(xué)知識,同時也可以學(xué)習(xí)新類別的知識,每次增量學(xué)習(xí)只增加一個子網(wǎng)絡(luò),避免了網(wǎng)絡(luò)系統(tǒng)過于龐大的問題。

    圖6 單類別學(xué)習(xí)性能對比圖

    IMSOMPNN對六類知識學(xué)習(xí)需要學(xué)習(xí)六次,也就是每次只能學(xué)習(xí)一個類別的知識,不能進行多個類別知識的學(xué)習(xí),會使得學(xué)習(xí)過程很繁瑣,不具有實用性。多類別增量學(xué)習(xí)實驗證實了該網(wǎng)絡(luò)可以進行多個類別的增量學(xué)習(xí),表5給出了實驗結(jié)果。通過實驗表明了本文的方法既可以單個類別的增量學(xué)習(xí),也可以進行多類別的增量學(xué)習(xí),即在第3步增量學(xué)習(xí)中,同時學(xué)習(xí)了類別4和類別5的知識,這是IMSOMPNN所不能實現(xiàn)的,在現(xiàn)實生活中多類別的增量學(xué)習(xí)更具有使用價值。

    從以上實驗可知,本文方法每次增量學(xué)習(xí)只增加了一個子網(wǎng)絡(luò),避免了網(wǎng)絡(luò)系統(tǒng)過于龐大的問題,同時在保證性能基本不變的基礎(chǔ)上實現(xiàn)了多個類別的學(xué)習(xí),具有實用意義。

    4結(jié)語

    本文提出了一種基于RBF的集成增量學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。這種增量學(xué)習(xí)模型主要是通過最近中心法、最大概率法以及以上兩種方法相結(jié)合的方法來決定獲勝子網(wǎng)絡(luò),通過獲勝網(wǎng)絡(luò)進而得到最終輸出。這種增量學(xué)習(xí)系統(tǒng)是建立在系統(tǒng)穩(wěn)定的基礎(chǔ)上進行增量學(xué)習(xí)的,所以對已學(xué)知識沒有遺忘,同時避免了逐個類別訓(xùn)練的繁瑣性和網(wǎng)絡(luò)系統(tǒng)過于龐大的問題。該算法通過確定獲勝子網(wǎng)絡(luò)的方法進行確定獲勝子網(wǎng)絡(luò),最終結(jié)果由獲勝子網(wǎng)絡(luò)進行輸出。獲勝子網(wǎng)絡(luò)中可能包含單類別信息,也可能包含多個類別的信息,從而既可以實現(xiàn)單類別增量學(xué)習(xí),也可以實現(xiàn)多個類別的增量學(xué)習(xí),通過實驗論證了該方法的有效性。

    參考文獻

    [1]GrossbergS.Nonlinearneuralnetworks:Principles,mechanismsandarchitectures[J].NeuralNetworks,1988,1(1):17-61.

    [2]PolikarR,UpdaL,UpdaSS,etal.Learn++:Anincrementallearningalgorithmforsupervisedneuralnetworks[J].Systems,Man,andCybernetics,PartC:ApplicationsandReviews,IEEETransactionson,2001,31(4):497-508.

    [3]MinkuFL,InoueH,YaoX.Negativecorrelationinincrementallearning[J].NaturalComputing,2009,8(2):289-320.

    [4] 林民龍.基于神經(jīng)網(wǎng)絡(luò)集成的增量式學(xué)習(xí)[D].中國科學(xué)技術(shù)大學(xué),2012.

    [5]WangN,ErMJ,MengX.Afastandaccurateonlineself-organizingschemeforparsimoniousfuzzyneuralnetworks[J].Neurocomputing,2009,72(16):3818-3829.

    [6] 胡蓉,徐蔚鴻,甘嵐.一種連續(xù)增量學(xué)習(xí)模糊神經(jīng)網(wǎng)絡(luò)[J].模式識別與人工智能,2013,26(8):794-799.

    [7] 夏長亮,王明超.基于RBF神經(jīng)網(wǎng)絡(luò)的開關(guān)磁阻電機單神經(jīng)元PID控制[J].中國電機工程學(xué)報,2005,25(15):161-165.

    [8] 鄧?yán)^雄,李志舜,梁紅.確定RBF神經(jīng)網(wǎng)絡(luò)參數(shù)的新方法[J].微處理機,2006,27(4):48-49.

    [9] 劉小華,劉沛,張步涵,等.逐級均值聚類算法的RBFN模型在負(fù)荷預(yù)測中的應(yīng)用[J].中國電機工程學(xué)報,2004,24(2):17-21.

    [10] 李鑫濱,楊景明,丁喜峰.基于遞推k-均值聚類算法的RBF神經(jīng)網(wǎng)絡(luò)及其在系統(tǒng)辨識中的應(yīng)用[J].燕山大學(xué)學(xué)報,1999,23(4):363-366.

    [11] 王永驥,涂健.神經(jīng)元網(wǎng)絡(luò)控制[M].北京:機械工業(yè)出版社,1998:68.

    [12]YuDJ,ShenHB,YangJY.SOMPNN:anefficientnon-parametricmodelforpredictingtransmembranehelices[J].Aminoacids,2012,42(6):2195-2205.

    [13] 戚湧,胡俊,於東軍.基于自組織映射與概率神經(jīng)網(wǎng)絡(luò)的增量式學(xué)習(xí)算法[J].南京理工大學(xué)學(xué)報:自然科學(xué)版,2013(1):1-6.

    RESEARCH ON RBF NEURAL NETWORK-BASED ENSEMBLE INCREMENTALLEARNINGALGORITHM

    Peng YuqingZhao CuicuiGao Qingqing

    (School of Computer Science and Engineering,Hebei University of Technology,Tianjin 300401,China)

    AbstractAiming at the forgetfulness problem of incremental learning and the excessive network growth problem of the integrated incremental learning, this paper proposes an integrated incremental learning method which is based on the radial basis function (RBF) neural network. In order to avoid the forgetfulness of the network, for each knowledge learning of new category we all trained an RBF neural network, and added the newly trained RBF neural network to the integrated system so as to form a large system of neural networks. To determine the winning sub-network, we adopted the nearest centre method, the maximum probability method and the combination of these two methods, and the final result was outputted by the winning sub-network. Moreover, we introduced the prototype vectors of self-organising map to maximum probability method for solving the problem of class centre similarity. For verifying the proposed network incremental learning, we made the experiments using the Statlog (Landsat Satellite) dataset in UCI machine learning library. Experimental results showed that after learning the knowledge of new category, this network could accept the new without forgetting the learned knowledge.

    KeywordsRBFSOMIncremental learning

    收稿日期:2015-01-13。國家自然科學(xué)基金項目(51175145);天津市自然科學(xué)基金項目(13JCYBJC15400);河北省高等學(xué)??茖W(xué)技術(shù)研究項目(ZD2014030)。彭玉青,教授,主研領(lǐng)域:計算機視覺,數(shù)據(jù)庫,智能信息處理。趙翠翠,碩士生。高晴晴,碩士生。

    中圖分類號TP183

    文獻標(biāo)識碼A

    DOI:10.3969/j.issn.1000-386x.2016.06.059

    猜你喜歡
    增量權(quán)值類別
    一種融合時間權(quán)值和用戶行為序列的電影推薦模型
    提質(zhì)和增量之間的“辯證”
    CONTENTS
    “價增量減”型應(yīng)用題點撥
    基于權(quán)值動量的RBM加速學(xué)習(xí)算法研究
    基于均衡增量近鄰查詢的位置隱私保護方法
    服務(wù)類別
    新校長(2016年8期)2016-01-10 06:43:59
    德州儀器(TI)發(fā)布了一對32位增量-累加模數(shù)轉(zhuǎn)換器(ADC):ADS1262和ADS126
    論類別股東會
    商事法論集(2014年1期)2014-06-27 01:20:42
    中醫(yī)類別全科醫(yī)師培養(yǎng)模式的探討
    91午夜精品亚洲一区二区三区| 激情 狠狠 欧美| 一边摸一边抽搐一进一小说| 国产精品久久电影中文字幕| 日韩国内少妇激情av| 又粗又爽又猛毛片免费看| 久久久久久久久久黄片| 午夜福利视频1000在线观看| 国产精品麻豆人妻色哟哟久久 | 蜜桃亚洲精品一区二区三区| 麻豆成人av视频| 欧美+亚洲+日韩+国产| 波多野结衣高清作品| 欧美成人一区二区免费高清观看| 国产精品久久电影中文字幕| 岛国毛片在线播放| 精品国产三级普通话版| 亚洲aⅴ乱码一区二区在线播放| 美女高潮的动态| 国产成人午夜福利电影在线观看| 国产三级在线视频| 日本免费a在线| 欧美色欧美亚洲另类二区| 国产在线男女| 国产免费一级a男人的天堂| 久久精品国产清高在天天线| 春色校园在线视频观看| 国产日韩欧美在线精品| 国产熟女欧美一区二区| 久久婷婷人人爽人人干人人爱| 最近中文字幕高清免费大全6| 能在线免费观看的黄片| 日韩大尺度精品在线看网址| 精品熟女少妇av免费看| 床上黄色一级片| 久久久色成人| 免费一级毛片在线播放高清视频| 亚洲av中文av极速乱| 成人特级av手机在线观看| 国产淫片久久久久久久久| 又黄又爽又刺激的免费视频.| 在线观看66精品国产| 国内揄拍国产精品人妻在线| 欧美成人一区二区免费高清观看| 最近最新中文字幕大全电影3| 波野结衣二区三区在线| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 联通29元200g的流量卡| 亚洲精品乱码久久久久久按摩| 国产一区二区亚洲精品在线观看| 美女高潮的动态| 国产伦一二天堂av在线观看| www日本黄色视频网| 亚洲av一区综合| 婷婷色av中文字幕| 亚洲av二区三区四区| 男女下面进入的视频免费午夜| 日日摸夜夜添夜夜爱| 极品教师在线视频| av福利片在线观看| 精品午夜福利在线看| 亚洲欧美清纯卡通| 国内精品久久久久精免费| 日本黄大片高清| 五月玫瑰六月丁香| 久久精品夜色国产| 熟妇人妻久久中文字幕3abv| 成人三级黄色视频| 中国美女看黄片| 亚洲国产精品国产精品| 免费av不卡在线播放| 菩萨蛮人人尽说江南好唐韦庄 | av卡一久久| 一级毛片久久久久久久久女| 男插女下体视频免费在线播放| 最近视频中文字幕2019在线8| 免费大片18禁| 欧美成人a在线观看| 毛片女人毛片| 桃色一区二区三区在线观看| 久久久欧美国产精品| 久久欧美精品欧美久久欧美| 91在线精品国自产拍蜜月| 欧美成人免费av一区二区三区| 九草在线视频观看| 国产精品人妻久久久影院| 在现免费观看毛片| 精品国内亚洲2022精品成人| 国产精品综合久久久久久久免费| 变态另类丝袜制服| 欧美丝袜亚洲另类| 国产伦一二天堂av在线观看| 国产 一区精品| 国产高清有码在线观看视频| 国产大屁股一区二区在线视频| 成人特级黄色片久久久久久久| 亚州av有码| 日韩亚洲欧美综合| av专区在线播放| 国产精品久久久久久亚洲av鲁大| 欧美激情在线99| 国产av一区在线观看免费| 九九在线视频观看精品| 欧美一区二区国产精品久久精品| 如何舔出高潮| 欧美三级亚洲精品| 亚洲欧洲日产国产| 99久久精品国产国产毛片| 成人鲁丝片一二三区免费| 国产单亲对白刺激| 99热精品在线国产| 精品不卡国产一区二区三区| 日韩中字成人| 精品久久久久久久久av| 99热这里只有是精品在线观看| 国产精品99久久久久久久久| 亚洲av.av天堂| 亚洲国产精品成人综合色| 日韩一区二区三区影片| 日韩欧美国产在线观看| 日产精品乱码卡一卡2卡三| 一个人免费在线观看电影| 一卡2卡三卡四卡精品乱码亚洲| 国产白丝娇喘喷水9色精品| 99热网站在线观看| 99在线视频只有这里精品首页| 国产精品野战在线观看| eeuss影院久久| 午夜福利在线观看吧| 午夜久久久久精精品| 亚洲色图av天堂| 亚洲精品日韩在线中文字幕 | 久久精品国产亚洲av天美| 亚洲国产高清在线一区二区三| 亚洲精品粉嫩美女一区| 中文字幕免费在线视频6| 小说图片视频综合网站| 男女边吃奶边做爰视频| 午夜精品国产一区二区电影 | 丝袜美腿在线中文| 免费观看精品视频网站| 亚洲精品自拍成人| 卡戴珊不雅视频在线播放| 国产在视频线在精品| 我的老师免费观看完整版| 亚洲18禁久久av| 亚洲精品粉嫩美女一区| 亚洲人成网站在线播放欧美日韩| 亚洲精品自拍成人| 亚洲国产欧美在线一区| 一本一本综合久久| 国内久久婷婷六月综合欲色啪| 少妇熟女aⅴ在线视频| 男人舔奶头视频| 国产高清视频在线观看网站| 亚洲va在线va天堂va国产| 干丝袜人妻中文字幕| av专区在线播放| av天堂中文字幕网| 亚洲精品乱码久久久久久按摩| 97超视频在线观看视频| 国产精品精品国产色婷婷| 亚洲av免费高清在线观看| 一卡2卡三卡四卡精品乱码亚洲| 日韩在线高清观看一区二区三区| 永久网站在线| 97人妻精品一区二区三区麻豆| 又粗又硬又长又爽又黄的视频 | 99久国产av精品国产电影| 中文字幕制服av| 中文字幕久久专区| 成年版毛片免费区| 欧美日本亚洲视频在线播放| 搡女人真爽免费视频火全软件| 床上黄色一级片| 国产精华一区二区三区| 高清在线视频一区二区三区 | 亚洲三级黄色毛片| 成人特级黄色片久久久久久久| 日韩欧美一区二区三区在线观看| 日本爱情动作片www.在线观看| 亚洲成a人片在线一区二区| 国产激情偷乱视频一区二区| .国产精品久久| 国产成人福利小说| 国内久久婷婷六月综合欲色啪| 22中文网久久字幕| 成人无遮挡网站| 小蜜桃在线观看免费完整版高清| 亚洲美女视频黄频| 乱系列少妇在线播放| 久久精品国产亚洲av涩爱 | 国产精品不卡视频一区二区| 国产成年人精品一区二区| 亚洲成a人片在线一区二区| 成人亚洲欧美一区二区av| 久久久精品94久久精品| 最近最新中文字幕大全电影3| 日产精品乱码卡一卡2卡三| 91狼人影院| 午夜福利在线在线| 最后的刺客免费高清国语| 午夜视频国产福利| 午夜a级毛片| 久久久国产成人免费| 18+在线观看网站| 成人三级黄色视频| 热99re8久久精品国产| 亚洲经典国产精华液单| 我要看日韩黄色一级片| 最近最新中文字幕大全电影3| 2021天堂中文幕一二区在线观| 精品久久久久久久末码| 精品久久久久久久人妻蜜臀av| 少妇被粗大猛烈的视频| 韩国av在线不卡| 变态另类成人亚洲欧美熟女| 国产黄色小视频在线观看| 亚洲在线自拍视频| 亚洲精品日韩av片在线观看| 51国产日韩欧美| 欧美最新免费一区二区三区| 成人漫画全彩无遮挡| 精品久久久久久久久久久久久| 亚洲精品亚洲一区二区| 最后的刺客免费高清国语| 欧美日韩国产亚洲二区| 男女边吃奶边做爰视频| 又黄又爽又刺激的免费视频.| 欧美日韩在线观看h| 亚洲欧美日韩高清专用| 欧美区成人在线视频| 国产精品女同一区二区软件| 欧美潮喷喷水| 日韩欧美三级三区| 久久久久久久久久久丰满| 免费看a级黄色片| 亚洲av免费高清在线观看| 久久鲁丝午夜福利片| 99在线人妻在线中文字幕| 欧美xxxx性猛交bbbb| 亚洲人成网站在线观看播放| 国产爱豆传媒在线观看| 久久精品夜夜夜夜夜久久蜜豆| 在线观看美女被高潮喷水网站| 国产精品美女特级片免费视频播放器| 国产色婷婷99| 一区二区三区高清视频在线| 亚洲最大成人av| 夜夜夜夜夜久久久久| 欧美日韩国产亚洲二区| 亚洲真实伦在线观看| av又黄又爽大尺度在线免费看 | av在线观看视频网站免费| 亚洲av成人av| 最近中文字幕高清免费大全6| 中出人妻视频一区二区| 国产伦一二天堂av在线观看| 黄片wwwwww| 国产成人a∨麻豆精品| 精品人妻一区二区三区麻豆| 国产亚洲精品久久久久久毛片| 国产私拍福利视频在线观看| 久久久色成人| 国产激情偷乱视频一区二区| 欧美+亚洲+日韩+国产| 深爱激情五月婷婷| 精品日产1卡2卡| 婷婷精品国产亚洲av| 日韩欧美精品v在线| 亚洲最大成人手机在线| 日本成人三级电影网站| 69av精品久久久久久| 人人妻人人看人人澡| 黑人高潮一二区| 中文字幕制服av| 蜜臀久久99精品久久宅男| 禁无遮挡网站| 高清午夜精品一区二区三区 | 成年女人看的毛片在线观看| 99riav亚洲国产免费| 精品少妇黑人巨大在线播放 | 少妇人妻精品综合一区二区 | 免费搜索国产男女视频| 国产精品乱码一区二三区的特点| 18禁在线播放成人免费| 在线国产一区二区在线| 久久久精品94久久精品| 国产色爽女视频免费观看| 亚洲精品亚洲一区二区| 丰满乱子伦码专区| 日韩 亚洲 欧美在线| 99精品在免费线老司机午夜| 成人毛片60女人毛片免费| 成人漫画全彩无遮挡| 亚洲美女搞黄在线观看| 国产成人精品久久久久久| 日韩强制内射视频| 一卡2卡三卡四卡精品乱码亚洲| 亚洲经典国产精华液单| 69人妻影院| 欧美日本视频| 噜噜噜噜噜久久久久久91| 欧美最黄视频在线播放免费| 97超视频在线观看视频| 亚洲不卡免费看| 欧美日韩精品成人综合77777| 国产视频内射| 神马国产精品三级电影在线观看| 美女 人体艺术 gogo| 国产免费一级a男人的天堂| 一本久久精品| 亚洲国产高清在线一区二区三| 毛片一级片免费看久久久久| 国产精品一区二区三区四区免费观看| 国产高清有码在线观看视频| 久久久久国产网址| 日日摸夜夜添夜夜爱| 国产精品99久久久久久久久| 中国国产av一级| 波多野结衣巨乳人妻| 热99在线观看视频| 亚洲国产色片| 人人妻人人看人人澡| 男人舔奶头视频| 亚洲aⅴ乱码一区二区在线播放| 亚洲av不卡在线观看| 成人特级黄色片久久久久久久| or卡值多少钱| 免费黄网站久久成人精品| 午夜福利在线观看免费完整高清在 | 偷拍熟女少妇极品色| 在线国产一区二区在线| 亚洲精品国产成人久久av| 国产av麻豆久久久久久久| 久久久久久久久久黄片| 十八禁国产超污无遮挡网站| 五月玫瑰六月丁香| 亚洲三级黄色毛片| 久久精品影院6| 十八禁国产超污无遮挡网站| 免费电影在线观看免费观看| 久久久久久久亚洲中文字幕| 亚洲av成人av| a级一级毛片免费在线观看| 亚洲国产欧美在线一区| 国产欧美日韩精品一区二区| 国产av不卡久久| 精品久久久久久久久久免费视频| 国产精品一区二区三区四区久久| 联通29元200g的流量卡| 久久精品综合一区二区三区| 少妇的逼水好多| 九色成人免费人妻av| 国产色婷婷99| 国产一区二区在线av高清观看| av免费在线看不卡| 国产在线精品亚洲第一网站| 天堂√8在线中文| 又黄又爽又刺激的免费视频.| 99久久中文字幕三级久久日本| 亚洲第一电影网av| 亚洲av.av天堂| 午夜久久久久精精品| 欧美bdsm另类| 久久精品国产鲁丝片午夜精品| 91av网一区二区| 婷婷色av中文字幕| 少妇丰满av| 老司机福利观看| 国产一区二区在线观看日韩| 99热这里只有精品一区| 色综合亚洲欧美另类图片| 亚洲美女搞黄在线观看| 国产精品一及| 老女人水多毛片| 久久久久久久久大av| 国产综合懂色| 精品午夜福利在线看| 国内精品久久久久精免费| 国产成人精品婷婷| 中文字幕av在线有码专区| 国产精品爽爽va在线观看网站| 97超碰精品成人国产| 亚洲最大成人av| 日日摸夜夜添夜夜添av毛片| 久久久久久久午夜电影| 国产午夜精品论理片| 偷拍熟女少妇极品色| 一个人看视频在线观看www免费| 亚洲av第一区精品v没综合| 成人高潮视频无遮挡免费网站| 69人妻影院| 国产精品.久久久| 国产成人a∨麻豆精品| 国产黄片美女视频| 一级毛片我不卡| 亚洲第一区二区三区不卡| 好男人在线观看高清免费视频| 三级国产精品欧美在线观看| 中文字幕精品亚洲无线码一区| 此物有八面人人有两片| 中出人妻视频一区二区| 久久久成人免费电影| 尤物成人国产欧美一区二区三区| 国产精品一区二区三区四区久久| 小蜜桃在线观看免费完整版高清| 亚洲精品粉嫩美女一区| 国产亚洲av片在线观看秒播厂 | 激情 狠狠 欧美| 国产精品一二三区在线看| 你懂的网址亚洲精品在线观看 | 亚洲av第一区精品v没综合| 观看免费一级毛片| 在线观看av片永久免费下载| 欧美日韩乱码在线| 亚洲在线观看片| 波多野结衣高清无吗| 69av精品久久久久久| 国产在线男女| 色吧在线观看| 久久精品国产99精品国产亚洲性色| 欧美日韩一区二区视频在线观看视频在线 | av福利片在线观看| 欧美日韩乱码在线| 亚洲第一电影网av| 又黄又爽又刺激的免费视频.| 草草在线视频免费看| 人妻久久中文字幕网| 99国产极品粉嫩在线观看| 亚洲人与动物交配视频| 成人特级黄色片久久久久久久| 综合色丁香网| 亚洲欧美日韩高清在线视频| 久久中文看片网| 高清在线视频一区二区三区 | 午夜亚洲福利在线播放| 熟女电影av网| 国模一区二区三区四区视频| 国产成人a区在线观看| 国产 一区精品| 干丝袜人妻中文字幕| 国产av在哪里看| 51国产日韩欧美| 免费看av在线观看网站| 内射极品少妇av片p| av又黄又爽大尺度在线免费看 | 久久精品国产亚洲av香蕉五月| 国产成人aa在线观看| 久久精品91蜜桃| 夜夜爽天天搞| 久久亚洲国产成人精品v| 99久久精品热视频| 一级av片app| 国产三级在线视频| 日韩 亚洲 欧美在线| 村上凉子中文字幕在线| 直男gayav资源| 久久人人爽人人爽人人片va| 国产精品不卡视频一区二区| 毛片一级片免费看久久久久| 悠悠久久av| 久久精品久久久久久久性| 亚洲欧美成人综合另类久久久 | 身体一侧抽搐| 美女高潮的动态| 国产伦精品一区二区三区视频9| 久久久精品大字幕| 中国国产av一级| 亚洲色图av天堂| 午夜精品在线福利| 日本五十路高清| 啦啦啦啦在线视频资源| 亚洲av.av天堂| 精品国内亚洲2022精品成人| 欧美精品国产亚洲| 亚洲不卡免费看| 日产精品乱码卡一卡2卡三| 久久久久九九精品影院| 亚洲在久久综合| 欧美性感艳星| 啦啦啦观看免费观看视频高清| 国产精品,欧美在线| av黄色大香蕉| 国产精品久久久久久精品电影| 亚洲图色成人| 色噜噜av男人的天堂激情| 欧美成人免费av一区二区三区| av天堂在线播放| 久久人人爽人人片av| 国产精品一区二区性色av| 日韩欧美精品免费久久| 大香蕉久久网| 岛国在线免费视频观看| a级一级毛片免费在线观看| 草草在线视频免费看| 国产单亲对白刺激| 只有这里有精品99| 99热6这里只有精品| 日本黄色视频三级网站网址| 最近手机中文字幕大全| 国产精品一区二区在线观看99 | 99热这里只有精品一区| 国产亚洲5aaaaa淫片| 美女cb高潮喷水在线观看| 婷婷精品国产亚洲av| 日本爱情动作片www.在线观看| 亚洲av中文字字幕乱码综合| 97在线视频观看| 国产精品野战在线观看| 国产成人福利小说| 亚洲人与动物交配视频| 亚洲第一区二区三区不卡| av女优亚洲男人天堂| 大型黄色视频在线免费观看| 国产人妻一区二区三区在| 99视频精品全部免费 在线| 69av精品久久久久久| 国产伦理片在线播放av一区 | 简卡轻食公司| 国产爱豆传媒在线观看| 国产美女午夜福利| 国产精品久久久久久亚洲av鲁大| 一级黄片播放器| 亚洲激情五月婷婷啪啪| 国产黄色视频一区二区在线观看 | 丰满的人妻完整版| 欧美高清成人免费视频www| 夜夜爽天天搞| 此物有八面人人有两片| 又爽又黄a免费视频| 激情 狠狠 欧美| 欧美日韩综合久久久久久| 免费在线观看成人毛片| 国产精品一及| 久久久久久久久久成人| 男人和女人高潮做爰伦理| 中文欧美无线码| 久久久久久久亚洲中文字幕| 嫩草影院新地址| 1000部很黄的大片| 午夜福利成人在线免费观看| 国产一区二区激情短视频| 看十八女毛片水多多多| 可以在线观看的亚洲视频| 26uuu在线亚洲综合色| 国产精品野战在线观看| 美女内射精品一级片tv| 国内少妇人妻偷人精品xxx网站| 亚洲久久久久久中文字幕| 亚洲欧洲日产国产| .国产精品久久| 日韩一区二区三区影片| 久久久久久久久久黄片| 国产精品乱码一区二三区的特点| 简卡轻食公司| 精品一区二区免费观看| 尾随美女入室| 99久国产av精品国产电影| av国产免费在线观看| av专区在线播放| 精品久久久久久久末码| 2021天堂中文幕一二区在线观| 国产精品麻豆人妻色哟哟久久 | 听说在线观看完整版免费高清| 亚洲中文字幕日韩| 一级av片app| 国产成人福利小说| 变态另类成人亚洲欧美熟女| 麻豆av噜噜一区二区三区| 国产成年人精品一区二区| 久久久久国产网址| 最近的中文字幕免费完整| 久久这里只有精品中国| 日韩大尺度精品在线看网址| 我要看日韩黄色一级片| 九草在线视频观看| 日韩欧美精品免费久久| 寂寞人妻少妇视频99o| 国产麻豆成人av免费视频| 黄片无遮挡物在线观看| 久久草成人影院| 日韩欧美一区二区三区在线观看| av在线老鸭窝| 99在线人妻在线中文字幕| 久久亚洲国产成人精品v| 一区二区三区四区激情视频 | 欧美成人a在线观看| 日本黄大片高清| 人妻系列 视频| 美女大奶头视频| 亚洲国产精品国产精品| 最新中文字幕久久久久| 偷拍熟女少妇极品色| 久久久久免费精品人妻一区二区| 成人午夜高清在线视频| 国产熟女欧美一区二区| 麻豆国产av国片精品| 日韩精品青青久久久久久| 日本黄色片子视频| 黄片wwwwww| 国产在线精品亚洲第一网站| 成年女人永久免费观看视频| 天天一区二区日本电影三级| 99riav亚洲国产免费| 男女啪啪激烈高潮av片| 国产单亲对白刺激| 免费电影在线观看免费观看| a级一级毛片免费在线观看| 黄色视频,在线免费观看| 欧美日韩一区二区视频在线观看视频在线 | 亚洲人成网站在线播| 亚洲美女视频黄频| 国产探花在线观看一区二区| 一级二级三级毛片免费看|