• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于隨機(jī)旋轉(zhuǎn)集成的降維方法

    2017-11-13 08:27:46,
    上海理工大學(xué)學(xué)報 2017年5期
    關(guān)鍵詞:共線性降維殘差

    ,

    (上海理工大學(xué) 管理學(xué)院,上海 200093)

    基于隨機(jī)旋轉(zhuǎn)集成的降維方法

    王橢,肖慶憲

    (上海理工大學(xué) 管理學(xué)院,上海200093)

    對隨機(jī)旋轉(zhuǎn)集成方法提出了一種針對降維問題的改進(jìn),得到了新的降維算法框架進(jìn)行隨機(jī)變換降維,可以顯著減少降維過程中造成的信息損失.采用隨機(jī)變換降維后,訓(xùn)練監(jiān)督學(xué)習(xí)算法時可以獲得更高的準(zhǔn)確率和更好的泛化性能.通過在模擬數(shù)據(jù)上進(jìn)行的實驗,證明了使用多重共線性數(shù)據(jù)進(jìn)行回歸分析時,與傳統(tǒng)降維算法相比,經(jīng)隨機(jī)變換降維處理后可以保留更多的信息,獲得更小的均方誤差.對隨機(jī)變換降維在手寫數(shù)字識別數(shù)據(jù)集上的表現(xiàn)進(jìn)行了研究,證明了與一般性的降維算法相比,隨機(jī)變換降維在圖像分類問題上可以獲得更高的準(zhǔn)確率.

    集成學(xué)習(xí); 隨機(jī)旋轉(zhuǎn)集成; 降維; 多樣性

    高維數(shù)據(jù)的處理一直是機(jī)器學(xué)習(xí)領(lǐng)域的重要問題,尤其是近年來機(jī)器學(xué)習(xí)的幾個重要應(yīng)用方向,如計算機(jī)視覺、自然語言處理等,都必須面對高維數(shù)據(jù)帶來的挑戰(zhàn).數(shù)據(jù)的維數(shù)越大,處理數(shù)據(jù)所需的時間消耗與儲存空間消耗就越大,還可能存在許多與給定任務(wù)無關(guān)的特征甚至存在大量噪聲,或是出現(xiàn)數(shù)據(jù)冗余、樣本稀疏及多重共線性問題對數(shù)據(jù)分析造成干擾.要想克服這些高維數(shù)據(jù)帶來的問題,必須對數(shù)據(jù)進(jìn)行一定的加工和處理.

    在過去的幾十年里,有大量的降維方法被不斷地提出并被深入研究,其中常用的包括傳統(tǒng)的線性降維算法如PCA和LDA;核化線性降維算法如KPCA,流形學(xué)習(xí)算法如LE[1-4],ISOMAP[5-7]以及LTSA[8],度量學(xué)習(xí)算法如NCA[9].

    部分降維算法如線性降維與核化線性降維試圖在降維過程中使噪聲被消去,保留盡可能多的有效信息;而另外一部分降維算法,如流形學(xué)習(xí)與度量學(xué)習(xí),則試圖找到保留數(shù)據(jù)在高維下的結(jié)構(gòu)特征的低維映射,以此來解決高維數(shù)據(jù)帶來的問題.

    但是在實踐中,由于樣本與總體間的差異,噪聲有可能不會被正確的識別,樣本數(shù)據(jù)的結(jié)構(gòu)特征也可能與總體存在差異.并且,將高維空間中的數(shù)據(jù)在低維空間中表示,這一數(shù)據(jù)壓縮重構(gòu)的過程不可避免地會造成信息的損失.很多情況下,將降維后的數(shù)據(jù)用于預(yù)測,其準(zhǔn)確性會低于甚至遠(yuǎn)低于采用原數(shù)據(jù)進(jìn)行預(yù)測.

    為解決這些問題,本文借鑒隨機(jī)旋轉(zhuǎn)集成(random rotation ensemble)的思想,并對降維問題作出了針對性改進(jìn),提出了一種新的降維算法框架隨機(jī)變換降維(RTDR).通過對原數(shù)據(jù)集進(jìn)行隨機(jī)變換,生成多個子數(shù)據(jù)集后再應(yīng)用現(xiàn)有的降維算法,然后通過stacking算法對降維后的結(jié)果進(jìn)行集成,可以極大地減少降維過程中造成的信息損失.這一過程本質(zhì)上是在保留原數(shù)據(jù)集信息的情況下,對其在高維空間內(nèi)進(jìn)行扭曲變形,然后再生成對應(yīng)的低維映射,最后將多個這樣的低維映射進(jìn)行集成.由于每個低維映射都能包含原數(shù)據(jù)集在高維空間的結(jié)構(gòu)信息,并且由于經(jīng)過隨機(jī)變換獲得,這些信息彼此之間不完全重疊.因此,在集成后,可以比單個低維映射保留更多的信息,并且在經(jīng)過隨機(jī)變換后,原數(shù)據(jù)集中可能被誤判為噪聲的一部分信息有可能在生成的子數(shù)據(jù)集中得到保留,同樣能夠得到減少信息損失的效果.

    本文通過在模擬數(shù)據(jù)上的實驗,驗證了在使用具有多重共線性的數(shù)據(jù)進(jìn)行回歸分析時,隨機(jī)變換降維可以有效克服多重共線性問題.并且與傳統(tǒng)的降維算法相比,隨機(jī)變換降維提取信息更充分,得到的均方誤差更小.在經(jīng)典的MNIST手寫數(shù)字?jǐn)?shù)據(jù)集上進(jìn)行試驗,證明了在圖像分類問題中,與傳統(tǒng)降維算法相比,采用隨機(jī)變換降維準(zhǔn)確率更高.

    1 預(yù)備知識

    1.1集成學(xué)習(xí)

    集成學(xué)習(xí)(ensemble learning)是通過構(gòu)建并結(jié)合多個學(xué)習(xí)器來完成學(xué)習(xí)任務(wù)的一類算法,通過將多個學(xué)習(xí)器結(jié)合,??色@得比單一學(xué)習(xí)器顯著優(yōu)越的泛化性能[10-13].Liu[14]基于集成學(xué)習(xí)的特性提出了EasyEnsemble,用于應(yīng)對對數(shù)據(jù)集進(jìn)行欠采樣造成的信息損失.

    在集成學(xué)習(xí)與降維算法結(jié)合時,集成學(xué)習(xí)可以從3方面提升降維算法的性能:a.通過集成多個低維映射,可以降低有效信息被誤判為噪聲的可能;b.通過集成多個低維投影,可以最大限度地保留數(shù)據(jù)在高維空間的性質(zhì);c.通過集成多個低維投影,可以有效減少數(shù)據(jù)由高維向低維投影時造成的信息損失.

    但是只有用于集成的學(xué)習(xí)器具有足夠好的多樣性時才能得到理想的效果.多樣性即個體學(xué)習(xí)器之間的差異,Krogh等[15]曾給出了誤差-分歧分解(error-ambiguity decomposition),證明了對于回歸任務(wù),集成的泛化誤差等于個體學(xué)習(xí)器泛化誤差的加權(quán)均值減去個體學(xué)習(xí)器的加權(quán)分歧,說明了構(gòu)造優(yōu)秀的集成需要選擇“好而不同”的個體學(xué)習(xí)器.

    1.2隨機(jī)旋轉(zhuǎn)集成

    2016年,Blaser等[16]發(fā)現(xiàn)將樣本屬性進(jìn)行隨機(jī)旋轉(zhuǎn),可以顯著增強(qiáng)基學(xué)習(xí)器的多樣性,并且基學(xué)習(xí)器的準(zhǔn)確性僅會發(fā)生小幅下降,因此可以得到效果更好的集成學(xué)習(xí)算法,并由此提出了隨機(jī)旋轉(zhuǎn)集成.

    假定x=[x1,x2,x3,…,xn]T表示一個具有n個特征的樣本,D1,D2,D3,…,DL表示L個基學(xué)習(xí)器,隨機(jī)旋轉(zhuǎn)集成可由以下簡單步驟來構(gòu)造:

    a. 對樣本x的各特征作標(biāo)準(zhǔn)化處理;

    b. 生成一個n×n的隨機(jī)旋轉(zhuǎn)矩陣Rn,i,RT=R-1,且|R|=1;

    c. 將x乘以Rn,i,使特征空間進(jìn)行隨機(jī)旋轉(zhuǎn),采用旋轉(zhuǎn)后的樣本訓(xùn)練基分類器Di;

    d. 重復(fù)步驟b,c;

    e. 集成L個分類器的訓(xùn)練結(jié)果作為最終輸出結(jié)果.

    1.3stacking算法

    stacking算法由Wolpert[17]提出.stacking算法使用多個不同類型的個體分類器,且將它們分為兩層.首先使用多種不同的學(xué)習(xí)算法在同一訓(xùn)練集上進(jìn)行訓(xùn)練,生成多個基分類器.基學(xué)習(xí)器分別對每個樣本進(jìn)行預(yù)測,預(yù)測結(jié)果作為新的屬性,與樣本的原始標(biāo)簽y結(jié)合起來作為新的訓(xùn)練集.第二層分類器在該訓(xùn)練集上進(jìn)行訓(xùn)練,得到的結(jié)果作為最終的訓(xùn)練結(jié)果.

    假定x=[x1,x2,x3,…,xn]T表示一個具有n個特征的樣本,y為樣本標(biāo)簽,D1,D2,D3,…,DL表示L個初級學(xué)習(xí)器,D表示次級學(xué)習(xí)器.stacking算法可經(jīng)由以下簡要步驟構(gòu)造:

    a. 采用(x,y)分別訓(xùn)練初級學(xué)習(xí)器D1,D2,D3,…,DL,得到的輸出結(jié)果為Z1,Z2,Z3,…,ZL;

    b. 構(gòu)造新的數(shù)據(jù)集Z=[Z1,Z2,Z3,…,Zn]T;

    c. 采用(Z,y)訓(xùn)練次級學(xué)習(xí)器D,得到的輸出作為最終的輸出結(jié)果.

    1.4主成分分析(PCA)

    主成分分析(principal components analysis,PCA)[18-20]是一種經(jīng)典的線性降維方法,它將一組觀測變量X1,X2,…,Xn通過線性變化,轉(zhuǎn)化為一組互不相關(guān)的變量W1,W2,…,Wn,稱之為主成分.在變化過程中保持總方差不變,然后根據(jù)方差大小從W1,W2,…,Wn中挑出k(k

    a. 求初始矩陣X的n×n階相關(guān)系數(shù)矩陣R;

    b. 求相關(guān)系數(shù)矩陣R的特征值λ1≥λ2≥λ3≥…≥λn,以及與各特征值相對應(yīng)的一組長度為1且相互正交的特征向量a1,a2,…,an;

    本文在MNIST數(shù)據(jù)集上采用RTDR與PCA進(jìn)行了對比,驗證了RTDR減少信息損失的效果.

    2 隨機(jī)變換降維算法的構(gòu)造

    2.1原理

    本文基于隨機(jī)旋轉(zhuǎn)集成的思想,提出了一種新的降維算法——隨機(jī)變換降維RTDR (random transform dimensionality reduction).對于降維而言,通過集成學(xué)習(xí)可以綜合多個高維數(shù)據(jù)的低維映射信息,減少降維過程中的信息損失.以主成分分析為例,主成分分析構(gòu)建了一個具有最大可分性的超平面(樣本點在這個超平面上的投影能盡可能分開),以此來盡可能保存樣本在高維空間的信息.但是事實上,其他方向的超平面同樣可以保存樣本的信息,并且性能可以接近于具有最大可分性的超平面.集合多個不同投影方向的信息,可以盡可能地還原出原數(shù)據(jù)集的信息,幾何中的三視圖則是這一思想的典型案例.將三維立體圖形投影成3個二維圖形(俯視圖、正視圖、側(cè)視圖),通過觀察對比這3個圖形,能夠了解這一立體圖形的形狀和結(jié)構(gòu).但是很多情況下,只用一個投影,無法反映一個立體圖形的結(jié)構(gòu).

    為集成多個高維數(shù)據(jù)的低維映射的信息,RTDR以stacking算法為基礎(chǔ)進(jìn)行集成,以多個低維投影上的學(xué)習(xí)器的輸出作為次級學(xué)習(xí)器的輸入,通過這種形式實現(xiàn)集成多個低維投影的信息.stacking算法通常可以獲得比個體學(xué)習(xí)器更好的性能[17],并已在有監(jiān)督學(xué)習(xí)(如回歸[21]、分類及距離[22])和無監(jiān)督學(xué)習(xí)(如密度估計[23])上都取得了巨大的成功.

    但是,Wolpert曾指出stacking方法的一個難點是如何為每個特定領(lǐng)域數(shù)據(jù)集配置合適的基分類器和元分類器(第二層學(xué)習(xí)器).因為第一層學(xué)習(xí)器之間的差異需要盡可能的大(否則輸出結(jié)果幾乎一致,第二層學(xué)習(xí)器將面對嚴(yán)重的多重共線性問題),通常第一層學(xué)習(xí)器需要選擇不同類型的學(xué)習(xí)器進(jìn)行組合,如將隨機(jī)森林和logistic回歸進(jìn)行組合.但是,對特定問題,不同類型的學(xué)習(xí)器往往性能差異較大,用隨機(jī)森林取得較高的準(zhǔn)確率,而用logistic回歸取得的正確率則較低.這樣一來,較差的學(xué)習(xí)器的性能將會拖累學(xué)習(xí)器的整體性能,甚至可能出現(xiàn)集成后的學(xué)習(xí)器的性能比單個的優(yōu)秀學(xué)習(xí)器的性能要差.

    隨機(jī)旋轉(zhuǎn)集成可以在不損失原數(shù)據(jù)集信息的情況下生產(chǎn)多個子數(shù)據(jù)集,顯著提升集成效果.將隨機(jī)旋轉(zhuǎn)集成應(yīng)用于stacking算法,可以解決stacking算法基學(xué)習(xí)器選擇難的問題,只需選擇最恰當(dāng)一類的學(xué)習(xí)器,然后通過隨機(jī)旋轉(zhuǎn)集成技術(shù),即可獲得任意多個新的差異較大但準(zhǔn)確率接近的學(xué)習(xí)器.

    隨機(jī)旋轉(zhuǎn)集成通過旋轉(zhuǎn)的方式保留了子數(shù)據(jù)集的空間結(jié)構(gòu)信息,通過將樣本乘RT=R-1,且|R|=1的矩陣以隨機(jī)角度進(jìn)行旋轉(zhuǎn)來生成子數(shù)據(jù)集.在監(jiān)督學(xué)習(xí)問題上,這一方法在盡可能多地保留樣本信息的情況下實現(xiàn)了多樣性.但是,在降維問題上,由于子數(shù)據(jù)集的空間結(jié)構(gòu)都是一致的,降維得到的結(jié)果反而失去了多樣性,難以起到集成的效果和減少降維造成的信息損失.

    為此,本文對具有n個特征的樣本生成n×n的隨機(jī)矩陣,隨機(jī)矩陣由n個標(biāo)準(zhǔn)化的隨機(jī)向量組成,將樣本乘以隨機(jī)矩陣進(jìn)行隨機(jī)變換,得到的新樣本的各個特征都是原樣本特征的線性組合,因此保留了原樣本的絕大部分信息.并且由于新樣本的每個特征都是原樣本的特征乘以隨機(jī)權(quán)重而獲得,與隨機(jī)旋轉(zhuǎn)集成相比,對樣本的空間結(jié)構(gòu)進(jìn)行一定程度的扭曲變形,實現(xiàn)了降維的多樣性,保證了對降維進(jìn)行集成的效果.

    通過在模擬數(shù)據(jù)上的實驗可以發(fā)現(xiàn),在數(shù)據(jù)具有多重共線性問題時,進(jìn)行回歸估計會產(chǎn)生嚴(yán)重的偏差.在經(jīng)過降維算法處理后,可以有效減小多重共線性造成的負(fù)面影響.而與一般性的降維算法相比,通過隨機(jī)變換降維,可以獲得更好的性能,進(jìn)行預(yù)測得到的均方誤差更小,并且殘差更貼近于白噪聲.

    由于圖像處理問題中,數(shù)據(jù)維度往往會遠(yuǎn)大于樣本量,如果不進(jìn)行降維處理,則難以對圖片進(jìn)行分類或者識別,因此本文在手寫數(shù)字識別數(shù)據(jù)集上進(jìn)行了對比實驗.從本文實驗結(jié)果可以看到,在通過隨機(jī)變換得到的新樣本上進(jìn)行降維,然后再應(yīng)用多層感知機(jī)(MLP),可以取得與直接在原數(shù)據(jù)上進(jìn)行降維然后再應(yīng)用MLP同等水平的準(zhǔn)確性,甚至有些情況下準(zhǔn)確性會更高.并且將多個隨機(jī)變換后的樣本降維再進(jìn)行集成,從實驗結(jié)果來看,準(zhǔn)確性可以得到巨大的提升,降維程度越大提升效果越明顯.這充分說明了隨機(jī)變換降維(RTDR)生成的子數(shù)據(jù)集不僅保留了原數(shù)據(jù)集的絕大部分信息,并且具有多樣性,獲得了集成學(xué)習(xí)所需要的“好而不同”的基學(xué)習(xí)器,也證明了RTDR可以減少降維帶來的信息損失.

    2.2步驟

    假定x=[x1,x2,x3,…,xn]T表示一個具有n個特征的樣本,y為樣本標(biāo)簽,D1,D2,D3,…,DL表示L個基學(xué)習(xí)器,D為次級學(xué)習(xí)器(本文實驗中基學(xué)習(xí)器與次級學(xué)習(xí)器都采用MLP),F為降維算法(本文實驗中采用PCA),RTDR可由以下步驟進(jìn)行構(gòu)造,算法的流程如圖1所示.

    圖1 隨機(jī)變換降維算法流程圖Fig.1 Flow chart of the random transform dimension reduction algorithm

    b. 生成L個n×n隨機(jī)變換矩陣R;

    e. 采用降維后的樣本分別訓(xùn)練初級學(xué)習(xí)器D1,D2,D3,…,DL,得到

    其中,Ωi為Di的參數(shù),Loss為指定的損失函數(shù);

    g. 采用(Z,y)訓(xùn)練次級學(xué)習(xí)器D,得到的輸出作為最終的輸出結(jié)果.

    其中隨機(jī)變換矩陣根據(jù)以下方式構(gòu)造:

    (b) 重復(fù)以上步驟,獲得n個向量w1,w2,…,wn,R=[w1,w2,…,wn].

    3 模擬實驗

    3.1實驗介紹

    多重共線性是指線性回歸模型中的解釋變量之間由于存在精確相關(guān)關(guān)系或高度相關(guān)關(guān)系,而使模型估計失真或難以估計準(zhǔn)確的問題,在經(jīng)濟(jì)學(xué)研究中屬于非常常見的現(xiàn)象.經(jīng)濟(jì)變量往往存在共同的趨勢,或是在模型中引入了滯后項,這些都會導(dǎo)致多重共線性問題.通過降維算法對數(shù)據(jù)進(jìn)行處理,是應(yīng)對多重共線性的方法之一,經(jīng)過降維處理后,可以獲得更為穩(wěn)定而準(zhǔn)確的估計結(jié)果.

    但是,在降維過程中,不可避免會拋棄一部分信息.以PCA為例,除了方差最大的若干個方向上的信息被保留外,其他信息都被舍棄了.通常假定這一部分信息是與因變量無關(guān)的,屬于噪聲,但這一假定并不總是成立.如圖2所示,最大方差方向上的信息對判斷樣本點屬于“”還是“”毫無幫助.

    隨機(jī)變換降維相對于傳統(tǒng)的降維算法而言,可以保留更多的信息,并且通過集成,可以拓展算法的假設(shè)空間.因而在出現(xiàn)數(shù)據(jù)的特征不符合降維算法的假定時,采用隨機(jī)變換降維處理后對數(shù)據(jù)進(jìn)行回歸分析得到的均方誤差會更小,預(yù)測結(jié)果更準(zhǔn)確.

    圖2 模擬數(shù)據(jù)散點圖Fig.2 Scatter plot of simulated data

    3.2數(shù)據(jù)構(gòu)造

    模擬實驗采用的數(shù)據(jù)通過以下方式構(gòu)造:

    a. 構(gòu)造n維隨機(jī)向量a,k維隨機(jī)向量b,向量中的元素相互獨立且服從均值為0,標(biāo)準(zhǔn)差為σ的正態(tài)分布.

    b. 構(gòu)造n維隨機(jī)向量xk+1,xk+2,…,xm(m>k),xk+1,xk+2,…,xm之間相互獨立,且向量中的元素相互獨立且服從標(biāo)準(zhǔn)正態(tài)分布.令x=aT×b,

    由于完全的多重共線性在實際問題中較少出現(xiàn),因此再對X中所有元素加上隨機(jī)擾動,擾動項服從標(biāo)準(zhǔn)正態(tài)分布.

    c. 對XT進(jìn)行奇異值分解,得到XT=WΣVT,其中m×m矩陣W是XTX的本征矢量矩陣,Σ是m×n的非負(fù)矩形對角矩陣,V是XXT的本征矢量矩陣.

    e. 以n行m列矩陣X作為自變量,n維向量Y作為因變量,構(gòu)造成實驗所需的數(shù)據(jù)集,在實際實驗操作中,n與m設(shè)置為1 000.

    3.3實驗設(shè)置

    本文采用隨機(jī)生成的1 000個樣本進(jìn)行實驗,其中600個樣本用于訓(xùn)練,400個樣本用于預(yù)測.回歸分析采用多元線性模型,RTDR以多元線性模型為基學(xué)習(xí)器和次學(xué)習(xí)器,用于對照的降維算法為PCA.實驗首先不作降維處理,直接應(yīng)用多元線性回歸并觀察結(jié)果,然后分別應(yīng)用RTDR與PCA將原數(shù)據(jù)由1 000維降至200維、190維……直到降至10維,并分別在降維后的數(shù)據(jù)集上應(yīng)用多元線性回歸模型并觀察結(jié)果.

    3.4實驗結(jié)果

    實驗對具有多重共線性的模擬數(shù)據(jù)進(jìn)行回歸分析,分別采用了PCA和隨機(jī)變換降維對數(shù)據(jù)進(jìn)行了處理.在未進(jìn)行降維處理前,直接采用多元線性回歸得到的均方誤差(MSE)為29.73,而經(jīng)降維處理后,均方誤差可以縮減為原來的10%左右,可以有效克服多重共線性對回歸分析的影響.并且,采用隨機(jī)變換降維得到的MSE更小,說明經(jīng)隨機(jī)變換降維處理,可以得到更準(zhǔn)確的預(yù)測結(jié)果.均方誤差對比結(jié)果如圖3所示.

    實驗還對經(jīng)RTDR與PCA處理后采用多元線性回歸模型進(jìn)行預(yù)測得到的殘差進(jìn)行比較.圖4為通過RTDR與PCA將原數(shù)據(jù)降至150維時,對多元線性回歸得到的殘差采用P-P圖進(jìn)行檢驗,觀察是否殘差符合正態(tài)分布.

    圖3 RTDR與PCA的均方誤差比較Fig.3 Comparison between the MSEs of RTDR and PCA

    可以看到,RTDR的殘差基本分布在P-P圖的對角線上,與PCA得到的殘差相比,與對角線的偏離程度要更小,說明RTDR的殘差要更接近于正態(tài)分布.再對RTDR與PCA得到的殘差進(jìn)行觀察,兩者的標(biāo)準(zhǔn)差、偏度、峰度如表1所示.

    圖4 RTDR與PCA的殘差P-P圖比較Fig.4 Comparison between the P-P plots of RTDR’s residual and PCA

    表1 RTDR與PCA殘差的標(biāo)準(zhǔn)差、偏度、峰度比較Tab.1 Comparison between the standard deviations,skewnesses and kurtosises of RTDR’s residual and PCA

    可以看到,RTDR殘差的標(biāo)準(zhǔn)差更小,說明殘差的分布要更為集中.盡管峰度與PCA得到的殘差峰度相似,但偏度明顯要比PCA的偏度更小,進(jìn)一步說明RTDR的殘差更接近于正態(tài)分布.

    從模擬數(shù)據(jù)的結(jié)果可以看到,經(jīng)過RTDR處理后再進(jìn)行多元線性回歸,不僅有效克服了多重共線性問題,并且相對于PCA而言,RTDR得到的預(yù)測結(jié)果更為穩(wěn)定、準(zhǔn)確,并且對信息的提取更為充分.

    4 手寫數(shù)字識別數(shù)據(jù)集(MNIST)實驗

    4.1實驗數(shù)據(jù)

    在圖像處理問題中,由于圖片可能具有千萬級的像素,將圖片轉(zhuǎn)換為數(shù)據(jù)后,數(shù)據(jù)的維度也將是千萬級的,遠(yuǎn)遠(yuǎn)大于可用于訓(xùn)練算法的樣本數(shù)量,因而圖像處理問題是降維算法的重要應(yīng)用領(lǐng)域之一.因此,本文通過MNIST (mixed national institute of standards and technology database)數(shù)據(jù)集上的實驗,檢驗了在圖像分類問題中隨機(jī)變換降維的性能,并與一般的降維算法進(jìn)行了比較.

    MNIST數(shù)據(jù)集是一個大型的手寫數(shù)字識別數(shù)據(jù)集,是驗證圖像處理算法的常用數(shù)據(jù)集之一,也被廣泛應(yīng)用于訓(xùn)練和測試機(jī)器學(xué)習(xí)算法.MNIST數(shù)據(jù)集來源于NIST數(shù)據(jù)集,有訓(xùn)練集60 000例,測試集10 000例.

    MNIST數(shù)據(jù)集中的每一張圖片都是0~9的單個數(shù)字,每一張都是抗鋸齒(anti-aliasing)的灰度圖,圖片大小28×28像素,數(shù)字部分被歸一化為20×20的大小,位于圖片的中間位置,保持了原來形狀的比例.MNIST數(shù)據(jù)集中的圖片如圖5所示.

    圖5 MNIST數(shù)據(jù)集中的圖片F(xiàn)ig.5 Images in MNIST dataset

    MNIST數(shù)據(jù)集的來源是兩個數(shù)據(jù)集的混合:一個來自Census Bureau employees (SD-3);一個來自high-school students (SD-1).有訓(xùn)練樣本60 000個,測試樣本10 000個.訓(xùn)練樣本和測試樣本中,employee和student寫的各占一半.60 000個訓(xùn)練樣本一共由250個人寫,訓(xùn)練樣本和測試樣本的來源人群沒有交集,MNIST數(shù)據(jù)庫也保留了手寫數(shù)字與身份的對應(yīng)關(guān)系.實驗中,MNIST中的每張圖片被表示成784維的向量.

    4.2實驗設(shè)置

    本文在MNIST數(shù)據(jù)集上進(jìn)行實驗,分別通過RTDR與PCA將MNIST數(shù)據(jù)集中的樣本由784維降至100維、50維、25維、10維、3維、1維,并應(yīng)用MLP在降維后的樣本上進(jìn)行訓(xùn)練,比較MLP在不同降維處理后的效果.

    MLP的參數(shù)設(shè)置為,隱層數(shù)(hidden layer sizes)=50,最大迭代次數(shù)(max iter)=10,L1罰系數(shù)alpha=0.000 1,優(yōu)化方法為sgd,學(xué)習(xí)率為0.1.

    4.3RTDR基學(xué)習(xí)器與PCA的比較結(jié)果

    RTDR首先會通過隨機(jī)變換生成多個子數(shù)據(jù)集,在子數(shù)據(jù)集上經(jīng)過PCA處理后應(yīng)用MLP作為基學(xué)習(xí)器,基學(xué)習(xí)器的輸出作為次級學(xué)習(xí)器的輸入.為驗證隨機(jī)變換不會損失原數(shù)據(jù)集的信息,本文通過實驗對比了RTDR基學(xué)習(xí)器的訓(xùn)練準(zhǔn)確率與直接通過PCA處理后的數(shù)據(jù)集上MLP的準(zhǔn)確率,比較結(jié)果如表2所示.

    可以看到,RTDR的基學(xué)習(xí)器(經(jīng)過隨機(jī)變換后采用PCA處理然后應(yīng)用MLP)的訓(xùn)練準(zhǔn)確率與在直接PCA降維后的數(shù)據(jù)上采用MLP的準(zhǔn)確率非常接近,在部分情況下甚至?xí)哂谥苯硬捎肞CA降維的數(shù)據(jù)的準(zhǔn)確率,說明經(jīng)過隨機(jī)變換的處理不會造成原數(shù)據(jù)集的信息損失.

    4.4RTDR次級學(xué)習(xí)器與PCA的比較結(jié)果

    RTDR基學(xué)習(xí)器的輸出作為次級學(xué)習(xí)器的輸入,次級學(xué)習(xí)器的輸出為最終的輸出結(jié)果.本文將RTDR次級學(xué)習(xí)器的準(zhǔn)確率與經(jīng)過PCA處理后的數(shù)據(jù)集進(jìn)行比較,驗證RTDR可以顯著地減少降維帶來的信息損失.

    圖6和圖7為通過PCA與RTDR將MNIST數(shù)據(jù)集中的數(shù)據(jù)降至100維、50維、25維、10維、5維、3維、1維時,在PCA處理過的數(shù)據(jù)上應(yīng)用MLP和在RTDR處理過的數(shù)據(jù)上應(yīng)用MLP作為次級學(xué)習(xí)器時,兩者的準(zhǔn)確率差異.可以看到,隨著降維程度的增加,PCA與RTDR處理的數(shù)據(jù)上應(yīng)用MLP的準(zhǔn)確率都在不斷下降,說明降維的過程中必然會帶來信息損失,影響在降維后的數(shù)據(jù)集上采用監(jiān)督學(xué)習(xí)算法進(jìn)行預(yù)測的準(zhǔn)確率.但是采用RTDR準(zhǔn)確率的下降速率要明顯低于采用PCA,在最低端情況下,將原數(shù)據(jù)集降至1維,采用PCA僅有0.3左右的準(zhǔn)確率,但是采用RTDR仍然能有接近0.7的準(zhǔn)確率.不同降維幅度下PCA與RTDR的次級學(xué)習(xí)器的準(zhǔn)確率比較如圖6和圖7所示.

    表2 RTDR基學(xué)習(xí)器與PCA訓(xùn)練準(zhǔn)確率比較Tab.2 Comparison between the accuracies of the RTDR’s base learner and the training of PCA

    圖6 RTDR次級學(xué)習(xí)器與PCA訓(xùn)練準(zhǔn)確率比較Fig.6 Comparison between the accuracies of the RTDR’s secondary learner and the training of PCA

    圖7 RTDR次級學(xué)習(xí)器與PCA測試準(zhǔn)確率比較Fig.7 Comparison between the accuracies of the RTDR’s secondary learner and the testing of PCA

    5 結(jié)束語

    從實驗結(jié)果可以看到,采用RTDR可以顯著減少降維過程中帶來的信息損失,經(jīng)過RTDR處理后,可以有效解決多重共線性問題,并且用于預(yù)測時,相對于傳統(tǒng)的降維算法可以獲得更高的準(zhǔn)確性和穩(wěn)定性,并且提取信息更充分.采用RTDR進(jìn)行降維的計算復(fù)雜度要高于直接采用PCA,但是RTDR的結(jié)構(gòu)可以使其自然地采用分布式計算,減少計算所需要消耗的時間.但是,RTDR仍然存在有待改進(jìn)的地方,主要包括兩點:a.只適用于定量數(shù)據(jù),不適合定性數(shù)據(jù),對定性數(shù)據(jù)采用RTDR難以取得良好的效果也缺乏可解釋性;b.RTDR只適用于將數(shù)據(jù)進(jìn)行降維然后進(jìn)行預(yù)測的問題,即只適用于監(jiān)督學(xué)習(xí)的場景,對于無監(jiān)督學(xué)習(xí)的情況不能采用RTDR.

    [1] BELKIN M,NIYOGI P.Laplacian eigenmaps for dimensionality reduction and data representation[J].Neural Computation,2003,15(6):1373-1396.

    [2] FRANZ T,ZIMMERMANN R,G?RTZ S.Adaptive sampling for nonlinear dimensionality reduction based on manifold learning[M]∥BENNER P,OHLBERGER M,PATERA A,et al.Model Reduction of Parametrized Systems.Cham:Springer,2017.

    [3] LIU Y,GU Z L, CHEUNG Y M,et al.Multi-view manifold learning for media interestingness prediction[C]∥Proceedings of the 2017 ACM on International Conference on Multimedia Retrieval.Bucharest,Romania:ACM,2017:308-314.

    [4] YANG L,WANG X.Online Appearance manifold learning for video classification and clustering[C]∥International Conference on Computational Science and Its Applications.Beijing:Springer,2016:551-561.

    [5] TENENBAUM J B,DE SILVA V,LANGFORD J C.A global geometric framework for nonlinear dimensionality reduction[J].Science,2000,290(5500):2319-2323.

    [6] YANG B,XIANG M,ZHANG Y P.Multi-manifold discriminant Isomap for visualization and classification[J].Pattern Recognition,2016,55:215-230.

    [7] QU T,QU T,CAI Z X,et al.An improved Isomap method for manifold learning[J].International Journal of Intelligent Computing and Cybernetics,2017,10(1):30-40.

    [8] ZHANG Z Y,ZHA H Y.Principal manifolds and nonlinear dimensionality reduction via tangent space alignment[J].Journal of Shanghai University (English Edition),2004,8(4):406-424.

    [9] GOLDBERGER J,ROWEIS S,HINTON G E,et al.Neighbourhood components analysis[C]∥Proceedings of the Conference on Neural Information Processing Systems.Cambridge:MIT Press,2004.

    [10] OPITZ D,MACLIN R.Popular ensemble methods:an empirical study[J].Journal of Artificial Intelligence Research,1999,11:169-198.

    [11] POLIKAR R.Ensemble based systems in decision making[J].IEEE Circuits and Systems Magazine,2006,6(3):21-45.

    [12] ROKACH L.Ensemble-based classifiers[J].Artificial Intelligence Review,2010,33(1-2):1-39.

    [13] ZHOU Z H.Ensemble methods:foundations and algorithms[M].Boca Raton:CRC press,2012.

    [14] LIU T Y.Easy ensemble and feature selection for imbalance data sets[C]∥International Joint Conference on Bioinformatics,Systems Biology and Intelligent Computing.Shanghai:IEEE,2009:517-520.

    [15] KROGH A,VEDELSBY J.Neural network ensembles,cross validation,and active learning[C]∥Proceedings of the 7th International Conference on Neural Information Processing Systems.Denver:MIT Press,1995:231-238.

    [16] BLASER R,FRYZLEWICZ P.Random rotation ensembles[J].Journal of Machine Learning Research,2016,17(4):1-26.

    [17] WOLPERT D H.Stacked generalization[J].Neural Networks,1992,5(2):241-259.

    [18] 徐雅靜,汪遠(yuǎn)征.主成分分析應(yīng)用方法的改進(jìn)[J].數(shù)學(xué)的實踐與認(rèn)識,2006,36(6):68-75.

    [19] 馬慶國.管理統(tǒng)計:數(shù)據(jù)獲取、統(tǒng)計原理SPSS工具與應(yīng)用研究[M].北京:科學(xué)出版社,2008:308-315.

    [20] 林海明.對主成分分析法運用中十個問題的解析[J].統(tǒng)計與決策,2007(8):16-18.

    [21] BREIMAN L.Stacked regressions[J].Machine Learning,1996,24(1):49-64.

    [22] OZAY M,VURAL F T Y.A new fuzzy stacked generalization technique and analysis of its performance[Z].arXiv preprint arXiv:1204.0171,2013.

    [23] SMYTH P,WOLPERT D.Linearly combining density estimators via stacking[J].Machine Learning,1999,36(1/2):59-83.

    DimensionReductionMethodBasedontheRandomRotationEnsemble

    WANG Tuo,XIAOQinxian

    (BusinessSchool,UniversityofShanghaiforScienceandTechnology,Shanghai200093,China)

    For the random rotation ensemble method,a new dimension reduction algorithm named random transform dimension reduction was proposed,which can reduce the information loss caused by the reduction dimension.After the random transform dimension reduction,the training supervised learning algorithm can obtain higher accuracy and better generalization performance.Through the experiments on the simulated data,it is proved that the regression analysis using multiple collinearity data can retain more information and obtain smaller mean square error than the traditional dimensionality reduction method.The performance of the random transform dimension reduction in handwritten numeral recognition datasets was studied,and it is proved that,compared with the general dimensionality reduction algorithm,the random transform dimension reduction can achieve higher accuracy in image classification.

    ensemblelearning;randomrotationensemble;dimensionreduction;diversity

    1007-6735(2017)05-0450-09

    10.13255/j.cnki.jusst.2017.05.008

    2017-03-16

    王 橢(1993-),男,碩士研究生.研究方向:金融工程.E-mail:1210724980@qq.com

    肖慶憲(1956-),男,教授.研究方向:金融工程.E-mail:qxxiao@163.com

    TP181

    A

    (編輯:丁紅藝)

    猜你喜歡
    共線性降維殘差
    混動成為降維打擊的實力 東風(fēng)風(fēng)神皓極
    車主之友(2022年4期)2022-08-27 00:57:12
    基于雙向GRU與殘差擬合的車輛跟馳建模
    銀行不良貸款額影響因素分析
    基于殘差學(xué)習(xí)的自適應(yīng)無人機(jī)目標(biāo)跟蹤算法
    降維打擊
    海峽姐妹(2019年12期)2020-01-14 03:24:40
    基于遞歸殘差網(wǎng)絡(luò)的圖像超分辨率重建
    文氏圖在計量統(tǒng)計類課程教學(xué)中的應(yīng)用
    ——以多重共線性內(nèi)容為例
    不完全多重共線性定義存在的問題及其修正建議
    平穩(wěn)自相關(guān)過程的殘差累積和控制圖
    河南科技(2015年8期)2015-03-11 16:23:52
    拋物化Navier-Stokes方程的降維仿真模型
    計算物理(2014年1期)2014-03-11 17:00:18
    男人舔女人下体高潮全视频| 亚洲av在线观看美女高潮| 亚洲在线观看片| 黄色一级大片看看| 日韩不卡一区二区三区视频在线| 久久99热这里只频精品6学生| 秋霞在线观看毛片| 国产淫语在线视频| 久久热精品热| 国产男人的电影天堂91| 国产精品久久久久久av不卡| 亚洲精品国产av蜜桃| 亚洲无线观看免费| 黄片无遮挡物在线观看| 免费看美女性在线毛片视频| 久99久视频精品免费| 日韩视频在线欧美| 日本免费在线观看一区| 777米奇影视久久| 一区二区三区乱码不卡18| 欧美高清性xxxxhd video| 国产一区二区三区综合在线观看 | 男女那种视频在线观看| 免费观看av网站的网址| 亚洲精品乱久久久久久| 中文乱码字字幕精品一区二区三区 | 亚洲国产成人一精品久久久| 联通29元200g的流量卡| 天天一区二区日本电影三级| 男人舔女人下体高潮全视频| 少妇猛男粗大的猛烈进出视频 | 又爽又黄无遮挡网站| 国产在线一区二区三区精| 亚洲人成网站高清观看| 久久久久久九九精品二区国产| 亚洲自偷自拍三级| 禁无遮挡网站| 可以在线观看毛片的网站| 天堂中文最新版在线下载 | 亚洲精品色激情综合| 国语对白做爰xxxⅹ性视频网站| 高清毛片免费看| 大香蕉久久网| 欧美日韩精品成人综合77777| 国产综合精华液| 天堂俺去俺来也www色官网 | 国产精品精品国产色婷婷| 最近的中文字幕免费完整| videos熟女内射| 免费av不卡在线播放| 久久精品夜夜夜夜夜久久蜜豆| 国产高清有码在线观看视频| 国产v大片淫在线免费观看| 特级一级黄色大片| 搡女人真爽免费视频火全软件| 丝袜美腿在线中文| 亚洲精品一区蜜桃| 国产免费一级a男人的天堂| 精品午夜福利在线看| 2021少妇久久久久久久久久久| 日本一本二区三区精品| 国内少妇人妻偷人精品xxx网站| 亚洲av成人av| 午夜激情欧美在线| 日韩,欧美,国产一区二区三区| 亚洲精品久久久久久婷婷小说| 国产精品爽爽va在线观看网站| 三级毛片av免费| 波多野结衣巨乳人妻| 亚洲精品乱码久久久久久按摩| 久久精品综合一区二区三区| 最近2019中文字幕mv第一页| 欧美+日韩+精品| 国产一区二区三区av在线| 视频中文字幕在线观看| 亚洲av在线观看美女高潮| 色网站视频免费| 色综合亚洲欧美另类图片| 亚洲aⅴ乱码一区二区在线播放| 欧美极品一区二区三区四区| 国产av码专区亚洲av| 日韩三级伦理在线观看| 亚洲欧美中文字幕日韩二区| 精品久久久久久久人妻蜜臀av| 男女啪啪激烈高潮av片| av在线播放精品| 亚洲精品国产av蜜桃| 亚洲av二区三区四区| 国产精品av视频在线免费观看| 国产成人a∨麻豆精品| 亚洲av在线观看美女高潮| 全区人妻精品视频| 亚洲18禁久久av| 麻豆成人午夜福利视频| 日韩成人伦理影院| 亚洲欧美成人综合另类久久久| 天天躁日日操中文字幕| 又爽又黄a免费视频| 高清午夜精品一区二区三区| 黑人高潮一二区| 好男人在线观看高清免费视频| 成年女人在线观看亚洲视频 | 激情 狠狠 欧美| 成人鲁丝片一二三区免费| 精品少妇黑人巨大在线播放| 亚洲熟女精品中文字幕| 国精品久久久久久国模美| 久久精品国产鲁丝片午夜精品| 国产精品久久久久久久电影| 五月玫瑰六月丁香| 成人性生交大片免费视频hd| 午夜视频国产福利| 汤姆久久久久久久影院中文字幕 | 天堂av国产一区二区熟女人妻| 中文字幕av成人在线电影| 舔av片在线| 国产一级毛片在线| 女人久久www免费人成看片| 国产成人91sexporn| 午夜老司机福利剧场| 真实男女啪啪啪动态图| 麻豆久久精品国产亚洲av| 国产一区亚洲一区在线观看| 乱系列少妇在线播放| 欧美日本视频| 欧美日韩在线观看h| 女人十人毛片免费观看3o分钟| 色尼玛亚洲综合影院| 久久久久久久久久人人人人人人| 男女下面进入的视频免费午夜| 少妇猛男粗大的猛烈进出视频 | 国产探花在线观看一区二区| 三级国产精品欧美在线观看| 亚洲av成人av| 成人性生交大片免费视频hd| 成人午夜精彩视频在线观看| 国内少妇人妻偷人精品xxx网站| 一级a做视频免费观看| 国产精品一区www在线观看| 亚洲av成人精品一区久久| 国产成人精品久久久久久| 又粗又硬又长又爽又黄的视频| av女优亚洲男人天堂| 国产免费又黄又爽又色| 1000部很黄的大片| 亚洲欧洲日产国产| 免费黄色在线免费观看| 亚洲国产日韩欧美精品在线观看| 日产精品乱码卡一卡2卡三| 一级二级三级毛片免费看| 干丝袜人妻中文字幕| 十八禁网站网址无遮挡 | 国产亚洲91精品色在线| 亚洲av免费高清在线观看| 精品国内亚洲2022精品成人| av网站免费在线观看视频 | 久热久热在线精品观看| 成人高潮视频无遮挡免费网站| eeuss影院久久| 男女视频在线观看网站免费| av线在线观看网站| 高清午夜精品一区二区三区| 国产成人精品婷婷| 最近的中文字幕免费完整| 亚洲无线观看免费| 麻豆国产97在线/欧美| or卡值多少钱| 成人二区视频| 欧美激情久久久久久爽电影| 久久99热这里只有精品18| 日韩欧美精品免费久久| 国产色爽女视频免费观看| 91久久精品电影网| 国国产精品蜜臀av免费| 国产老妇伦熟女老妇高清| 成年女人在线观看亚洲视频 | 亚洲怡红院男人天堂| 亚洲综合精品二区| 国产免费又黄又爽又色| 久久久午夜欧美精品| 久久精品久久精品一区二区三区| 欧美成人午夜免费资源| 熟女电影av网| 亚洲熟妇中文字幕五十中出| 午夜激情欧美在线| 国产精品.久久久| 亚洲av免费在线观看| 麻豆乱淫一区二区| 国产白丝娇喘喷水9色精品| 日韩三级伦理在线观看| 国产亚洲一区二区精品| 国产男女超爽视频在线观看| 国国产精品蜜臀av免费| 国产91av在线免费观看| 亚洲欧美精品自产自拍| av在线天堂中文字幕| 色尼玛亚洲综合影院| 日韩人妻高清精品专区| 国产av国产精品国产| 国产成人精品一,二区| 国产三级在线视频| 亚洲精品国产av成人精品| 免费av观看视频| 菩萨蛮人人尽说江南好唐韦庄| 成人性生交大片免费视频hd| 看免费成人av毛片| 伊人久久国产一区二区| 欧美最新免费一区二区三区| 夫妻午夜视频| 亚洲人成网站在线播| 国产精品综合久久久久久久免费| 国产高清有码在线观看视频| 欧美一级a爱片免费观看看| 国产三级在线视频| 国产在视频线精品| 欧美日本视频| 在线免费十八禁| 国产真实伦视频高清在线观看| 99九九线精品视频在线观看视频| 中文在线观看免费www的网站| 2022亚洲国产成人精品| 丰满少妇做爰视频| 国产欧美日韩精品一区二区| 亚洲精品成人久久久久久| 国产亚洲精品久久久com| 国产午夜精品论理片| 高清日韩中文字幕在线| 麻豆av噜噜一区二区三区| 亚洲电影在线观看av| 视频中文字幕在线观看| 日本一本二区三区精品| 亚洲成人精品中文字幕电影| 日韩欧美精品免费久久| 国产伦一二天堂av在线观看| 国产男人的电影天堂91| 狠狠精品人妻久久久久久综合| 永久免费av网站大全| 亚洲aⅴ乱码一区二区在线播放| 久久精品国产亚洲av天美| 中文天堂在线官网| 性插视频无遮挡在线免费观看| 80岁老熟妇乱子伦牲交| 精品一区二区免费观看| 少妇熟女欧美另类| 九九在线视频观看精品| 国产高清国产精品国产三级 | 插阴视频在线观看视频| 99re6热这里在线精品视频| 国产精品国产三级国产av玫瑰| 免费看av在线观看网站| 纵有疾风起免费观看全集完整版 | 欧美+日韩+精品| 国产成人精品婷婷| 亚洲图色成人| 蜜臀久久99精品久久宅男| 高清欧美精品videossex| 日本熟妇午夜| 色哟哟·www| 久久精品国产鲁丝片午夜精品| 99久久中文字幕三级久久日本| 丝袜美腿在线中文| 日韩一区二区三区影片| 国产成人午夜福利电影在线观看| 亚洲av.av天堂| 人妻系列 视频| 亚洲成人av在线免费| 搡女人真爽免费视频火全软件| 国产精品一区www在线观看| 欧美+日韩+精品| 国产一区二区三区av在线| 在线 av 中文字幕| h日本视频在线播放| 青春草亚洲视频在线观看| 十八禁国产超污无遮挡网站| 亚洲精品日韩av片在线观看| 国产美女午夜福利| 国产精品久久久久久久电影| 久久精品久久精品一区二区三区| 少妇的逼水好多| 我的女老师完整版在线观看| 蜜桃亚洲精品一区二区三区| 日韩av在线免费看完整版不卡| 一区二区三区乱码不卡18| 久久鲁丝午夜福利片| 久久久精品94久久精品| 国产一区有黄有色的免费视频 | 久久久久性生活片| 亚洲电影在线观看av| 舔av片在线| 联通29元200g的流量卡| 亚洲综合色惰| 特大巨黑吊av在线直播| 在线观看av片永久免费下载| 婷婷色综合www| 欧美不卡视频在线免费观看| or卡值多少钱| 久久精品熟女亚洲av麻豆精品 | 中文字幕亚洲精品专区| 午夜福利在线在线| 国产淫片久久久久久久久| 久久久久久久久久人人人人人人| 69人妻影院| 国产精品不卡视频一区二区| 国产精品国产三级国产av玫瑰| 99热这里只有精品一区| 亚洲欧美精品专区久久| 国产黄色视频一区二区在线观看| 欧美日韩一区二区视频在线观看视频在线 | 777米奇影视久久| 高清在线视频一区二区三区| 婷婷色综合大香蕉| 国产精品国产三级国产专区5o| 国产高潮美女av| 免费观看的影片在线观看| 一个人看的www免费观看视频| 综合色丁香网| 亚洲精华国产精华液的使用体验| 国产国拍精品亚洲av在线观看| 精品人妻一区二区三区麻豆| 日韩精品有码人妻一区| 久久草成人影院| 亚洲精品,欧美精品| 国产美女午夜福利| 永久免费av网站大全| 99久久精品国产国产毛片| 波野结衣二区三区在线| 久久97久久精品| 亚洲性久久影院| 91久久精品国产一区二区三区| 成人一区二区视频在线观看| 国产欧美另类精品又又久久亚洲欧美| 尤物成人国产欧美一区二区三区| 少妇丰满av| 男人狂女人下面高潮的视频| 日产精品乱码卡一卡2卡三| 亚洲成人久久爱视频| 大话2 男鬼变身卡| 禁无遮挡网站| 国产av码专区亚洲av| 大片免费播放器 马上看| 日韩,欧美,国产一区二区三区| 青青草视频在线视频观看| 午夜免费男女啪啪视频观看| 一级a做视频免费观看| 国产色婷婷99| 爱豆传媒免费全集在线观看| 乱码一卡2卡4卡精品| 精品久久久久久电影网| 国产久久久一区二区三区| 久久精品久久久久久噜噜老黄| 一级av片app| 久久99蜜桃精品久久| 一级黄片播放器| 中文字幕av成人在线电影| 成人av在线播放网站| 寂寞人妻少妇视频99o| 国产亚洲91精品色在线| 国产在线一区二区三区精| 亚洲欧洲国产日韩| 精品99又大又爽又粗少妇毛片| 日本色播在线视频| 一级av片app| 国产一区二区三区av在线| 美女高潮的动态| 久久99精品国语久久久| 国产亚洲一区二区精品| 2021天堂中文幕一二区在线观| 国产精品国产三级国产专区5o| 久久久午夜欧美精品| 一级黄片播放器| 婷婷色麻豆天堂久久| 欧美xxxx性猛交bbbb| 天天躁夜夜躁狠狠久久av| 能在线免费观看的黄片| av网站免费在线观看视频 | 欧美日韩综合久久久久久| 91精品伊人久久大香线蕉| 久久久久久久久久久免费av| av卡一久久| 看十八女毛片水多多多| 亚洲精品影视一区二区三区av| 亚洲色图av天堂| 卡戴珊不雅视频在线播放| h日本视频在线播放| 大片免费播放器 马上看| 国产精品一区二区在线观看99 | 日本熟妇午夜| 国精品久久久久久国模美| 欧美不卡视频在线免费观看| 毛片一级片免费看久久久久| 毛片一级片免费看久久久久| 国产探花极品一区二区| 校园人妻丝袜中文字幕| 免费大片黄手机在线观看| 成人午夜高清在线视频| 白带黄色成豆腐渣| 丝袜美腿在线中文| 色综合色国产| 嫩草影院精品99| 国产免费又黄又爽又色| 麻豆国产97在线/欧美| 欧美变态另类bdsm刘玥| av在线天堂中文字幕| 99re6热这里在线精品视频| 啦啦啦中文免费视频观看日本| 色综合色国产| 能在线免费看毛片的网站| 免费观看av网站的网址| 国产片特级美女逼逼视频| 久久热精品热| 建设人人有责人人尽责人人享有的 | 2021天堂中文幕一二区在线观| 干丝袜人妻中文字幕| 五月伊人婷婷丁香| 久久精品国产亚洲av天美| 国产成人免费观看mmmm| 国产一区有黄有色的免费视频 | 国产在视频线在精品| 丰满人妻一区二区三区视频av| av在线老鸭窝| 日本猛色少妇xxxxx猛交久久| 精品久久久久久久人妻蜜臀av| 激情 狠狠 欧美| 色5月婷婷丁香| 国产黄片视频在线免费观看| 亚洲av二区三区四区| 亚洲精品国产av成人精品| 人妻夜夜爽99麻豆av| 最近的中文字幕免费完整| av在线观看视频网站免费| 久热久热在线精品观看| 九九久久精品国产亚洲av麻豆| av在线老鸭窝| 夫妻午夜视频| 高清视频免费观看一区二区 | 亚洲精品aⅴ在线观看| 午夜福利在线在线| 午夜激情欧美在线| 2021天堂中文幕一二区在线观| 特大巨黑吊av在线直播| 最近最新中文字幕免费大全7| 国产成人a区在线观看| 男女边吃奶边做爰视频| 久久久久久久久久成人| 久久韩国三级中文字幕| 午夜福利在线观看免费完整高清在| 午夜免费激情av| 国产女主播在线喷水免费视频网站 | av福利片在线观看| 久久久久网色| 国产精品福利在线免费观看| 亚洲图色成人| 又粗又硬又长又爽又黄的视频| 国产成人午夜福利电影在线观看| 欧美zozozo另类| 九九在线视频观看精品| 51国产日韩欧美| 91av网一区二区| 别揉我奶头 嗯啊视频| 97超视频在线观看视频| 免费av观看视频| 国产av国产精品国产| 精品国产露脸久久av麻豆 | 精品熟女少妇av免费看| 少妇人妻精品综合一区二区| 欧美bdsm另类| 成人美女网站在线观看视频| av在线天堂中文字幕| 国产白丝娇喘喷水9色精品| 亚洲四区av| 亚洲av国产av综合av卡| 国产精品蜜桃在线观看| 亚洲自偷自拍三级| 91狼人影院| 性插视频无遮挡在线免费观看| 大话2 男鬼变身卡| 亚洲一区高清亚洲精品| 精品一区二区免费观看| 80岁老熟妇乱子伦牲交| 丝袜美腿在线中文| 1000部很黄的大片| 久久草成人影院| 最近最新中文字幕免费大全7| 欧美变态另类bdsm刘玥| 色播亚洲综合网| 免费观看av网站的网址| 青春草国产在线视频| 热99在线观看视频| 成人一区二区视频在线观看| 久久精品久久精品一区二区三区| 精品熟女少妇av免费看| 麻豆av噜噜一区二区三区| 精品久久久久久电影网| 80岁老熟妇乱子伦牲交| 国产免费视频播放在线视频 | 韩国高清视频一区二区三区| 免费av毛片视频| 日韩欧美一区视频在线观看 | 国产免费福利视频在线观看| 欧美3d第一页| 我的女老师完整版在线观看| kizo精华| 一级毛片我不卡| 日韩av不卡免费在线播放| 99久国产av精品| 黑人高潮一二区| 久久久久免费精品人妻一区二区| 欧美成人一区二区免费高清观看| 日韩一本色道免费dvd| 亚洲av不卡在线观看| 日韩欧美三级三区| 高清视频免费观看一区二区 | 蜜臀久久99精品久久宅男| 国产久久久一区二区三区| 国产精品三级大全| 大香蕉久久网| 久99久视频精品免费| 欧美bdsm另类| 秋霞伦理黄片| 91精品伊人久久大香线蕉| 中文天堂在线官网| 精品99又大又爽又粗少妇毛片| 2018国产大陆天天弄谢| 免费看光身美女| 男人和女人高潮做爰伦理| 深夜a级毛片| 一级爰片在线观看| 日本av手机在线免费观看| 日本免费在线观看一区| 啦啦啦啦在线视频资源| 国产欧美另类精品又又久久亚洲欧美| 欧美激情国产日韩精品一区| 国内精品宾馆在线| 日本午夜av视频| 国产色婷婷99| 欧美zozozo另类| av网站免费在线观看视频 | 欧美日韩在线观看h| 又黄又爽又刺激的免费视频.| 亚洲av电影在线观看一区二区三区 | 两个人的视频大全免费| 成人亚洲精品av一区二区| 2018国产大陆天天弄谢| 女人久久www免费人成看片| 乱系列少妇在线播放| 日韩不卡一区二区三区视频在线| 小蜜桃在线观看免费完整版高清| 久久午夜福利片| 蜜臀久久99精品久久宅男| 老师上课跳d突然被开到最大视频| 欧美性感艳星| 国产免费福利视频在线观看| 亚洲国产成人一精品久久久| 亚洲欧洲日产国产| 三级男女做爰猛烈吃奶摸视频| 日韩一区二区三区影片| 久久久久久久久久黄片| 亚洲最大成人中文| 亚洲成人久久爱视频| 婷婷六月久久综合丁香| 97超碰精品成人国产| 午夜免费激情av| 日本色播在线视频| 午夜免费观看性视频| 久久午夜福利片| 国产三级在线视频| 国产免费又黄又爽又色| 91久久精品国产一区二区成人| 午夜福利网站1000一区二区三区| 内地一区二区视频在线| 久久久精品欧美日韩精品| av.在线天堂| 91精品国产九色| 男女边吃奶边做爰视频| 大陆偷拍与自拍| 看黄色毛片网站| 国产精品久久视频播放| 国产黄频视频在线观看| 国产日韩欧美在线精品| 欧美激情在线99| 边亲边吃奶的免费视频| 国产成人aa在线观看| 美女大奶头视频| 老师上课跳d突然被开到最大视频| 少妇的逼好多水| 欧美+日韩+精品| 亚洲va在线va天堂va国产| 国产中年淑女户外野战色| 亚洲av中文av极速乱| 建设人人有责人人尽责人人享有的 | 大话2 男鬼变身卡| 日韩精品有码人妻一区| 啦啦啦韩国在线观看视频| 观看美女的网站| 夜夜看夜夜爽夜夜摸| 国产精品国产三级国产专区5o| 久久这里只有精品中国| 亚洲丝袜综合中文字幕| 色综合站精品国产| 国产毛片a区久久久久| 高清欧美精品videossex| 欧美+日韩+精品| 卡戴珊不雅视频在线播放| 大话2 男鬼变身卡| 欧美3d第一页| 美女国产视频在线观看| 精品久久久久久久久久久久久| 黑人高潮一二区| 久久久久免费精品人妻一区二区| 嫩草影院入口| 久久热精品热| 午夜福利成人在线免费观看| 免费不卡的大黄色大毛片视频在线观看 | av网站免费在线观看视频 | 七月丁香在线播放|