• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多視圖聚類研究進(jìn)展與展望

    2022-12-01 08:31:27梁吉業(yè)劉曉琳
    關(guān)鍵詞:視圖聚類矩陣

    梁吉業(yè) ,劉曉琳

    (1.山西大學(xué) 智能信息處理研究所,山西 太原 030006;2.山西大學(xué) 計算智能與中文信息處理教育部重點(diǎn)實(shí)驗(yàn)室,山西 太原 030006)

    0 引言

    隨著計算機(jī)技術(shù)的迅猛發(fā)展,人們獲取與采集數(shù)據(jù)的能力大大提高,信息量也以前所未有的速度增長。數(shù)據(jù)往往呈現(xiàn)出規(guī)模大、實(shí)時性強(qiáng)、維度高和結(jié)構(gòu)復(fù)雜的特點(diǎn),為其標(biāo)記類別信息不僅代價高昂,還需要耗費(fèi)大量的人力物力。作為處理大規(guī)模無標(biāo)記數(shù)據(jù)的一種重要技術(shù)手段,聚類分析為這些數(shù)據(jù)的特征提取與潛在結(jié)構(gòu)發(fā)現(xiàn)提供了強(qiáng)有力的幫助。同時,聚類分析作為數(shù)據(jù)預(yù)處理策略也被廣泛地應(yīng)用于信息粒化、數(shù)據(jù)采樣和數(shù)據(jù)壓縮等其他數(shù)據(jù)分析領(lǐng)域,從而提升這些數(shù)據(jù)分析技術(shù)的效率和性能[1-3]。2017年國務(wù)院印發(fā)的《新一代人工智能發(fā)展規(guī)劃》,將以聚類為主的無監(jiān)督學(xué)習(xí)列入“建立新一代人工智能基礎(chǔ)理論體系”的第一個重點(diǎn)任務(wù)中,這足以體現(xiàn)聚類的重要性。發(fā)展至今,研究者已從理論探索、方法創(chuàng)新、應(yīng)用推廣等方面對聚類分析進(jìn)行了深入研究,并取得了顯著成果。針對數(shù)據(jù)類型、分布假設(shè)、應(yīng)用場景等不同,已經(jīng)提出了大量聚類算法,可粗略歸類為:劃分聚類、密度聚類、層次聚類、譜聚類等[4-7]。

    隨著信息技術(shù)的發(fā)展,數(shù)據(jù)的采集方式趨于多樣,數(shù)據(jù)可以通過不同的特征采集器提取得到,我們稱這種不同來源或多個模態(tài)的數(shù)據(jù)為多視圖數(shù)據(jù)[8]。如何從多視圖數(shù)據(jù)中挖掘有價值的、潛在的、復(fù)雜的結(jié)構(gòu)關(guān)聯(lián),賦予計算機(jī)理解多源異構(gòu)海量數(shù)據(jù)的能力,已成為多視圖數(shù)據(jù)挖掘領(lǐng)域迫切需要解決的關(guān)鍵問題。由于多視圖數(shù)據(jù)特征間的差異性及其相互關(guān)系的復(fù)雜性,傳統(tǒng)的聚類算法并不能準(zhǔn)確刻畫和提取這些不同視圖數(shù)據(jù)的空間分布特性以及其內(nèi)在關(guān)系。多視圖聚類作為一種新的機(jī)器學(xué)習(xí)范式,給定一組標(biāo)簽未知的多視圖數(shù)據(jù)對象,通過對多個視圖進(jìn)行模型構(gòu)建并學(xué)習(xí)共識函數(shù),目的是挖掘多個視圖之間的潛在關(guān)聯(lián),將數(shù)據(jù)對象劃分到相應(yīng)的類簇。多視圖聚類期望打破傳統(tǒng)聚類產(chǎn)生的“數(shù)據(jù)孤島”現(xiàn)象,進(jìn)而形成多個視圖的“數(shù)據(jù)群峰”效應(yīng),拓展對數(shù)據(jù)認(rèn)識的深度和廣度,從而構(gòu)建出相比于傳統(tǒng)單視圖聚類性能更優(yōu)越、結(jié)果更準(zhǔn)確的模型和算法。

    作為一個新興的研究領(lǐng)域,近年來多視圖聚類受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。國際機(jī)器學(xué)習(xí)大會(International Conference on Ma?chine Learning,ICML)在2005年召開了首次多視圖主題研討會,極大地推動了多視圖學(xué)習(xí)的浪潮。自2010年起,知識發(fā)現(xiàn)與數(shù)據(jù)挖掘國際會議( International Conference on Knowledge Dis?covery and Data Mining,KDD)曾連續(xù)多年舉辦專題為“MultiClust”的研討會,給多視圖聚類的發(fā)展帶來了深遠(yuǎn)的影響。在多語言環(huán)境下的自然語言處理、基于用戶屬性和社交關(guān)系的異構(gòu)社交網(wǎng)絡(luò)、基于多個基因和蛋白質(zhì)庫的生物信息學(xué)以及基于多智能體智能決策等實(shí)際應(yīng)用領(lǐng)域中,研究者都對多視圖聚類進(jìn)行了相關(guān)的前沿探索[9],其理論與應(yīng)用研究現(xiàn)正處于集中爆發(fā)期。因此,開展多視圖聚類算法的分析與探討,對于推動大數(shù)據(jù)環(huán)境下的智能信息處理具有重要的理論意義和應(yīng)用價值。

    1 多視圖聚類算法研究進(jìn)展

    多視圖聚類的關(guān)鍵問題在于如何有效地利用多個視圖中的信息,充分發(fā)揮每個視圖各自的優(yōu)勢,規(guī)避各自的局限,從而獲得準(zhǔn)確且穩(wěn)健的聚類性能。一致性原則和互補(bǔ)性原則是多視圖學(xué)習(xí)中的兩個重要理論依據(jù),其中,一致性原則旨在最大化多個視圖之間的一致性,如多個視圖應(yīng)具有相同的類別結(jié)構(gòu);互補(bǔ)性原則是指多視圖數(shù)據(jù)的每一個視圖都可能包含其他視圖所不具備的信息或知識,使用多個視圖可以獲得更加全面而準(zhǔn)確的數(shù)據(jù)描述。近年來,在多視圖學(xué)習(xí)有效性理論的基礎(chǔ)上,多視圖聚類取得了快速的發(fā)展,從方法原理的角度,可以將多視圖聚類廣義的劃分為:基于協(xié)同學(xué)習(xí)、基于圖學(xué)習(xí)、基于子空間學(xué)習(xí)、基于集成學(xué)習(xí)、基于多核學(xué)習(xí)和基于深度學(xué)習(xí)的多視圖聚類方法。

    1.1 基于協(xié)同學(xué)習(xí)的算法

    基于協(xié)同學(xué)習(xí)的多視圖聚類算法旨在利用每個視圖的先驗(yàn)信息或?qū)W習(xí)得到的知識去引導(dǎo)其他視圖上的聚類進(jìn)程,在執(zhí)行多次迭代策略后,使得所有視圖上的聚類結(jié)果趨于一致,共識信息達(dá)到最大化。Bickel等[10]于2004年首次將多視圖的概念應(yīng)用到聚類過程,作者將期望最大化算法擴(kuò)展到兩個視圖,提出了一個適用于文本數(shù)據(jù)的協(xié)同式最大期望多視圖聚類算法。在此基礎(chǔ)上,Jiang等[11]在概率潛在語義模型中引入?yún)f(xié)同正則化的思想,使同一對象在不同視圖下的語義主題空間保持最大的一致性。隨后,Kumar等[12]提出了一種基于協(xié)同訓(xùn)練的譜聚類算法,該算法交互式地利用一個視圖的拉普拉斯特征向量去更新另一個視圖的拉普拉斯矩陣,通過交叉迭代的更新過程使得兩個視圖獲得一致的低維表示。此外,Kumar等[13]在協(xié)同正則化譜聚類算法中引入聚類指示矩陣的差異性約束,在約束多個視圖彼此協(xié)作的同時獲得一致的聚類指示矩陣。Cleuziou等[14]提出了基于協(xié)同的多核模糊聚類算法,將局部的核構(gòu)造和全局模糊聚類形成一個統(tǒng)一的學(xué)習(xí)框架,通過協(xié)同學(xué)習(xí)策略,實(shí)現(xiàn)了從局部到全局的交互式信息傳遞。Zhang等[15]提出了基于代表點(diǎn)一致性約束的多視圖模糊聚類算法,該算法綜合考慮了視圖內(nèi)的劃分質(zhì)量以及視圖間代表點(diǎn)的一致性,并利用代表點(diǎn)一致性約束進(jìn)行多視圖間全協(xié)同學(xué)習(xí)。

    基于協(xié)同學(xué)習(xí)的聚類方法可以促進(jìn)不同視圖間互相學(xué)習(xí)、互相改進(jìn),然而算法的有效性依賴于視圖的充分性、兼容性和條件獨(dú)立性3個條件,這在一定程度上限制了其在復(fù)雜多視圖數(shù)據(jù)上的應(yīng)用。

    1.2 基于圖學(xué)習(xí)的算法

    基于圖學(xué)習(xí)的多視圖聚類方法旨在尋找一個由所有視圖共享,且能夠刻畫所有視圖相互關(guān)系的融合圖,然后在融合圖上使用圖切割算法或其他譜圖技術(shù),獲取最終聚類結(jié)果。該類算法主要分為三個關(guān)鍵步驟[16]:(1)基于單視圖分別構(gòu)造初始圖;(2)學(xué)習(xí)融合全部視圖拓?fù)浣Y(jié)構(gòu)的一致圖;(3)將聚類問題轉(zhuǎn)化成圖分割問題。其中,如何構(gòu)造高質(zhì)量的初始圖和如何設(shè)計有效的圖融合策略是這類方法的關(guān)鍵。

    在初始圖構(gòu)造方面,Hou等[17]提出了基于自適應(yīng)圖學(xué)習(xí)的多視圖聚類方法,該算法以自步學(xué)習(xí)的方式學(xué)習(xí)動態(tài)變化圖,而不是對固定的輸入圖進(jìn)行處理。為了提高圖學(xué)習(xí)的性能,Zhan等[18]從不同視圖的數(shù)據(jù)中學(xué)習(xí)初始圖,并在拉普拉斯矩陣的秩約束下對初始圖進(jìn)行優(yōu)化。受流形學(xué)習(xí)的啟發(fā),Li等[19]提出了自適應(yīng)一致性傳播的圖聚類方法,該算法通過從近到遠(yuǎn)傳播數(shù)據(jù)點(diǎn)之間的拓?fù)溥B接,充分利用輸入數(shù)據(jù)的流形結(jié)構(gòu)去學(xué)習(xí)初始圖結(jié)構(gòu)。在圖構(gòu)造的效率方面,Li等[20]提出基于二部圖的多視圖聚類算法,該算法用二部圖來計算樣本間的相似性矩陣,大大提高了計算效率,對處理大規(guī)模數(shù)據(jù)也更為有效。

    圍繞圖的融合策略方面,眾多學(xué)者也開展了一系列研究。Xia等[21]提出一種多視圖譜嵌入的算法,該算法將多個視圖嵌入在一個拓?fù)鋱D中,使得多個視圖包含的信息可以通過嵌入的拓?fù)鋱D進(jìn)行共享和補(bǔ)充。Ren等[22]提出了自適應(yīng)加權(quán)的多視圖融合方法,該方法在引入多視圖類別作為先驗(yàn)信息的基礎(chǔ)上,通過最小化不同視圖間的差異來求得具有最優(yōu)聚類結(jié)構(gòu)的一致性仿射圖。此外,Nie等[23]也提出一種多圖融合的方法,該算法可以自動學(xué)習(xí)每個圖的最優(yōu)權(quán)值,而不引入其他參數(shù)。Wang等[24]在圖融合的過程中強(qiáng)調(diào)了多視圖的一致性和互補(bǔ)性,所提算法可迭代獲得多個視圖共享的一致圖和多個視圖特有的分歧圖。

    由于圖結(jié)構(gòu)具有可解釋性強(qiáng)的特點(diǎn),該類方法在聚類結(jié)果的解釋方面具有一定優(yōu)勢。然而,基于圖模型的多視圖聚類算法的性能大多依賴于圖的初始化,而初始圖的質(zhì)量通常難以得到保障。

    1.3 基于子空間學(xué)習(xí)的算法

    基于子空間學(xué)習(xí)的方法假設(shè)所有的數(shù)據(jù)對象共享一個公共的子空間,每個視圖的樣本在該空間中都有對應(yīng)的投影或表示。多視圖子空間學(xué)習(xí)的核心思想在于盡可能保留每個視圖特有分布信息的情況下,尋找多個視圖共享的表示空間。子空間學(xué)習(xí)方法有典型相關(guān)分析、矩陣分解、自表示、主題模型和字典學(xué)習(xí)等,本文主要介紹基于典型相關(guān)分析、矩陣分解和基于自表示的多視圖子空間聚類方法。

    1.3.1 基于典型相關(guān)分析的方法

    不同視圖中必然存在某些相關(guān)關(guān)系,因此,挖掘視圖間的相關(guān)關(guān)系成為多視圖特征學(xué)習(xí)過程中的首要任務(wù)?;诘湫拖嚓P(guān)分析(CCA)的多視圖聚類算法以最大化視圖間相關(guān)性作為學(xué)習(xí)目標(biāo)去尋找數(shù)據(jù)的潛在公共子空間。Chaudhuri等[25]于 2009 年利用典型相關(guān)分析將原始數(shù)據(jù)從高維空間(dv維,即原始視圖維度)向低維空間(d維,d<

    1.3.2 基于矩陣分解的方法

    矩陣分解的核心思想是將原始數(shù)據(jù)分解為兩個低維矩陣:系數(shù)矩陣和基矩陣,其中,系數(shù)矩陣可以看作聚類的指示矩陣,實(shí)現(xiàn)了數(shù)據(jù)從高維(dv維)向低維(c維,即類別個數(shù))的映射表示。Xu等[28]首次將非負(fù)矩陣分解(NMF)應(yīng)用到多視圖學(xué)習(xí)中,旨在從多視圖數(shù)據(jù)中獲得一個統(tǒng)一的低維指示矩陣。自此之后,眾多學(xué)者圍繞潛在表示的學(xué)習(xí)過程和優(yōu)化目標(biāo)的構(gòu)建方面對多視圖矩陣分解的有效性和結(jié)構(gòu)性開展了一系列相關(guān)研究。

    針對矩陣分解潛在表示的有效性學(xué)習(xí)方面,Liu等[29]人提出了一種聯(lián)合非負(fù)矩陣分解的多視圖共有低維表征矩陣學(xué)習(xí)方法,該方法從各視圖的子空間中間接地學(xué)習(xí)多視圖的共有表征矩陣,這種策略不僅能夠減少矩陣分解上的誤差,而且提高了視圖間共有矩陣學(xué)習(xí)的靈活性。Zhang等[30]提出的二值多視圖聚類算法將哈希編碼的思想引入到多視圖子空間學(xué)習(xí),聯(lián)合地將多視圖數(shù)據(jù)投影到一個共有的二值編碼空間,并從該二值編碼中利用二值矩陣分解技術(shù)得到最終的聚類結(jié)果,該方法在計算和內(nèi)存占用方面都有顯著的降低?;贙-means和NMF 的等價性,Cai等[31]提出了基于 K-means的多視圖聚類算法,該算法假設(shè)每個視圖共享相同的潛在簇結(jié)構(gòu),同時引入權(quán)重參數(shù)計算視圖的重要性,其目標(biāo)函數(shù)采用具有稀疏性質(zhì)的l2,1范數(shù),強(qiáng)制每個視圖分解后的結(jié)果趨于一致且滿足稀疏結(jié)構(gòu)。

    在矩陣分解優(yōu)化目標(biāo)的構(gòu)建方面,部分研究工作的重點(diǎn)在于引入多種有意義的正則項(xiàng),以保持多視圖數(shù)據(jù)的結(jié)構(gòu)特性。Zhang等[32]提出了一種具有樣本空間結(jié)構(gòu)約束的非負(fù)矩陣分解方法,該算法利用流形正則構(gòu)造平滑懲罰因子,能夠在子空間充分保持多視圖數(shù)據(jù)的幾何結(jié)構(gòu)。Zong等[33]提出了一種多流形正則非負(fù)矩陣分解框架,該框架將一致系數(shù)矩陣和一致流形與多流形正則化結(jié)合,以保持多視圖數(shù)據(jù)空間的局部幾何結(jié)構(gòu)。Zhu等[34]提出了一種多流形正則化稀疏編碼算法,該算法能夠利用高階流形一致正則去更好地捕捉數(shù)據(jù)的潛在聚類結(jié)構(gòu)。

    盡管基于矩陣分解的方法可以挖掘到多視圖數(shù)據(jù)中隱含的聚類結(jié)構(gòu),具有一定的穩(wěn)定性和魯棒性,但是產(chǎn)生的低維潛在表示存在難以解釋的問題,這也限制了該類方法在實(shí)際中的應(yīng)用。

    1.3.3 基于自表示的方法

    基于自表示子空間方法的核心思想是通過數(shù)據(jù)之間的互相表達(dá)來重建數(shù)據(jù)自身,并基于重建系數(shù)構(gòu)造樣本間的相似性,從而挖掘樣本之間的關(guān)系,實(shí)現(xiàn)數(shù)據(jù)從視圖維度(dv維)向樣本維度(n維)的映射表示。從子空間的特性方面考慮,可以將現(xiàn)有的工作劃分為:多個視圖共享一致的子空間、多個視圖編碼不同的子空間以及一致性和多樣性聯(lián)合嵌入的子空間。

    多個視圖共享一致的子空間:Yan等[35]提出了一種魯棒多視圖子空間聚類框架,該框架通過擴(kuò)展聯(lián)合特征選擇和自表示模型來學(xué)習(xí)與理想子空間結(jié)構(gòu)一致的相似性矩陣。Zhang等[36]提出了基于柔性多視圖表示學(xué)習(xí)的子空間聚類算法,得到的一致子空間可以靈活編碼不同視圖的結(jié)構(gòu)信息,并探索視圖之間的非線性、高階關(guān)聯(lián)關(guān)系,從而使?jié)撛诒硎靖咏诓煌囊晥D,更適合于子空間聚類。Zhang等[37]提出一種潛在多視圖子空間聚類算法,算法假設(shè)多個視圖源于同一子空間,該子空間可以比單個視圖更深刻地描述數(shù)據(jù)本身,從而使子空間表示更準(zhǔn)確和魯棒。

    多個視圖編碼不同的子空間:Cao等[38]提出基于多樣性誘導(dǎo)的多視圖子空間聚類,算法將希爾伯特-施密特獨(dú)立標(biāo)準(zhǔn)作為差異性約束,計算不同視圖的互補(bǔ)性,減少多視圖數(shù)據(jù)的冗余,提高聚類結(jié)果的準(zhǔn)確性。Liu等[39]提出一種基于多樣性正則化和秩約束的多視圖子空間聚類算法,該算法利用多樣性正則化方法來學(xué)習(xí)每個視圖的最優(yōu)權(quán)值,從而抑制冗余,增強(qiáng)不同特征視圖之間的多樣性。以上成果表明有多樣性的子空間聚類研究已初見端倪,但對視圖間多樣性刻畫方面的研究不充分,亟需更多的視圖多樣性分析技術(shù)。

    一致性和多樣性聯(lián)合嵌入的子空間:Mi等[40]提出的子空間學(xué)習(xí)方法利用自表示特性,尋求所有視圖之間的共享一致表示和每個視圖的不同表示,以更好地學(xué)習(xí)潛在嵌入空間中的相似性矩陣。Zhang等[41]提出了一種聯(lián)合利用多視圖一致性和多樣性進(jìn)行子空間表示學(xué)習(xí)方法,該方法使用一個共享的一致表示和一組多樣性表示來約束多視圖自表示屬性以挖掘數(shù)據(jù)的子空間結(jié)構(gòu),其中,一致性為所有視圖中的公共屬性建模,而多樣性捕獲每個視圖中的內(nèi)在差異。

    基于自表示的子空間學(xué)習(xí)方法能夠在實(shí)現(xiàn)數(shù)據(jù)降維的同時保留數(shù)據(jù)的流形結(jié)構(gòu),但是該類方法往往涉及較多參數(shù)且計算復(fù)雜度較高,因此難以適應(yīng)計算資源受限的環(huán)境。

    1.4 基于集成學(xué)習(xí)的算法

    集成學(xué)習(xí)的核心思想在于充分發(fā)揮每個個體學(xué)習(xí)器的優(yōu)勢,形成弱弱生強(qiáng)的學(xué)習(xí)模式,以提高算法的學(xué)習(xí)能力?;谶@一思想,Liu等[42]提出了一種多視圖集成聚類框架,以集成的方式來解決多視圖聚類問題。算法為每個視圖分別生成基聚類器,并在所有基聚類器之間尋求一致的劃分。聚類集成算法設(shè)計的關(guān)鍵由兩部分構(gòu)成,一是提高基聚類器的準(zhǔn)確性和多樣性,二是優(yōu)化集成策略。

    在提高基聚類器的準(zhǔn)確性和多樣性方面,Xie等[43]提出了一種多視圖聚類集成算法,該算法將多視圖譜聚類或多核K-means算法作為基聚類器,得到多個準(zhǔn)確性高、差異性強(qiáng)的基聚類結(jié)果,然后利用mico-p算法對基聚類進(jìn)行集成。Wahid A等[44]在多視圖集成時引入了交叉、變異、調(diào)整、進(jìn)化的概念,增強(qiáng)了多視圖聚類集成的多樣性和魯棒性。

    在優(yōu)化集成策略方面,Cheng等[45]提出了多視圖下的聚類集成算法,該方法首先對每個視圖使用譜聚類算法得到基聚類結(jié)果,然后計算新的相似度矩陣,再使用譜聚類得到最終的數(shù)據(jù)劃分。Liang等[46]提出了一種多視圖混合數(shù)據(jù)集成聚類算法,該算法首先利用K-proto?type聚類算法在每個視圖上分別生成一組基聚類器;然后,在考慮所有基聚類的基礎(chǔ)上構(gòu)造類-類相似矩陣;接著,采用METIS算法對相似性矩陣進(jìn)行元聚類;最后,在元聚類的基礎(chǔ)上,應(yīng)用多數(shù)投票將對象分配到相應(yīng)的聚類中,得到最終的聚類結(jié)果。Xia等[47]提出一種基于鄰域多核學(xué)習(xí)的后融合多視圖聚類算法,該算法在鄰域多核學(xué)習(xí)的基礎(chǔ)上,利用譜旋轉(zhuǎn)的方法對多個視圖的類別指示矩陣進(jìn)行融合。

    基于集成學(xué)習(xí)的多視圖聚類算法通常具有很強(qiáng)的可擴(kuò)展性,但是基聚類器的質(zhì)量往往是良莠不齊的,最終的聚類的準(zhǔn)確性因?yàn)橘|(zhì)量差的基聚類器而大大降低。

    1.5 基于多核學(xué)習(xí)的算法

    核函數(shù)是實(shí)現(xiàn)映射關(guān)系內(nèi)積的一種方法,將低維特征空間映射到高維空間,使得低維特征空間線性不可分的數(shù)據(jù)在高維空間可能實(shí)現(xiàn)線性可分。多視圖數(shù)據(jù)由于每個視圖都有其特有的分布信息,單個核函數(shù)構(gòu)成的核運(yùn)算并不能滿足多視圖數(shù)據(jù)的實(shí)際分析需求。多核學(xué)習(xí)需要對不同的視圖構(gòu)造不同的基核,并通過線性、非線性等方式找出視圖間的結(jié)構(gòu)關(guān)聯(lián),有效融合多視圖信息得到一致性核,最終達(dá)到提高聚類性能的目的。多核學(xué)習(xí)存在兩個關(guān)鍵問題:一是如何選擇合適的核函數(shù);二是如何有效地組合多個核函數(shù)。

    在核函數(shù)的選擇方面,Zhao等[48]提出局部自適應(yīng)的多核聚類算法,用自適應(yīng)的核去代替?zhèn)鹘y(tǒng)的核。Yang等[49]提出了一種基于變權(quán)多核學(xué)習(xí)的多視圖聚類算法,該算法采用了改進(jìn)的加權(quán)高斯核函數(shù),而不是傳統(tǒng)的組合核函數(shù),從而對數(shù)據(jù)進(jìn)行了更精細(xì)的分析,提高了聚類質(zhì)量。

    在組合優(yōu)化核函數(shù)方面,Manna等[50]提出了一種自加權(quán)多核學(xué)習(xí)框架,該框架自動為每個視圖的核函數(shù)分配適當(dāng)?shù)臋?quán)重,而不引入額外的參數(shù)。由于現(xiàn)實(shí)數(shù)據(jù)中的噪聲或異常值可能會影響多核學(xué)習(xí)的性能,Manna等[50]還提出了一種魯棒自加權(quán)多視圖多核學(xué)習(xí)框架,該框架使用l2,1范數(shù)來減少數(shù)據(jù)集中異常值的影響。考慮到從不同視角中構(gòu)建的核矩陣存在冗余性,容易導(dǎo)致視圖信息不平衡,Liu等[51]提出基于誘導(dǎo)矩陣正則項(xiàng)的多核K-means算法來增強(qiáng)不同核之間的差異性,提高不同視圖信息的利用率。針對多視圖細(xì)粒度融合問題,Liu等[52]提出了基于簇加權(quán)的多視圖核K-means聚類算法,該算法為各個視圖內(nèi)的每個簇分配了一個權(quán)重,并通過比較不同視圖間對應(yīng)簇的簇內(nèi)相似度來更新權(quán)重,使得擁有較高簇內(nèi)相似度的簇?fù)碛休^高的權(quán)重值。

    基于多核的多視圖聚類算法通過將樣本映射到可再生希爾伯特空間實(shí)現(xiàn)了數(shù)據(jù)的非線性映射,核方法通過利用優(yōu)化組合算法進(jìn)一步提高聚類性能,但存在時間復(fù)雜度高,內(nèi)存消耗大,可擴(kuò)展性差等問題。

    1.6 基于深度學(xué)習(xí)的算法

    深度學(xué)習(xí)算法具有很強(qiáng)的非線性擬合能力,能夠使用深度結(jié)構(gòu)從大規(guī)模數(shù)據(jù)中進(jìn)行深層特征學(xué)習(xí),還能表達(dá)更加復(fù)雜的目標(biāo)函數(shù),進(jìn)而提升聚類和分類等學(xué)習(xí)任務(wù)的性能。根據(jù)獲取特征表示的方式,可以將該類算法劃分為兩類:(1)基于共享特征表示學(xué)習(xí)的聚類算法;(2)基于聯(lián)合特征表示學(xué)習(xí)的聚類算法。

    基于共享特征表示學(xué)習(xí)的聚類算法主要以自編碼器為模型框架,在訓(xùn)練的過程中,希望多個視圖學(xué)習(xí)一個低維的共享中間層特征,并基于共享特征構(gòu)建相應(yīng)的聚類損失,幫助模型發(fā)現(xiàn)數(shù)據(jù)內(nèi)在的類簇結(jié)構(gòu)。該類方法的損失函數(shù)一般由數(shù)據(jù)的重構(gòu)損失、聚類損失和網(wǎng)絡(luò)輔助損失三部分構(gòu)成,即希望表示學(xué)習(xí)和聚類任務(wù)協(xié)同指導(dǎo)模型的訓(xùn)練過程。基于以上思路,Du等[53]提出了一種基于多編碼器的深度多視圖聚類算法,該算法結(jié)合各視圖的局部不變量和任意兩個視圖之間的一致互補(bǔ)信息,采用自動編碼器分層捕獲各視圖的非線性結(jié)構(gòu)信息,算法將表示學(xué)習(xí)和聚類集成到一個統(tǒng)一的框架中,從而共同優(yōu)化兩個任務(wù)。Cheng等[54]提出了一種多視圖屬性圖卷積網(wǎng)絡(luò)模型用于聚類任務(wù),模型設(shè)計有雙路徑編碼器,第一條路徑是多視圖屬性圖注意力網(wǎng)絡(luò),以減少噪聲和冗余,并學(xué)習(xí)多視圖數(shù)據(jù)的圖嵌入特征;第二條路徑是一致性嵌入編碼器,用于捕捉不同視圖之間的幾何關(guān)系和概率分布的一致性,自適應(yīng)地為多視圖屬性找到一致的聚類嵌入空間。Shi等[55]提出了一種任務(wù)引導(dǎo)的圖自動編碼聚類框架,該框架中的圖自編碼器能夠通過使用一個信息豐富的圖和屬性數(shù)據(jù)來重建多個圖并學(xué)習(xí)節(jié)點(diǎn)嵌入,因此,算法可以很好地捕捉多個圖的共享特征表示。在此基礎(chǔ)上,模型還提出了一種自訓(xùn)練聚類目標(biāo),以迭代的方式改善聚類結(jié)果。

    基于聯(lián)合特征表示學(xué)習(xí)的聚類算法一般以深度前饋神經(jīng)網(wǎng)絡(luò)(全連接或卷積)為模型框架,該類方法通常會聯(lián)合多個視圖在網(wǎng)絡(luò)的輸出層構(gòu)建聚類損失,形成一種端到端的聚類模式。相較于共享特征表示學(xué)習(xí)的聚類算法,該類算法對聚類損失的魯棒性要求更高,其關(guān)鍵在于如何產(chǎn)生可靠的確定性信息來輔助模型訓(xùn)練。一般的做法是將傳統(tǒng)聚類算法的損失函數(shù)遷移到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中,形成聯(lián)合的深度聚類過程,并通過交替優(yōu)化或聯(lián)合優(yōu)化的方式實(shí)現(xiàn)聚類?;谝陨纤悸罚琙hao等[56]提出了一種面向多視圖聚類的深度矩陣分解框架,該算法采用半非負(fù)矩陣分解,以分層的方式學(xué)習(xí)多視圖數(shù)據(jù)的層次語義。為了最大化每個視圖的互信息,算法在最后一層強(qiáng)制每個視圖的非負(fù)表示是相同的。此外,為了保留每個視圖數(shù)據(jù)中固有的幾何結(jié)構(gòu),算法引入了圖正則化項(xiàng)來耦合深層結(jié)構(gòu)的輸出表示。Peng等[57]提出了一種多視圖譜聚類網(wǎng)絡(luò),算法將每個視圖的局部不變性和不同視圖之間的一致性融合到一個新的目標(biāo)函數(shù)中,其中局部不變性由深度度量學(xué)習(xí)網(wǎng)絡(luò)定義,而并非傳統(tǒng)方法采用的歐氏距離。Zhang等[58]提出了一種基于神經(jīng)網(wǎng)絡(luò)的廣義潛在多視圖子空間聚類方法,與現(xiàn)有的單視圖子空間聚類方法直接利用原始特征重構(gòu)數(shù)據(jù)點(diǎn)不同,該算法從多個視圖中利用深度神經(jīng)網(wǎng)絡(luò)挖掘潛在的互補(bǔ)信息并同時尋找聯(lián)合的潛在表示,實(shí)現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)與子空間學(xué)習(xí)的有效聯(lián)合訓(xùn)練。

    上述基于深度的多視圖聚類算法雖然在高維和大規(guī)模數(shù)據(jù)集上表現(xiàn)出比傳統(tǒng)聚類更好的處理能力,但是算法依賴于聚類網(wǎng)絡(luò)的初始化和預(yù)訓(xùn)練。因此,如何設(shè)計更高效可用的深度聚類算法,以及如何提升大規(guī)模多視圖數(shù)據(jù)的聚類效果,將是未來深度多視圖聚類研究的重點(diǎn)。

    2 多視圖聚類算法展望

    經(jīng)過多年的發(fā)展,多視圖聚類算法已經(jīng)在理論、方法和應(yīng)用等方面取得了階段性成果。但多視圖聚類算法作為機(jī)器學(xué)習(xí)研究的前沿方向之一,仍然存在很多開放性的問題有待進(jìn)一步探索。具體可以概括為以下四個方面:

    (1)多視圖數(shù)據(jù)的低質(zhì)性問題:傳統(tǒng)的多視圖聚類算法通常要求數(shù)據(jù)是高質(zhì)量的。由于實(shí)際中存在諸多風(fēng)險因素,收集到的多視圖數(shù)據(jù)的數(shù)據(jù)質(zhì)量通常較差,數(shù)據(jù)中可能包含了孤立點(diǎn)、缺失或錯誤的數(shù)據(jù)。例如,在同一場景下的多個視頻監(jiān)控中,某些攝像頭可能由于設(shè)備故障等原因無法正常工作,從而采集不到某個角度的視頻畫面,造成該故障設(shè)備視圖下的樣本缺失;在醫(yī)療診斷過程中,某些患者由于高昂的檢查費(fèi)用或自身的一些原因只參加兩種測試中的一種,從而造成檢查結(jié)果視圖下的患者樣本部分非對齊的情況;戰(zhàn)場環(huán)境中不同傳感器收集的數(shù)據(jù)可以視為多視圖數(shù)據(jù),但是由于通信的干擾,某些傳感器收集到的數(shù)據(jù)可能具有噪聲。這些低質(zhì)量的多視圖數(shù)據(jù),會降低傳統(tǒng)的多視圖聚類算法的性能。研究如何充分合理地利用這些低質(zhì)量多視圖數(shù)據(jù)的信息,進(jìn)行正確地聚類,使得多視圖聚類算法在現(xiàn)實(shí)應(yīng)用中具有更高的穩(wěn)定性,是多視圖聚類中最具挑戰(zhàn)性的問題之一。

    (2)多視圖數(shù)據(jù)的規(guī)模性:在信息時代,每天都會產(chǎn)生海量的數(shù)據(jù),并且在許多的研究領(lǐng)域都涉及多視圖數(shù)據(jù)。例如,在抖音數(shù)據(jù)平臺上每分鐘都會產(chǎn)生大量的視頻數(shù)據(jù),這些視頻數(shù)據(jù)可以用圖像、聲音和文本來進(jìn)行表示;在氣象監(jiān)測領(lǐng)域,每天都會從不同的采集器上接收到大量的數(shù)據(jù),這種不同來源的數(shù)據(jù)也是多視圖數(shù)據(jù)。由于大量的復(fù)雜性計算和巨大的存儲成本,現(xiàn)有的多視圖學(xué)習(xí)方法無法有效地對大規(guī)模數(shù)據(jù)集進(jìn)行聚類。因此,如何在保證聚類準(zhǔn)確性的前提下高效地對大規(guī)模數(shù)據(jù)集進(jìn)行聚類對多視圖聚類算法顯得尤為重要。

    (3)多視圖數(shù)據(jù)的動態(tài)性問題:實(shí)際應(yīng)用中存在大量具有時序關(guān)系的多視圖數(shù)據(jù),如多個攝像頭連續(xù)拍攝的監(jiān)控視頻,每個攝像頭可以看作是一個特征采集器,所拍攝的畫面構(gòu)成多個具有時間信息的多視圖數(shù)據(jù);在醫(yī)學(xué)診斷過程中,醫(yī)生需要對病人的病程進(jìn)行一系列的檢查和治療,每一項(xiàng)檢查結(jié)果下的病歷數(shù)據(jù)構(gòu)成了動態(tài)變化的多視圖數(shù)據(jù)。因此,在線環(huán)境下,隨著時間的推移,每個視圖的數(shù)據(jù)特征和分布都有可能發(fā)生變化?,F(xiàn)有的多視圖聚類算法僅能適用于離線的靜態(tài)環(huán)境數(shù)據(jù),無法隨著數(shù)據(jù)的變化實(shí)時更新模型。對于具有時序關(guān)系的多視圖數(shù)據(jù),研究在線的多視圖聚類方法也是多視圖研究領(lǐng)域的一個挑戰(zhàn)性問題。

    (4)多視圖聚類的多解性問題:現(xiàn)有的多視圖聚類算法假設(shè)多個視圖擁有一致且唯一的聚類結(jié)果。然而這樣的假設(shè)未免過于苛刻。在現(xiàn)實(shí)世界中,數(shù)據(jù)往往可能有不同的分組方式,關(guān)注數(shù)據(jù)的不同表示可以得到不同的聚類結(jié)果。例如,抖音平臺的用戶數(shù)據(jù),可以按照屬性特征對用戶進(jìn)行分組,也可以按照社交好友關(guān)系對用戶進(jìn)行分組。多劃分聚類建模的目的是尋找數(shù)據(jù)多個有意義的粒度空間,挖掘隱含的多種有意義的聚類劃分。多視圖數(shù)據(jù)的多源異質(zhì)性可以為不同??臻g的聚類結(jié)果提供豐富的、多角度語義解釋,進(jìn)一步多粒度、可解釋的多劃分聚類建模將給決策者提供更多的選擇空間,并且可以使決策者根據(jù)自身需求探索性地相信和選用聚類劃分。多劃分聚類方式是對單維聚類的擴(kuò)展,為復(fù)雜數(shù)據(jù)提供了一種新的探索分析方式,希望基于多解的多視圖聚類算法在未來引起更多學(xué)者的關(guān)注。

    綜上可知,多視圖數(shù)據(jù)的低質(zhì)性、大規(guī)模性、動態(tài)性與多解性給聚類任務(wù)帶來的挑戰(zhàn)是多方面的、多層次的。為此,需要在現(xiàn)有研究成果的基礎(chǔ)上,以全新的視角發(fā)展新理論與新方法,推動多視圖聚類的發(fā)展與應(yīng)用。

    3 結(jié)論及展望

    開展多視圖聚類算法的研究,賦予計算機(jī)理解多源異構(gòu)數(shù)據(jù)的能力,對于大數(shù)據(jù)環(huán)境下的機(jī)器學(xué)習(xí)具有重要理論意義與應(yīng)用價值。本文系統(tǒng)梳理了多視圖聚類算法的多種模型與方法,并對各類算法優(yōu)劣進(jìn)行了歸納和總結(jié),最后從多視圖數(shù)據(jù)的低質(zhì)性、大規(guī)模性、動態(tài)性以及聚類結(jié)果的多解性等方面探討了當(dāng)前研究的挑戰(zhàn)與未來重點(diǎn)研究方向,以期為多視圖領(lǐng)域的研究提供必要借鑒。

    猜你喜歡
    視圖聚類矩陣
    基于DBSACN聚類算法的XML文檔聚類
    電子測試(2017年15期)2017-12-18 07:19:27
    5.3 視圖與投影
    視圖
    Y—20重型運(yùn)輸機(jī)多視圖
    SA2型76毫米車載高炮多視圖
    初等行變換與初等列變換并用求逆矩陣
    基于改進(jìn)的遺傳算法的模糊聚類算法
    矩陣
    南都周刊(2015年4期)2015-09-10 07:22:44
    矩陣
    南都周刊(2015年3期)2015-09-10 07:22:44
    矩陣
    南都周刊(2015年1期)2015-09-10 07:22:44
    日韩av免费高清视频| 日本一区二区免费在线视频| 色94色欧美一区二区| 80岁老熟妇乱子伦牲交| www.999成人在线观看| 亚洲成人国产一区在线观看 | 欧美变态另类bdsm刘玥| 亚洲,欧美,日韩| 免费少妇av软件| 一区福利在线观看| 日本黄色日本黄色录像| 亚洲国产精品一区二区三区在线| 中文欧美无线码| 99精品久久久久人妻精品| 免费观看a级毛片全部| 精品国产乱码久久久久久男人| 色94色欧美一区二区| 亚洲国产精品一区二区三区在线| 69精品国产乱码久久久| 国产成人一区二区在线| 99国产综合亚洲精品| 久9热在线精品视频| 久久久精品94久久精品| 老司机影院成人| 乱人伦中国视频| a级片在线免费高清观看视频| 男女免费视频国产| 在线av久久热| av国产久精品久网站免费入址| 国产成人欧美| 日韩,欧美,国产一区二区三区| 天天躁夜夜躁狠狠久久av| 女人精品久久久久毛片| 啦啦啦视频在线资源免费观看| 久热爱精品视频在线9| 国产成人系列免费观看| 狠狠婷婷综合久久久久久88av| 精品国产乱码久久久久久小说| 亚洲国产精品一区三区| 亚洲欧美一区二区三区国产| 80岁老熟妇乱子伦牲交| 汤姆久久久久久久影院中文字幕| 欧美大码av| www日本在线高清视频| 亚洲精品一区蜜桃| 男人添女人高潮全过程视频| 丝瓜视频免费看黄片| 51午夜福利影视在线观看| 亚洲,欧美精品.| 国产av一区二区精品久久| 日本91视频免费播放| 亚洲国产精品国产精品| 欧美+亚洲+日韩+国产| 久久久久久久国产电影| 欧美成人精品欧美一级黄| 久久久久久人人人人人| 亚洲精品在线美女| 久久久久久久国产电影| 亚洲人成77777在线视频| 国产伦理片在线播放av一区| 香蕉丝袜av| 日韩一本色道免费dvd| 黄色片一级片一级黄色片| 男女高潮啪啪啪动态图| av在线播放精品| 国产片特级美女逼逼视频| 国产高清视频在线播放一区 | 我要看黄色一级片免费的| 欧美人与性动交α欧美软件| 亚洲精品日本国产第一区| 超碰成人久久| 国产片内射在线| 国产精品欧美亚洲77777| 欧美国产精品一级二级三级| 欧美中文综合在线视频| av网站在线播放免费| 国产精品三级大全| 午夜激情久久久久久久| 亚洲欧洲国产日韩| 少妇人妻久久综合中文| 久久久久视频综合| 精品一区在线观看国产| 人人妻人人添人人爽欧美一区卜| 悠悠久久av| 中文字幕人妻丝袜一区二区| 国产精品国产三级专区第一集| 日本猛色少妇xxxxx猛交久久| 欧美国产精品va在线观看不卡| 97在线人人人人妻| 中文字幕人妻丝袜制服| 一边亲一边摸免费视频| 久热爱精品视频在线9| 两个人免费观看高清视频| 亚洲一码二码三码区别大吗| 一级毛片电影观看| 激情视频va一区二区三区| 18禁国产床啪视频网站| 男女高潮啪啪啪动态图| 精品欧美一区二区三区在线| 中文乱码字字幕精品一区二区三区| 丁香六月天网| 免费观看人在逋| 十分钟在线观看高清视频www| 亚洲欧美一区二区三区久久| 男女无遮挡免费网站观看| 天堂中文最新版在线下载| 成人国产av品久久久| 国产97色在线日韩免费| 老司机深夜福利视频在线观看 | 人体艺术视频欧美日本| 亚洲综合色网址| 日本欧美国产在线视频| 久久狼人影院| 又大又爽又粗| 亚洲色图综合在线观看| 亚洲精品一区蜜桃| 少妇裸体淫交视频免费看高清 | 午夜久久久在线观看| 亚洲精品国产av成人精品| tube8黄色片| videosex国产| 中文字幕色久视频| 国产老妇伦熟女老妇高清| 亚洲国产毛片av蜜桃av| 狠狠婷婷综合久久久久久88av| 精品久久蜜臀av无| 老司机亚洲免费影院| av在线app专区| 叶爱在线成人免费视频播放| 18禁裸乳无遮挡动漫免费视频| 欧美 亚洲 国产 日韩一| 欧美av亚洲av综合av国产av| 一级片免费观看大全| 午夜久久久在线观看| 一级a爱视频在线免费观看| 国产一卡二卡三卡精品| bbb黄色大片| 国产成人精品久久二区二区免费| 日韩 欧美 亚洲 中文字幕| 亚洲黑人精品在线| 两个人看的免费小视频| 国产高清视频在线播放一区 | 一区在线观看完整版| 国产精品一区二区免费欧美 | 国产又爽黄色视频| 超色免费av| 成人18禁高潮啪啪吃奶动态图| 午夜两性在线视频| 国产精品麻豆人妻色哟哟久久| 性色av乱码一区二区三区2| 婷婷丁香在线五月| 亚洲中文字幕日韩| 人人妻人人澡人人爽人人夜夜| 别揉我奶头~嗯~啊~动态视频 | 亚洲国产av新网站| 精品一区二区三区四区五区乱码 | 女人爽到高潮嗷嗷叫在线视频| 咕卡用的链子| 热99国产精品久久久久久7| 国产精品一二三区在线看| 黑人巨大精品欧美一区二区蜜桃| 国产又爽黄色视频| 久久av网站| 国产有黄有色有爽视频| 国产黄色免费在线视频| 欧美日韩视频精品一区| 日韩中文字幕视频在线看片| tube8黄色片| 日本a在线网址| 欧美日韩亚洲国产一区二区在线观看 | 好男人视频免费观看在线| av在线app专区| 男女免费视频国产| 亚洲精品久久午夜乱码| 欧美av亚洲av综合av国产av| 成人手机av| 久久久久久久久免费视频了| 亚洲成人免费av在线播放| 久久99一区二区三区| 黑人猛操日本美女一级片| 久久久精品区二区三区| 美女脱内裤让男人舔精品视频| 婷婷丁香在线五月| 国产高清视频在线播放一区 | 在线av久久热| 韩国高清视频一区二区三区| 精品国产乱码久久久久久男人| av网站在线播放免费| 黄网站色视频无遮挡免费观看| 日本黄色日本黄色录像| 欧美日韩亚洲国产一区二区在线观看 | 精品国产一区二区久久| 亚洲欧美中文字幕日韩二区| 亚洲中文av在线| 亚洲成国产人片在线观看| 午夜激情av网站| 人妻一区二区av| 免费在线观看黄色视频的| 最近手机中文字幕大全| 久久毛片免费看一区二区三区| 两性夫妻黄色片| 午夜福利视频精品| 午夜福利一区二区在线看| 午夜av观看不卡| 一级毛片我不卡| 男女无遮挡免费网站观看| 只有这里有精品99| 夜夜骑夜夜射夜夜干| 久久精品熟女亚洲av麻豆精品| 丝袜人妻中文字幕| 一级毛片我不卡| 一区二区日韩欧美中文字幕| 99香蕉大伊视频| 国产在视频线精品| 午夜福利,免费看| 视频区图区小说| 久久久久网色| 高清视频免费观看一区二区| 国产精品人妻久久久影院| 亚洲欧美日韩另类电影网站| 久久女婷五月综合色啪小说| 搡老乐熟女国产| 久久人人97超碰香蕉20202| 亚洲国产精品一区二区三区在线| 日日夜夜操网爽| 97在线人人人人妻| 成年人黄色毛片网站| 精品国产国语对白av| 在线观看免费视频网站a站| 后天国语完整版免费观看| 亚洲国产最新在线播放| 亚洲国产精品999| 精品一区二区三区四区五区乱码 | 香蕉丝袜av| 久久ye,这里只有精品| 中文字幕亚洲精品专区| 狠狠婷婷综合久久久久久88av| 国产人伦9x9x在线观看| tube8黄色片| 亚洲五月婷婷丁香| 2021少妇久久久久久久久久久| 国产精品国产av在线观看| 亚洲欧洲国产日韩| 亚洲三区欧美一区| 国产福利在线免费观看视频| 久久 成人 亚洲| 精品视频人人做人人爽| 亚洲国产av新网站| 久久久久久免费高清国产稀缺| 亚洲九九香蕉| 亚洲 欧美一区二区三区| 一个人免费看片子| 99香蕉大伊视频| 国产老妇伦熟女老妇高清| 国产精品二区激情视频| 一边亲一边摸免费视频| 女人高潮潮喷娇喘18禁视频| 国产一区二区三区av在线| 无限看片的www在线观看| 国产免费又黄又爽又色| 观看av在线不卡| 午夜91福利影院| 久久久欧美国产精品| 国产极品粉嫩免费观看在线| 国产精品免费视频内射| 肉色欧美久久久久久久蜜桃| 我的亚洲天堂| 精品一区二区三卡| 久久久精品国产亚洲av高清涩受| 国产日韩欧美视频二区| 精品免费久久久久久久清纯 | 久久久久精品人妻al黑| 国产男女内射视频| 亚洲少妇的诱惑av| 免费观看a级毛片全部| 国产老妇伦熟女老妇高清| 国产一区二区三区综合在线观看| 免费av中文字幕在线| av天堂在线播放| 久久天躁狠狠躁夜夜2o2o | 男的添女的下面高潮视频| 国产av国产精品国产| 久久狼人影院| 国产麻豆69| 又紧又爽又黄一区二区| 欧美激情极品国产一区二区三区| 国产精品秋霞免费鲁丝片| 欧美日韩视频高清一区二区三区二| 狂野欧美激情性bbbbbb| 精品一品国产午夜福利视频| 黄色一级大片看看| 婷婷色麻豆天堂久久| 免费av中文字幕在线| 高清欧美精品videossex| 久久久久久久国产电影| 免费看不卡的av| 欧美日韩成人在线一区二区| 亚洲免费av在线视频| 久久精品国产综合久久久| 蜜桃国产av成人99| 男女床上黄色一级片免费看| 一区二区三区精品91| 多毛熟女@视频| 纵有疾风起免费观看全集完整版| 日韩制服骚丝袜av| 亚洲精品日本国产第一区| 在线天堂中文资源库| 夫妻午夜视频| 久久国产精品男人的天堂亚洲| 中文字幕人妻熟女乱码| 国产精品一二三区在线看| 最近最新中文字幕大全免费视频 | 中文字幕人妻丝袜制服| 精品卡一卡二卡四卡免费| 午夜免费观看性视频| 性少妇av在线| 亚洲精品在线美女| 免费看十八禁软件| 久久精品国产亚洲av涩爱| av又黄又爽大尺度在线免费看| 女人被躁到高潮嗷嗷叫费观| 日韩大码丰满熟妇| a 毛片基地| 亚洲中文av在线| 久久ye,这里只有精品| 飞空精品影院首页| 色94色欧美一区二区| 亚洲精品久久久久久婷婷小说| 另类亚洲欧美激情| 精品福利永久在线观看| 一级片'在线观看视频| 亚洲精品第二区| 亚洲第一青青草原| 久久精品亚洲av国产电影网| 色视频在线一区二区三区| 久久人人97超碰香蕉20202| 午夜福利在线免费观看网站| 亚洲av男天堂| 午夜福利影视在线免费观看| 久久精品国产a三级三级三级| 波多野结衣av一区二区av| 久久亚洲国产成人精品v| 国产精品二区激情视频| 欧美亚洲 丝袜 人妻 在线| 一级毛片女人18水好多 | www.999成人在线观看| 亚洲天堂av无毛| 久久 成人 亚洲| 精品亚洲乱码少妇综合久久| 国产高清不卡午夜福利| 狂野欧美激情性xxxx| 亚洲欧美激情在线| 考比视频在线观看| 久久精品亚洲av国产电影网| 国语对白做爰xxxⅹ性视频网站| 搡老岳熟女国产| 免费高清在线观看视频在线观看| 高清不卡的av网站| 91成人精品电影| 亚洲美女黄色视频免费看| 中文乱码字字幕精品一区二区三区| 国产午夜精品一二区理论片| 美女主播在线视频| 我要看黄色一级片免费的| 国产精品久久久人人做人人爽| 男女边摸边吃奶| 高潮久久久久久久久久久不卡| 国产亚洲精品第一综合不卡| 如日韩欧美国产精品一区二区三区| 人妻人人澡人人爽人人| 久久久欧美国产精品| 99精品久久久久人妻精品| 又黄又粗又硬又大视频| 一区二区日韩欧美中文字幕| 十八禁人妻一区二区| 色播在线永久视频| 80岁老熟妇乱子伦牲交| 男人操女人黄网站| 丰满少妇做爰视频| 少妇被粗大的猛进出69影院| 久久99一区二区三区| 日本wwww免费看| 9热在线视频观看99| 中文字幕人妻丝袜一区二区| 日本午夜av视频| 国产精品一区二区精品视频观看| 熟女av电影| 两性夫妻黄色片| 久久久久久久精品精品| 中文字幕制服av| 久久久欧美国产精品| av网站免费在线观看视频| 一边亲一边摸免费视频| 黄色a级毛片大全视频| 老司机靠b影院| 亚洲精品美女久久久久99蜜臀 | 国产老妇伦熟女老妇高清| 国产亚洲av片在线观看秒播厂| 90打野战视频偷拍视频| 久久久精品国产亚洲av高清涩受| 美女福利国产在线| 天天躁夜夜躁狠狠躁躁| 色网站视频免费| 一本—道久久a久久精品蜜桃钙片| 亚洲欧美一区二区三区久久| 美女午夜性视频免费| 18禁黄网站禁片午夜丰满| 精品少妇一区二区三区视频日本电影| 免费观看av网站的网址| 一级毛片我不卡| 午夜福利免费观看在线| 国产av国产精品国产| 欧美变态另类bdsm刘玥| 国产激情久久老熟女| 国产淫语在线视频| 亚洲国产中文字幕在线视频| 午夜影院在线不卡| 自拍欧美九色日韩亚洲蝌蚪91| 午夜福利视频在线观看免费| 亚洲国产av影院在线观看| 男人舔女人的私密视频| 国产麻豆69| 国产深夜福利视频在线观看| 人人妻人人澡人人看| 久久久久久人人人人人| 久久这里只有精品19| 老汉色∧v一级毛片| 美女大奶头黄色视频| 国产成人a∨麻豆精品| 在线亚洲精品国产二区图片欧美| 午夜免费鲁丝| 欧美日韩亚洲高清精品| 狠狠婷婷综合久久久久久88av| 女人精品久久久久毛片| 国产片特级美女逼逼视频| 国产免费又黄又爽又色| 亚洲欧美日韩另类电影网站| 蜜桃在线观看..| bbb黄色大片| 91九色精品人成在线观看| 天堂俺去俺来也www色官网| 亚洲国产日韩一区二区| 国产成人91sexporn| 亚洲欧美清纯卡通| 久久狼人影院| 最新的欧美精品一区二区| 色视频在线一区二区三区| 精品免费久久久久久久清纯 | 精品高清国产在线一区| 涩涩av久久男人的天堂| 美女大奶头黄色视频| 丰满人妻熟妇乱又伦精品不卡| 一边摸一边做爽爽视频免费| 国产欧美日韩精品亚洲av| 七月丁香在线播放| 老熟女久久久| 日韩人妻精品一区2区三区| a 毛片基地| 男女免费视频国产| 手机成人av网站| 欧美精品一区二区大全| 黄色视频在线播放观看不卡| 99国产精品99久久久久| 久久久久视频综合| 国产激情久久老熟女| 亚洲伊人色综图| 天天添夜夜摸| 久久久久久久大尺度免费视频| 欧美少妇被猛烈插入视频| 国产精品麻豆人妻色哟哟久久| 十分钟在线观看高清视频www| 久久久久久久国产电影| 亚洲色图 男人天堂 中文字幕| 亚洲五月色婷婷综合| 免费高清在线观看视频在线观看| 少妇 在线观看| 大话2 男鬼变身卡| 免费日韩欧美在线观看| 国产av精品麻豆| 久久久国产一区二区| 国产高清视频在线播放一区 | 精品人妻1区二区| 在线天堂中文资源库| 国产一区二区在线观看av| 亚洲专区国产一区二区| 亚洲人成77777在线视频| 国产人伦9x9x在线观看| 国产无遮挡羞羞视频在线观看| 久久久久久久久久久久大奶| netflix在线观看网站| 国产精品久久久人人做人人爽| 可以免费在线观看a视频的电影网站| 国产欧美日韩一区二区三区在线| 亚洲欧美一区二区三区黑人| 亚洲精品av麻豆狂野| 久久久精品免费免费高清| 午夜老司机福利片| 亚洲欧美精品综合一区二区三区| 90打野战视频偷拍视频| 国产精品一区二区免费欧美 | 亚洲欧美一区二区三区国产| 中文字幕精品免费在线观看视频| 一区福利在线观看| 国产极品粉嫩免费观看在线| 国产精品熟女久久久久浪| 国产又色又爽无遮挡免| 国产男人的电影天堂91| 欧美精品亚洲一区二区| 熟女av电影| 免费久久久久久久精品成人欧美视频| 91字幕亚洲| 亚洲精品日韩在线中文字幕| 91老司机精品| 日韩电影二区| 亚洲欧洲国产日韩| 九色亚洲精品在线播放| 天天躁狠狠躁夜夜躁狠狠躁| 中文字幕人妻熟女乱码| 日韩一区二区三区影片| 一二三四社区在线视频社区8| 国产精品人妻久久久影院| 老汉色∧v一级毛片| a级毛片在线看网站| 久久青草综合色| 天天躁狠狠躁夜夜躁狠狠躁| 在线观看免费午夜福利视频| 少妇 在线观看| 成在线人永久免费视频| 人人澡人人妻人| 视频区欧美日本亚洲| 老司机亚洲免费影院| 老鸭窝网址在线观看| 热re99久久精品国产66热6| 最黄视频免费看| 欧美精品高潮呻吟av久久| 午夜激情久久久久久久| 国产伦理片在线播放av一区| 人人澡人人妻人| kizo精华| 亚洲成国产人片在线观看| av在线app专区| 欧美日韩一级在线毛片| 丰满饥渴人妻一区二区三| 电影成人av| 少妇猛男粗大的猛烈进出视频| 人人妻人人爽人人添夜夜欢视频| √禁漫天堂资源中文www| 欧美av亚洲av综合av国产av| 日本午夜av视频| 在现免费观看毛片| 精品少妇内射三级| 久久毛片免费看一区二区三区| 在线av久久热| 日本五十路高清| 亚洲欧美成人综合另类久久久| 国产一区二区三区av在线| 亚洲国产精品成人久久小说| 国产精品av久久久久免费| 亚洲国产av影院在线观看| 啦啦啦在线免费观看视频4| 亚洲成人国产一区在线观看 | 999精品在线视频| 香蕉国产在线看| 亚洲精品第二区| 日本a在线网址| 青青草视频在线视频观看| 一区二区日韩欧美中文字幕| 欧美日韩成人在线一区二区| 一级毛片电影观看| 桃花免费在线播放| 天天躁夜夜躁狠狠躁躁| 国产福利在线免费观看视频| 亚洲国产最新在线播放| 久久久国产精品麻豆| av片东京热男人的天堂| 亚洲色图综合在线观看| 亚洲av在线观看美女高潮| 欧美日韩视频精品一区| 在现免费观看毛片| 欧美日韩综合久久久久久| 日本av手机在线免费观看| 精品一品国产午夜福利视频| 亚洲av成人精品一二三区| 黄网站色视频无遮挡免费观看| 久久女婷五月综合色啪小说| 国产一区二区 视频在线| 欧美av亚洲av综合av国产av| 在线观看免费午夜福利视频| 啦啦啦啦在线视频资源| 国产女主播在线喷水免费视频网站| 50天的宝宝边吃奶边哭怎么回事| 国产在线观看jvid| 中文字幕人妻熟女乱码| 一边摸一边做爽爽视频免费| 国产午夜精品一二区理论片| 午夜av观看不卡| 亚洲精品日本国产第一区| 国产免费现黄频在线看| 免费在线观看日本一区| 国产精品二区激情视频| 久久综合国产亚洲精品| 欧美变态另类bdsm刘玥| 国产精品一区二区在线不卡| 国产精品二区激情视频| 久久国产精品人妻蜜桃| 一本一本久久a久久精品综合妖精| 亚洲精品久久午夜乱码| 宅男免费午夜| 国产高清国产精品国产三级| 久久精品国产亚洲av涩爱| 50天的宝宝边吃奶边哭怎么回事| 亚洲成人国产一区在线观看 | 女人高潮潮喷娇喘18禁视频| 中文字幕人妻熟女乱码| 男人添女人高潮全过程视频|