• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    融合注意力機(jī)制的深度學(xué)習(xí)推薦模型

    2022-10-24 02:07:06蔡利平周緒川戴涵宇
    關(guān)鍵詞:注意力深度特征

    于 蒙,蔡利平,周緒川,戴涵宇

    (西南民族大學(xué)計(jì)算機(jī)系統(tǒng)國(guó)家民委重點(diǎn)實(shí)驗(yàn)室,四川 成都 610041)

    近年來(lái),網(wǎng)絡(luò)應(yīng)用尤其是移動(dòng)應(yīng)用的快速發(fā)展[1],使得人們能夠方便地瀏覽大量的網(wǎng)絡(luò)信息資源,如何為用戶從海量的信息資源中推薦符合其需求的資源(如商品、電影、書(shū)籍等)成了目前研究者們關(guān)注的問(wèn)題之一,推薦系統(tǒng)可以有效地對(duì)信息進(jìn)行過(guò)濾和篩選,幫助用戶以個(gè)性化的方式來(lái)檢索符合其需求的信息資源,緩解信息過(guò)載(Information overload)[2]的問(wèn)題.推薦技術(shù)經(jīng)過(guò)不斷的發(fā)展和更新,已在電影、音樂(lè)、電子商務(wù)、社交網(wǎng)絡(luò)等領(lǐng)域廣泛應(yīng)用.協(xié)同過(guò)濾算法(Collaborative filtering,CF)被提出后,推薦系統(tǒng)逐漸成為一個(gè)新的研究熱點(diǎn),同時(shí)也面臨著數(shù)據(jù)稀疏問(wèn)題(用戶對(duì)推薦項(xiàng)目的評(píng)分?jǐn)?shù)量太少)和冷啟動(dòng)問(wèn)題(新的推薦項(xiàng)目和新用戶無(wú)評(píng)分?jǐn)?shù)據(jù)).

    深度學(xué)習(xí)(Deep learning,DL)是具備識(shí)別、分析、計(jì)算的機(jī)器學(xué)習(xí)算法,為緩解數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題帶來(lái)了新的機(jī)遇,2015年以來(lái),該算法已經(jīng)在語(yǔ)義挖掘、人臉識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域廣泛應(yīng)用,深度學(xué)習(xí)模型的逐漸成熟為推薦系統(tǒng)的發(fā)展帶來(lái)了新的機(jī)遇.2016年,ACM推薦系統(tǒng)年會(huì)上Song等人[3]指出將深度學(xué)習(xí)和推薦系統(tǒng)融合作為推薦系統(tǒng)未來(lái)研究的重點(diǎn),國(guó)內(nèi)外的學(xué)者們和研究機(jī)構(gòu)針對(duì)這一研究熱點(diǎn)展開(kāi)了深刻探討.2017年以來(lái)機(jī)器學(xué)習(xí)方向的頂級(jí)會(huì)議(如:ICML、NIPS、COLT等)中有關(guān)深度學(xué)習(xí)的個(gè)性化推薦的相關(guān)文章逐年增加.2019年,文獻(xiàn)[4]的研究認(rèn)為深度學(xué)習(xí)能夠從數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征的不同層次表達(dá)和抽象,是解決傳統(tǒng)推薦技術(shù)出現(xiàn)的冷啟動(dòng)、數(shù)據(jù)稀疏等問(wèn)題的有效策略.利用注意力機(jī)制針對(duì)電影海報(bào)信息進(jìn)行提取,提出了一種結(jié)合多源信息的深度推薦模型.在最后進(jìn)行了實(shí)驗(yàn)設(shè)計(jì)與分析,證明該推薦模型在推薦效果方面的優(yōu)越性和有效性.

    1 相關(guān)工作

    目前研究大部分研究都更關(guān)注在電影預(yù)告片[5]或情節(jié)概要[6]的分類(lèi)上,電影海報(bào)是體現(xiàn)電影內(nèi)容和感情色彩的重要形式,往往通過(guò)海報(bào)中局部的某個(gè)細(xì)節(jié)信息就能判斷出電影的可能類(lèi)型,電影海報(bào)能直接影響到用戶對(duì)電影的第一印象.因此,對(duì)電影海報(bào)信息特征提取的程度決定了推薦效果.文獻(xiàn)[7]采用RAKEL集成的方法,使用Naive-Bayes、C4.5決策樹(shù)和k近鄰作為分類(lèi)器,并使用Dominant Colors、GIST和Classemes方法從電影海報(bào)中提取用于分類(lèi)的低層特征.在之后研究中,Ivasic-Kos等人[8]從海報(bào)中提取了顏色、邊緣和紋理等特征,并且還把海報(bào)中的人臉數(shù)量也被用作分類(lèi)的額外特征.此外,利用向量空間模型[9]提取了摘要的文本特征,其中使用的支持向量機(jī)(support vector machine,SVM)是根據(jù)海報(bào)和概要的特點(diǎn)進(jìn)行的分類(lèi),但是此研究中類(lèi)別的數(shù)量?jī)H有4個(gè),沒(méi)有進(jìn)行多標(biāo)簽分類(lèi).這種方法具有比神經(jīng)網(wǎng)絡(luò)計(jì)算簡(jiǎn)單、訓(xùn)練容易的優(yōu)點(diǎn),但僅限于對(duì)低層特征顏色進(jìn)行評(píng)估,并不能真正反映出海報(bào)中的高層特征.為了解決此類(lèi)問(wèn)題,一些研究開(kāi)始采用深度學(xué)習(xí)模型對(duì)海報(bào)中的更深層次的特征進(jìn)行提取.對(duì)于電影海報(bào)的處理,大部分研究是對(duì)VGG、ResNet模型調(diào)參再輸出分類(lèi)結(jié)果,判斷預(yù)測(cè)準(zhǔn)確度.在國(guó)外研究中,Barney等人[10]測(cè)試了幾種分類(lèi)方法,包括k-近鄰、一個(gè)改進(jìn)的ResNet-34 CNN和一個(gè)具有自定義架構(gòu)的CNN.盡管他們的評(píng)估范圍很廣,但用于訓(xùn)練他們的神經(jīng)網(wǎng)絡(luò)的損失函數(shù)不能補(bǔ)償其他電影類(lèi)別中海報(bào)數(shù)量不足情況,這可能會(huì)導(dǎo)致他們的預(yù)測(cè)錯(cuò)誤.Chu等人[11]設(shè)計(jì)了一個(gè)復(fù)雜的結(jié)構(gòu),將CNN和一個(gè)YOLO對(duì)象識(shí)別器結(jié)合起來(lái)進(jìn)行分類(lèi).盡管這是一個(gè)多標(biāo)記分類(lèi)問(wèn)題,但它們模型中的最終全連接層的輸出是通過(guò)softmax函數(shù)激活的.為了在之后能夠獲得多標(biāo)簽輸出,輸出向量中的每個(gè)標(biāo)簽被賦予不同的閾值,并且每個(gè)類(lèi)別的閾值通過(guò)一個(gè)單獨(dú)的算法來(lái)選擇,使得訓(xùn)練過(guò)程中輸出的預(yù)測(cè)向量與真實(shí)值向量之間的距離最小,這種設(shè)計(jì)可能導(dǎo)致性能下降,因此,在電影海報(bào)處理過(guò)程中,仍存在一些問(wèn)題導(dǎo)致分類(lèi)效果不佳和提取出的特征向量語(yǔ)義不豐富的問(wèn)題.

    本文提出了融入混合注意力機(jī)制的殘差網(wǎng)絡(luò)模型(ARN)對(duì)電影海報(bào)特征進(jìn)行學(xué)習(xí),其不僅對(duì)Res-Net50進(jìn)行改進(jìn),并且設(shè)計(jì)高效的注意力模塊,設(shè)計(jì)的ARN有兩個(gè)用途,第一是通過(guò)針對(duì)一部電影對(duì)應(yīng)多個(gè)電影類(lèi)型的多標(biāo)簽情況,以電影海報(bào)分類(lèi)準(zhǔn)確率的提升來(lái)證明ARN在電影海報(bào)處理方面具有更好的效果,能夠提取到帶有更豐富含義的特征向量;第二是通過(guò)去掉ARN模型的全連接層中的最后一層,將提取出來(lái)的海報(bào)的特征向量融入推薦模型中,能夠?yàn)橥扑]算法提供更多的初始信息,達(dá)到進(jìn)一步提高推薦算法的準(zhǔn)確度的目的.

    1.1 基于注意力機(jī)制的推薦

    近年來(lái),注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)能夠去自動(dòng)關(guān)注圖像中重要的區(qū)域,給其分配更大的權(quán)重,因此,注意力機(jī)制在圖像識(shí)別任務(wù)中廣泛使用.在2017年,Momenta團(tuán)隊(duì)提出的SENet注意力模塊[12],此模塊能夠與多種神經(jīng)網(wǎng)絡(luò)結(jié)合,在ILSVRC競(jìng)賽中取得了圖像識(shí)別任務(wù)的冠軍.該模型主要是能夠自動(dòng)地學(xué)習(xí)到在通道域上的特征信息,通過(guò)對(duì)不同重要程度的通道分配不同的權(quán)重,去增強(qiáng)對(duì)提升識(shí)別效果有用的部分.1.2 ResNet隨著深度網(wǎng)絡(luò)的發(fā)展,人們想通過(guò)增加網(wǎng)絡(luò)模型的深度去提高訓(xùn)練的效果,但人們發(fā)現(xiàn),隨著深度的增加,深度神經(jīng)網(wǎng)絡(luò)很難訓(xùn)練,甚至準(zhǔn)確性還開(kāi)始下降.那么為了解決這一問(wèn)題,ResNet[13]應(yīng)運(yùn)而生.在ILSVRC 2015和COCO 2015的比賽中,ResNet都以很大的優(yōu)勢(shì)獲勝.ResNet主要特點(diǎn)在于殘差網(wǎng)絡(luò)結(jié)構(gòu)的引用,殘差塊能夠?qū)W習(xí)真實(shí)輸出的殘差.

    2 海報(bào)信息特征提取

    目前對(duì)電影海報(bào)特征處理的方式從傳統(tǒng)的基于像素灰度的算法轉(zhuǎn)變?yōu)榱嘶谏疃染W(wǎng)絡(luò)模型進(jìn)行特征提取和分類(lèi)的方式.然而,對(duì)電影海報(bào)特征提取的深度模型普遍存在以下問(wèn)題:深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練特征的過(guò)程僅僅是將海報(bào)輸入到卷積層中通過(guò)映射的方式再逐一傳遞到下一層中,忽略了訓(xùn)練過(guò)程中對(duì)權(quán)重高的局部區(qū)域的關(guān)注,導(dǎo)致最終提取出來(lái)特征缺乏精細(xì)化的表示能力,進(jìn)而影響提取出來(lái)的海報(bào)特征.本文重點(diǎn)是解決當(dāng)前電影海報(bào)特征提取過(guò)程中如何著重關(guān)注到帶有更豐富的含義且權(quán)重較高的局部區(qū)域.

    2.1 改進(jìn)的注意力機(jī)制模塊

    注意力模塊主要目的是增強(qiáng)電影海報(bào)影響力大的區(qū)域權(quán)重,從而大大增強(qiáng)神經(jīng)網(wǎng)絡(luò)對(duì)于局部重點(diǎn)區(qū)域的判別,提高海報(bào)分類(lèi)和特征提取的性能.其主要流程是將卷積神經(jīng)網(wǎng)絡(luò)中的各層中提取出來(lái)的海報(bào)特征圖作為原始特征圖,然后在不同維度方向上學(xué)習(xí)出針對(duì)海報(bào)不同區(qū)域的不同的權(quán)重值,將這些學(xué)習(xí)到的權(quán)重值與原始特征圖融合后,替代原始的特征圖,進(jìn)而得到表征性更強(qiáng)的特征,分為2個(gè)模塊:通道注意力模塊和空間注意力模塊.

    2.2 通道注意力模塊

    通道注意力模塊的設(shè)計(jì)主要是以SENet模塊為基礎(chǔ)搭建的.首先在此定義從卷積層中的某層提取出來(lái)的海報(bào)原始特征圖為.其中W×H表示特征圖F在空間維度上的大小,C表示特征圖F在通道域上的維度.對(duì)在SENet通道注意力模塊的基礎(chǔ)上進(jìn)行改進(jìn),選擇一種性能更高效的通道注意力模塊,其模塊的結(jié)構(gòu)圖如圖1所示:

    由圖1可知,在該通道注意力模塊首先采用多尺度池化的方式,分別使用平均池化和最大池化的方式,將原始特征圖F在空間維度上降維為兩個(gè)大小為1×1×C的和其中FA是平局池化的到的特征圖,F(xiàn)M是全局池化得到的特征圖.這里采用兩路池化的方式,相比SE模塊是為了能夠在空間維度上提取到帶有更多信息的特征圖.然后分別把這兩個(gè)池化的結(jié)果輸入到兩個(gè)1×1的卷積層f和f′中,去學(xué)得共享卷積層后的重新分配的權(quán)重后得到的特征和.最后將X1和X2對(duì)應(yīng)元素加和并通過(guò)sigmoid函數(shù)合并后映射,生成該通道注意力模塊在空間域上的注意力權(quán)重,再將其與原始特征圖F按照點(diǎn)乘的方式得到新的注意力特征圖F,去替換原始特征圖F

    2.3 空間注意力模塊

    設(shè)計(jì)的空間注意力模塊的過(guò)程如下,如圖2所示:

    圖2 改進(jìn)的空間注意力模塊Fig.2 Modified spatial attention module

    1)采用多尺度池化的方式,分別使用平均池化和最大池化的方式,將原始特征圖G∈RW*H*C在通道維度降維,得到兩個(gè)大小為H*W*1的GA∈RH*W*1和GM∈RH*W*1.

    2)將GA和GM并行處理.其中,GA沿著通道維度方向進(jìn)行求和得到特征圖As1∈RH*W*1,GM將兩個(gè)池化結(jié)果沿著通道維度方向進(jìn)行連接操作(concatenation)拼接得到特征圖As2∈RH*W*1,并通過(guò)concatenation的方式沿著通道維度將As1和As2組合得到As3∈RH*W*1.

    3)使用一個(gè)7×7的卷積核f對(duì)As3卷積,將維度壓縮為H*W*1,并通過(guò)Sigmoid函數(shù)激活,生成該空間注意力模塊在通道域上的注意力權(quán)重As∈RH*W*1,再將其與原始特征圖G按照點(diǎn)乘的方式得到新的注意力特征圖Gs∈RH*W*C,去替換原始特征圖G.

    4)由于Gs是在G的基礎(chǔ)上,在空間域上學(xué)習(xí)過(guò)權(quán)重分配得到的,那么用Gs來(lái)替換G能夠加強(qiáng)在空間域上對(duì)海報(bào)的關(guān)鍵局部特征的識(shí)別能力.對(duì)空間域上注意力模塊的添加注意力機(jī)制,其模塊結(jié)構(gòu)如圖3所示:

    圖3 混合注意力模塊Fig.3 Hybrid attention module

    2.4 混合注意力模塊

    將上述兩個(gè)改進(jìn)后的注意力模塊串聯(lián)起來(lái)得到 一個(gè)混合注意力模塊,該模塊能同時(shí)從通道維度和空間維度上學(xué)習(xí)到整體的特征權(quán)重,進(jìn)一步提升對(duì)海報(bào)的關(guān)鍵局部特征的識(shí)別能力.其混合注意力模塊結(jié)構(gòu)如圖4所示.

    圖4 ARN網(wǎng)絡(luò)模型Fig.4 ARN network modle

    由上圖可以看出,混合注意力模塊首先將原始特征圖F輸入到改進(jìn)的通道注意力模塊中得到通道注意力特征圖FC,再將FC輸入到改進(jìn)的空間注意力模塊得到空間注意力特征圖FS,同時(shí)這個(gè)FS就是該混合模型最終想要的兼顧通道維度和空間維度的注意力特征圖.

    2.5 融入混合注意力機(jī)制的殘差網(wǎng)絡(luò)模型(ARN)

    將上文設(shè)計(jì)的混合注意力模型與ResNet50結(jié)合,設(shè)計(jì)了ARN網(wǎng)絡(luò)模型,主要是用來(lái)證明ARN在電影海報(bào)處理方面與傳統(tǒng)的海報(bào)處理方法相比具有更好的效果.

    ARN模型首先將預(yù)處理好的海報(bào)送入網(wǎng)絡(luò)中,從各卷積層中提取出特征圖,將其送入混合注意力模塊分別學(xué)習(xí)中通道域和空間域中帶注意力的特征圖,之后再通過(guò)將其按照多標(biāo)簽分類(lèi)的策略,輸入到改進(jìn)后的全連接層中,用sigmoid函數(shù)去獨(dú)立預(yù)測(cè)每個(gè)類(lèi)別的概率.ARN網(wǎng)絡(luò)模型結(jié)構(gòu)如圖5所示,模型首先對(duì)電影海報(bào)數(shù)據(jù)進(jìn)行處理;接著針對(duì)電影海報(bào)局部細(xì)節(jié)特點(diǎn),將混合注意力機(jī)制模塊融入改進(jìn)后的Res-Net50網(wǎng)絡(luò)模型中,讓其能夠在重要的局部信息處分配更大的學(xué)習(xí)權(quán)重;最后針對(duì)電影海報(bào)的多標(biāo)簽分類(lèi)任務(wù)設(shè)計(jì)分類(lèi)器和損失函數(shù),達(dá)到分類(lèi)效果,提高預(yù)測(cè)電影類(lèi)型的準(zhǔn)確率.

    圖5 NeuralCF模型Fig.5 NeuralCF Model

    ARN模型結(jié)構(gòu)主要是由混合注意力模塊和Res-Net50組成,并將混合注意力模塊嵌入到ResNet中的每一個(gè)殘差塊中.為了去控制網(wǎng)絡(luò)的輸出,就需要利用損失函數(shù)的作用,用預(yù)測(cè)值與輸出值計(jì)算出來(lái)的損失值大小去判斷模型性能的好壞.針對(duì)電影海報(bào)多標(biāo)簽分類(lèi)任務(wù),由于本文選用的多標(biāo)簽分類(lèi)方法是Binary Relevance,因此將ResNet50模型使用的softmax層改為sigmoid層,并將損失函數(shù)從交叉損失熵改為二分類(lèi)交叉熵(binary cross-entropy)作為訓(xùn)練過(guò)程的損失函數(shù),其過(guò)程先單獨(dú)計(jì)算每個(gè)電影類(lèi)型的損失值,再根據(jù)每一種類(lèi)型計(jì)算出來(lái)的損失值加和求平均,其損失函數(shù)表示如下.

    經(jīng)過(guò)通道注意力模塊能夠得到通道注意力特征圖Fc,再經(jīng)過(guò)空間注意力模塊能夠得到空間注意力特征圖Gs,此時(shí)的特征圖也是混合注意力特征圖.接下來(lái)再通過(guò)與殘差塊的直接映射部分對(duì)應(yīng)元素相加(addition)操作得到,通過(guò)ReLu激活函數(shù),就能夠得到此殘差塊的輸出值為:

    繼續(xù)在ARN上反復(fù)地做這樣的操作,最終將對(duì)于ARN網(wǎng)絡(luò)提取出的電影海報(bào)特征可以表示為:

    其中XL表示最終提取到的海報(bào)特征向量,L表示融入混合注意力模塊的殘差塊的累加次數(shù),Wi表示每個(gè)殘差模塊的權(quán)重矩陣.

    3 融合多源信息的深度推薦模型

    本節(jié)設(shè)計(jì)的結(jié)合多源信息的深度推薦模型,主要將深度學(xué)習(xí)技術(shù)中學(xué)習(xí)和提取特征的能力結(jié)合到推薦模型中,針對(duì)不同類(lèi)型的用戶、電影數(shù)據(jù)信息采用專(zhuān)門(mén)的網(wǎng)絡(luò)模型將低緯稀疏的特征轉(zhuǎn)變?yōu)楦呔S稠密的特征,再將提取出來(lái)的用戶、電影特征向量采用非線性的手段去得到它們的交互信息,實(shí)現(xiàn)更準(zhǔn)確的預(yù)測(cè).最后再利用神經(jīng)同過(guò)濾模型NeuralCF的思想,將用戶特征向量和電影特征向量通過(guò)MLP的方式,去解決僅僅使用矩陣分解中的簡(jiǎn)單的內(nèi)積操作導(dǎo)致學(xué)習(xí)性能不足的問(wèn)題,達(dá)到理想的推薦效果.

    在本節(jié)設(shè)計(jì)的結(jié)合多源信息的深度推薦模型使用來(lái)進(jìn)行評(píng)分預(yù)測(cè)任務(wù),因此利用逐點(diǎn)損失,使得預(yù)測(cè)出來(lái)評(píng)分值與真實(shí)評(píng)分值誤差最小,選用的損失函數(shù)的目標(biāo)公式如(6):

    最后通過(guò)反向傳播算法,使U或者V固定,交替更新變量,就能夠求解到Loss的局部最優(yōu).結(jié)合多源信息的深度推薦模型的描述為:

    算法1 結(jié)合多源信息的深度推薦模型Input:用戶信息、電影信息Output:推薦模型的預(yù)測(cè)值images/BZ_87_724_1487_768_1539.png1初始化W、b;提取用戶屬性信息images/BZ_87_879_1547_914_1594.png、電影屬性信息images/BZ_87_230_1602_264_1650.png;通過(guò)ARN訓(xùn)練電影海報(bào)信息XL;2通過(guò)結(jié)合多源信息的深度推薦模型將電影屬性信息images/BZ_87_230_1703_264_1751.png直接映射為用戶特征向量U,再將U、V通過(guò)MLP進(jìn)行特征融合得到預(yù)測(cè)值.3通過(guò)公式(6)計(jì)算損失函數(shù).5重復(fù)步驟3、4,直到算法收斂.6輸出推薦模型的預(yù)測(cè)值images/BZ_87_708_1896_749_1945.png.

    4 實(shí)驗(yàn)驗(yàn)證

    4.1 評(píng)價(jià)指標(biāo)

    本文使用均方誤差RMSE作為評(píng)判推薦模型指標(biāo)的好壞,判斷推薦模型的評(píng)分的擬合能力,RMSE值越小表示預(yù)測(cè)值和真實(shí)值之間偏差越小即模型的推薦效果越好,其公式如(22)所示,其中表示模型中用戶i對(duì)電影j的預(yù)測(cè)評(píng)分,ri,j表示用戶i對(duì)電影j的真實(shí)評(píng)分,N表示測(cè)試集中所有用戶i對(duì)電影j已評(píng)過(guò)分的集合:

    4.2 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

    4.2.1 數(shù)據(jù)集

    本文首先對(duì)各種能夠獲取電影海報(bào)的網(wǎng)站進(jìn)行了瀏覽,國(guó)內(nèi)的各種視頻網(wǎng)站中海報(bào)大小各有不同,國(guó)外的IMDB提供的電影海報(bào)的大小為182×268像素,雖然各種網(wǎng)站海報(bào)的像素大小有一定的區(qū)別,但是這不影響對(duì)于海報(bào)的使用,但由于國(guó)內(nèi)的一些視頻網(wǎng)站中的一些電影存在版權(quán)問(wèn)題,若使用來(lái)自多個(gè)網(wǎng)站上的不同海報(bào)數(shù)據(jù),則會(huì)存在因數(shù)據(jù)格式不同而導(dǎo)致海報(bào)不方便處理的問(wèn)題.因此本文使用的是IMDB資料庫(kù)提供的電影海報(bào)圖像.本實(shí)驗(yàn)中使用了kaggle上公開(kāi)的IMDB的數(shù)據(jù)集,其中部分?jǐn)?shù)據(jù)如圖6所示,其中包括了IMDB ID,標(biāo)題,類(lèi)別以及下載電影海報(bào)的鏈接等.

    圖6 IMDB部分?jǐn)?shù)據(jù)格式Fig.6 IMDB partial data format

    電影海報(bào)數(shù)據(jù)是按照MovieLens數(shù)據(jù)集中的電影數(shù)據(jù)通過(guò)爬蟲(chóng)工具收集到與電影對(duì)應(yīng)的海報(bào)信息,數(shù)據(jù)集中的links.csv中有IMDB網(wǎng)站中海報(bào)的下載鏈接和標(biāo)識(shí)符.其中movieId是對(duì)應(yīng)每個(gè)電影的標(biāo)簽號(hào),imdbId即為每部電影所在的鏈接地址.例如:電影標(biāo)簽號(hào)為1的電影是,則海報(bào)所在頁(yè)面的鏈接地址為http://www.imdb.com/title/tt0114709/.為了對(duì)爬取的海報(bào)進(jìn)行訓(xùn)練,需要對(duì)爬取的海報(bào)進(jìn)行處理,使之能夠與其對(duì)應(yīng)的MovieID相匹配,對(duì)電影海報(bào)進(jìn)行重命名.如圖7所示.

    圖7 電影海報(bào)數(shù)據(jù)Fig.7 Movie poster data

    同時(shí),由于電影海報(bào)的多標(biāo)簽的特性,在這里采用Binary-Relevance分類(lèi)的方式,利用獨(dú)熱編碼將多分類(lèi)標(biāo)簽轉(zhuǎn)化為二進(jìn)制值的向量.將一個(gè)電影多標(biāo)簽分類(lèi)問(wèn)題轉(zhuǎn)化成m個(gè)二元分類(lèi).若電影屬于某一類(lèi)別,則值為1,否則為0,最后再針對(duì)每一列電影類(lèi)別分別進(jìn)行訓(xùn)練,提取對(duì)應(yīng)特征向量.處理后的數(shù)據(jù)如圖8所示.

    圖8 Binary Relevance分類(lèi)的部分結(jié)果Fig.8 Some results of Binary Relevance classification

    4.2.2 環(huán)境配置

    實(shí)驗(yàn)是在編程環(huán)境為python3.5實(shí)現(xiàn)的推薦模型效果,深度學(xué)習(xí)計(jì)算框架為T(mén)ensorFlow 1.3,系統(tǒng)為64位Windows10,具體的實(shí)驗(yàn)環(huán)境如表1所示:

    表1 具體實(shí)驗(yàn)環(huán)境Table 1 Specific experimental environment

    4.3 實(shí)驗(yàn)對(duì)比和分析

    為了驗(yàn)證結(jié)合多源信息的深度推薦模型的預(yù)測(cè)的準(zhǔn)確性,本節(jié)選取以下中模型作為基線模型進(jìn)行對(duì)比實(shí)驗(yàn).

    1)MLP:此模型是NeuralCF模型中的一種形式,它采用了多層神經(jīng)網(wǎng)絡(luò)的形式,去替代用戶、項(xiàng)目特征向量之前通過(guò)簡(jiǎn)單內(nèi)積的組合方式,實(shí)驗(yàn)證明了MLP在數(shù)據(jù)集上表現(xiàn)出來(lái)的比較好的推薦效果.

    2)CDL:此模型是協(xié)同深度學(xué)習(xí)模型,其特點(diǎn)在于能夠提取文本信息中深層含義,將概率分解模型與深度模型結(jié)合起來(lái),能夠起到很好的推薦效果.

    3)ConvMF:此模型被稱(chēng)作卷積矩陣因子分解模型,其模型在推薦效果中能夠起到比較好的效果.其特點(diǎn)是將用來(lái)提取文本特征的CNN[14]用概率的思想融入到了PMF中,很好地處理了因?yàn)槲谋鞠∈瓒鴮?dǎo)致的預(yù)測(cè)效果欠佳的問(wèn)題.

    為了驗(yàn)證融入多源信息的有效性,這里使用本文模型與僅使用用戶、電影的交互信息進(jìn)行對(duì)比,測(cè)試在不同的迭代次數(shù)在數(shù)據(jù)集ML-100k、ML-1m下對(duì)實(shí)驗(yàn)結(jié)果的影響.結(jié)合多源信息的本文模型,epoch的次數(shù)與RMSE的關(guān)系,如表2所示:

    表2 epoch對(duì)RMSE的影響(融入多源信息)Table 2 The influence of epoch on RMSE(integrating multi-source information)

    僅使用評(píng)分信息的模型,epoch的次數(shù)與RMSE的關(guān)系,如表3所示.通過(guò)表中看出,在相同數(shù)據(jù)集下,隨著迭代次數(shù)的增多,RMSE的值會(huì)逐漸減少,并且達(dá)到一定的次數(shù)后,RMSE會(huì)趨于穩(wěn)定,這說(shuō)明了在保證了預(yù)測(cè)準(zhǔn)確率的前提下,隨著迭代次數(shù)增多,會(huì)導(dǎo)致模型耗時(shí)過(guò)久,效率低下.從表中還能看出,在迭代次數(shù)相同的情況下,本文結(jié)合多源信息特點(diǎn)推薦模型的RMSE的值始終要低于僅使用用戶電影的評(píng)分信息的單一模型,預(yù)測(cè)的值越接近真實(shí)值,證明了本模型中結(jié)合多源信息的有效性.

    表3 epoch對(duì)RMSE的影響(未融入多源信息)Table 3 The influence of epoch on RMSE(without multi-source information)

    在數(shù)據(jù)集MovieLens-1M中,隨機(jī)劃分為不同比例的數(shù)據(jù)集對(duì)本文的深度推薦模型和以上基線模型進(jìn)行對(duì)比.這里設(shè)置提取出來(lái)的用戶、電影向量維度為200.通過(guò)設(shè)置不同訓(xùn)練集比例,分別為20%、40%、60%、80%在數(shù)據(jù)集上隨機(jī)抽取數(shù)據(jù)作為訓(xùn)練集.在這四個(gè)比例的分配中,本文所提出的模型一直優(yōu)于其他三個(gè)基線模型,并且隨著數(shù)據(jù)量的增多,推薦的效果也越來(lái)越好,說(shuō)明本文的推薦模型在融入多模信息后的推薦能力有了一定的提升.

    由圖9可以得知,隨著訓(xùn)練集規(guī)模越大,實(shí)驗(yàn)中得到的推薦模型的準(zhǔn)確度就越高,每個(gè)算法的RMSE都在減小.選取80%的訓(xùn)練數(shù)據(jù)列可以看到,本文模型相比MLP有7.3%的提升,相比CDL有4.7%的提升,相比ConvMF有1%的提升.本文提出的結(jié)合多源信息的深度推薦模型,與三個(gè)基準(zhǔn)模型相比,在不同的訓(xùn)練比例中,都能夠達(dá)到一個(gè)最好的推薦效果,說(shuō)明即使在數(shù)據(jù)量比較稀少、訓(xùn)練不充分的情況下,本文的模型也能較好地提取到用戶、電影特征向量,達(dá)到推薦目的.

    圖9 各模型在ML-1M不同比例的訓(xùn)練集比較Fig.9 Comparison of training sets with different proportions of each model in ML-1M

    接下來(lái)實(shí)驗(yàn)將數(shù)據(jù)集分類(lèi)成80%訓(xùn)練集以及20%對(duì)比測(cè)試集,同時(shí)為了驗(yàn)證算法的有效性,將本文模型與MLP、CDL、ConvMF在數(shù)據(jù)集ML-100k、ML-1m中進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表4所示.

    表4 各模型在不同數(shù)據(jù)集上的對(duì)比Table 4 Comparison of Models on Different Datasets

    上表可看出,本文的推薦模型與三個(gè)基準(zhǔn)模型相比,在ML-100k、ML-1m數(shù)據(jù)集中的精度都能有較為理想的提升.在ML-100K上RMSE值下降了6.6%,這說(shuō)明預(yù)測(cè)值和真實(shí)值之間的誤差有所下降,推薦效果得到了提升.同樣在ML-1m數(shù)據(jù)集上RMSE值下降了7.3%.因此,本文模型在ML-1m上的精度提升了6.6%,而在ML-100k上推薦精度提升了7%,說(shuō)明當(dāng)數(shù)據(jù)集的稀疏度越小,表現(xiàn)出的推薦效果越好.

    通過(guò)以上實(shí)驗(yàn)證明了本文提出的融入多源信息的電影深度推薦模型,為不同數(shù)據(jù)類(lèi)型設(shè)計(jì)的數(shù)據(jù)處理模塊以及將多源信息與深度神經(jīng)網(wǎng)絡(luò)模型結(jié)合的方式,能夠充分地提取和處理出用戶、電影中內(nèi)容更準(zhǔn)確、更豐富的特征矩陣,一定程度上緩解了數(shù)據(jù)集的稀疏性的問(wèn)題,提升了深度推薦模型的推薦性能.

    5 總結(jié)

    本文針對(duì)多源數(shù)據(jù)信息分別設(shè)計(jì)不同的處理模型.提出了融入注意力模塊的殘差網(wǎng)絡(luò)模型(ARN)來(lái)處理電影海報(bào),分別對(duì)通道域和空間域的注意力模塊進(jìn)行改進(jìn),并融合成為混合注意模塊;接著將混合注意力模塊融入改進(jìn)后的ResNet50中,設(shè)計(jì)了ARN網(wǎng)絡(luò)模型.設(shè)計(jì)了一種結(jié)合多源信息的深度推薦模型.通過(guò)與MLP、CDL、ConvMF在數(shù)據(jù)集ML-100k、ML-1m上的性能指標(biāo)的對(duì)比實(shí)驗(yàn),通過(guò)均方誤差RMSE能夠證明了模型中的有效性.

    猜你喜歡
    注意力深度特征
    讓注意力“飛”回來(lái)
    深度理解一元一次方程
    如何表達(dá)“特征”
    不忠誠(chéng)的四個(gè)特征
    深度觀察
    深度觀察
    深度觀察
    抓住特征巧觀察
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    A Beautiful Way Of Looking At Things
    国产亚洲午夜精品一区二区久久 | 身体一侧抽搐| 在线观看一区二区三区| 久久这里只有精品中国| 在线 av 中文字幕| 超碰av人人做人人爽久久| 日韩成人av中文字幕在线观看| 欧美zozozo另类| 美女内射精品一级片tv| 国产精品熟女久久久久浪| 国产中年淑女户外野战色| 又爽又黄无遮挡网站| 欧美极品一区二区三区四区| 亚洲天堂国产精品一区在线| 亚洲丝袜综合中文字幕| 国产亚洲精品av在线| 色综合色国产| 我的老师免费观看完整版| www.色视频.com| 国产黄色小视频在线观看| 亚洲精品第二区| 欧美一级a爱片免费观看看| 大陆偷拍与自拍| 男人舔女人下体高潮全视频| 两个人视频免费观看高清| 日本黄色片子视频| 午夜久久久久精精品| 日韩成人伦理影院| 人人妻人人澡人人爽人人夜夜 | 69人妻影院| 国产av不卡久久| 欧美性猛交╳xxx乱大交人| 在线观看免费高清a一片| 精品欧美国产一区二区三| 超碰97精品在线观看| 国产久久久一区二区三区| 成人综合一区亚洲| 亚洲,欧美,日韩| 精品不卡国产一区二区三区| 男女啪啪激烈高潮av片| 精华霜和精华液先用哪个| 久久久久久伊人网av| 国国产精品蜜臀av免费| 啦啦啦中文免费视频观看日本| 午夜免费激情av| 成人鲁丝片一二三区免费| 中文资源天堂在线| 亚洲自拍偷在线| 国产精品精品国产色婷婷| 久久久久性生活片| 少妇熟女aⅴ在线视频| ponron亚洲| 亚洲国产av新网站| 婷婷色麻豆天堂久久| av线在线观看网站| 午夜精品国产一区二区电影 | 激情 狠狠 欧美| 亚洲内射少妇av| 成人午夜高清在线视频| 午夜福利在线观看吧| 亚洲精品日本国产第一区| a级毛色黄片| 极品少妇高潮喷水抽搐| 中文字幕av在线有码专区| 黄色一级大片看看| 身体一侧抽搐| 欧美日韩精品成人综合77777| 在线免费观看的www视频| 超碰av人人做人人爽久久| 非洲黑人性xxxx精品又粗又长| 小蜜桃在线观看免费完整版高清| 国产 一区精品| 日韩成人av中文字幕在线观看| 男人狂女人下面高潮的视频| 欧美日韩综合久久久久久| 精品久久久久久电影网| 亚洲精品日本国产第一区| 美女被艹到高潮喷水动态| 天天躁夜夜躁狠狠久久av| 成人特级av手机在线观看| 少妇人妻精品综合一区二区| 欧美高清成人免费视频www| 亚洲av中文av极速乱| or卡值多少钱| 狠狠精品人妻久久久久久综合| 免费无遮挡裸体视频| 久久这里只有精品中国| 婷婷色综合www| 国产精品麻豆人妻色哟哟久久 | 三级国产精品片| 欧美激情国产日韩精品一区| 美女大奶头视频| 亚洲欧美日韩卡通动漫| 成人美女网站在线观看视频| 边亲边吃奶的免费视频| 男女国产视频网站| 国产亚洲一区二区精品| 亚洲成色77777| 两个人视频免费观看高清| 中文字幕制服av| 三级经典国产精品| 欧美精品国产亚洲| 色视频www国产| 久久鲁丝午夜福利片| 男女下面进入的视频免费午夜| 91在线精品国自产拍蜜月| 麻豆精品久久久久久蜜桃| 久久久久久久久久成人| 国产成人91sexporn| 午夜福利视频1000在线观看| 免费av观看视频| 91久久精品电影网| 中文天堂在线官网| 成人亚洲精品av一区二区| 亚洲精品中文字幕在线视频 | 亚洲自偷自拍三级| 亚洲av电影在线观看一区二区三区 | 十八禁网站网址无遮挡 | 亚洲欧美精品自产自拍| 亚洲成人中文字幕在线播放| 97在线视频观看| 一本久久精品| 亚洲av不卡在线观看| 日韩在线高清观看一区二区三区| 大陆偷拍与自拍| 国产一区二区在线观看日韩| 成人特级av手机在线观看| 插阴视频在线观看视频| 免费看av在线观看网站| 中文字幕av在线有码专区| 国产真实伦视频高清在线观看| 成人午夜高清在线视频| 老师上课跳d突然被开到最大视频| 午夜福利在线观看免费完整高清在| 麻豆国产97在线/欧美| 秋霞在线观看毛片| 免费观看精品视频网站| 亚洲电影在线观看av| 午夜福利在线在线| 高清av免费在线| 精品久久久久久久末码| 三级毛片av免费| 最近最新中文字幕大全电影3| 黄色一级大片看看| 人人妻人人澡欧美一区二区| 国产成人福利小说| 亚洲欧美清纯卡通| 欧美高清性xxxxhd video| 亚洲国产日韩欧美精品在线观看| av在线蜜桃| 99久久中文字幕三级久久日本| 一夜夜www| 美女高潮的动态| 小蜜桃在线观看免费完整版高清| av网站免费在线观看视频 | 国内精品宾馆在线| 99re6热这里在线精品视频| 日本wwww免费看| 男人和女人高潮做爰伦理| 久久久欧美国产精品| 婷婷色综合大香蕉| 国产精品久久久久久精品电影小说 | 久久久久精品性色| 大香蕉久久网| 一级毛片电影观看| 欧美极品一区二区三区四区| 男女啪啪激烈高潮av片| 亚洲国产精品成人综合色| 丝袜喷水一区| 深夜a级毛片| av国产久精品久网站免费入址| 天堂网av新在线| 亚洲精品自拍成人| 性色avwww在线观看| 久久这里有精品视频免费| 精品久久久久久久久亚洲| 亚洲综合精品二区| 精品少妇黑人巨大在线播放| 亚洲精品日韩av片在线观看| 床上黄色一级片| 久久99热这里只频精品6学生| 成人性生交大片免费视频hd| 久久精品国产鲁丝片午夜精品| 91狼人影院| 亚洲精品乱码久久久久久按摩| 国产亚洲91精品色在线| 国模一区二区三区四区视频| 中文字幕制服av| 国产探花极品一区二区| 日本与韩国留学比较| 淫秽高清视频在线观看| 非洲黑人性xxxx精品又粗又长| 久久这里有精品视频免费| 日韩欧美 国产精品| 久久久久久久久久黄片| 最近手机中文字幕大全| 十八禁国产超污无遮挡网站| 一级毛片黄色毛片免费观看视频| av免费在线看不卡| 女人被狂操c到高潮| 精品不卡国产一区二区三区| 嫩草影院新地址| 欧美一级a爱片免费观看看| 国产真实伦视频高清在线观看| 亚洲欧美清纯卡通| 色综合色国产| 国产亚洲最大av| 亚洲美女搞黄在线观看| 免费看a级黄色片| 成人无遮挡网站| 亚洲av中文字字幕乱码综合| 久久这里只有精品中国| 建设人人有责人人尽责人人享有的 | 亚洲精品影视一区二区三区av| 亚洲在线观看片| 国产一区二区三区av在线| 午夜精品在线福利| 网址你懂的国产日韩在线| 国产精品三级大全| 中文在线观看免费www的网站| 日韩亚洲欧美综合| 亚洲人成网站高清观看| 久久久久久久久久久丰满| 欧美3d第一页| 国产午夜精品一二区理论片| 高清午夜精品一区二区三区| 国产一区二区三区av在线| 噜噜噜噜噜久久久久久91| 97精品久久久久久久久久精品| 99久久精品一区二区三区| av网站免费在线观看视频 | 精品久久久久久久末码| 午夜久久久久精精品| 夜夜看夜夜爽夜夜摸| av又黄又爽大尺度在线免费看| 亚洲av免费高清在线观看| 日韩视频在线欧美| 国产永久视频网站| 狂野欧美激情性xxxx在线观看| 久久精品久久久久久久性| 国产成人freesex在线| 日韩制服骚丝袜av| 国产精品伦人一区二区| 男人舔奶头视频| 亚洲精品国产av成人精品| 亚洲,欧美,日韩| 亚洲av成人av| 高清毛片免费看| 亚洲av中文av极速乱| 亚洲欧美清纯卡通| 亚洲成人av在线免费| 成人漫画全彩无遮挡| 免费少妇av软件| 免费观看a级毛片全部| 成年人午夜在线观看视频 | 淫秽高清视频在线观看| 成人欧美大片| 97超视频在线观看视频| 亚洲美女搞黄在线观看| 国产一区二区在线观看日韩| 国产单亲对白刺激| 自拍偷自拍亚洲精品老妇| 男人爽女人下面视频在线观看| 欧美激情久久久久久爽电影| 91久久精品国产一区二区三区| 极品少妇高潮喷水抽搐| 草草在线视频免费看| 亚洲精品成人av观看孕妇| 天堂中文最新版在线下载 | 在线 av 中文字幕| 欧美日韩一区二区视频在线观看视频在线 | 我的女老师完整版在线观看| 亚洲av电影不卡..在线观看| 97人妻精品一区二区三区麻豆| 最近2019中文字幕mv第一页| 人妻夜夜爽99麻豆av| 久久午夜福利片| 国产午夜精品论理片| 日本猛色少妇xxxxx猛交久久| 亚洲国产精品国产精品| 国产不卡一卡二| 亚洲精品成人av观看孕妇| 亚洲av日韩在线播放| 又粗又硬又长又爽又黄的视频| 日韩欧美精品免费久久| 超碰av人人做人人爽久久| 水蜜桃什么品种好| 91精品一卡2卡3卡4卡| 成人毛片60女人毛片免费| 国产精品一区二区三区四区久久| 成人av在线播放网站| 久久亚洲国产成人精品v| eeuss影院久久| 欧美成人一区二区免费高清观看| 久久精品熟女亚洲av麻豆精品 | 亚洲国产精品专区欧美| 亚洲四区av| 日韩在线高清观看一区二区三区| eeuss影院久久| 2021少妇久久久久久久久久久| 午夜免费男女啪啪视频观看| 97人妻精品一区二区三区麻豆| 一区二区三区乱码不卡18| 免费少妇av软件| 自拍偷自拍亚洲精品老妇| 在线观看免费高清a一片| 国产免费又黄又爽又色| 国产三级在线视频| 好男人视频免费观看在线| 秋霞伦理黄片| 日韩大片免费观看网站| 亚洲av在线观看美女高潮| 亚洲国产精品sss在线观看| 在线免费观看不下载黄p国产| 国产一级毛片七仙女欲春2| 一区二区三区乱码不卡18| 搞女人的毛片| 免费av毛片视频| 国产成人精品久久久久久| 久久久久久伊人网av| 国产精品熟女久久久久浪| 日韩欧美一区视频在线观看 | 欧美高清成人免费视频www| 国产白丝娇喘喷水9色精品| 免费电影在线观看免费观看| 老司机影院成人| 91狼人影院| 精品一区二区免费观看| 在线免费十八禁| 亚洲,欧美,日韩| 一级毛片 在线播放| 欧美日韩国产mv在线观看视频 | 嘟嘟电影网在线观看| 麻豆成人av视频| 精品久久久久久久久亚洲| 淫秽高清视频在线观看| 美女大奶头视频| 成人特级av手机在线观看| 晚上一个人看的免费电影| 夫妻性生交免费视频一级片| 免费电影在线观看免费观看| 日本欧美国产在线视频| 国产伦一二天堂av在线观看| 看非洲黑人一级黄片| 丰满少妇做爰视频| 国产一区有黄有色的免费视频 | 成人亚洲欧美一区二区av| www.色视频.com| 亚洲精品成人av观看孕妇| 人妻制服诱惑在线中文字幕| 日韩三级伦理在线观看| 男人狂女人下面高潮的视频| 永久网站在线| 欧美日本视频| 国产不卡一卡二| 最近的中文字幕免费完整| .国产精品久久| 精品一区在线观看国产| 国产在线一区二区三区精| 亚洲激情五月婷婷啪啪| 色播亚洲综合网| 中文字幕av在线有码专区| 亚洲av.av天堂| 建设人人有责人人尽责人人享有的 | 日韩一区二区视频免费看| 蜜桃亚洲精品一区二区三区| 国产男女超爽视频在线观看| 国产黄a三级三级三级人| 国产亚洲一区二区精品| 久久久久久久久久久免费av| 国产一区二区亚洲精品在线观看| 国产中年淑女户外野战色| 波野结衣二区三区在线| 亚洲怡红院男人天堂| 99热6这里只有精品| 久久久久免费精品人妻一区二区| 最近最新中文字幕免费大全7| 免费黄网站久久成人精品| 永久网站在线| 91久久精品国产一区二区成人| 午夜视频国产福利| 亚洲欧洲国产日韩| 51国产日韩欧美| 小蜜桃在线观看免费完整版高清| 国产精品久久久久久精品电影| 啦啦啦啦在线视频资源| 亚洲精品亚洲一区二区| 国内精品宾馆在线| 国产一区二区三区综合在线观看 | 国产精品熟女久久久久浪| 高清视频免费观看一区二区 | 成人综合一区亚洲| 亚洲成人中文字幕在线播放| 99热全是精品| 99视频精品全部免费 在线| 国产一区二区亚洲精品在线观看| 国产v大片淫在线免费观看| 亚洲国产高清在线一区二区三| 国产精品女同一区二区软件| 精品久久久久久久人妻蜜臀av| 国产黄色免费在线视频| 一级二级三级毛片免费看| 亚洲av成人精品一区久久| 边亲边吃奶的免费视频| 丰满乱子伦码专区| 中文字幕亚洲精品专区| 人体艺术视频欧美日本| 国产精品女同一区二区软件| 女的被弄到高潮叫床怎么办| 国产精品1区2区在线观看.| 精品久久国产蜜桃| 亚洲精品一区蜜桃| 自拍偷自拍亚洲精品老妇| 中文乱码字字幕精品一区二区三区 | 婷婷色麻豆天堂久久| 99久国产av精品国产电影| 亚洲av二区三区四区| av卡一久久| 精品国产露脸久久av麻豆 | 内射极品少妇av片p| 欧美激情在线99| 三级男女做爰猛烈吃奶摸视频| 最后的刺客免费高清国语| 欧美日韩一区二区视频在线观看视频在线 | 中文精品一卡2卡3卡4更新| 国产精品美女特级片免费视频播放器| 春色校园在线视频观看| 大又大粗又爽又黄少妇毛片口| 26uuu在线亚洲综合色| 亚洲av免费高清在线观看| 在线播放无遮挡| 欧美bdsm另类| 韩国高清视频一区二区三区| 日韩伦理黄色片| av一本久久久久| 91久久精品国产一区二区成人| 亚洲av成人精品一二三区| 激情 狠狠 欧美| 少妇熟女欧美另类| 亚洲在线自拍视频| 亚洲最大成人手机在线| 女人十人毛片免费观看3o分钟| 一级片'在线观看视频| 国产精品一区www在线观看| 尾随美女入室| 看非洲黑人一级黄片| 卡戴珊不雅视频在线播放| 天堂影院成人在线观看| 精品一区二区三区人妻视频| xxx大片免费视频| 狂野欧美白嫩少妇大欣赏| 人妻一区二区av| 又大又黄又爽视频免费| 午夜福利在线观看吧| 欧美一级a爱片免费观看看| 两个人的视频大全免费| 舔av片在线| 精品久久久久久成人av| 一级毛片黄色毛片免费观看视频| 国产国拍精品亚洲av在线观看| 午夜福利视频1000在线观看| 日韩欧美一区视频在线观看 | 边亲边吃奶的免费视频| 性插视频无遮挡在线免费观看| 国产一区有黄有色的免费视频 | 七月丁香在线播放| 久热久热在线精品观看| 日韩一本色道免费dvd| 午夜老司机福利剧场| 免费看不卡的av| 久久久成人免费电影| 人妻少妇偷人精品九色| 少妇熟女aⅴ在线视频| 99久久中文字幕三级久久日本| 亚洲人与动物交配视频| 国产成人freesex在线| 五月玫瑰六月丁香| 天堂俺去俺来也www色官网 | 精品人妻视频免费看| 丰满少妇做爰视频| 成人午夜精彩视频在线观看| av免费观看日本| 午夜老司机福利剧场| 国产亚洲精品av在线| 免费av毛片视频| 欧美xxxx性猛交bbbb| 久久久久久久久久久免费av| 日韩av免费高清视频| 亚洲av电影不卡..在线观看| 国产成人精品久久久久久| 青青草视频在线视频观看| 亚洲av成人精品一区久久| 自拍偷自拍亚洲精品老妇| 一区二区三区免费毛片| 精品久久久久久久人妻蜜臀av| 日韩伦理黄色片| 久99久视频精品免费| 国产成人精品福利久久| 久久久国产一区二区| 亚洲久久久久久中文字幕| 亚洲精品亚洲一区二区| 亚洲婷婷狠狠爱综合网| 看黄色毛片网站| 高清日韩中文字幕在线| 人妻系列 视频| 欧美三级亚洲精品| 一个人免费在线观看电影| 亚洲人成网站高清观看| 久久久午夜欧美精品| 国产在视频线精品| 高清视频免费观看一区二区 | 国产成人精品一,二区| 97人妻精品一区二区三区麻豆| 国产淫片久久久久久久久| 岛国毛片在线播放| 一级a做视频免费观看| 亚洲人成网站在线播| 22中文网久久字幕| 美女内射精品一级片tv| 久久久久免费精品人妻一区二区| 爱豆传媒免费全集在线观看| 久久草成人影院| 边亲边吃奶的免费视频| videossex国产| 十八禁网站网址无遮挡 | 国产国拍精品亚洲av在线观看| 亚洲美女搞黄在线观看| 自拍偷自拍亚洲精品老妇| 老司机影院成人| 国产高清不卡午夜福利| 校园人妻丝袜中文字幕| 美女被艹到高潮喷水动态| 高清日韩中文字幕在线| 18禁动态无遮挡网站| 日韩av在线免费看完整版不卡| 日本一二三区视频观看| 成年版毛片免费区| 中国国产av一级| 午夜精品一区二区三区免费看| 亚洲av成人精品一二三区| 亚洲一区高清亚洲精品| 一区二区三区高清视频在线| 18禁在线无遮挡免费观看视频| 久久亚洲国产成人精品v| 中文精品一卡2卡3卡4更新| 蜜桃久久精品国产亚洲av| 国产亚洲5aaaaa淫片| 午夜爱爱视频在线播放| 国产熟女欧美一区二区| 在线观看免费高清a一片| 国产伦理片在线播放av一区| 久久人人爽人人爽人人片va| 国产久久久一区二区三区| av播播在线观看一区| 99热6这里只有精品| 寂寞人妻少妇视频99o| 嫩草影院入口| 伊人久久精品亚洲午夜| 91久久精品国产一区二区三区| 国产淫语在线视频| 我的女老师完整版在线观看| 午夜精品国产一区二区电影 | 欧美变态另类bdsm刘玥| 97超视频在线观看视频| 欧美高清性xxxxhd video| 精品久久久久久久久亚洲| www.av在线官网国产| 青青草视频在线视频观看| kizo精华| 男女国产视频网站| 大又大粗又爽又黄少妇毛片口| 免费av毛片视频| 色尼玛亚洲综合影院| av国产免费在线观看| 人妻系列 视频| 久久久午夜欧美精品| 午夜激情福利司机影院| 国产精品一区二区性色av| 插阴视频在线观看视频| 亚洲经典国产精华液单| 久久97久久精品| 99re6热这里在线精品视频| 97在线视频观看| 欧美潮喷喷水| 欧美精品国产亚洲| 国产一区有黄有色的免费视频 | 国产免费视频播放在线视频 | 听说在线观看完整版免费高清| 美女被艹到高潮喷水动态| 九色成人免费人妻av| 免费少妇av软件| 中文精品一卡2卡3卡4更新| 黄色欧美视频在线观看| 国产一区亚洲一区在线观看| 乱码一卡2卡4卡精品| 国产 亚洲一区二区三区 | 蜜桃久久精品国产亚洲av| 少妇丰满av| 中文字幕亚洲精品专区| av国产免费在线观看| 高清在线视频一区二区三区| 97超视频在线观看视频| 日韩一区二区视频免费看| 成人特级av手机在线观看| 日韩一区二区视频免费看| 色综合站精品国产| 80岁老熟妇乱子伦牲交| 男女边吃奶边做爰视频| 国产激情偷乱视频一区二区| 国产国拍精品亚洲av在线观看| 国产激情偷乱视频一区二区| 欧美另类一区| 亚洲人成网站在线观看播放| 久久久久久国产a免费观看| 国产伦精品一区二区三区四那|