• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    從用戶視角理解智能推薦系統(tǒng)*

    2019-12-12 09:23:48羅婷予MiguelBaptistaNunes
    數(shù)字圖書館論壇 2019年10期
    關(guān)鍵詞:用戶系統(tǒng)研究

    羅婷予 Miguel Baptista Nunes

    從用戶視角理解智能推薦系統(tǒng)*

    羅婷予 Miguel Baptista Nunes

    (中山大學(xué),廣州 510006)

    隨著推薦系統(tǒng)的廣泛應(yīng)用,探討用戶對(duì)推薦系統(tǒng)的理解,了解影響用戶感知推薦系統(tǒng)的因素可以為推薦系統(tǒng)的評(píng)價(jià)以及開發(fā)設(shè)計(jì)提供理論參考。本研究為探索性研究,旨在驗(yàn)證研究的可行性以及研究問題的價(jià)值,本文采用定性研究方法,對(duì)4名普通用戶進(jìn)行焦點(diǎn)小組訪談,并借助NVivo 11軟件通過內(nèi)容分析法對(duì)訪談數(shù)據(jù)進(jìn)行分析。研究發(fā)現(xiàn)用戶感知到的推薦依據(jù)有用戶偏好、用戶行為以及業(yè)務(wù)需求。感知交互成本、多樣性、覆蓋率、感知有用性、環(huán)境背景兼容性、控制度、靈敏度、跨平臺(tái)數(shù)據(jù)共享、推薦精度、新穎性和透明度是影響用戶感知推薦系統(tǒng)的因素。

    推薦系統(tǒng);用戶感知;質(zhì)性研究;感知因素

    隨著互聯(lián)網(wǎng)時(shí)代的到來,信息的供求關(guān)系發(fā)生明顯的轉(zhuǎn)變,用戶在使用信息服務(wù)的過程中,不再只是信息的消費(fèi)者,同時(shí)也是信息的生產(chǎn)者,其行為通過各類推薦系統(tǒng)的分析與利用影響著信息的傳播,從而決定著信息的價(jià)值。在信息過載問題日趨嚴(yán)重的當(dāng)下,推薦系統(tǒng)的發(fā)展為基于海量數(shù)據(jù)的信息服務(wù)帶來新的市場(chǎng)、提供新的契機(jī),同時(shí)也引起了用戶信息需求和信息行為的改變。在這種轉(zhuǎn)變之下,用戶作為推薦系統(tǒng)形成與發(fā)展的動(dòng)因,其行為受到推薦系統(tǒng)的影響,最終對(duì)推薦系統(tǒng)提出新的要求。因此,探索用戶對(duì)推薦系統(tǒng)的認(rèn)識(shí)有助于為推薦系統(tǒng)的評(píng)價(jià)提供理論依據(jù),并為系統(tǒng)的設(shè)計(jì)開發(fā)提供參考,改善現(xiàn)有的信息推薦服務(wù)。本文以此為目的,從用戶感知到的推薦標(biāo)準(zhǔn)、用戶對(duì)推薦系統(tǒng)的正面與負(fù)面感知等方面深入分析用戶對(duì)推薦系統(tǒng)的理解。

    1 文獻(xiàn)綜述

    隨著信息社會(huì)的發(fā)展,信息過載問題日趨嚴(yán)重,推薦系統(tǒng)的開發(fā)設(shè)計(jì)與評(píng)價(jià)得到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。根據(jù)Isinkaye等[1]對(duì)推薦系統(tǒng)的定義,推薦系統(tǒng)是根據(jù)用戶偏好,利用可觀測(cè)的行為數(shù)據(jù)解決信息過載問題的信息過濾系統(tǒng)。筆者認(rèn)為推薦系統(tǒng)是從資源到用戶的中介系統(tǒng),一方面,推薦系統(tǒng)在資源與用戶之間架起了一座橋梁;另一方面,系統(tǒng)的存在影響著資源與用戶的相互關(guān)系,甚至影響著用戶的信息行為。

    目前,關(guān)于推薦系統(tǒng)的研究包含推薦技術(shù)與算法設(shè)計(jì)、交互界面設(shè)計(jì)、系統(tǒng)評(píng)價(jià)、用戶感知4個(gè)方面。就推薦技術(shù)與算法設(shè)計(jì)而言,推薦系統(tǒng)興起于協(xié)同過濾推薦技術(shù)的出現(xiàn)。最早的推薦系統(tǒng)是針對(duì)垃圾郵件過濾提出的電子郵件過濾系統(tǒng),使用Goldberg等[2]提出的協(xié)同過濾(collaborative filtering)推薦技術(shù)。如今,推薦技術(shù)已經(jīng)從協(xié)同過濾推薦擴(kuò)展到包括基于內(nèi)容的推薦、基于知識(shí)的推薦、基于人口統(tǒng)計(jì)數(shù)據(jù)的推薦和混合推薦等技術(shù)在內(nèi)的5種常用的核心推薦技術(shù)[3],應(yīng)用領(lǐng)域覆蓋電子商務(wù)[4-5]、圖書[6-7]、電影、社交網(wǎng)絡(luò)、音樂、郵件、廣告等。人工智能技術(shù)在推薦系統(tǒng)領(lǐng)域的應(yīng)用也越來越廣泛,其中最具代表性的是基于深度學(xué)習(xí)和基于語義網(wǎng)的推薦系統(tǒng)。

    就系統(tǒng)評(píng)價(jià)而言,算法的準(zhǔn)確率和覆蓋率常作為評(píng)價(jià)推薦系統(tǒng)效率的重要指標(biāo)[1]。但有學(xué)者表明,準(zhǔn)確的預(yù)測(cè)并不代表好的推薦[8],評(píng)估指標(biāo)的設(shè)計(jì)應(yīng)該以用戶為中心。隨后,Pu等[9]提出將用戶滿意度、預(yù)測(cè)準(zhǔn)確度、覆蓋率、多樣性、新穎性、驚喜度、信任度、實(shí)時(shí)性、魯棒性,以及是否能夠輔助實(shí)現(xiàn)商業(yè)目標(biāo)作為推薦系統(tǒng)的評(píng)價(jià)指標(biāo)。

    推薦系統(tǒng)的人機(jī)交互是影響用戶體驗(yàn)的重要因素。Resnick等[10]在早期的GroupLens系統(tǒng)設(shè)計(jì)中提到了界面設(shè)計(jì)要盡可能地減少用戶的交互成本等原則。Swearingen等[11]提出交互界面的導(dǎo)航和排版與用戶感知有用性和感知易用性密切相關(guān),在對(duì)信息架構(gòu)和導(dǎo)航系統(tǒng)進(jìn)行設(shè)計(jì)時(shí)應(yīng)讓用戶盡可能方便地獲取推薦信息或生成新的推薦集。Cosley等[12]通過實(shí)驗(yàn)方法驗(yàn)證了評(píng)分界面對(duì)用戶意見和其意見表達(dá)的影響。

    目前,涉及推薦系統(tǒng)用戶感知的研究主要集中在用戶對(duì)于某一特定推薦系統(tǒng)的感知評(píng)價(jià)[13],以及某些感知因素對(duì)用戶接受意愿[14-17]、用戶體驗(yàn)[18-19]、用戶抗拒心理[20]、風(fēng)險(xiǎn)感知[21]等方面的影響,未將推薦系統(tǒng)作為一個(gè)整體去探討用戶對(duì)推薦系統(tǒng)及其推薦依據(jù)的認(rèn)識(shí)。因此,本文初步探索用戶對(duì)推薦系統(tǒng)的整體認(rèn)知,從用戶視角給出關(guān)于用戶使用以及推薦系統(tǒng)設(shè)計(jì)的參考。

    2 研究設(shè)計(jì)

    2.1 研究方法與研究工具

    本研究的目標(biāo)是理解用戶對(duì)推薦系統(tǒng)的認(rèn)識(shí)以及推薦系統(tǒng)對(duì)用戶產(chǎn)生的影響,因而采用定性研究的方法進(jìn)行探索性研究,以用戶感知到的推薦標(biāo)準(zhǔn)、用戶對(duì)推薦系統(tǒng)的正面與負(fù)面感知為主題進(jìn)行焦點(diǎn)小組的訪談。焦點(diǎn)小組訪談以西方解釋學(xué)理論及交往行為理論為依據(jù),強(qiáng)調(diào)通過組員間對(duì)研究者擬定話題的交流對(duì)話進(jìn)行數(shù)據(jù)的收集。相比于個(gè)人訪談,焦點(diǎn)小組訪談的優(yōu)勢(shì)在于進(jìn)一步增加了總體研究結(jié)果的公正性,并且參與成員間可以互相汲取力量,互相表達(dá)自己的想法或觀點(diǎn),豐富采集的數(shù)據(jù)。研究進(jìn)一步借助NVivo?11軟件對(duì)訪談數(shù)據(jù)進(jìn)行管理分析,NVivo?11是由QSR International公司開發(fā)的質(zhì)性分析軟件,其優(yōu)點(diǎn)在于可以對(duì)訪談資料(包括音頻、視頻和文本在內(nèi)的資源文件)進(jìn)行統(tǒng)一管理,利用自由節(jié)點(diǎn)編輯和可視化工具對(duì)資料進(jìn)行編碼分析。在Nvivo?11中,用于存儲(chǔ)主題或想法的容器稱為“節(jié)點(diǎn)”,節(jié)點(diǎn)可以實(shí)時(shí)創(chuàng)建,也可以預(yù)先創(chuàng)建。筆者借助NVivo?11的節(jié)點(diǎn)編輯功能,使用內(nèi)容分析法歸納了用戶對(duì)推薦系統(tǒng)的認(rèn)識(shí)以及其認(rèn)識(shí)的基本特征。

    2.2 研究步驟

    2.2.1 數(shù)據(jù)收集

    (1)確定訪談對(duì)象。本研究采用非隨機(jī)抽樣中的目的抽樣方法,在選擇訪談對(duì)象時(shí)為避免隨機(jī)抽樣導(dǎo)致的樣本不具代表性的問題,根據(jù)研究的問題和目的刻意地抽取那些能夠?yàn)楸狙芯刻峁┳畲笮畔⒘康臉颖尽8鶕?jù)中國(guó)互聯(lián)網(wǎng)信息中心在2019年2月發(fā)布的《第43次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》,我國(guó)網(wǎng)民的年齡分布主要集中在20~29歲,占比26.8%;網(wǎng)民中學(xué)生群體規(guī)模最大,占比為25.4%[22]。以上數(shù)據(jù)表明,年齡在20~29歲的學(xué)生群體有較大概率接觸智能推薦系統(tǒng),在選取訪談對(duì)象時(shí),確定以大學(xué)生群體為焦點(diǎn)小組訪談對(duì)象。由于本研究為探索性研究,旨在基于有限的資源對(duì)理論進(jìn)行初步的構(gòu)建,為后續(xù)研究提供參考。本次訪談樣本數(shù)量為4人,均為信息管理與信息系統(tǒng)專業(yè)學(xué)生,其中男生3人、女生1人,年齡分布為22歲2人、21歲2人;訪談時(shí)間為52.01分鐘,訪談內(nèi)容轉(zhuǎn)換為文本后共計(jì)11?562字。

    (2)訪談大綱設(shè)計(jì)。訪談前根據(jù)研究的問題和目的擬定訪談大綱,在訪談前對(duì)訪談大綱進(jìn)行預(yù)測(cè)試,并采用專家咨詢的方式對(duì)大綱進(jìn)行修改,確保其具有良好的信度和效度,能夠針對(duì)要解決的問題獲得關(guān)于訪談對(duì)象的真實(shí)數(shù)據(jù)。大綱共設(shè)計(jì)了關(guān)于推薦系統(tǒng)的定義、推薦依據(jù)和用戶感知3類問題,先確認(rèn)用戶認(rèn)知中的推薦系統(tǒng)與研究所定義的推薦系統(tǒng)是同一概念,再進(jìn)行更為深入的關(guān)于用戶對(duì)推薦系統(tǒng)的理解和感知的訪談。問題的設(shè)置均為開放性引導(dǎo)性問題,如“請(qǐng)描述使你印象深刻的幾次使用推薦系統(tǒng)的經(jīng)歷”“你認(rèn)為推薦系統(tǒng)可以怎樣幫助你探索你感興趣的內(nèi)容,服務(wù)你的信息需求”等,在實(shí)際的訪談過程中依據(jù)現(xiàn)場(chǎng)的實(shí)際情況對(duì)問題進(jìn)行彈性調(diào)整。

    (3)訪談過程。提前預(yù)約訪談對(duì)象,并告知參與者研究的主題和目的。訪談前與參與者簽訂知情同意書并獲得錄音許可。訪談過程中采用圓桌式討論,以拉近受訪人與采訪人之間的距離,營(yíng)造舒適自由的交流空間。訪談過程中采訪人不對(duì)談話進(jìn)行干預(yù),不對(duì)被采訪人的觀點(diǎn)進(jìn)行任何評(píng)價(jià),只提出問題并在談話內(nèi)容明顯偏題的時(shí)候做一定的引導(dǎo)。訪談時(shí)間52.01分鐘,全程進(jìn)行錄音。訪談結(jié)束后,對(duì)音頻材料進(jìn)行人工轉(zhuǎn)錄,將訪談數(shù)據(jù)逐字逐句地記錄在word文檔。在處理訪談材料時(shí),對(duì)4名被訪談對(duì)象的訪談資料進(jìn)行匿名處理,用字母(ABCD)代替訪談?wù)咝彰?/p>

    2.2.2 數(shù)據(jù)編碼與分析

    將轉(zhuǎn)錄后的Word文檔資料導(dǎo)入NVivo?11軟件并進(jìn)行規(guī)范化處理,采用主題(內(nèi)容)分析法對(duì)文本資料進(jìn)行逐級(jí)編碼,并最終歸納出用戶對(duì)推薦系統(tǒng)的認(rèn)知以及其認(rèn)識(shí)的基本特征。內(nèi)容分析是一種系統(tǒng)的、可復(fù)制的內(nèi)容壓縮技術(shù),旨在基于明確的編碼規(guī)則將文本中的許多單詞壓縮到更為抽象內(nèi)容類別中[23],可以幫助研究人員發(fā)現(xiàn)和描述個(gè)人、團(tuán)體、機(jī)構(gòu)或社會(huì)關(guān)注的焦點(diǎn),輔助研究人員作出推理,并在后續(xù)的研究中采用其他的數(shù)據(jù)收集方法對(duì)推理進(jìn)行驗(yàn)證[24]。本研究按照開放式編碼、主軸編碼和選擇式編碼的順序,采用Haney等[25]提出的應(yīng)急編碼(emergent coding)方式以及先天編碼(priori coding)方式[24],以提綱中預(yù)設(shè)的命題(用戶感知到的推薦標(biāo)準(zhǔn)、用戶對(duì)推薦系統(tǒng)的正面與負(fù)面感知)為編碼單位對(duì)文獻(xiàn)進(jìn)行分析和歸納,具體操作流程見圖1。

    第一階段為開放式編碼。該階段對(duì)文本進(jìn)行逐行分析,并為可以進(jìn)行編碼的句子附上概念化標(biāo)簽,進(jìn)一步將層次較低的標(biāo)簽進(jìn)行抽象化處理及提煉成范疇。如經(jīng)過編碼后出現(xiàn)的層次較低的標(biāo)簽“喜歡的”“感興趣的”“需要的”“準(zhǔn)確的”,將這些概念聚攏,提煉成一個(gè)范疇“符合用戶需求”。在初步分析word文本的基礎(chǔ)上,找到訪談對(duì)象常用的范疇,最終得到13個(gè)關(guān)于用戶感知的推薦標(biāo)準(zhǔn)的自由節(jié)點(diǎn)、13個(gè)關(guān)于推薦系統(tǒng)負(fù)面感知的自由節(jié)點(diǎn)和14個(gè)關(guān)于推薦系統(tǒng)正面感知的自由節(jié)點(diǎn)。

    第二階段為主軸編碼。在開放式編碼階段發(fā)現(xiàn)的3個(gè)方面40個(gè)自由節(jié)點(diǎn)中尋找關(guān)聯(lián),查看數(shù)量較多的范疇是否能夠抽象到更高層次。經(jīng)過反復(fù)比較與辨析,最終分別為用戶感知的推薦依據(jù)和正負(fù)面感知識(shí)別出19個(gè)節(jié)點(diǎn)作為副主題。

    第三階段為選擇式編碼。在主軸編碼的基礎(chǔ)上進(jìn)一步系統(tǒng)地處理范疇之間的關(guān)聯(lián),從而找出核心主題。最終確定了3個(gè)用戶感知的推薦依據(jù)(即用戶認(rèn)為系統(tǒng)在向用戶進(jìn)行推薦時(shí)主要考慮哪些數(shù)據(jù)或指標(biāo)),以及11個(gè)影響用戶感知推薦系統(tǒng)的因素。

    3 數(shù)據(jù)分析

    3.1 用戶感知的推薦依據(jù)

    探討用戶感知的推薦依據(jù)有助于了解用戶對(duì)推薦系統(tǒng)的認(rèn)識(shí),發(fā)現(xiàn)用戶缺失或錯(cuò)誤的認(rèn)知,引導(dǎo)用戶安全高效地使用推薦系統(tǒng),并在使用過程中提升隱私保護(hù)的意識(shí)。用戶感知到的推薦依據(jù)包括業(yè)務(wù)需求、用戶偏好和用戶行為,具體如圖2所示。其中用戶行為是訪談對(duì)象最常提到的依據(jù),主要包括瀏覽行為和搜索行為兩個(gè)方面。例如,A表示曾經(jīng)在京東和淘寶瀏覽過相機(jī)后,在微信公眾號(hào)推送的文章下方出現(xiàn)了關(guān)于相機(jī)的廣告;B認(rèn)為推薦系統(tǒng)會(huì)首先詢問用戶的喜好,并結(jié)合用戶搜索行為及瀏覽記錄,判斷用戶的需求,給出相應(yīng)推薦。另外,用戶偏好也是一個(gè)頻繁被受訪者提到的推薦依據(jù),偏好數(shù)據(jù)采集的具體表現(xiàn)為邀請(qǐng)用戶對(duì)項(xiàng)目進(jìn)行評(píng)分和在注冊(cè)時(shí)進(jìn)行數(shù)據(jù)標(biāo)記。例如,B認(rèn)為音樂播放軟件會(huì)根據(jù)用戶對(duì)音樂“喜歡”或“不喜歡”的標(biāo)記推斷用戶喜歡的音樂類型,從而推薦要播放的音樂;A認(rèn)為一些資訊類軟件會(huì)在用戶注冊(cè)時(shí)詢問其感興趣的話題,并根據(jù)用戶選擇的主題進(jìn)行內(nèi)容的推薦。最后,業(yè)務(wù)需求是用戶感知到的推薦依據(jù)之一。例如,C將推薦系統(tǒng)定義為“算法+業(yè)務(wù)”;A表示淘寶將商家付費(fèi)購(gòu)買流量作為商品排名的關(guān)鍵依據(jù)。

    3.2 用戶對(duì)推薦系統(tǒng)的正面感知

    探討用戶對(duì)推薦系統(tǒng)的正面感知有助于了解哪些因素會(huì)激發(fā)用戶對(duì)系統(tǒng)的好感,從而輔助推薦系統(tǒng)的設(shè)計(jì),提高用戶的滿意度。由于目前關(guān)于推薦系統(tǒng)的評(píng)價(jià)指標(biāo)已經(jīng)較為完善,本研究參考已有的文獻(xiàn)[11]和文獻(xiàn)[26]整理出先驗(yàn)范疇并以此為基礎(chǔ)對(duì)數(shù)據(jù)進(jìn)行分析,在分析的基礎(chǔ)上對(duì)范疇進(jìn)行修改。經(jīng)過分析發(fā)現(xiàn),用戶對(duì)推薦系統(tǒng)的正面感知主要包含低互動(dòng)成本、感知有用性、高覆蓋率、高精度、高靈敏度、高控制度6個(gè)方面,如圖3所示。

    其中,高控制度是最常被提及的一種正向感知。例如,B對(duì)能夠自由地切換推薦的歌曲表現(xiàn)出一定的好感;A表示因?yàn)榭梢宰灾鞯剡x擇要瀏覽的內(nèi)容,所以并不覺得被推薦系統(tǒng)所操控。高靈敏度和高精度也是兩個(gè)較常被提到的正面感知。高靈敏度是指系統(tǒng)能敏捷地對(duì)用戶需求的變化作出反應(yīng),能夠及時(shí)甚至實(shí)時(shí)地根據(jù)用戶行為改變推薦內(nèi)容。例如,B表示淘寶可以實(shí)時(shí)地根據(jù)用戶的搜索及查詢調(diào)整首頁(yè)推薦的商品,反應(yīng)速度很快;D表示如果在淘寶上搜索了某商品但未完成購(gòu)買,首頁(yè)會(huì)出現(xiàn)大量相關(guān)商品的推薦,一旦完成對(duì)該商品的購(gòu)買,首頁(yè)就不會(huì)再大量出現(xiàn)同類商品,對(duì)用戶的需求反應(yīng)十分靈敏。高精度體現(xiàn)在推薦結(jié)果符合用戶的喜好和需要。例如,D表示抖音能根據(jù)用戶的視頻停留的時(shí)間捕捉用戶喜歡的內(nèi)容,并作出準(zhǔn)確的推薦。低互動(dòng)成本體現(xiàn)在系統(tǒng)可以利用已有的數(shù)據(jù)對(duì)項(xiàng)目進(jìn)行推薦,而不需要讓用戶進(jìn)行多次額外或重復(fù)的操作來采集用戶數(shù)據(jù)。例如,B表示網(wǎng)易音樂會(huì)在新用戶第一次使用該軟件的時(shí)候自動(dòng)讀取用戶手機(jī)里的音樂文件,以此判斷用戶可能喜歡的音樂類型,節(jié)省了人工標(biāo)注的時(shí)間。高覆蓋率體現(xiàn)在對(duì)項(xiàng)目長(zhǎng)尾的發(fā)現(xiàn)能力,即推薦系統(tǒng)不僅能對(duì)被廣泛喜愛的項(xiàng)目進(jìn)行推薦,還能對(duì)小眾的項(xiàng)目進(jìn)行推薦。例如,B認(rèn)為網(wǎng)易音樂不但能夠推送大眾喜愛的音樂,對(duì)一些被判斷出來符合用戶喜好的小眾音樂也能作出合理的推薦。感知有用性是用戶對(duì)使用推薦系統(tǒng)是否可以有效地幫助他們獲取想要的東西的感知,包括輔助信息需求表達(dá)和輔助用戶發(fā)現(xiàn)信息需求兩方面。例如,B表示對(duì)于一些較難用文字形容的領(lǐng)域(如音樂領(lǐng)域),推薦系統(tǒng)可以幫助用戶在不能明確地表達(dá)自己需求的情況下給出符合自己喜好的推薦;A表示在瀏覽推薦系統(tǒng)所推薦的項(xiàng)目時(shí)可以幫助自己發(fā)現(xiàn)感興趣的話題。

    3.3 用戶對(duì)推薦系統(tǒng)的負(fù)面感知

    探討用戶對(duì)推薦系統(tǒng)的負(fù)面感知有助于了解哪些因素會(huì)激發(fā)用戶對(duì)系統(tǒng)的負(fù)面評(píng)價(jià),在對(duì)推薦系統(tǒng)進(jìn)行設(shè)計(jì)時(shí)應(yīng)盡量避免引起用戶反感的因素,從而提高用戶的滿意度。經(jīng)過分析發(fā)現(xiàn),用戶對(duì)推薦系統(tǒng)的負(fù)面感知主要包含低透明度、低新穎度、感知有用性低、環(huán)境背景兼容性弱、控制度低、跨平臺(tái)數(shù)據(jù)共享和缺乏多樣性7個(gè)方面,如圖4所示。

    其中,跨平臺(tái)數(shù)據(jù)共享是提及頻率最高的引起用戶對(duì)推薦系統(tǒng)產(chǎn)生負(fù)面評(píng)價(jià)的因素。例如,D認(rèn)為在微信、百度搜索、淘寶及京東上留下的瀏覽痕跡都會(huì)在抖音里有所體現(xiàn),這是令人害怕的。其次是推薦的內(nèi)容缺乏多樣性。例如,C表示因?yàn)橥扑]的內(nèi)容過于相似,因此不希望在資訊類APP上使用推薦系統(tǒng)。另外,推薦結(jié)果的新穎度較低也是引起用戶產(chǎn)生負(fù)面感知的原因之一,新穎度是指給用戶推薦那些他們以前沒有聽說過的項(xiàng)目。例如,C認(rèn)為一些推薦系統(tǒng)僅對(duì)他已經(jīng)了解的事物進(jìn)行了推薦,不能幫助他了解新知識(shí)、獲取新事物。用戶對(duì)推薦系統(tǒng)的信任受到透明度的影響,當(dāng)透明度較低時(shí)用戶對(duì)推薦系統(tǒng)會(huì)產(chǎn)生負(fù)面的感知。例如,C表示因?yàn)閷?duì)推薦系統(tǒng)的排序機(jī)制不夠了解和信任,為避免廣告推薦,在真正選擇要購(gòu)買的商品時(shí)恰恰會(huì)避開排位靠前的商品。當(dāng)推薦系統(tǒng)給予用戶低控制權(quán)限,甚至剝奪用戶對(duì)是否接受推薦的控制時(shí),用戶會(huì)產(chǎn)生較明顯的負(fù)面感知。例如,A表示不受控制的彈窗資訊會(huì)引起他的反感。環(huán)境背景兼容性是指一個(gè)推薦系統(tǒng)具備的在相關(guān)使用場(chǎng)景給出建議的能力,包括推薦結(jié)果的實(shí)時(shí)性以及是否考慮當(dāng)時(shí)用戶所在的情境,如在推薦電影時(shí)考慮的環(huán)境因素(觀眾當(dāng)時(shí)的情緒、是否有同伴等)。例如,D表示希望推薦系統(tǒng)不僅能夠知道用戶的興趣,也可以對(duì)用戶興趣所處的不同生命周期進(jìn)行考慮。最后,感知有用性低也是引起用戶產(chǎn)生負(fù)面感知的原因之一。例如,C表示抖音向其推薦的內(nèi)容既無用也無趣,A認(rèn)為抖音很無聊。

    4 討論

    4.1 用戶感知的推薦依據(jù)

    對(duì)訪談資料進(jìn)行分析發(fā)現(xiàn),雖然目前學(xué)界對(duì)推薦系統(tǒng)的定義強(qiáng)調(diào)以用戶數(shù)據(jù)作為判斷用戶是否會(huì)對(duì)某一內(nèi)容或項(xiàng)目感興趣為標(biāo)準(zhǔn),即推薦系統(tǒng)是以用戶畫像為基礎(chǔ),根據(jù)用戶偏好利用可觀測(cè)的行為數(shù)據(jù)解決信息過載問題的信息過濾系統(tǒng)[1]。但用戶認(rèn)為推薦系統(tǒng)推薦的依據(jù)除以用戶為導(dǎo)向、反應(yīng)用戶需求的行為數(shù)據(jù)、偏好數(shù)據(jù)外,還包括反應(yīng)平臺(tái)商業(yè)需求的數(shù)據(jù)(如推廣和廣告收益)。在目前的研究中,學(xué)術(shù)界在對(duì)推薦系統(tǒng)的相關(guān)技術(shù)進(jìn)行探討時(shí)更強(qiáng)調(diào)用戶數(shù)據(jù)對(duì)推薦結(jié)果的影響,而工業(yè)界已經(jīng)將業(yè)務(wù)需求作為影響推薦結(jié)果的重要指標(biāo)。總體上來說,用戶對(duì)業(yè)務(wù)需求作為推薦依據(jù)也并不敏感,其表現(xiàn)在單獨(dú)詢問用戶關(guān)于推薦系統(tǒng)的推薦依據(jù)時(shí),他們往往不太提及業(yè)務(wù)需求,但在進(jìn)一步剖析對(duì)推薦系統(tǒng)的負(fù)面感知時(shí)會(huì)強(qiáng)調(diào)因?yàn)榧{入廣告帶來的困擾。

    為進(jìn)一步對(duì)比用戶感知的推薦依據(jù)、理論探討中的推薦依據(jù)和實(shí)際應(yīng)用的推薦依據(jù),本研究結(jié)合文獻(xiàn)[11]中提到的推薦依據(jù)制定表1,以觀察哪些是被用戶忽略的依據(jù)。在本次調(diào)查中,用戶除對(duì)用戶行為、用戶偏好有較強(qiáng)感知,對(duì)業(yè)務(wù)需求有較弱感知以外,對(duì)推薦系統(tǒng)所利用的用戶標(biāo)簽數(shù)據(jù)、上下文信息和社交網(wǎng)絡(luò)數(shù)據(jù)均未提及,這啟發(fā)我們?cè)趯?duì)推薦系統(tǒng)進(jìn)行推廣時(shí)可以更明顯地標(biāo)識(shí)系統(tǒng)利用的數(shù)據(jù),提高推薦的透明度以取得用戶的信任。

    4.2 影響用戶感知的因素

    由于用戶對(duì)系統(tǒng)的正負(fù)面感知同時(shí)作用于影響用戶感知推薦系統(tǒng)的因素,因此,此處不再將兩者區(qū)分,而是把它們看作統(tǒng)一的整體進(jìn)行討論。雖然目前已有研究探討了影響推薦系統(tǒng)用戶感知的因素,但本研究嘗試將正面感知和負(fù)面感知進(jìn)行分別分析,以探索各個(gè)因素的正向和負(fù)向作用。本研究共發(fā)現(xiàn)11個(gè)影響用戶感知的因素,表2對(duì)這些因素進(jìn)行羅列并對(duì)是否作用于正向和負(fù)向感知進(jìn)行了標(biāo)識(shí)。

    經(jīng)過對(duì)比發(fā)現(xiàn),用戶提到的僅作用于正向評(píng)價(jià)的因素有互動(dòng)成本、覆蓋率、靈敏度和推薦精度,僅作用于負(fù)向評(píng)價(jià)的因素有多樣性、環(huán)境背景兼容性、跨平臺(tái)數(shù)據(jù)共享、新穎度和透明度。同時(shí)作用于正向感知和負(fù)向感知的因素為感知有用性和控制度。但由于本研究樣本量較小,且未做定量的驗(yàn)證,因此不能明確假設(shè)是否成立,可以在未來研究中進(jìn)一步探討。

    另外,本研究除驗(yàn)證了文獻(xiàn)[11]和文獻(xiàn)[26]中所提到的影響用戶感知的因素外,還發(fā)現(xiàn)用戶對(duì)推薦系統(tǒng)的感知與交互成本、是否跨平臺(tái)共享數(shù)據(jù)、系統(tǒng)響應(yīng)用戶需求變化的感知靈敏度均會(huì)影響用戶對(duì)推薦系統(tǒng)的感知。通過分析還發(fā)現(xiàn)文獻(xiàn)[26]中提到的環(huán)境背景兼容性除包含對(duì)用戶所處環(huán)境的實(shí)時(shí)考慮外,還包括對(duì)需求生命周期的考量。解釋度與透明度構(gòu)成用戶信任推薦系統(tǒng)的兩個(gè)維度,在對(duì)推薦結(jié)果進(jìn)行呈現(xiàn)時(shí)可以通過向用戶說明使用了哪些數(shù)據(jù)和規(guī)則來增加用戶對(duì)推薦系統(tǒng)的信任。此外,用戶并不避諱用隱私換取便利,但是當(dāng)出現(xiàn)跨平臺(tái)的數(shù)據(jù)利用時(shí)會(huì)產(chǎn)生比較強(qiáng)烈的隱私泄露感,因此在需要共享數(shù)據(jù)時(shí)最好先取得用戶的許可。最后,用戶并不反感在使用推薦系統(tǒng)的過程中瀏覽廣告,但當(dāng)廣告質(zhì)量較差或嚴(yán)重打斷用戶使用的時(shí)候會(huì)使用戶產(chǎn)生負(fù)面感知。

    5 結(jié)論

    在信息過載的時(shí)代,推薦系統(tǒng)的廣泛應(yīng)用為用戶提供信息個(gè)性化過濾服務(wù)的同時(shí),還帶來了新的商業(yè)模式。本文通過對(duì)用戶感知的推薦依據(jù)和影響用戶感知的因素進(jìn)行了定性研究,發(fā)現(xiàn)用戶偏好、用戶行為和業(yè)務(wù)需求是用戶感知到的3個(gè)推薦依據(jù),感知成本、多樣性、覆蓋率、感知有用性、環(huán)境背景兼容性、控制度、靈敏度、跨平臺(tái)數(shù)據(jù)共享、推薦準(zhǔn)確性、新穎性和透明度是影響用戶感知的因素。由于本研究屬于探索性研究,其最大的意義在于驗(yàn)證了研究的可行性以及研究問題的價(jià)值,為進(jìn)一步研究夯實(shí)基礎(chǔ)。另外,本研究通過了解用戶對(duì)推薦系統(tǒng)的認(rèn)識(shí)發(fā)現(xiàn)了用戶對(duì)推薦依據(jù)認(rèn)識(shí)的不足,可以作為用戶有效安全地使用推薦系統(tǒng)的參考。研究對(duì)影響用戶感知因素的認(rèn)識(shí)也可以作為深入探討推薦接納意愿、推薦系統(tǒng)信任度以及推薦系統(tǒng)的評(píng)價(jià)提供理論支持,同時(shí)為系統(tǒng)的開發(fā)與設(shè)計(jì)提供參考。但本研究仍存在樣本量過小,數(shù)據(jù)分析具有主觀性等不足。未來的研究可以擴(kuò)大樣本量,進(jìn)行多個(gè)焦點(diǎn)小組的訪談,繼續(xù)完善以上發(fā)現(xiàn),使其成為一個(gè)通用性理論,并通過定量研究的方法驗(yàn)證各因素與感知傾向的關(guān)系。

    [1] ISINKAYE F,F(xiàn)OLAJIMI Y,OJOKOH B. Recommendation systems:principles,methods and evaluation[J]. Egyptian Informatics Journal,2015,16(3):261-273.

    [2] GOLDBERG D,NICHOLS D,OKI B M,et al. Using collaborative filtering to weave an information tapestry[J]. Communications of the ACM,1992,35(12):61-71.

    [3] ALYARI F,JAFARI N. Recommender systems:a systematic review of the state of the art literature and suggestions for future research[J]. Kybernetes,2018,47(5):985-1017.

    [4] GUO Y,YIN C X,LI M F,et al. Mobile e-commerce recommendation system based on multi-source information fusion for sustainable e-business[J]. Sustainability,2018,10(1):147-160.

    [5] JESSENITSCHNIG M,ZANKER M. ISeller:A Flexible Personalization Infrastructure for e-Commerce Applications[C]//

    International Conference on Electronic Commerce and Web Technologies,EC-Web,2009:336-347.

    [6] RANA C,JAIN S K. Building a book recommender system using time based content filtering[J]. WSEAS Transactions on Computers,2012,11(2):2224-2872.

    [7] MOONEY R J,ROY L. Content-based book recommending using learning for text categorization[C]//Proceedings of the fifth ACM conference on Digital libraries,ACM,2000.

    [8] MCNEE S M,RIEDL J,KONSTAN J A. Being accurate is not enough:how accuracy metrics have hurt recommender systems[C]//CHI’06 Extended Abstracts on Human Factors in Computing Systems,ACM,2006.

    [9] PU P,CHEN L. A User-Centric Evaluation Framework of Recommender Systems[C]//Proceedings of the ACM RecSys 2010 Workshop on User-Centric Evaluation of Recommender Systems and Their Interfaces,Barcelona,Spain. 2010.

    [10] RESNICK P,IACOVOU N,SUCHAK M,et al. GroupLens:an open architecture for collaborative filtering of netnews[C]//Proceedings of the 1994 ACM Conference on Computer Supported Cooperative Work. ACM,1994.

    [11] SWEARINGEN K,SINHA R. Beyond algorithms:an HCI perspective on recommender systems[C]//ACM SIGIR 2001 Workshop on Recommender Systems,2001.

    [12] COSLEY D,LAM S K,ALBERT I,et al. Is seeing believing? how recommender system interfaces affect users’ opinions[C]// Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,ACM,2003.

    [13] 高夢(mèng)晨. 推薦系統(tǒng)用戶感知調(diào)研[J]. 工業(yè)設(shè)計(jì)研究,2018:320-326.

    [14] 劉新民,傅曉暉,王松. 個(gè)性化推薦系統(tǒng)的感知價(jià)值對(duì)用戶接受意愿的影響研究——基于心理資本的調(diào)節(jié)作用[J]. 技術(shù)與創(chuàng)新管理,2017,38(4):403-411.

    [15] 劉蓓琳. 電子商務(wù)用戶個(gè)性化推薦技術(shù)接受影響因素研究[D]. 北京:中國(guó)礦業(yè)大學(xué)(北京),2009.

    [16] 張紅. 基于用戶認(rèn)知的電子商務(wù)網(wǎng)站知識(shí)推薦服務(wù)接受模型研究[D]. 南京:南京理工大學(xué),2013.

    [17] 李楠. 移動(dòng)生活服務(wù)用戶接受行為研究[D]. 上海:上海工程技術(shù)大學(xué),2016.

    [18] 張鳳羽. 電子商務(wù)推薦系統(tǒng)的用戶體驗(yàn)影響因素研究[D]. 南寧:廣西民族大學(xué),2017.

    [19] 曹杜鵑. 電子商務(wù)推薦系統(tǒng)滿意度研究[D]. 湘潭:湘潭大學(xué),2014.

    [20] 趙沖. 用戶對(duì)購(gòu)物網(wǎng)站信息推薦服務(wù)的心理抗拒研究[D]. 重慶:西南大學(xué),2016.

    [21] 肖海清. 電商個(gè)性化推薦采納中用戶隱私風(fēng)險(xiǎn)感知的影響因素分析[D]. 武漢:華中師范大學(xué),2015.

    [22] 中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心. 第43次中國(guó)互聯(lián)網(wǎng)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告[EB/OL].[2019-07-07]. http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201902/t20190228_70645.htm.

    [23] STEMLER S. An overview of content analysis[J]. Practical Assessment,Research & Evaluation,2001,7(17):137-146.

    [24] WEBER RP. Basic content analysis[M]. London:Sage,1990:9-14.

    [25] HANEY W,RUSSELL M,GULEK C,et al. Drawing on education:Using student drawings to promote middle school improvement[J]. Schools in the Middle,1998,7(3):38-43.

    [26] CRAMER H,EVERS V,RAMLAL S,et al. The effects of transparency on trust in and acceptance of a content-based art recommender[J]. User Modeling and User-Adapted Interaction,2008,18(5):455.

    Understanding Recommender Systems from Users’ Perspective

    LUO TingYu NUNES Miguel Baptista

    ( Sun Yat-Sen University, Guangzhou 510006, China )

    In order to solve the problems of information overload and information anxiety, recommendation system have been applied widely in many different areas. In order to effectively solve these problems, it is necessary to understand how users perceive recommendation systems and what factors affect their perceptions of usefulness and effectiveness of recommendations. This is very necessary in order to design and evaluate systems. This research is an inductive exploratory pilot study that aims to give a first indication towards understanding what type of factors influence these perceptions. Data was collected through one focus group interview and was then coded using content analysis supported by NVivo 11. The findings of the study reveal that users’ preference, users’ behaviors and business characteristics are 3 criteria which interviewees perceived as important evidence of recommendation. Moreover, interviewees expressed that the factors which affects their perceptions of usefulness and effectiveness of recommendations are perceived interaction effort, diversity of recommendation results, coverage, perceived usefulness, contextual compatibility, perceived controllability, flexibility, cross-platform data sharing, accuracy, novelty, and transparency. This study is not generalizable due to the small numbers of respondents, but provides an initial informed emergent theory that can help designers and developers of recommendation systems improve their efforts.

    Recommendation Systems; User Perception; Qualitative Study; Impact Factor Study

    *本研究得到廣東省自然科學(xué)基金面上項(xiàng)目“基于人工智能的虛擬現(xiàn)實(shí)古籍理論與模型研究”(編號(hào):2019A1515011260)以及中山大學(xué)信息科學(xué)、信息管理和信息系統(tǒng)學(xué)科交叉的培育研究科研啟動(dòng)經(jīng)費(fèi)(經(jīng)費(fèi)號(hào):20000-18841200)資助。

    G251

    10.3772/j.issn.1673-2286.2019.10.005

    羅婷予,女,1991年生,博士生,研究方向:信息獲取、推薦系統(tǒng),E-mail:luoty7@mail2.sysu.edu.cn。

    Miguel Baptista Nunes,男,1963年生,博士,教授,研究方向:信息系統(tǒng)、知識(shí)管理、數(shù)字人文。

    (2019-10-08)

    猜你喜歡
    用戶系統(tǒng)研究
    Smartflower POP 一體式光伏系統(tǒng)
    FMS與YBT相關(guān)性的實(shí)證研究
    遼代千人邑研究述論
    WJ-700無人機(jī)系統(tǒng)
    ZC系列無人機(jī)遙感系統(tǒng)
    視錯(cuò)覺在平面設(shè)計(jì)中的應(yīng)用與研究
    科技傳播(2019年22期)2020-01-14 03:06:54
    EMA伺服控制系統(tǒng)研究
    連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
    關(guān)注用戶
    商用汽車(2016年11期)2016-12-19 01:20:16
    關(guān)注用戶
    商用汽車(2016年6期)2016-06-29 09:18:54
    免费大片18禁| 一级av片app| 精品人妻一区二区三区麻豆| 亚洲,欧美,日韩| 免费av不卡在线播放| 免费看光身美女| 99九九线精品视频在线观看视频| 最近中文字幕高清免费大全6| 能在线免费看毛片的网站| 99热网站在线观看| 97在线视频观看| 床上黄色一级片| 又粗又硬又长又爽又黄的视频| 亚洲内射少妇av| 青春草亚洲视频在线观看| 免费大片18禁| 日本一二三区视频观看| 少妇人妻精品综合一区二区| 日韩一区二区视频免费看| 天堂中文最新版在线下载 | 国产精品不卡视频一区二区| 99久久成人亚洲精品观看| 中文字幕av在线有码专区| 精品人妻一区二区三区麻豆| 十八禁国产超污无遮挡网站| 高清在线视频一区二区三区 | 3wmmmm亚洲av在线观看| 美女国产视频在线观看| 麻豆国产97在线/欧美| 亚洲精品国产成人久久av| 乱人视频在线观看| 色噜噜av男人的天堂激情| 日韩三级伦理在线观看| 免费看美女性在线毛片视频| 最新中文字幕久久久久| 在线观看av片永久免费下载| 亚洲成人精品中文字幕电影| 中文天堂在线官网| 菩萨蛮人人尽说江南好唐韦庄 | 免费看av在线观看网站| 中文字幕熟女人妻在线| 男女边吃奶边做爰视频| 色综合站精品国产| 18禁在线播放成人免费| 嫩草影院入口| 综合色丁香网| 嫩草影院新地址| 床上黄色一级片| 国产黄片视频在线免费观看| 99热这里只有是精品在线观看| 中文字幕av在线有码专区| 国产乱人视频| 色哟哟·www| 国产精品久久久久久精品电影小说 | 看黄色毛片网站| 久久久久久九九精品二区国产| 国产国拍精品亚洲av在线观看| 久久久色成人| 成人欧美大片| 日韩一本色道免费dvd| 九色成人免费人妻av| 欧美色视频一区免费| 欧美一级a爱片免费观看看| 日本黄色视频三级网站网址| 爱豆传媒免费全集在线观看| 国产精品熟女久久久久浪| 国产成人a区在线观看| 夜夜看夜夜爽夜夜摸| 高清日韩中文字幕在线| 禁无遮挡网站| 成人综合一区亚洲| 精品一区二区三区人妻视频| 精品久久久久久久久av| 最近的中文字幕免费完整| 99久久精品一区二区三区| 欧美一区二区精品小视频在线| 精品久久久久久久久av| 国产精品国产三级国产专区5o | 欧美成人a在线观看| 国产精品永久免费网站| 久久精品91蜜桃| 亚洲18禁久久av| 久久久色成人| 中文字幕av在线有码专区| 国产av在哪里看| 国产精品精品国产色婷婷| 成人二区视频| 国产精品一区二区三区四区免费观看| 自拍偷自拍亚洲精品老妇| 色综合亚洲欧美另类图片| 午夜亚洲福利在线播放| 亚洲精品日韩av片在线观看| av专区在线播放| 网址你懂的国产日韩在线| 日产精品乱码卡一卡2卡三| 亚州av有码| 欧美成人a在线观看| 少妇人妻精品综合一区二区| 大香蕉97超碰在线| 看非洲黑人一级黄片| 久久久久久伊人网av| 我要搜黄色片| 3wmmmm亚洲av在线观看| 国产熟女欧美一区二区| 日韩欧美 国产精品| 日韩av不卡免费在线播放| 精华霜和精华液先用哪个| 中文精品一卡2卡3卡4更新| 99国产精品一区二区蜜桃av| 日韩亚洲欧美综合| 老司机福利观看| 久久久久久久午夜电影| 自拍偷自拍亚洲精品老妇| eeuss影院久久| 久久精品影院6| 卡戴珊不雅视频在线播放| 99热6这里只有精品| 精品久久久噜噜| 大香蕉久久网| 精品一区二区免费观看| 99在线视频只有这里精品首页| 国产精品野战在线观看| 日本五十路高清| 日韩成人av中文字幕在线观看| 午夜精品国产一区二区电影 | 春色校园在线视频观看| 日韩一区二区视频免费看| 2021天堂中文幕一二区在线观| 久久6这里有精品| 国产av一区在线观看免费| 免费av不卡在线播放| 亚洲国产欧洲综合997久久,| 久久人人爽人人片av| 不卡视频在线观看欧美| 国产精品,欧美在线| 精品一区二区三区视频在线| 亚洲国产日韩欧美精品在线观看| 婷婷色综合大香蕉| 久久久久九九精品影院| 99热精品在线国产| 日韩一本色道免费dvd| 免费观看人在逋| 蜜桃久久精品国产亚洲av| 午夜福利在线观看免费完整高清在| 日本猛色少妇xxxxx猛交久久| 一级黄片播放器| 亚洲国产精品合色在线| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 色综合亚洲欧美另类图片| 1024手机看黄色片| 搞女人的毛片| 99热网站在线观看| 精品无人区乱码1区二区| 九草在线视频观看| 亚洲国产欧美在线一区| 99热这里只有是精品在线观看| 免费无遮挡裸体视频| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久精品久久久久久噜噜老黄 | 亚洲电影在线观看av| 日本猛色少妇xxxxx猛交久久| 欧美丝袜亚洲另类| 99久久九九国产精品国产免费| 在线免费观看的www视频| 最近的中文字幕免费完整| 国内精品一区二区在线观看| 国产精品人妻久久久影院| 中文字幕精品亚洲无线码一区| 国产伦理片在线播放av一区| 七月丁香在线播放| 国产精品美女特级片免费视频播放器| 免费看光身美女| 亚洲一级一片aⅴ在线观看| 国产成人aa在线观看| 搞女人的毛片| 亚洲av免费在线观看| 在线免费观看不下载黄p国产| 天天一区二区日本电影三级| 亚洲精品色激情综合| 精品无人区乱码1区二区| 欧美不卡视频在线免费观看| 床上黄色一级片| 欧美成人精品欧美一级黄| 熟女电影av网| 亚洲av电影在线观看一区二区三区 | 两个人视频免费观看高清| 丝袜喷水一区| 91aial.com中文字幕在线观看| 成人无遮挡网站| 午夜视频国产福利| 亚洲怡红院男人天堂| 国产黄色视频一区二区在线观看 | 我要搜黄色片| 午夜精品在线福利| 爱豆传媒免费全集在线观看| 精品欧美国产一区二区三| 国产精品不卡视频一区二区| 中文资源天堂在线| av播播在线观看一区| 久久久精品94久久精品| 美女cb高潮喷水在线观看| 成人欧美大片| 久久99蜜桃精品久久| 国产视频首页在线观看| 一级av片app| 久久鲁丝午夜福利片| 亚洲欧美成人综合另类久久久 | 欧美日本视频| 久久精品久久久久久噜噜老黄 | 日韩精品青青久久久久久| 淫秽高清视频在线观看| 精品一区二区三区视频在线| 午夜免费男女啪啪视频观看| 国产色婷婷99| 在线天堂最新版资源| 成年女人永久免费观看视频| 插阴视频在线观看视频| 国产淫语在线视频| 人妻夜夜爽99麻豆av| 亚洲综合色惰| 18禁在线无遮挡免费观看视频| 高清在线视频一区二区三区 | 久久精品影院6| 国产成人aa在线观看| kizo精华| 中文欧美无线码| 青青草视频在线视频观看| 久久草成人影院| 伦精品一区二区三区| 亚洲成人精品中文字幕电影| 岛国在线免费视频观看| 国产av一区在线观看免费| 国产免费一级a男人的天堂| 免费观看人在逋| 亚洲图色成人| 成人毛片a级毛片在线播放| АⅤ资源中文在线天堂| 国产麻豆成人av免费视频| 国产欧美日韩精品一区二区| 久久久久久九九精品二区国产| 免费看美女性在线毛片视频| 欧美成人免费av一区二区三区| 人人妻人人看人人澡| 2021天堂中文幕一二区在线观| 一级二级三级毛片免费看| 免费黄网站久久成人精品| 全区人妻精品视频| 国产高清国产精品国产三级 | 亚洲人成网站高清观看| 欧美区成人在线视频| 国产极品精品免费视频能看的| 男女国产视频网站| 国产在视频线精品| 久久久欧美国产精品| 久久久久精品久久久久真实原创| 国产精品三级大全| 日韩 亚洲 欧美在线| 不卡视频在线观看欧美| 亚洲精品乱久久久久久| 国产真实乱freesex| 亚洲国产日韩欧美精品在线观看| 只有这里有精品99| 欧美性感艳星| 久热久热在线精品观看| av天堂中文字幕网| www.色视频.com| 一二三四中文在线观看免费高清| 中文字幕制服av| 国语自产精品视频在线第100页| 久久久成人免费电影| 亚洲最大成人手机在线| 亚洲av中文字字幕乱码综合| 自拍偷自拍亚洲精品老妇| 亚洲欧美日韩卡通动漫| 久久精品国产鲁丝片午夜精品| 天堂中文最新版在线下载 | 国产午夜精品久久久久久一区二区三区| 亚洲av免费高清在线观看| 成年版毛片免费区| 免费观看性生交大片5| 少妇的逼水好多| 久久久久久久久久黄片| 中文字幕亚洲精品专区| 日本与韩国留学比较| 1024手机看黄色片| av.在线天堂| 亚洲aⅴ乱码一区二区在线播放| 国产精品不卡视频一区二区| 男女边吃奶边做爰视频| 欧美97在线视频| 亚洲伊人久久精品综合 | 岛国毛片在线播放| 一级毛片久久久久久久久女| 日本一本二区三区精品| 亚洲怡红院男人天堂| 国产单亲对白刺激| 日本五十路高清| 人妻少妇偷人精品九色| 中文亚洲av片在线观看爽| 国产免费视频播放在线视频 | 亚洲精品日韩av片在线观看| 麻豆乱淫一区二区| 男女啪啪激烈高潮av片| 国产精品一区www在线观看| 熟女电影av网| 能在线免费看毛片的网站| 欧美激情久久久久久爽电影| 在线观看美女被高潮喷水网站| 国产精品麻豆人妻色哟哟久久 | 日韩欧美精品免费久久| 少妇高潮的动态图| 国产高清有码在线观看视频| 国产探花极品一区二区| 一级毛片久久久久久久久女| 亚洲无线观看免费| 听说在线观看完整版免费高清| 秋霞伦理黄片| 长腿黑丝高跟| 黄色欧美视频在线观看| 爱豆传媒免费全集在线观看| 观看免费一级毛片| 丰满人妻一区二区三区视频av| 高清毛片免费看| 少妇被粗大猛烈的视频| 久热久热在线精品观看| 哪个播放器可以免费观看大片| 午夜激情福利司机影院| 身体一侧抽搐| 欧美色视频一区免费| 精品熟女少妇av免费看| 一区二区三区免费毛片| 黄色一级大片看看| 一区二区三区四区激情视频| 日本熟妇午夜| 一级毛片久久久久久久久女| 特级一级黄色大片| 青青草视频在线视频观看| 91精品一卡2卡3卡4卡| 久久久久久久午夜电影| 中文字幕av在线有码专区| 亚洲欧洲日产国产| 欧美潮喷喷水| 九色成人免费人妻av| 黄色欧美视频在线观看| 国产av不卡久久| 亚洲在线自拍视频| 黑人高潮一二区| 久久久a久久爽久久v久久| 国产成人免费观看mmmm| 中文在线观看免费www的网站| 久久亚洲精品不卡| 亚洲国产精品国产精品| 高清日韩中文字幕在线| 男女那种视频在线观看| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 91在线精品国自产拍蜜月| 内射极品少妇av片p| 听说在线观看完整版免费高清| 18+在线观看网站| 成人特级av手机在线观看| 日韩一区二区视频免费看| 床上黄色一级片| 久久精品熟女亚洲av麻豆精品 | 一夜夜www| 搞女人的毛片| 一二三四中文在线观看免费高清| 岛国毛片在线播放| 卡戴珊不雅视频在线播放| 欧美不卡视频在线免费观看| 亚洲高清免费不卡视频| 三级男女做爰猛烈吃奶摸视频| 99久久无色码亚洲精品果冻| 小说图片视频综合网站| 亚洲四区av| 亚洲欧美精品自产自拍| 在线免费十八禁| 男的添女的下面高潮视频| 简卡轻食公司| 日产精品乱码卡一卡2卡三| 国产精品国产三级国产专区5o | 尤物成人国产欧美一区二区三区| 国产成人免费观看mmmm| 国产色婷婷99| a级毛片免费高清观看在线播放| 麻豆一二三区av精品| 久久久久久大精品| 日日摸夜夜添夜夜添av毛片| 观看美女的网站| 人妻制服诱惑在线中文字幕| 精品久久久久久久末码| 国产熟女欧美一区二区| 麻豆成人午夜福利视频| 汤姆久久久久久久影院中文字幕 | 级片在线观看| 国产亚洲91精品色在线| 国产成人午夜福利电影在线观看| 综合色丁香网| h日本视频在线播放| 午夜福利在线观看吧| 全区人妻精品视频| 简卡轻食公司| 日本与韩国留学比较| 久热久热在线精品观看| 久久久成人免费电影| 国产大屁股一区二区在线视频| 在线免费观看的www视频| 国产免费又黄又爽又色| 狂野欧美激情性xxxx在线观看| 国产精品人妻久久久久久| 欧美性感艳星| 99久久九九国产精品国产免费| 18禁在线无遮挡免费观看视频| 中文亚洲av片在线观看爽| 亚洲av免费高清在线观看| 中文天堂在线官网| 秋霞在线观看毛片| 免费观看a级毛片全部| 中文字幕制服av| 久久99热这里只有精品18| 久久人妻av系列| АⅤ资源中文在线天堂| 久久久久久久久中文| 国产精品女同一区二区软件| 白带黄色成豆腐渣| 亚洲欧美清纯卡通| 91久久精品电影网| 成年免费大片在线观看| 国产精品av视频在线免费观看| 老师上课跳d突然被开到最大视频| 亚洲精品乱久久久久久| 赤兔流量卡办理| 免费观看人在逋| 国产白丝娇喘喷水9色精品| 一本久久精品| 一区二区三区高清视频在线| 啦啦啦啦在线视频资源| 在线观看一区二区三区| 最近最新中文字幕大全电影3| 99在线人妻在线中文字幕| 亚洲人成网站在线观看播放| 国产高清有码在线观看视频| 在线天堂最新版资源| 成人性生交大片免费视频hd| 自拍偷自拍亚洲精品老妇| 午夜福利成人在线免费观看| 免费不卡的大黄色大毛片视频在线观看 | 18+在线观看网站| 国产黄色小视频在线观看| 国产精品.久久久| 能在线免费看毛片的网站| 成人毛片60女人毛片免费| 国产精品国产三级国产专区5o | 国产乱人视频| 麻豆av噜噜一区二区三区| 国产不卡一卡二| 亚洲天堂国产精品一区在线| 国产成人福利小说| 熟妇人妻久久中文字幕3abv| 免费搜索国产男女视频| 欧美日韩一区二区视频在线观看视频在线 | 久久欧美精品欧美久久欧美| 国产v大片淫在线免费观看| www.色视频.com| 99热精品在线国产| 视频中文字幕在线观看| 欧美最新免费一区二区三区| 好男人在线观看高清免费视频| 日产精品乱码卡一卡2卡三| 亚洲av不卡在线观看| 国产精品综合久久久久久久免费| 久久精品久久久久久久性| 亚洲av成人精品一二三区| 亚洲在线自拍视频| 18禁在线播放成人免费| 色网站视频免费| 能在线免费观看的黄片| 少妇人妻一区二区三区视频| 午夜久久久久精精品| 成年女人永久免费观看视频| 久久亚洲国产成人精品v| 一级毛片电影观看 | 真实男女啪啪啪动态图| 国产午夜福利久久久久久| 美女内射精品一级片tv| 伦理电影大哥的女人| 久久精品久久精品一区二区三区| 少妇熟女aⅴ在线视频| 69av精品久久久久久| 特级一级黄色大片| 国产精品女同一区二区软件| 亚洲欧美日韩东京热| 一区二区三区乱码不卡18| 久久精品人妻少妇| 极品教师在线视频| 美女大奶头视频| 免费看av在线观看网站| 日韩欧美精品v在线| 麻豆乱淫一区二区| 亚洲精品亚洲一区二区| 久99久视频精品免费| 国产精品久久久久久久电影| 91在线精品国自产拍蜜月| 国产探花极品一区二区| 少妇的逼好多水| 国产久久久一区二区三区| 我的老师免费观看完整版| 久99久视频精品免费| 中文欧美无线码| 欧美3d第一页| 亚洲欧美日韩无卡精品| 女的被弄到高潮叫床怎么办| 少妇人妻一区二区三区视频| 国产精品一二三区在线看| 久久欧美精品欧美久久欧美| 女人被狂操c到高潮| 婷婷色综合大香蕉| 亚洲一区高清亚洲精品| 国产三级中文精品| 人妻系列 视频| 男的添女的下面高潮视频| 在线免费十八禁| 日韩欧美 国产精品| 在现免费观看毛片| av天堂中文字幕网| 久久99热这里只频精品6学生 | 国产成人精品久久久久久| 2021少妇久久久久久久久久久| 国产午夜福利久久久久久| 亚洲高清免费不卡视频| 国产黄片美女视频| 免费搜索国产男女视频| 熟女电影av网| 国内精品宾馆在线| 色网站视频免费| 免费观看的影片在线观看| 小说图片视频综合网站| 亚洲婷婷狠狠爱综合网| 亚洲av二区三区四区| 一级二级三级毛片免费看| 久久久久免费精品人妻一区二区| 色哟哟·www| 免费看av在线观看网站| av在线观看视频网站免费| 三级毛片av免费| 日韩人妻高清精品专区| 久久久久网色| 国内少妇人妻偷人精品xxx网站| 免费观看的影片在线观看| 夜夜看夜夜爽夜夜摸| 大香蕉97超碰在线| 国产精品一区二区性色av| 在线免费十八禁| 日韩av不卡免费在线播放| 少妇熟女欧美另类| 亚洲激情五月婷婷啪啪| 狂野欧美白嫩少妇大欣赏| 国内少妇人妻偷人精品xxx网站| 1024手机看黄色片| 亚洲精品日韩在线中文字幕| 干丝袜人妻中文字幕| 免费观看a级毛片全部| 亚洲精品456在线播放app| 亚洲乱码一区二区免费版| a级毛色黄片| 日本wwww免费看| 国产色婷婷99| 青青草视频在线视频观看| 三级经典国产精品| 亚洲四区av| 亚洲精品日韩在线中文字幕| 成人亚洲精品av一区二区| 丰满人妻一区二区三区视频av| a级一级毛片免费在线观看| 视频中文字幕在线观看| 老司机影院毛片| 国产美女午夜福利| 成人三级黄色视频| 国产精品永久免费网站| 床上黄色一级片| 国产探花极品一区二区| 免费观看的影片在线观看| 亚洲精品久久久久久婷婷小说 | av福利片在线观看| 亚洲欧美中文字幕日韩二区| 国产午夜精品久久久久久一区二区三区| 亚洲美女搞黄在线观看| 爱豆传媒免费全集在线观看| 欧美变态另类bdsm刘玥| 69av精品久久久久久| 日本-黄色视频高清免费观看| 人妻系列 视频| 婷婷六月久久综合丁香| 亚洲在线观看片| 欧美一区二区亚洲| 夫妻性生交免费视频一级片| 简卡轻食公司| 五月伊人婷婷丁香| 国产成人精品一,二区| 18禁在线播放成人免费| 一级黄色大片毛片| 国产麻豆成人av免费视频| 91av网一区二区| 一级爰片在线观看| 99九九线精品视频在线观看视频| kizo精华| 少妇裸体淫交视频免费看高清| 伦理电影大哥的女人| 一区二区三区乱码不卡18| 我的老师免费观看完整版| 少妇人妻精品综合一区二区| 亚洲成人中文字幕在线播放| 乱码一卡2卡4卡精品| 色综合站精品国产| www.av在线官网国产| 亚洲av免费高清在线观看|