• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    厭惡算法還是欣賞算法?
    ——人工智能時代的算法認(rèn)知差異與算法信任建構(gòu)

    2022-10-31 15:38:46杜嚴(yán)勇
    哲學(xué)分析 2022年3期
    關(guān)鍵詞:信任人類算法

    杜嚴(yán)勇

    在信息時代與人工智能時代中,算法主要指計算機(jī)中采用的解決某個具體問題的計算規(guī)則與有限的操作步驟,或者說是計算機(jī)的編程方法與技巧。將算法使用編程語言進(jìn)行描述,就成為一個程序,軟件是程序的有機(jī)集合體,因此可以把算法看作程序和軟件的基礎(chǔ)。一般認(rèn)為,計算機(jī)科學(xué)是研究算法的學(xué)問,算法、算力與數(shù)據(jù)是人工智能的三大要素,可見算法之重要性。

    眾所周知,算法在速度與某些精確度方面,已經(jīng)遠(yuǎn)遠(yuǎn)超越了人類。那么,當(dāng)我們同時面對算法與人類專家的操控、推薦、預(yù)測時,如果可以自由選擇,我們是決定選擇算法還是人類專家?哪種方式是更合理的呢?人們可能憑直覺認(rèn)為,我們應(yīng)該相信并選擇算法,但事實并非如此。比如,美國每年因為車禍死亡人數(shù)約35000人,大多數(shù)是人為的錯誤導(dǎo)致;盡管自動駕駛比人類駕駛更安全,但調(diào)查表明,有78% 的美國人表示害怕乘坐自動駕駛汽車,其中女性(85%)比男性(69%)的比例更高。2020 年進(jìn)行的對1200 名美國成年人的調(diào)研表明,有48% 的人表示他們永遠(yuǎn)都不會乘坐無人駕駛的出租車或共享汽車;60% 的人表示如果他們對無人駕駛技術(shù)的工作機(jī)制更為了解的話,他們會對其更加信任一些。調(diào)研同時發(fā)現(xiàn),殘疾人對自動駕駛技術(shù)的態(tài)度比正常人更加積極。

    從人們對無人駕駛汽車的態(tài)度可見,影響智能產(chǎn)品被公眾接受的障礙可能主要并非技術(shù)上的原因,而是人們的心理因素。本文試圖綜合比較關(guān)于算法認(rèn)知的各類實證研究結(jié)果,分析人們對算法的不同態(tài)度及其影響因素或原因,進(jìn)而探討建構(gòu)算法信任的有效途徑,為智能時代的技術(shù)認(rèn)知與技術(shù)接受研究提供一個富有啟發(fā)意義的案例。

    一、厭惡算法現(xiàn)象及其解釋進(jìn)路

    (一)厭惡算法的表現(xiàn)與定義

    20 世紀(jì)50 年代,有一些學(xué)者認(rèn)識到,雖然恰當(dāng)?shù)臄?shù)學(xué)模型作出的預(yù)測往往比人類更優(yōu)越,但人們還是傾向于拒絕讓算法為他們作出抉擇。即使是在以算法為基礎(chǔ)的各種輔助決策工具得到廣泛應(yīng)用的21 世紀(jì),人們還是存在類似的表現(xiàn)。比如,雇主在選擇求職人員的時候,雖然有各種標(biāo)準(zhǔn)化的程序可以采用,但他們?nèi)匀桓鼧酚谙嘈抛约旱膫€人判斷。有學(xué)者詳細(xì)比較了人們對不同抉擇模式的態(tài)度,結(jié)果發(fā)現(xiàn)人們普遍喜歡有人類參與的決策過程,不太喜歡僅僅由算法作出的決策。

    隨著人工智能科技及相關(guān)產(chǎn)業(yè)的快速發(fā)展,上述現(xiàn)象得到越來越多的學(xué)者的關(guān)注。美國學(xué)者狄伏斯特(Berkeley Dietvorst)等人在2015 年發(fā)表的論文中認(rèn)為,基于證據(jù)的算法可以作出比人類更準(zhǔn)確的未來預(yù)測,但是當(dāng)要決定采用人類預(yù)測還是統(tǒng)計算法的預(yù)測時,人們經(jīng)常選擇人類的預(yù)測。他們的研究表明,在發(fā)現(xiàn)算法犯了與人類同樣的錯誤之后,相對人類預(yù)測者而言,人們更容易對算法失去信心。于是,即使看到算法在某些方面勝過人類預(yù)測者,人們?nèi)匀粫拹核惴ǎ曳固氐热税堰@種現(xiàn)象稱為 “厭惡算法” (algorithm aversion)。在2018 年發(fā)表的論文中,他們直接將 “厭惡算法” 定義為:雖然基于證據(jù)的算法始終比人類預(yù)測者表現(xiàn)出色,但人們在發(fā)現(xiàn)算法的瑕疵之后往往不去使用它們。

    需要注意的是,狄伏斯特等人的研究強(qiáng)調(diào)的是人們在看到算法出現(xiàn)錯誤或不足之后,才會對其產(chǎn)生厭惡現(xiàn)象。事實上,人們在沒有看到算法出錯的情況下,仍然可能會出現(xiàn)排斥算法的情況。通過對近百名在校大學(xué)生的調(diào)研表明,相對于精算系統(tǒng)而言,大學(xué)生對于有人類參與的決策表現(xiàn)出更積極的態(tài)度。更為有趣的是,相對于使用算法輔助手段的醫(yī)生來說,大學(xué)生對不使用算法輔助工具的醫(yī)生有著非常顯著的積極評價,但對于向同行專家尋求建議的醫(yī)生卻沒有這種現(xiàn)象。類似的現(xiàn)象在教育、經(jīng)濟(jì)等不少領(lǐng)域亦有發(fā)現(xiàn)。

    因此,我們傾向于對 “厭惡算法” 采用一種更一般性的定義:相對于人類而言,人們對算法(及其相應(yīng)的程序與軟件)存在一定程度的片面評價,表現(xiàn)為對算法的消極行為與態(tài)度。之前的相關(guān)研究主要是心理學(xué)與管理學(xué)等領(lǐng)域的學(xué)者較為關(guān)注,但狄伏斯特等人的研究引起了更為廣泛的注意,特別是得到很多關(guān)注人工智能科技發(fā)展與社會影響的科學(xué)家與人文學(xué)者的普遍引用。大多數(shù)學(xué)者傾向于認(rèn)為,我們不能僅僅將重點聚焦于提高算法的精確性與穩(wěn)健性,還必須重視公眾對算法的認(rèn)知態(tài)度及其影響因素,后者會在很大程度上影響公眾對智能產(chǎn)品的接受與使用情況。

    (二)厭惡算法現(xiàn)象的若干解釋進(jìn)路

    :這是研究者最為關(guān)注的一種解釋模式。人類對于一種沒有使用過的新技術(shù)會產(chǎn)生本能的排斥與不信任,這是一種正?,F(xiàn)象。在算法認(rèn)知方面具體表現(xiàn)為以下幾個特點:其一,對人類本身的錯誤較為寬容,而對算法錯誤的敏感性較高,寬容度較低。人們通常認(rèn)為人是不完美的,犯錯誤是正?,F(xiàn)象,但機(jī)器應(yīng)該是完美的,不應(yīng)該犯錯。前文已經(jīng)提及狄伏斯特等人的研究表明,人類對算法出現(xiàn)錯誤很敏感,因此導(dǎo)致厭惡算法的現(xiàn)象,還有更多的調(diào)研亦驗證了這一點。比如,雖然專業(yè)人員普遍認(rèn)為無人駕駛汽車更為安全,但它在現(xiàn)實中無法完全避免不出現(xiàn)事故。但是,不管事故的嚴(yán)重程度與具體原因,人們總是傾向于認(rèn)為涉及無人駕駛的交通事故比人類駕駛車輛的交通事故更為嚴(yán)重。也就是說,人們不僅對無人駕駛汽車的接受度不高,而且對無人駕駛引發(fā)的事故持有某種程度的偏見。還有學(xué)者發(fā)現(xiàn),雖然來自人類的建議并不比來自計算機(jī)的建議更受歡迎,但是,如果人們收到糟糕的建議之后,來自計算機(jī)的建議的利用率比人類建議的利用率下降更加明顯。

    其二,人類認(rèn)知中的過度自信(overconfidence)現(xiàn)象。過度自信是人類在判斷與抉擇過程中非常普遍的認(rèn)知特點,具體而言有三種表現(xiàn)形式,即對自己的實際表現(xiàn)過高估計、對自己的表現(xiàn)相對于他人過高定位、對自身信念的理解過分精確。過度自信可能產(chǎn)生認(rèn)知偏差,這種情況在人們面對算法決策建議時也經(jīng)常發(fā)生。目前不少實證研究表明,人們經(jīng)常在與算法建議的比較中,過高估計自己的能力,認(rèn)為自己與其他人的決策比算法決策更公平、更可靠。另一方面,人類認(rèn)知在很大程度上依賴于直覺,而不是對信息的全面分析,這與算法決策依賴于數(shù)據(jù)和信息有著本質(zhì)性區(qū)別。特別是在高度專業(yè)化領(lǐng)域,直覺的有效性通常被夸大,這使得專業(yè)人員比社會公眾更相信自己的直覺判斷,導(dǎo)致他們對算法決策的不信任。

    其三,人們通常認(rèn)為人類處理問題的模式更為靈活、更人性化,而算法處理模式更為機(jī)械化、無情感性。在很多人看來,算法只是一種工具,在分析、處理數(shù)據(jù)信息方面可以發(fā)揮輔助性作用,但不能處理個別化的特殊情況。有學(xué)者通過對228名成年人關(guān)于管理決策方面的網(wǎng)絡(luò)調(diào)研表明,當(dāng)面對像工作分配、時間安排等機(jī)械性的工作時,人們認(rèn)為算法決策和人類決策是同樣公平和可信的,但當(dāng)面對招聘員工、工作評價等更人性化的工作時,算法決策被認(rèn)為比人類決策更不公平、更不可靠,而且容易引發(fā)更多的負(fù)面情緒。這是由于人們通常認(rèn)為算法缺乏直覺和主觀判斷能力,使其判斷的公平性和可度信降低。

    人是情感動物,情感在人類決策中扮演著重要角色。人們通常認(rèn)為算法是無情感的,缺乏人類擁有的靈活應(yīng)變等能力,但它對偏向于客觀事務(wù)方面的預(yù)測與推薦更為可靠。通過大量的網(wǎng)絡(luò)調(diào)研表明,當(dāng)涉及某些主觀性事務(wù)(比如約會建議)時,人們更愿意聽取人類的建議,但涉及客觀性事務(wù)(如經(jīng)濟(jì)方面的建議)時,人們更傾向于接受算法的建議。即使認(rèn)識到算法表現(xiàn)得比人類更加優(yōu)越——這也確實會影響人們采用算法的意愿,人們在主觀性事務(wù)方面仍然傾向于采納人類的建議。但是,當(dāng)人們認(rèn)為算法擁有與人類類似的高級情感時,這種看法會強(qiáng)烈地影響其對算法的接受度。

    :自主性是一個內(nèi)涵復(fù)雜的概念,從個人的角度看,自主性一般指個體的行動與抉擇都是由自己所發(fā)起和控制的。雖然外界的幫助與個人自主性并不必然矛盾,但外界的涉入越少,個人的自我控制感通常就越強(qiáng)。即使在擁有自動化輔助工具的條件下,人類仍然具有明顯的自我控制與自力更生的意愿,甚至不少人覺得自力更生是一種道德義務(wù)。心理學(xué)實驗研究表明,即使人們在自力更生的情況下會減少利益的獲取,即使自動化的輔助工具更少出錯,不少人仍然會堅持自己的選擇,表現(xiàn)出明顯的保持個人控制的意愿。

    如果人們對算法的工作機(jī)制不太了解,也不能與其有某些形式的友好互動,而必須直接接受算法的建議,這顯然會降低人們的控制感,從而產(chǎn)生厭惡算法現(xiàn)象。但是,如果人們對算法的運行有一定程度的操控感,厭惡算法的現(xiàn)象會明顯減少。狄伏斯特等人的研究表明,如果可以修改那些被認(rèn)為是不完美的算法的預(yù)測結(jié)果,即使修改程度受到嚴(yán)格限制,人們對預(yù)測過程會感到更加滿意,也更愿意相信算法是優(yōu)越的。類似的研究亦表明,只要能夠提供用戶與算法的互動機(jī)會,使其能夠調(diào)整算法的決策過程與信息表述形式等方面的內(nèi)容,即使對算法本身的運作與信息處理模式不作任何變化,也會使人們更加信任算法。

    :人類總是帶著某種預(yù)期與算法進(jìn)行互動,這種預(yù)期可能和之前與算法互動的經(jīng)驗有關(guān),也可能來自朋友甚至媒體。這種預(yù)期起著范式的作用,它引導(dǎo)人們認(rèn)知并回應(yīng)算法給出的建議,并對人們使用算法的方式產(chǎn)生影響。違背預(yù)期解釋在人機(jī)互動的負(fù)面效應(yīng)解釋中較為常見,比如不少學(xué)者亦從這個角度解釋所謂的 “恐怖谷效應(yīng)” 。

    與違背預(yù)期解釋進(jìn)路類似的是任務(wù)不匹配解釋。羅文斯(Ethan Lowens)認(rèn)為,在很多情況下算法比人類精確,但人們?nèi)匀粫霈F(xiàn)厭惡算法的現(xiàn)象,這并不是因為算法偶爾出現(xiàn)的不精確現(xiàn)象(不精確解釋),也不是因為人們無法理解算法(困惑解釋),而是由于人類預(yù)期完成的任務(wù)與算法實際進(jìn)行的任務(wù)之間不匹配導(dǎo)致的。比如,某人A 需要選擇人類或算法去完成任務(wù)X,任務(wù)X 通常是由人類完成的,預(yù)測Y 是任務(wù)X 的必要條件,A 知道算法在預(yù)測Y 方面確實是比人類更精確,而且也能夠理解算法的運作機(jī)制,但任務(wù)X 的內(nèi)容比預(yù)測Y 要豐富得多,因為A 選擇人類來完成任務(wù)A 是理性的。也就是說,人類的許多任務(wù)通常比交給算法完成的任務(wù)更加復(fù)雜,對這種復(fù)雜性認(rèn)識不足就可能產(chǎn)生厭惡算法現(xiàn)象。

    :主要在于算法的不可解釋性、不透明性、精確性不足,等等。眾所周知,人的本質(zhì)在于其社會性,人與人之間在社交場合中進(jìn)行互動交流的各種細(xì)節(jié),人們大都可以很好地理解。但是,社會大眾與算法的密切互動歷史很短,即使從個人電腦的普及開始算起,其歷史也不過短短的幾十年,特別是人工智能時代算法的不透明性、不可解釋性,更是強(qiáng)化了人與算法之間的距離感。盡管推薦算法的性能優(yōu)越于人類(包括陌生人、朋友與家人),但人們?nèi)匀徊辉敢庖揽客扑]系統(tǒng)。其中的一個重要原因在于,相對于來自算法的推薦,人們更易于理解來自人類的推薦。但是,當(dāng)人們了解了算法的工作機(jī)制之后,對推薦系統(tǒng)的反感就會明顯減輕。關(guān)于算法透明性與可解釋性的重要意義,國內(nèi)外學(xué)術(shù)界已給予高度關(guān)注,我們相信算法本身的這些局限性會逐漸得到克服或改進(jìn)。

    另外,缺少與算法互動的豐富經(jīng)驗,相應(yīng)的培訓(xùn)與指導(dǎo)不夠,也被認(rèn)為是引發(fā)厭惡算法現(xiàn)象的重要原因。當(dāng)然,導(dǎo)致厭惡算法現(xiàn)象產(chǎn)生的原因可能并非某種單一的因素,很可能是多種因素的綜合作用。

    二、欣賞算法現(xiàn)象及其產(chǎn)生原因

    20 世紀(jì)80 年代以來,隨著專家系統(tǒng)的廣泛應(yīng)用,學(xué)者們也注重研究公眾對專家系統(tǒng)的認(rèn)知態(tài)度與使用情況。研究表明,使用者接受專家系統(tǒng)的建議并不總是基于他們對相關(guān)建議的細(xì)致考量。相反,他們擁有的關(guān)于計算機(jī)建議的某些信念(比如認(rèn)為計算機(jī)是客觀的、理性的、公正的),會影響其對專家系統(tǒng)建議的評價,并說服他們接受專家系統(tǒng)的建議。如果人類與專家系統(tǒng)給出的是同樣的論證模式,人們認(rèn)為專家系統(tǒng)是更客觀、更理性的。這些信念使得部分人對專家系統(tǒng)很信任,很少認(rèn)真研究專家系統(tǒng)建議的合理性與科學(xué)性,甚至有時會接受它的錯誤建議。

    進(jìn)入21 世紀(jì)之后,隨著互聯(lián)網(wǎng)搜索引擎算法的發(fā)展與成熟,人們獲取海量信息變得易如反掌。人們不再需要費盡力氣去查找各種信息,包括在遇到一些困難問題時,首先想到的就是求助于計算機(jī),通過搜索工具去尋找問題答案。即使是需要某些曾經(jīng)存儲在大腦中的信息,人們通常也不努力通過回憶的方式來獲取。因此,互聯(lián)網(wǎng)已經(jīng)成為人類外在于人腦的首要信息存儲方式。目前人們對通過互聯(lián)網(wǎng)獲取信息的高度依賴性,在一定程度上也可被看作對搜索算法的依賴與信任。

    對于作為非專業(yè)人士的普通公眾而言,人們更愿意接受來自算法而不是其他人的建議,洛格(Jennifer Logg)等人將這種現(xiàn)象稱為 “欣賞算法” (algorithm appreciation)。洛格等人認(rèn)為,人們對算法的態(tài)度,既與算法的精確性相關(guān),也與應(yīng)用的領(lǐng)域關(guān)系密切。對那些與個人喜好相關(guān)的問題,人們確實更樂于接受密友的建議,但在那些對精確性有明確標(biāo)準(zhǔn)的領(lǐng)域,比如投資決策、體育比賽預(yù)測等,人們更樂于接受算法給予的建議。而且,相對普通公眾來說,專業(yè)人員較為輕視算法的建議,由此導(dǎo)致他們抉擇的精確性反而不如普通公眾。欣賞算法現(xiàn)象與年齡無關(guān),而且欣賞算法的具體表現(xiàn)并不統(tǒng)一,因時因人而異。當(dāng)算法建議與人們自己的判斷不相一致時,欣賞算法的程度會有所減弱,但并不會消失。

    欣賞算法與信任算法的現(xiàn)象在部分領(lǐng)域得到了一定程度的驗證。比如在新聞選擇方面的驗證:通過對來自26 個國家的5 萬多人的調(diào)研表明,對于來自算法和相關(guān)工作人員的新聞推薦,人們整體上更樂于接受算法推薦的新聞。而且,即使這些推薦是源自專家而非外行人員,人們?nèi)匀粓猿诌x擇算法的推薦。另外,年齡、對隱私的關(guān)注、是否付費、是否可以通過移動設(shè)備獲取新聞等因素,對于個人選擇新聞的獲取方式都有較為明顯的影響。又如,有學(xué)者通過對435 名中學(xué)教師的在線調(diào)研表明,對于評價學(xué)生表現(xiàn),大多數(shù)教師傾向于尋求并遵循來自人類而非專家模型的建議。但是,當(dāng)面對難度較大的任務(wù)時,教師們認(rèn)為算法的準(zhǔn)確性高于人類預(yù)測者。

    總的來看,至少有以下一些因素使得人們欣賞算法的現(xiàn)象產(chǎn)生。比如,人們通常對天氣預(yù)報比較關(guān)心,由于目前天氣預(yù)報精確度較高,很多人基于以往的經(jīng)驗,都愿意選擇相信天氣預(yù)報。即使偶爾預(yù)報出了差錯,人們一般也不會選擇放棄信任天氣預(yù)報。另外,研究表明,通過共享其他人之前運用過某種算法的情況,會減輕人們接受該算法的認(rèn)知負(fù)擔(dān),并顯著提高其對算法的接受度。就像人們購物或選擇餐館前喜歡查看用戶評價一樣,對于那些用戶評價較好的算法,自然也易于得到更多人的信任與接受。

    前文提及的厭惡算法現(xiàn)象在醫(yī)學(xué)領(lǐng)域也普遍存在,這可能是由于人們傾向于認(rèn)為,以算法為基礎(chǔ)的人工智能系統(tǒng)會以共同的方式對待病人,而忽視病人的個人特征,即所謂的 “獨特性忽視” ( u niqueness neglect)。但是,如果人工智能系統(tǒng)能夠針對每位病人的特點提供個性化的服務(wù),那么人們在醫(yī)生與人工智能系統(tǒng)之間的選擇意愿則平分秋色。在各種算法當(dāng)中,購物網(wǎng)站的推薦算法具有明顯的個性化特征。筆者本人在網(wǎng)上購買某些書籍之后,經(jīng)常會被購物網(wǎng)站推薦的書籍所吸引,同時也確實發(fā)現(xiàn)了某些與已購圖書內(nèi)容相關(guān)的書籍。據(jù)筆者私下了解,這確實是一種較為普遍的現(xiàn)象。

    大多數(shù)人在面對某些專業(yè)性問題(比如理財)時,雖然對自己的目的很清楚,但并不知道應(yīng)該如何正確處理,此即 “意圖—行動鴻溝(” i n tention-action gap)。如果去咨詢?nèi)祟悓<?,需要支付一定的費用,而且還有諸多不便,比如時間方面的限制。但是,具備不同功能的算法(程序或應(yīng)用軟件)在互聯(lián)網(wǎng)上卻是隨時可得,而且大多是免費的,即使收費,通常價格并不高。也就是說,算法相對于人類專家而言,確實擁有明顯的低成本、易獲取等優(yōu)勢。

    諾貝爾經(jīng)濟(jì)學(xué)獎得主卡內(nèi)曼(Daniel Kahneman)等人認(rèn)為,人類不是可靠的決策者,人類的判斷很容易受到各種無關(guān)因素的影響,比如當(dāng)下的心情、上次就餐時間、天氣等,他們稱之為干擾判斷的機(jī)會變量。干擾因素與過度自信、無根據(jù)的樂觀主義等認(rèn)知偏見不同,它們比偏見更普遍,隱藏得更深,不過干擾因素比偏見更容易量化。這些干擾因素產(chǎn)生的影響比人們通常想象的程度更大,而消除這些干擾因素最徹底的解決方式就是用算法取代人類的判斷。

    伊達(dá)爾戈(Cesar Hidalgo)把一個人的神經(jīng)系統(tǒng)能夠積累的最大信息量定義為 “人比” (personbyte)。如果我們假設(shè)一個人只能積累一個人比的信息量,那么某個人要獲得更多的信息,就必須依靠其他人員的幫助。也就是說,人類生物學(xué)意義上的知識與信息積累能力是有限的,對于目前人類面對的海量數(shù)據(jù)顯然是無能為力的。有學(xué)者認(rèn)為,在算法強(qiáng)大的力量下,賽博世界中產(chǎn)生的海量數(shù)據(jù)和信息不再是一團(tuán)亂麻,算法可以輕易找到隱藏在 “亂麻” 中的 “線頭” ,讓這些數(shù)據(jù)和信息變得有秩序。正因為算法擁有的強(qiáng)大能力,有的咨詢公司向企業(yè)管理人員大力推薦算法,鼓勵他們積極采用基于算法的決策,幫助他們盡可能避免與克服厭惡算法現(xiàn)象。

    正是由于算法的強(qiáng)大功能,它在各類組織、機(jī)構(gòu)、商業(yè)與政府部門的決策中發(fā)揮著關(guān)鍵性的作用,主導(dǎo)著人們處理事務(wù)的方式,因而具有強(qiáng)大的社會影響力,甚至已成為一種社會權(quán)力。在這樣的社會背景中,我們已經(jīng)不可能無視算法的普遍存在,而是應(yīng)該培育恰當(dāng)?shù)乃惴ㄐ湃危陀^認(rèn)識算法的優(yōu)越性與不足之處,理性地與算法系統(tǒng)互動。

    三、算法信任的建構(gòu)途徑

    數(shù)字鴻溝(digital divide)通常指不同家庭、群體對信息技術(shù)的擁有與使用情況方面存在的差異。研究表明,數(shù)字鴻溝不僅與性別、年齡、收入、學(xué)歷等常見的社會—經(jīng)濟(jì)標(biāo)準(zhǔn)有關(guān),還與心理因素有關(guān),厭惡算法與欣賞算法的研究進(jìn)一步證明了這一點。在日益深度科技化的智能社會中,以算法為基礎(chǔ)的人工智能技術(shù)必將在人類生活中扮演更加重要的角色。一方面,我們需要形成對算法的理性認(rèn)知,不迷信算法,避免過分信任算法而產(chǎn)生所謂的自動化偏見(automation bias)。另一方面,我們也不能排斥算法,需要理性接納算法,避免智能時代的數(shù)字鴻溝。另外,對于人工智能倫理研究而言,算法信任具有至關(guān)重要的基礎(chǔ)性意義。人工智能倫理研究的一個重要方向就是使智能產(chǎn)品具有一定的倫理判斷與行為能力,但已有研究表明,人們可能并不希望智能產(chǎn)品作出某些道德決策,因此建構(gòu)算法信任是人工智能倫理研究必須面對的一項基本任務(wù)。根據(jù)目前學(xué)術(shù)界研究成果,結(jié)合前述厭惡算法與欣賞算法現(xiàn)象及其原因分析,我們至少可以從技術(shù)、用戶與人機(jī)互動三個維度著手建構(gòu)合理的算法信任,使算法更好地為人類服務(wù)。

    :科技工作者應(yīng)該在充分了解并把握用戶心理與預(yù)期等情況下,開發(fā) “以人為本” 的算法,提升算法透明性、精確性與人性化,避免 “殺熟” 現(xiàn)象等負(fù)面影響。就目前的實證研究成果而言,至少可以從以下幾個方面著手。

    第一,進(jìn)一步提高算法的精確度與運行速度。雖然目前許多算法已經(jīng)頗為準(zhǔn)確,但有的情況下仍然會出現(xiàn)明顯的瑕疵,進(jìn)一步提高算法的精確性,顯然有助于增加用戶的信任度。另外,加快算法運行的速度亦至關(guān)重要。人們通常認(rèn)為,預(yù)測任務(wù)對人類而言是困難的,因而需要費時費力,而對于算法來說則是簡單的,算法所耗費的時間與其預(yù)測質(zhì)量無關(guān)。因此,人類思考時間越長,得出的結(jié)果可能越可靠。但是,如果算法預(yù)測的反應(yīng)越慢,人們就認(rèn)為算法預(yù)測結(jié)果越不準(zhǔn)確,也就不愿意信賴它們。

    第二,切實提高算法透明度。提高算法透明度毫無疑問有助于增加算法信任。而且,算法不透明不但可能導(dǎo)致厭惡算法,還可能導(dǎo)致用戶出現(xiàn)算法焦慮(algorithmic anxiety)現(xiàn)象。通過對美國短租平臺愛彼迎(Airbnb)房東的調(diào)研表明,房東對平臺的評價算法工作機(jī)制不太了解,只知道一部分因素的重要性,對其他方面的重要程度不能確定,因而認(rèn)為評價算法不透明、不可控,有明顯的不確定性,由此產(chǎn)生算法焦慮現(xiàn)象。

    非專業(yè)人員不可能弄懂算法的具體工作機(jī)制,不過還是有若干具體途徑可以提高用戶能夠感受到的算法透明度。比如,提高算法結(jié)果的可預(yù)測性、可解釋性,特別是當(dāng)出現(xiàn)與用戶預(yù)期相反的結(jié)果,算法應(yīng)該給出詳盡的說明;算法決策的具體因素與指標(biāo),應(yīng)該向用戶進(jìn)行詳細(xì)說明;算法所采集、存儲、使用與刪除數(shù)據(jù)的情況,特別是可能涉及個人隱私的數(shù)據(jù),必須征得用戶知情同意,并切實保護(hù)用戶隱私;當(dāng)用戶是與以算法為基礎(chǔ)的工作系統(tǒng)而不是與人類工作人員進(jìn)行互動時,必須提前明確告知,等等。

    第三,科技工作者要充分把握用戶的預(yù)期,客觀介紹算法功能,同時對算法擅長與否的領(lǐng)域要有明確的認(rèn)識與區(qū)分。前述關(guān)于厭惡算法的論述提及,違背預(yù)期是產(chǎn)生厭惡算法現(xiàn)象的原因之一。因此,科技工作者需要將用戶的預(yù)期與算法的功能協(xié)調(diào)一致,特別是當(dāng)算法的運行有所調(diào)整時,一定要及時告知用戶。另外,算法是對現(xiàn)實世界的簡化與模擬,現(xiàn)實世界永遠(yuǎn)比算法所描述或處理的更為復(fù)雜。因此,科技工作者在一些規(guī)則比較明確、理論基礎(chǔ)牢固的領(lǐng)域,可以充分發(fā)揮算法的威力,阿爾法圍棋就是其中的典型代表。但是,對于算法可能不能靈活處理的醫(yī)學(xué)、人文、社會科學(xué)等領(lǐng)域,除了特定問題之外,對于算法的大范圍推廣應(yīng)用就更應(yīng)該謹(jǐn)慎對待。如果在某些不太適當(dāng)?shù)念I(lǐng)域推廣不成熟的算法,只會加劇厭惡算法現(xiàn)象。

    第四,盡可能減少或避免算法歧視、偏見、 “殺熟” 等負(fù)面效應(yīng)。雖然算法偏見在一定程度上是無法根本避免的,但盡量減輕相應(yīng)影響是可能的,也是必須的。對此,學(xué)術(shù)界已有大量的討論,在此不再贅述。

    :對用戶而言,需要通過提升算法意識、培育算法想象、豐富算法經(jīng)驗、加強(qiáng)算法培訓(xùn)等途徑來培育算法理性。

    第一,提升用戶的算法意識。雖然算法無處不在,但人們是否對算法的存在擁有自覺意識則是另一回事。通過對40 名臉書(Facebook)用戶的調(diào)研表明,有超過一半(62.5%)的用戶根本就沒有意識到臉書關(guān)于新聞推送算法的存在。在認(rèn)識到算法的存在之后,他們剛開始的反應(yīng)是驚訝與惱火。不過,在2—6 個月之后,大家對臉書仍然保持類似水平的滿意度。最重要的是,算法意識使得用戶更積極主動地調(diào)整相關(guān)設(shè)置,增強(qiáng)了對系統(tǒng)的控制感。雖然我國數(shù)字技術(shù)普及率較高,但公眾算法意識并不算高。比如,我們經(jīng)常可以在新聞報道里看到,有人通過某種搜索引擎得到某些方面的推薦信息,結(jié)果在經(jīng)歷不甚愉快的事件后才發(fā)現(xiàn)靠前的推薦并不是最優(yōu)的。當(dāng)然,隨著各種監(jiān)管制度與措施的完善,這類情況已經(jīng)明顯下降,但提升公眾的算法意識的確有助于減少上當(dāng)受騙的現(xiàn)象。由于算法的不可見性,為了提升算法意識,我們需要關(guān)注算法界面的研究,分析用戶在何時、何地以及如何意識到算法的存在,這些知覺又如何轉(zhuǎn)譯為對算法的認(rèn)知。

    第二,培育合理的算法想象。為了探究人們在哪些情況與環(huán)境中會意識到算法的存在,算法意識又會在何種程度上影響人們對各類平臺的應(yīng)用,布赫(Taina Bucher )提出了 “算法想象” (algorithmic imaginary)概念,用以分析算法的個人體驗與日常影響,說明算法如何擁有影響與被影響的能力。算法想象主要指人們思考算法是什么、算法應(yīng)該是什么,以及它們?nèi)绾伟l(fā)揮作用等問題的方式。算法想象不只是產(chǎn)生不同的情緒與感知,而且它們對塑造算法也會產(chǎn)生關(guān)鍵性作用。比如,臉書的用戶在認(rèn)識到算法的選擇、推薦等工作模式之后,會采用相應(yīng)的策略,使自己的發(fā)帖更容易被算法識別并推薦,包括在特定的時間發(fā)帖、以某種方式組織內(nèi)容、在內(nèi)容中回避或包含某些關(guān)鍵詞等,而某些策略的成功或失敗會明顯改變?nèi)藗儗λ惴ǖ乃伎?、談?wù)撆c感受方式,由此產(chǎn)生各種不同的情緒;為了抵制算法的控制,有些用戶采取相反的策略,故意采取某些算法無法預(yù)測的方式與之進(jìn)行互動,或者提供某些虛假的數(shù)據(jù),這些反饋也成為塑造算法系統(tǒng)的重要組成部分??梢姡瑢ι鐣妬碚f,算法不是抽象的計算過程,而是擁有某種調(diào)整人們生活與思維方式的力量。我們應(yīng)該讓公眾全面了解算法的大致工作原理與模式,使其明白算法的優(yōu)點與可能的不足,從而使公眾對算法擁有理性的認(rèn)知,保持較為合理的算法想象,進(jìn)而在與算法系統(tǒng)互動的過程中既充分利用算法的優(yōu)點為自己服務(wù),也盡量規(guī)避或減少因較多錯誤甚至虛假信息而導(dǎo)致的算法功能失靈或弱化。

    第三,豐富算法經(jīng)驗。算法想象概念的實質(zhì)就是強(qiáng)調(diào)要關(guān)注人們對算法的認(rèn)知,以及這種認(rèn)知對算法系統(tǒng)與用戶之間的相互影響。阿爾瓦拉多(Oscar Alvarado)等人更加明確地提出了 “算法經(jīng)驗” (algorithmic experience)的概念,倡導(dǎo)較為全面地研究用戶對算法的認(rèn)知,分析算法的哪些特征與功能會對用戶產(chǎn)生重要影響,并根據(jù)用戶的體驗來改進(jìn)算法設(shè)計,進(jìn)而使用戶產(chǎn)生更好的算法體驗。我們認(rèn)為,布赫主張的算法想象概念主要關(guān)注用戶對算法的主觀認(rèn)知,特別是負(fù)面的感受,而算法經(jīng)驗強(qiáng)調(diào)我們應(yīng)該研究用戶對算法的了解如何影響他們與算法系統(tǒng)的互動,以及用戶對算法的各種態(tài)度,并注重對算法進(jìn)行改進(jìn),因此,強(qiáng)調(diào)算法經(jīng)驗比單純關(guān)注算法想象應(yīng)該更為全面與合理。只有通過對算法經(jīng)驗進(jìn)行深入細(xì)致的實證研究,我們才有可能真正設(shè)計出 “以人為本” 的算法系統(tǒng),同時也為用戶提供概念工具,用以全面、合理地理解算法及其運作,從而減少厭惡算法現(xiàn)象,提升欣賞算法的比例。

    第四,加強(qiáng)教育培訓(xùn)工作??萍脊ぷ髡咝枰哟髮λ惴ǖ目破?,使社會公眾更加全面地了解算法,特別是算法的學(xué)習(xí)功能、個性化服務(wù)的可能性與實現(xiàn)途徑,等等。公眾需要積極主動地學(xué)習(xí)相關(guān)知識,接受某些教育培訓(xùn),進(jìn)而加深對算法的理解與認(rèn)知,更加理性地與算法系統(tǒng)互動。

    :我們需要進(jìn)一步加強(qiáng)人機(jī)互動的經(jīng)驗研究,強(qiáng)調(diào)人機(jī)互補(bǔ),給予用戶一定的自主性,同時加強(qiáng)技術(shù)接受研究。

    首先,通過人機(jī)互動研究探索人機(jī)互動特征與信任模式。前文提及的豐富算法經(jīng)驗,其實質(zhì)也是強(qiáng)調(diào)人機(jī)互動研究。前文的算法經(jīng)驗主要是針對用戶而言的,而此處的人機(jī)互動研究更多地強(qiáng)調(diào)科技工作者的責(zé)任,也就是深入研究人機(jī)互動的特征,盡可能滿足用戶的心理預(yù)期。首先,需要深入了解算法認(rèn)知的個體差異與信任模式。大量的經(jīng)驗研究表明,個體在與算法系統(tǒng)互動的過程中,文化、年齡、性別、性格等各種個體特征都與信任程度有一定關(guān)聯(lián),雖然相關(guān)的具體機(jī)制還不清楚,但大多數(shù)經(jīng)驗研究已經(jīng)證明了這一點,而且這些個體特征大多(除了性別)還會隨著時間的推移而產(chǎn)生變化。同時,用戶與算法系統(tǒng)互動過程中的信任大致可以分為傾向性信任(dispositional trust)、情境信任(situational trust)與習(xí)得信任(learned turst)等類型。傾向性信任指個體對算法的總體性信任取向,與具體情境與特定系統(tǒng)無關(guān),文化、年齡、性別與性格特征等因素主要影響該類型信任。隨各種不同情境(包括外部環(huán)境與個體內(nèi)在特點)而變化的信任即情境信任。習(xí)得信任即用戶通過當(dāng)前或之前與算法系統(tǒng)的互動積累的經(jīng)驗而作出的對算法的判斷。如前所述,習(xí)得信任既與用戶的知識背景相關(guān),也與算法系統(tǒng)的表現(xiàn)情況關(guān)系密切。當(dāng)然,這三種信任雖然有一定區(qū)別,但也相互關(guān)聯(lián),共同發(fā)揮作用。我們需要在了解前兩種信任類型的基礎(chǔ)上,重點培育用戶的習(xí)得信任。

    其次,增強(qiáng)人類在人機(jī)互動過程中的自主性與控制感。已有的實證研究表明,當(dāng)用戶可以修改算法的預(yù)測結(jié)果時,他們更傾向于選擇算法,即使發(fā)現(xiàn)算法本身并不完美也愿意使用算法。盡管人們能夠修改的方面受到嚴(yán)格限制,但人們還是愿意選擇能夠修改的模式。也就是說,用戶對修改算法的偏好,表明他們希望能夠?qū)λ惴A(yù)測的結(jié)果進(jìn)行某種程度的控制,但并不是希望有很大的控制權(quán),只是在與算法互動的過程中保持一定的自主性,這種自主性使用戶對算法預(yù)測結(jié)果感到更滿意,更愿意相信算法的優(yōu)越性。與此類似的研究亦表明,如果能夠把用戶自己的觀點融入算法之中,可以使用戶更樂于接受與遵循算法的建議。

    在某些特殊情況下,人機(jī)互動過程中的自主性與控制力尤為重要。比如,心理學(xué)家彌爾(Paul Meehl)提出的 “腳骨折” 案例就是一種典型情況。如果我們觀察到某人每周二晚上都會去看電影,于是在我們的統(tǒng)計模型中,可以得出 “周二晚上某人會去看電影” 的推斷。可是,當(dāng)我們某個周二早上看到他腳骨折了,我們一般不會再認(rèn)為他當(dāng)天會去看電影,但統(tǒng)計模型仍然會得出之前的結(jié)論。盡管某人出現(xiàn)腳骨折的概率很低,但這個案例提醒我們,任何算法都不可能窮盡所有的可能性,對于算法給出的明顯違背常識的預(yù)測,我們應(yīng)該保持高度的警惕,并根據(jù)具體的情況對其進(jìn)行否決。

    再次,加強(qiáng)技術(shù)接受研究。我們既需要引導(dǎo)新的用戶接受算法,同時也必須重視用戶使用算法后是否愿意繼續(xù)長期使用。考慮到智能產(chǎn)品目前已有較為廣泛的應(yīng)用,因此后者更值得我們關(guān)注。針對用戶對信息系統(tǒng)的使用與接受的行為表現(xiàn),巴特查里亞(Anol Bhattacherjee)進(jìn)一步完善了所謂的 “預(yù)期—確認(rèn)理論” (expectation-confirmation theory)。該理論認(rèn)為,用戶是否愿意繼續(xù)使用某種信息系統(tǒng),是由他們對使用情況以及繼續(xù)使用中的感知有用性(perceived usefulness)兩方面的滿意度所決定的,同時,用戶的滿意度又受到來自之前使用經(jīng)驗以及感知有用性的預(yù)期確認(rèn)程度的影響。我們需要深入探討用戶首次接受信息技術(shù)之后的心理動機(jī),因為這些動機(jī)可能影響用戶是否繼續(xù)使用該技術(shù)的抉擇。由于用戶在接受技術(shù)之前的態(tài)度主要受到大眾媒體、同事朋友等二手信息的影響,因此可能并不符合實際。但是,用戶使用技術(shù)之后的滿意度是基于直接體驗,因此基本上是準(zhǔn)確的。如果我們對用戶的預(yù)期與確認(rèn)、滿意度與情感意圖等復(fù)雜的心理動機(jī)形成比較準(zhǔn)確的理解,顯然有利于更好地理解用戶接受技術(shù)的具體機(jī)制。

    巴特查里亞等人的技術(shù)接受模型被稱為 “后接受模型” ( p ost-acceptance model)。一些學(xué)者通過更加細(xì)致的經(jīng)驗研究,探討用戶繼續(xù)使用信息技術(shù)過程中的演變情況,或者融入某些互補(bǔ)性的理論觀點,使該技術(shù)接受模型更加精細(xì)化。有學(xué)者關(guān)注技術(shù)與具體工作之間的內(nèi)在關(guān)系,認(rèn)為具體工作與技術(shù)支持的符合程度,會影響工作業(yè)績與技術(shù)使用情況,即 “任務(wù)—技術(shù)匹配理論(” t a sk-technology fit theory)。根據(jù)這一理論,我們可以從任務(wù)特征、技術(shù)特征、任務(wù)—技術(shù)匹配、業(yè)績影響與使用情況等五個方面著手建構(gòu)技術(shù)接受模型。在具體的實證研究中,既可以圍繞技術(shù)為中心展開,也可以以用戶為中心進(jìn)行,這兩條研究進(jìn)路可以相互補(bǔ)充、并行不悖??偟膩碚f,技術(shù)接受是一個動態(tài)發(fā)展過程,為了更好地培育用戶的欣賞算法認(rèn)知,我們不僅需要關(guān)注用戶最初使用算法系統(tǒng)的感受,還必須重視研究用戶繼續(xù)使用的意愿及其影響因素。

    四、結(jié)語

    算法作為人工智能科技的一種基本要素,在智能社會中發(fā)揮著日益重要的作用。有人可能出于各種不同的原因排斥算法,不愿意接受算法推薦與算法決策,同時也有人偏向于欣賞與信任算法。對于相同的算法應(yīng)用領(lǐng)域,不同的用戶可能產(chǎn)生完全相反的態(tài)度。用戶對算法的不同認(rèn)知情況充分說明,要使智能產(chǎn)品得到社會成員的廣泛接受,我們必須重視以用戶為中心的算法研究,而不是就算法本身研究算法。如何使公眾理性地認(rèn)知算法,充分認(rèn)識算法的優(yōu)勢與不足,更為合理地應(yīng)用算法進(jìn)行理性決策,避免出現(xiàn)過度信任與盲目排斥算法等不當(dāng)傾向,應(yīng)該是與提高算法的技術(shù)水平同樣重要的任務(wù)。

    猜你喜歡
    信任人類算法
    人類能否一覺到未來?
    人類第一殺手
    好孩子畫報(2020年5期)2020-06-27 14:08:05
    基于MapReduce的改進(jìn)Eclat算法
    Travellng thg World Full—time for Rree
    1100億個人類的清明
    表示信任
    進(jìn)位加法的兩種算法
    嚶嚶嚶,人與人的信任在哪里……
    桃之夭夭B(2017年2期)2017-02-24 17:32:43
    從生到死有多遠(yuǎn)
    一種改進(jìn)的整周模糊度去相關(guān)算法
    欧美+日韩+精品| 久久精品综合一区二区三区| 久久久久九九精品影院| 日本撒尿小便嘘嘘汇集6| 制服人妻中文乱码| 一个人看的www免费观看视频| 亚洲乱码一区二区免费版| 女生性感内裤真人,穿戴方法视频| 母亲3免费完整高清在线观看| 久99久视频精品免费| 级片在线观看| 一区二区三区激情视频| 国内揄拍国产精品人妻在线| 91在线精品国自产拍蜜月 | 午夜福利高清视频| 久久精品影院6| 欧美xxxx黑人xx丫x性爽| 久久久国产成人精品二区| 日日摸夜夜添夜夜添小说| 亚洲va日本ⅴa欧美va伊人久久| 日本与韩国留学比较| 久久久久久久午夜电影| 国产成人aa在线观看| 亚洲在线观看片| 欧美激情久久久久久爽电影| 日韩 欧美 亚洲 中文字幕| 综合色av麻豆| 国产成人影院久久av| 欧美乱妇无乱码| 欧美乱妇无乱码| 99在线视频只有这里精品首页| 欧美色视频一区免费| 精品欧美国产一区二区三| 日韩有码中文字幕| 成年女人毛片免费观看观看9| 亚洲人成网站在线播| 欧美中文综合在线视频| 久久久久精品国产欧美久久久| 亚洲欧美日韩高清在线视频| 国产亚洲精品综合一区在线观看| 亚洲最大成人中文| 99视频精品全部免费 在线| 欧美bdsm另类| 一边摸一边抽搐一进一小说| 怎么达到女性高潮| 亚洲精品亚洲一区二区| 超碰av人人做人人爽久久 | 麻豆成人av在线观看| 男人舔女人下体高潮全视频| 久久精品91无色码中文字幕| 久久伊人香网站| 黄色成人免费大全| 亚洲精品色激情综合| 最后的刺客免费高清国语| 亚洲人成网站高清观看| 在线国产一区二区在线| 在线观看66精品国产| 日韩精品青青久久久久久| 国产国拍精品亚洲av在线观看 | 国产精品99久久久久久久久| 美女大奶头视频| 天天添夜夜摸| 亚洲人成网站在线播| 婷婷亚洲欧美| 97超视频在线观看视频| 好男人在线观看高清免费视频| 精品久久久久久久久久免费视频| 国产三级中文精品| 我要搜黄色片| 精品午夜福利视频在线观看一区| 9191精品国产免费久久| 国产一区在线观看成人免费| 亚洲欧美日韩卡通动漫| 99久久成人亚洲精品观看| 国产午夜精品论理片| 国产真实伦视频高清在线观看 | 久久精品综合一区二区三区| 欧美一级毛片孕妇| 精品不卡国产一区二区三区| 亚洲熟妇中文字幕五十中出| 精品熟女少妇八av免费久了| 伊人久久精品亚洲午夜| 国产不卡一卡二| 精品免费久久久久久久清纯| 精品99又大又爽又粗少妇毛片 | 国产激情偷乱视频一区二区| 在线观看av片永久免费下载| av在线天堂中文字幕| 一区二区三区免费毛片| 国产精品亚洲av一区麻豆| 亚洲av成人精品一区久久| 99久久99久久久精品蜜桃| 神马国产精品三级电影在线观看| 日日干狠狠操夜夜爽| 亚洲久久久久久中文字幕| 老司机在亚洲福利影院| 亚洲精品国产精品久久久不卡| 国产麻豆成人av免费视频| 亚洲国产日韩欧美精品在线观看 | 亚洲久久久久久中文字幕| av福利片在线观看| 久久精品影院6| 日韩有码中文字幕| 91九色精品人成在线观看| 亚洲av成人不卡在线观看播放网| 女人十人毛片免费观看3o分钟| 国产69精品久久久久777片| 18+在线观看网站| 神马国产精品三级电影在线观看| 老鸭窝网址在线观看| 尤物成人国产欧美一区二区三区| 此物有八面人人有两片| 啪啪无遮挡十八禁网站| svipshipincom国产片| 国产老妇女一区| 宅男免费午夜| 国产成人av教育| 99久久99久久久精品蜜桃| 午夜免费成人在线视频| 久久精品影院6| 狂野欧美白嫩少妇大欣赏| 9191精品国产免费久久| 色综合亚洲欧美另类图片| 国产成人影院久久av| 脱女人内裤的视频| 国产一区二区在线观看日韩 | 无限看片的www在线观看| 亚洲成人中文字幕在线播放| 一区二区三区免费毛片| 欧美高清成人免费视频www| 日本与韩国留学比较| 亚洲aⅴ乱码一区二区在线播放| 国产久久久一区二区三区| 亚洲成人免费电影在线观看| 久久久久久国产a免费观看| 最新在线观看一区二区三区| 女同久久另类99精品国产91| 久久久久久大精品| 色尼玛亚洲综合影院| 身体一侧抽搐| 99国产综合亚洲精品| 亚洲欧美精品综合久久99| 波野结衣二区三区在线 | 亚洲avbb在线观看| 亚洲中文字幕一区二区三区有码在线看| 成年女人永久免费观看视频| 成人亚洲精品av一区二区| 黄色成人免费大全| 淫秽高清视频在线观看| 老司机午夜福利在线观看视频| 亚洲av五月六月丁香网| АⅤ资源中文在线天堂| 亚洲第一欧美日韩一区二区三区| av在线蜜桃| 国产一区二区三区在线臀色熟女| 亚洲第一欧美日韩一区二区三区| 欧美高清成人免费视频www| 天天一区二区日本电影三级| 成人av一区二区三区在线看| 国内揄拍国产精品人妻在线| 三级毛片av免费| 特级一级黄色大片| 午夜免费观看网址| 日本黄色片子视频| 成人特级黄色片久久久久久久| 哪里可以看免费的av片| 国产久久久一区二区三区| 人妻夜夜爽99麻豆av| 免费大片18禁| 国产成人av激情在线播放| 97碰自拍视频| 岛国在线免费视频观看| 国产激情欧美一区二区| 国产精品香港三级国产av潘金莲| 成人av在线播放网站| 成人永久免费在线观看视频| 岛国视频午夜一区免费看| 国产美女午夜福利| 亚洲精品一卡2卡三卡4卡5卡| 亚洲18禁久久av| 美女高潮的动态| 又紧又爽又黄一区二区| 99国产综合亚洲精品| 亚洲精品乱码久久久v下载方式 | 在线观看免费午夜福利视频| 国产色婷婷99| 国产视频一区二区在线看| 国产高清激情床上av| 免费看美女性在线毛片视频| 欧美色欧美亚洲另类二区| 国产精品永久免费网站| a级一级毛片免费在线观看| 亚洲av二区三区四区| 国产精品av视频在线免费观看| 成人午夜高清在线视频| 熟女少妇亚洲综合色aaa.| 亚洲午夜理论影院| 又紧又爽又黄一区二区| 久久婷婷人人爽人人干人人爱| 亚洲精华国产精华精| 精品一区二区三区视频在线 | 日本熟妇午夜| 亚洲精品美女久久久久99蜜臀| av片东京热男人的天堂| 国产99白浆流出| 亚洲av一区综合| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 午夜福利在线在线| 嫁个100分男人电影在线观看| 看黄色毛片网站| 亚洲片人在线观看| 欧美黄色淫秽网站| 国产爱豆传媒在线观看| 免费看十八禁软件| 又黄又爽又免费观看的视频| 丰满乱子伦码专区| 国产久久久一区二区三区| 又粗又爽又猛毛片免费看| 亚洲五月天丁香| 午夜日韩欧美国产| 亚洲av美国av| 欧洲精品卡2卡3卡4卡5卡区| 日韩欧美国产一区二区入口| 好男人在线观看高清免费视频| 国产精品乱码一区二三区的特点| 久久久久久久久久黄片| 欧美另类亚洲清纯唯美| 女人高潮潮喷娇喘18禁视频| 操出白浆在线播放| 日本黄色视频三级网站网址| 性色av乱码一区二区三区2| 高潮久久久久久久久久久不卡| 搡老岳熟女国产| 成年人黄色毛片网站| 国产成+人综合+亚洲专区| 色吧在线观看| 欧美日韩亚洲国产一区二区在线观看| 欧美日本亚洲视频在线播放| 亚洲国产色片| 亚洲国产高清在线一区二区三| 国产伦人伦偷精品视频| 波多野结衣巨乳人妻| 色综合亚洲欧美另类图片| 日本撒尿小便嘘嘘汇集6| 成人特级黄色片久久久久久久| 亚洲av一区综合| 免费在线观看日本一区| 丰满人妻一区二区三区视频av | 亚洲 国产 在线| 久久久久国内视频| 国产精品一区二区三区四区免费观看 | 欧美一级毛片孕妇| 国产av在哪里看| 成年人黄色毛片网站| 久久久久国产精品人妻aⅴ院| 亚洲精品国产精品久久久不卡| 成人18禁在线播放| 人人妻人人澡欧美一区二区| 欧美日韩一级在线毛片| 欧美区成人在线视频| 午夜亚洲福利在线播放| 亚洲成av人片在线播放无| 亚洲精品色激情综合| 成人亚洲精品av一区二区| 97碰自拍视频| 禁无遮挡网站| 午夜两性在线视频| 欧美成人a在线观看| 欧美乱码精品一区二区三区| 天堂√8在线中文| 高清在线国产一区| 国产不卡一卡二| 国内精品久久久久久久电影| 夜夜看夜夜爽夜夜摸| 51午夜福利影视在线观看| 国产精品野战在线观看| 哪里可以看免费的av片| 久久久久精品国产欧美久久久| 人人妻,人人澡人人爽秒播| 国产精品日韩av在线免费观看| 很黄的视频免费| 中文资源天堂在线| 国产男靠女视频免费网站| 乱人视频在线观看| 国产亚洲欧美98| 国产精品国产高清国产av| 国产91精品成人一区二区三区| 男人和女人高潮做爰伦理| 99久久精品一区二区三区| 久久欧美精品欧美久久欧美| 亚洲av日韩精品久久久久久密| 国产中年淑女户外野战色| 91在线观看av| 欧美bdsm另类| 午夜老司机福利剧场| 天堂网av新在线| 午夜福利高清视频| 欧美黑人巨大hd| 麻豆一二三区av精品| 亚洲av免费在线观看| 欧美极品一区二区三区四区| 3wmmmm亚洲av在线观看| 精品午夜福利视频在线观看一区| 亚洲乱码一区二区免费版| 女警被强在线播放| 中文字幕av在线有码专区| 91av网一区二区| 国产黄色小视频在线观看| 99久国产av精品| 日韩精品中文字幕看吧| 国产高清激情床上av| 极品教师在线免费播放| 蜜桃久久精品国产亚洲av| 全区人妻精品视频| 亚洲精品国产精品久久久不卡| 老司机午夜十八禁免费视频| 老司机深夜福利视频在线观看| 免费av毛片视频| 日韩有码中文字幕| 99精品在免费线老司机午夜| 婷婷精品国产亚洲av在线| 我要搜黄色片| 国产av一区在线观看免费| 又紧又爽又黄一区二区| 亚洲18禁久久av| 日本撒尿小便嘘嘘汇集6| 少妇熟女aⅴ在线视频| 国产精品久久久人人做人人爽| 一边摸一边抽搐一进一小说| 一区二区三区国产精品乱码| 久久久成人免费电影| 校园春色视频在线观看| 国产一区二区在线观看日韩 | 精品一区二区三区人妻视频| 午夜免费激情av| 亚洲色图av天堂| 狠狠狠狠99中文字幕| 无限看片的www在线观看| 听说在线观看完整版免费高清| 可以在线观看毛片的网站| 五月玫瑰六月丁香| 丰满人妻熟妇乱又伦精品不卡| 国产不卡一卡二| 亚洲欧美精品综合久久99| 亚洲欧美日韩无卡精品| 老司机福利观看| 亚洲自拍偷在线| 国产中年淑女户外野战色| 大型黄色视频在线免费观看| 最近在线观看免费完整版| 波野结衣二区三区在线 | 好看av亚洲va欧美ⅴa在| 丰满乱子伦码专区| 久久精品国产综合久久久| 九九热线精品视视频播放| 波多野结衣巨乳人妻| 国产一区二区激情短视频| 国产精品电影一区二区三区| 国产黄a三级三级三级人| 啦啦啦韩国在线观看视频| 哪里可以看免费的av片| 亚洲av中文字字幕乱码综合| 久久久久久久午夜电影| 国产亚洲精品av在线| 中文字幕熟女人妻在线| 91在线观看av| 性色av乱码一区二区三区2| 特级一级黄色大片| 亚洲aⅴ乱码一区二区在线播放| 亚洲国产精品合色在线| 亚洲五月天丁香| 久久国产精品影院| 青草久久国产| 人妻夜夜爽99麻豆av| 麻豆国产av国片精品| 每晚都被弄得嗷嗷叫到高潮| 亚洲人成电影免费在线| 日本免费一区二区三区高清不卡| 一级黄片播放器| 日韩人妻高清精品专区| 桃色一区二区三区在线观看| 一级a爱片免费观看的视频| 特大巨黑吊av在线直播| 久久99热这里只有精品18| 黄色丝袜av网址大全| 搡老岳熟女国产| 少妇人妻精品综合一区二区 | 欧美一区二区精品小视频在线| 一个人免费在线观看的高清视频| 国内久久婷婷六月综合欲色啪| 国产av在哪里看| 日本 欧美在线| 搞女人的毛片| 久久精品综合一区二区三区| 国产v大片淫在线免费观看| 国产高清视频在线播放一区| 最近最新免费中文字幕在线| 一本综合久久免费| 久久香蕉国产精品| 少妇的丰满在线观看| 国产亚洲精品久久久久久毛片| 国产精品日韩av在线免费观看| 看免费av毛片| 亚洲av电影在线进入| 免费av观看视频| 日韩欧美免费精品| 婷婷精品国产亚洲av| 在线观看午夜福利视频| 身体一侧抽搐| 老司机午夜十八禁免费视频| 18禁黄网站禁片免费观看直播| 精品久久久久久成人av| 草草在线视频免费看| 国产综合懂色| 久久精品影院6| 亚洲中文日韩欧美视频| 51午夜福利影视在线观看| 白带黄色成豆腐渣| 久久性视频一级片| 久久精品人妻少妇| 国产单亲对白刺激| 日韩欧美一区二区三区在线观看| 99热这里只有是精品50| 综合色av麻豆| 欧美日韩瑟瑟在线播放| 免费看十八禁软件| 久久久久久人人人人人| 首页视频小说图片口味搜索| 久久精品国产亚洲av香蕉五月| 国产高清videossex| 亚洲,欧美精品.| 国产激情欧美一区二区| 免费大片18禁| av福利片在线观看| 久久性视频一级片| 国产精品久久久久久亚洲av鲁大| 精品日产1卡2卡| 热99在线观看视频| 国产色婷婷99| 性色avwww在线观看| 欧美最新免费一区二区三区 | 操出白浆在线播放| 在线视频色国产色| av黄色大香蕉| 国产国拍精品亚洲av在线观看 | 亚洲内射少妇av| 91在线观看av| 欧美成人a在线观看| 精品一区二区三区视频在线观看免费| 午夜激情欧美在线| 一级a爱片免费观看的视频| 国内久久婷婷六月综合欲色啪| 岛国视频午夜一区免费看| 真人做人爱边吃奶动态| 色综合站精品国产| 久久久久国产精品人妻aⅴ院| 最后的刺客免费高清国语| 三级国产精品欧美在线观看| 在线免费观看不下载黄p国产 | 国产三级中文精品| 老司机午夜福利在线观看视频| 久久精品夜夜夜夜夜久久蜜豆| 国产高清三级在线| www.999成人在线观看| 中文字幕高清在线视频| 欧美在线一区亚洲| 日本黄色视频三级网站网址| 午夜激情福利司机影院| 国产真人三级小视频在线观看| 欧美大码av| 九色成人免费人妻av| 国产伦一二天堂av在线观看| 搡老妇女老女人老熟妇| 夜夜看夜夜爽夜夜摸| 三级毛片av免费| 99国产极品粉嫩在线观看| 99久久综合精品五月天人人| 99热只有精品国产| 亚洲av成人精品一区久久| 噜噜噜噜噜久久久久久91| 国产精品一区二区三区四区免费观看 | 欧美高清成人免费视频www| 成人午夜高清在线视频| 不卡一级毛片| 美女高潮的动态| 色综合亚洲欧美另类图片| 国产欧美日韩精品一区二区| 日本a在线网址| 久久香蕉精品热| 国产精品美女特级片免费视频播放器| www日本黄色视频网| 亚洲人成网站高清观看| 亚洲国产欧美人成| 一级毛片高清免费大全| 天美传媒精品一区二区| 成年女人看的毛片在线观看| 色视频www国产| 一进一出好大好爽视频| 在线国产一区二区在线| 色精品久久人妻99蜜桃| 老熟妇仑乱视频hdxx| 欧美黄色淫秽网站| 久久中文看片网| 9191精品国产免费久久| 国模一区二区三区四区视频| 国产三级中文精品| 国产精品永久免费网站| 九九热线精品视视频播放| 免费无遮挡裸体视频| 欧美色视频一区免费| 成人国产一区最新在线观看| svipshipincom国产片| 国产一区二区激情短视频| 又黄又爽又免费观看的视频| 亚洲国产色片| 一a级毛片在线观看| 脱女人内裤的视频| 日日干狠狠操夜夜爽| 999久久久精品免费观看国产| 成人鲁丝片一二三区免费| 宅男免费午夜| 久久精品亚洲精品国产色婷小说| 日本一二三区视频观看| 女人高潮潮喷娇喘18禁视频| 制服人妻中文乱码| 国内毛片毛片毛片毛片毛片| 国产亚洲精品久久久久久毛片| aaaaa片日本免费| 香蕉av资源在线| 99久久无色码亚洲精品果冻| 老熟妇仑乱视频hdxx| 亚洲av电影不卡..在线观看| 亚洲精品国产精品久久久不卡| 又黄又爽又免费观看的视频| 精品熟女少妇八av免费久了| 热99在线观看视频| 午夜日韩欧美国产| 18禁裸乳无遮挡免费网站照片| 婷婷精品国产亚洲av在线| 久久久久精品国产欧美久久久| or卡值多少钱| 亚洲中文字幕日韩| 国产单亲对白刺激| 老汉色av国产亚洲站长工具| 激情在线观看视频在线高清| 一本久久中文字幕| 在线视频色国产色| 免费在线观看日本一区| 欧美zozozo另类| 麻豆久久精品国产亚洲av| 精品午夜福利视频在线观看一区| 亚洲精品粉嫩美女一区| 色老头精品视频在线观看| 国产欧美日韩一区二区精品| 在线观看一区二区三区| 小蜜桃在线观看免费完整版高清| 一边摸一边抽搐一进一小说| 午夜影院日韩av| 亚洲在线自拍视频| 成人午夜高清在线视频| 中文字幕av成人在线电影| www.熟女人妻精品国产| av在线天堂中文字幕| 精品一区二区三区视频在线观看免费| 亚洲欧美精品综合久久99| 亚洲精品国产精品久久久不卡| 国产精品98久久久久久宅男小说| 亚洲欧美激情综合另类| 99热只有精品国产| 少妇熟女aⅴ在线视频| 久99久视频精品免费| 久久久成人免费电影| 亚洲无线观看免费| 好男人在线观看高清免费视频| avwww免费| 99久久99久久久精品蜜桃| 日本一二三区视频观看| 国产男靠女视频免费网站| 亚洲人成网站高清观看| 99国产精品一区二区蜜桃av| 97碰自拍视频| 两个人看的免费小视频| 岛国在线免费视频观看| 成人国产一区最新在线观看| 制服人妻中文乱码| а√天堂www在线а√下载| 国内少妇人妻偷人精品xxx网站| 亚洲第一电影网av| 国内毛片毛片毛片毛片毛片| 一区二区三区高清视频在线| 黄色丝袜av网址大全| 一个人免费在线观看电影| 久久久久久九九精品二区国产| 精品久久久久久久久久久久久| 日本免费a在线| 午夜福利在线观看免费完整高清在 | 午夜久久久久精精品| 俄罗斯特黄特色一大片| 久久香蕉精品热| 国产精品亚洲av一区麻豆| 国产成人福利小说| 在线观看免费视频日本深夜| 91麻豆av在线| 日本精品一区二区三区蜜桃| 欧美乱码精品一区二区三区| 嫩草影院入口| 日本与韩国留学比较| 99久久成人亚洲精品观看| 久久精品国产亚洲av香蕉五月| 老司机福利观看| 国产精品久久久久久精品电影| 色视频www国产| www日本在线高清视频| 深爱激情五月婷婷| 一级黄色大片毛片|