• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法態(tài)度文獻(xiàn)綜述、研究框架和未來展望

    2023-01-01 00:00:00景怡
    華東經(jīng)濟(jì)管理 2023年5期

    [摘 要:隨著數(shù)字化和人工智能算法的發(fā)展,算法被越來越廣泛地采用,算法決策越來越普遍。但是人們對(duì)于算法決策的理解仍然存在不同態(tài)度。通過梳理有關(guān)對(duì)算法決策態(tài)度和行為的研究文獻(xiàn),文章提出系統(tǒng)性研究框架,明確人們對(duì)算法決策產(chǎn)生不同態(tài)度和行為的主要原因、邊界條件、主要發(fā)現(xiàn)和研究不足,同時(shí)構(gòu)建算法態(tài)度形成過程理論框架,并確定可行的研究方向。文章希望通過系統(tǒng)性回顧已有研究和整合新的模型,幫助人們更好把握對(duì)算法決策的理解,從而促使企業(yè)、政府、個(gè)人更積極地利用算法工具。

    關(guān)鍵詞:算法決策;人工智能;算法態(tài)度;文獻(xiàn)綜述

    中圖分類號(hào):TP301.6" " " " "文獻(xiàn)標(biāo)識(shí)碼:A " " " 文章編號(hào):1007-5097(2023)05-0107-12 ]

    Abstract:With the development of digitization and artificial intelligence algorithms,algorithms are increasingly widely adopted and algorithmic decision-making is becoming more common. However,people still have different attitudes towards algorithmic decision-making. By reviewing research literature on attitudes and behaviors towards algorithmic decision-making,this paper proposes a systematic research framework,clarifying the main reasons,boundary conditions,main findings,and research shortcomings for people's different attitudes and behaviors towards algorithmic decision-making. At the same time,a theoretical framework for the formation process of algorithmic attitudes is constructed,and feasible research directions are identified. This paper aims to systematically review existing research and integrate new models to help people better understand algorithmic decision-making,thereby promoting enterprises,governments,and individuals to actively utilize algorithmic tools.

    Key words:algorithmic decision-making;artificial intelligence;algorithm attitude;literature review

    一、研究背景

    在經(jīng)歷了兩次發(fā)展浪潮之后,海量數(shù)據(jù)的積累和深度學(xué)習(xí)算法的發(fā)展帶來了人工智能的第三次發(fā)展熱潮[1]。隨著數(shù)字化進(jìn)程加快,人工智能算法被越來越多地應(yīng)用于人類生活和生產(chǎn)。在消費(fèi)領(lǐng)域,企業(yè)利用算法為消費(fèi)者提供服務(wù),例如便利的智能推薦系統(tǒng)[2]、利用算法進(jìn)行醫(yī)療診斷[3]、利用虛擬助手提供服務(wù)[4];在生產(chǎn)領(lǐng)域,算法幫助企業(yè)降低生產(chǎn)成本、提高生產(chǎn)效率,例如算法被用于進(jìn)行生產(chǎn)優(yōu)化[5]和故障診斷[6];在組織領(lǐng)域,算法被用于組織管理的諸多方面,例如通過算法篩選簡(jiǎn)歷、確定薪資水平、績(jī)效評(píng)估[7-8]。除此之外,算法也被應(yīng)用于公共管理領(lǐng)域。雖然人工智能算法的應(yīng)用前景被廣泛討論,但算法可能對(duì)人類造成的影響仍然是社會(huì)關(guān)注的重要問題。例如,有調(diào)查顯示公眾對(duì)人工智能技術(shù)的潛力持樂觀態(tài)度,但同時(shí)對(duì)隨之造成的隱私和安全問題、人工智能取代人類工作等方面也表示擔(dān)憂[9]。

    在許多領(lǐng)域,算法都被認(rèn)為比人類更加精確[10],盡管如此,人們并不總是愿意使用算法,尤其是看到算法出錯(cuò)之后[11],算法也被發(fā)現(xiàn)會(huì)復(fù)制甚至擴(kuò)大人類中存在的偏見[12],即使性別或種族等信息沒有被輸入,這種“算法偏見”仍然存在[13]。例如2018年,亞馬遜放棄了對(duì)女性有偏見的內(nèi)部人工智能招聘工具,該軟件被發(fā)現(xiàn)對(duì)含有“women′s”一詞的申請(qǐng)者進(jìn)行懲罰[14]。

    隨著算法的應(yīng)用越來越廣泛,人類對(duì)算法決策的依賴增強(qiáng),如何設(shè)計(jì)出更公平、更可接受的人工智能算法,增加算法的采用,已經(jīng)成為數(shù)據(jù)科學(xué)家和企業(yè)面臨的問題。在這個(gè)數(shù)字化時(shí)代,必須重新審視人和算法的角色,深入探究人們對(duì)算法決策的態(tài)度,以最大限度利用人類和算法各自的優(yōu)勢(shì)。因此,總結(jié)現(xiàn)有對(duì)算法決策態(tài)度的相關(guān)文獻(xiàn),本文提出了集成的研究框架。

    二、算法決策與算法態(tài)度

    (一)算法與算法決策

    算法可以看作是一組“基于特定的計(jì)算,將輸入數(shù)據(jù)轉(zhuǎn)換為所需輸出的編碼過程”[15]。歐洲議會(huì)將算法定義為解決一個(gè)問題或一類問題的明確過程,既可以由程序員手工編碼,也可以像機(jī)器學(xué)習(xí)那樣從數(shù)據(jù)中自動(dòng)生成[16]?;趯?duì)算法的理解,歐洲議會(huì)將算法決策系統(tǒng)(Algorithmic Decision Systems,ADS)定義為旨在支持決策的特定類型的算法,無論是否基于機(jī)器學(xué)習(xí),ADS通常依賴于對(duì)各種數(shù)據(jù)的分析,可能有不同程度的人類參與[16]。Araujo等(2020)[17]將算法決策(Algorithmic Decision-Making,ADM)或自動(dòng)化決策(Automated Decision-Making,ADM)定義為使用算法或人工智能來收集、處理、建模、使用數(shù)據(jù)作出自動(dòng)決策。根據(jù)這個(gè)定義,無論是人工智能、算法還是自動(dòng)化系統(tǒng)都可以成為決策主體。Lindebaum等(2019)[18]將算法決策稱為基于預(yù)定義規(guī)則或目標(biāo)的自動(dòng)決策,認(rèn)為算法決策需要伴隨一系列假設(shè),并強(qiáng)調(diào)其自動(dòng)決策的特點(diǎn)。K?chling等(2021)[12]認(rèn)為算法決策可以被理解為自動(dòng)化決策、遠(yuǎn)程控制以及工作場(chǎng)所常規(guī)決策的標(biāo)準(zhǔn)化。

    雖然目前對(duì)于算法決策的定義沒有達(dá)成一致,但是大多數(shù)定義都強(qiáng)調(diào)算法決策一定程度的自動(dòng)性特征。隨著人工智能算法的成熟和數(shù)字化進(jìn)程加快,算法決策的定義更加關(guān)注以人工智能和大數(shù)據(jù)為基礎(chǔ)的決策過程。人工智能通常被認(rèn)為是機(jī)器模仿人類智力的能力[16],人工智能算法決策與傳統(tǒng)意義上的算法決策有一定差異。Lindebaum等(2019)[18]指出,基于人工智能的算法一方面可以在執(zhí)行任務(wù)的過程中提高自己,即算法能夠?qū)W習(xí);另一方面人工智能處理大數(shù)據(jù)和計(jì)算結(jié)果的速度是前所未有的,雖然方式往往不透明。與傳統(tǒng)信息技術(shù)不同,內(nèi)部網(wǎng)、專家系統(tǒng)和虛擬網(wǎng)絡(luò)等傳統(tǒng)知識(shí)系統(tǒng)主要是為了擴(kuò)充工作知識(shí)而引入的,并依賴于從業(yè)人員的貢獻(xiàn),知識(shí)系統(tǒng)必須與他們服務(wù)領(lǐng)域?qū)<业墓ぷ鲗?shí)踐緊密結(jié)合;相比之下,當(dāng)前的機(jī)器學(xué)習(xí)系統(tǒng)試圖通過從數(shù)據(jù)中學(xué)習(xí)來自動(dòng)化工作知識(shí),而不依賴于領(lǐng)域?qū)<业膮⑴c[19]。除此之外,傳統(tǒng)的決策支持系統(tǒng)或?qū)<蚁到y(tǒng)不僅包含決策模型,還包含交互式電腦硬件和軟件、數(shù)據(jù)庫、數(shù)據(jù)庫管理系統(tǒng)、圖形和其他復(fù)雜展示以及用戶友好的建模語言[20],而許多算法并不直接與人進(jìn)行物理上的交互[7]。因此,本文不對(duì)傳統(tǒng)決策支持系統(tǒng)和專家系統(tǒng)的態(tài)度和行為進(jìn)行研究,因?yàn)槭褂谜吆芸赡苁艿匠惴ɑ蛉斯ぶ悄苤獾钠渌到y(tǒng)因素如數(shù)據(jù)、交互系統(tǒng)、結(jié)果展示等的影響。綜上所述,本文所說的算法決策是指以大數(shù)據(jù)為基礎(chǔ),以人工智能技術(shù)為核心,通過算法處理做出的決策。

    (二)算法態(tài)度

    根據(jù)態(tài)度的ABC理論,態(tài)度可以分為情感(Affect)、行為(Behavior)和認(rèn)知(Cognition)三個(gè)部分。其中,情感指的是一種情緒反應(yīng)和本能反應(yīng);認(rèn)知包括信念、知識(shí)結(jié)構(gòu)、知覺反應(yīng)和思想;行為包括公開的行為、行為意圖和關(guān)于行為的口頭陳述[21]。本文將人工智能算法態(tài)度定義為個(gè)體對(duì)人工智能算法決策的積極或消極的評(píng)價(jià)性反應(yīng),包括情感、認(rèn)知和行為傾向三個(gè)組成部分。人工智能算法態(tài)度的三個(gè)組成部分相互影響,激發(fā)某一要素會(huì)引發(fā)另外兩個(gè)要素的相應(yīng)反應(yīng),共同決定人們對(duì)人工智能算法決策的實(shí)際行為。

    因此,本文從微觀層面出發(fā),關(guān)注個(gè)體對(duì)人工智能算法決策的態(tài)度和行為。具體而言,本文的研究范圍主要包括:①對(duì)使用人工智能算法決策的態(tài)度,即認(rèn)知、情感和行為。本文的出發(fā)點(diǎn)是使用算法或被算法影響的人,因此本文不關(guān)注傳統(tǒng)的組織對(duì)信息系統(tǒng)的采納和部署行為,也不關(guān)注傳統(tǒng)自動(dòng)化如傳統(tǒng)決策支持系統(tǒng)和專家系統(tǒng)對(duì)組織的支持。②本文使用的人工智能、算法或自動(dòng)決策等概念是廣義的,不關(guān)注算法的具體實(shí)現(xiàn)和設(shè)計(jì)過程。③探究人類與算法的對(duì)比,本文不僅關(guān)注人們對(duì)算法決策的態(tài)度,也關(guān)注在同等條件下個(gè)體對(duì)人類決策的態(tài)度對(duì)比,有助于進(jìn)一步探究人們對(duì)算法決策產(chǎn)生不同態(tài)度的原因。④本文不關(guān)注算法的自身特征,如算法解釋、透明、擬人化等設(shè)計(jì)因素如何影響人們的態(tài)度和行為,僅探究算法決策本身如何影響人們的態(tài)度和行為。

    三、算法態(tài)度和行為:文獻(xiàn)綜述

    針對(duì)人們的算法態(tài)度這一主題,本文將關(guān)注點(diǎn)放在人們對(duì)人類與算法態(tài)度和行為的差異上。絕大部分研究都對(duì)算法決策者或建議者與人類決策者或建議者進(jìn)行了對(duì)比,并探究產(chǎn)生這種差異化態(tài)度的原因和邊界條件。已有研究的概念框架如圖1所示。本文首先梳理了算法決策態(tài)度和行為的主要發(fā)現(xiàn),接下來說明態(tài)度和行為的邊界條件,然后探究人們對(duì)算法和人類產(chǎn)生不同態(tài)度和行為的原因。

    (一)算法態(tài)度和行為主要發(fā)現(xiàn)

    現(xiàn)有文獻(xiàn)不僅關(guān)注人們的初始態(tài)度和初始信任,也關(guān)注態(tài)度和行為如何隨決策者的表現(xiàn)及信任修復(fù)而產(chǎn)生的變化。本文將人們對(duì)算法決策的態(tài)度和行為劃分為對(duì)決策代理的態(tài)度和行為、對(duì)代理所屬組織的態(tài)度和行為、對(duì)決策內(nèi)容的態(tài)度和行為以及以上態(tài)度和行為帶來的個(gè)人與實(shí)際績(jī)效影響。

    對(duì)決策代理的態(tài)度和行為是指人們對(duì)算法代理的信任、偏好和選擇,對(duì)代理者提出建議或作出決策的依賴程度以及對(duì)人類或算法伙伴的合作意愿,能夠最直觀地展現(xiàn)人們對(duì)算法代理和人類代理的不同反應(yīng)。

    大多數(shù)文獻(xiàn)都表明了人們的算法厭惡態(tài)度,認(rèn)為算法決策更不公平[22-23],信任程度更低[22-24];認(rèn)為算法的能力、專業(yè)水平更低,更易對(duì)算法喪失信心[11];算法排除一個(gè)有道德爭(zhēng)議公司的可允許性更低[25];對(duì)算法的診斷更不滿意[26],更不愿意選擇算法[11,27-28]或接受算法的建議[29-30],對(duì)算法持有更多負(fù)面情緒和反應(yīng)[7,31]。對(duì)于推薦算法,針對(duì)享樂型產(chǎn)品,因?yàn)槿斯ね扑]引發(fā)了更強(qiáng)的心理反應(yīng),有助于消費(fèi)者根據(jù)自我需求選擇產(chǎn)品,因此人們更喜歡人工推薦而不是算法推薦[32]。

    與此同時(shí),已有文獻(xiàn)也反映人們可能在某些算法應(yīng)用場(chǎng)景下更欣賞算法。這種算法欣賞態(tài)度表現(xiàn)為更遵守算法的建議[33],認(rèn)為算法決策比人類決策更公平[17];當(dāng)人們預(yù)期會(huì)受到歧視時(shí),針對(duì)算法更準(zhǔn)確、更不情緒化,比人類歧視更少,因此人們更愿意接受算法評(píng)估[34];相較于人的錯(cuò)誤,針對(duì)算法錯(cuò)誤導(dǎo)致的品牌損害危機(jī)情況,消費(fèi)者負(fù)面反應(yīng)更少[35]。有關(guān)人們對(duì)算法態(tài)度和行為的動(dòng)態(tài)變化研究表明,隨著人們對(duì)算法的使用次數(shù)增加,人們更能評(píng)估自己的預(yù)測(cè)能力,與此同時(shí),對(duì)算法的厭惡程度也顯著降低,更愿意使用算法預(yù)測(cè)而不是自己預(yù)測(cè)[36]。這表明,雖然人們?cè)诳吹剿惴ǔ鲥e(cuò)后更容易喪失信心,但是隨著算法使用次數(shù)的增加,人們可能更加信任算法。

    除了決策代理本身,人們對(duì)使用算法代理的個(gè)人和機(jī)構(gòu)(如員工、企業(yè)、政府)以及代理決策的內(nèi)容和結(jié)果(如所推薦商品、招聘結(jié)果)也持有不同的態(tài)度。

    已有研究表明,人們對(duì)算法的負(fù)面態(tài)度會(huì)延伸到算法推薦產(chǎn)品以及使用算法的組織或商家。人們認(rèn)為使用算法的組織,其組織吸引力更低,在受到不公平對(duì)待后有更高的訴訟意圖[37];對(duì)算法推薦產(chǎn)品的購買意愿降低[32],有更強(qiáng)的轉(zhuǎn)換為人工服務(wù)的意愿[27]。被描述為使用計(jì)算機(jī)輔助診斷的醫(yī)生,其在診斷能力、專業(yè)性和整體滿意度方面的評(píng)分明顯低于進(jìn)行獨(dú)立診斷的醫(yī)生[38]。

    實(shí)際績(jī)效關(guān)注人們對(duì)算法決策的態(tài)度和行為帶來的實(shí)際商業(yè)或組織管理的績(jī)效影響,研究表明,在實(shí)際應(yīng)用中,算法對(duì)組織管理和商業(yè)績(jī)效的影響存在異質(zhì)性。雖然聊天機(jī)器人的銷售效率與熟練工人相當(dāng),但是一旦披露對(duì)話伙伴是機(jī)器人后,人們會(huì)變得草率,因?yàn)槿藗冋J(rèn)為機(jī)器人缺乏情感和同理心,購買次數(shù)也會(huì)減少[39]。Luo等(2021)[40]使用實(shí)際的銷售培訓(xùn)數(shù)據(jù),探究人工智能教練和人類教練對(duì)員工工作技能的影響,發(fā)現(xiàn)原始績(jī)效排名中間的員工使用人工智能教練時(shí)績(jī)效提升幅度最大,并指出學(xué)習(xí)機(jī)制發(fā)揮了中介作用。Kawaguchi(2021)[41]在飲料自動(dòng)售貨機(jī)產(chǎn)品排序的場(chǎng)景下,探究算法指導(dǎo)對(duì)工人實(shí)際排序行為和銷售量的影響,發(fā)現(xiàn)員工不愿意遵循算法的建議,但是一旦員工的預(yù)測(cè)被整合到算法中,員工就會(huì)更愿意遵從算法。

    個(gè)人影響是指對(duì)算法決策使用者或接受者個(gè)人的影響,已有研究關(guān)注使用算法建議的個(gè)體擁有獨(dú)特的人類知識(shí)[42]、使用者的個(gè)體完整性和自主決定權(quán)[43]、與仿人服務(wù)機(jī)器人交互后的補(bǔ)償性行為及人工智能算法錯(cuò)誤后的自助行為。Fügener等(2021)[42]研究發(fā)現(xiàn),提供算法建議雖然能夠提升個(gè)人的準(zhǔn)確度,但降低了個(gè)人獨(dú)特的知識(shí),損害群體決策時(shí)的準(zhǔn)確度,即達(dá)到特定群體規(guī)模后使用人工智能建議的群體決策的準(zhǔn)確度降低。類似地,Leicht-Deobald等(2019)[43]認(rèn)為基于算法的人力資源決策工具通過三個(gè)途徑損害自主決定權(quán),降低個(gè)人信念、語言和行為的一致性:首先,算法減少了人類作出判斷的機(jī)會(huì),導(dǎo)致人類判斷邊緣化;其次,在需要自省的情況下由于對(duì)規(guī)則的盲目信任和風(fēng)險(xiǎn)規(guī)避傾向,人們傾向于依賴技術(shù);最后,算法缺乏道德想象力,即講故事的能力和情感真誠(chéng),也不具備人類領(lǐng)導(dǎo)者的個(gè)人特質(zhì),如創(chuàng)造性。當(dāng)消費(fèi)者與仿人服務(wù)機(jī)器人而不是人類員工互動(dòng)時(shí),他們會(huì)表現(xiàn)出補(bǔ)償反應(yīng),例如更喜歡購買象征身份的商品、尋求社會(huì)關(guān)系、點(diǎn)更多并吃更多的食物[44]。在人工智能算法進(jìn)行司法決策出現(xiàn)錯(cuò)誤時(shí),人們相較于人類決策者更可能支持一些自助行為,如報(bào)復(fù)、抗議等[45]。

    (二)算法態(tài)度調(diào)節(jié)因素

    人們對(duì)算法的態(tài)度并不總是一成不變的,算法厭惡和算法欣賞的文章常?;旌显谝黄?,因此探究算法態(tài)度的邊界條件是充分發(fā)揮算法和人類優(yōu)勢(shì)的關(guān)鍵??傮w而言,任務(wù)場(chǎng)景和任務(wù)特征以及算法使用者的個(gè)體特征影響人們對(duì)算法的態(tài)度和行為。

    1. 任務(wù)特征

    已有研究表明,任務(wù)的機(jī)器屬性或人類屬性顯著調(diào)節(jié)了人們的算法態(tài)度。人們?cè)诿鎸?duì)算法決策時(shí),根據(jù)算法應(yīng)用場(chǎng)景的不同首先會(huì)對(duì)算法能做什么、算法應(yīng)該做什么、算法如何運(yùn)行產(chǎn)生預(yù)期[46]。人們認(rèn)為算法是有效的、最優(yōu)化的、數(shù)據(jù)驅(qū)動(dòng)的,不受情感因素的影響[7],因此算法更加理性;但是算法缺乏人類直覺,只能衡量可量化的指標(biāo),無法理解和表達(dá)情感,也不能考慮人類關(guān)切的問題,如同情心和個(gè)人承諾。這導(dǎo)致不同任務(wù)下人們對(duì)算法表現(xiàn)和算法能力的預(yù)期存在差異。

    具體而言,在主觀任務(wù)[46]、需要人類技能的任務(wù)[7]、享樂型產(chǎn)品推薦[32]和低創(chuàng)造性產(chǎn)品推薦[48]中,人們更不愿意使用算法,尤其是看到算法犯錯(cuò)[11,31]后;而面對(duì)客觀任務(wù)[47]、技術(shù)性任務(wù)[7]時(shí),人們更愿意使用算法或者最起碼認(rèn)為算法與人一樣好。人們對(duì)人工智能和算法存在固有印象,認(rèn)為算法在解決客觀問題和技術(shù)性、機(jī)械性問題上更有優(yōu)勢(shì),但是不具備解決主觀任務(wù)和涉及人類技能任務(wù)的能力,因此當(dāng)人們面對(duì)算法決策時(shí),這種固有印象被任務(wù)場(chǎng)景所激發(fā),直接影響人們的態(tài)度和行為。即使算法在很多情形下的表現(xiàn)優(yōu)于人類,人們?nèi)耘f不愿意被算法替代或者授權(quán)給算法。

    隨著任務(wù)難度的提高,人們對(duì)算法建議的依賴程度也逐漸提高[49]。決策影響力大小也會(huì)影響人們對(duì)算法的公平和有用性感知,例如,相較于新聞推薦等影響低的決策,在司法和健康等高影響決策中人們認(rèn)為算法更加公平和有用[17];為自己作決策時(shí)人們不愿意使用算法,而為他人作決策時(shí)則沒有這種算法厭惡現(xiàn)象。這表明,在面對(duì)更重要、影響力更大的任務(wù)時(shí),人們往往會(huì)更加謹(jǐn)慎地使用算法。

    2. 個(gè)體特征

    已有研究表明,性別、年齡、受教育程度、種族等人口統(tǒng)計(jì)學(xué)特征以及算法使用經(jīng)歷、專業(yè)程度、公平和社交需要等個(gè)體差異影響人們對(duì)算法的態(tài)度和行為。

    人類在比較相同場(chǎng)景下算法和人類決策者時(shí),會(huì)分別形成對(duì)人類和算法的預(yù)期。從這個(gè)角度出發(fā),個(gè)體特征對(duì)算法態(tài)度的影響分為兩個(gè)方面:一方面,個(gè)體特征影響人們的算法預(yù)期以及產(chǎn)生這種預(yù)期的原因,這種預(yù)期差異可能源于個(gè)體身份、公平需要和社交需要、個(gè)人使用算法的經(jīng)歷、算法應(yīng)用場(chǎng)景等的不同。人口統(tǒng)計(jì)學(xué)特征可能通過對(duì)算法有用性和風(fēng)險(xiǎn)的感知影響人們對(duì)算法的態(tài)度。一般而言,年齡越大,算法有用性感知越低[17,50]。老年人對(duì)算法可能缺乏了解,認(rèn)為情感的作用更重要、人類接觸需求程度更高,而對(duì)算法的有用性產(chǎn)生較低期望[50],因此,對(duì)算法相較于人類的表現(xiàn)預(yù)期較低。受教育程度的影響與此類似,受教育程度更高、擁有計(jì)算機(jī)相關(guān)知識(shí)的人認(rèn)為算法更有用或公平[17,50]。女性相較于男性認(rèn)為算法更沒有用[17],但是這一結(jié)果并沒有得到完全一致的驗(yàn)證,也有學(xué)者發(fā)現(xiàn)性別與明確的算法或人類偏好無關(guān)[50]。女性對(duì)算法的不信任可能源于缺乏相關(guān)知識(shí),此外,由于女性更易受到性別歧視,因此更關(guān)注自身是否能夠得到平等對(duì)待,她們可能認(rèn)為算法能夠更好地消除偏見,滿足對(duì)平等的需要,從而提升有用性和公平感知[17]。對(duì)種族和邊緣群體的研究得出了不同的結(jié)果,受歧視的群體更傾向于認(rèn)為人類存在偏見且這種偏見是根深蒂固的,擔(dān)心人工智能或算法仍然存在偏見。例如,對(duì)醫(yī)療不信任程度更低的人認(rèn)為人的決策比算法決策更公平、更可信,但是對(duì)高不信任群體來說,人的決策和算法決策都不那么公平[51]。

    基于大數(shù)據(jù)的人工智能算法在提升效率的同時(shí)帶來了數(shù)據(jù)隱私的問題,人們可能對(duì)算法使用的數(shù)據(jù)來源以及誰可以使用他們的數(shù)據(jù)提出疑問,這種對(duì)個(gè)人隱私的關(guān)注影響人們對(duì)算法公平性和有用性感知,在線隱私關(guān)注水平更高的人對(duì)算法有用性和公平的感知更低,并認(rèn)為算法的風(fēng)險(xiǎn)更高[17]。此外,人們對(duì)決策者的熟悉程度也會(huì)影響對(duì)顧問判斷的依賴。人們傾向于認(rèn)為人類有克服自己缺點(diǎn)的能力,而算法不會(huì),因此算法錯(cuò)誤的經(jīng)歷會(huì)對(duì)算法依賴產(chǎn)生負(fù)面影響[11]。在顧問犯錯(cuò)的前提下,人們更依賴熟悉的人類顧問而不是算法顧問[52]。

    另外,個(gè)體特征也影響了人們對(duì)人類表現(xiàn)的預(yù)期,由于普遍存在的過度自信偏見,人們往往會(huì)過度相信自己的判斷能力,忽視或不尋求駁斥自身想法的信息,并從過去的成功體驗(yàn)中獲得自信。心理學(xué)研究表明,專家比相對(duì)缺乏經(jīng)驗(yàn)的受試者更有可能過度自信[53]。有關(guān)算法態(tài)度的研究在一定程度上證明了對(duì)自己更自信的人更不愿意使用算法,無論這種自信是來源于實(shí)際績(jī)效還是專業(yè)程度。例如,認(rèn)為自己更專業(yè)[33]的人傾向于依靠自己而不愿意依賴算法建議,且處于中等績(jī)效水平[40]的人相較于高績(jī)效和低績(jī)效的人受算法影響更大。

    (三)算法態(tài)度的影響機(jī)制

    為什么在相同情境下人們對(duì)人類和算法持有不同的態(tài)度和行為?本文從人類和算法的差異出發(fā),將人們處理代理信息的過程劃分為情感和認(rèn)知兩個(gè)層面。其中情感涉及人們對(duì)人工智能和算法的直觀感受,這種反應(yīng)可能是無意識(shí)的;認(rèn)知層面進(jìn)一步劃分為對(duì)決策者、決策和決策接受者的認(rèn)知,這一過程涉及有意識(shí)的信息處理和比較。

    1. 情感過程

    態(tài)度的情感成分是指一個(gè)人對(duì)態(tài)度對(duì)象的情感反應(yīng),源于或最初由情感產(chǎn)生的態(tài)度被稱為基于情感的態(tài)度。對(duì)于政治、性和宗教等熱點(diǎn)問題的態(tài)度往往是基于情感的,因?yàn)樗鼈兺ǔ碜砸粋€(gè)人的價(jià)值觀。這種態(tài)度是用來表達(dá)和驗(yàn)證人們的道德信念或價(jià)值體系。一部分人對(duì)算法的態(tài)度差異僅僅來源于算法引發(fā)的無意識(shí)或潛意識(shí)的情感。

    已有研究發(fā)現(xiàn),使用算法會(huì)引發(fā)人們的怪誕感[54]和負(fù)面情緒[55],這種直接喚起的怪誕感和負(fù)面情緒導(dǎo)致了人們對(duì)人工智能和算法的厭惡態(tài)度和更少的接受。怪誕感和負(fù)面情緒的喚起可能源于人們對(duì)計(jì)算機(jī)或機(jī)器人的恐懼,即掉入了“恐怖谷”??植拦壤碚撟钤缬扇毡緳C(jī)器人專家森正弘在1970年提出,他指出在一定程度上,機(jī)器人越像人類就越有吸引力,但是當(dāng)機(jī)器人看起來很接近但不完全是人類時(shí),人們往往會(huì)感到不舒服,甚至惡心。一旦到達(dá)“恐怖谷”,人們就會(huì)開始感到不安和害怕[56]。基于恐怖谷理論,Mende等(2019)[54]發(fā)現(xiàn),當(dāng)消費(fèi)者與人類服務(wù)機(jī)器人而不是人類互動(dòng)時(shí),由于引發(fā)了怪誕感和對(duì)人類身份的威脅,消費(fèi)者會(huì)表現(xiàn)出補(bǔ)償反應(yīng)。更普遍的是對(duì)“人工智能接管”和取代人類決策者的擔(dān)憂,也會(huì)導(dǎo)致人們對(duì)算法的負(fù)面情感,人工智能焦慮(Artificial Intelligence Anxiety)可以追溯到計(jì)算機(jī)誕生之時(shí)。尤其是在組織場(chǎng)景中,人工智能的應(yīng)用更容易引起人們的焦慮和恐懼。類似地,人們對(duì)自己的同類存在一種基本的偏見——物種主義(Speciesism),這種偏見使人工智能和機(jī)器人處于不利地位[57]。物種主義被定義為基于個(gè)體的物種身份分配不同的道德價(jià)值,物種主義和非人化可能是人們拒絕人工智能算法決策的原因。

    2. 認(rèn)知過程

    在認(rèn)知層面,人們?cè)谛纬蓪?duì)算法和人類的態(tài)度時(shí)會(huì)對(duì)決策者、決策本身、決策接受者(即自身)三個(gè)對(duì)象進(jìn)行認(rèn)知。其中,對(duì)決策者的認(rèn)知包括能力認(rèn)知、溫暖認(rèn)知,對(duì)決策的認(rèn)知包括公平和風(fēng)險(xiǎn)認(rèn)知,對(duì)決策接受者的認(rèn)知包括內(nèi)在價(jià)值認(rèn)知和自身能力的元認(rèn)知。

    (1)對(duì)決策者的認(rèn)知。根據(jù)計(jì)算機(jī)是社會(huì)行動(dòng)者(Computers-Are-Social-Actors,CASA)理論,人們對(duì)計(jì)算機(jī)的反應(yīng)是“社會(huì)性”的——也就是說,當(dāng)人們與計(jì)算機(jī)交互時(shí),他們將社會(huì)規(guī)則、規(guī)范和期望作為人際關(guān)系的核心。因此面對(duì)人類和算法決策,人們會(huì)使用相同的標(biāo)準(zhǔn)和規(guī)則對(duì)算法和人類進(jìn)行評(píng)判??贪逵∠髢?nèi)容模型(The stereotype content model,SCM)定義了社會(huì)知覺和社會(huì)判斷的兩個(gè)基本維度:溫暖和能力[58]。溫暖維度體現(xiàn)的是與感知意圖相關(guān)的特質(zhì),包括友好、樂于助人、真誠(chéng)、可信和道德;而能力維度反映了與感知能力相關(guān)的特質(zhì),包括智力、技能、創(chuàng)造力和效能[59]。因此,無論是人類還是算法決策者,能力認(rèn)知和溫暖認(rèn)知均是人們形成判斷的兩個(gè)重要維度。

    根據(jù)任務(wù)特征的不同,人們對(duì)算法能力可能存在積極或消極的認(rèn)知。一方面,人們可能認(rèn)為算法能力更強(qiáng)。人們從心理上將機(jī)器表現(xiàn)為具有計(jì)算能力的主體[60],算法非常準(zhǔn)確有效,能夠依靠大數(shù)據(jù)和復(fù)雜計(jì)算作出客觀判斷[61],而人類更容易出錯(cuò),可能包括有偏見的刻板印象[7]。人們傾向于認(rèn)為算法更準(zhǔn)確、更不情緒化,能力更強(qiáng)[34]。事實(shí)上,算法已經(jīng)被證明在許多任務(wù)上的表現(xiàn)優(yōu)于人類,算法更高的能力也是自動(dòng)化決策的驅(qū)動(dòng)力之一。另一方面,人們可能因?yàn)閷?duì)算法簡(jiǎn)化的感知、忽視獨(dú)特性、無法感受和思考而認(rèn)為算法不如人類有能力。Newman等(2020)[8]在人力資源領(lǐng)域衡量了人們對(duì)算法和人類決策者的公平感知差異,人們認(rèn)為算法只能衡量可量化的指標(biāo),而忽視某些定性信息或情境因素(去情境化),這導(dǎo)致人們認(rèn)為使用人力資源算法對(duì)人類進(jìn)行評(píng)估的過程是簡(jiǎn)化的,因此算法作出的決策不如人類作出的決策準(zhǔn)確,破壞了人們對(duì)使用人力資源算法來評(píng)估績(jī)效的程序公平性的信念。Longoni等(2019)[27]發(fā)現(xiàn),消費(fèi)者不愿意使用人工智能提供的醫(yī)療保健建議,因?yàn)樗麄冋J(rèn)為人工智能無法像人類一樣考慮消費(fèi)者的獨(dú)特特征和環(huán)境。Bigman和Gray(2018)[28]在道德決策的場(chǎng)景下驗(yàn)證了算法厭惡現(xiàn)象,表明人們不喜歡機(jī)器做出與道德相關(guān)的駕駛、法律、醫(yī)療和軍事決策,這種厭惡是由機(jī)器既不能充分思考也不能充分感受認(rèn)知所決定的,即使道德決定有積極的結(jié)果,這種厭惡也存在。

    在溫暖認(rèn)知方面,絕大多數(shù)研究表明,相較于人類,算法缺乏能動(dòng)性和意圖,缺少情感和善意,但是這種低溫暖認(rèn)知在不同場(chǎng)景下可能帶來積極或消極的態(tài)度和行為。對(duì)算法的溫暖感知主要包括對(duì)算法的意圖感知、能動(dòng)性感知和善意感知等。根據(jù)心理感知理論,個(gè)體會(huì)通過假設(shè)不可觀察的屬性,如意圖、愿望、目標(biāo)、信念和情感,對(duì)自己和他人(實(shí)體)的心理狀態(tài)進(jìn)行推斷[60]。人們通過兩種心理能力感知其他實(shí)體的心智:能動(dòng)性(意圖和行動(dòng)的能力)和經(jīng)歷(感知和感覺)。

    一方面,算法與人類決策者的關(guān)鍵差異在于是否有意圖[7],人們認(rèn)為算法決策者缺乏能動(dòng)性和意圖。對(duì)機(jī)器人的研究表明,人們認(rèn)為計(jì)算機(jī)系統(tǒng)比人類具有更少的能動(dòng)性和情感能力[60,62]。因此,對(duì)算法意圖和能動(dòng)性的認(rèn)知在不同情境下影響人們對(duì)算法的態(tài)度。Lee(2018)[7]發(fā)現(xiàn),算法的能動(dòng)性和意向性更低,削弱了人們的情緒反應(yīng);Srinivasan和Sarial-Abi(2021)[63]發(fā)現(xiàn),算法相較于人類的能動(dòng)性更低,因此人們不會(huì)將責(zé)任歸因?yàn)樗惴?,從而降低了算法犯錯(cuò)后的責(zé)任感知;宋曉兵和何夏楠(2020)[64]指出,面對(duì)不公平的價(jià)格決策,消費(fèi)者更可能認(rèn)為銷售人員蓄意抬高價(jià)格,而AI不是故意的,從而認(rèn)為AI決策比銷售人員決策更公平。但是,對(duì)算法低能動(dòng)性的感知并不總是帶來更積極的算法態(tài)度。從責(zé)任轉(zhuǎn)移的角度出發(fā),只有當(dāng)建議者是人類時(shí)才會(huì)存在分享或轉(zhuǎn)移責(zé)任以及避免拒絕幫助的動(dòng)機(jī)[65],因此來自統(tǒng)計(jì)模型的建議可能不如人類顧問[29],在決定重要的醫(yī)療程序時(shí),患者更愿意聽從醫(yī)生的建議來減少自己的責(zé)任感,因?yàn)槿祟愂怯心芰Τ袚?dān)責(zé)任的,而計(jì)算機(jī)程序不能[66]。

    另一方面,相較于人類決策者,算法決策被認(rèn)為缺少情感,具有更低的人情味和善意,因此更不公平[50,67]。人們認(rèn)為算法缺乏同情心、社會(huì)聯(lián)系和主動(dòng)互動(dòng)[7],而人能夠理解和表達(dá)情感,有同理心,人們能夠從人類管理者的決策中感受到關(guān)懷和信任[7]。這種對(duì)算法溫暖的認(rèn)知導(dǎo)致了人們的算法厭惡。雖然大部分預(yù)測(cè)任務(wù)本質(zhì)上與人際關(guān)系無關(guān),許多構(gòu)成情感或非語言線索在算法情境下很難體現(xiàn),誠(chéng)實(shí)和仁慈在預(yù)測(cè)建議中可能并不重要也很難改變,但是隨著人工智能和算法在社交任務(wù)(如愛情或職業(yè)建議)上的應(yīng)用,人們對(duì)算法的溫暖感知需要得到重視。

    (2)對(duì)決策的認(rèn)知。人們對(duì)算法和人類決策者的認(rèn)知差異共同影響對(duì)決策的認(rèn)知,包括決策的公平感知、風(fēng)險(xiǎn)感知和可允許性感知。大部分文獻(xiàn)關(guān)注算法公平的作用,不僅關(guān)注感知公平、無偏見和平等等整體公平概念,也關(guān)注公平的各個(gè)子維度,即分配公平、程序公平和交互公平。文獻(xiàn)中對(duì)于人類和算法公平感知的結(jié)論存在差異,這種差異可能源自任務(wù)和使用者個(gè)體特征的不同。部分研究發(fā)現(xiàn),人類決策相較于算法決策更加公平[7-8,22]。算法無法考慮公平的多種概念,例如利他行為和社會(huì)規(guī)范[7],算法決策者也無法比較多個(gè)論點(diǎn)[50],因此相較于人類更不公平;算法決策的信息透明度更低,因此程序公平感知更低[23];人工智能的面試相較于傳統(tǒng)的以人為基礎(chǔ)的面試缺乏程序公平和交互公平[37]。而另一些研究則認(rèn)為,人工智能是由數(shù)據(jù)和計(jì)算驅(qū)動(dòng)的,因此人工智能決策更加公平[50]。與公平相關(guān)的另一個(gè)重要機(jī)制是人類偏見,沒有偏見或偏差被認(rèn)為是程序公平的重要組成部分。人們認(rèn)為算法通過排除人類主觀性而減少偏見,而人類決策者可能由于直覺或其他啟發(fā)式方法做出有偏見的決策[68]。在理性決策方面,統(tǒng)計(jì)或系統(tǒng)驅(qū)動(dòng)的過程可能優(yōu)于人類,根據(jù)機(jī)器啟發(fā)式(Machine heuristic)[69]的概念,一部分人比其他人更愿意向機(jī)器透露個(gè)人信息,因?yàn)樗麄兿嘈艡C(jī)器是沒有偏見的。

    除了決策是否公平,人們也關(guān)心決策的風(fēng)險(xiǎn),在評(píng)估人工智能自動(dòng)決策的一般社會(huì)后果時(shí),人們表現(xiàn)出對(duì)風(fēng)險(xiǎn)的擔(dān)憂,但當(dāng)被調(diào)查者必須評(píng)估人工智能自動(dòng)決策的風(fēng)險(xiǎn)時(shí),對(duì)于有高影響的決策,人們認(rèn)為人工智能決策更沒有風(fēng)險(xiǎn)[17]。此外,決策者的差異影響了人們對(duì)決策可允許性的感知,可允許性(Permissibility)是指人們對(duì)由人或算法來作決定是否合適的看法。Niszczota和Kaszas(2020)[25]發(fā)現(xiàn),通常情況下參與者認(rèn)為計(jì)算機(jī)算法比人類更不被允許作出投資決策。

    (3)對(duì)決策接受者的認(rèn)知。即使了解算法且相信算法的能力,人們可能仍然不愿意使用算法,這種負(fù)面態(tài)度和行為可能源自決策接受者對(duì)自身認(rèn)知的差異。文獻(xiàn)表明,使用算法會(huì)對(duì)決策接受者的內(nèi)在價(jià)值認(rèn)知、自身需求認(rèn)知和自身能力認(rèn)知產(chǎn)生影響。

    首先,決策接受者認(rèn)為使用算法會(huì)損害個(gè)體完整性。這種算法厭惡態(tài)度事實(shí)上來源于人們對(duì)算法可能損害使用者的內(nèi)在價(jià)值的認(rèn)知。人們通過內(nèi)在動(dòng)機(jī)來構(gòu)建自己的身份,而自動(dòng)化通常會(huì)取代有助于自我識(shí)別的技能,從而降低自我信號(hào)效用[70]。事實(shí)上,抵抗人工智能醫(yī)療建議的消費(fèi)者確實(shí)認(rèn)為自己更獨(dú)特[27]。與此同時(shí),人們對(duì)人工智能存在一種預(yù)期,即人工智能會(huì)導(dǎo)致持續(xù)的監(jiān)控狀態(tài)和個(gè)人隱私的喪失,這種風(fēng)險(xiǎn)抑制了人們對(duì)算法和人工智能的采用。其次,建議者的不同影響建議接受者對(duì)自身需求的認(rèn)知。Wien和Peluso(2021)[32]發(fā)現(xiàn),與人工智能推薦相比,人類推薦在消費(fèi)者中引發(fā)了更強(qiáng)的心理反應(yīng),這反過來有助于消費(fèi)者根據(jù)自己的需求自我選擇產(chǎn)品,幫助接受者預(yù)測(cè)推薦的產(chǎn)品與自身需求相關(guān)性。最后,決策接受者對(duì)自己能力的認(rèn)知影響人們對(duì)人類和算法的態(tài)度。Fügener等(2021)[42]將評(píng)估自身能力的能力稱為“元認(rèn)知”,并發(fā)現(xiàn)人們不能正確地評(píng)估自己的能力,這從根本上限制了人類決策者與人工智能和其他算法的合作程度。

    四、算法態(tài)度和行為:綜合框架

    雖然已有研究關(guān)注人們對(duì)算法決策的態(tài)度和行為,并分析了導(dǎo)致這種態(tài)度和行為的原因和邊界條件,但是對(duì)于人們形成算法態(tài)度的具體過程、背后的理論機(jī)制以及這種態(tài)度和行為如何隨著人們與算法決策代理交互而發(fā)生改變,缺乏準(zhǔn)確和連貫的描述,各研究之間相互獨(dú)立,缺乏理論完整性。因此,本文將概念框架進(jìn)行凝練,提出綜合理論框架,如圖2所示。

    個(gè)體對(duì)算法決策的態(tài)度形成過程有三種路徑:

    其一,用戶對(duì)人工智能算法決策存在無意識(shí)的知覺和解釋,這種知覺和解釋可能來自圖式或刻板印象。由于對(duì)機(jī)器的物種主義以及恐怖谷理論,人們對(duì)人工智能算法決策存在先入為主的觀念,例如算法是準(zhǔn)確的,但是缺乏情感,或者對(duì)人工智能可能取代人類感到恐懼;人們也有可能受到媒體宣傳、科幻作品或特殊事件影響,對(duì)人工智能和算法決策本身持有不加區(qū)分的特定態(tài)度。這種基于物種主義、恐怖谷理論或個(gè)人使用經(jīng)驗(yàn)的直觀看法可能直接影響人們對(duì)算法決策的態(tài)度,例如對(duì)算法決策不假思索的否定,即路徑1。

    其二,人們結(jié)合算法決策的場(chǎng)景和具體任務(wù)以及個(gè)體特征,形成對(duì)特定場(chǎng)景下算法決策的預(yù)期,這種對(duì)算法決策的預(yù)期引發(fā)了人們的不同態(tài)度,即路徑2。人們可能對(duì)算法決策持有先入為主的觀念,認(rèn)為算法決策是基于某種規(guī)則的、確定的過程,但是當(dāng)考慮具體任務(wù)場(chǎng)景時(shí),這種對(duì)算法決策確定性的看法可能產(chǎn)生不同的算法決策態(tài)度。例如在需要人類技能的任務(wù)中,算法決策的確定性意味著其無法評(píng)估社會(huì)互動(dòng)或處理異常情況,因此人們認(rèn)為人工智能算法決策可能是不公平的,進(jìn)而產(chǎn)生負(fù)面情緒并拒絕使用算法。

    其三,隨著人們與算法代理的交互,人們觀察和感知到算法決策的實(shí)際效果和表現(xiàn),根據(jù)不同的決策結(jié)果,人們對(duì)算法決策的預(yù)期可能發(fā)生改變,最終形成人們的態(tài)度和行為,即路徑3。例如,在客觀任務(wù)中,人們可能認(rèn)為算法決策相較于人類決策更加準(zhǔn)確,因此擁有較高的初始信任,但是當(dāng)人們觀察到算法作出錯(cuò)誤預(yù)測(cè)或不公平結(jié)果后,會(huì)更快喪失對(duì)算法決策的信心、更加氣憤,并避免使用算法。人們對(duì)算法態(tài)度的各成分之間互相作用進(jìn)一步表現(xiàn)為實(shí)際行為,并給算法決策使用者、決策接受者帶來不同的后果,如改變使用人工智能算法決策組織的實(shí)際績(jī)效,影響消費(fèi)者的服務(wù)滿意度等。

    因此,根據(jù)這一理論框架,在考慮人工智能算法決策態(tài)度時(shí),需要綜合考慮任務(wù)特征、用戶特征、交互過程和決策結(jié)果等因素,并區(qū)分人工智能算法決策態(tài)度形成的不同路徑,在態(tài)度形成的各個(gè)階段采取措施改進(jìn)算法決策,從而更加有效地利用算法,更好地發(fā)揮其對(duì)個(gè)人、組織、社會(huì)的積極影響。

    五、建議與展望

    目前人們對(duì)使用人工智能算法決策態(tài)度的文獻(xiàn)研究已經(jīng)覆蓋了多個(gè)人工智能算法應(yīng)用領(lǐng)域,試圖從不同角度探究對(duì)算法持有不同態(tài)度和行為的原因。但是,人工智能算法的發(fā)展和應(yīng)用超前于理論研究,新的應(yīng)用場(chǎng)景和算法角色的出現(xiàn)需要研究者進(jìn)一步擴(kuò)展研究范圍。

    (一)算法角色和應(yīng)用場(chǎng)景

    目前的研究大多將人工智能算法作為建議者、決策者、預(yù)測(cè)和估計(jì)工具,在這種情況下,算法決策的使用者可以選擇是否遵循算法決策或采納算法的建議,很少有研究將人工智能算法代理作為人類的合作者或管理者。當(dāng)算法代理的身份轉(zhuǎn)變?yōu)槿祟惡献髡邥r(shí),人們態(tài)度和行為的變化可能是一個(gè)有意思的話題。例如,Karpus等(2021)[71]研究發(fā)現(xiàn),當(dāng)人類與人工智能互動(dòng)時(shí),人們的合作傾向更弱,盡管人們相信人工智能伙伴會(huì)像人類一樣合作。事實(shí)上,在許多企業(yè)中人工智能已經(jīng)被用于管理員工,在相同場(chǎng)景下,管理層可能將算法視為有用的工具,而員工則可能將其視為跟蹤機(jī)制,這意味著對(duì)算法代理的角色認(rèn)知或身份認(rèn)知將影響人們對(duì)算法決策的態(tài)度和行為。因此,研究需要在算法代理扮演更多可能角色的背景下探討人們對(duì)算法決策的態(tài)度和行為。

    隨著人工智能的發(fā)展,算法決策在更廣泛的領(lǐng)域中表現(xiàn)越來越好,甚至意識(shí)、素質(zhì)(對(duì)感官和情感的主觀感知)以及其他心理能力(例如創(chuàng)造力、道德)可能不再是人類的特權(quán),這可能會(huì)顛覆人們對(duì)算法決策的態(tài)度。例如,人工智能已經(jīng)被應(yīng)用于作詞作曲等創(chuàng)造性任務(wù)[72],人工智能還可以檢測(cè)、顯示和反應(yīng)情緒,并從經(jīng)驗(yàn)中學(xué)習(xí)[57]。因此,研究者需要關(guān)注當(dāng)人工智能算法決策應(yīng)用于其他領(lǐng)域,尤其是在具有人類獨(dú)特優(yōu)勢(shì)的領(lǐng)域時(shí),人們對(duì)人工智能算法決策的態(tài)度和行為是否有所不同。

    (二)算法態(tài)度的內(nèi)在機(jī)制

    針對(duì)人們對(duì)算法決策持有不同態(tài)度背后的機(jī)制,已有文獻(xiàn)的探究已經(jīng)較為豐富,分別從直覺、情感以及理性認(rèn)知層面加以探討。然而目前的研究未抓住現(xiàn)象背后的底層邏輯和形成機(jī)理[73],研究者需要進(jìn)一步挖掘影響人們對(duì)算法決策態(tài)度的內(nèi)在原因。例如,Dietvorst和Bartels(2021)[74]指出,消費(fèi)者反對(duì)算法做出道德相關(guān)的權(quán)衡決策是因?yàn)槭褂米畲蠡鳛闆Q策策略是不可接受的,當(dāng)人類決策者接受使用最大化進(jìn)行道德相關(guān)決策的培訓(xùn)后,消費(fèi)者會(huì)表現(xiàn)出更強(qiáng)烈的負(fù)面反應(yīng)。因此,研究者需要明確產(chǎn)生不同算法決策態(tài)度的核心原因是什么,即人們厭惡的是算法本身還是其他過程因素,從而更好地利用算法決策。

    (三)算法公平的分類與定義

    對(duì)算法公平的探討是算法態(tài)度研究的重要一環(huán),但是現(xiàn)有研究大多聚焦于整體的感知公平,對(duì)公平的三個(gè)子維度的討論不夠豐富,尤其是交互公平。缺乏對(duì)交互公平的關(guān)注可能源自場(chǎng)景的限制,除此之外,一部分學(xué)者認(rèn)為算法不具有交互屬性。然而隨著人工智能技術(shù)的進(jìn)步,算法決策逐步應(yīng)用于交互式任務(wù)。因此,未來應(yīng)當(dāng)加強(qiáng)對(duì)交互公平感知及其邊界條件和影響機(jī)制的探究。另外,有關(guān)算法公平的探究需要進(jìn)一步挖掘其背后的機(jī)制,因?yàn)槿藗兛赡軐⑺惴ê腿祟惖墓綒w因?yàn)椴煌瑢用?。正如Lee(2018)[7]指出的那樣,人類管理者的公平和可信任可能歸因?yàn)楣芾碚叩臋?quán)威,而算法的公平可能歸因?yàn)楦兄屎涂陀^性。再者,與算法決策相關(guān)的利益相關(guān)方對(duì)公平的定義可能不同,因此,這意味著在現(xiàn)實(shí)世界中應(yīng)用人工智能算法決策時(shí)需要綜合考慮不同利益相關(guān)方的公平觀念。

    (四)算法態(tài)度的邊界

    目前的文獻(xiàn)主要關(guān)注任務(wù)、場(chǎng)景特征以及個(gè)體特征如何調(diào)節(jié)人們對(duì)人工智能算法和人類代理的態(tài)度和行為,也有研究從組織創(chuàng)新環(huán)境等角度出發(fā)探討環(huán)境如何影響員工的算法使用行為,這些特征會(huì)影響人們對(duì)算法的預(yù)期和對(duì)人類的預(yù)期。但是,很少有研究探索代理本身的特征是否發(fā)揮作用以及任務(wù)特征、個(gè)體特征和代理特征如何進(jìn)行交互。雖然有相當(dāng)一部分研究改變了人工智能或算法的相關(guān)屬性,例如關(guān)注擬人化程度、機(jī)械屬性、個(gè)性化AI、強(qiáng)調(diào)機(jī)器學(xué)習(xí)等方面,但是這類算法特征在人類代理身上并不存在或很難操控。

    在許多情況下,任務(wù)特征和個(gè)體特征可能存在交互作用,這種交互作用可能是在單個(gè)領(lǐng)域研究結(jié)論存在沖突的原因。雖然人們需要人類技能的任務(wù)或主觀任務(wù)下更不愿意使用算法,例如在招聘和司法決策場(chǎng)景中對(duì)算法決策的厭惡,但是當(dāng)個(gè)體屬于邊緣群體或者預(yù)期受到歧視時(shí),對(duì)主觀任務(wù)的算法厭惡態(tài)度消失,甚至扭轉(zhuǎn)為算法欣賞。因此,未來研究應(yīng)進(jìn)一步探究算法態(tài)度的邊界以及不同的場(chǎng)景、個(gè)體和代理特征是如何進(jìn)行交互的。

    此外,在對(duì)算法決策的態(tài)度中,很少有研究區(qū)分個(gè)體和群體決策、他人和自身的感知差異。有研究表明,給定完全相同的決策結(jié)果,僅僅是群體作為決策主體的存在,就可以作為一種線索,增加感知者頭腦中與群體相關(guān)的負(fù)面聯(lián)想的可及性[75]。個(gè)體存在“過度自信”的認(rèn)知偏差,尤其是對(duì)其自身知識(shí)的準(zhǔn)確性過度自信,因此當(dāng)算法決策與自身、他人或集體決策相比較時(shí),可能會(huì)存在不同的結(jié)果。

    (五)算法道德和算法責(zé)任

    未來研究應(yīng)當(dāng)關(guān)注算法決策帶來的隱私、道德問題以及算法責(zé)任。這種道德問題不僅包括人工智能算法作出決策的道德性以及人們對(duì)道德決策場(chǎng)景下算法代理的感知,也包括算法如何影響人類和組織的道德。雖然算法決策能夠幫助管理者克服認(rèn)知限制,提高管理決策和個(gè)人績(jī)效,但也可能忽視企業(yè)價(jià)值和道德標(biāo)準(zhǔn)。已有文獻(xiàn)表明,人工智能算法決策可能會(huì)復(fù)制和放大人類當(dāng)中存在的偏見和歧視,這種偏見可能由于算法訓(xùn)練數(shù)據(jù)有關(guān)性別和種族的代表性不足[12],但是即使性別或種族等信息沒有被輸入,偏見仍然可能存在[13],“大數(shù)據(jù)殺熟”等現(xiàn)象的發(fā)生也在挑戰(zhàn)算法決策的公正性。人們普遍厭惡算法作出道德和倫理決策,但是算法是否有道德?算法是否應(yīng)該有道德?人們?yōu)楹螀拹核惴ㄗ鞒龅赖聸Q策?人們?nèi)绾胃兄?duì)算法歧視作出反應(yīng)值得更深入地探索,未來研究可以結(jié)合組織聲譽(yù)等領(lǐng)域文獻(xiàn),進(jìn)一步分析人們對(duì)人工智能作出道德決策態(tài)度的深層原因和后續(xù)行為。

    算法決策如何影響人類和組織的道德和道德行為同樣值得探討。在具有道德挑戰(zhàn)的情況下,人們往往會(huì)遵循社會(huì)規(guī)范,而相較于人類建議,人工智能提出的建議可能是一個(gè)較弱的社會(huì)規(guī)范信號(hào),因此人們可能不會(huì)遵從算法提出的建議。未來研究應(yīng)當(dāng)進(jìn)一步拓展算法決策作為不道德行為的推動(dòng)者如何與人類進(jìn)行互動(dòng)。

    在算法與人類協(xié)同的場(chǎng)景下,算法責(zé)任對(duì)個(gè)人和組織顯得尤為重要。在組織層面,自動(dòng)化算法決策需要管理者重新考慮在沒有人為否決權(quán)情況下的領(lǐng)導(dǎo)規(guī)則、組織完整性和責(zé)任。對(duì)基于數(shù)據(jù)決策優(yōu)越性的非規(guī)范和天真的信念有可能破壞組織內(nèi)部人與人之間的信任和對(duì)話,并將誠(chéng)信和對(duì)人的能力信任替換為對(duì)基于技術(shù)的系統(tǒng)、合規(guī)和風(fēng)險(xiǎn)規(guī)避的信任。Leicht-Deobald等(2019)[43]指出,如果黑盒算法接管決策過程,可能會(huì)將人從決策制定者的位置降級(jí)到僅僅是決策宣告者的位置,那么組織的話語文化將面臨風(fēng)險(xiǎn)。由于算法不是一個(gè)可以進(jìn)行推理的負(fù)責(zé)任的實(shí)體,算法使用可能損害組織完整性和組織誠(chéng)信。未來研究應(yīng)當(dāng)進(jìn)一步探討人們?nèi)绾螌?duì)算法決策進(jìn)行責(zé)任歸因以及對(duì)組織和組織中個(gè)體的影響。

    人類社會(huì)已經(jīng)步入“智能時(shí)代”,人工智能算法決策的應(yīng)用越來越廣泛,在帶來極大效率提升的同時(shí)引發(fā)了對(duì)公平、道德、隱私、法律和倫理問題的討論。人類對(duì)待人工智能算法決策的態(tài)度和行為決定了人工智能技術(shù)的應(yīng)用和效果。在某些領(lǐng)域和任務(wù)中,即使人工智能算法決策和人類決策的差異逐漸縮小,甚至算法代理的表現(xiàn)優(yōu)于人類,人們?nèi)匀豢赡芫芙^使用算法代理。因此,深入挖掘人們態(tài)度和行為的深層原因,并進(jìn)一步提出改善算法決策采納的建議,是研究者需要持續(xù)關(guān)注的重要議題。

    參考文獻(xiàn):

    [1]李曉理,張博,王康,等. 人工智能的發(fā)展及應(yīng)用[J]. 北京工業(yè)大學(xué)學(xué)報(bào),2020,46(6):583-590.

    [2]RICCI F,ROKACH L,SHAPIRA B,et al. Recommender Systems Handbook[M]. New York:Springer,2011.

    [3]PATEL V L,SHORTLIFFE E H,STEFANELLI M,et al. The Coming of Age of Artificial Intelligence in Medicine[J]. Artificial Intelligence in Medicine,2009,46(1):5-17.

    [4]K?HLER C F,ROHM A J,RUYTER K D,et al. Return on Interactivity:The Impact of Online Agents on Newcomer Adjustment[J]. Journal of Marketing,2011,75(2):93-108.

    [5]RAHMANIFARD H,PLAKSINA T. Application of Artificial Intelligence Techniques in the Petroleum Industry:A Review[J]. Artificial Intelligence Review,2018(5):1-24.

    [6]AWADALLAH M A,MORCOS M M. Application of AI Tools in Fault Diagnosis of Electrical Machines and Drives-an Overview[J]. IEEE Transactions on Energy Conversion,2003,18(2):245-251.

    [7]LEE M K. Understanding Perception of Algorithmic Decisions:Fairness,Trust,and Emotion in Response to Algorithmic Management[J/OL]. Big Data amp; Society,2018,5(1)[2021-10-13].https://doi.org/10.1177/20539517 18756684.

    [8]NEWMAN D T,F(xiàn)AST N J,HARMON D J .When Eliminating Bias Isn't Fair:Algorithmic Reductionism and Procedural Justice in Human Resource Decisions[J]. Organizational Behavior and Human Decision Processes,2020,160:149-167.

    [9]FAST E,HORVITZ E. Long-term Trends in the Public Perception of Artificial Intelligence [C]. Palo Alto:AAAI Press,In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. Association for the Advancement of Artificial Intelligence,2017:963-969.

    [10]GROVE W M,ZALD D H,LEBOW B S,et al. Clinical Versus Mechanical Prediction:A Meta-analysis[J]. Psychological Assessment,2000,12(1):19-30.

    [11]DIETVORST B J,SIMMONS J P,MASSEY C. Algorithm Aversion:People Erroneously Avoid Algorithms After Seeing Them Err [J]. Journal of Experimental Psychology-General,2015,144(1):114-126.

    [12]K?CHLING A,RIAZY S,WEHNER M C,et al. Highly Accurate,but Still Discriminatory:A Fairness Evaluation of Algorithmic Video Analysis in the Recruitment Context [J]. Business amp; Information Systems Engineering,2021,63(1):39-54.

    [13]FU R,HUANG Y,SINGH P V. Crowds,Lending,Machine,and Bias [J]. Information Systems Research,2021,32(1):72-92.

    [14]JAMES V. Amazon Reportedly Scraps Internal AI Recruiting Tool that Was Biased Against Women [EB/OL].(2018-10-10)[2021-10-13].https://www.theverge.com/2018/10/10/17958784/ai-recruiting-tool-bias-amazon-report.

    [15]GILLESPIE T. The Relevance of Algorithms [G]//GILLESPIE T,BOCZKOWSKI P J,F(xiàn)OOT K A. Media Technologies:Essays on Communication,Materiality,and Society. Cambridge:MIT Press,2013:167-193.

    [16]EUROPEAN PARLIAMENT. Understanding Algorithmic Decision-making:Opportunities and Challenges[EB/OL]. (2019-03-05)[2021-10-13].https://www.europarl.europa.eu/RegData/etudes/STUD/2019/624261/EPRS_STU(2019)624261_EN.pdf.

    [17]ARAUJO T,HELBERGER N,KRUIKEMEIER S,et al. In AI We Trust?Perceptions About Automated Decision-making by Artificial Intelligence[J]. AI amp; Society,2020,35(3):611-623.

    [18]LINDEBAUM D,VESA M,HOND F D. Insights from“The Machine Stops”to Better Understand Rational Assumptions in Algorithmic Decision Making and Its Implications for Organizations[J]. The Academy of Management Review,2019,45(1):247-263.

    [19]ELMIRA V D B,SERGEEVA A,HUYSMAN M,et al. When the Machine Meets the Expert:An Ethnography of Developing AI for Hiring [J]. MIS Quarterly,2021,45(3):1557-1580.

    [20]KING W R. Planning for Strategic Decision Support Systems [J]. Long Range Planning,1983,16(5):73-78.

    [21]BRECKLER S J. Empirical Validation of Affect,Behavior,and Cognition as Distinct Components of Attitude[J]. Journal of Personality amp; Social Psychology,1984,47(6):1191-1205.

    [22]DIAB D L,PUI S Y,YANKELEVICH M,et al. Lay Perceptions of Selection Decision Aids in US and Non-US Samples [J]. International Journal of Selection and Assessment,2011,19(2):209-216.

    [23]裴嘉良,劉善仕,鐘楚燕,等. AI算法決策能提高員工的程序公平感知嗎?[J].外國(guó)經(jīng)濟(jì)與管理,2021,43(11):41-55.

    [24]AOKI N. The Importance of the Assurance That \"Humans Are Still in the Decision Loop\" for Public Trust in Artificial Intelligence:Evidence from an Online Experiment[J].Computers in Human Behavior,2021,114:1-8.

    [25]NISZCZOTA P,KASZáS D. Robo-investment Aversion [J]. Plos One,2020,15(9):1-19.

    [26]WOLF J R. Do IT Students Prefer Doctors Who Use IT?[J]. Computers in Human Behavior,2014,35:287-294.

    [27]LONGONI C,BONEZZI A,MOREWEDGE C K. Resistance to Medical Artificial Intelligence [J]. Journal of Consumer Research,2019,46(4):629-650.

    [28]BIGMAN Y E,GRAY K. People Are Averse to Machines Making Moral Decisions [J]. Cognition,2018,181:21-34.

    [29]ONKAL D,GOODWIN P,THOMSON M,et al. The Relative Influence of Advice from Human Experts and Statistical Methods on Forecast Adjustments [J]. Journal of Behavioral Decision Making,2009,22(4):390-409.

    [30]YEOMANS M,SHAH A,MULLAINATHAN S,et al. Making Sense of Recommendations [J]. Journal of Behavioral Decision Making,2019,32(4):403-414.

    [31]CHEN N Y,MOHANTY S,JIAO J F,et al. To Err Is Human:Tolerate Humans Instead of Machines in Service Failure [J/OL]. Journal of Retailing and Consumer Services,2021,59:102363[2021-10-13].https://doi.org/10.10161/j.jretconser.2020.102363.

    [32]WIEN A H,PELUSO A M. Influence of Human Versus AI Recommenders:The Roles of Product Type and Cognitive Processes[J]. Journal of Business Research,2021,137:13-27.

    [33]LOGG J M,MINSON J A,MOORE D A. Algorithm Appreciation:People Prefer Algorithmic to Human Judgment [J]. Organizational Behavior and Human Decision Processes,2019,151:90-103.

    [34]JAGO A S,LAURIN K. Assumptions About Algorithms' Capacity for Discrimination [J]. Personality and Social Psychology Bulletin.2022,48(4):582-595.

    [35]SRINIVASAN R,SARIAL-ABI G. When Algorithms Fail:Consumers′ Responses to Brand Harm Crises Caused by Algorithm Errors [J]. Journal of Marketing,2021,85(5):4-91.

    [36]FILIZ I,JUDEK J R,LORENZ M,et al. Reducing Algorithm Aversion Through Experience [J/OL]. Journal of Behavioral and Experimental Finance,2021,31,100524[2021-10-13].https://doi.org/10.1016/j.jbef.2021.100524.

    [37]ACIKGOZ Y,DAVISON K H,COMPAGNONE M,et al. Justice Perceptions of Artificial Intelligence in Selection [J]. International Journal of Selection and Assessment,2020,28(4):399-416.

    [38]SHAFFER V A,PROBST C A,MERKLE E C,et al. Why Do Patients Derogate Physicians Who Use a Computer-based Diagnostic Support System?[J]. Medical Decision Making,2013,33(1):108-118.

    [39]LUO X M,TONG S L,ZHENG F,et al. Frontiers:Machines vs. Humans:The Impact of Artificial Intelligence Chatbot Disclosure on Customer Purchases [J]. Marketing Science,2019,38(6):937-947.

    [40]LUO X M,QIN M S,ZHENG F,et al. Artificial Intelligence Coaches for Sales Agents:Caveats and Solutions [J]. Journal of Marketing,2021,85(2):14-32.

    [41]KAWAGUCHI K. When Will Workers Follow an Algorithm? A Field Experiment with a Retail Business [J]. Management Science,2021,67(3):1670-1695.

    [42]FüGENER A,GRAHL J,GUPTA A,et al. Will Humans-in-the-Loop Become Borgs? Merits and Pitfalls of Working with AI [J]. MIS Quarterly,2021,45(3):1527-1556.

    [43]LEICHT-DEOBALD U,BUSCH T,SCHANK C,et al. The Challenges of Algorithm-based HR Decision-making for Personal Integrity [J]. Journal of Business Ethics,2019,160(2):377-392.

    [44]MENDE M,SCOTT M L,VAN DOORN J,et al. Service Robots Rising:How Humanoid Robots Influence Service Experiences and Elicit Compensatory Consumer Responses [J]. Journal of Marketing Research,2019,56(4):535-556.

    [45]IRELAND L. Who Errs?Algorithm Aversion,the Source of Judicial Error,and Public Support for Self-help Behaviors [J]. Journal of Crime amp; Justice,2020,43(2):174-192.

    [46]BURTON J W,STEIN M,JENSEN T B. A Systematic Review of Algorithm Aversion in Augmented Decision Making [J]. Journal of Behavioral Decision Making,2020,33(2):220-239.

    [47]CASTELO N,BOS M W,LEHMANN D R. Task-dependent Algorithm Aversion [J]. Journal of Marketing Research,2019,56(5):809-825.

    [48]吳繼飛,于洪彥,朱翊敏,等. 人工智能推薦對(duì)消費(fèi)者采納意愿的影響[J].管理科學(xué),2020,33(5):29-43.

    [49]BOGERT E,SCHECTER A,WATSON R T. Humans Rely More on Algorithms Than Social Influence as a Task Becomes More Difficult [J]. Scientific Reports,2021,11(1):8028.

    [50]HELBERGER N,ARAUJO T,DE VREESE C H. Who is the Fairest of Them All?Public Attitudes and Expectations Regarding Automated Decision-making [J]. Computer Law amp; Security Review,2020,39:1-16.

    [51]LEE M K,RICH K. Who Is Included in Human Perceptions of AI? Trust and Perceived Fairness Around Healthcare AI and Cultural Mistrust [C]. New York:Association for Computing Machinery,2021 CHI Conference on Human Factors in Computing Systems,2021(1):2053-2066.

    [52]BERGER B,ADAM M,RUHR A,et al. Watch Me Improve-Algorithm Aversion and Demonstrating the Ability to Learn [J]. Business amp; Information Systems Engineering,2021,63(1):55-68.

    [53]HEATH C,TVERSKY A. Preference and Belief:Ambiguity and Competence in Choice Under Uncertainty [J]. Journal of Risk and Uncertainty,1991,4(1):5-28.

    [54]MENDE M,SCOTT M L,VAN DOORN J,et al. Service Robots Rising:How Humanoid Robots Influence Service Experiences and Elicit Compensatory Consumer Responses [J]. Journal of Marketing Research,2019,56(4):535-556.

    [55]RENIER L A,MAST M S,BEKBERGENOVA A.To Err is Human,Not Algorithmic-Robust Reactions to Erring Algorithms [J]. Computers in Human Behavior,2021,124:1-12.

    [56]MORI M. The Uncanny Valley[J]. Energy,1970,7(2):98-100.

    [57]SCHMITT B. Speciesism:An Obstacle to AI and Robot Adoption [J]. Marketing Letters. 2020,31:3-6.

    [58]FISKE S T,CUDDY A J C,GLICK P,et al. A Model of (Often Mixed)Stereotype Content:Competence and Warmth Respectively Follow from Perceived Status and Competition[J]. Journal of Personality and Social Psychology,2002,82(6):878-902.

    [59]FISKE S T,CUDDY A,GLICK P. Universal Dimensions of Social Cognition:Warmth and Competence[J].Trends in Cognitive Sciences,2007,11(2):77-83.

    [60]GRAY H M,GRAY K,WEGNER D M. Dimensions of Mind Perception[J]. Science,2007,315(5812):619.

    [61]徐鵬,徐向藝. 人工智能時(shí)代企業(yè)管理變革的邏輯與分析框架[J].管理世界,2020,36(1):122-129,238.

    [62]WAYTZ A,NORTON M I. Botsourcing and Outsourcing:Robot,British,Chinese,and German Workers Are for Thinking Not Feeling Jobs [J]. Emotion,2014,14(2):434-444.

    [63]SRINIVASAN R,SARIAL-ABI G.EXPRESS:When Algorithms Fail:Consumers' Responses to Brand Harm Crises Caused by Algorithm Errors[J]. Journal of Marketing,2021,85(5):74-91.

    [64]宋曉兵,何夏楠. 人工智能定價(jià)對(duì)消費(fèi)者價(jià)格公平感知的影響[J]. 管理科學(xué),2020,33(5):3-16.

    [65]BONACCIO S,DALAL R S. Advice Taking and Decision-making:An Integrative Literature Review,and Implications for The Organizational Sciences[J]. Organizational Behavior amp; Human Decision Processes,2007,101(2):127-151.

    [66]PROMBERGER M,BARON J. Do Patients Trust Computers?[J]. Journal of Behavioral Decision Making,2010,19(5):455-468.

    [67]KAIBEL C,KOCH-BAYRAM I,BIEMANN T,et al. Applicant Perceptions of Hiring Algorithms-Uniqueness and Discrimination Experiences as Moderators[J].Academy of Management Annual Meeting Proceedings,2019(1):18172.

    [68]GILOVICH T,GRIFFIN D,KAHNEMAN D . Heuristics and Biases:The Psychology of Intuitive Judgment [M]. Cambridge:Cambridge University Press,2002.

    [69]SUNDAR S S,KIM J. Machine Heuristic:When We Trust Computers More than Humans with Our Personal Information[C]. New York:Association for Computing Machinery,Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery. 2019,538:1-9.

    [70]LEUNG E,PAOLACCI G,PUNTONI S. Man Versus Machine:Resisting Automation in Identity-Based Consumer Behavior[J]. Journal of Marketing Research,2018,55(6):818-831.

    [71]KARPUS J,KRüGER A,VERBA J T,et al. Algorithm Exploitation:Humans Are Keen to Exploit Benevolent AI[J/OL]. Iscience,2021,24(6):102679[2021-10-13].https://doi.org/10.1016/j.isic.2021.102679.

    [72]GRAD P,XPLORE T. AI Program Writes Music and Lyrics[EB/OL].(2020-03-01)[2021-10-13].https://techxplore.com/news/2020-05-ai-music-lyrics.html.

    [73]李游,梁哲浩,常亞平. 用戶對(duì)人工智能產(chǎn)品的算法厭惡研究述評(píng)及展望[J].管理學(xué)報(bào),2022,19(11):1725-1732.

    [74]DIETVORST B J,BARTELS D M. Consumers Object to Algorithms Making Morally Relevant Tradeoffs Because of Algorithms' Consequentialist Decision Strategies [J]. Journal of Consumer Psychology,2022,32(3):406-424.

    [75]KOUCHAKI M,SMITH I H,NETCHAEVA E. Not All Fairness Is Created Equal:Fairness Perceptions of Group vs. Individual Decision Makers[J]. Organization Science,2015,26(5):1301-1315.

    [責(zé)任編輯:孔令仙]

    成人黄色视频免费在线看| 新久久久久国产一级毛片| 熟女av电影| 欧美xxⅹ黑人| 国产欧美另类精品又又久久亚洲欧美| 能在线免费看毛片的网站| 91精品国产九色| 欧美高清成人免费视频www| 欧美三级亚洲精品| 欧美bdsm另类| 午夜免费鲁丝| 亚洲成人一二三区av| 少妇被粗大的猛进出69影院 | av线在线观看网站| 看十八女毛片水多多多| 免费播放大片免费观看视频在线观看| 国精品久久久久久国模美| 日韩一区二区三区影片| 18+在线观看网站| 边亲边吃奶的免费视频| 亚洲一级一片aⅴ在线观看| 免费观看无遮挡的男女| 女的被弄到高潮叫床怎么办| 99国产精品免费福利视频| 日产精品乱码卡一卡2卡三| 自拍欧美九色日韩亚洲蝌蚪91 | 成人毛片a级毛片在线播放| www.色视频.com| 久久6这里有精品| 性色av一级| 国产av一区二区精品久久| 制服丝袜香蕉在线| 大片电影免费在线观看免费| 在线 av 中文字幕| 久久狼人影院| 22中文网久久字幕| a级毛片免费高清观看在线播放| 久久久久网色| 秋霞伦理黄片| 亚洲av中文av极速乱| 日本猛色少妇xxxxx猛交久久| 大香蕉97超碰在线| 免费少妇av软件| 肉色欧美久久久久久久蜜桃| 国产精品人妻久久久影院| 国模一区二区三区四区视频| 伊人久久国产一区二区| 免费av不卡在线播放| 26uuu在线亚洲综合色| 久久久久久久精品精品| 欧美 日韩 精品 国产| 99re6热这里在线精品视频| 国产黄频视频在线观看| 一级二级三级毛片免费看| 国产中年淑女户外野战色| 国产伦精品一区二区三区四那| 久久99一区二区三区| 中国三级夫妇交换| 中文字幕精品免费在线观看视频 | 亚洲国产欧美日韩在线播放 | 国模一区二区三区四区视频| 欧美精品高潮呻吟av久久| 国产精品久久久久久久电影| xxx大片免费视频| 99久久精品国产国产毛片| 在线观看人妻少妇| 男女免费视频国产| 有码 亚洲区| av女优亚洲男人天堂| 久久国产精品男人的天堂亚洲 | 亚洲av二区三区四区| 少妇被粗大猛烈的视频| 99久久综合免费| 亚洲av在线观看美女高潮| 亚洲成色77777| 菩萨蛮人人尽说江南好唐韦庄| 国产成人a∨麻豆精品| 国产爽快片一区二区三区| 久久久国产精品麻豆| 成人国产麻豆网| 日日摸夜夜添夜夜爱| 三上悠亚av全集在线观看 | 2021少妇久久久久久久久久久| 国产亚洲av片在线观看秒播厂| 美女脱内裤让男人舔精品视频| 美女国产视频在线观看| 色婷婷久久久亚洲欧美| 赤兔流量卡办理| 免费高清在线观看视频在线观看| 日本爱情动作片www.在线观看| 男人狂女人下面高潮的视频| 国产精品一区二区在线观看99| 日本wwww免费看| 一区二区三区免费毛片| 黄色欧美视频在线观看| 一级,二级,三级黄色视频| 国产视频首页在线观看| 嘟嘟电影网在线观看| 日韩,欧美,国产一区二区三区| 夫妻性生交免费视频一级片| 精品国产一区二区久久| 18禁在线无遮挡免费观看视频| 高清在线视频一区二区三区| 纵有疾风起免费观看全集完整版| 我要看日韩黄色一级片| 超碰97精品在线观看| 日韩,欧美,国产一区二区三区| 日韩精品有码人妻一区| 夜夜骑夜夜射夜夜干| 国产一区有黄有色的免费视频| 午夜福利在线观看免费完整高清在| 亚州av有码| 久久久久网色| 亚洲性久久影院| 观看av在线不卡| 免费观看无遮挡的男女| 国产精品麻豆人妻色哟哟久久| 日本黄大片高清| 色哟哟·www| 亚洲精品成人av观看孕妇| 97超碰精品成人国产| 国产精品成人在线| 六月丁香七月| 一级毛片aaaaaa免费看小| 日韩av在线免费看完整版不卡| 成人漫画全彩无遮挡| 国产无遮挡羞羞视频在线观看| 岛国毛片在线播放| 国产欧美另类精品又又久久亚洲欧美| 麻豆精品久久久久久蜜桃| 不卡视频在线观看欧美| 一级毛片 在线播放| 99久国产av精品国产电影| 免费人成在线观看视频色| 亚洲av中文av极速乱| 日本av手机在线免费观看| 中文字幕免费在线视频6| .国产精品久久| 18禁裸乳无遮挡动漫免费视频| 欧美日韩av久久| 成人午夜精彩视频在线观看| 久久国产乱子免费精品| 夜夜骑夜夜射夜夜干| 亚洲丝袜综合中文字幕| 2022亚洲国产成人精品| 一二三四中文在线观看免费高清| 夜夜爽夜夜爽视频| 日日啪夜夜撸| 一区二区三区免费毛片| 人妻 亚洲 视频| 久久99蜜桃精品久久| 国产免费视频播放在线视频| 精品久久久噜噜| 男女边摸边吃奶| 午夜免费鲁丝| 日本欧美视频一区| 国产真实伦视频高清在线观看| 少妇猛男粗大的猛烈进出视频| 亚洲国产毛片av蜜桃av| 日本与韩国留学比较| 国产成人免费无遮挡视频| av在线app专区| 纵有疾风起免费观看全集完整版| 亚洲欧美日韩卡通动漫| 新久久久久国产一级毛片| 男的添女的下面高潮视频| 国产日韩一区二区三区精品不卡 | 久久久国产欧美日韩av| 免费高清在线观看视频在线观看| 一级毛片我不卡| 观看免费一级毛片| 久久99精品国语久久久| 一级毛片我不卡| 成人午夜精彩视频在线观看| 看非洲黑人一级黄片| 美女cb高潮喷水在线观看| 成人午夜精彩视频在线观看| 精华霜和精华液先用哪个| 亚洲精品国产av成人精品| 午夜免费观看性视频| 久久国产乱子免费精品| 国产老妇伦熟女老妇高清| av视频免费观看在线观看| 亚洲精品日韩av片在线观看| 国产淫片久久久久久久久| 国产毛片在线视频| 亚洲国产精品专区欧美| 97精品久久久久久久久久精品| 久久久久国产网址| 欧美国产精品一级二级三级 | 交换朋友夫妻互换小说| 国产免费视频播放在线视频| 成年女人在线观看亚洲视频| 国产极品天堂在线| 一区二区三区乱码不卡18| 国产日韩欧美亚洲二区| 亚洲精品视频女| 久久 成人 亚洲| 夜夜爽夜夜爽视频| 国产一区二区在线观看日韩| 人妻少妇偷人精品九色| 免费大片黄手机在线观看| 国产一区亚洲一区在线观看| 欧美成人精品欧美一级黄| 欧美三级亚洲精品| 欧美性感艳星| 国产色婷婷99| 人人妻人人澡人人看| 在现免费观看毛片| 亚洲av二区三区四区| √禁漫天堂资源中文www| 极品教师在线视频| 国产女主播在线喷水免费视频网站| 校园人妻丝袜中文字幕| 中文字幕久久专区| 亚洲美女视频黄频| 色视频www国产| 你懂的网址亚洲精品在线观看| 狂野欧美激情性xxxx在线观看| 99久久人妻综合| 日韩人妻高清精品专区| videossex国产| 午夜免费男女啪啪视频观看| 久久久久久久久大av| 三级国产精品片| 大陆偷拍与自拍| 国产视频首页在线观看| 久久久a久久爽久久v久久| 国产精品成人在线| 国产老妇伦熟女老妇高清| 精品人妻熟女毛片av久久网站| 免费不卡的大黄色大毛片视频在线观看| 国产视频内射| 男女免费视频国产| 午夜91福利影院| 蜜桃在线观看..| 色婷婷av一区二区三区视频| 国产精品久久久久久久久免| 最近中文字幕2019免费版| 国产高清国产精品国产三级| 日韩视频在线欧美| 久久久久久久久大av| 丰满饥渴人妻一区二区三| 肉色欧美久久久久久久蜜桃| 嫩草影院入口| 成年人免费黄色播放视频 | 精品亚洲乱码少妇综合久久| 免费观看a级毛片全部| 亚洲国产色片| 色网站视频免费| 九九久久精品国产亚洲av麻豆| 好男人视频免费观看在线| 国产在线男女| 亚洲自偷自拍三级| 国产日韩欧美亚洲二区| 国产极品粉嫩免费观看在线 | 麻豆乱淫一区二区| 欧美区成人在线视频| 我要看日韩黄色一级片| a级一级毛片免费在线观看| 国产伦精品一区二区三区视频9| 国产日韩欧美视频二区| 中文天堂在线官网| 中文字幕精品免费在线观看视频 | 亚洲国产欧美日韩在线播放 | 香蕉精品网在线| 中文天堂在线官网| 老司机影院成人| 女性生殖器流出的白浆| 色视频在线一区二区三区| 亚洲丝袜综合中文字幕| 国产男人的电影天堂91| av在线app专区| 日本午夜av视频| 国产美女午夜福利| 亚洲第一区二区三区不卡| av一本久久久久| 在线观看人妻少妇| 最新中文字幕久久久久| 久久精品久久久久久久性| 大话2 男鬼变身卡| 男男h啪啪无遮挡| 亚洲精品一二三| 国产成人精品婷婷| 久久久久久久亚洲中文字幕| 一级毛片 在线播放| 特大巨黑吊av在线直播| 国产精品福利在线免费观看| 热re99久久国产66热| 日韩成人伦理影院| 精品久久国产蜜桃| 久久国产精品男人的天堂亚洲 | 如日韩欧美国产精品一区二区三区 | 精华霜和精华液先用哪个| 97精品久久久久久久久久精品| 免费观看在线日韩| 人人妻人人添人人爽欧美一区卜| 赤兔流量卡办理| 在线观看三级黄色| 亚洲国产精品国产精品| 日本午夜av视频| 国产乱来视频区| 亚洲国产精品一区二区三区在线| 夜夜骑夜夜射夜夜干| 女性生殖器流出的白浆| 国产成人免费无遮挡视频| 亚洲,欧美,日韩| av一本久久久久| 大又大粗又爽又黄少妇毛片口| 国产成人免费观看mmmm| 高清在线视频一区二区三区| 一区二区三区精品91| 男人爽女人下面视频在线观看| 久久久久久久久久人人人人人人| 高清av免费在线| videos熟女内射| 一区二区三区精品91| 国产美女午夜福利| 一级,二级,三级黄色视频| 国产精品嫩草影院av在线观看| .国产精品久久| 日日摸夜夜添夜夜爱| 国产精品99久久久久久久久| 一级毛片久久久久久久久女| 色5月婷婷丁香| 免费av中文字幕在线| 中文字幕久久专区| 高清av免费在线| 在线观看一区二区三区激情| 18禁裸乳无遮挡动漫免费视频| 99久久人妻综合| 99热国产这里只有精品6| 另类精品久久| 亚洲久久久国产精品| 亚洲av电影在线观看一区二区三区| 精品一品国产午夜福利视频| 国产一区二区在线观看日韩| 精品99又大又爽又粗少妇毛片| 少妇人妻一区二区三区视频| 亚洲国产欧美日韩在线播放 | 精品亚洲成a人片在线观看| 少妇人妻 视频| 18禁动态无遮挡网站| 国产精品福利在线免费观看| 国产无遮挡羞羞视频在线观看| 亚洲真实伦在线观看| 欧美精品亚洲一区二区| 国产永久视频网站| 国产成人aa在线观看| 边亲边吃奶的免费视频| 国产黄色视频一区二区在线观看| 日韩一本色道免费dvd| 国产 精品1| 高清黄色对白视频在线免费看 | 日日摸夜夜添夜夜添av毛片| 久久午夜综合久久蜜桃| 国产欧美日韩精品一区二区| 精品一区二区免费观看| 99热6这里只有精品| 午夜福利网站1000一区二区三区| 国产精品99久久99久久久不卡 | 一级a做视频免费观看| 男人添女人高潮全过程视频| 男女边吃奶边做爰视频| 在线播放无遮挡| 丰满乱子伦码专区| 91精品一卡2卡3卡4卡| 欧美另类一区| kizo精华| 久久久久久久精品精品| 国产av一区二区精品久久| 国国产精品蜜臀av免费| 午夜免费男女啪啪视频观看| 18禁在线播放成人免费| 一级爰片在线观看| 交换朋友夫妻互换小说| 亚洲精品成人av观看孕妇| 2022亚洲国产成人精品| 国产精品久久久久久精品古装| 这个男人来自地球电影免费观看 | a级一级毛片免费在线观看| 一级a做视频免费观看| 美女中出高潮动态图| 国产亚洲欧美精品永久| 人妻 亚洲 视频| 91久久精品国产一区二区三区| 午夜免费男女啪啪视频观看| 噜噜噜噜噜久久久久久91| 免费看不卡的av| 丰满迷人的少妇在线观看| 在线播放无遮挡| 亚洲精品国产色婷婷电影| 成人综合一区亚洲| 啦啦啦在线观看免费高清www| 日本欧美视频一区| 激情五月婷婷亚洲| 高清视频免费观看一区二区| 成人18禁高潮啪啪吃奶动态图 | 美女视频免费永久观看网站| 亚洲欧美成人综合另类久久久| 亚洲精品中文字幕在线视频 | 国产精品国产三级国产专区5o| 日产精品乱码卡一卡2卡三| 国产黄色视频一区二区在线观看| 日日啪夜夜撸| 国产精品99久久99久久久不卡 | 成人漫画全彩无遮挡| 麻豆成人av视频| 国产综合精华液| 亚洲欧美日韩东京热| 久久综合国产亚洲精品| 五月开心婷婷网| 美女福利国产在线| 欧美三级亚洲精品| 欧美xxxx性猛交bbbb| 欧美亚洲 丝袜 人妻 在线| 一级毛片黄色毛片免费观看视频| 日韩亚洲欧美综合| 亚洲激情五月婷婷啪啪| 超碰97精品在线观看| 久久免费观看电影| 精品久久久精品久久久| 国产女主播在线喷水免费视频网站| 国产成人aa在线观看| 国产亚洲5aaaaa淫片| 成人二区视频| 日本vs欧美在线观看视频 | 9色porny在线观看| www.av在线官网国产| 王馨瑶露胸无遮挡在线观看| 我的老师免费观看完整版| 51国产日韩欧美| 久久99精品国语久久久| 精品99又大又爽又粗少妇毛片| 日本vs欧美在线观看视频 | 久久人人爽av亚洲精品天堂| 18+在线观看网站| 午夜免费鲁丝| 欧美区成人在线视频| 五月天丁香电影| 日本-黄色视频高清免费观看| 国产老妇伦熟女老妇高清| 男人舔奶头视频| 啦啦啦啦在线视频资源| 国产一区二区在线观看av| 久久久久久伊人网av| 女的被弄到高潮叫床怎么办| 丰满人妻一区二区三区视频av| 午夜影院在线不卡| 中国国产av一级| 人妻制服诱惑在线中文字幕| 最近手机中文字幕大全| 亚洲精品日韩在线中文字幕| 久热久热在线精品观看| 丰满人妻一区二区三区视频av| 亚洲丝袜综合中文字幕| 天美传媒精品一区二区| 夫妻性生交免费视频一级片| 丝袜脚勾引网站| 亚洲真实伦在线观看| 中文字幕免费在线视频6| 97超视频在线观看视频| 久久这里有精品视频免费| 免费大片18禁| 久久久久久久久久人人人人人人| a 毛片基地| 欧美日韩在线观看h| 久久久久久人妻| 日韩中文字幕视频在线看片| 日韩成人伦理影院| 精品国产国语对白av| 纵有疾风起免费观看全集完整版| 妹子高潮喷水视频| 七月丁香在线播放| 人人妻人人看人人澡| av在线播放精品| 精品国产露脸久久av麻豆| 水蜜桃什么品种好| av福利片在线| 久久久a久久爽久久v久久| 久久久精品94久久精品| av有码第一页| 99久国产av精品国产电影| 汤姆久久久久久久影院中文字幕| 亚洲精品乱码久久久v下载方式| 在线观看三级黄色| 久久久久久久久久成人| 日韩免费高清中文字幕av| 91午夜精品亚洲一区二区三区| 国产精品蜜桃在线观看| 一本色道久久久久久精品综合| 80岁老熟妇乱子伦牲交| 91精品国产国语对白视频| 亚洲国产精品一区二区三区在线| 色视频www国产| 色婷婷av一区二区三区视频| 少妇的逼水好多| 一二三四中文在线观看免费高清| 国产精品一区二区性色av| 韩国高清视频一区二区三区| 亚洲av.av天堂| 两个人免费观看高清视频 | 亚洲国产精品一区二区三区在线| 欧美丝袜亚洲另类| 国产精品国产三级国产av玫瑰| 国产在线男女| 精品少妇内射三级| av网站免费在线观看视频| 成人二区视频| 国产一区亚洲一区在线观看| 伦精品一区二区三区| 国产在视频线精品| 国产永久视频网站| 蜜桃久久精品国产亚洲av| 人妻夜夜爽99麻豆av| 男人狂女人下面高潮的视频| 亚洲自偷自拍三级| 一个人看视频在线观看www免费| 日韩欧美精品免费久久| 亚洲精品乱码久久久久久按摩| 三上悠亚av全集在线观看 | 十八禁网站网址无遮挡 | 国产精品偷伦视频观看了| 亚洲av在线观看美女高潮| 一级毛片电影观看| 黄色日韩在线| 51国产日韩欧美| 草草在线视频免费看| 午夜影院在线不卡| 久久99热这里只频精品6学生| 欧美xxⅹ黑人| 亚洲国产欧美日韩在线播放 | 国产精品99久久久久久久久| 国产精品久久久久成人av| 国产精品成人在线| 久久久久久久亚洲中文字幕| 午夜免费鲁丝| 国产成人精品无人区| 晚上一个人看的免费电影| 欧美精品国产亚洲| 黄色一级大片看看| 国产 精品1| 少妇人妻 视频| 少妇被粗大的猛进出69影院 | 我的女老师完整版在线观看| 尾随美女入室| 高清欧美精品videossex| 黄片无遮挡物在线观看| 丝袜喷水一区| 人人澡人人妻人| 亚洲电影在线观看av| 亚洲av综合色区一区| 黑人高潮一二区| 欧美+日韩+精品| 国产亚洲精品久久久com| 久久99蜜桃精品久久| 亚洲av成人精品一区久久| 久久99热这里只频精品6学生| 国产成人精品无人区| 国产91av在线免费观看| 激情五月婷婷亚洲| 99视频精品全部免费 在线| 国产乱来视频区| 各种免费的搞黄视频| 亚洲在久久综合| av女优亚洲男人天堂| 日韩不卡一区二区三区视频在线| 久久毛片免费看一区二区三区| 能在线免费看毛片的网站| 亚洲欧美精品专区久久| 欧美97在线视频| 亚洲色图综合在线观看| 日韩av不卡免费在线播放| 极品少妇高潮喷水抽搐| 99九九线精品视频在线观看视频| 欧美xxⅹ黑人| 国产爽快片一区二区三区| 91久久精品国产一区二区三区| 精品国产露脸久久av麻豆| 男人狂女人下面高潮的视频| 国产男女内射视频| 波野结衣二区三区在线| 韩国av在线不卡| 国产精品人妻久久久影院| 精品酒店卫生间| 99热全是精品| 国产精品国产三级国产av玫瑰| 国产成人freesex在线| 国产淫片久久久久久久久| 搡女人真爽免费视频火全软件| 国产精品人妻久久久久久| 久久国内精品自在自线图片| 亚洲天堂av无毛| 久久这里有精品视频免费| 午夜老司机福利剧场| 亚洲精品日韩av片在线观看| 久热这里只有精品99| 国产在视频线精品| 午夜日本视频在线| 在线观看人妻少妇| 国产av国产精品国产| 久久久午夜欧美精品| 国产成人精品一,二区| 久久 成人 亚洲| av在线观看视频网站免费| 国产一区有黄有色的免费视频| 一二三四中文在线观看免费高清| 亚洲精品久久久久久婷婷小说| 国产日韩欧美在线精品| 久久韩国三级中文字幕| 这个男人来自地球电影免费观看 | 边亲边吃奶的免费视频| 亚洲国产精品国产精品| 日本爱情动作片www.在线观看| 男女边摸边吃奶|