• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能決策的公平感知*

    2022-05-16 03:28:20蔣路遠(yuǎn)曹李梅彭小斐
    心理科學(xué)進(jìn)展 2022年5期
    關(guān)鍵詞:公平決策個體

    蔣路遠(yuǎn) 曹李梅 秦 昕 譚 玲 陳 晨 彭小斐

    人工智能決策的公平感知*

    蔣路遠(yuǎn)1曹李梅1秦 昕1譚 玲2陳 晨1彭小斐1

    (1中山大學(xué)管理學(xué)院, 廣州 510275) (2廣東工業(yè)大學(xué)管理學(xué)院, 廣州 510520)

    不平等問題是全球社會和經(jīng)濟(jì)發(fā)展需要應(yīng)對的首要挑戰(zhàn), 也是實現(xiàn)全球可持續(xù)發(fā)展目標(biāo)的核心障礙。人工智能(artificial intelligence, AI)為緩解不平等、促進(jìn)社會公平提供了新的途徑。然而, 新近研究發(fā)現(xiàn), 即使客觀上AI決策具有公平性和準(zhǔn)確性, 個體仍可能對AI決策的公平感知較低。因此, 近年來越來越多的研究開始關(guān)注AI決策公平感知的影響因素。然而, 目前研究較為分散, 呈現(xiàn)出研究范式不統(tǒng)一、理論不清晰和機(jī)制未厘清等特征。這既不利于跨學(xué)科的研究對話, 也不利于研究者和實踐者對AI決策公平感知形成系統(tǒng)性理解?;诖? 通過系統(tǒng)的梳理, 現(xiàn)有研究可以劃分為兩類: (1) AI單一決策的公平感知研究, 主要聚焦于AI特征和個體特征如何影響個體對AI決策的公平感知; (2) AI?人類二元決策的公平感知研究, 主要聚焦于對比個體對AI決策與人類決策公平感知的差異。在上述梳理基礎(chǔ)上, 未來研究可以進(jìn)一步探索AI決策公平感知的情緒影響機(jī)制等方向。

    人工智能, 算法, 公平, 決策

    1 引言

    不平等問題是全球社會和經(jīng)濟(jì)發(fā)展需要應(yīng)對的首要挑戰(zhàn)。聯(lián)合國經(jīng)濟(jì)與社會事務(wù)部所發(fā)布的《2020年世界社會報告(World Social Report, 2020)》指出, 全球不平等現(xiàn)象正在日益加劇, 全球超過三分之二人口所生活的國家都面臨著不平等問題進(jìn)一步擴(kuò)大的現(xiàn)狀。這不僅會影響經(jīng)濟(jì)發(fā)展和社會穩(wěn)定, 還會阻礙全球可持續(xù)發(fā)展目標(biāo)的實現(xiàn)(鄭功成, 2009; Vinuesa et al., 2020)。人工智能(artificial intelligence, AI)在緩解不平等問題、促進(jìn)社會公平等方面被寄予厚望(曹培杰, 2020; Dalenberg, 2018; Loehr, 2015), 因為AI能夠依靠大數(shù)據(jù)和復(fù)雜計算作出客觀判斷(徐鵬, 徐向藝, 2020; Lindebaum et al., 2020), 有助于減少人類決策過程的主觀偏差和不公平(房鑫, 劉欣, 2019; Miller & Keiser, 2021)。例如, 在應(yīng)對新冠病毒方面, AI有效緩解了人類偏見可能導(dǎo)致的醫(yī)療資源分配不公等問題(Bigman et al., in press)。

    盡管AI決策在促進(jìn)公平方面成效突出并蘊(yùn)藏著巨大潛力, 但部分新近研究發(fā)現(xiàn), 即使AI和人類的決策結(jié)果在客觀上沒有差異, 甚至優(yōu)于人類, 個體仍可能表現(xiàn)出算法厭惡(algorithm aversion;Burton et al., 2020), 并寧愿以犧牲效率為代價來反對AI決策(謝小云等, 2021; Bigman & Gray, 2018; Longoni et al., 2019)。這是因為對AI決策的一系列假設(shè)(例如, 去情境化; decontextualization)讓個體認(rèn)為AI決策比人類決策更不公平(Helberger et al., 2020; Newman et al., 2020)。例如, 在同樣的精確度下, 個體認(rèn)為, 相比于AI決策, 由心理學(xué)家進(jìn)行犯罪風(fēng)險預(yù)測和決策更公平, 甚至認(rèn)為按照強(qiáng)制性的指導(dǎo)政策決策也比AI決策更公平(Wang, 2018)。

    上述研究表明, 個體對AI決策的公平感知是研究者亟需關(guān)注的重要問題(張志學(xué)等, 2021)。在理論上, 探索個體對AI這一新興決策主體的公平感知擴(kuò)展了傳統(tǒng)公平研究的視角(Newman et al., 2020; O?tting & Maier, 2018); 在實踐上, 探索AI決策公平感知的影響因素能夠幫助優(yōu)化AI決策系統(tǒng)中公平準(zhǔn)則的構(gòu)建與設(shè)計(謝洪明等, 2019; Barabas et al., 2020; Helberger et al., 2020)。基于此,越來越多研究開始關(guān)注AI決策公平感知的影響因素及其作用機(jī)制。

    自2017年以來, AI決策公平感知的相關(guān)研究呈現(xiàn)加速增長的趨勢, 并吸引了越來越多社會科學(xué)和計算機(jī)科學(xué)領(lǐng)域的研究者投入其中。然而, 目前AI決策公平感知的相關(guān)研究散布于不同學(xué)科領(lǐng)域, 呈現(xiàn)出研究范式不統(tǒng)一、理論不清晰和機(jī)制未厘清等特征。這既不利于跨學(xué)科對話, 也不利于研究者和實踐者對AI決策公平感知形成系統(tǒng)性理解?;诖? 本文系統(tǒng)地梳理了AI決策公平感知的相關(guān)研究, 總結(jié)了AI決策公平感知的影響因素和機(jī)制等, 以期為未來研究提供參考和啟發(fā)。具體地, 本文全面搜索了Web of Science, PsycINFO, IEEE Xplore, Scopus和中國知網(wǎng)5個主要數(shù)據(jù)庫后獲得53篇AI決策公平感知相關(guān)論文并對其進(jìn)行系統(tǒng)性整理。鑒于公平感知是個體對決策主體公平性的主觀感受(李超平, 時勘, 2003; 郭秀艷等, 2017; Colquitt & Zipay, 2015), 參考以往研究(Karam et al., 2019; Rupp & Cropanzano, 2002), 本文根據(jù)決策主體將AI決策公平感知的相關(guān)研究分成兩類: 第一, AI單一決策的公平感知研究, 即決策主體僅涉及AI, 這部分研究聚焦于探討AI特征、個體特征等如何影響個體對AI決策公平性的知覺。第二, AI?人類二元決策的公平感知研究, 即決策主體涉及AI和人類兩方, 這部分研究聚焦于對比個體對AI與人類決策公平感知的差異?;谝陨戏诸? 本文系統(tǒng)性地梳理了AI決策公平感知的相關(guān)研究及其理論機(jī)制, 并總結(jié)出現(xiàn)有研究的整體框架, 進(jìn)而為未來研究提供有價值的指引和建議。

    2 AI單一決策的公平感知研究

    AI單一決策的公平感知研究主要探討AI作為決策者時, AI決策公平感知的影響因素及其作用機(jī)制, 包括AI特征和個體特征兩個方面。

    2.1 AI特征

    Lee等(2019)所提出的算法決策公平理論框架認(rèn)為, 在AI決策過程中, 透明性(transparency)、可控性(controllability)和規(guī)則性(rule)是影響個體公平感知的重要因素?;谏鲜隹蚣? 并結(jié)合現(xiàn)有文獻(xiàn), 本文從AI的透明性、可控性、規(guī)則性和適當(dāng)性(appropriateness)四個方面對現(xiàn)有文獻(xiàn)進(jìn)行回顧(見表1)。

    2.1.1 透明性

    透明性是指個體對AI決策過程和結(jié)果等相關(guān)信息的可獲得程度(Shin, 2020; Shin & Park, 2019), 包括透明度(Lee et al., 2019)、解釋性(explainability;Shin, 2021b; Shin, in press; van Berkel et al., 2019)和解釋風(fēng)格(explanation styles; Binns et al., 2018; Dodge et al., 2019)等。AI決策的透明性主要通過個體的感知可理解性影響其公平感知?,F(xiàn)有研究表明, AI決策的透明性對個體的公平感知可能存在雙刃劍效應(yīng): 既可能提高交互公平(interactional justice; Wang et al., 2020), 也可能降低分配公平(distributive justice; Lee et al., 2019)。一方面, 透明性可以提高個體對AI決策的交互公平感知(Wang et al., 2020)。AI決策透明性越高, 所提供的解釋越相關(guān)、具體和充分, 個體對AI決策的理解程度越高, 進(jìn)而交互公平感知越高(Binns et al., 2018; Langer et al., 2018; Shin, in press)。例如, Binns等(2018)發(fā)現(xiàn), 在AI評估汽車保險的決策情境中, 向參與者展示的決策條件越透明, 參與者對AI決策的交互公平感知越高。另一方面, 透明性也可能降低個體對AI決策的分配公平感知(Lee et al., 2019)。例如, Lee等(2019)發(fā)現(xiàn), 在群體分配情境下, AI分配決策的相關(guān)信息(例如, 分配結(jié)果等)的透明性越高, 向群體內(nèi)個體暴露出的分配不均勻的程度也越高, 從而降低個體的分配公平感知(Lee et al., 2019)。

    表1 AI單一決策的公平感知研究總結(jié)

    注:?指該論文使用了相關(guān)邏輯闡述機(jī)制, 但未進(jìn)行實證機(jī)制測量和檢驗。

    1Lee等(2019)同時探討了AI特征的透明性和可控性, 故歸入兩個亞類別。

    2.1.2 可控性

    可控性是指個體對AI決策過程和結(jié)果的控制程度(Lee et al., 2019), 包括決策參與(locus of decision; Uhde et al., 2020)、算法開發(fā)(algorithm development; Wang et al., 2020)和決策控制(decision control; Lee et al., 2019)等。AI決策的可控性通過滿足個體需求(例如, 個體對輸入數(shù)據(jù)或決策邏輯的控制程度)來影響其公平感知。AI決策的可控性越高, 越有利于個體形成對他們有利的決策結(jié)果, 從而越可能提高其公平感知(Lee et al., 2019; Wang et al., 2020)例如, Uhde等(2020)發(fā)現(xiàn), 在進(jìn)行醫(yī)院排班決策時, 相比于僅由AI來進(jìn)行排班決策, 醫(yī)護(hù)人員參與其中、與AI一起協(xié)作決策, 會帶來更高的公平感知。

    2.1.3 規(guī)則性

    規(guī)則性是指AI決策的規(guī)則取向(Hutchinson & Mitchell, 2019; Shin, 2020), 包括分配規(guī)范1分配規(guī)范包括分配原則(即平等取向、需求取向和公平取向等)和分配比例(即最優(yōu)決策、比例決策和平均決策等)。(allocation norms; Saxena et al., 2020)、公平取向2分配規(guī)范包括分配原則(即平等取向、需求取向和公平取向等)和分配比例(即最優(yōu)決策、比例決策和平均決策等)。(fairness approaches; Cheng et al., 2021)和收益權(quán)衡3分配規(guī)范包括分配原則(即平等取向、需求取向和公平取向等)和分配比例(即最優(yōu)決策、比例決策和平均決策等)。(benefit trade-offs; Srivastava et al., 2019)等。AI決策的規(guī)則性主要通過規(guī)則取向的一致性(即, AI規(guī)則取向和個體規(guī)則取向的一致程度)來影響個體的公平感知。公平相關(guān)研究認(rèn)為, 個體基于平等、公平和需求三類規(guī)則取向評估分配公平性(Deutsch, 1975; Leventhal, 1976)。因此, 當(dāng)AI決策的規(guī)則越符合上述公平規(guī)則, 個體對AI決策的公平感知就越高(Chang et al., 2020; Cheng et al., 2021)。例如, 在再犯風(fēng)險評估(recidivism risk assessment)和醫(yī)學(xué)預(yù)測情境中, AI決策的規(guī)則設(shè)置為平等規(guī)則取向時(即人人平等規(guī)則, demographic parity), 個體認(rèn)為該決策的歧視性越小, 公平感知越高(Srivastava et al., 2019)。

    2.1.4 適當(dāng)性

    適當(dāng)性是指AI決策所使用信息的適宜程度(Kasinidou et al., 2021), 包括決策因素適當(dāng)性(appropriateness of factors; Kasinidou et al., 2021)、種族和性別等個體信息使用(information about race or gender; Harrison et al., 2020; Nyarko et al., 2020; Plane et al., 2018)和信息相關(guān)性(relevance; Grgi?-Hla?a, Redmiles et al., 2018)等AI決策的適當(dāng)性主要通過個體道德直覺影響個體的公平感知。當(dāng)AI決策所使用的信息適宜程度較低(例如, 采用性別、種族等具有偏見的信息)時, 可能會喚醒人類潛在的、直覺性的道德基礎(chǔ), 并認(rèn)為這一決策有違公平(Nyarko et al., 2020), 進(jìn)而降低其公平感知。例如, Harrison等(2020)在探究是否準(zhǔn)予刑事被告人保釋時發(fā)現(xiàn), 當(dāng)AI決策不使用種族信息時, 個體會覺得AI決策更公平。

    2.2 個體特征

    部分研究探討了個體特征對AI決策公平感知的影響(Htun et al., 2021; Saha et al., 2020; van Berkel et al., 2021)。道德感知(例如, 對公平和歧視的感知等)在不同個體之間存在差異(陳晨, 張昕等, 2020; 周浩, 龍立榮, 2007; Graham et al., 2013), 即個體的人口統(tǒng)計學(xué)特征(例如, 性別、年齡和政治觀點(diǎn)等)和人格與價值觀會對個體的道德直覺產(chǎn)生影響, 進(jìn)而影響個體對AI決策的公平感知(Graham et al., 2013; Pierson, 2017)。基于此, 本文從個體的人口統(tǒng)計學(xué)特征與人格和價值觀兩方面來回顧個體特征對AI決策公平感知的影響研究。

    2.2.1 人口統(tǒng)計學(xué)特征

    現(xiàn)有研究主要探討了性別、年齡、受教育程度和技術(shù)知識等對AI決策公平感知的影響。在性別方面, 現(xiàn)有研究發(fā)現(xiàn)AI決策的公平感知存在性別差異(Grgi?-Hla?a et al., 2020; Pierson, 2017; Pierson, 2018)。例如, Pierson (2017)發(fā)現(xiàn), 女性比男性更注重倫理道德, 因此, 對于采用了具有偏見信息(例如, 性別)的AI決策, 女性比男性的公平感知更低。在年齡方面, 大部分研究發(fā)現(xiàn)年齡對AI決策公平感知沒有影響(Saha et al., 2020; van Berkel et al., 2021)。在受教育程度方面, 現(xiàn)有研究發(fā)現(xiàn)了不一致的結(jié)論。部分研究發(fā)現(xiàn), 個體的受教育水平越高, 對AI原理的理解程度越高, 公平感知越高(Saha et al., 2020)。另外一部分研究則發(fā)現(xiàn)了相反的結(jié)果, 例如, van Berkel等(2021)發(fā)現(xiàn), 受教育水平越高的個體, 越傾向于對復(fù)雜的AI決策產(chǎn)生質(zhì)疑, 進(jìn)而公平感知越低。在技術(shù)知識方面, Schoeffer等(2021)發(fā)現(xiàn), 個體關(guān)于AI的基礎(chǔ)知識水平越高, 越能更好地理解AI決策背后的邏輯, 公平感知也越高。

    2.2.2 人格和價值觀

    現(xiàn)有研究主要從人格特質(zhì)、個體政治傾向、公平信念和個體相關(guān)經(jīng)歷等方面探討了人格與價值觀對AI決策公平感知的影響。在人格特質(zhì)方面, 現(xiàn)有研究主要關(guān)注了大五人格、自我效能感、隱私關(guān)心等對AI決策公平感知的影響(Araujo et al., 2020; Htun et al., 2021; Langer et al., 2018)。例如, Htun等(2021)發(fā)現(xiàn), 個體開放性越高, 越覺得基于部分團(tuán)隊成員偏好的AI決策是可接受的, 因此公平感知越高。Araujo等(2020)發(fā)現(xiàn), 個體的隱私關(guān)心越高, 越可能質(zhì)疑AI決策的道德性, 進(jìn)而公平感知越低。在政治傾向方面, Grgi?-Hla?a和Zafar等(2018)發(fā)現(xiàn), 政治傾向和個體對AI決策的公平感知顯著相關(guān), 自由主義傾向的個體公平敏感度更高, 對決策中包含政治傾向等可能帶有偏見特征信息的AI決策的公平感知更低。在公平信念方面, 研究發(fā)現(xiàn), 公平信念更高的個體會更追求公平, 更傾向于認(rèn)為AI決策是客觀的, 公平感知更高(Araujo et al., 2020; Shin, 2021a)。在個體經(jīng)歷方面, 研究發(fā)現(xiàn)AI決策公平感知會受到個體以往相關(guān)經(jīng)歷的影響(Smith, 2020)。例如, 參加過保釋聽證會的個體, 會覺得AI決策使用的被告人信息并不能完全預(yù)測犯罪風(fēng)險, 因此對AI決策的公平感知較低(Grgi?-Hla?a et al., 2020)。

    2.3 小結(jié)

    綜上, AI單一決策的公平感知研究分別從AI特征(即AI決策的透明性、可控性、規(guī)則性、適當(dāng)性)和個體特征(即人口統(tǒng)計特征和人格價值觀)兩方面探索了其對個體AI決策公平感知的影響。上述因素主要通過三種認(rèn)知機(jī)制發(fā)生作用, 即可理解性、需求滿足和道德直覺??梢钥闯? 這一類研究將AI這一新興決策主體納入公平研究中, 借鑒傳統(tǒng)公平研究的相關(guān)理論(例如, Qin et al., 2015), 來解釋決策者(即AI)和決策接受者的不同特征如何影響個體對AI決策的認(rèn)知, 并進(jìn)一步影響其公平感知。這類研究豐富了我們對個體如何形成AI決策公平感知這一問題的理解。

    3 AI?人類二元決策的公平感知研究

    AI?人類二元決策的公平感知研究主要探討了AI與人類作為決策主體時, 個體的公平感知差異。Gray等(2007)提出的心智感知理論(theory of mind perception)認(rèn)為, 個體通過感知感受性(perceived experience; 即感知情緒、痛苦、快樂等的能力)和能動性(perceived agency; 即思考、計劃、自主行動的能力)兩方面形成對各類實體(例如, 人、動物、AI等)心智(mind)的主觀感知(楊文琪等, 2015), 這一感知又會進(jìn)一步影響個體對它們的評估和反應(yīng)(Schein & Gray, 2018)?;诖? 現(xiàn)有研究主要從感受性和能動性兩方面來對比個體對AI和人類的主觀感知差異, 進(jìn)而探究其對AI?人類二元決策的公平感知影響。具體地, 感知感受性主要體現(xiàn)在個體對該實體(即AI和人類)在決策過程中所展現(xiàn)出的表達(dá)和感知情緒、展現(xiàn)友好等能力的感知?;诖? 部分研究從感知感受性差異(即機(jī)械屬性 vs. 社會屬性)來對比AI和人類決策公平感知的差異。感知能動性主要體現(xiàn)在個體對該實體(即AI和人)在決策過程中所展現(xiàn)出的自主能力的知覺, 而決策的準(zhǔn)確性和一致性是判斷其能力的重要因素(Fischhoff & Broomell, 2020)?;诖? 部分研究分別從決策的準(zhǔn)確性(即簡化屬性 vs. 復(fù)雜屬性)和一致性(即客觀屬性 vs. 主觀屬性)兩個方面來對比AI和人類決策公平感知的差異(見表2)。

    表2 AI?人類二元決策的公平感知研究總結(jié)

    注:?指該論文使用了相關(guān)邏輯闡述機(jī)制, 但未進(jìn)行實證機(jī)制測量和檢驗。

    3.1 機(jī)械屬性vs.社會屬性

    個體對AI決策的機(jī)械屬性認(rèn)知是影響其對AI與人類決策公平感知差異的重要作用機(jī)制。決策過程的社會性(例如, 情感和互動)是個體感知公平性的重要方面(秦昕等, 2019; 吳燕, 周曉林, 2012; Qin, Huang et al., 2018)。相比于人類決策, 個體認(rèn)為AI決策是缺少情感和互動的, 因此認(rèn)為人類決策比AI決策更公平(Helberger et al., 2020; Noble et al., 2021)。

    3.1.1 情感

    相比于人類決策, 個體往往認(rèn)為AI決策過程是缺少情感的(Martínez-Miranda & Aldea, 2005), 相比于人類決策, AI決策具有更低的人情味(personableness)和善意(benevolence), 進(jìn)而公平感知更低(Kaibel et al., 2019; Langer et al., in press)。例如, Helberger等(2020)發(fā)現(xiàn), 面對“你認(rèn)為誰將做出更加公平的決定: 人類還是AI/計算機(jī), 請解釋原因”這一開放性問題, 25.4%的參與者明確提到情感是影響決策公平感知的重要因素, 而21.9%的參與者認(rèn)為AI是缺少情感的, 人類決策更公平。進(jìn)一步地, 個體的相關(guān)經(jīng)歷會影響個體對傳統(tǒng)人類決策方式的情感體驗, 從而調(diào)節(jié)了不同決策主體對決策公平感知的影響。例如, 對于沒有經(jīng)歷過人類決策偏見和招聘歧視的應(yīng)聘者來說, 相比于人類決策, AI決策是缺乏情感的, 因此認(rèn)為AI決策更不公平; 然而, 對于經(jīng)歷過人類決策偏見和招聘歧視的應(yīng)聘者來說, AI決策比人類決策具有更高的人情味和表現(xiàn)機(jī)會(opportunity to perform) (Kaibel et al., 2019), 進(jìn)而認(rèn)為AI決策更公平。類似地, Lee和Rich (2021)也發(fā)現(xiàn), 對于擁有良好的醫(yī)療體驗的個體來說, 醫(yī)生決策比AI決策更公平; 但是, 當(dāng)個體對醫(yī)生決策方式缺乏信任時, 他們對AI和醫(yī)生決策的公平感知并沒有顯著差異。

    3.1.2 互動

    相比于人類決策, 個體感知AI決策具有更低的互動性、人際接觸和尊重(Acikgoz et al., 2020; O?tting & Maier, 2018; Schlicker et al., in press), 進(jìn)而導(dǎo)致更低的公平感知。相比于人類面試, 個體對AI面試感知到更少的表現(xiàn)機(jī)會和復(fù)議的機(jī)會(reconsideration opportunity)、更差的待遇(treatment)和雙向溝通(two-way communication), 以及更低的提問適當(dāng)性(propriety of questions), 這些因素會顯著影響應(yīng)聘者對AI面試的公平感知(Noble et al., 2021)。類似地, N?rskov等(2020)發(fā)現(xiàn), 相比于人類視頻面試, 應(yīng)聘者對AI面試的程序公平(procedural justice)和交互公平感知更低。進(jìn)一步, AI和個體的特征影響了個體對AI決策過程互動性的感知, 進(jìn)而影響了AI與人類決策的公平感知差異(Lee & Baykal, 2017)。例如, 在AI特征方面, Wang (2018)發(fā)現(xiàn), 在司法決策中, 由于個體認(rèn)為使用AI決策缺乏對決策接受者的尊重, 所以認(rèn)為AI決策沒有心理學(xué)家決策公平; 但是增加AI決策的準(zhǔn)確度和透明度、減少結(jié)果偏見, 可以縮小由于互動因素帶來的AI和人類決策的公平感知的差異。在個體特征方面, 個體在人際互動中的影響力(即人際權(quán)力)調(diào)節(jié)了決策主體對個體公平感知的影響。對于高人際權(quán)力的個體來說, 在群體互動中能夠獲得控制感, 因此, 他們認(rèn)為人類決策更公平; 但對于人際權(quán)力較低的個體來說, AI和人類決策的公平感知沒有顯著差異(Lee & Baykal, 2017)。

    3.2 簡化屬性vs.復(fù)雜屬性

    個體對AI決策的簡化屬性知覺也是影響其對AI和人類決策公平感知差異的重要內(nèi)在機(jī)制 (H?ddinghaus et al., 2021; Lee, 2018; Suen et al., 2019)?,F(xiàn)有研究發(fā)現(xiàn), 個體認(rèn)為AI決策結(jié)果是根據(jù)有限的數(shù)據(jù)進(jìn)行統(tǒng)計擬合得到的, 因此, 個體會認(rèn)為AI決策忽視了背景和環(huán)境知識(Balasubramanian et al., in press), 簡化了信息處理過程。Newman等(2020)發(fā)現(xiàn), 在人事決策過程中, 相比于人類決策, AI決策會導(dǎo)致個體感知信息去情境化的程度更高, 進(jìn)而降低個體的公平感知。類似地, Nobel等(2021)發(fā)現(xiàn), 應(yīng)聘者認(rèn)為AI不能讀懂“言外之意” (read between the lines), AI簡歷篩選的工作預(yù)測相關(guān)性(job relatedness- predictive)、工作內(nèi)容相關(guān)性(job relatedness-content)顯著低于人類篩選流程, 進(jìn)而對AI決策的公平感知更低。Nagtegaal (2021)通過對AI和人類決策在不同復(fù)雜度的決策情境的公平感知差異的研究, 進(jìn)一步證實了個體對AI決策的簡化屬性的知覺對AI和人類決策的公平感知的差異影響作用。具體地, 個體認(rèn)為AI不具備從實踐中獲得隱性知識的能力, 決策過程是簡化的, 因此在簡單的決策任務(wù)中, 個體認(rèn)為AI決策更公平; 但是在復(fù)雜的決策任務(wù)中, 個體認(rèn)為人類決策更公平。

    3.3 客觀屬性vs.主觀屬性

    個體對AI決策的客觀性知覺是影響其對AI和人類決策公平感知差異的另一重要內(nèi)在機(jī)制。相比于人類決策, 個體認(rèn)為AI決策過程的輸入是客觀的歷史數(shù)據(jù)和事實, 遵循著固定的算法、模型和規(guī)則(Lindebaum & Ashraf, in press), 因此, 個體往往認(rèn)為AI決策具有更高的一致性、客觀性, 并且會導(dǎo)致更少的責(zé)任歸因, 進(jìn)而認(rèn)為AI決策比人類決策更公平。

    3.3.1 一致性

    AI決策被認(rèn)為可以減少人類決策過程的主觀性和個體偏見, 能夠保證決策過程在任意時間點(diǎn)、對所有接受者都是標(biāo)準(zhǔn)化的, 進(jìn)而帶來更高的公平感知(Howard et al., 2020)。例如, 在招聘決策中, 應(yīng)聘者感知到的AI決策的一致性顯著高于人類決策, 進(jìn)而認(rèn)為AI決策更公平(Langer, K?nig, & Papathanasiou, 2019; Langer, K?nig, Sanchez, & Samadi, 2019)。

    3.3.2 中立性

    AI決策被認(rèn)為是沒有主觀意圖和個體偏好的,即個體認(rèn)為AI決策是中立的, 因此認(rèn)為其更公平(Miller & Keiser, 2021)。Miller和Keiser (2021)比較了交通違法識別中使用AI決策和雇傭白人警察決策的公平感知。研究發(fā)現(xiàn), 黑人參與者認(rèn)為, 相比于白人警察決策, AI決策是更加中立和客觀的, 進(jìn)而認(rèn)為AI決策是更公平的。在此基礎(chǔ)上, 部分研究探討了決策情境在其中的調(diào)節(jié)作用(Marcinkowski et al., 2020)。例如, 由于高影響力、機(jī)械化的決策情境本身對客觀性的要求更高, 因此, 在高影響力的決策情境中, 個體會認(rèn)為AI決策更加公平; 而在低影響力決策情境中, 個體對AI和人類決策的公平感知并沒有顯著差異(Marcinkowski et al., 2020)。

    3.3.3 責(zé)任歸因

    當(dāng)面對決策產(chǎn)生不利的結(jié)果時, 個體更傾向于將人類決策歸咎于決策者的主觀意圖, 從而降低公平感(Brockner et al., 2007); 而當(dāng)AI做決策時, 個體認(rèn)為AI是沒有主觀意圖和動機(jī)的, 無法將其作為道德主體進(jìn)行評判。因此, 個體不會將責(zé)任歸因于AI, 進(jìn)而認(rèn)為AI決策更公平。例如, 宋曉兵和何夏楠(2020)發(fā)現(xiàn), 當(dāng)消費(fèi)者面對不公平的價格決策時, 他們對人類決策比AI決策有更高的蓄意性歸因, 即他們更可能認(rèn)為銷售人員是故意抬高產(chǎn)品價格而AI不是故意的, 從而認(rèn)為AI決策比銷售人員決策更公平。

    3.4 小結(jié)

    綜合來看, 現(xiàn)有AI?人類二元決策的公平感知研究還沒有達(dá)成一致的結(jié)論。部分研究發(fā)現(xiàn), 相比于人類決策, 個體認(rèn)為AI決策是機(jī)械的(缺少情感和互動)和簡化的(去情景化), 因此人類決策更加公平(例如, Newman et al., 2020; N?rskov et al., 2020); 另一部分研究則發(fā)現(xiàn), 相比于人類決策, 個體認(rèn)為AI決策是客觀的(一致性、中立性和低責(zé)任歸因), 因此, AI決策更加公平(例如, 宋曉兵, 何夏楠, 2020; Langer, K?nig, & Papathanasiou, 2019; Marcinkowski et al., 2020); 同時, 還存在少量研究發(fā)現(xiàn), 個體對于AI和人類決策的公平感知沒有顯著差異(O?tting & Maier, 2018; Suen et al., 2019)。上述不一致的研究發(fā)現(xiàn)主要是由于個體在對決策過程形成知覺時, 所聚焦的AI屬性存在差異(即機(jī)械屬性、簡化屬性、客觀屬性), 而個體究竟基于AI的哪種屬性來進(jìn)行判斷可能在很大程度上取決于具體的決策情境和個人特征(宋曉兵, 何夏楠, 2020; Kaibel et al., 2019)。可以看出, 這一類研究主要是結(jié)合傳統(tǒng)公平研究相關(guān)理論和AI相關(guān)理論, 來探討AI和人類這兩類決策主體如何影響個體對決策主體屬性知覺的差異, 進(jìn)而影響其對不同決策主體的公平感知。這類研究拓展了現(xiàn)有公平研究中對決策主體類型如何影響公平感知的相關(guān)理論。

    結(jié)合以上研究分類和文獻(xiàn)梳理, 本文總結(jié)了AI決策公平感知的理論框架, 如圖1所示。

    4 理論機(jī)制

    在前文梳理的基礎(chǔ)上, 本文進(jìn)一步提煉了AI決策公平感知相關(guān)研究的理論機(jī)制。值得指出的是, 由于不同的學(xué)科對理論的應(yīng)用程度差異較大, 現(xiàn)有研究中明確使用理論建立和闡釋假設(shè)的相對較少, 因此, 本文著重梳理了相關(guān)研究中相似的邏輯, 以及邏輯背后的代表性理論機(jī)制。為了更好地展示出各類研究的差異, 本文基于前文的研究分類, 梳理了以下使用頻率較高或具有啟發(fā)性的理論機(jī)制。

    4.1 AI單一決策的公平感知相關(guān)理論

    4.1.1 道德基礎(chǔ)理論

    道德基礎(chǔ)理論(moral foundations theory; Graham et al., 2013)認(rèn)為, 道德判斷是由快速的道德直覺引起的, 具有普適性; 但同時對于某一事件道德程度的判斷又受到個體特征的影響, 具有一定的可變性(variability; Graham et al., 2011; Haidt, 2001)。也就是說, 不同個體可能支持同一個道德基礎(chǔ)(例如, 人們普遍認(rèn)為性別歧視是不道德、不公平的), 但對該事件(不)道德程度的判斷又存在個體差異(例如, 不同個體對性別歧視不道德程度的判斷是有差異的; Graham et al., 2011; Graham et al., 2013)。

    基于道德基礎(chǔ)理論, 一方面, 個體根據(jù)潛在的、普適的、直觀性的公平直覺, 會對基于道德相關(guān)信息(例如, 性別、種族等)的AI決策進(jìn)行公平判斷。因此, 道德基礎(chǔ)理論被用于解釋AI特征對個體公平感知的影響, 并認(rèn)為其具有普遍性。例如, Nyarko等(2020)的研究發(fā)現(xiàn), 用AI對刑事被告做取保候?qū)彽娘L(fēng)險評估時, 個體對使用種族或性別信息的AI決策的公平感知較低, 因為個體普遍認(rèn)為基于種族和性別的判斷是不公平的(Graham et al., 2011)。

    圖1 AI決策公平感知的影響因素和作用機(jī)制

    另一方面, 個體對基于道德相關(guān)信息(例如, 性別、種族等)的AI決策的公平感知會受到其自身特征的影響。因此, 道德基礎(chǔ)理論也被用于解釋個體特征對AI決策公平感知的影響過程, 并認(rèn)為個體的人口統(tǒng)計學(xué)特征、人格和價值觀等會影響其對AI決策的公平感知(Grgi?-Hla?a et al., 2020)。例如, 研究發(fā)現(xiàn), 女性比男性更注重倫理道德, 因此, 女性對包含了可能產(chǎn)生偏見的性別等數(shù)據(jù)特征的AI決策的公平感知更低(Pierson et al., 2017)。

    4.1.2 公平啟發(fā)理論

    公平啟發(fā)理論(fairness heuristic theory; Lind, 2001)認(rèn)為, 為了減少認(rèn)知負(fù)荷、提高判斷效率, 個體會利用自己接觸到的公平信息, 啟發(fā)式地幫助個體進(jìn)行公平判斷(Qin, Ren et al., 2018)。尤其是在信息缺乏或模糊的情境下, 個體更傾向于利用從情境中獲取的不完整的、與公平有關(guān)的信息, 并結(jié)合已有知識信念來迅速地形成一個對所處情境的整體公平感知(李曄等, 2002)。

    基于公平啟發(fā)理論, AI作為一種新興的決策主體, 常表現(xiàn)為信息模糊或缺乏, 這可能會增加個體的不確定性或不安全感(Acikgoz et al., 2020), 導(dǎo)致個體傾向于采用啟發(fā)式來做出公平判斷, 從而降低對AI決策的公平感知(Grgi?-Hla?a, Redmiles et al., 2018)。因此, 公平啟發(fā)理論被用于指導(dǎo)和解釋信息缺乏或模糊的不確定性情境下個體對AI決策的公平感知(Lind, 2001)。例如, Grgi?-Hla?a和Redmiles等(2018)研究發(fā)現(xiàn), 個體會依賴其對AI決策的某個特征的內(nèi)在屬性的隱性或顯性的評估(即公平啟發(fā)式), 來形成對AI決策的公平判斷。

    4.1.3 公平理論

    公平理論(fairness theory; Adams, 1965)認(rèn)為, 公平感知是基于自我與他人之間的比較、或者過去和現(xiàn)在的自我比較而產(chǎn)生的。這種比較下的不一致性感知會影響個體采用的公平判斷規(guī)則取向(例如, 公平規(guī)則、平等規(guī)則或需求規(guī)則), 進(jìn)而影響對不同規(guī)則取向下決策的公平感知。

    根據(jù)公平理論, AI決策中的公平性規(guī)則與個體自身的公平規(guī)則取向會形成比較, 進(jìn)而影響個體對AI決策的公平感知(Shin, 2010; Shin & Park, 2019)。尤其是當(dāng)AI決策的規(guī)則與個體公平取向一致時, 個體的公平感知更高。因此, 公平理論主要用于解釋, 當(dāng)個體對于AI決策的公平性規(guī)則認(rèn)知與自身公平取向(不)一致性時, 對AI單一決策公平感知的影響。例如, Lee等(2019)發(fā)現(xiàn), 當(dāng)個體公平取向與AI決策的公平取向不同時, 個體認(rèn)識到AI決策的固有局限性, 從而降低了公平感知。

    4.1.4 小結(jié)

    綜上所述, AI單一決策的公平感知研究的相關(guān)理論, 主要基于傳統(tǒng)公平感知理論的三種視角, 即道德義務(wù)視角、信息加工視角和社會交換視角(李曄等, 2002; Colquitt & Zipay, 2015), 來解釋AI特征和個體特征對AI決策公平感知的影響。具體來說, 道德基礎(chǔ)理論基于道德義務(wù)視角, 認(rèn)為個體通過普遍認(rèn)可的道德規(guī)范來判斷AI決策的公平性, 這類研究主要側(cè)重于解釋, AI適當(dāng)性和個體特征通過道德直覺機(jī)制影響AI公平感知的過程。公平啟發(fā)理論基于信息加工視角, 認(rèn)為個體面對有限的信息時會通過啟發(fā)式思維來判斷AI決策的公平性, 這類研究主要側(cè)重于解釋, AI透明性通過可理解性機(jī)制影響AI公平感知的過程。公平理論則基于社會交換視角, 認(rèn)為個體通過AI決策中的經(jīng)濟(jì)和社會交換是否符合自己的需要來判斷AI決策的公平性, 這類研究主要側(cè)重于解釋, AI可控性和規(guī)則性通過需求滿足機(jī)制影響AI決策公平感知的過程。

    4.2 AI?人類二元決策的公平感知研究的相關(guān)理論

    4.2.1 計算機(jī)作為社會參與者理論

    計算機(jī)作為社會參與者理論(computers are social actors CASA; Nass & Moon, 2000)認(rèn)為, 人們對計算機(jī)的反應(yīng)是“社會性的”, 即人們在與計算機(jī)交互時, 會將人與人交互過程中的社會規(guī)則、規(guī)范和期望運(yùn)用到人?機(jī)交互情境中, 并相應(yīng)地表現(xiàn)出和人?人交互中相同的社交反應(yīng)。因此, 這個理論被廣泛運(yùn)用在人?機(jī)交互的研究中, 用來解釋和預(yù)測人們對技術(shù)(例如, AI等)的情感和行為反應(yīng)(例如, Qin et al., 2021; Qin et al., 2022)。

    AI?人類二元決策的公平感知研究, 事實上是構(gòu)建了人?人交互情境與人?AI交互情境中的個體公平感知的對比。因此, CASA理論主要應(yīng)用于解釋AI作為決策主體時個體的反應(yīng), 并認(rèn)為個體在上述兩種交互情境中的心理和行為反應(yīng)是相似的。例如, 基于CASA理論, Suen等(2019)探究了人們對AI決策與人類決策的整體公平感知的異同, 并發(fā)現(xiàn)人們對上述兩種決策的公平感知是相似的。

    4.2.2 簡化理論

    簡化理論(theory of reductionism; Choi et al., 2007; Nisbett et al., 2001; von Bertalanffy, 1972)認(rèn)為, 當(dāng)外部世界的信息被量化(quantifying)處理時,非量化的質(zhì)性信息會被刪除或被簡單表征。這種被簡化的、去情境化的(decontextualization)感知會引發(fā)個體的消極反應(yīng)。

    根據(jù)簡化理論, 相比于人類決策, AI決策的量化特征會讓個體感知決策過程是簡化和去情境化的。因此, 簡化理論主要用于解釋個體對AI決策信息處理過程的知覺與感受, 并認(rèn)為個體知覺到AI與人類二者決策的信息處理過程存在差異, 進(jìn)而影響其公平感知。例如, 基于簡化理論, Newman等(2020)發(fā)現(xiàn), 在人事決策過程中, 相比于人類決策, AI決策會導(dǎo)致應(yīng)聘者感知去情境化的程度更高, 進(jìn)而降低應(yīng)聘者對AI決策的公平感知。

    4.2.3 機(jī)器啟發(fā)理論

    機(jī)器啟發(fā)理論(machine heuristic model; Sundar, 2008)認(rèn)為, 機(jī)器比人類更安全、更值得信賴, 即當(dāng)個體認(rèn)為與其交互的是一臺機(jī)器而不是人類時,個體會自動地啟動關(guān)于機(jī)器的刻板印象, 即個體會認(rèn)為它是客觀的、意識形態(tài)上無偏見的等, 從而引發(fā)個體的反應(yīng)。

    根據(jù)機(jī)器啟發(fā)理論, 個體會認(rèn)為AI決策比人類決策更客觀與公平。因此, 機(jī)器啟發(fā)理論主要被用于解釋個體對AI自動化的刻板印象和反應(yīng), 并認(rèn)為個體對AI與人類兩者的刻板印象與反應(yīng)存在差異(Araujo et al., 2020)。例如, 基于機(jī)器啟發(fā)理論, Helberger等(2020)發(fā)現(xiàn), 當(dāng)交互界面提示用戶正在與AI而不是人類打交道時, 就會觸發(fā)用戶的機(jī)器啟發(fā)式思維, 使得用戶認(rèn)為AI的決定和選擇是客觀的、沒有偏見的, 進(jìn)而認(rèn)為AI決策比人類決策更為公平。

    4.2.4 小結(jié)

    綜上所述, AI?人類二元決策公平感知的研究,主要是基于個體知覺的AI和人類這兩類決策主體的屬性差異, 來解釋個體對不同主體所做出的決策的公平感知差異。具體來說, CASA側(cè)重于AI的社會屬性, 認(rèn)為個體在人?人交互情境與人? AI交互情境中的公平感知是相似的。簡化理論側(cè)重于AI的簡化屬性, 認(rèn)為AI決策的量化特征會讓個體感知人類決策比AI決策更公平。機(jī)器啟發(fā)理論則側(cè)重于AI的客觀屬性, 認(rèn)為AI是客觀的、無偏見的刻板印象會讓個體感知AI決策比人類決策更公平。可以看出, AI?人類二元決策公平感知研究尚未達(dá)成一致結(jié)論, 這可能是因為個人在不同的情境下所關(guān)注的、用于與人類決策對比的AI屬性不同。

    5 研究總結(jié)與未來研究方向

    通過對現(xiàn)有文獻(xiàn)的全面回顧和對理論機(jī)制的梳理, 可以發(fā)現(xiàn), 盡管AI決策公平感知的相關(guān)研究已經(jīng)引起了多學(xué)科領(lǐng)域的廣泛關(guān)注, 但仍然較為松散, 缺乏系統(tǒng)性, 也存在以下不足。具體來說,在AI單一決策的公平感知研究方面, 第一, 現(xiàn)有研究主要關(guān)注個體如何通過認(rèn)知過程(例如, 可理解性等)形成對AI決策的公平感知, 缺乏對相關(guān)情緒機(jī)制的關(guān)注; 第二, 現(xiàn)有研究更多聚焦于個體對AI決策在分配和程序公平方面的感知, 缺乏對交互公平感知的關(guān)注; 第三, 現(xiàn)有研究主要關(guān)注個體對算法類AI的決策公平感知, 缺乏對實體類AI (例如, 機(jī)器人型AI)決策公平感知的探索。在AI?人類二元決策的公平感知研究方面, 第四, 現(xiàn)有研究尚未形成統(tǒng)一結(jié)論, 缺乏對邊界條件的探索; 第五, 現(xiàn)有研究僅比較了AI和人類作為決策主體時的公平感知差異, 缺乏對AI和人類在決策中更為復(fù)雜的情況(例如, 共同決策等)的探討?;谏鲜霾蛔? 本文總結(jié)了以下未來研究方向。

    5.1 探索AI決策公平感知的情緒影響機(jī)制

    現(xiàn)有AI單一決策公平感知的相關(guān)研究主要關(guān)注個體如何通過認(rèn)知過程形成對AI決策的公平感知, 缺乏對情緒機(jī)制的探索。組織公平相關(guān)研究指出, 個體的公平感知及其影響因素之間存在認(rèn)知和情緒的雙路徑作用機(jī)制(Colquitt & Zipay, 2015)。缺乏對情緒影響機(jī)制的研究, 不利于對AI決策公平感知形成系統(tǒng)和全面的認(rèn)識。因此, 未來研究有必要系統(tǒng)地探討AI決策公平感知的情緒影響機(jī)制。例如, 現(xiàn)有研究發(fā)現(xiàn), 外界事物相關(guān)信息的模糊性和不確定性會通過引發(fā)個體的消極情緒(例如, 驚恐), 進(jìn)而降低其公平感知(陳晨, 秦昕等, 2020; 王芹等, 2012; Tene & Polonet xsky, 2015)。AI作為一種新興的決策主體, 常表現(xiàn)為信息模糊或缺乏(Langer et al., 2018), 這可能會誘發(fā)個體的消極情緒, 降低其對AI決策的公平感知。綜上, 未來研究可以從情緒的視角來進(jìn)一步揭示AI決策公平感知的影響機(jī)制。

    5.2 探索AI決策交互公平感知的影響因素

    現(xiàn)有關(guān)于AI決策公平感知的相關(guān)研究主要關(guān)注三種公平類型中的程序公平和結(jié)果公平, 對交互公平的關(guān)注較為缺乏。因此, 未來研究可以考察AI決策交互公平感知的影響因素, 以形成全面系統(tǒng)地了解。例如, 相比于人類, AI因為缺乏人際互動性等(Glikson & Woolley, 2020), 可能會導(dǎo)致個體感知到比較低的交互公平。進(jìn)一步, AI決策交互公平感知的影響因素可能會存在一些邊界條件。例如, AI類型可能是一個重要的邊界條件, 當(dāng)決策主體為嵌套式AI和虛擬式AI時, 個體對AI決策的交互公平感知要低于人類決策; 但是當(dāng)決策主體為機(jī)器人形AI時, 個體對AI決策的交互公平感知可能與人類決策的差異較小。

    5.3 探索機(jī)器人形AI決策公平感知的影響因素

    現(xiàn)有研究主要關(guān)注嵌套式AI和虛擬式AI決策的公平感知(例如, Acikgoz et al., 2020; Newman et al., 2020), 缺乏對機(jī)器人形AI決策公平感知的關(guān)注。機(jī)器人形AI具有高擬人化(anthropomorphism)、高人際親密性(immediacy)、可觸摸性(tangibility)等特點(diǎn)(Glikson & Woolley, 2020), 這些因素都可能會影響個體對AI決策的公平感知過程(Acikgoz et al., 2020)?;诖? 未來研究可以進(jìn)一步探討個體對機(jī)器人形AI決策的公平感知。例如, 已有研究發(fā)現(xiàn), 嵌套式AI和虛擬式AI具有較低的人際互動性、開放性和雙向溝通(Acikgoz et al., 2020), 導(dǎo)致個體對AI決策的公平感知較低。但機(jī)器人形AI在決策過程中具有較高的人際互動性、開放性和雙向溝通, 可能會增強(qiáng)個體的情感信任, 進(jìn)而產(chǎn)生較高的公平感知。進(jìn)一步, 未來研究還可以探索個體對不同形式AI決策的公平感知差異。綜上, 探索個體對機(jī)器人形AI決策的公平感知不僅能為現(xiàn)有AI決策公平感知的相關(guān)研究提供更全面的認(rèn)識, 還能為管理實踐提供更全面和有效的指引。

    5.4 探索影響AI?人類二元決策的公平感知的邊界條件

    現(xiàn)有AI?人類二元決策的公平感知研究尚未形成一致結(jié)論, 即部分研究發(fā)現(xiàn)AI決策更公平(例如, 宋曉兵, 何夏楠, 2020), 另一部分研究則發(fā)現(xiàn)人類決策更公平(例如, Newman et al., 2020), 這表明可能存在非常重要的邊界條件。例如, 決策內(nèi)容的可量化程度可能是一個重要的邊界條件。當(dāng)決策內(nèi)容可量化程度較低時, 人類決策的準(zhǔn)確性更高, 個體可能對人類決策的公平感知更高; 相反, 當(dāng)決策內(nèi)容可量化程度較高時, AI決策的準(zhǔn)確性更高, 個體可能對AI決策的公平感知更高。其次, 中西方文化差異也可能是一個潛在的邊界條件。由于文化和價值觀的不同, 西方文化情境中得到的一些研究結(jié)論可能無法推廣到中國本土情境中。綜上, 通過對邊界條件的探索, 有助于進(jìn)一步厘清現(xiàn)有研究結(jié)果出現(xiàn)不一致的原因,并對現(xiàn)有研究結(jié)論進(jìn)行有效整合。

    5.5 探索復(fù)雜情景中AI和人類共同決策對公平感知的影響

    在探索AI?人類二元決策的公平感知研究中, 目前研究僅僅比較了AI和人類作為決策主體時的差異, 缺乏對AI和人類在決策中更為復(fù)雜情形的探討。一個決策可能是AI和人類共同完成的, 在這個過程中, AI和人類所承擔(dān)的不同角色(例如,在輔助決策中, 人類輔助AI決策、AI輔助人類決策等)、二者的決策順序(例如, AI先決策人類后決策、人類先決策AI后決策等)等都可能對個體的公平感知產(chǎn)生影響。事實上, AI和人類共同決策的現(xiàn)象已經(jīng)越來越多地涌現(xiàn)出來(Newman et al., 2020)。例如, 腫瘤科醫(yī)生在對病人病情進(jìn)行診斷時, AI綜合各方面的檢查結(jié)果來輔助醫(yī)生進(jìn)行診斷決策; 在人員招聘的多輪選拔過程中, AI負(fù)責(zé)第一輪海選篩查簡歷, 推薦出進(jìn)入第二輪由人類來面試的候選應(yīng)聘者, AI和人類決策共同決定著最終的招聘結(jié)果。而這些不同的決策情形如何影響個體的公平感知, 目前還未有研究進(jìn)行回答。以輔助決策為例, 相比于人類輔助AI決策的情形, AI輔助人類決策可能會讓個體感知到更高的公平感, 因為人類可以在AI提供的客觀、量化信息基礎(chǔ)上進(jìn)行綜合分析與決策(Sundar, 2008)。綜上, 通過對更為復(fù)雜決策情形的探索, 有助于全面地理解個體對AI與人類共同決策過程中的公平感知。

    曹培杰. (2020). 人工智能教育變革的三重境界., 143?150.

    陳晨, 秦昕, 譚玲, 盧海陵, 周漢森, 宋博迪. (2020). 授權(quán)型領(lǐng)導(dǎo)—下屬自我領(lǐng)導(dǎo)匹配對下屬情緒衰竭和工作績效的影響.(12), 145?162.

    陳晨, 張昕, 孫利平, 秦昕, 鄧惠如. (2020). 信任以稀為貴?下屬感知被信任如何以及何時導(dǎo)致反生產(chǎn)行為.(3), 329?344.

    房鑫, 劉欣. (2019). 論人工智能時代人力資源管理面臨的機(jī)遇和挑戰(zhàn)., 104?109.

    郭秀艷, 鄭麗, 程雪梅, 劉映杰, 李林. (2017). 不公平感及相關(guān)決策的認(rèn)知神經(jīng)機(jī)制.(6), 903?911.

    李超平, 時勘. (2003). 分配公平與程序公平對工作倦怠的影響.(5), 677?684.

    李曄, 龍立榮, 劉亞. (2002). 組織公平感的形成機(jī)制研究進(jìn)展.(1), 38?41.

    秦昕, 薛偉, 陳晨, 劉四維, 鄧惠如. (2019). 為什么領(lǐng)導(dǎo)做出公平行為: 綜述與未來研究方向.(4), 39?62.

    宋曉兵, 何夏楠. (2020). 人工智能定價對消費(fèi)者價格公平感知的影響.(5), 3?16.

    王芹, 白學(xué)軍, 郭龍健, 沈德立. (2012). 負(fù)性情緒抑制對社會決策行為的影響.(5), 690?697.

    吳燕, 周曉林. (2012). 公平加工的情境依賴性: 來自ERP的證據(jù).(6), 797?806.

    謝洪明, 陳亮, 楊英楠. (2019). 如何認(rèn)識人工智能的倫理沖突?——研究回顧與展望.(10), 109?124.

    謝小云, 左玉涵, 胡瓊晶. (2021). 數(shù)字化時代的人力資源管理: 基于人與技術(shù)交互的視角.(1), 200?216+13.

    徐鵬, 徐向藝. (2020). 人工智能時代企業(yè)管理變革的邏輯與分析框架.(1), 122?129.

    楊文琪, 金盛華, 何蘇日那, 張瀟雪, 范謙. (2015). 非人化研究: 理論比較及其應(yīng)用.(7), 1267?1279.

    張志學(xué), 趙曙明, 施俊琦, 秦昕, 賀偉, 趙新元, … 吳剛. (2021). 數(shù)字經(jīng)濟(jì)下組織管理研究的關(guān)鍵科學(xué)問題——第254期“雙清論壇”學(xué)術(shù)綜述.(5), 774?781.

    鄭功成. (2009). 中國社會公平狀況分析——價值判斷、權(quán)益失衡與制度保障.(2), 2?11.

    周浩, 龍立榮. (2007). 公平敏感性研究述評.(4), 702?707.

    Acikgoz, Y., Davison, K. H., Compagnone, M., & Laske, M. (2020). Justice perceptions of artificial intelligence in selection.(4), 399?416.

    Adams, J. S. (1965). Inequity in social exchange., 267?299.

    Araujo, T., Helberger, N., Kruikemeier, S., & de Vreese, C. H. (2020). In AI we trust? Perceptions about automated decision-making by artificial intelligence.(3), 611?623.

    Balasubramanian, N., Ye, Y., & Xu, M. (in press). Substitutinghuman decision-making with machine learning: Implications for organizational learning.Advance online publication. https://doi.org/10. 5465/amr.2019.0470

    Barabas, C., Doyle, C., Rubinovitz, J., & Dinakar, K. (2020, January).Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, Barcelona, Spain.

    Bigman, Y. E., & Gray, K. (2018). People are averse to machines making moral decisions., 21?34.

    Bigman, Y. E., Yam, K. C., Marciano, D., Reynolds, S. J., & Gray, K. (in press). Threat of racial and economic inequality increases preference for algorithm decision-makingAdvance online publication. https://dx.doi.org/10.1016/j.chb.2021.106859

    Binns, R., van Kleek, M., Veale, M., Lyngs, U., Zhao, J., & Shadbolt, N. (2018 April).Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, Montréal, Canada.

    Brockner, J., Fishman, A. Y., Reb, J., Goldman, B., Spiegel, S., & Garden, C. (2007). Procedural fairness, outcome favorability, and judgments of an authority's responsibility.(6), 1657?1671.

    Burton, J. W., Stein, M. K., & Jensen, T. B. (2020). A systematic review of algorithm aversion in augmented decision making.(2), 220?239.

    Chang, M. L., Pope, Z., Short, E. S., & Thomaz, A. L. (2020 August).Proceedings of 2020 29th IEEE International Conference on Robot and Human Interactive Communication, Virtual Conference.

    Cheng, H. F., Stapleton, L., Wang, R., Bullock, P., Chouldechova, A., Wu, Z. S. S., & Zhu, H. (2021, May).. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, Yokohama, Japan.

    Choi, I., Koo, M., & Choi, J. A. (2007). Individual differences in analytic versus holistic thinking.(5), 691?705.

    Colquitt, J. A., & Zipay, K. P. (2015). Justice, fairness, employee reactions.(1), 75?99.

    Dalenberg, D. J. (2018). Preventing discrimination in the automated targeting of job advertisements.(3), 615?627.

    Deutsch, M. 1975. Equity, equality, and need: What determineswhich value will be used as the basis of distributive justice?(3), 137?149.

    Dodge, J., Vera Liao, Q., & Bellamy, R. K. E. (2019 March).Proceedings of theInternational Conference on Intelligent User Interfaces, Marina del Rey, CA.

    Fischhoff, B., & Broomell, S. B. (2020). Judgment and decision making., 331?355.

    Glikson, E., & Woolley, A. W. (2020). Human trust in artificial intelligence: Review of empirical research.(2), 627?660.

    Graham, J., Haidt, J., Koleva, S., Motyl, M., Iyer, R., Wojcik, S. P., & Ditto, P. H. (2013). Moral foundations theory: The pragmatic validity of moral pluralism. In P. Devine, & A. Plant (Eds.),(Vol. 47, pp. 55?130). New York: Academic Press.

    Graham, J., Nosek, B. A., Haidt, J., Iyer, R., Koleva, S., & Ditto, P. H. (2011). Mapping the moral domain., 366?385.

    Gray, H. M., Gray, K., & Wegner, D. M. (2007). Dimensions of mind perception., 619?619.

    Grgi?-Hla?a, N., Redmiles, E. M., Gummadi, K. P., & Weller, A. (2018 April).Proceedings of the 2018 World Wide Web Conference on World Wide Web, Lyon, France.

    Grgi?-Hla?a, N., Weller, A., & Redmiles, E. M. (2020 November).. Proceedings of the CSCW 2019 Workshop on Team and Group Diversity, Austin, Texas.

    Grgi?-Hla?a, N., Zafar, M. B., Gummadi, K. P., & Weller, A. (2018 February).. Proceedings of the 32th AAAI Conference on Artificial Intelligence, New Orleans, Louisiana.

    Haidt, J. (2001). The emotional dog and its rationalist tail: A social intuitionist approach to moral judgment.(4), 814?834.

    Harrison, G., Hanson, J., Jacinto, C., Ramirez, J., & Ur, B. (2020 January).Proceedings of the 2020 ACM Conference on Fairness, Accountability, and Transparency, Barcelona, Spain.

    Helberger, N., Araujo, T., & de Vreese, C. H. (2020). Who is the fairest of them all? Public attitudes and expectations regarding automated decision-making., Article 105456. https://doi.org/10. 1016/j.clsr.2020.105456

    H?ddinghaus, M., Sondern, D., & Hertel, G. (2021). The automation of leadership functions: Would people trust decision algorithms?., Article 106635. https://doi:10.1016/j.chb.2020.106635

    Howard, F. M., Gao, C. A., & Sankey, C. (2020). Implementation of an automated scheduling tool improves schedule quality and resident satisfaction.(8), Article e0236952. https://doi.org/10.1371/journal.pone.0236952

    Htun, N. N., Lecluse, E., & Verbert, K. (2021, April).In 26th International Conference on Intelligent User Interfaces, College Station, TX, USA.

    Hutchinson, B., & Mitchell, M. (2019, January).Proceedings of the Conference on Fairness, Accountability, and Transparency, Atlanta, GA.

    Kaibel, C., Koch-Bayram, I., Biemann, T., & Mühlenbock, M. (2019 July).Proceedings of the Academy of Management Annual Meeting, Briarcliff Manor, NY.

    Karam, E. P., Hu, J., Davison, R. B., Juravich, M., Nahrgang, J. D., Humphrey, S. E., & Scott DeRue, D. (2019). Illuminating the ‘face’ of justice: A meta-analytic examination of leadership and organizational justice.(1), 134?171.

    Kasinidou, M., Kleanthous, S., Barlas, P., & Otterbacher, J. (2021, March).. Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, Virtual Event, Canada.

    Langer, M., K?nig, C. J., Back, C., & Hemsing, V. (in press). Trust in artificial intelligence: Comparing trust processes between human and automated trustees in light of unfair bias.. https://doi.org/10.31234/osf.io/ r9y3t

    Langer, M., K?nig, C. J., & Fitili, A. (2018). Information as a double-edged sword: The role of computer experience and information on applicant reactions towards novel technologies for personnel selection., 19?30.

    Langer, M., K?nig, C. J., & Papathanasiou, M. (2019). Highly automated job interviews: Acceptance under the influence of stakes.(3), 217?234.

    Langer, M., K?nig, C. J., Sanchez, D. R. P., & Samadi, S. (2019). Highly automated interviews: Applicant reactions and the organizational context.(4), 301?314.

    Lee, M. K. (2018). Understanding perception of algorithmic decisions: Fairness, trust, and emotion in response to algorithmic management.(1), Article2053951718756684. https://doi:10.1177/2053951718756684

    Lee, M. K., & Baykal, S. (2017 February).Proceedings of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing. Portland, OR.

    Lee, M. K., Jain, A., Cha, H. J., Ojha, S., & Kusbit, D. (2019).Procedural justice in algorithmic fairness: Leveraging transparency and outcome control for fair algorithmic mediation.182?208.

    Lee, M. K., & Rich, K. (2021 May).Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. Yokohama, Japan.

    Leventhal, G. S. (1976). The distribution of rewards and resources in groups and organizations. In L. Berkowitz, & E. Walster (Eds.),(Vol. 9, pp. 91?131). New York: Academic Press.

    Lind, E. A. (2001). Fairness heuristic theory: Justice judgments as pivotal cognitions in organizational relations. In J. Greenberg & R. Cropanzano (Eds.),, (Vol. 1, pp. 56?88). Stanford, CA: Stanford university press.

    Lindebaum, D., & Ashraf, M. (in press). The ghost in the machine, or the ghost in organizational theory? A complementary view on the use of machine learning.https://doi.org/10.5465/ amr.2021.0036

    Lindebaum, D., Vesa, M., & den Hond, F. (2020). Insights from “The Machine Stops” to better understand rational assumptions in algorithmic decision making and its implications for organizations.(1), 247?263.

    Loehr, A. Big data for HR: Can predictive analytics help decrease discrimination in the workplace?. Retrieved March 23, 2015, from https://www. huffingtonpost.com

    Longoni, C., Bonezzi, A., & Morewedge, C. K. (2019). Resistance to medical artificial intelligence.(4), 629?650.

    Marcinkowski, F., Kieslich, K., Starke, C., & Lünich, M. (2020 January).the Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency. Barcelona, Spain.

    Martínez-Miranda, J., & Aldea, A. (2005). Emotions in human and artificial intelligence.(2), 323?341.

    Miller, S. M., & Keiser, L. R. (2021). Representative bureaucracy and attitudes toward automated decision making.(1), 150?165.

    Nagtegaal, R. (2021). The impact of using algorithms for managerial decisions on public employees' procedural justice.(1). Article 101536. https://doi:10.1016/j.giq.2020.101536

    Nass, C., & Moon, Y. (2000). Machines and mindlessness: Social responses to computers.(1), 81?103.

    Newman, D. T., Fast, N. J., & Harmon, D. J. (2020). When eliminating bias isn’t fair: Algorithmic reductionism and procedural justice in human resource decisions., 149?167.

    Nisbett, R. E., Peng, K., Choi, I., & Norenzayan, A. (2001). Culture and systems of thought: Holistic versus analytic cognition.(2), 291?310.

    Noble, S. M., Foster, L. L., & Craig, S. B. (2021). The procedural and interpersonal justice of automated application and resume screening., Advance online publication. https://doi. org/10.1111/ijsa.12320

    N?rskov, S., Damholdt, M. F., Ulh?i, J. P., Jensen, M. B., Ess, C., & Seibt, J. (2020). Applicant fairness perceptions of a robot?mediated job interview: A video vignette?based experimental survey., Article 586263. https://doi.org/10.3389/frobt.2020.586263

    Nyarko, J., Goel, S., & Sommers, R. (2020 October).. (Unpublished doctorial dissertation). Stanford University.

    O?tting, S. K., & Maier, G. W. (2018). The importance of procedural justice in human-machine interactions: Intelligentsystems as new decision agents in organizations., 27?39.

    Pierson, E. (2017).arXiv preprint. http://arxiv.org/abs/ 1712.09124v2

    Pierson, E. (2018).arXiv preprint. http://arxiv. org/abs/1712.09124

    Plane, A. C., Redmiles, E. M., Mazurek, M. L., Tschantz, M. C., & Assoc, U. (2018 August).Proceedings of the 26th USENIX Security Symposium, Vancouver, BC.

    Qin, X., Chen, C., Yam, K. C., Cao, L., Li, W., Guan, J., Zhao, P., Dong, X., & Lin, Y. (2022). Adults still can’t resist: A social robot can induce normative conformity.. Article 107041. https://doi.org/10.1016/j.chb.2021.107041

    Qin, X., Huang, M., Johnson, R. E., Hu, Q., & Ju, D. (2018). The short-lived benefits of abusive supervisory behavior for actors: An investigation of recovery and work engagement.(5), 1951?1975.

    Qin, X., Ren, R., Zhang, Z., & Johnson, R. E. (2015). Fairnessheuristics and substitutability effects: Inferring the fairnessof outcomes, procedures, and interpersonal treatment when employees lack clear information.(3), 749?766.

    Qin, X., Ren, R., Zhang, Z., & Johnson, R. E. (2018). Considering self-interests and symbolism together: How instrumental and value-expressive motives interact to influence supervisors’ justice behavior.(2), 225?253.

    Qin, X., Yam, K. C., Chen, C., & Li, W. (2021). Revisiting social robots and their impacts on conformity: Practical and ethical considerations.. Retrieved October 25, 2021, from https://www.science. org/doi/full/10.1126/scirobotics.aat7111

    Rupp, D. E., & Cropanzano, R. (2002). The mediating effects of social exchange relationships in predicting workplace outcomes from multifoci organizational justice.,(1), 925?946.

    Saha, D., Schumann, C., Mcelfresh, D., Dickerson, J., Mazurek, M., & Tschantz, M. (2020, November).Proceedings of International Conference on Machine Learning, Online Conference.

    Saxena, N. A., Huang, K., DeFilippis, E., Radanovic, G., Parkes, D. C., & Liu, Y. (2020). How do fairness definitions fare? Examining public attitudes towards algorithmic definitions of fairness., Article 103238. https://doi.org/10.1145/3306618.3314248

    Schein, C., & Gray, K. (2018). The theory of dyadic morality: Reinventing moral judgment by redefining harm.(1), 32?70.

    Schlicker, N., Langer, M., ?tting, S., Baum, K., K?nig, C. J., & Wallach, D. (in press). What to expect from opening up ‘Black Boxes’? Comparing perceptions of justice between human and automated agents.Advance online publication. https://doi.org/10.1016/j.chb. 2021.106837

    Schoeffer, J., Machowski, Y., Kuehl N. (2021 April).Proceedings of the ACM IUI 2021 Workshops, College Station, USA.

    Shin, D. (2010). The effects of trust, security and privacy in social networking: A security-based approach to understand the pattern of adoption.(5), 428?438.

    Shin, D. (2020). User perceptions of algorithmic decisions in the personalized AI system: Perceptual evaluation of fairness, accountability, transparency, and explainability.(4), 541? 565.

    Shin, D. (2021a). A cross-national study on the perception of algorithm news in the East and the West.(2), 77?101.

    Shin, D. (2021b). The effects of explainability and causability on perception, trust, and acceptance: Implications for explainable AI., Article 102551. https://doi.org/10.1016/ j.ijhcs.2020.102551

    Shin, D. (in press). The perception of humanness in conversational journalism: An algorithmic information- processing perspective.Advance online publication. https://doi.org/10.1177/146144482199 3801

    Shin, D., & Park, Y. J. (2019). Role of fairness, accountability, and transparency in algorithmic affordance., 277?284.

    Smith, Y. N. (2020).(Unpublished doctoral dissertation), Capella University, Minneapolis.

    Srivastava, M., Heidari, H., & Krause, A. (2019 August).Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Anchorage, AK, USA.

    Suen, H. Y., Chen, Y. C., & Lu, S. H. (2019). Does the use of synchrony and artificial intelligence in video interviews affect interview ratings and applicant attitudes?, 93?101.

    Sundar, S. S. (2008). The MAIN model: A heuristic approach to understanding technology effects on credibility. In M. J. Metzger, & Flanagin, A. J. (Eds.)(pp. 73?100). Cambridge, MA: MIT Press.

    Tene, O., & Polonetsky, J. (2015). A theory of creepy: Technology, privacy, and shifting social norms.(1), 59?102.

    Uhde, A., Schlicker, N., Wallach, D. P., & Hassenzahl, M. (2020 April).Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, Honolulu, HI.

    van Berkel, N., Goncalves, J., Hettiachchi, D., Wijenayake, S., Kelly, R. M., & Kostakos, V. (2019).Crowdsourcing perceptions of fair predictors for machine learning: A recidivism case study., 28?46.

    van Berkel, N., Goncalves, J., Russo, D., Hosio, S., Skov, M. B. (2021 May).Proceedings in CHI Conference on Human Factors in Computing Systems, Yokohama, Japan.

    Vinuesa, R., Azizpour, H., Leite, I., Balaam, M., Dignum, V., Domisch, S., … Nerini, F. F. (2020). The role of artificial intelligence in achieving the Sustainable Development Goals.(1), 1?10.

    von Bertalanffy, L. (1972). The history and status of general systems theory., 407?426.

    Wang, A. J. (2018). Procedural justice and risk-assessment algorithms.. Article 3170136. http://dx.doi.org/10.2139/ssrn.3170136

    Wang, R., Harper, F. M., & Zhu, H. (2020 April).Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, Honolulu, HI.

    World Social Report. (2020).. Retrieved March 23, 2020, from https://www.un. org/pt/node/89779

    Fairness perceptions of artificial intelligence decision-making

    JIANG Luyuan1, CAO Limei1, QIN Xin1, TAN Ling2, CHEN Chen1, PENG Xiaofei1

    (1School of Business, Sun Yat-sen University, Guangzhou 510275, China)(2School of Management, Guangdong University of Technology, Guangzhou 510520, China)

    Inequality is the biggest challenge for global social and economic development, which has the potential to impede the goal of global sustainable development. One way to reduce such inequality is to use artificial intelligence (AI) for decision-making. However, recent research has found that while AI is more accurate and is not influenced by personal bias, people are generally averse to AI decision-making and perceive it as being less fair. Given the theoretical and practical importance of fairness perceptions of AI decision-making, a growing number of researchers have recently begun investigating how individuals form fairness perceptions in regards to AI decision-making. However, existing research is generally quite scattered and disorganized, which has limited researchers’ and practitioners’ understanding of fairness perceptions of AI decision-making from a conceptual and systematic perspective. Thus, this review first divided the relevant research into two categories. That is, (a) fairness perception studies in which AI is the decision-maker, which focus on how AI characteristics and individual characteristics affect individuals’ fairness perceptions; and (b) fairness perception studies that compare AI and humans as decision-makers, which focus on the comparative effects of AI or humans as decision makers on individuals’ fairness perceptions. Based on this systematic review, we proposed five promising directions for future research, such as exploring the affective mechanisms underlying the relationship between AI or individual characteristics and fairness perceptions.

    artificial intelligence, algorithm, fairness, decision-making

    B849: C91

    2021-07-13

    * 國家自然科學(xué)基金集成項目、面上項目、青年項目(92146003, 71872190, 71702202, 71802203)、教育部長江學(xué)者獎勵計劃青年項目、中央高?;究蒲袠I(yè)務(wù)費(fèi)專項資金(19wkpy17)資助。

    秦昕, E-mail: qinxin@sysu.edu.cn

    猜你喜歡
    公平決策個體
    不公平
    公平對抗
    怎樣才公平
    為可持續(xù)決策提供依據(jù)
    關(guān)注個體防護(hù)裝備
    決策為什么失誤了
    公平比較
    個體反思機(jī)制的缺失與救贖
    How Cats See the World
    關(guān)于抗美援朝出兵決策的幾點(diǎn)認(rèn)識
    軍事歷史(1997年5期)1997-08-21 02:36:06
    亚洲精品一区av在线观看| 日韩欧美三级三区| 国产精品亚洲美女久久久| 日本撒尿小便嘘嘘汇集6| 国产成人精品久久二区二区91| 精品国产一区二区三区四区第35| 欧美激情久久久久久爽电影| 欧美黄色淫秽网站| 亚洲精华国产精华精| 啦啦啦免费观看视频1| 熟妇人妻久久中文字幕3abv| 欧美成人免费av一区二区三区| 日韩高清综合在线| 亚洲久久久国产精品| 亚洲精品久久成人aⅴ小说| 久久国产精品影院| 久久精品亚洲精品国产色婷小说| 天堂影院成人在线观看| 十八禁人妻一区二区| 日韩欧美三级三区| 伊人久久大香线蕉亚洲五| 在线观看舔阴道视频| 校园春色视频在线观看| 草草在线视频免费看| 久久久久久久久中文| 国内久久婷婷六月综合欲色啪| 久久精品成人免费网站| 嫩草影院精品99| 久久亚洲精品不卡| 成人av一区二区三区在线看| 国产激情久久老熟女| 夜夜爽天天搞| 亚洲国产欧美一区二区综合| 成人精品一区二区免费| 老司机午夜十八禁免费视频| 91国产中文字幕| 日日干狠狠操夜夜爽| 国产午夜精品久久久久久| ponron亚洲| 中文资源天堂在线| 亚洲精品国产一区二区精华液| 老司机午夜福利在线观看视频| 人成视频在线观看免费观看| 男女下面进入的视频免费午夜 | 精品久久蜜臀av无| 国产97色在线日韩免费| 午夜精品在线福利| 大香蕉久久成人网| www.999成人在线观看| 国产亚洲精品第一综合不卡| 亚洲精品中文字幕在线视频| 在线国产一区二区在线| 国内久久婷婷六月综合欲色啪| 国产成人欧美在线观看| 成人手机av| 日韩三级视频一区二区三区| 亚洲 国产 在线| 麻豆成人av在线观看| 精品久久久久久久人妻蜜臀av| 亚洲av电影不卡..在线观看| cao死你这个sao货| 嫩草影院精品99| 久久精品影院6| 婷婷六月久久综合丁香| 伊人久久大香线蕉亚洲五| 又紧又爽又黄一区二区| 韩国av一区二区三区四区| 欧美另类亚洲清纯唯美| 午夜福利免费观看在线| 亚洲国产看品久久| 91成人精品电影| 亚洲国产欧美日韩在线播放| 日本成人三级电影网站| 黄色a级毛片大全视频| 夜夜夜夜夜久久久久| 禁无遮挡网站| 久久久精品国产亚洲av高清涩受| 国产精华一区二区三区| 在线观看免费午夜福利视频| 丝袜美腿诱惑在线| 岛国视频午夜一区免费看| av在线播放免费不卡| 少妇粗大呻吟视频| 少妇 在线观看| 熟妇人妻久久中文字幕3abv| 熟妇人妻久久中文字幕3abv| 亚洲va日本ⅴa欧美va伊人久久| 日日摸夜夜添夜夜添小说| 波多野结衣巨乳人妻| 少妇熟女aⅴ在线视频| 男女那种视频在线观看| 午夜精品久久久久久毛片777| 国产伦人伦偷精品视频| 一个人免费在线观看的高清视频| 黄片小视频在线播放| 久久精品aⅴ一区二区三区四区| 人人妻人人澡欧美一区二区| 日韩免费av在线播放| 亚洲精品中文字幕在线视频| 欧美不卡视频在线免费观看 | 性欧美人与动物交配| 一进一出抽搐动态| 国产极品粉嫩免费观看在线| 18禁裸乳无遮挡免费网站照片 | 日韩高清综合在线| 国产伦人伦偷精品视频| 女性生殖器流出的白浆| 国产精品免费一区二区三区在线| 18禁国产床啪视频网站| 国产精品,欧美在线| 波多野结衣高清作品| 成人免费观看视频高清| 日本免费a在线| 嫁个100分男人电影在线观看| 欧美中文日本在线观看视频| 成人精品一区二区免费| 老司机靠b影院| 亚洲精品久久成人aⅴ小说| 亚洲国产欧洲综合997久久, | 搞女人的毛片| 999久久久精品免费观看国产| 啦啦啦免费观看视频1| 午夜福利免费观看在线| 黑丝袜美女国产一区| 亚洲av第一区精品v没综合| 中文字幕人妻熟女乱码| www.精华液| 天天一区二区日本电影三级| 波多野结衣高清作品| 午夜老司机福利片| 亚洲欧美精品综合一区二区三区| 久久久国产精品麻豆| 国产97色在线日韩免费| netflix在线观看网站| 久久久久久人人人人人| 在线永久观看黄色视频| 亚洲成人国产一区在线观看| 天堂动漫精品| 在线天堂中文资源库| 一边摸一边抽搐一进一小说| bbb黄色大片| 亚洲第一电影网av| 成人欧美大片| 精品少妇一区二区三区视频日本电影| 国内少妇人妻偷人精品xxx网站 | 啦啦啦观看免费观看视频高清| 久久久久国产精品人妻aⅴ院| 丝袜在线中文字幕| 久久精品国产清高在天天线| 午夜精品在线福利| 女性被躁到高潮视频| 免费电影在线观看免费观看| 久久久久久亚洲精品国产蜜桃av| 亚洲精品一卡2卡三卡4卡5卡| 亚洲国产欧洲综合997久久, | 日韩欧美一区视频在线观看| 午夜福利视频1000在线观看| 欧美国产精品va在线观看不卡| 国产私拍福利视频在线观看| 亚洲成a人片在线一区二区| 欧美激情久久久久久爽电影| 亚洲成av片中文字幕在线观看| aaaaa片日本免费| 日本熟妇午夜| 女性生殖器流出的白浆| 国产久久久一区二区三区| 国产一级毛片七仙女欲春2 | 麻豆久久精品国产亚洲av| 国产精品爽爽va在线观看网站 | 婷婷精品国产亚洲av在线| 狠狠狠狠99中文字幕| 国产又黄又爽又无遮挡在线| 亚洲美女黄片视频| 99在线视频只有这里精品首页| 香蕉久久夜色| 久久精品影院6| 亚洲成国产人片在线观看| 久久国产精品影院| 少妇裸体淫交视频免费看高清 | 一区二区三区国产精品乱码| 午夜免费观看网址| 久久久久久亚洲精品国产蜜桃av| 黄色 视频免费看| 免费女性裸体啪啪无遮挡网站| 日韩欧美国产在线观看| 亚洲国产毛片av蜜桃av| 给我免费播放毛片高清在线观看| 夜夜躁狠狠躁天天躁| 国产亚洲av高清不卡| 日韩 欧美 亚洲 中文字幕| 99国产精品一区二区蜜桃av| 在线观看日韩欧美| 免费在线观看日本一区| 精品少妇一区二区三区视频日本电影| 亚洲真实伦在线观看| av天堂在线播放| 亚洲第一av免费看| 美女高潮喷水抽搐中文字幕| 久久久国产精品麻豆| 69av精品久久久久久| 视频在线观看一区二区三区| 国产区一区二久久| 久久青草综合色| 一二三四在线观看免费中文在| 日韩免费av在线播放| 日韩成人在线观看一区二区三区| 午夜福利欧美成人| 免费电影在线观看免费观看| 色综合站精品国产| 免费人成视频x8x8入口观看| 1024视频免费在线观看| 最近最新中文字幕大全免费视频| www.www免费av| 日韩一卡2卡3卡4卡2021年| 欧美中文综合在线视频| 好看av亚洲va欧美ⅴa在| 波多野结衣高清无吗| 99热只有精品国产| 精品欧美国产一区二区三| 日日爽夜夜爽网站| 亚洲国产精品999在线| 色精品久久人妻99蜜桃| 欧美中文综合在线视频| 变态另类成人亚洲欧美熟女| 欧美在线黄色| 免费高清在线观看日韩| 欧美成狂野欧美在线观看| 日韩欧美国产在线观看| 亚洲欧美精品综合一区二区三区| 国产精品久久久久久亚洲av鲁大| 久久香蕉国产精品| 久久精品成人免费网站| 国产成人啪精品午夜网站| 女人爽到高潮嗷嗷叫在线视频| 国产精品综合久久久久久久免费| 国产主播在线观看一区二区| 日韩av在线大香蕉| 国产精品亚洲av一区麻豆| 色综合婷婷激情| 午夜两性在线视频| 欧美激情 高清一区二区三区| 日韩高清综合在线| 中文字幕av电影在线播放| 欧美黑人精品巨大| 可以免费在线观看a视频的电影网站| 亚洲精品中文字幕在线视频| 免费看十八禁软件| 欧美精品啪啪一区二区三区| 哪里可以看免费的av片| 亚洲午夜理论影院| 久久精品国产清高在天天线| 亚洲成a人片在线一区二区| 动漫黄色视频在线观看| 一级片免费观看大全| 真人做人爱边吃奶动态| 久久久久久久久久黄片| 日本在线视频免费播放| 亚洲国产看品久久| 国产单亲对白刺激| 欧美一区二区精品小视频在线| 亚洲五月天丁香| 欧美乱码精品一区二区三区| 美女高潮喷水抽搐中文字幕| 国产人伦9x9x在线观看| 午夜福利欧美成人| 可以免费在线观看a视频的电影网站| 亚洲成人久久性| 久久天躁狠狠躁夜夜2o2o| 搡老熟女国产l中国老女人| 精品乱码久久久久久99久播| 丰满人妻熟妇乱又伦精品不卡| 久久人人精品亚洲av| 久久久国产成人免费| 亚洲国产精品合色在线| 淫秽高清视频在线观看| 99精品在免费线老司机午夜| 国产精品二区激情视频| 午夜久久久久精精品| 亚洲 国产 在线| 在线观看免费日韩欧美大片| 国产精品98久久久久久宅男小说| 国产成人精品无人区| 91在线观看av| 视频区欧美日本亚洲| 可以免费在线观看a视频的电影网站| ponron亚洲| 高清毛片免费观看视频网站| 又紧又爽又黄一区二区| 国产精品 国内视频| 国产精品亚洲美女久久久| 国产午夜精品久久久久久| 欧美大码av| 久久狼人影院| 精品无人区乱码1区二区| 999精品在线视频| 国产精品 国内视频| 欧美 亚洲 国产 日韩一| 视频区欧美日本亚洲| 精品一区二区三区av网在线观看| 欧美日本亚洲视频在线播放| 日本撒尿小便嘘嘘汇集6| 12—13女人毛片做爰片一| 日韩大码丰满熟妇| 在线观看免费视频日本深夜| 麻豆av在线久日| 又黄又爽又免费观看的视频| 欧美日韩乱码在线| 在线观看舔阴道视频| 黄色视频不卡| 啦啦啦韩国在线观看视频| 1024香蕉在线观看| 中文在线观看免费www的网站 | 国产野战对白在线观看| 亚洲成a人片在线一区二区| 国产爱豆传媒在线观看 | 50天的宝宝边吃奶边哭怎么回事| 国产一卡二卡三卡精品| 亚洲国产中文字幕在线视频| 日本 av在线| 欧美一级毛片孕妇| 国产真人三级小视频在线观看| av片东京热男人的天堂| 婷婷精品国产亚洲av在线| 欧美日韩福利视频一区二区| 国内少妇人妻偷人精品xxx网站 | 在线观看免费日韩欧美大片| 夜夜看夜夜爽夜夜摸| 啪啪无遮挡十八禁网站| 激情在线观看视频在线高清| 欧美zozozo另类| 超碰成人久久| 日韩视频一区二区在线观看| 韩国av一区二区三区四区| 久久久久久久午夜电影| 精品高清国产在线一区| 露出奶头的视频| 日日夜夜操网爽| 亚洲熟妇中文字幕五十中出| 一级毛片女人18水好多| 在线天堂中文资源库| 黄片播放在线免费| 99精品欧美一区二区三区四区| 欧美大码av| 国产精品久久久人人做人人爽| 一卡2卡三卡四卡精品乱码亚洲| 无遮挡黄片免费观看| 99热6这里只有精品| 日本免费一区二区三区高清不卡| 女警被强在线播放| 久久久久亚洲av毛片大全| 一进一出抽搐动态| 18禁观看日本| 日本a在线网址| 免费一级毛片在线播放高清视频| 两个人免费观看高清视频| 十分钟在线观看高清视频www| 国产高清视频在线播放一区| av超薄肉色丝袜交足视频| 色播在线永久视频| 亚洲第一青青草原| 国产亚洲欧美98| 国产亚洲精品久久久久久毛片| 欧美日韩亚洲综合一区二区三区_| 一本精品99久久精品77| 中文字幕人成人乱码亚洲影| 在线观看免费午夜福利视频| 婷婷亚洲欧美| av有码第一页| 欧美一级毛片孕妇| 国产精品亚洲一级av第二区| 一个人免费在线观看的高清视频| 亚洲成国产人片在线观看| 老熟妇乱子伦视频在线观看| 亚洲熟妇熟女久久| 可以免费在线观看a视频的电影网站| 亚洲人成网站在线播放欧美日韩| 天堂√8在线中文| 国产成人啪精品午夜网站| 久久久久亚洲av毛片大全| 在线观看午夜福利视频| 一区二区三区国产精品乱码| 久久狼人影院| 精品熟女少妇八av免费久了| 日韩精品中文字幕看吧| 久久久久久久久久黄片| 首页视频小说图片口味搜索| 伊人久久大香线蕉亚洲五| 久久性视频一级片| 婷婷精品国产亚洲av| 国产精品久久久久久人妻精品电影| 国产精品国产高清国产av| 亚洲av熟女| 美女国产高潮福利片在线看| 午夜福利在线观看吧| 一二三四在线观看免费中文在| 久久精品成人免费网站| 亚洲精品中文字幕在线视频| 国产成人av教育| 韩国精品一区二区三区| 久久久国产成人精品二区| 精品久久久久久,| 亚洲欧美精品综合久久99| avwww免费| 国产片内射在线| 久久中文看片网| 50天的宝宝边吃奶边哭怎么回事| 亚洲av日韩精品久久久久久密| 亚洲午夜理论影院| 满18在线观看网站| 一边摸一边做爽爽视频免费| 国产真实乱freesex| 欧美+亚洲+日韩+国产| 亚洲成a人片在线一区二区| 亚洲国产精品sss在线观看| 亚洲av电影不卡..在线观看| 18禁国产床啪视频网站| 国产激情欧美一区二区| 黑丝袜美女国产一区| 熟妇人妻久久中文字幕3abv| 亚洲五月天丁香| 一区二区三区激情视频| 女警被强在线播放| 国产成人系列免费观看| 午夜成年电影在线免费观看| 亚洲成av片中文字幕在线观看| 久久 成人 亚洲| 听说在线观看完整版免费高清| 国产伦在线观看视频一区| 亚洲av第一区精品v没综合| 成年版毛片免费区| 波多野结衣av一区二区av| 少妇的丰满在线观看| 亚洲片人在线观看| 欧美一级a爱片免费观看看 | 国产日本99.免费观看| 人人妻,人人澡人人爽秒播| 一级黄色大片毛片| 亚洲七黄色美女视频| 欧美日本视频| 亚洲精品国产精品久久久不卡| 观看免费一级毛片| 国产主播在线观看一区二区| 久久精品国产99精品国产亚洲性色| 好男人电影高清在线观看| 99热6这里只有精品| 亚洲国产精品sss在线观看| 欧美中文综合在线视频| 波多野结衣高清作品| 国产成人精品久久二区二区免费| 亚洲七黄色美女视频| 日本成人三级电影网站| 在线观看免费午夜福利视频| 成人三级黄色视频| 级片在线观看| 视频区欧美日本亚洲| 99国产精品一区二区三区| 色精品久久人妻99蜜桃| 日韩欧美 国产精品| 两人在一起打扑克的视频| 18禁黄网站禁片免费观看直播| 法律面前人人平等表现在哪些方面| 久久久久久久久久黄片| 精品卡一卡二卡四卡免费| 免费观看人在逋| 手机成人av网站| 亚洲成av人片免费观看| 人人妻人人澡欧美一区二区| 日本在线视频免费播放| 日韩三级视频一区二区三区| 国产99久久九九免费精品| www.999成人在线观看| 50天的宝宝边吃奶边哭怎么回事| 亚洲男人天堂网一区| 怎么达到女性高潮| 日韩三级视频一区二区三区| 一级毛片高清免费大全| 成人亚洲精品一区在线观看| 看片在线看免费视频| 国产主播在线观看一区二区| 亚洲免费av在线视频| 国产精品影院久久| 99精品久久久久人妻精品| 色哟哟哟哟哟哟| 国产精华一区二区三区| 国产视频一区二区在线看| 国产精品 国内视频| 亚洲av五月六月丁香网| 亚洲一码二码三码区别大吗| www日本在线高清视频| 亚洲欧美一区二区三区黑人| 又黄又粗又硬又大视频| 亚洲人成77777在线视频| 国产精品电影一区二区三区| 变态另类丝袜制服| 欧美最黄视频在线播放免费| 久久精品影院6| 99精品在免费线老司机午夜| 日韩三级视频一区二区三区| 精品一区二区三区av网在线观看| 岛国视频午夜一区免费看| 国产又黄又爽又无遮挡在线| 久久精品国产清高在天天线| 中文字幕最新亚洲高清| 国内揄拍国产精品人妻在线 | 最好的美女福利视频网| 国产精品永久免费网站| 国产三级黄色录像| 免费无遮挡裸体视频| 别揉我奶头~嗯~啊~动态视频| 成人三级黄色视频| 国产成人av激情在线播放| 久久人妻福利社区极品人妻图片| 日本成人三级电影网站| aaaaa片日本免费| 在线永久观看黄色视频| 精品卡一卡二卡四卡免费| 日本 欧美在线| 久久久久久九九精品二区国产 | 老司机在亚洲福利影院| 99在线视频只有这里精品首页| 国产精品久久久av美女十八| 久久久久久久久免费视频了| 国产黄色小视频在线观看| 动漫黄色视频在线观看| 少妇的丰满在线观看| 88av欧美| 欧美性长视频在线观看| 亚洲色图 男人天堂 中文字幕| 在线视频色国产色| 国内精品久久久久精免费| 51午夜福利影视在线观看| 亚洲中文字幕一区二区三区有码在线看 | 国产片内射在线| 成人亚洲精品一区在线观看| 少妇 在线观看| 免费在线观看成人毛片| 亚洲成人国产一区在线观看| 国产伦在线观看视频一区| 嫁个100分男人电影在线观看| 国产三级在线视频| 久久久久久久久免费视频了| 亚洲av第一区精品v没综合| 欧美亚洲日本最大视频资源| 久久久久国产一级毛片高清牌| 日韩欧美一区视频在线观看| 黄片播放在线免费| 国产精品日韩av在线免费观看| 久久精品国产综合久久久| 亚洲一区中文字幕在线| 俄罗斯特黄特色一大片| 香蕉久久夜色| 精品久久久久久久末码| 国产精品电影一区二区三区| 叶爱在线成人免费视频播放| 校园春色视频在线观看| 久久精品国产清高在天天线| 亚洲欧美日韩高清在线视频| 淫秽高清视频在线观看| www日本黄色视频网| 一本精品99久久精品77| 成人亚洲精品一区在线观看| 久久久久国产精品人妻aⅴ院| 高清毛片免费观看视频网站| 嫩草影视91久久| 中出人妻视频一区二区| 一进一出抽搐gif免费好疼| 久久精品91无色码中文字幕| 身体一侧抽搐| 久久久国产成人精品二区| 亚洲精品久久成人aⅴ小说| 国产高清videossex| 亚洲成av片中文字幕在线观看| 真人做人爱边吃奶动态| 免费看美女性在线毛片视频| 中文字幕精品免费在线观看视频| 亚洲黑人精品在线| 久久精品91蜜桃| 热99re8久久精品国产| 欧美日本亚洲视频在线播放| 成人三级做爰电影| 国产精品,欧美在线| 丁香六月欧美| 国产亚洲精品久久久久5区| 亚洲精品一卡2卡三卡4卡5卡| 国产色视频综合| 男人舔奶头视频| 精品日产1卡2卡| 亚洲,欧美精品.| 精品久久久久久久人妻蜜臀av| 中文字幕另类日韩欧美亚洲嫩草| 国产乱人伦免费视频| 一本一本综合久久| 日本五十路高清| 欧洲精品卡2卡3卡4卡5卡区| 欧美黑人欧美精品刺激| 色播在线永久视频| 亚洲aⅴ乱码一区二区在线播放 | 老司机在亚洲福利影院| 成年人黄色毛片网站| av天堂在线播放| 国产激情久久老熟女| 亚洲国产欧洲综合997久久, | 91av网站免费观看| 精品少妇一区二区三区视频日本电影| 国产真实乱freesex| 美女免费视频网站| 亚洲在线自拍视频| 听说在线观看完整版免费高清| 精品福利观看| 看免费av毛片| 变态另类丝袜制服| 亚洲va日本ⅴa欧美va伊人久久| 久久久久九九精品影院| 日韩欧美 国产精品| 欧美中文日本在线观看视频|