人們對(duì)智能機(jī)器的道德決策期望研究概述

吳明證 嚴(yán)夢(mèng)瑤 林銘 劉釔瑤 孫曉玲

摘 要｜智能機(jī)器指能夠在各類(lèi)環(huán)境中自主地或交互地執(zhí)行任務(wù)的人工智能系統(tǒng)，近年來(lái)，智能機(jī)器的道德決策受到越來(lái)越多研究者的關(guān)注。本文從人們對(duì)智能機(jī)器的道德決策期望、影響因素和心理機(jī)制三方面出發(fā)，系統(tǒng)介

紹了智能機(jī)器的研究現(xiàn)狀，并探討了已有研究的不足及未來(lái)研究方向。

關(guān)鍵詞｜智能機(jī)器；道德決策；心智感知

Copyright ? 2022 by author （s） and SciScan Publishing Limited

This article is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License. https：//creativecommons.org/licenses/by-nc/4.0/

隨著智能化時(shí)代的即將到來(lái)， 一些智能機(jī)器（Intelligent Machine） 或自主機(jī)器（Autonomous Machine）已經(jīng)能夠高度自主地在自動(dòng)駕駛、軍事領(lǐng)域、醫(yī)療服務(wù)等環(huán)境中執(zhí)行任務(wù)（Logg et al.， 2019）。我們希望智能機(jī)器具有更強(qiáng)的功能和自主性以應(yīng)對(duì)復(fù)雜的社會(huì)環(huán)境，這使得智能機(jī)器在工作時(shí)不可避免地會(huì)遭遇各種道德情境，需要快速地做出正確的道德決策。出于慎重起見(jiàn)，人類(lèi)必須保證智能機(jī)器以合乎道德的方式來(lái)行動(dòng)。為此，政府管理部門(mén)、學(xué)術(shù)界一直致力于制定適合人工智能的倫理規(guī)則， 給予智能機(jī)器合適的倫理規(guī)范限制。在這一背景下，研究者展開(kāi)了對(duì)人們?nèi)绾纹谕悄軝C(jī)器進(jìn)行道德決策的探討，以便為人工智能的道德立法提供學(xué)理依據(jù)。

目前，機(jī)器道德研究受到 AI 研究者的廣泛關(guān)注。為此，本文擬對(duì)智能機(jī)器道德決策期望的研究進(jìn)展進(jìn)行概述性介紹，在此基礎(chǔ)上分析已有研究的不足及未來(lái)發(fā)展方向，旨在為 AI 研究者提供參考和借鑒。

1?????? 智能機(jī)器的道德決策期望研究的主題

1.1?? 智能機(jī)器是否具有道德主體地位

與一般的風(fēng)險(xiǎn)決策不同，道德決策往往涉及是非對(duì)錯(cuò)。人們都認(rèn)可智能機(jī)器的高速運(yùn)算能力，接受智能機(jī)器應(yīng)用于一般風(fēng)險(xiǎn)決策領(lǐng)域，但對(duì)于智能機(jī)器能否進(jìn)行道德決策則莫衷一是。探討人們對(duì)智能機(jī)器的道德決策期望，前提在于人們是否認(rèn)可智能機(jī)器具有道德主體（Moral Agency）地位。一般認(rèn)為，道德主體是指能夠評(píng)估和調(diào)控自身行為，并且考慮到可能的潛在危害和可能忽視的職責(zé)的個(gè)體（Wallach et al.，2008）。一些研究者否認(rèn)智能機(jī)器具有道德主體性，理由在于智能機(jī)器對(duì)于程序設(shè)計(jì)師的依賴(lài)性

（Johnson and Miller，2008），僅具有工具性?xún)r(jià)值（Martin and Andreas，2011），存在認(rèn)知、動(dòng)機(jī)和情感的缺失（Brozek and Janik，2019），因此智能機(jī)器不能作為道德主體，也不能進(jìn)行道德自主決策。

但也有許多研究者（如 Floridi and Sanders，2004；蘇令銀，2019）認(rèn)為，隨著自動(dòng)化程度和智能算法的不斷迭代，智能機(jī)器將具有獨(dú)立的道德地位，在某些情況下可以被視為真正的道德主體。研究者將這些具有道德決策能力的智能機(jī)器稱(chēng)為人工道德智能體（artificial moral agents，AMAs），能夠在沒(méi)有人類(lèi)監(jiān)督的情況下自主進(jìn)行道德推理與決策。一些研究者則提出，如果要賦予智能機(jī)器以道德主體地位， 智能機(jī)器需要具備一定的能力。例如，格雷等人（Gray et al.，2007）指出，當(dāng)人類(lèi)知覺(jué)并意識(shí)到智能機(jī)器完成各項(xiàng)事務(wù)的能力遠(yuǎn)勝人類(lèi)時(shí)，才可能愿意賦予人工智能道德主體地位，將決策權(quán)和控制權(quán)交給智能機(jī)器。

1.2?? 智能機(jī)器在道德情境中選擇作為還是不作為？

研究發(fā)現(xiàn)，人們對(duì)智能機(jī)器道德決策的態(tài)度存有分歧。一方面，人們反感智能機(jī)器進(jìn)行道德決策， 或者期望智能機(jī)器在道德困境中選擇不作為（Inaction）。迪特沃斯特等人（Dietvorst et al.，2015）揭示了算法厭惡（Algorithm Aversion）現(xiàn)象，發(fā)現(xiàn)即使由計(jì)算機(jī)驅(qū)動(dòng)的算法所做出的評(píng)估決策比人類(lèi)表現(xiàn)得更好，人類(lèi)也往往排斥由計(jì)算機(jī)做出的判斷或決策，而選擇信任自己的判斷，那些對(duì)算法有過(guò)一些 經(jīng)驗(yàn)并且發(fā)現(xiàn)它們并不完美的人尤其如此。研究還發(fā)現(xiàn)，即使智能機(jī)器在駕駛、醫(yī)療、司法和軍事等 困境中做出的道德決策能夠帶來(lái)積極的結(jié)果，被試仍?xún)A向于讓人類(lèi)而非智能機(jī)器來(lái)做決定（Bigman and Gray，2018）。因此，人們更愿意將涉及社會(huì)交互的任務(wù)委派給人類(lèi)，而非智能機(jī)器（Gogoll and Uhl， 2018），對(duì)那些能夠自主進(jìn)行決策的智能機(jī)器感覺(jué)詭誕（Stein and Ohler，2017），不愿意讓智能機(jī)器自主進(jìn)行道德決策。此外，莫德?tīng)柕热耍∕eder et al.，2018）關(guān)于人們對(duì)自動(dòng)駕駛汽車(chē)在不確定后果下的決策研究則發(fā)現(xiàn)，相比于人類(lèi)司機(jī)，被試總是希望自動(dòng)駕駛汽車(chē)在面對(duì)兩難抉擇時(shí)選擇不作為，保持原定方向，即使這樣的選擇并不能使傷害最小化。另一方面，也有研究揭示了人們的算法偏好（Algorithm Appreciation）現(xiàn)象。例如，無(wú)論是在主觀還是客觀領(lǐng)域，相較于人類(lèi)，人們都更信賴(lài)智能機(jī)器的決策（Logg et al.，2019）。

無(wú)論人們是否愿意讓智能機(jī)器做出道德決策（“作為”），智能機(jī)器與人工智能技術(shù)的發(fā)展趨勢(shì)都是不可阻擋的，智能機(jī)器已經(jīng)面臨著各種現(xiàn)實(shí)的道德決策問(wèn)題，回避這一問(wèn)題反而可能產(chǎn)生更加嚴(yán)重的影響（Damm，2011）。例如，如果要求自動(dòng)駕駛汽車(chē)在遇到緊急情況時(shí)總是將控制權(quán)交還給人類(lèi)司機(jī)， 而面對(duì)突發(fā)事件人類(lèi)司機(jī)可能根本來(lái)不及做出判斷和反應(yīng)，這將造成難以預(yù)料的后果。上述研究發(fā)現(xiàn)的矛盾之處表明，也許人們并不是期望智能機(jī)器不作為，而是在某些條件下作為。

1.3?? 人們期望智能機(jī)器如何進(jìn)行道德決策？

大多數(shù)機(jī)器道德研究采用電車(chē)?yán)Ь臣捌涓倪M(jìn)版本作為研究材料，在功利主義和道義論兩種道德決策框架下，探討人們期望自動(dòng)駕駛汽車(chē)在面對(duì)道德兩難困境時(shí)該如何抉擇，以及人們對(duì)智能機(jī)器道德決策的判斷與接受程度（Malle et al.，2015；Bonnefon et al.，2016；Awad et al.，2018；Meder et al.，2018）。例如，博納豐等人（Bonnefon et al.，2016）改編了電車(chē)?yán)Ь?，要求被試分別在犧牲 10 個(gè)行人和犧牲 1個(gè)行人、犧牲 1 個(gè)行人和犧牲車(chē)上乘客，以及犧牲 10 個(gè)行人和犧牲車(chē)上乘客這三種駕駛決策的兩難情境中做出符合自己期望的選擇，結(jié)果發(fā)現(xiàn)，總體上被試都強(qiáng)烈認(rèn)為，如果犧牲車(chē)上的乘客或者 1 個(gè)行人可以挽救更多人的生命，那么自動(dòng)駕駛汽車(chē)所做的決策是更符合道德的。博納豐等人（Bonnefon et al.， 2016）還發(fā)現(xiàn)，盡管被試普遍認(rèn)為功利主義決策是更加道德的，但對(duì)于具有這種決策模式的自動(dòng)駕駛汽車(chē)， 被試卻更喜歡采用自我保護(hù)模式的自動(dòng)駕駛汽車(chē)，即發(fā)生緊急狀況時(shí)優(yōu)先保證車(chē)上乘客的安全，這一結(jié)果暗示人們對(duì)于智能機(jī)器的道德決策期望可能存在“偏私”現(xiàn)象。

阿瓦德等人（Awad et al.，2018）為了探究人們對(duì)智能機(jī)器的道德決策期望，開(kāi)發(fā)了名為 Moral Machine 的在線研究平臺(tái)，以探究人們對(duì)自動(dòng)駕駛車(chē)輛面臨道德困境時(shí)的決策期望。通過(guò)對(duì) 200 多個(gè)國(guó)家和地區(qū)的人們對(duì)自動(dòng)駕駛汽車(chē)道德決策偏好進(jìn)行分析發(fā)現(xiàn)，在世界范圍內(nèi)人們對(duì)自動(dòng)駕駛車(chē)輛存在著一些非常普遍的決策偏好，主要表現(xiàn)在三個(gè)方面：對(duì)保護(hù)人類(lèi)生命的偏好、對(duì)保護(hù)年輕生命的偏好和對(duì)保護(hù)更多生命的偏好，即人們希望自動(dòng)駕駛汽車(chē)能夠在必要時(shí)選擇犧牲動(dòng)物來(lái)拯救人類(lèi)生命，在緊急情況下選擇犧牲老人而拯救兒童，在面臨與電車(chē)?yán)Ь愁?lèi)似的情境時(shí)選擇犧牲少數(shù)人而挽救多數(shù)人。

2?????? 影響人們對(duì)智能機(jī)器決策期望的因素

綜觀已有研究，影響人們對(duì)智能機(jī)器道德決策期望的因素大體分為四類(lèi)。

2.1?? 道德決策情境特征

道德決策情境特征影響著人們對(duì)智能機(jī)器的道德決策期望。研究發(fā)現(xiàn)，在電車(chē)?yán)Ь持谐丝秃托腥说臄?shù)量比、行人是否違法、行人的身份等都顯著影響人們對(duì)自動(dòng)駕駛汽車(chē)的決策期望（Bergmann et al.， 2018；Awad et al.，2018，2020；Bonnefon et al.，2016）。個(gè)人道德情境和非個(gè)人道德情境也會(huì)影響人們對(duì)智能機(jī)器的道德決策期望。褚華東等人（2019）探討了人們?cè)谶@兩種不同的道德情境下對(duì)智能機(jī)器的道德評(píng)價(jià)是否存在差異，結(jié)果發(fā)現(xiàn)，在個(gè)人道德情境（天橋困境）中，被試做出道義論取向行為的智能機(jī)器道德評(píng)價(jià)更好，而在非個(gè)人道德困境中被試對(duì)做出功利主義選擇的智能機(jī)器道德評(píng)價(jià)更好。

事件結(jié)果的可能性也會(huì)影響人們對(duì)智能機(jī)器的道德決策期望。人們?cè)谧鰪?fù)雜的道德決策時(shí)會(huì)同時(shí)考慮結(jié)果的重要性及發(fā)生的可能性，這被稱(chēng)為“期望道德價(jià)值”，由于這種心理機(jī)制的存在，人們 在不確定條件下做出的道德判斷不同于在確定條件下（Shenhav and Greene，2010；Shou and Song， 2017）。莫德?tīng)柕热耍∕eder et al.，2018）使用改編的電車(chē)?yán)Ь匙鳛檠芯坎牧?，在該兩難情境中自動(dòng)駕駛汽車(chē)要么選擇直行犧牲車(chē)道上的行人，要么選擇轉(zhuǎn)向犧牲路邊的旁觀者，汽車(chē)與車(chē)道上行人相撞 的可能性有 20%、50% 和 80% 三種情況，而撞向路邊旁觀者的可能性分為不確定和有風(fēng)險(xiǎn)兩種情況： 在不確定的情況下，自動(dòng)駕駛汽車(chē)是否會(huì)撞到路邊旁觀者是未知的；而在有風(fēng)險(xiǎn)的情況下，自動(dòng)駕駛 汽車(chē)有 50% 的概率會(huì)撞到路邊旁觀者。結(jié)果發(fā)現(xiàn)，在不確定的情況下，即汽車(chē)與路邊旁觀者相撞的可能性未知時(shí)，無(wú)論汽車(chē)與車(chē)道上行人相撞的可能性是多少，被試都傾向于讓汽車(chē)保持直行；而在有風(fēng)險(xiǎn)的情況下，被試的決策期望則與汽車(chē)撞到車(chē)道上行人的概率有關(guān)，當(dāng)汽車(chē)與車(chē)道上的行人碰撞概率 只有 20% 時(shí)，被試仍然期望汽車(chē)保持直行，但是當(dāng)碰撞概率為 80% 時(shí)，被試出于結(jié)果主義的考慮會(huì)選擇讓汽車(chē)轉(zhuǎn)向。

2.2?? 決策者或評(píng)價(jià)者特征

決策者或評(píng)價(jià)者的情緒、認(rèn)知、心理狀態(tài)及個(gè)體差異等影響著人們對(duì)智能機(jī)器的道德決策期望（王鵬、方平、江媛，2011）。例如，博納豐等人（Bonnefon et al.，2016）發(fā)現(xiàn)，視角影響著被試對(duì)機(jī)器道德決策態(tài)度，相對(duì)于行人視角，被試在乘客視角和旁觀者視角下選擇犧牲行人的可能性明顯更高。弗蘭克等人（Frank et al.，2019）根據(jù)道德決策的雙加工模型（Dual Process Theory）設(shè)計(jì)實(shí)驗(yàn)操縱，通過(guò)限制被試決策時(shí)間來(lái)啟動(dòng)不同的決策模式：小于 7 秒的條件為直覺(jué)模式（Intuitive Mode），7 秒到 30 秒的為精加工模式（Deliberate Mode）。結(jié)果發(fā)現(xiàn)，決策模式影響著人們對(duì)智能機(jī)器道德決策的偏好，直覺(jué)決策使得人們轉(zhuǎn)向偏好道義論決策，顯著降低了犧牲行人的可能性。

此外，人們對(duì)智能機(jī)器違背道德規(guī)范的安全擔(dān)憂(yōu)，以及對(duì)智能機(jī)器的控制愿望也影響人們對(duì)智能機(jī)器道德決策期望。遠(yuǎn)征南（2019）的研究發(fā)現(xiàn)，人們對(duì)智能機(jī)器違背道德規(guī)范的安全擔(dān)憂(yōu)及對(duì)智能機(jī)器的控制愿望在人們對(duì)智能機(jī)器的道德決策期望中發(fā)揮鏈?zhǔn)街薪樽饔?，這表明授權(quán)智能機(jī)器可以違背道德規(guī)范會(huì)引起人們的安全擔(dān)憂(yōu)，由此引發(fā)人們想去控制智能機(jī)器的愿望，從而影響了被試對(duì)智能機(jī)器的決策期望。

2.3?? 智能機(jī)器本身的屬性

恐怖谷（Uncanny Valley）現(xiàn)象揭示了智能機(jī)器的外形如何影響人們的態(tài)度，智能機(jī)器的外觀仿真度越高人們?cè)接泻酶校_(dá)到一定的臨界點(diǎn)時(shí)這種好感度會(huì)突然降低，機(jī)器外觀越像人類(lèi)，人們反而越會(huì)感到恐懼（Mori et al.，2012）。迪薩爾沃等人（DiSalvo et al.，2002）也發(fā)現(xiàn)，智能機(jī)器的面部特征在人類(lèi)與機(jī)器人的交互中起到了重要作用，頭部尺寸、面部特征總數(shù)等因素會(huì)顯著影響人們對(duì)智能機(jī)器的感知。一般根據(jù)智能機(jī)器的外觀可以將機(jī)器人分為兩種：一種是人形機(jī)器人，即模仿人的形態(tài)和行為而設(shè)計(jì)制造的智能機(jī)器，外觀與人類(lèi)十分相似；另一種是機(jī)械機(jī)器人，即仿照各種各樣的生物、日常生活物品、交通工具等做出的智能機(jī)器，其外觀像一個(gè)機(jī)械裝置。馬勒等人（Malle et al.，2016）的研究發(fā)現(xiàn)，機(jī)器外觀影響人們對(duì)智能機(jī)器的道德判斷，人們?cè)诘赖抡J(rèn)知上會(huì)將機(jī)械機(jī)器人和人形機(jī)器人區(qū)別對(duì)待，更能接受機(jī)械機(jī)器人在電車(chē)?yán)Ь持凶龀龉髁x的決策，而不愿接受人形機(jī)器人做出功利主義的決策。

3?????? 人們對(duì)智能機(jī)器的道德決策期望的心理機(jī)制

心智感知（Mind Perception）是目前解釋人們對(duì)智能機(jī)器道德決策期望的主要理論。格雷等人（Gray et al.，2007）提出，心智感知指的是思考問(wèn)題、感受情緒以及有意圖地實(shí)施某個(gè)行為的能力，包括主體性（Agency）和感受性（Experience）兩個(gè)維度。其中，主體性的高低決定了主體能否承擔(dān)道德責(zé)任，人們通常不會(huì)要求兒童、動(dòng)物承擔(dān)道德責(zé)任，是因?yàn)槿藗冎X(jué)到其主體性很低。感受性的高低則意味著一個(gè)主體能否共情，能否感受快樂(lè)或痛苦等情緒，決定了主體是否需要被保護(hù)，是否擁有道德權(quán)利。格雷和瓦格納（Gray and Wegner，2012）的研究表明，人們對(duì)特定主體的心智能力的感知影響著對(duì)該主體的道德決策期望。對(duì)于智能化程度較低的機(jī)器，人們認(rèn)為它們?cè)趶?fù)雜的道德情境中無(wú)法正確分辨道德和不道德行為，對(duì)智能機(jī)器的道德決策期望也較低，因而更希望智能機(jī)器始終按照道德規(guī)范要求行事，不愿意讓機(jī)器擁有道德決策的自由；而對(duì)于智能化程度較高的機(jī)器，人們會(huì)認(rèn)為它們具備比人類(lèi)更優(yōu)秀的決策判斷能力，對(duì)機(jī)器的道德決策期望較高，可能希望由智能機(jī)器代替人類(lèi)做出決策。

在心智感知中，相較于感受性，對(duì)主體性的心智感知可能影響著人們對(duì)智能機(jī)器的道德決策期望。比格曼和格雷（Bigman and Gray，2018）的研究發(fā)現(xiàn)，人們對(duì)智能機(jī)器的主體性心智感知在人們對(duì)智能機(jī)器道德決策態(tài)度中發(fā)揮中介作用，人們之所以不愿意賦予智能機(jī)器決策權(quán)可能是認(rèn)為智能機(jī)器缺乏 像人類(lèi)一樣的思維能力。布羅德本特等人（Broadbent et al.，2013）發(fā)現(xiàn)，知覺(jué)到智能機(jī)器具有更高主體性的人選擇使用機(jī)器的意愿更低。斯塔福德等人（Stafford et al.，2014）也發(fā)現(xiàn)，老人更喜歡那些低主體性（即并不能做很多事）的機(jī)器人。這些研究說(shuō)明，人們可能并不希望機(jī)器具有太多的能動(dòng)性和 自主性，而只是希望機(jī)器作為一個(gè)完成任務(wù)的工具而存在。這表明，人們存在著對(duì)智能機(jī)器的工具化

（Instrumentalization）傾向，由此影響著人們對(duì)智能機(jī)器道德決策的態(tài)度。

4?????? 已有研究不足與未來(lái)研究方向

4.1?? 已有研究不足

已有研究以自動(dòng)駕駛汽車(chē)為主要研究對(duì)象，難以構(gòu)建智能機(jī)器道德決策的指導(dǎo)性理論。就智能機(jī)器的發(fā)展而言，社交機(jī)器人、醫(yī)療護(hù)理機(jī)器人、自動(dòng)駕駛汽車(chē)、無(wú)人戰(zhàn)斗機(jī)等各種類(lèi)型的智能機(jī)器都將在人類(lèi)生活中承擔(dān)不同的角色，發(fā)揮不同的作用。這些不同類(lèi)型的智能機(jī)器所面臨的道德困境，以及需要遵循的道德法則有所不同。只有通過(guò)對(duì)承擔(dān)不同角色的智能機(jī)器道德決策期望進(jìn)行廣泛探討，才能夠有望構(gòu)建智能機(jī)器道德決策的指導(dǎo)性理論。

已有研究發(fā)現(xiàn)的生態(tài)效度具有局限性。已有研究主要采用自我報(bào)告法，通過(guò)文字呈現(xiàn)智能機(jī)器的道德決策情境。這些道德決策情境并非真實(shí)的決策情境，一般采用電車(chē)?yán)Ь掣木幎鴣?lái)，而現(xiàn)實(shí)中的道德兩難情境更為復(fù)雜多樣。被試也缺乏與智能機(jī)器有直接交互的經(jīng)驗(yàn)，對(duì)決策情境的代入感不足。因此，已有研究發(fā)現(xiàn)雖有助于理論探索，卻缺乏生態(tài)效度。隨著大數(shù)據(jù)、VR 技術(shù)的發(fā)展，未來(lái)研究有必要在接近真實(shí)或真實(shí)的人機(jī)交互情境中展開(kāi)。

4.2?? 未來(lái)研究方向

4.2.1???????? 探究人對(duì)智能機(jī)器在不同道德基礎(chǔ)情境下的偏好是否不同

道德基礎(chǔ)理論（Moral Foundation Theory）認(rèn)為，人類(lèi)的道德至少包括關(guān)愛(ài) / 傷害、公平 / 欺騙、忠誠(chéng) / 背叛、權(quán)威 / 服從、神圣 / 貶低、民主 / 壓制六個(gè)領(lǐng)域，這六種道德有其進(jìn)化根源、誘發(fā)刺激和情緒反應(yīng)，并作為不同文化下道德規(guī)范形成與發(fā)展的基礎(chǔ)，因此被稱(chēng)為道德基礎(chǔ)（Haidt and Joseph， 2007）。目前，大多利用電車(chē)?yán)Ь车淖詣?dòng)駕駛研究主要涉及關(guān)愛(ài) / 傷害維度，未來(lái)研究可以在涉及不同道德基礎(chǔ)的情境中，系統(tǒng)分析人們對(duì)智能機(jī)器的道德決策期望。

4.2.2???????? 人們期望智能機(jī)器依照何種道德準(zhǔn)則構(gòu)建自身倫理體系

目前，使智能機(jī)器的行為符合道德規(guī)范要求的編碼方式主要有自上而下（Top-down）和自下而上

（Bottom-up）兩種進(jìn)路。其中，自上而下的進(jìn)路是指將倫理學(xué)家或者政府達(dá)成共識(shí)的道德準(zhǔn)則直接編碼進(jìn)智能機(jī)器內(nèi)，使智能機(jī)器基于嵌入的道德哲學(xué)程序做出道德選擇。自下而上的進(jìn)路是指不給智能機(jī)器直接編碼道德準(zhǔn)則，而是讓智能機(jī)器通過(guò)機(jī)器學(xué)習(xí)、進(jìn)化算法或強(qiáng)化學(xué)習(xí)等方式建構(gòu)出自身的道德原則， 例如模仿人類(lèi)道德直覺(jué)的認(rèn)知架構(gòu)（Bello and Bringsjord，2012）。陳齊平等人（2019）指出，智能機(jī)器依據(jù)人類(lèi)道德規(guī)范做出決策會(huì)增加人類(lèi)對(duì)機(jī)器倫理決策的接受度和信任度，自上而下的編碼方式可能更容易被大眾所接受。此外，劉紀(jì)璐等人（2018）指出，將中國(guó)傳統(tǒng)的儒家倫理準(zhǔn)則納入智能機(jī)器的道德體系，也是一種解決當(dāng)前人工智能倫理困境的可行方案。人們究竟期望智能機(jī)器依照何種道德準(zhǔn)則構(gòu)建自身倫理體系，才能使智能機(jī)器在各種復(fù)雜的道德情境中靈活做出符合人們期望的反應(yīng)，是未來(lái)研究需要深入探究的重要議題之一。

4.2.3???????? 探究人們對(duì)智能機(jī)器道德決策期望的影響因素

探究人們對(duì)智能機(jī)器道德決策期望的影響因素，有利于程序設(shè)計(jì)師根據(jù)人類(lèi)偏好設(shè)計(jì)智能機(jī)器程序， 提高人類(lèi)對(duì)智能機(jī)器的信任和接受。如前所述，心智感知影響著人們對(duì)特定主體的道德決策期望，因此， 人們對(duì)技術(shù)的態(tài)度可能影響人們對(duì)智能機(jī)器的道德決策期望。一般來(lái)說(shuō)，人們對(duì)技術(shù)持有工具化傾向和擬人化傾向兩種態(tài)度。如果人們更多地將智能機(jī)器作為人類(lèi)服務(wù)的工具則為工具化傾向，如果認(rèn)可智能機(jī)器的主體性和獨(dú)立性，期望智能機(jī)器像人類(lèi)一樣與人們互動(dòng)則為擬人化傾向?？ǘ鞯热耍↘ahn et al， 2012）在研究中詢(xún)問(wèn)人們?nèi)绾慰创悄軝C(jī)器人，是將其看作一種技術(shù)、一種活著的存在，還是介于兩者之間的某種存在，結(jié)果發(fā)現(xiàn)，近一半的被試將機(jī)器人看作一種技術(shù)，另一半的被試將其看作介于兩者之間的某種存在。這意味著，人們對(duì)智能機(jī)器的看法和態(tài)度存在著個(gè)體差異，這種差異可能影響人們對(duì)智能機(jī)器的道德決策期望，未來(lái)研究有必要對(duì)此展開(kāi)探討。

4.2.4???????? 探索智能機(jī)器道德決策期望的跨文化差異

道德倫理內(nèi)嵌于特定的社會(huì)文化背景。西方文化個(gè)體更看重關(guān)愛(ài) / 傷害、公平 / 互惠這兩個(gè)道德領(lǐng)域， 更看重個(gè)體價(jià)值的平等；而東方文化個(gè)體重視權(quán)威/ 尊敬、忠誠(chéng)/ 背叛，對(duì)人際關(guān)系的依附性更強(qiáng)（Haidt and Joseph，2007）。阿瓦德等人（Awad et al.，2018）將 200 多個(gè)國(guó)家和地區(qū)的數(shù)據(jù)分為三個(gè)道德集群（Moral Clusters），分別是西部集群（北美地區(qū)以及信仰天主教和新教的一些歐洲國(guó)家等）、東部集群（中國(guó)、日本等遠(yuǎn)東國(guó)家和印度尼西亞、巴基斯坦等國(guó)家）以及南部集群（中美地區(qū)和南美地區(qū)的一些拉丁美洲國(guó)家等）。這些道德集群內(nèi)部的國(guó)家和地區(qū)由于地理、文化的接近，從而產(chǎn)生對(duì)機(jī)器道德決策的相似偏好， 但世界上不同道德集群的人們對(duì)自動(dòng)駕駛汽車(chē)的決策期望卻存在著一些差異。例如，在電車(chē)?yán)Ь持袪奚先艘哉饶贻p人的傾向在東方文化中非常弱，這可能與東方文化普遍尊重老人的傳統(tǒng)有關(guān)。未來(lái)研究可以從跨文化比較，或從文化的動(dòng)態(tài)建構(gòu)視角出發(fā)探討人們對(duì)智能機(jī)器道德期望的文化特異性。

隨著智能機(jī)器在人類(lèi)日常生活和工作中的不斷融入，人工智能產(chǎn)品不再像過(guò)去一樣僅僅被人類(lèi)當(dāng)成工具來(lái)看待，更多的新角色和功能被賦予到高智能機(jī)器人身上（閆坤如，2018）?，F(xiàn)實(shí)世界中的許多案例也表明，人們對(duì)智能機(jī)器也可能產(chǎn)生復(fù)雜的情感聯(lián)結(jié)，將其擬人化為伴侶、朋友甚至是救命恩人。智能機(jī)器在發(fā)揮作用的過(guò)程中將會(huì)涉及越來(lái)越多的道德問(wèn)題，并承擔(dān)一定的道德后果。探討人們對(duì)智能機(jī)器的道德決策期望，不僅對(duì)于完善機(jī)器倫理學(xué)具有重要理論意義，也有助于對(duì)人工智能倫理法律法規(guī)的制定。目前，對(duì)機(jī)器道德的探討尚處于起步階段，亟需更多機(jī)器倫理學(xué)研究給出答案。

參考文獻(xiàn)

［1］陳齊平，魏佳成，鐘陳志鵬，等．智能機(jī)器倫理決策設(shè)計(jì)研究綜述［J］．計(jì)算機(jī)科學(xué)與探索，2019， 13（11）：1801-1812．

［2］褚華東，李園園，葉君惠，等．個(gè)人—非個(gè)人道德困境下人對(duì)智能機(jī)器道德判斷研究［J］．應(yīng)用心理? 學(xué)，2019，25（3）：262-271．

［3］劉紀(jì)璐，謝晨云，閔超琴，等．儒家機(jī)器人倫理［J］．思想與文化，2018（1）：18-40．

［4］蘇令銀．創(chuàng)造智能道德機(jī)器的倫理困境及其破解策略［J］．理論探索，2019（4）：30-37．

［5］王鵬，方平，江媛．道德直覺(jué)背景下的道德決策：影響因素探究［J］．心理科學(xué)進(jìn)展，2011，11

（4）：119-125．

［6］閆坤如．人工智能的道德風(fēng)險(xiǎn)及其規(guī)避路徑［J］．上海師范大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2018，47

（2）：42-49．

［7］遠(yuǎn)征南．人們對(duì)自主機(jī)器道德決策期望的探索性研究［D］．杭州：浙江大學(xué)，2018．

［8］Awad E，Dsouza S，Kim R，et al．The moral machine experiment［J］．Nature，2018，563（7729）：59- 64．

［9］Awad E，Dsouza S，Shariff A，et al．Universals and variations in moral decisions made in 42 countries by 70， 000 participants［J］．PNAS，2020，117（5）：2332-2337．

［10］Bello P，Bringsjord S．On how to build a moral machine［J］．Topoi，2012，32（2）：251-266．

［11］Bergmann L T，Schlicht L，Meixner C，et al．Autonomous vehicles require socio-political acceptance-an empirical and philosophical perspective on the problem of moral decision making［J］．Frontier in Behavioral Neuroscience，2018（12）：article 31．

［12］Bigman Y E，Gray K．People are averse to machines making moral decisions［J］．Cognition，2018，181

（1）：21-34．

［13］Bonnefon J F，Shariff A，Rahwan I．The social dilemma of autonomous vehicles［J］．Science，2016，352

（6293）：1573-1576．

［14］Broadbent E，Kumar V，Li X．et al．Robots with display screens：a robot with a more humanlike face display is perceived to have more mind and a better personality［J］．PLoS One，2013，8（8）：e72589．

［15］Brozek B，Janik B．Can artificial intelligences be moral agents［J］．New Ideas in Psychology，2019（54）： 101-106．

［16］Damm L．Moral machines：teaching robots right from wrong［J］．Philosophical Psychology，2011，25

（1）：1-5．

［17］Dietvorst B J，Simmons J P，Massey C．Algorithm aversion：People erroneously avoid algorithms after seeing them err［J］．Journal of Experimental Psychology（General），2015，144（1）：114-126．

［18］DiSalvo C F，Gemperle F，F(xiàn)orlizzi J，et al．All robots are not created equal：The design and perception of humanoid robot heads［C］．Paper presented at the Proceedings of the 4th conference on Designing interactive systems：processes，practices，methods，and techniques．London，England，2002：321-326．

［19］Floridi L，Sanders J W．On the morality of artificial agents［J］．Minds & Machines，2004，14（3）：349-379．

［20］Frank D，Chrysochou P，Mitkidis P．Human decision-making biases in the moral dilemmas of autonomous vehicles［J］．Scientific Reports，2019（9）：13080．

［21］Gogoll J，Uhl M．Rage against the machine：Automation in the moral domain［J］．Journal of Behavioral & Experimental Economics，2018，74（1）：97-103．

［22］Gray H M，Gray K，Wegner D M．Dimensions of mind perception［J］．Science，2007，315（5812）： 619．

［23］Gray K，Wegner D M．Feeling robots and human zombies：Mind perception and the uncanny valley［J］． Cognition，2012，125（1）：125-130．

［24］Haidt J，Joseph C．The moral mind：How 5 sets of innate intuitions guide the development of many culture- specific virtues，and perhaps even modules［M］// Carruthers P，Laurence S，Stich S．The innate mind． New York，NY：Oxford University Press，2007．

［25］Johnson D G，Miller K W．Un-making artificial moral agents［J］．Ethics & Information Technology， 2008，10（2/3）：123-133．

［26］Kahn P H，Kanda T，Ishiguro H，et al．Do people hold a humanoid robot morally accountable for the harm it causes［C］．Paper presented at Proceedings of the Seventh Annual ACM/IEEE International Conference on Human-Robot Interaction．Boston，Massachusetts，2012：33-40．

［27］Logg J M，Minson J A，Moore D A．Algorithm appreciation：People prefer algorithmic to human judgment

［J］．Organizational Behavior and Human Decision Processes，2019，151（10）：90-103．

［28］Malle B F，Scheutz M，Arnold T，et al．Sacrifice one for the good of many：people apply different moral norms to human and robot agents［C］．Paper presented at the Tenth ACM/IEEE International Conference on Human- Robot Interaction．Portland，Oregon，2015：117-124．

［29］Malle B F，Scheutz M，F(xiàn)orlizzi J，et al．Which robot am I thinking about？ The impact of action and appearance on peoples evaluations of a moral robot［C］．Paper presented at the 11th ACM/IEEE International Conference on Human-Robot Interaction．Christchurch，New Zealand，2016：125-132．

［30］Martin P，Andreas S．Can technological artefacts be moral agents［J］．Science & Engineering Ethics， 2011，17（3）：411-424．

［31］Meder B，F(xiàn)leischhut N，Krumnau N，et al．How should autonomous cars drive？ A preference for defaults in moral judgments under risk and uncertainty［J］．Risk Analysis，2019，39（2）：295-314．

［32］Mori M，Mac Dorman K F，Kageki N．The uncanny valley［J］．IEEE Robotics & Automation Magazine， 2012，19（2）：98-100．

［33］Shenhav A，Greene J D．Moral judgments recruit domain-general valuation mechanisms to integrate representations of probability and magnitude［J］．Neuron，2010，67（4）：667-677．

［34］Shou Y，Song F．Decisions in moral dilemmas：The influence of subjective beliefs in outcome probabilities

［J］．Judgment and Decision Making，2017，12（5）：481-490．

［35］Stafford R，Mac Donald B，Jayawardena C，et al．Does the robot have a mind？ mind perception and attitudes towards robots predict use of an eldercare robot［J］．International Journal of Social Robotics，2014，6（1）： 17-32．

［36］Stein J P，Ohler P．Venturing into the uncanny valley of mind-the influence of mind attribution on the acceptance of human-like characters in a virtual reality setting［J］．Cognition，2017，160（1）：43-50．

［37］Wallach W，Allen C，Smit I．Machine morality：Bottom-up and top-down approaches for modelling human moral faculties［J］．AI & Society，2008，22（4）：565-582．

A Review of the Research on Peoples Expectation for Moral Decision-making of Intelligent Machines

Wu Mingzheng1?????? Yan Mengyao1????????? Lin Ming1????????? Liu Yiyao1???????? Sun Xiaoling2

1.????? Department of psychology and behavioral sciences， Zhejiang University， Hangzhou;

2.????? Department of psychology， Hangzhou Normal University， Hangzhou

Abstract： Intelligent machines refers to the AI system that can perform tasks autonomously or interactively in various environments. In recent years， more and more researchers have paid attention to the moral decision-making of intelligent machine. This review systematically introduces the research status of intelligent machines on three topics： peoples expectation of moral decision， influencing factors and psychological mechanism. Limitation and future research directions were also discussed.

Key words： Intelligent machine; Moral decision making; Mind perception