• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人對(duì)智能機(jī)器行為的道德判斷:現(xiàn)狀與展望*

    2019-12-14 14:37:01
    應(yīng)用心理學(xué) 2019年4期
    關(guān)鍵詞:機(jī)器困境道德

    (1.浙江工業(yè)大學(xué)管理學(xué)院,杭州 310023;2.浙江警察學(xué)院,杭州 310053)

    1 引 言

    智能機(jī)器/人工智能指的是能夠在不確定的環(huán)境中自主做出合理(智能)行為的機(jī)器(系統(tǒng))(Albus,1991)。隨著現(xiàn)代科技的發(fā)展,智能機(jī)器正逐步邁入民眾的實(shí)際生活?!癆lphaGo”戰(zhàn)勝圍棋大師,谷歌、起亞等自動(dòng)駕駛汽車(chē)獲得上路執(zhí)照、即將實(shí)用化等,無(wú)不意味著智能時(shí)代的迫近(唐寧等,2018;周吉帆等,2016)。人工智能無(wú)疑將給人類(lèi)社會(huì)帶來(lái)巨大的進(jìn)步,在各行各業(yè)發(fā)揮巨大的作用。如自動(dòng)駕駛汽車(chē)可極大地降低交通事故,緩解交通壓力,減少空氣污染等;智能看護(hù)機(jī)器人可在家庭中照顧老人,其對(duì)老齡化日益嚴(yán)重、人力成本不斷高漲的國(guó)家尤為重要。然而,人工智能也受到來(lái)自社會(huì)各界及相關(guān)領(lǐng)域的爭(zhēng)議,如技術(shù)、立法、倫理道德等方面。鑒于人類(lèi)社會(huì)的復(fù)雜性和智能機(jī)器的“自主性”,在人-智能機(jī)器交互(甚至智能機(jī)器-智能機(jī)器交互)中,智能機(jī)器必然面臨諸多的道德情境,做出自主選擇的相關(guān)道德行為。如當(dāng)自動(dòng)駕駛汽車(chē)遭遇道德兩難困境時(shí)(緊急避險(xiǎn)可拯救多人性命,但會(huì)導(dǎo)致少量無(wú)辜者犧牲),應(yīng)當(dāng)如何決策?看護(hù)機(jī)器人是否可以通過(guò)“善意的謊言”讓抗拒吃藥的病人吃藥(如機(jī)器人欺騙病人說(shuō)如果病人不按時(shí)吃藥,那它就會(huì)因?yàn)闊o(wú)法勝任工作而被回收毀滅)?因此,如何設(shè)計(jì)人工智能體的道德決策體系,使其在社會(huì)交互中符合社會(huì)公眾的道德準(zhǔn)則,成為影響智能機(jī)器實(shí)用化的關(guān)鍵因素,受到越來(lái)越多該領(lǐng)域研究者的重視,并成為一個(gè)研究熱點(diǎn)(Allen,Varner,& Zinser,2000;Anderson & Anderson,2011;Scheutz & Malle,2014)。

    目前,關(guān)于智能機(jī)器道德研究主要集中在以下兩個(gè)方面。絕大部分研究者關(guān)注于如何為智能機(jī)器構(gòu)建道德相關(guān)模塊及整體道德框架,如道德體系設(shè)計(jì)取向、道德圖靈測(cè)試(moral turing test,MTT)(Arnold & Scheutz,2016;Gerdes & ?hrstr?m,2015)、道德算法(algorithmic morality)(Goodall,2014,2016;Purves,Jenkins & Strawser,2015)、道德模塊組成(Malle & Scheutz,2014,2015;Scheutz & Malle,2014)等,其主要致力于如何采用算法、決策樹(shù)等建立智能機(jī)器道德決策的規(guī)范集(moral principle set)。然而,此取向顯然簡(jiǎn)化了人類(lèi)的道德判斷,僅將人類(lèi)的道德準(zhǔn)則、行為規(guī)范等賦予智能機(jī)器,讓其按照人類(lèi)道德行為模式運(yùn)行,一定程度上忽略了人類(lèi)對(duì)智能機(jī)器行為的表征及道德判斷。道德本身就具有復(fù)雜性,如道德是否為人類(lèi)所特有,智能機(jī)器是否可以成為道德主體?此外,人類(lèi)對(duì)于智能機(jī)器的態(tài)度、認(rèn)知、信任也與對(duì)人的態(tài)度、認(rèn)知、信任等存在一定的差異。因此,人們?cè)趯?duì)智能機(jī)器行為進(jìn)行道德判斷時(shí),極有可能采用與對(duì)人類(lèi)行為判斷不同的道德準(zhǔn)則及加工機(jī)制。基于此,另一些學(xué)者借鑒道德判斷(moral judgment)理論,從人們對(duì)智能機(jī)器行為道德判斷的角度出發(fā),采用實(shí)驗(yàn)倫理(experimental ethic)的方法,探究人們對(duì)智能機(jī)器行為的道德判斷模式,以及人們期望智能機(jī)器在社會(huì)交互中采用什么樣的行為道德規(guī)范等問(wèn)題(e.g.,Bergmann et al.,2018;Faulhaber et al.,2018;Malle,Scheutz,Arnold,Voiklis,& Cusimano,2015)。研究者希望通過(guò)這些研究,為構(gòu)建智能機(jī)器道德體系提供理論依據(jù)和指導(dǎo)。本文從這兩方面出發(fā),首先回顧有關(guān)智能機(jī)器道德體系設(shè)計(jì)取向、模塊框架等方面,然后重點(diǎn)論述人對(duì)智能機(jī)器行為道德判斷領(lǐng)域的相關(guān)研究,旨在為國(guó)內(nèi)相關(guān)領(lǐng)域研究提供借鑒,并為設(shè)計(jì)符合人類(lèi)社會(huì)道德標(biāo)準(zhǔn)的智能機(jī)器道德行為體系,以及為有關(guān)部門(mén)制定經(jīng)濟(jì)、行政、交通等政策法規(guī)提供科學(xué)依據(jù)。

    2 智能機(jī)器的道德體系構(gòu)建

    自Allen et al.(2000)啟發(fā)性的提出有關(guān)人工智能道德的討論后,構(gòu)建智能機(jī)器的道德規(guī)范獲得了越來(lái)越多的關(guān)注。Anderson & Anderson(2011)和Scheutz & Malle(2014)等強(qiáng)調(diào)了考慮智能機(jī)器道德的重要性,指出在眾多領(lǐng)域中智能機(jī)器與人類(lèi)交互,不可避免地會(huì)遭遇到道德挑戰(zhàn)乃至道德兩難情境,需要受到道德準(zhǔn)則的約束。因此,眾多研究者開(kāi)始思考如何為智能機(jī)器構(gòu)建相應(yīng)的道德體系,他們從道德設(shè)計(jì)取向、道德模塊組成、道德圖靈測(cè)試等不同角度對(duì)它進(jìn)行了研究,獲得了大量的研究成果(e.g.,Allen,Smit & Wallach,2005;Gerdes & ?hrstr?m,2015;Scheutz & Malle,2014)。

    2.1 智能道德機(jī)器(artifical moral agents)的設(shè)計(jì)取向

    目前,在有關(guān)如何使智能機(jī)器獲得道德的問(wèn)題上,主要包含3種不同的理念:自上而下(top-down approach),自下而上(bottom-up approach)及混合取向(hybrid approach)(Allen et al.,2005;Arkin,2009;Bringsjord & Taylor,2012)。自上而下取向認(rèn)為,在設(shè)計(jì)智能道德機(jī)器時(shí),人們應(yīng)當(dāng)運(yùn)用道德準(zhǔn)則和道德理論,將其變成規(guī)則(算法)來(lái)指導(dǎo)智能機(jī)器做出恰當(dāng)?shù)男袨?,這一理念又被稱為基于規(guī)則的取向(rule-based approach)。自上而下的道德設(shè)計(jì)重點(diǎn)在于提供一系列抽象的道德準(zhǔn)則供智能機(jī)器來(lái)遵循,如著名的阿莫西機(jī)器人三定律。這些準(zhǔn)則既包含基于道義論(deontology)式的道德核心概念、特定領(lǐng)域的道德規(guī)則(domain-specificity of rules)和沖突解決規(guī)則(resolution of conflicting rules),也包含基于功利論(utilitarianism)的收益損失分析的計(jì)算情境(computational context)(Arkin,2009;Bringsjord & Taylor,2012)。然而,基于規(guī)則的道德取向由于是事先設(shè)定的,往往無(wú)法完全面對(duì)復(fù)雜情況(未包換相應(yīng)規(guī)則等),且規(guī)則間極有可能相互沖突。與之相反,自下而上的取向認(rèn)為,智能機(jī)器不應(yīng)該被直接賦予特定的道德倫理,而是應(yīng)該通過(guò)為它提供一個(gè)恰當(dāng)?shù)沫h(huán)境(鼓勵(lì)智能機(jī)器做出恰當(dāng)?shù)男袨?,使其通過(guò)經(jīng)驗(yàn)而學(xué)習(xí)(learning through experience)、進(jìn)化出整體的道德意識(shí)。這一取向與兒童的道德發(fā)展觀十分類(lèi)似,即兒童通過(guò)社會(huì)情境中的體驗(yàn)、學(xué)習(xí)來(lái)獲得道德教育,辨別什么是合適或不合適的行為,而不需要顯性的向其提供道德理論(Allen et al.,2005)。然而,自下而上的智能機(jī)器道德設(shè)計(jì)取向在實(shí)際的實(shí)現(xiàn)上特別地困難,在進(jìn)化與學(xué)習(xí)過(guò)程中存在著大量的錯(cuò)誤和失敗?;旌先∠騽t認(rèn)為,為了應(yīng)對(duì)上述取向的問(wèn)題,我們需要將自上而下和自下而上的取向結(jié)合起來(lái),可以通過(guò)自上而下的方式為智能機(jī)器設(shè)定一些基礎(chǔ)性道德語(yǔ)法(foundation moral grammar),并通過(guò)自下而上的學(xué)習(xí)(神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí))來(lái)發(fā)展和進(jìn)化,從而整合形成智能機(jī)器的道德決策體系(具體見(jiàn)Allen et al.,2005)。

    2.2 智能機(jī)器的道德能力模塊

    一些研究者基于智能機(jī)器的道德模塊組成,研究智能機(jī)器的道德能力(moral competence)模塊及組成成分,以此構(gòu)建智能機(jī)器整體道德模型(Malle & Scheutz,2015;Scheutz & Malle,2014)。Scheutz & Malle提出智能機(jī)器的道德能力應(yīng)包含道德核心(moral core)、道德知覺(jué)與認(rèn)知過(guò)程(moral perceptual and cognitive processes)、道德問(wèn)題解決、決策過(guò)程(moral problem solving,decision-making process)和道德交流(moral communication)四個(gè)組成模塊。道德核心包括道德相關(guān)的核心概念(準(zhǔn)則)、語(yǔ)言標(biāo)簽(linguistic label)及概念間的聯(lián)結(jié)關(guān)系,即知道什么是符合(違背)道德規(guī)范和準(zhǔn)則的;道德知覺(jué)和認(rèn)知過(guò)程包括所有在道德判斷中與道德推理(reasoning)相關(guān)的知覺(jué)和認(rèn)知的過(guò)程;道德問(wèn)題解決、決策過(guò)程模塊則表征道義式道德,計(jì)劃道德決策路徑(planning paths)和決策樹(shù)(decision tree);道德交流模塊則讓智能機(jī)器具備運(yùn)用人類(lèi)自然語(yǔ)言與人類(lèi)進(jìn)行道德交流的能力,為其道德行為選擇進(jìn)行解釋和辯護(hù)。在此基礎(chǔ)上,Malle等人(Malle & Scheutz,2014,2015)將道德詞匯(moral vocabulary)獨(dú)立出來(lái),并整合了道德行動(dòng)(moral action)及情感(affect),提出了包含道德核心、道德詞匯、道德認(rèn)知與情感、道德決策及行動(dòng)、道德交流5個(gè)組成成分的智能機(jī)器道德框架(具體見(jiàn)Scheutz & Malle,2014,2015)。研究者們認(rèn)為智能機(jī)器道德能力框架的構(gòu)建,是解決智能機(jī)器在社會(huì)交互中面臨道德情境問(wèn)題的必要條件(e.g.,Bigman & Gray,2018;Payr,Werner,F.,& Werner,K.,2015)。

    2.3 智能機(jī)器道德圖靈測(cè)試

    一些研究者則關(guān)注如何評(píng)價(jià)智能機(jī)器的道德水準(zhǔn),或者說(shuō)如何界定某一智能機(jī)器是一個(gè)有道德的個(gè)體。這些研究者借鑒圖靈測(cè)試,試圖從測(cè)試的視角入手,即考察智能機(jī)器能否通過(guò)有關(guān)道德的圖靈測(cè)試,來(lái)驗(yàn)證該智能體是否是一個(gè)具有道德的個(gè)體(Arnold & Scheutz,2016;Gerdes & ?hrstr?m,2015;Wallach & Allen,2012)。對(duì)“智能機(jī)器”這一概念的界定來(lái)源于“圖靈測(cè)試”。圖靈測(cè)試(Turing testing)是Turing(1950)提出的一種測(cè)試機(jī)器是否具備人類(lèi)智能的方法:如果機(jī)器能夠通過(guò)一系列的人類(lèi)詢問(wèn)的測(cè)試(非接觸條件),即人類(lèi)詢問(wèn)者無(wú)法通過(guò)回答判斷出回答問(wèn)題的是人還是機(jī)器,那么,即認(rèn)為這一機(jī)器是智能的。通過(guò)借鑒圖靈測(cè)試,眾多研究者考慮構(gòu)建基于道德的圖靈測(cè)試,即如果人類(lèi)“詢問(wèn)者”在詢問(wèn)有關(guān)道德方面的問(wèn)題時(shí),無(wú)法區(qū)分回答者是機(jī)器還是人類(lèi),那么就可以認(rèn)為該智能機(jī)器是一個(gè)道德個(gè)體。道德圖靈測(cè)試的實(shí)質(zhì)在于智能機(jī)器能否按照人類(lèi)社會(huì)道德規(guī)范進(jìn)行道德反應(yīng)(行為選擇)。

    然而,也有學(xué)者對(duì)道德圖靈測(cè)試提出質(zhì)疑,認(rèn)為無(wú)法通過(guò)道德圖靈測(cè)試的途徑來(lái)真正地構(gòu)建道德智能機(jī)器(e.g.,Arnold & Scheutz,2016)。他們認(rèn)為,任何道德圖靈測(cè)試(只要是基于原有圖靈測(cè)試的結(jié)構(gòu)特性)都面臨著道德風(fēng)險(xiǎn)(moral compromise)的問(wèn)題,主要包括:(1)圖靈測(cè)試的核心是依賴于隱藏身份后的模仿(imitation)來(lái)達(dá)到通過(guò)測(cè)試的目標(biāo),而在道德圖靈測(cè)試時(shí),為了達(dá)到這一目標(biāo),道德永遠(yuǎn)在成功模仿的動(dòng)機(jī)之下(如通過(guò)欺騙來(lái)實(shí)現(xiàn)模仿)。比如,圖靈本人就曾指出,智能機(jī)器本身就可能在其擅長(zhǎng)的任務(wù)(如復(fù)雜數(shù)學(xué)計(jì)算)上有意誤導(dǎo)(拖延時(shí)間,錯(cuò)誤回答等)以避免被認(rèn)出是機(jī)器,那么,一個(gè)道德智能機(jī)器是否也可以故意呈現(xiàn)道德瑕疵以避免被識(shí)別?(2)黑箱問(wèn)題,即道德推理過(guò)程的不可訪問(wèn)性(inaccessibility)。(3)道德推理與行為間的鴻溝:圖靈測(cè)試中人類(lèi)詢問(wèn)者只能看到通過(guò)中介(對(duì)話或者人類(lèi)控制者)后的反應(yīng)(行為),但從行為反推道德推理存在巨大鴻溝。(4)人類(lèi)本身對(duì)智能機(jī)器就具有更高的道德要求的現(xiàn)實(shí),即人們對(duì)智能機(jī)器的道德水準(zhǔn)要求很可能高于對(duì)人類(lèi)道德水準(zhǔn)的平均水平(具體見(jiàn)Arnold & Scheutz,2016)。

    3 智能機(jī)器行為的道德判斷研究

    上述研究主要由人工智能、計(jì)算機(jī)科學(xué)等領(lǐng)域的學(xué)者開(kāi)展,他們往往就是智能機(jī)器的設(shè)計(jì)制造者,因此主要關(guān)注于如何為社會(huì)型智能機(jī)器構(gòu)建道德決策體系,如該系統(tǒng)應(yīng)該包含哪些模塊(道德能力組成),如何從無(wú)到有構(gòu)建(設(shè)計(jì)取向)等問(wèn)題。近年來(lái),越來(lái)越多的研究者則從人類(lèi)道德判斷本身出發(fā),借鑒道德判斷的相關(guān)理論,采用實(shí)驗(yàn)倫理法,來(lái)探究如人們對(duì)智能機(jī)器行為的道德判斷模式及規(guī)律如何,人們期望智能機(jī)器在社會(huì)交互中采用什么樣的行為道德規(guī)范等問(wèn)題,從而揭示人們對(duì)于智能機(jī)器行為道德評(píng)價(jià)的特殊性(e.g.,Bergmann et al.,2018;Faulhaber et al.,2018;Malle et al.,2015)。研究者希望在此基礎(chǔ)上,為智能機(jī)器相關(guān)道德設(shè)計(jì)提供依據(jù),如設(shè)置一些特定的智能機(jī)器道德準(zhǔn)則、行為模式等,使智能機(jī)器符合人們對(duì)它的期望,從而更好地融入到人類(lèi)社會(huì)中。

    3.1 道德判斷理論模型

    3.1.1 理性模型

    傳統(tǒng)的道德判斷理性模型認(rèn)為道德判斷主要是通過(guò)人們的思考和推理這一理性過(guò)程完成的,而情感、無(wú)意識(shí)等非理性要素并非道德判斷的重要因素(Kohlberg & Kramer,1969;Piaget,1965)。

    3.1.2 社會(huì)直覺(jué)模型

    理性模型忽略了情緒的作用,Hadit把情緒引入道德,并形成了道德判斷的社會(huì)直覺(jué)模型。該模型認(rèn)為直覺(jué)加工是道德判斷的基本過(guò)程,道德判斷是基于自動(dòng)化、快速的道德直覺(jué)的評(píng)價(jià)過(guò)程(Haidt,2001;Haidt & Bjorklund,2008;Haidt & Joseph,2004)。該模型不再?gòu)?qiáng)調(diào)個(gè)體推理的重要性,而是重視社會(huì)和文化影響的重要性。

    3.1.3 雙加工理論模型

    雙加工模型整合理性與情緒,認(rèn)為道德判斷是情緒和認(rèn)知共同作用的結(jié)果(邱俊杰,張鋒,2015;Greene,2003)。在某一特定情境中,當(dāng)個(gè)體進(jìn)行道德判斷時(shí),既需要有意識(shí)的推理,也依賴于直覺(jué)過(guò)程。在道德判斷中,這兩個(gè)過(guò)程對(duì)應(yīng)于兩個(gè)相對(duì)立的倫理視角:道義論和功利論(Bartels,2008;Carney & Mason,2010;Conway & Gawronski,2013)。道義論認(rèn)為行為的對(duì)錯(cuò)在于行為本身的責(zé)任、權(quán)利與義務(wù)等(比如,無(wú)論結(jié)果如何,傷害他人是錯(cuò)誤的);而功利論認(rèn)為行為的對(duì)錯(cuò)取決于行為結(jié)果的收益-損失(比如,功利主義者認(rèn)為為了救5人而犧牲1人在道德上是正確的,而道義論者則采取相反的觀點(diǎn))。

    3.2 智能機(jī)器行為的道德判斷

    目前,智能機(jī)器已被人類(lèi)看作是道德行為者,成為道德主體(Wallach & Allen,2008)。如Kahn Jr et al.(2012)等人發(fā)現(xiàn)絕大部分公眾認(rèn)為機(jī)器人是對(duì)輕微犯罪行為負(fù)有道德責(zé)任的。Monroe,Dillon & Malle(2014)認(rèn)為機(jī)器人的選擇能力是決定人們是否責(zé)備其犯罪行為的重要因素。相關(guān)結(jié)果表明,人們將智能機(jī)器看成是道德體,會(huì)對(duì)其行為進(jìn)行道德判斷、評(píng)價(jià)。目前,研究者在探究公眾對(duì)智能機(jī)器行為道德判斷時(shí),通?;陔p加工模型,借鑒經(jīng)典的電車(chē)?yán)Ь?trolley dilemma)難題(尹軍,關(guān)旭,花蕊,張鋒,2018;Foot,1967)?;陔娷?chē)?yán)Ь臣捌涓木幇姹荆芯空咧饕疾炝斯妼?duì)智能駕駛汽車(chē)和智能機(jī)器人在遭遇道德兩難困境時(shí)的行為選擇期望(道德取向)及對(duì)其相關(guān)行為的道德評(píng)價(jià)(e.g.,Hristova & Grinberg 2016;Voiklis,Kim,Cusimano,& Malle,2016)。

    3.2.1 人對(duì)人類(lèi)和智能機(jī)器行為的道德判斷差異

    現(xiàn)有研究表明,公眾對(duì)智能機(jī)器和人類(lèi),很可能采用不同的道德判斷準(zhǔn)則:相比于人類(lèi),人們更希望智能機(jī)器做出功利主義取向行為,對(duì)其功利取向行為的道德評(píng)價(jià)也高于對(duì)人類(lèi)做出同樣的行為的評(píng)價(jià),即存在人-智能機(jī)器異質(zhì)性(human-robot asymmetry)。比如,Malle et al.(2015)采用類(lèi)似電車(chē)?yán)Ь?trolley dilemma)的情境(電車(chē)?yán)Ь骋笕藗冊(cè)诜湃我惠v失控的電車(chē)殺死5人和將電車(chē)轉(zhuǎn)向另一軌道導(dǎo)致1人死亡,但可以拯救5人的兩難困境中做出選擇),首次系統(tǒng)考察了這一問(wèn)題,結(jié)果發(fā)現(xiàn):相比于人類(lèi),公眾更希望智能機(jī)器做出功利論取向的行為選擇(犧牲少數(shù)而救下更多人)。當(dāng)智能機(jī)器做出道義論的選擇時(shí)(不改變軌道),公眾對(duì)其行為選擇的道德評(píng)價(jià)也低于人類(lèi)做出同樣的選擇,認(rèn)為其行為在道德上更加錯(cuò)誤,對(duì)其選擇也表現(xiàn)出更高的責(zé)備度。Malle,Scheutz,Forlizzi,& Voiklis(2016),Hristova & Grinberg(2016)的后續(xù)研究也驗(yàn)證了這一點(diǎn),公眾對(duì)智能機(jī)和人類(lèi)在做出功利論行為和道義論行為時(shí)的評(píng)價(jià)并不一致,更希望智能機(jī)器做出功利論行為。

    Voiklis et al.(2016)在Malle et al.(2015)研究的基礎(chǔ)上,通過(guò)詢問(wèn)被試開(kāi)放性問(wèn)題(為什么你認(rèn)為人類(lèi)/機(jī)器人的選擇在道德上是許可的/錯(cuò)誤的?你為什么會(huì)給人類(lèi)/機(jī)器人該程度的道德責(zé)備度評(píng)分?),進(jìn)一步探討了人們對(duì)智能機(jī)器在道德困境中行為選擇的道德評(píng)價(jià)機(jī)制。結(jié)果發(fā)現(xiàn),在被試對(duì)人類(lèi)和智能機(jī)器的行為選擇進(jìn)行道德許可度評(píng)價(jià)時(shí),對(duì)于被試不許可人類(lèi)采取功利主義,但許可智能機(jī)器采取功利主義的理由中,均提到了道義規(guī)范(deontological norms),表明人們對(duì)智能機(jī)器和人類(lèi)在此評(píng)價(jià)上采用不同的道德準(zhǔn)則。

    然而,并非所有研究都支持了公眾對(duì)智能機(jī)器和人采用不同的道德評(píng)價(jià)標(biāo)準(zhǔn)的觀點(diǎn),極少數(shù)研究也發(fā)現(xiàn)了人們對(duì)人和智能機(jī)器行為可能存在同樣的道德判斷標(biāo)準(zhǔn)。Komatsu(2016)采用日本人被試重復(fù)了Malle et al.(2015)的研究(不過(guò)僅測(cè)量了道德錯(cuò)誤度[moral wrongness]一個(gè)指標(biāo)),但獲得了完全不同的研究結(jié)論。他們發(fā)現(xiàn),日本被試對(duì)智能機(jī)器和人類(lèi)采用完全相同的道德判斷準(zhǔn)則,即被試對(duì)人類(lèi)和智能機(jī)器在道德兩難困境中采取道義論或功利論的行為選擇的道德評(píng)價(jià)上并沒(méi)有差別。Malle et al.(2016)在其研究的實(shí)驗(yàn)2中,改變了道德困境的描述方式,采用連環(huán)畫(huà)形式呈現(xiàn)多張圖片來(lái)描述道德困境,結(jié)果發(fā)現(xiàn)人們對(duì)于智能機(jī)器和人類(lèi)行為道德評(píng)價(jià)(錯(cuò)誤度、責(zé)備度)上的不對(duì)稱性效應(yīng)消失,即給予了同樣的道德評(píng)價(jià)。褚華東等人(2019)的研究則表明,公眾對(duì)人-智能機(jī)器行為道德判斷的差異性受到道德情境的影響:在非個(gè)人道德困境(電車(chē)?yán)Ь?下,人們對(duì)智能機(jī)器和人采用相同的道德評(píng)價(jià)標(biāo)準(zhǔn);而在個(gè)人道德困境(天橋困境)下,人們對(duì)兩者采用不同的道德評(píng)價(jià)標(biāo)準(zhǔn),更希望智能機(jī)器做功利主義取向行為。因此,人們很可能對(duì)人類(lèi)和智能機(jī)器行為的道德判斷存在差異,但在特定情況下(比如特定道德情境,文化背景)也可能表現(xiàn)出一定的一致性。

    3.2.2 公眾可接受的智能機(jī)器行為道德取向

    Malle et al.(2015)、Malle et al.(2016)等研究表明,相比于道義論式行為,人們似乎更偏好智能機(jī)器在道德兩難困境中做出功利論行為。Bonnefon,Shariff,& Rahwan(2016)考察了人們對(duì)自動(dòng)駕駛汽車(chē)在道德兩難困境中行為選擇的道德判斷(車(chē)前突然出現(xiàn)數(shù)位行人,唯一的解救辦法是緊急避險(xiǎn),但會(huì)導(dǎo)致道旁1位行人或車(chē)內(nèi)乘客死亡)。研究者通過(guò)一系列實(shí)驗(yàn)發(fā)現(xiàn),相比于道義論式行為選擇,人們更希望自動(dòng)駕駛汽車(chē)做出功利主義取向行為,對(duì)該取向自動(dòng)駕駛汽車(chē)的道德評(píng)價(jià)也更高。隨著獲救人數(shù)的增加,認(rèn)可功利取向的被試也相應(yīng)增加,即使?fàn)奚氖菦Q策者自己或家人,這種傾向仍然存在??紤]到問(wèn)卷情境的有效性問(wèn)題,一些研究者則結(jié)合虛擬現(xiàn)實(shí)(VR)技術(shù)考察人對(duì)自動(dòng)駕駛汽車(chē)行為的道德判斷問(wèn)題,亦獲得了相同的研究結(jié)論:人們更喜歡功利論取向的智能機(jī)器,拯救的人數(shù)越多,人們?cè)絻A向于自動(dòng)駕駛汽車(chē)做出功利論取向道德行為,即使這么做需要其違背交通規(guī)則。而且,人們更希望自動(dòng)駕駛汽車(chē)挽救更年輕的生命(兒童)(Bergmann et al.,2018;Faulhaber et al.,2018)。

    最近,MIT一項(xiàng)基于全球(233個(gè)國(guó)家和地區(qū))的大規(guī)模調(diào)查,運(yùn)用在線程序,收集了近4000萬(wàn)次人們對(duì)自動(dòng)駕駛汽車(chē)在面臨各種道德兩難困境時(shí)的期望行為(Awad et al.,2018)。研究者通過(guò)設(shè)計(jì)各類(lèi)不同的道德情境,考察了挽救主體(挽救人類(lèi)vs.寵物)、默認(rèn)行為(保持直行vs.轉(zhuǎn)向)、挽救對(duì)象(乘客vs.行人)、人數(shù)(挽救更多人vs.挽救少數(shù)人)、性別(挽救男人vs.女人)、年齡(挽救青年人vs.老人)、規(guī)則(挽救合法過(guò)馬路者vs.亂穿馬路者)、健康(挽救健康者vs.不健康者)和社會(huì)階層(挽救高社會(huì)地位者vs.低社會(huì)低位者)等因素對(duì)人們對(duì)自動(dòng)駕駛汽車(chē)預(yù)期行為的影響。研究結(jié)果呈現(xiàn)出三種十分強(qiáng)烈的選擇偏好,這些偏好都支持了人們希望智能機(jī)器采用功利論取向的觀點(diǎn):①希望自動(dòng)駕駛汽車(chē)在遭遇道德兩難困境時(shí)保護(hù)人類(lèi)而非保護(hù)動(dòng)物;②保護(hù)更多的生命;③保護(hù)年輕的生命。

    然而,當(dāng)涉及自身利益時(shí),人們對(duì)智能機(jī)器的這種功利論偏好可能反轉(zhuǎn)。Bonnefon et al.(2016)在研究中詢問(wèn)了被試對(duì)不同道德取向(道義論、功利論)的自動(dòng)駕駛汽車(chē)的購(gòu)買(mǎi)意愿,發(fā)現(xiàn)雖然人們更加認(rèn)可功利論取向的自動(dòng)駕駛汽車(chē),并希望他人購(gòu)買(mǎi),但人們更愿意給自己購(gòu)買(mǎi)那些無(wú)論何時(shí)都優(yōu)先保護(hù)車(chē)內(nèi)乘客(自我)的汽車(chē),哪怕這意味在道德困境中犧牲更多人。不過(guò),也有研究發(fā)現(xiàn)(Faulhaber et al.,2018;Bergmann et al.,2018),人們并非純粹的利己主義者,當(dāng)可能死亡的人數(shù)逐漸增加時(shí)(≥5),人們更愿意自動(dòng)駕駛汽車(chē)犧牲乘客(自己)來(lái)挽救更多的人。同樣,隨著自我犧牲概率的降低,人們也更加愿意自動(dòng)駕駛汽車(chē)采用功利主義取向(Wintersberger,Prison,Riener & Hasirlioglu,2017)。

    3.2.3 公眾對(duì)智能機(jī)器行為道德判斷的影響因素研究

    智能機(jī)器的外形會(huì)影響人們對(duì)其行為的道德判斷。在智能機(jī)器設(shè)計(jì)中,主要存在著兩類(lèi)不同外形的機(jī)器,即人形機(jī)器人(humanoid robot)和機(jī)器型機(jī)器人(mechanical robot)。Malle et al.(2016)對(duì)比了被試對(duì)人類(lèi)、人形機(jī)器人和機(jī)器型機(jī)器人在道德困境下行為選擇的道德評(píng)價(jià)。研究發(fā)現(xiàn)雖然被試在對(duì)三者行為道德錯(cuò)誤度的評(píng)價(jià)上沒(méi)有差異,但人們對(duì)于機(jī)器型機(jī)器人和人類(lèi)行為在道德責(zé)備度評(píng)價(jià)上并不對(duì)稱——被試對(duì)智能機(jī)器做出功利論行為的道德責(zé)備度低于其做出道義論行為,而對(duì)于人類(lèi)行為的道德評(píng)價(jià)則恰恰相反,相比于道義論行為,被試更加責(zé)備人們的功利論行為。而對(duì)于人形機(jī)器人,被試對(duì)其的道德評(píng)價(jià)(錯(cuò)誤度、責(zé)備度)和對(duì)人類(lèi)的評(píng)價(jià)類(lèi)似,并不存在顯著差異。Hristova & Grinberg(2016)同樣對(duì)比了被試對(duì)人類(lèi)與人形機(jī)器人、智能系統(tǒng)(automated system,無(wú)外形)在道德困境中行為的期望及道德評(píng)價(jià)。研究表明,人們更希望智能機(jī)器(人形機(jī)器人,智能系統(tǒng))做出功利取向行為,認(rèn)為該行為更正確,道德上更被許可(morally permissibility),而對(duì)人類(lèi)則不存在取向偏差。但在道德責(zé)備度上,人們對(duì)于人形機(jī)器人的道德責(zé)備度顯著地低于人類(lèi)和智能系統(tǒng)。后續(xù)分析發(fā)現(xiàn),盡管實(shí)驗(yàn)中對(duì)人形機(jī)器人的描述已經(jīng)讓其盡可能地接近人類(lèi),但被試仍然認(rèn)為其不具有與人類(lèi)相同的道德代理能力(更低的道德辨析能力和道德責(zé)任承擔(dān)等),這可能導(dǎo)致了被試對(duì)其道德責(zé)備度的減少。

    事故風(fēng)險(xiǎn)、不確定性也會(huì)影響到人們對(duì)智能機(jī)器行為的道德判斷。Meder,Fleischhut,Krumnau,& Waldmann(2019)的研究表明,當(dāng)自動(dòng)駕駛汽車(chē)面臨無(wú)法避免的道德兩難困境時(shí),引發(fā)事故結(jié)果的好壞顯著影響了人們對(duì)自動(dòng)駕駛汽車(chē)的道德判斷。隨著自動(dòng)駕駛汽車(chē)轉(zhuǎn)向發(fā)生碰撞結(jié)果的風(fēng)險(xiǎn)增加,人們更加偏向自動(dòng)駕駛汽車(chē)“不作為”(停車(chē))。同時(shí),人們對(duì)發(fā)生轉(zhuǎn)向產(chǎn)生碰撞結(jié)果的自動(dòng)駕駛汽車(chē)給予更低的道德評(píng)價(jià)。Wintersberger et al.(2017)的研究也表明,隨著車(chē)內(nèi)乘客犧牲概率的降低,人們更期望自動(dòng)駕駛汽車(chē)能夠避免沖撞行人。

    另外,人們對(duì)于智能機(jī)器行為的道德判斷還受到文化背景、經(jīng)濟(jì)、制度等諸多因素的影響。Awad et al.(2018)的全球調(diào)查研究證實(shí),來(lái)自東方群體(日本、中國(guó)臺(tái)灣等)的個(gè)體更不愿意自動(dòng)駕駛汽車(chē)在兩難困境下?tīng)奚先说男悦鼇?lái)挽救年輕人,而南方群體(大部分中美洲和南美洲的拉丁美洲國(guó)家)的個(gè)體則更可能這么做。此外,南方群體的個(gè)體,相比東方群體和西方群體(北美及許多歐洲國(guó)家的基督教團(tuán)體)的人,更少地愿意以犧牲寵物來(lái)救人。同時(shí),集體主義和個(gè)體主體文化也會(huì)影響人們對(duì)智能機(jī)器的道德判斷。來(lái)自個(gè)體主義文化的個(gè)體,更加強(qiáng)調(diào)每個(gè)個(gè)體的獨(dú)特價(jià)值,因此更偏好自動(dòng)駕駛汽車(chē)保護(hù)更多的人;而來(lái)自集體文化的個(gè)體,強(qiáng)調(diào)對(duì)年長(zhǎng)者的尊重,因此對(duì)保護(hù)年輕人的偏好相對(duì)較弱。來(lái)自較貧窮和規(guī)則不完善國(guó)家和地區(qū)的個(gè)體對(duì)非法過(guò)馬路的行人更寬容,這可能與他們遵守規(guī)則程度較低,違規(guī)懲罰較輕有關(guān)。此外,貧富差距也影響人們的判斷。貧富差距大的國(guó)家和地區(qū)的個(gè)體對(duì)待富人和窮人也更不平等,更可能希望自動(dòng)駕駛汽車(chē)犧牲窮人。對(duì)女性越尊重的國(guó)家和地區(qū)(更好的女性健康水平和更平等的男女地位),也越偏向于挽救女性(相比于挽救男性)。

    3.2.4 智能機(jī)器行為道德責(zé)任承擔(dān)

    智能機(jī)器行為的道德評(píng)價(jià),還涉及智能機(jī)器的責(zé)任主體問(wèn)題(誰(shuí)應(yīng)該為智能機(jī)器的行為選擇負(fù)責(zé))。大部分研究者將智能機(jī)器的責(zé)任主體分為三大類(lèi):制造商或政府、智能機(jī)器的擁有者或使用者、智能機(jī)器本身(Hevelke & Nida-Rümelin,2015;Li,Zhao,Cho,Ju,& Malle,2016)。智能機(jī)器已經(jīng)被人們看成是一個(gè)道德主體,但人們對(duì)其承擔(dān)責(zé)任的要求受到其能力、外形、與人交互方式等的影響(Hevelke & Nida-Rümelin,2015;Woerdt & Haselager,2016;Li et al.,2016)。Li et al.(2016)的研究發(fā)現(xiàn),當(dāng)自動(dòng)駕駛汽車(chē)遭遇無(wú)法避免的事故時(shí),人類(lèi)會(huì)更多地將責(zé)任歸因于自動(dòng)駕駛汽車(chē)的制造商以及政府,而對(duì)自動(dòng)駕駛汽車(chē)的責(zé)備最少。Komatsu(2017)同樣利用道德困境研究范式來(lái)探究人類(lèi)對(duì)人工智能系統(tǒng)設(shè)計(jì)者和使用者的責(zé)備度,其結(jié)果亦發(fā)現(xiàn),不管人工智能系統(tǒng)做出哪種選擇,人們對(duì)設(shè)計(jì)者的責(zé)備都要顯著高于使用者。這些結(jié)果表明,人們更可能將這種道德責(zé)任歸咎到人類(lèi)(個(gè)體或政府),而并非智能機(jī)器上,并未將智能機(jī)器看成是一個(gè)完整的道德承擔(dān)者。而且,無(wú)論如何完善(具有完全的人類(lèi)能力和外形),智能機(jī)器似乎始終無(wú)法達(dá)到與人類(lèi)個(gè)體相當(dāng)?shù)赖麦w的程度(Hristova & Grinberg,2016)。

    4 總 結(jié)

    本文聚焦于人工智能領(lǐng)域,詳細(xì)論述了智能機(jī)器的道德構(gòu)建及人對(duì)智能機(jī)器行為的道德判斷研究,并著重于后者,重點(diǎn)聚焦公眾對(duì)智能機(jī)器在社會(huì)道德情境中的期望道德行為規(guī)范及對(duì)其行為的道德判斷。眾多研究表明,公眾在對(duì)待智能機(jī)器時(shí),很可能采用與對(duì)人類(lèi)不同的道德準(zhǔn)則,對(duì)其行為的道德評(píng)價(jià)機(jī)制也很可能與對(duì)人類(lèi)評(píng)價(jià)存在一定的差異。但是,目前現(xiàn)有的文獻(xiàn)研究尚不能很好地解釋這種差異背后的機(jī)制??傊?,有關(guān)智能機(jī)器行為道德判斷的研究仍在初步發(fā)展當(dāng)中,實(shí)際應(yīng)用與現(xiàn)有理論間還存在著巨大的差異。在世界范圍內(nèi)推出智能機(jī)器之前,人們還需要從各個(gè)方面考慮社會(huì)的接受度,并且要盡可能找到所有預(yù)期道德風(fēng)險(xiǎn)發(fā)生的解決辦法。建立人工智能的道德規(guī)范體系將要遠(yuǎn)比人們想象中的困難得多,需要前期大量的相關(guān)研究來(lái)支撐。

    5 研究展望

    從整合現(xiàn)有的研究結(jié)果大致可以發(fā)現(xiàn),公眾更希望智能機(jī)器在面對(duì)道德兩難困境時(shí)做出功利性行為。但是,導(dǎo)致這一差異背后的機(jī)制目前并不明確,缺乏足夠的研究來(lái)驗(yàn)證。一種可能的解釋是人們很容易采用他人的視角思考(代入感更強(qiáng)),天然地拒絕殺害他人的行為,因此對(duì)人類(lèi)采取更加嚴(yán)苛的道德標(biāo)準(zhǔn);相反,人們很難將自己放到智能機(jī)器的位置上,因此也不具有這種天然的反應(yīng),所以對(duì)其采用寬容得多的道德標(biāo)準(zhǔn)。另一種可能的解釋與人們維護(hù)自己的聲望有關(guān)。一個(gè)愿意犧牲他人性命的人往往被看成是一個(gè)不可信的社會(huì)伙伴,人們更愿意和采取道義論取向的個(gè)體合作(Everett,Pizarro,& Crockett,2016)。因此,在道德兩難困境中,人們更可能做出道義論行為;相反,人們可能并不認(rèn)為智能機(jī)器是社會(huì)共同體的一部分,因此僅根據(jù)行為本身判斷,做出更加功利性的取向。此外,公眾對(duì)智能機(jī)器的道德評(píng)價(jià)還受到文化背景、經(jīng)濟(jì)因素、制度等因素的影響:東西方文化差異、集體與個(gè)體文化差異、宗教思想、經(jīng)濟(jì)發(fā)展水平差異等,均會(huì)影響到其社會(huì)民眾對(duì)于智能機(jī)器在道德情境下的行為預(yù)期和道德判斷。因此,對(duì)智能機(jī)器的道德判斷還需要在具體的社會(huì)情境下深入探討。

    總而言之,智能機(jī)器的道德判斷研究目前尚處在起步階段,通過(guò)對(duì)現(xiàn)有研究和發(fā)展趨勢(shì)的梳理,本文提出了以下幾點(diǎn)研究展望:

    首先,以往研究中絕大部分都采用情境問(wèn)卷,但已有研究表明人們?cè)诘赖聝呻y困境中的實(shí)際行為選擇和問(wèn)卷情境下的選擇并不相同(FeldmanHall et al.,2012)。因此,這些研究獲得的結(jié)論并不總是能夠真實(shí)反映出當(dāng)智能機(jī)器真正在人類(lèi)社會(huì)中交互,做出道德行為時(shí)人們的評(píng)價(jià)。隨著技術(shù)的進(jìn)步,少數(shù)研究者已經(jīng)通過(guò)采用VR技術(shù)等來(lái)模擬虛擬現(xiàn)實(shí)場(chǎng)景下智能機(jī)器的道德行為,從而進(jìn)行研究。后續(xù)研究應(yīng)更加注重完善實(shí)驗(yàn)范式,融入更多的研究手段,盡可能在接近真實(shí)的情境下獲得更多公眾對(duì)于智能機(jī)器行為道德判斷的規(guī)律。

    其次,當(dāng)前的所有研究幾乎都借鑒了電車(chē)?yán)Ь?,采用在要么犧牲少?shù)人挽救多數(shù)人,要么不做這樣犧牲放任多人死亡的兩難困境中做出選擇的研究范式。然而,智能機(jī)器在未來(lái)人類(lèi)社會(huì)的交互中,涉及的道德情境將十分復(fù)雜,遠(yuǎn)遠(yuǎn)超出類(lèi)似電車(chē)?yán)Ь车姆懂牎1热?,自?dòng)駕駛汽車(chē)是否應(yīng)該為了某些乘客或公眾的某些利益而違背交通規(guī)則(闖紅燈、超速)?智能機(jī)器人是否可以做出“善意的謊言”的行為?因此,后續(xù)研究需要關(guān)注在各種道德場(chǎng)景下公眾期望智能機(jī)器的道德準(zhǔn)則、對(duì)其行為的道德評(píng)價(jià)。

    再次,目前絕大部分的研究來(lái)自于西方國(guó)家,而道德倫理顯然是與文化背景、社會(huì)形態(tài)等密切相關(guān)。比如,相比于西方人,中國(guó)人更少在道德兩難困境中做出功利論行為,這可能與中國(guó)人相信宿命論有關(guān)。因此,不同社會(huì)對(duì)于什么是符合倫理規(guī)則的智能機(jī)器行為顯然有不同的評(píng)價(jià)標(biāo)準(zhǔn)。Awad et al.(2018)的研究初步檢驗(yàn)了不同國(guó)家和地區(qū)的人們對(duì)于自動(dòng)駕駛汽車(chē)在道德兩難困境中的選擇偏好,證明了這種文化背景、社會(huì)形態(tài)差異。因此,后續(xù)研究也應(yīng)當(dāng)更加深入到這一方面,考慮不同文化背景、不同道德倫理規(guī)范群體對(duì)智能機(jī)器的道德判斷問(wèn)題。

    最后,目前絕大部分的研究還在描述公眾對(duì)智能機(jī)器在道德情境下的行為預(yù)期和道德評(píng)價(jià)的基本模式上,對(duì)于人們?yōu)楹螌?duì)智能機(jī)器采取這樣的道德判斷模式的背后機(jī)制還知之甚少。比如,智能機(jī)器與人本身的心理距離是否是影響對(duì)其道德判斷的一個(gè)關(guān)鍵因素?人們對(duì)于智能機(jī)器在道德困境中做出的選擇是否激起與人類(lèi)選擇不同的情緒反應(yīng),從而導(dǎo)致了不同的道德評(píng)價(jià)?對(duì)于這些問(wèn)題的深入探討,有助于我們進(jìn)一步加強(qiáng)對(duì)人類(lèi)如何對(duì)智能機(jī)器行為進(jìn)行道德判斷的認(rèn)識(shí),為設(shè)計(jì)出符合人類(lèi)社會(huì)規(guī)范的智能道德機(jī)器提供理論指導(dǎo)。

    猜你喜歡
    機(jī)器困境道德
    機(jī)器狗
    機(jī)器狗
    頭上的星空與心中的道德律
    十幾歲(2021年24期)2021-11-18 02:18:40
    困境
    文苑(2020年12期)2020-04-13 00:54:08
    跟蹤導(dǎo)練(五)(2)
    道德是否必需?——《海狼》對(duì)道德虛無(wú)主義的思考
    未來(lái)機(jī)器城
    電影(2018年8期)2018-09-21 08:00:06
    “鄰避”困境化解之策
    必須正視的理論困境
    我國(guó)霧霾治理的困境與出路
    老汉色av国产亚洲站长工具| 国产有黄有色有爽视频| 免费高清在线观看日韩| 中文欧美无线码| www.精华液| 一级毛片我不卡| 晚上一个人看的免费电影| 91麻豆精品激情在线观看国产 | 最新的欧美精品一区二区| 91麻豆av在线| 热99国产精品久久久久久7| 999久久久国产精品视频| 国产91精品成人一区二区三区 | videosex国产| 日本wwww免费看| 日日夜夜操网爽| 国产视频一区二区在线看| 日韩精品免费视频一区二区三区| 美女大奶头黄色视频| xxx大片免费视频| 国语对白做爰xxxⅹ性视频网站| 男人舔女人的私密视频| 老汉色av国产亚洲站长工具| 欧美日韩一级在线毛片| 日日爽夜夜爽网站| 在线观看www视频免费| 午夜免费男女啪啪视频观看| 久久精品亚洲av国产电影网| 一级毛片女人18水好多 | 亚洲欧美成人综合另类久久久| 高潮久久久久久久久久久不卡| 欧美成人午夜精品| 一二三四社区在线视频社区8| 嫁个100分男人电影在线观看 | 黄色视频不卡| 国产一区二区在线观看av| 日本av手机在线免费观看| 国产在视频线精品| 亚洲成人免费电影在线观看 | 亚洲国产精品一区三区| 欧美日韩黄片免| 亚洲成人国产一区在线观看 | 三上悠亚av全集在线观看| 精品少妇黑人巨大在线播放| 久久免费观看电影| 精品第一国产精品| 三上悠亚av全集在线观看| 国产欧美亚洲国产| 国产成人免费观看mmmm| 亚洲精品日本国产第一区| 午夜影院在线不卡| 亚洲国产精品一区二区三区在线| 多毛熟女@视频| 老司机在亚洲福利影院| 久久亚洲国产成人精品v| 亚洲av国产av综合av卡| 91老司机精品| www.自偷自拍.com| 免费女性裸体啪啪无遮挡网站| 亚洲av男天堂| 久久精品亚洲熟妇少妇任你| 少妇被粗大的猛进出69影院| 日本色播在线视频| 午夜91福利影院| av天堂在线播放| 久久国产精品大桥未久av| 极品人妻少妇av视频| 国产免费一区二区三区四区乱码| 搡老岳熟女国产| 天堂中文最新版在线下载| 日韩制服骚丝袜av| 欧美精品啪啪一区二区三区 | 高清视频免费观看一区二区| 国产黄频视频在线观看| 亚洲精品久久午夜乱码| 日本五十路高清| 大陆偷拍与自拍| 女人精品久久久久毛片| 欧美日韩av久久| 少妇被粗大的猛进出69影院| 99香蕉大伊视频| 国精品久久久久久国模美| 午夜视频精品福利| 性高湖久久久久久久久免费观看| 两人在一起打扑克的视频| 久久精品国产综合久久久| 女人高潮潮喷娇喘18禁视频| 欧美日韩亚洲综合一区二区三区_| 久久久久久亚洲精品国产蜜桃av| 97精品久久久久久久久久精品| 国产精品久久久人人做人人爽| 国产黄色免费在线视频| 国精品久久久久久国模美| 嫩草影视91久久| 国产男女超爽视频在线观看| 久久久国产一区二区| 777久久人妻少妇嫩草av网站| 两个人免费观看高清视频| 亚洲精品日韩在线中文字幕| xxxhd国产人妻xxx| 极品少妇高潮喷水抽搐| 国产伦人伦偷精品视频| 国产高清videossex| 一边摸一边做爽爽视频免费| 五月开心婷婷网| 菩萨蛮人人尽说江南好唐韦庄| 男男h啪啪无遮挡| 另类精品久久| 精品一区在线观看国产| 熟女少妇亚洲综合色aaa.| 成人影院久久| 无限看片的www在线观看| 妹子高潮喷水视频| 少妇精品久久久久久久| 欧美日本中文国产一区发布| 大香蕉久久成人网| 激情五月婷婷亚洲| 99国产精品一区二区三区| 久久久久久久大尺度免费视频| 一区二区日韩欧美中文字幕| 99精国产麻豆久久婷婷| 十八禁人妻一区二区| 七月丁香在线播放| 我的亚洲天堂| 日本欧美国产在线视频| 天天躁夜夜躁狠狠躁躁| 另类亚洲欧美激情| 51午夜福利影视在线观看| 国产麻豆69| 亚洲精品久久午夜乱码| 精品福利观看| 黑人巨大精品欧美一区二区蜜桃| 男女无遮挡免费网站观看| 黄色一级大片看看| 满18在线观看网站| 色婷婷av一区二区三区视频| av国产精品久久久久影院| 777久久人妻少妇嫩草av网站| 三上悠亚av全集在线观看| 久久亚洲国产成人精品v| 纵有疾风起免费观看全集完整版| 如日韩欧美国产精品一区二区三区| 多毛熟女@视频| 99九九在线精品视频| 丝袜在线中文字幕| av欧美777| 精品国产一区二区三区久久久樱花| 嫁个100分男人电影在线观看 | 国产亚洲av高清不卡| 18禁观看日本| kizo精华| 精品少妇黑人巨大在线播放| 欧美亚洲 丝袜 人妻 在线| 成人国产av品久久久| 国产精品久久久av美女十八| 国产精品久久久人人做人人爽| 欧美在线一区亚洲| 免费看十八禁软件| 久久久久视频综合| 国产免费一区二区三区四区乱码| 波多野结衣av一区二区av| 女人久久www免费人成看片| 99re6热这里在线精品视频| 成人亚洲欧美一区二区av| 国产黄色免费在线视频| xxx大片免费视频| 色播在线永久视频| 中文字幕制服av| 国产一卡二卡三卡精品| 国产亚洲欧美在线一区二区| 少妇人妻久久综合中文| 丁香六月欧美| 日韩中文字幕欧美一区二区 | 日韩中文字幕视频在线看片| 热99国产精品久久久久久7| 亚洲国产看品久久| 你懂的网址亚洲精品在线观看| 国产精品人妻久久久影院| 夜夜骑夜夜射夜夜干| av线在线观看网站| 国产有黄有色有爽视频| 十分钟在线观看高清视频www| 亚洲中文日韩欧美视频| 天天躁夜夜躁狠狠躁躁| 国产欧美日韩一区二区三 | 亚洲,欧美,日韩| 成人手机av| 高清不卡的av网站| 久久久久久人人人人人| 亚洲国产精品999| 婷婷色麻豆天堂久久| 一级毛片电影观看| 97人妻天天添夜夜摸| 国产主播在线观看一区二区 | a 毛片基地| 欧美97在线视频| 亚洲国产欧美一区二区综合| 欧美国产精品一级二级三级| 日韩 亚洲 欧美在线| h视频一区二区三区| 亚洲七黄色美女视频| 高清av免费在线| 水蜜桃什么品种好| av视频免费观看在线观看| 亚洲精品自拍成人| 青青草视频在线视频观看| 午夜激情av网站| 狂野欧美激情性bbbbbb| 极品少妇高潮喷水抽搐| 涩涩av久久男人的天堂| 国产亚洲欧美在线一区二区| 肉色欧美久久久久久久蜜桃| 麻豆av在线久日| bbb黄色大片| 国产麻豆69| 少妇的丰满在线观看| 成人三级做爰电影| 国产成人a∨麻豆精品| 欧美日韩精品网址| 亚洲五月色婷婷综合| 亚洲国产精品国产精品| 在线观看免费视频网站a站| 国产精品香港三级国产av潘金莲 | 国产精品秋霞免费鲁丝片| e午夜精品久久久久久久| 91老司机精品| 好男人视频免费观看在线| 我要看黄色一级片免费的| 国产无遮挡羞羞视频在线观看| 日本五十路高清| 午夜免费男女啪啪视频观看| 日韩熟女老妇一区二区性免费视频| 欧美人与性动交α欧美精品济南到| 国产精品人妻久久久影院| 精品少妇久久久久久888优播| 狂野欧美激情性bbbbbb| 乱人伦中国视频| a级片在线免费高清观看视频| 黄频高清免费视频| 国产成人91sexporn| 国产人伦9x9x在线观看| 国产视频一区二区在线看| av欧美777| 电影成人av| 啦啦啦在线观看免费高清www| 2021少妇久久久久久久久久久| videos熟女内射| 久久中文字幕一级| 色婷婷av一区二区三区视频| 91九色精品人成在线观看| 丝瓜视频免费看黄片| 日韩av在线免费看完整版不卡| 大片免费播放器 马上看| 熟女av电影| 可以免费在线观看a视频的电影网站| 免费在线观看影片大全网站 | 黄色毛片三级朝国网站| 亚洲精品一二三| 日韩大片免费观看网站| 女人被躁到高潮嗷嗷叫费观| 久久精品亚洲av国产电影网| 亚洲精品成人av观看孕妇| 国产伦人伦偷精品视频| 国语对白做爰xxxⅹ性视频网站| 国产成人一区二区在线| 久久久精品94久久精品| 巨乳人妻的诱惑在线观看| 中文字幕人妻熟女乱码| 久热爱精品视频在线9| 国产有黄有色有爽视频| av国产久精品久网站免费入址| 亚洲av美国av| 伦理电影免费视频| 久久精品熟女亚洲av麻豆精品| 亚洲av成人精品一二三区| 国产亚洲一区二区精品| 色精品久久人妻99蜜桃| 亚洲精品日本国产第一区| 90打野战视频偷拍视频| 啦啦啦中文免费视频观看日本| 久久精品aⅴ一区二区三区四区| 国产成人免费观看mmmm| 午夜免费成人在线视频| 日本wwww免费看| 蜜桃国产av成人99| 日本av免费视频播放| 狂野欧美激情性bbbbbb| 天天躁夜夜躁狠狠久久av| 亚洲欧美清纯卡通| 叶爱在线成人免费视频播放| 久久精品国产综合久久久| 久久鲁丝午夜福利片| 国产精品一区二区在线不卡| 国产又色又爽无遮挡免| 美女福利国产在线| 久久久久精品人妻al黑| 丰满迷人的少妇在线观看| 久久精品aⅴ一区二区三区四区| 最新在线观看一区二区三区 | 超色免费av| 亚洲精品日本国产第一区| 国产av精品麻豆| 黄色毛片三级朝国网站| 美女高潮到喷水免费观看| 中国国产av一级| 精品一品国产午夜福利视频| 日韩av免费高清视频| 丝袜喷水一区| 各种免费的搞黄视频| 中文字幕制服av| 亚洲美女黄色视频免费看| 日韩 亚洲 欧美在线| 男女免费视频国产| 免费在线观看视频国产中文字幕亚洲 | avwww免费| 亚洲av男天堂| 日本91视频免费播放| 国产麻豆69| 国产欧美日韩一区二区三区在线| 99香蕉大伊视频| 免费看av在线观看网站| 亚洲五月婷婷丁香| 热re99久久精品国产66热6| 久久久久久久久久久久大奶| 国产精品熟女久久久久浪| 黑丝袜美女国产一区| 在线观看免费高清a一片| 在线精品无人区一区二区三| 久久午夜综合久久蜜桃| av欧美777| xxx大片免费视频| 91成人精品电影| 久久久精品国产亚洲av高清涩受| av线在线观看网站| 日本vs欧美在线观看视频| 999久久久国产精品视频| 成人黄色视频免费在线看| 建设人人有责人人尽责人人享有的| 国产精品久久久久久人妻精品电影 | 又大又黄又爽视频免费| 中文字幕制服av| 麻豆国产av国片精品| 黄网站色视频无遮挡免费观看| 亚洲精品自拍成人| 亚洲成人免费电影在线观看 | 国产爽快片一区二区三区| 男人操女人黄网站| 中文字幕制服av| 观看av在线不卡| 国产成人欧美| 最黄视频免费看| 欧美日韩黄片免| 免费人妻精品一区二区三区视频| 啦啦啦啦在线视频资源| 国产熟女午夜一区二区三区| 欧美成人精品欧美一级黄| 后天国语完整版免费观看| 在线观看www视频免费| 嫁个100分男人电影在线观看 | 亚洲av成人精品一二三区| 999久久久国产精品视频| 亚洲一卡2卡3卡4卡5卡精品中文| 热re99久久精品国产66热6| 成人手机av| 久久精品久久久久久久性| 久久精品亚洲av国产电影网| 黄色 视频免费看| 成人黄色视频免费在线看| 国产精品久久久久久精品古装| 一区二区三区精品91| 精品少妇一区二区三区视频日本电影| 午夜福利在线免费观看网站| 欧美大码av| 色视频在线一区二区三区| 丝袜美足系列| 美女中出高潮动态图| 又大又爽又粗| 国产av国产精品国产| 丝瓜视频免费看黄片| 老司机影院毛片| av福利片在线| 91九色精品人成在线观看| 国产伦理片在线播放av一区| 亚洲国产av新网站| 国产黄色视频一区二区在线观看| 午夜福利,免费看| 女人精品久久久久毛片| 国产精品一二三区在线看| 黄频高清免费视频| 精品一区二区三区av网在线观看 | 天天躁夜夜躁狠狠久久av| 九色亚洲精品在线播放| 亚洲激情五月婷婷啪啪| 天堂俺去俺来也www色官网| 欧美亚洲 丝袜 人妻 在线| 在线观看www视频免费| 后天国语完整版免费观看| 欧美成人精品欧美一级黄| 国产欧美日韩综合在线一区二区| 亚洲av在线观看美女高潮| 桃花免费在线播放| 搡老岳熟女国产| 国产男女内射视频| 欧美激情 高清一区二区三区| 国产人伦9x9x在线观看| 国产在线视频一区二区| 99久久99久久久精品蜜桃| 久久人妻福利社区极品人妻图片 | 青草久久国产| 亚洲专区中文字幕在线| 国产精品亚洲av一区麻豆| 日韩视频在线欧美| 男女高潮啪啪啪动态图| 人人妻人人爽人人添夜夜欢视频| 国产免费视频播放在线视频| 久久中文字幕一级| 9热在线视频观看99| 亚洲av国产av综合av卡| 飞空精品影院首页| 桃花免费在线播放| 午夜免费观看性视频| av天堂久久9| 精品人妻熟女毛片av久久网站| 亚洲精品av麻豆狂野| 黑丝袜美女国产一区| 国产精品久久久久成人av| 国产女主播在线喷水免费视频网站| 一二三四在线观看免费中文在| 大香蕉久久成人网| 自线自在国产av| 最新在线观看一区二区三区 | 操美女的视频在线观看| 国产真人三级小视频在线观看| 免费av中文字幕在线| 久久av网站| 日日爽夜夜爽网站| 国产伦人伦偷精品视频| 一级黄色大片毛片| 欧美人与性动交α欧美精品济南到| 丝瓜视频免费看黄片| 久久久久视频综合| 免费看不卡的av| 久久久久久久精品精品| 人体艺术视频欧美日本| a 毛片基地| 久久性视频一级片| 欧美+亚洲+日韩+国产| 国产97色在线日韩免费| 午夜免费观看性视频| 久久人人爽av亚洲精品天堂| 亚洲成色77777| 欧美国产精品va在线观看不卡| a级毛片在线看网站| 另类精品久久| 操美女的视频在线观看| 人妻 亚洲 视频| 亚洲情色 制服丝袜| 国产三级黄色录像| 国产精品久久久久成人av| 亚洲国产欧美一区二区综合| 手机成人av网站| 欧美日韩亚洲高清精品| 国产麻豆69| 精品一区二区三卡| 欧美日韩视频高清一区二区三区二| www.av在线官网国产| 咕卡用的链子| 久久天躁狠狠躁夜夜2o2o | 亚洲成国产人片在线观看| 日韩电影二区| 日本av手机在线免费观看| 黑丝袜美女国产一区| 曰老女人黄片| 波多野结衣一区麻豆| 欧美+亚洲+日韩+国产| 国产男人的电影天堂91| 久久av网站| 99久久综合免费| 满18在线观看网站| 亚洲精品中文字幕在线视频| 国产成人91sexporn| 亚洲精品久久成人aⅴ小说| 91老司机精品| 欧美激情高清一区二区三区| 国产老妇伦熟女老妇高清| 只有这里有精品99| 精品人妻1区二区| 一边亲一边摸免费视频| 在线精品无人区一区二区三| 日韩免费高清中文字幕av| 亚洲国产欧美一区二区综合| 在线亚洲精品国产二区图片欧美| 日韩中文字幕视频在线看片| 国产91精品成人一区二区三区 | 久久影院123| 国产亚洲欧美在线一区二区| 曰老女人黄片| 欧美日韩一级在线毛片| 午夜影院在线不卡| 国产成人av激情在线播放| 国产精品av久久久久免费| 一二三四在线观看免费中文在| 精品熟女少妇八av免费久了| 日韩 欧美 亚洲 中文字幕| 黄色a级毛片大全视频| 色网站视频免费| 狂野欧美激情性bbbbbb| 一区二区av电影网| 精品一品国产午夜福利视频| 中文字幕av电影在线播放| 国产熟女欧美一区二区| 国产精品国产三级国产专区5o| 日本wwww免费看| 精品人妻在线不人妻| 免费一级毛片在线播放高清视频 | 国产高清不卡午夜福利| 国产精品一区二区精品视频观看| 女警被强在线播放| 人妻 亚洲 视频| 免费一级毛片在线播放高清视频 | 精品国产一区二区三区久久久樱花| 一二三四在线观看免费中文在| 女警被强在线播放| 日韩欧美一区视频在线观看| 久久国产亚洲av麻豆专区| 天天操日日干夜夜撸| 黄色 视频免费看| 91麻豆av在线| 欧美日本中文国产一区发布| 男人爽女人下面视频在线观看| 制服诱惑二区| 国产又爽黄色视频| 亚洲欧美日韩高清在线视频 | 久久精品人人爽人人爽视色| 亚洲欧美一区二区三区国产| 国产麻豆69| 国产欧美日韩一区二区三 | 国产精品一区二区精品视频观看| 黄色片一级片一级黄色片| 欧美黑人精品巨大| 国产免费视频播放在线视频| 日韩人妻精品一区2区三区| 成人国产一区最新在线观看 | 成人免费观看视频高清| 精品福利观看| 视频区图区小说| 少妇被粗大的猛进出69影院| 午夜91福利影院| 国产精品国产三级专区第一集| 人人妻,人人澡人人爽秒播 | 国产深夜福利视频在线观看| 久久这里只有精品19| 天天躁狠狠躁夜夜躁狠狠躁| 国产男人的电影天堂91| 亚洲图色成人| 日韩伦理黄色片| 婷婷成人精品国产| 国产精品一国产av| 免费在线观看影片大全网站 | 啦啦啦视频在线资源免费观看| 人人妻人人澡人人爽人人夜夜| 亚洲中文日韩欧美视频| 丝袜美腿诱惑在线| 2021少妇久久久久久久久久久| 欧美在线一区亚洲| 亚洲精品第二区| 国产熟女午夜一区二区三区| 国产爽快片一区二区三区| 最新在线观看一区二区三区 | 一级,二级,三级黄色视频| 国产视频一区二区在线看| 免费在线观看黄色视频的| 80岁老熟妇乱子伦牲交| 人妻人人澡人人爽人人| 成人手机av| 日韩 欧美 亚洲 中文字幕| 久久国产亚洲av麻豆专区| 婷婷色麻豆天堂久久| 日本91视频免费播放| 一级毛片女人18水好多 | 午夜视频精品福利| 丰满人妻熟妇乱又伦精品不卡| 波野结衣二区三区在线| 丰满饥渴人妻一区二区三| 狂野欧美激情性xxxx| 久久久久精品人妻al黑| 777久久人妻少妇嫩草av网站| 日本vs欧美在线观看视频| 一本一本久久a久久精品综合妖精| 老司机影院成人| 日本一区二区免费在线视频| 国产一卡二卡三卡精品| 欧美性长视频在线观看| 国产欧美日韩综合在线一区二区| 免费看不卡的av| 好男人视频免费观看在线| 大型av网站在线播放| 韩国高清视频一区二区三区| 国产精品亚洲av一区麻豆| 国产欧美亚洲国产| 老司机亚洲免费影院| 免费人妻精品一区二区三区视频| www.自偷自拍.com| 免费av中文字幕在线| 免费观看人在逋| 18禁观看日本| 亚洲av电影在线观看一区二区三区| 成年美女黄网站色视频大全免费| 午夜视频精品福利| 国产高清国产精品国产三级| 男女免费视频国产| 亚洲av在线观看美女高潮| 黄色怎么调成土黄色| 老鸭窝网址在线观看| 丁香六月天网|