• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    符合倫理的人工智能應(yīng)用的價(jià)值敏感設(shè)計(jì):現(xiàn)狀與展望

    2022-02-18 08:13:16古天龍馬露李龍閆茹
    智能系統(tǒng)學(xué)報(bào) 2022年1期
    關(guān)鍵詞:相關(guān)者倫理機(jī)器人

    古天龍,馬露,李龍,閆茹

    (1.桂林電子科技大學(xué) 廣西可信軟件重點(diǎn)實(shí)驗(yàn)室, 廣西 桂林 541004; 2.暨南大學(xué) 信息科學(xué)技術(shù)學(xué)院/網(wǎng)絡(luò)空間安全學(xué)院, 廣東 廣州 510632)

    近年來(lái),隨著核心算法的突破、計(jì)算能力的大幅提高和海量數(shù)據(jù)的支撐,人工智能得以迅速發(fā)展,并推動(dòng)著社會(huì)各領(lǐng)域朝著更智能化的方向加速躍升。然而,人工智能在應(yīng)用過(guò)程中存在著“不確定性”,這種“不確定性”不僅來(lái)自于人工智能自身的技術(shù)黑箱,也來(lái)自于人們對(duì)法律和倫理道德的忽視,這引發(fā)了如隱私保護(hù)、信息安全、公平正義、人類健康、責(zé)任區(qū)分等方面的倫理問(wèn)題。為解決上述問(wèn)題,在研發(fā)人工智能應(yīng)用設(shè)計(jì)及使用過(guò)程中,人們逐漸開(kāi)始探索并使用技術(shù)方法來(lái)嵌入人類價(jià)值,如參與式設(shè)計(jì)[1]、以用戶為中心的設(shè)計(jì)[2]、通用設(shè)計(jì)[3]、包容性設(shè)計(jì)[4]、價(jià)值敏感設(shè)計(jì)[5](value sensitive design,VSD)等。但是,前4種方法傾向于重視工具性和功能性價(jià)值,如用戶友好性和可用性,在設(shè)計(jì)符合倫理的人工智能應(yīng)用方面的使用范圍有限;相比之下,價(jià)值敏感設(shè)計(jì)不僅關(guān)注工具性和功能性價(jià)值,而且著重強(qiáng)調(diào)設(shè)計(jì)中的倫理價(jià)值,如知情同意、信任、公平性等。同時(shí),價(jià)值敏感設(shè)計(jì)還將人類價(jià)值放在技術(shù)人工物所處的具體環(huán)境中進(jìn)行考量,并關(guān)注現(xiàn)有技術(shù)是如何支持或阻礙人類價(jià)值的,以便能在設(shè)計(jì)過(guò)程中系統(tǒng)地、徹底地考慮人類價(jià)值和社會(huì)影響。鑒于擁有以上優(yōu)勢(shì)特征,價(jià)值敏感設(shè)計(jì)在人工智能應(yīng)用的設(shè)計(jì)中具有獨(dú)特的優(yōu)勢(shì),受到更多研究者和設(shè)計(jì)師的青睞。

    目前,價(jià)值敏感設(shè)計(jì)在如智能機(jī)器人、智能運(yùn)載設(shè)備、可穿戴設(shè)備、虛擬現(xiàn)實(shí)等人工智能領(lǐng)域的倫理研究中廣受關(guān)注。此外可以預(yù)見(jiàn),符合倫理的人工智能應(yīng)用的價(jià)值敏感設(shè)計(jì)是未來(lái)很長(zhǎng)一段時(shí)間的重要研究課題。因此本文擬對(duì)本領(lǐng)域內(nèi)已有研究進(jìn)行梳理,并對(duì)下一步的研究重點(diǎn)及存在的挑戰(zhàn)進(jìn)行展望,以期為推動(dòng)該方面的理論研究和實(shí)踐應(yīng)用提供參考。

    1 價(jià)值敏感設(shè)計(jì)概述

    在價(jià)值敏感設(shè)計(jì)提出之前,技術(shù)研究與開(kāi)發(fā)中涉及的倫理道德已經(jīng)引發(fā)了學(xué)者們廣泛的討論,但并未出現(xiàn)一個(gè)總體的理論與方法來(lái)處理技術(shù)中的價(jià)值維度。在這樣一種情境下,Batya Friedman教授等于20世紀(jì)90年代提出了價(jià)值敏感設(shè)計(jì)的概念,通過(guò)在信息系統(tǒng)中考慮人類價(jià)值,為研究者提供了一種有效協(xié)調(diào)技術(shù)與倫理間關(guān)系的方法。隨著智能信息服務(wù)和應(yīng)用技術(shù)在人們生活中的不斷滲透,價(jià)值敏感設(shè)計(jì)受到了更加廣泛的關(guān)注,成為研究者考量技術(shù)設(shè)計(jì)中價(jià)值維度的重要方法之一。

    1.1 基本內(nèi)涵

    價(jià)值敏感設(shè)計(jì)被定義為“一種以價(jià)值理論為基礎(chǔ)的設(shè)計(jì)方法,強(qiáng)調(diào)在整個(gè)設(shè)計(jì)過(guò)程中以一種有原則的、全面的方式考慮人類價(jià)值”[5]。從此種意義上講,符合倫理的技術(shù)設(shè)計(jì)不僅僅是一種前瞻性行為,而且應(yīng)該貫穿于設(shè)計(jì)的整個(gè)過(guò)程,以有效嵌入人類的道德價(jià)值。

    價(jià)值敏感設(shè)計(jì)認(rèn)為技術(shù)不是價(jià)值中立的,技術(shù)體現(xiàn)著開(kāi)發(fā)人員的價(jià)值觀,而且技術(shù)人工物會(huì)對(duì)人類生活的環(huán)境產(chǎn)生影響,包括道德、政治等多個(gè)層面。也就是說(shuō),研究人員在設(shè)計(jì)過(guò)程做出的決策具有價(jià)值含義[6]。因此,在設(shè)計(jì)前充分考慮人類價(jià)值極其重要。這里的“價(jià)值”是一個(gè)廣泛的術(shù)語(yǔ),指的是一個(gè)人或一群人認(rèn)為在生活中重要的東西[5]。就價(jià)值敏感設(shè)計(jì)關(guān)注的具體倫理價(jià)值而言,它涵蓋了人類福利、所有權(quán)和財(cái)產(chǎn)、隱私、無(wú)偏見(jiàn)、普遍可用性、信任、自主性、知情同意和問(wèn)責(zé)制等;也涉及在使用過(guò)程中側(cè)重用戶使用體驗(yàn)的實(shí)用性價(jià)值(如系統(tǒng)操作的簡(jiǎn)易化)、公約(如標(biāo)準(zhǔn)化協(xié)議)和個(gè)人品味(如圖形化用戶界面中的顏色偏好)等。

    價(jià)值敏感設(shè)計(jì)的主要特點(diǎn)可以概述為3點(diǎn):互動(dòng)理論、考慮直接和間接利益相關(guān)者、三方方法論[7]。1) 互動(dòng)理論認(rèn)為價(jià)值觀產(chǎn)生于技術(shù)與用戶的交互中,其中技術(shù)作為塑造社會(huì)的要素,需要遵守一定的倫理規(guī)范;人的行為和社會(huì)力量會(huì)推動(dòng)技術(shù)的更新迭代,與此同時(shí),新技術(shù)也改變著人的行為與整個(gè)社會(huì)體系。2) 識(shí)別直接和間接利益相關(guān)者以及他們的價(jià)值觀是價(jià)值敏感設(shè)計(jì)的重要組成部分,其中,直接利益相關(guān)者指的是直接與計(jì)算機(jī)系統(tǒng)交互的個(gè)人或組織,間接利益相關(guān)者是指間接受系統(tǒng)影響的其他方。3) 價(jià)值敏感設(shè)計(jì)為研究者們提供了一套獨(dú)特的三方方法論,即概念調(diào)查、經(jīng)驗(yàn)調(diào)查和技術(shù)調(diào)查。這3個(gè)階段之間的相互作用是動(dòng)態(tài)的,某一階段中進(jìn)行的設(shè)計(jì)更改會(huì)影響其他兩個(gè)階段。例如,技術(shù)解決方案的變更可能會(huì)導(dǎo)致新的社會(huì)風(fēng)險(xiǎn)出現(xiàn),或者利益相關(guān)方的新的經(jīng)驗(yàn)和價(jià)值輸入可能需要技術(shù)設(shè)計(jì)做出相應(yīng)的調(diào)整。因此,為實(shí)現(xiàn)產(chǎn)品的優(yōu)化設(shè)計(jì),概念調(diào)查、經(jīng)驗(yàn)調(diào)查和技術(shù)調(diào)查的執(zhí)行過(guò)程需要不斷重復(fù)和迭代,如圖1所示。

    圖1 三方方法論及其迭代Fig.1 Tripartite methodology and its iterations

    1.2 三方方法論

    1.2.1 概念調(diào)查

    概念調(diào)查是價(jià)值敏感設(shè)計(jì)中價(jià)值的概念化過(guò)程,這一階段包含對(duì)所調(diào)查的問(wèn)題和結(jié)構(gòu)進(jìn)行分析性和哲學(xué)性的探索,主要回答以下關(guān)鍵問(wèn)題:1)誰(shuí)是受其影響的直接和間接利益相關(guān)者?2)利益相關(guān)者與系統(tǒng)的關(guān)系如何?3)所研究的問(wèn)題和結(jié)構(gòu)中包含哪些價(jià)值?4)哲學(xué)類文獻(xiàn)是如何定義某些特定的價(jià)值(如信任、知情同意、隱私)的?5)價(jià)值之間有無(wú)優(yōu)劣之分?6)如何處理價(jià)值之間的沖突(如控制與自主,隱私與獲?。??其中,識(shí)別間接利益相關(guān)者的難度較大,需要設(shè)計(jì)者做好充分的調(diào)研。概念調(diào)查將可能的價(jià)值定義為適合目標(biāo)環(huán)境的新概念,并納入了一系列標(biāo)準(zhǔn)的社會(huì)科學(xué)研究方法,如半結(jié)構(gòu)化訪談、調(diào)查、觀察、實(shí)驗(yàn)設(shè)計(jì)、探索性調(diào)查和縱向案例研究[8]。

    1.2.2 經(jīng)驗(yàn)調(diào)查

    經(jīng)驗(yàn)調(diào)查通常在概念調(diào)查之后進(jìn)行,以概念調(diào)查的研究結(jié)果為基礎(chǔ),主要考察技術(shù)產(chǎn)品所處的人類環(huán)境,并將其量化,為概念調(diào)查提供相應(yīng)的數(shù)據(jù)支持。經(jīng)驗(yàn)調(diào)查需要借助社會(huì)科學(xué)研究中使用的定量和定性方法,如:觀察、訪談、調(diào)查、實(shí)驗(yàn)操作、文件收集、用戶行為和人體生理特征的測(cè)量等。這一階段主要關(guān)注兩方面內(nèi)容:1) 利益相關(guān)者在互動(dòng)環(huán)境中對(duì)價(jià)值觀的理解和權(quán)衡;2) 設(shè)計(jì)過(guò)程中考慮的倫理價(jià)值與人們實(shí)際使用中需求的倫理價(jià)值之間是否有差距。經(jīng)驗(yàn)調(diào)查的結(jié)果不僅可以被用來(lái)改進(jìn)新技術(shù)的設(shè)計(jì),使之更符合利益相關(guān)者的價(jià)值觀。此外,經(jīng)驗(yàn)調(diào)查還可以放在概念調(diào)查之前進(jìn)行,以幫助研究者在概念調(diào)查階段明確價(jià)值的具體定義。

    1.2.3 技術(shù)調(diào)查

    與概念調(diào)查和經(jīng)驗(yàn)調(diào)查將重點(diǎn)放在利益相關(guān)者以及他們所關(guān)注的價(jià)值上不同,技術(shù)調(diào)查更具體地指向所討論技術(shù)的設(shè)計(jì),通過(guò)對(duì)現(xiàn)有技術(shù)的回顧性分析以及對(duì)新技術(shù)的前瞻性分析來(lái)權(quán)衡多個(gè)價(jià)值,以提供不同的價(jià)值適應(yīng)性。技術(shù)調(diào)查主要有兩種形式,第一種形式側(cè)重于對(duì)現(xiàn)有的技術(shù)屬性和基本機(jī)制進(jìn)行調(diào)查,關(guān)注技術(shù)是如何支持或阻礙人類價(jià)值的。例如,一些基于視頻的協(xié)同工作系統(tǒng)提供模糊的辦公室視圖,另一些系統(tǒng)則提供清晰的圖像,顯示關(guān)于誰(shuí)在場(chǎng)以及他們?cè)谧鍪裁吹脑敿?xì)信息。這兩種系統(tǒng)的不同源于它們對(duì)兩種價(jià)值的權(quán)衡差異:1)個(gè)人隱私;2)群體中成員的存在與活動(dòng)。第二種形式的技術(shù)調(diào)查涉及系統(tǒng)的主動(dòng)設(shè)計(jì),以支持概念和經(jīng)驗(yàn)調(diào)查中所發(fā)現(xiàn)的價(jià)值。例如,Xu[9]通過(guò)概念調(diào)查發(fā)現(xiàn)采用隱私保護(hù)機(jī)制有助于保護(hù)用戶的在線隱私,因此在技術(shù)調(diào)查階段為瀏覽器設(shè)計(jì)了3種隱私增強(qiáng)工具,使用戶能對(duì)其個(gè)人信息進(jìn)行控制。

    盡管三方方法之間的迭代十分重要,但Winkler等[10]調(diào)查了1996—2016年超過(guò)219項(xiàng)價(jià)值敏感設(shè)計(jì)的相關(guān)研究,發(fā)現(xiàn)只有17篇論文使用了所有3種調(diào)查方法。其中,進(jìn)行了三方方法迭代分析的只有4篇文獻(xiàn),僅占研究總量的1.8%,這提醒學(xué)者們?cè)谖磥?lái)的研究中需要充分加強(qiáng)三方方法的迭代使用。為使研究者們更清晰地了解這3種方法的任務(wù)、特征和不足,本文給出了三方方法的對(duì)比分析,如表1所示。總體來(lái)看,價(jià)值敏感設(shè)計(jì)的三方方法論為研究人員和設(shè)計(jì)者們進(jìn)行人工智能倫理研究提供了針對(duì)性的指導(dǎo),也降低了新手使用價(jià)值敏感設(shè)計(jì)的難度。

    表1 三方方法對(duì)比分析Table 1 Contrastive analysis of tripartite methods

    2 價(jià)值敏感設(shè)計(jì)研究

    國(guó)外對(duì)于價(jià)值敏感設(shè)計(jì)的研究主要集中在4個(gè)方面,包括理論反思、框架補(bǔ)充、方法擴(kuò)展以及工具增添;國(guó)內(nèi)則主要以價(jià)值敏感設(shè)計(jì)理論的引進(jìn)與推介為主。

    2.1 理論反思

    價(jià)值敏感設(shè)計(jì)作為技術(shù)倫理研究的一種新形式,促進(jìn)著“技術(shù)實(shí)踐”與“倫理實(shí)踐”的統(tǒng)一,這個(gè)過(guò)程中需要明確的倫理理論為解決道德?tīng)?zhēng)論、應(yīng)對(duì)道德考慮提供支撐,學(xué)者們對(duì)此進(jìn)行了針對(duì)性的研究。

    Yetim[11]從話語(yǔ)倫理的角度出發(fā),在價(jià)值敏感設(shè)計(jì)中納入邊界批評(píng)方法,并應(yīng)用不同類型的話語(yǔ)、原則和話語(yǔ)支持方法來(lái)補(bǔ)充價(jià)值敏感設(shè)計(jì)。Jacobs等[12]提議將中層倫理理論與價(jià)值敏感設(shè)計(jì)相結(jié)合,以解決價(jià)值敏感設(shè)計(jì)面臨的挑戰(zhàn):1)研究者的主張和價(jià)值觀不夠明確;2)過(guò)分依賴對(duì)普世價(jià)值的實(shí)證研究,存在犯自然主義謬誤的風(fēng)險(xiǎn);3)在價(jià)值沖突產(chǎn)生時(shí)難以進(jìn)行價(jià)值權(quán)衡。新設(shè)計(jì)的倫理理論需要滿足3個(gè)條件:1)擁有較強(qiáng)的解釋力;2)擁有較強(qiáng)的證明力;3)簡(jiǎn)單實(shí)用?;谏鲜鲅芯?,Jacobs[13]將Nussbaum所提出的實(shí)質(zhì)性能力理論用于支持價(jià)值敏感設(shè)計(jì),實(shí)質(zhì)性能力理論認(rèn)為,每個(gè)人都應(yīng)獲得10種核心能力:1)能夠正常生活;2)身體健康;3)保持身體完整;4)能夠運(yùn)用感官、想象和思考;5)有情感和情感依戀;6)擁有實(shí)踐理性來(lái)形成一種善的概念;7)擁有有意義和受尊重的社會(huì)關(guān)系;8)對(duì)其他物種表示關(guān)心;9)會(huì)玩;10)控制自己的物質(zhì)和政治環(huán)境。這10種核心能力可以為道德主張和考慮提供正當(dāng)理由和論證來(lái)源,幫助價(jià)值敏感設(shè)計(jì)明確研究者的主張以及應(yīng)對(duì)自然主義謬誤的挑戰(zhàn)。Umbrello[14]首次從道德想象理論的角度探討價(jià)值敏感設(shè)計(jì),充分考慮諸如轉(zhuǎn)喻、隱喻、想象和敘事等對(duì)道德思考和發(fā)展至關(guān)重要的想象結(jié)構(gòu),并在概念調(diào)查中增加了想象工具,重新整合價(jià)值觀的概念化過(guò)程。

    2.2 框架補(bǔ)充

    在確定價(jià)值和利益相關(guān)者、將價(jià)值轉(zhuǎn)化為設(shè)計(jì)等關(guān)鍵階段中,需要更具體的框架對(duì)其進(jìn)行指導(dǎo),因此Van[15]提出了“價(jià)值層次”的框架,如圖2所示。其中,規(guī)范是指技術(shù)為了支持價(jià)值而應(yīng)展示的屬性或能力,且規(guī)范通常不止一個(gè)。該框架能將價(jià)值轉(zhuǎn)化為具體的設(shè)計(jì)要求,明確價(jià)值判斷。基于上述研究,Aizenberg等[16]提出了人權(quán)設(shè)計(jì)框架,如圖3所示。該框架將設(shè)計(jì)過(guò)程建立在4種價(jià)值觀的基礎(chǔ)上,同時(shí)還強(qiáng)調(diào)利益相關(guān)者的參與和三方方法的迭代。其中,4種基本價(jià)值觀可以進(jìn)一步細(xì)化為更詳盡的價(jià)值觀,該框架為制定設(shè)計(jì)要求提供了結(jié)構(gòu)化和包容性的途徑。

    圖2 價(jià)值層次Fig.2 Values hierarchies

    圖3 人權(quán)設(shè)計(jì)框架Fig.3 Human rights design framework

    為解決新興技術(shù)的本體不確定性問(wèn)題,de Reuver[17]提出了TCRC框架,即在價(jià)值敏感設(shè)計(jì)原有的三方方法中加入反射性活動(dòng),用于反思技術(shù)開(kāi)發(fā)的目標(biāo)和價(jià)值。這里的反射性是通過(guò)“道德沙盒”來(lái)實(shí)現(xiàn)的,以識(shí)別技術(shù)中的道德因素。為檢驗(yàn)人們對(duì)技術(shù)的解釋關(guān)系,并從中識(shí)別相應(yīng)的價(jià)值,Grünloh[18]引入了技術(shù)框架,該框架包含3個(gè)核心部分:1)技術(shù)的本質(zhì);2)技術(shù)戰(zhàn)略;3)技術(shù)的使用。為支持設(shè)計(jì)師有意識(shí)地、明確地將人類價(jià)值觀嵌入設(shè)計(jì)過(guò)程,克服價(jià)值敏感設(shè)計(jì)所提供價(jià)值清單的不完整和不通用性,Kheirandish等[19]通過(guò)經(jīng)驗(yàn)調(diào)查收集了價(jià)值觀數(shù)據(jù),并對(duì)價(jià)值觀進(jìn)行分組和聚類,最終形成了一個(gè)全面的價(jià)值框架,該框架包含4個(gè)主題、9個(gè)價(jià)值組、42個(gè)關(guān)鍵價(jià)值和135個(gè)額外價(jià)值,有助于明確與各種設(shè)計(jì)項(xiàng)目相關(guān)的人類價(jià)值。

    2.3 方法擴(kuò)展

    三方方法論為研究者們提供了一定的指導(dǎo),但研究者們面臨的設(shè)計(jì)挑戰(zhàn)還需要更明確的實(shí)踐方法和前進(jìn)道路。Friedman等[20]系統(tǒng)總結(jié)了2017年以前的14種主要價(jià)值敏感設(shè)計(jì)方法的原理和相關(guān)基礎(chǔ)研究,并闡述了各種方法的使用技巧,所提到的14種方法:1)直接和間接利益相關(guān)者分析;2)價(jià)值來(lái)源分析;3)技術(shù)與社會(huì)結(jié)構(gòu)的共同演進(jìn);4)價(jià)值情景;5)價(jià)值觀的信息維度;8)面向價(jià)值的編碼手冊(cè);9)面向價(jià)值的模型、原型或現(xiàn)場(chǎng)部署;10)關(guān)于價(jià)值觀和技術(shù)的民族志調(diào)查;11)網(wǎng)上知情同意模式;12)重視價(jià)值壩和價(jià)值流;13)價(jià)值敏感行為反射模型;14)設(shè)想卡片。為解決價(jià)值敏感設(shè)計(jì)方法的松散性問(wèn)題,Greef等[21]將情境認(rèn)知工程(the situated cognitive engineering,sCE)與價(jià)值敏感設(shè)計(jì)方法相結(jié)合,提出了sCEthics方法。為解決價(jià)值本身的動(dòng)態(tài)變化問(wèn)題,Poel[22]提出了價(jià)值變化分類法。為衡量不同價(jià)值的權(quán)重,Van等[23]引入了最佳最差方法。為說(shuō)明倫理和社會(huì)價(jià)值如何在連續(xù)迭代中體現(xiàn)在具體的技術(shù)上,Cawthorne等[24]引入了基于能力的程序-審議倫理方法。上述4種方法的主要特點(diǎn)和應(yīng)用效果如表2所示。

    表2 新興方法間的對(duì)比分析Table 2 Comparative analysis of emerging methods

    2.4 工具增添

    有形的工具能在實(shí)踐中幫助研究者更好地調(diào)查利益相關(guān)者及其價(jià)值,充分調(diào)動(dòng)參與者的積極性。為促進(jìn)利益相關(guān)者和設(shè)計(jì)師的溝通,Pommeranz等[25]提出了價(jià)值獲取工具,該工具由兩個(gè)部分組成:1)由利益相關(guān)者用于數(shù)據(jù)收集和現(xiàn)場(chǎng)自我反思的移動(dòng)應(yīng)用程序;2)由設(shè)計(jì)者和利益相關(guān)者合作使用的用于分析和交流價(jià)值的網(wǎng)站。為更全面地識(shí)別利益相關(guān)者,Yoo[26]提出了利益相關(guān)令牌法,該方法包含5個(gè)步驟:1)選擇參與者;2)選擇令牌的材料;3)創(chuàng)建利益相關(guān)者列表和標(biāo)簽;4)將標(biāo)簽附加到令牌上;5)簡(jiǎn)述利益相關(guān)者的關(guān)系。為更好地識(shí)別潛在價(jià)值,Logler等[27]提出了隱喻卡的方法,使用該工具需要4個(gè)步驟:1)深入熟悉項(xiàng)目領(lǐng)域;2)形成一套生成隱喻;3)制作隱喻卡片;4)將隱喻卡引入設(shè)計(jì)研究中。為將現(xiàn)有的文化模式融入價(jià)值獲取過(guò)程,以克服文化限制對(duì)價(jià)值獲取造成的障礙,Alshehri等[28]提出了情景共同創(chuàng)作卡的方法,使用該工具需要3個(gè)步驟:1)概念設(shè)計(jì),即對(duì)卡片進(jìn)行粗略分類;2)物理設(shè)計(jì),即為每張卡片設(shè)計(jì)基于特定文化的圖像;3)實(shí)用設(shè)計(jì),即在半結(jié)構(gòu)化訪談中使用創(chuàng)作卡,通過(guò)對(duì)不同卡片的組合來(lái)創(chuàng)造不同的價(jià)值情景,促進(jìn)參與者表達(dá)個(gè)人價(jià)值觀。為促進(jìn)設(shè)計(jì)師在設(shè)計(jì)過(guò)程中考慮人類價(jià)值,Kheirandish等[29]提出了HuValue工具,該工具包括:1個(gè)價(jià)值輪、45個(gè)價(jià)值、207張圖片卡。上述5種工具的主要特點(diǎn)和應(yīng)用效果如表3所示。

    表3 新工具間的對(duì)比分析Table 3 Comparative analysis of new tools

    續(xù)表3

    2.5 國(guó)內(nèi)價(jià)值敏感設(shè)計(jì)研究

    國(guó)內(nèi)對(duì)于價(jià)值敏感設(shè)計(jì)的研究起步較晚,目前主要以理論的引進(jìn)與推介為主。劉瑞琳等[30]系統(tǒng)梳理了價(jià)值敏感設(shè)計(jì),介紹了價(jià)值敏感設(shè)計(jì)的研究歷程、哲學(xué)意蘊(yùn)以及研究方法,并討論了價(jià)值敏感設(shè)計(jì)的實(shí)踐性、先進(jìn)性以及局限性。劉寶杰[31]介紹了價(jià)值敏感設(shè)計(jì)的內(nèi)涵、發(fā)展歷程與特點(diǎn),并以瀏覽器中的Cookies為例,展示了價(jià)值敏感設(shè)計(jì)三方方法的迭代運(yùn)用,此外,還敘述了荷蘭學(xué)者對(duì)價(jià)值敏感設(shè)計(jì)應(yīng)用領(lǐng)域的擴(kuò)展以及當(dāng)前價(jià)值敏感價(jià)值設(shè)計(jì)的不足之處。郭延龍等[32]梳理了智能人工物技術(shù)治理的3種路徑,包括內(nèi)在關(guān)系進(jìn)路、混合式系統(tǒng)進(jìn)路和價(jià)值敏感設(shè)計(jì)進(jìn)路,并對(duì)價(jià)值敏感設(shè)計(jì)的定義、方法、應(yīng)用與不足進(jìn)行了介紹。杜嚴(yán)勇[33]指出,目前機(jī)器人倫理設(shè)計(jì)的實(shí)踐探索主要涉及計(jì)算機(jī)科學(xué)進(jìn)路、認(rèn)知科學(xué)進(jìn)路和價(jià)值敏感設(shè)計(jì)3個(gè)方面,并對(duì)以護(hù)理為中心的價(jià)值敏感設(shè)計(jì)進(jìn)路進(jìn)行了介紹。閆坤如[34]指出,價(jià)值論轉(zhuǎn)向之后的技術(shù)哲學(xué)發(fā)展更加關(guān)注技術(shù)設(shè)計(jì)中的倫理與價(jià)值,并介紹了價(jià)值敏感設(shè)計(jì)的理念與應(yīng)用。孫福海等[35]認(rèn)為,要開(kāi)發(fā)出具有道德的人工智能,系統(tǒng)設(shè)計(jì)必須考慮道德因素,并介紹了三種重要方法:價(jià)值敏感設(shè)計(jì)、透明度設(shè)計(jì)及道德學(xué)習(xí)設(shè)計(jì),梳理了價(jià)值敏感設(shè)計(jì)的內(nèi)涵、原則、研究?jī)?nèi)容及研究方法。

    張貴紅[36]認(rèn)為,價(jià)值敏感設(shè)計(jì)體現(xiàn)出了當(dāng)前的大數(shù)據(jù)技術(shù)所具有的倫理與價(jià)值維度,能為大數(shù)據(jù)倫理提供基礎(chǔ)的分析策略,而且價(jià)值敏感設(shè)計(jì)本身的發(fā)展也能推動(dòng)大數(shù)據(jù)倫理學(xué)與大數(shù)據(jù)技術(shù)的研究與發(fā)展。尹文娟[37]指出,價(jià)值敏感設(shè)計(jì)提供了一種理論支持,能將利益相關(guān)者多元化的價(jià)值觀嵌入工程設(shè)計(jì)的過(guò)程中。劉培等[38]建議在解決算法倫理問(wèn)題時(shí)考慮使用價(jià)值敏感設(shè)計(jì)方法,將算法的倫理設(shè)計(jì)與具體的情景分析相結(jié)合。李飛翔[39]指出,算法工程師和科研工作者群體在對(duì)待大數(shù)據(jù)技術(shù)時(shí),需注重價(jià)值敏感設(shè)計(jì)的使用,以避免算法過(guò)于抽象化。樸毅等[40]認(rèn)為,在應(yīng)對(duì)人工智能的價(jià)值非中立性倫理問(wèn)題與決策風(fēng)險(xiǎn)時(shí),可以采用價(jià)值敏感設(shè)計(jì)方法,將可預(yù)見(jiàn)的偏見(jiàn)問(wèn)題扼殺在算法開(kāi)發(fā)階段。陳煒等[41]建議,在解決勸導(dǎo)性技術(shù)的倫理問(wèn)題時(shí),可以借鑒價(jià)值敏感設(shè)計(jì)方法。他們認(rèn)為,這種方法能提供一個(gè)交互性視角,并能更全面地解決價(jià)值沖突。

    3 人工智能應(yīng)用的價(jià)值敏感設(shè)計(jì)

    價(jià)值敏感設(shè)計(jì)為解決人工智能應(yīng)用中可能存在的保密性、隱私性、安全性和可信度等倫理問(wèn)題提供了一種有效的方式,能夠在人工智能應(yīng)用的各個(gè)設(shè)計(jì)階段融入人類價(jià)值,使人工智能應(yīng)用更符合人類倫理。目前,價(jià)值敏感設(shè)計(jì)在人工智能的應(yīng)用主要涉及智能機(jī)器人、智能運(yùn)載工具等方面。

    3.1 智能機(jī)器人

    隨著“機(jī)器人口爆炸”時(shí)代的到來(lái),智能機(jī)器人在人們的生活中扮演著越來(lái)越重要的角色,如情感陪護(hù)、聊天、送藥等。但智能機(jī)器人在決策、行動(dòng)方面被賦予一定的自主性,這可能會(huì)導(dǎo)致大量的倫理問(wèn)題出現(xiàn),例如:聊天機(jī)器人可能會(huì)在言語(yǔ)中透露種族歧視[42]、看護(hù)機(jī)器人可能會(huì)減少人與人之間的親密接觸[43]、軍事機(jī)器人可能會(huì)誤傷平民[44]等,如何設(shè)計(jì)出符合倫理的智能機(jī)器人成為了學(xué)者們的研究熱點(diǎn)。Cheon等[45]利用價(jià)值敏感設(shè)計(jì)方法,研究了機(jī)器人和自動(dòng)化協(xié)會(huì)網(wǎng)站對(duì)人形機(jī)器人專家的采訪,選擇了其中27個(gè)訪談來(lái)定性分析機(jī)器人專家的價(jià)值觀。研究表明,機(jī)器人專家所關(guān)心的倫理價(jià)值包括安全、可靠、透明和人類尊嚴(yán)?;诖耍撗芯刻岢隽艘粋€(gè)將倫理價(jià)值融入人形機(jī)器人設(shè)計(jì)的議程:1)調(diào)查開(kāi)發(fā)者的價(jià)值觀;2)調(diào)查在機(jī)器人的定義中應(yīng)該接受的倫理價(jià)值;3)邀請(qǐng)非傳統(tǒng)利益相關(guān)者參加機(jī)器人設(shè)計(jì)研討會(huì)。但該研究?jī)H僅是對(duì)二次數(shù)據(jù)的加工,未來(lái)還需對(duì)機(jī)器人專家進(jìn)行針對(duì)性的倫理訪談。

    在醫(yī)療方面,護(hù)理機(jī)器人可用于臨床診斷、病患護(hù)理、病房清理等,成為了有效緩解人工護(hù)理壓力的新手段。由于護(hù)理機(jī)器人的服務(wù)對(duì)象為患者群體,尤其是老齡人等弱勢(shì)人群,護(hù)理機(jī)器人所面臨的倫理問(wèn)題具有特殊性。因此,如何設(shè)計(jì)出符合倫理的護(hù)理機(jī)器人顯得尤為重要。Wynsberghe[46]基于價(jià)值敏感設(shè)計(jì)方法,提出了一個(gè)以關(guān)懷為中心的護(hù)理機(jī)器人倫理評(píng)估框架,該框架由 5 個(gè)部分組成:1)語(yǔ)境;2)實(shí)踐;3)相關(guān)行動(dòng)者;4)機(jī)器人類型;5)道德因素的體現(xiàn)。以識(shí)別在機(jī)器人設(shè)計(jì)過(guò)程中需關(guān)注的倫理價(jià)值。使用上述框架的方法被稱為以護(hù)理為導(dǎo)向的價(jià)值敏感設(shè)計(jì)(care centered value sensitive design,CCVSD)方法,該方法能幫助設(shè)計(jì)師和倫理學(xué)家對(duì)護(hù)理機(jī)器人進(jìn)行回顧性倫理評(píng)估,并對(duì)護(hù)理機(jī)器人進(jìn)行符合倫理的前瞻性設(shè)計(jì)。在后續(xù)研究中,Wynsberghe[47]指出,當(dāng)服務(wù)機(jī)器人被集成到護(hù)理實(shí)踐中時(shí),也可以使用CCVSD方法對(duì)其進(jìn)行評(píng)估與設(shè)計(jì),并提出了識(shí)別護(hù)理實(shí)踐的兩個(gè)必要條件:1)該實(shí)踐必須是對(duì)另一個(gè)實(shí)踐的需求的響應(yīng);2)通過(guò)護(hù)理者和護(hù)理接受者之間的相互作用來(lái)滿足他人的需求。此后,Wynsberghe等[48]以舉重和尿檢機(jī)器人為例,將活動(dòng)本質(zhì)方法用于護(hù)理機(jī)器人的研究,結(jié)果顯示,活動(dòng)本質(zhì)方法能推動(dòng)CCVSD進(jìn)一步發(fā)展:1)為CCVSD提供更堅(jiān)實(shí)的哲學(xué)基礎(chǔ);2)為機(jī)器人的護(hù)理活動(dòng)提供更精細(xì)的描述,以擴(kuò)展護(hù)理倫理;3)提供概念工具來(lái)緩解不同倫理價(jià)值之間的沖突。

    Poulsen等[49]基于機(jī)器倫理和CCVSD方法,提出了運(yùn)動(dòng)設(shè)計(jì)中的價(jià)值(values in motion design,VMD)方法,用于設(shè)計(jì)符合倫理的護(hù)理機(jī)器人。在使用VMD方法時(shí),首先需要進(jìn)行價(jià)值敏感設(shè)計(jì)的概念調(diào)查,以建立用戶價(jià)值模型和機(jī)器人設(shè)計(jì)的初始框架;隨后進(jìn)行經(jīng)驗(yàn)和技術(shù)調(diào)查,以區(qū)分患者的外在價(jià)值和內(nèi)在價(jià)值,其中,當(dāng)護(hù)理機(jī)器人尊重患者的外在價(jià)值時(shí),即可做出符合護(hù)理倫理的決策;而當(dāng)護(hù)理機(jī)器人確保為患者提供內(nèi)在價(jià)值時(shí),即可做出符合職業(yè)倫理的決策。結(jié)果顯示,使用VMD方法后,研究者們可以通過(guò)提供良好的護(hù)理倫理決策和職業(yè)倫理決策,設(shè)計(jì)出符合倫理的護(hù)理機(jī)器人。此后,Poulsen等[50]提出了一個(gè)Attento模型來(lái)補(bǔ)充VMD方法,該模型可以為特定的患者制定外在價(jià)值的優(yōu)先級(jí)列表,并在實(shí)踐中動(dòng)態(tài)地調(diào)整列表,提供定制的患者服務(wù)。基于上述研究,Poulsen等[51]提出了一種注意框架,該框架建議在護(hù)理機(jī)器人的設(shè)計(jì)過(guò)程中聯(lián)合使用CCVSD方法和有“計(jì)算意識(shí)”的信息系統(tǒng),并在運(yùn)行時(shí)根據(jù)外在護(hù)理價(jià)值的優(yōu)先級(jí)作出設(shè)計(jì)決策。其中,信息系統(tǒng)包含3個(gè)關(guān)鍵的過(guò)程和元素:1)計(jì)算意識(shí)過(guò)程;2)價(jià)值優(yōu)先級(jí)列表;3)價(jià)值確認(rèn)過(guò)程。

    從上述研究來(lái)看,近幾年智能機(jī)器人的倫理設(shè)計(jì)研究取得了不錯(cuò)的成就,其中,CCVSD方法成為了護(hù)理機(jī)器人倫理研究的奠基之作,具有重大的探索價(jià)值。但目前仍存在著一些挑戰(zhàn)和不足。首先,護(hù)理機(jī)器人在護(hù)理過(guò)程中會(huì)采集許多患者的隱私數(shù)據(jù),如何確保眾多隱私數(shù)據(jù)不被泄露,是否需要針對(duì)不同的弱勢(shì)群體采取不同的隱私保護(hù)強(qiáng)度,其他家庭成員是否有權(quán)獲取關(guān)于患者的全方位隱私數(shù)據(jù)。其次,患者在使用護(hù)理機(jī)器人的過(guò)程中,智能護(hù)理與患者的自主性之間常常產(chǎn)生沖突,如何對(duì)兩種價(jià)值進(jìn)行權(quán)衡,如何準(zhǔn)確評(píng)估患者的實(shí)時(shí)狀況,以決定護(hù)理機(jī)器人應(yīng)在何種程度上保障患者的自主意愿。同時(shí),我國(guó)屬于多民族國(guó)家,如何避免護(hù)理機(jī)器人在外觀設(shè)計(jì)和交互過(guò)程中暗含種族歧視和性別歧視,如何在設(shè)計(jì)中考慮各民族的風(fēng)俗和宗教信仰。最后,目前對(duì)于智能機(jī)器人的研究?jī)H限于人形和護(hù)理機(jī)器人,如何對(duì)送藥機(jī)器人、移動(dòng)病人機(jī)器人、工業(yè)機(jī)器人、物流機(jī)器人等進(jìn)行評(píng)估與設(shè)計(jì),是否可以簡(jiǎn)單套用護(hù)理機(jī)器人的設(shè)計(jì)方法??傊?,解決上述問(wèn)題,是當(dāng)下智能機(jī)器人的進(jìn)一步研究方向。

    3.2 智能運(yùn)載工具

    自動(dòng)駕駛汽車和無(wú)人機(jī)能參與組建更為高效的交通運(yùn)輸系統(tǒng),幫助減輕交通壓力,但在研發(fā)、應(yīng)用和推廣中產(chǎn)生的一系列倫理問(wèn)題使其發(fā)展遇到了阻力,如隱私泄露[52-53]、責(zé)任分配[54]、非法監(jiān)控[55]。為解決上述問(wèn)題,科研工作者們進(jìn)行了一系列的研究。

    Flipse等[56]基于價(jià)值敏感設(shè)計(jì)和中游調(diào)節(jié)方法,建立了一種合作創(chuàng)新開(kāi)發(fā)方法,方法分為兩步:1)為共同參與設(shè)計(jì)過(guò)程者建立價(jià)值檔案;2)組織研討會(huì)來(lái)討論前述價(jià)值,并將它們轉(zhuǎn)化為規(guī)范和設(shè)計(jì)要求。在自動(dòng)駕駛汽車的案例研究中,建立的價(jià)值檔案包括6個(gè)倫理價(jià)值和2個(gè)非倫理價(jià)值:1)道路安全;2)負(fù)責(zé)制;3)群體平等;4)自主;5)隱私和財(cái)產(chǎn)安全;6)平等受益;7)高交通流量;8)以不同方式打發(fā)時(shí)間。上述價(jià)值可以轉(zhuǎn)化為具體的設(shè)計(jì)規(guī)范,例如,道路安全可被轉(zhuǎn)化為減少交通事故的設(shè)計(jì)規(guī)范,高交通流量可被轉(zhuǎn)化為減少擁堵的設(shè)計(jì)規(guī)范。該方法為設(shè)計(jì)師開(kāi)發(fā)符合倫理的自動(dòng)駕駛汽車提供了有益的參考,但在建立價(jià)值檔案時(shí),對(duì)于樣本中具有技術(shù)背景和受過(guò)高等教育的人,可能存在偏見(jiàn),后續(xù)研究可納入更廣泛的參與者。Thornton等[57]使用價(jià)值敏感設(shè)計(jì)方法,開(kāi)發(fā)了自動(dòng)駕駛汽車的速度控制器,以解決人行橫道阻塞的情況。在概念調(diào)查階段,確定了利益相關(guān)者和相關(guān)倫理價(jià)值,其中,倫理價(jià)值包括關(guān)心和尊重他人、公平和互惠、尊重權(quán)威、信任和透明度、個(gè)人自主權(quán)。并將上述價(jià)值與當(dāng)前算法中已考慮的價(jià)值聯(lián)系起來(lái),包括安全性和合法性、移動(dòng)性和效率、平滑性。在技術(shù)調(diào)查階段,通過(guò)構(gòu)建馬爾科夫決策過(guò)程來(lái)設(shè)計(jì)速度控制器,以支持概念調(diào)查確定的倫理價(jià)值。在經(jīng)驗(yàn)調(diào)查階段,將確定性比例速度控制器作為基線,與價(jià)值敏感設(shè)計(jì)速度控制器進(jìn)行比較,結(jié)果顯示,價(jià)值敏感設(shè)計(jì)速度控制器能有效控制車輛的縱向加速度,讓車輛安全地通過(guò)堵塞的人行橫道。但控制速度時(shí),乘客舒適度將會(huì)受到影響,關(guān)心和尊重他人這一倫理價(jià)值未得到保障,這為下一步的研究提供了方向。

    Cawthorne等[58]首次將價(jià)值敏感設(shè)計(jì)應(yīng)用于無(wú)人機(jī)平臺(tái)的技術(shù)開(kāi)發(fā),在回顧性分析中,以技術(shù)調(diào)查為重點(diǎn),分析了現(xiàn)有的貨運(yùn)無(wú)人機(jī)原型是如何支持倫理價(jià)值的,并探討了當(dāng)前無(wú)人機(jī)的局限性,比如:1)可能存在安全風(fēng)險(xiǎn);2)人們擔(dān)心無(wú)人機(jī)會(huì)攜帶攝像頭以侵犯他們的隱私;3)可能會(huì)損害租船運(yùn)營(yíng)商的經(jīng)濟(jì)利益,從而違背“有益”這一倫理原則。在前瞻性分析中,開(kāi)發(fā)了一種新型倫理無(wú)人機(jī),這種新型無(wú)人機(jī)由內(nèi)燃機(jī)驅(qū)動(dòng),且采用模塊化組件,能大幅度提高醫(yī)療服務(wù)能力和安全性。同時(shí),通過(guò)在機(jī)身上貼上未攜帶攝像機(jī)的標(biāo)志,能降低人們對(duì)無(wú)人機(jī)的不信任感。此外,無(wú)人機(jī)可以為租船運(yùn)營(yíng)商提供設(shè)計(jì)、制造和維護(hù)等工作,保障當(dāng)?shù)鼐用竦奈镔|(zhì)福利。研究顯示,新型無(wú)人機(jī)能更好地提升人類福利(身體、心理和物質(zhì)福利)。隨后,Cawthorne等[59]等引入價(jià)值層次方法,在原有的3個(gè)層次的基礎(chǔ)上新增了一個(gè)倫理原則層次。并構(gòu)建了無(wú)人機(jī)倫理框架,包括:1)有益;2)無(wú)害;3)自主;4)公正;5)可解釋性。以促進(jìn)公共醫(yī)療保健中使用的無(wú)人機(jī)的設(shè)計(jì)、開(kāi)發(fā)、實(shí)施和評(píng)估。使用該倫理框架時(shí),倫理原則需要被轉(zhuǎn)化為具體的人類價(jià)值,比如,有益的倫理原則可轉(zhuǎn)化為人類福利(身體、心理和物質(zhì)福利)、工作/人類技能和環(huán)境可持續(xù)性的價(jià)值,無(wú)害的倫理原則可轉(zhuǎn)化為隱私、安全等價(jià)值。上述倫理框架被用于Cawthorne等[60]的另一個(gè)研究中,該研究首先評(píng)估了丹麥一架商用無(wú)人機(jī)所面臨的倫理挑戰(zhàn),隨后使用該倫理框架重新設(shè)計(jì)了一架“節(jié)儉無(wú)人機(jī)”,以提供價(jià)格低廉的血液運(yùn)輸方式。這種新型無(wú)人機(jī)在設(shè)計(jì)中支持了5項(xiàng)倫理原則及其相應(yīng)的價(jià)值觀和相關(guān)規(guī)范,比如:無(wú)人機(jī)使用小型固定翼,以降低成本;無(wú)人機(jī)行駛較為緩慢,而且重量輕,能盡量減少傷害等。下一步可以分析更全面的數(shù)據(jù),以提供更完整的無(wú)人機(jī)分析。

    綜上所述,價(jià)值敏感設(shè)計(jì)為智能運(yùn)載工具的倫理設(shè)計(jì)提供了一套系統(tǒng)的指導(dǎo)方法,但目前仍存在以下挑戰(zhàn):1) 對(duì)于自動(dòng)駕駛汽車來(lái)說(shuō),由于其本身存在著諸多倫理困境,如著名的“電車難題”,那么是否可以引入價(jià)值敏感設(shè)計(jì)的方法為解決這一難題提供新的思路。為了實(shí)現(xiàn)車輛分流,自動(dòng)駕駛汽車可能會(huì)選擇一條更遠(yuǎn)的路(而非乘客選擇的路線),在這種情況下,如何保障乘客的自主性。為了保障車內(nèi)乘客的安全,自動(dòng)駕駛汽車可能會(huì)收集間接利益相關(guān)方(如其他車內(nèi)的乘客、行人以及車輛)的信息,那么哪些信息是自動(dòng)駕駛汽車能夠收集的,誰(shuí)有權(quán)獲取這些信息,如何保護(hù)間接利益相關(guān)者的隱私。2) 對(duì)于無(wú)人機(jī)來(lái)說(shuō),由于其在飛行過(guò)程中可能會(huì)驚擾鳥(niǎo)類,如何保障非人類利益相關(guān)者的權(quán)益。如何避免軍用無(wú)人機(jī)誤傷平民(包括兒童、婦女)。商業(yè)航空飛機(jī)能讓乘客在登機(jī)時(shí)主動(dòng)接受風(fēng)險(xiǎn),那么無(wú)人機(jī)要如何才能保障地面人員的知情同意權(quán)。無(wú)人機(jī)在飛行過(guò)程中可能會(huì)干擾其他航班,致使其他航班備降、返航或延誤,如何避免這一問(wèn)題的發(fā)生?民用無(wú)人機(jī)越來(lái)越多,如何保障人們的隱私權(quán)不受侵害。解決上述問(wèn)題,是當(dāng)下智能運(yùn)載工具的進(jìn)一步研究方向。

    3.3 其他人工智能技術(shù)

    除上述研究外,價(jià)值敏感設(shè)計(jì)還被應(yīng)用于可穿戴技術(shù)、學(xué)習(xí)分析技術(shù)、身份識(shí)別技術(shù)等人工智能技術(shù)的設(shè)計(jì)中。Christodoulidou等[61]以谷歌眼鏡為研究對(duì)象,采用價(jià)值敏感設(shè)計(jì)和手段-目的鏈方法,探討了高等教育背景下可穿戴眼鏡的6個(gè)用戶價(jià)值:保證、自主、交流、效率、學(xué)習(xí)能力、技術(shù)功能。為可穿戴眼鏡提供了設(shè)計(jì)啟示。研究顯示,充分考慮大學(xué)生價(jià)值的谷歌眼鏡能有效提高課堂上的小組討論與互動(dòng)效率。Chen等[62]展示了將價(jià)值敏感設(shè)計(jì)用于學(xué)習(xí)分析設(shè)計(jì)的兩項(xiàng)研究,第一項(xiàng)研究是對(duì)一種學(xué)習(xí)分析工具的概念調(diào)查,通過(guò)利益相關(guān)者分析和價(jià)值分析,揭示了對(duì)該工具未來(lái)的改進(jìn)設(shè)計(jì)有影響的價(jià)值(包括倫理價(jià)值和非倫理價(jià)值)和價(jià)值沖突,如:1)學(xué)生自主性和工具評(píng)估效用;2)隱私;3)學(xué)生成功;4)責(zé)任;5)可用性;6)社會(huì)福祉;7)無(wú)偏見(jiàn)等。第二項(xiàng)研究涉及維基百科項(xiàng)目中推薦算法的設(shè)計(jì),包含5個(gè)步驟:1)文獻(xiàn)分析和實(shí)證調(diào)查;2)原型開(kāi)發(fā);3)社區(qū)參與;4)迭代測(cè)試和改進(jìn);5)評(píng)估算法。以上兩個(gè)研究顯示,價(jià)值敏感設(shè)計(jì)方法可用來(lái)支持學(xué)習(xí)分析系統(tǒng)中的倫理考慮和人類價(jià)值觀,未來(lái)還需探索算法審計(jì)、設(shè)計(jì)優(yōu)先權(quán)、道德設(shè)計(jì)批判和價(jià)值敏感設(shè)計(jì)之間的協(xié)同作用,以全面考慮學(xué)習(xí)分析中的人類價(jià)值。Briggs等[63]從包容型設(shè)計(jì)和價(jià)值敏感設(shè)計(jì)的視角出發(fā),探討了身份識(shí)別技術(shù)在設(shè)計(jì)過(guò)程中需要考慮的價(jià)值。該研究包含兩個(gè)階段:1)收集身份管理場(chǎng)景,如智能手機(jī)人臉識(shí)別系統(tǒng)、智能紋身、指紋識(shí)別系統(tǒng)等;2)與6個(gè)邊緣化人群共同舉辦研討會(huì),包括年輕人、老年人、難民、黑人少數(shù)民族婦女、殘疾人和心理健康服務(wù)使用者,以識(shí)別他們的價(jià)值。該研究呼應(yīng)了赫茨伯格的雙因素理論,其中,衛(wèi)生因素中包含的倫理價(jià)值:數(shù)據(jù)隔離、數(shù)據(jù)完整性、數(shù)據(jù)訪問(wèn)、信任、可靠性、安全性、知情同意、多樣性和排斥性。激勵(lì)因素中包含的價(jià)值:方便、個(gè)性化、美學(xué)。未來(lái)可以納入更多邊緣化群體的價(jià)值觀,以便更細(xì)致地考慮不同群體的價(jià)值需求。

    Bastian等[64]將價(jià)值敏感設(shè)計(jì)應(yīng)用于新聞推薦系統(tǒng)算法(algorithmic news recommenders,ANRs),通過(guò)對(duì)來(lái)自荷蘭和瑞士?jī)杉覂?yōu)質(zhì)報(bào)紙的17名媒體從業(yè)者的半結(jié)構(gòu)化采訪,探討了以組織為中心和以受眾為中心的新聞價(jià)值觀與ANRs之間的相互作用。研究表明,受訪從業(yè)者認(rèn)為新聞價(jià)值觀在設(shè)計(jì)和實(shí)施ANRs過(guò)程中非常重要,這些價(jià)值觀包括透明度、多樣性、編輯自主權(quán)、廣泛的信息提供、個(gè)人相關(guān)性、可用性和驚喜。此外,受訪者對(duì)特定價(jià)值觀的評(píng)估因環(huán)境而異,需要結(jié)合特定的新聞渠道來(lái)考慮。未來(lái)可以尋找新的算法設(shè)計(jì)操作方法,對(duì)不同價(jià)值之間復(fù)雜的相互關(guān)系進(jìn)行審查,并觀察價(jià)值觀在不同類型媒體(如公共服務(wù)媒體)和背景中的感知作用。Helbing等[65]指出,在智慧城市的設(shè)計(jì)和發(fā)展過(guò)程中,需要“為價(jià)值而設(shè)計(jì)”,并主張使用價(jià)值敏感設(shè)計(jì)方法,以分布式和參與式的方式來(lái)組織數(shù)字世界,設(shè)計(jì)價(jià)值敏感型智慧城市。這要求設(shè)計(jì)師們關(guān)注除效率和經(jīng)濟(jì)增長(zhǎng)之外的多種價(jià)值觀,如環(huán)境條件與健康、安全與保障、人的尊嚴(yán)、福祉與幸福、隱私與自決,并賦予公民數(shù)據(jù)主權(quán),保證“設(shè)計(jì)民主”。未來(lái)還可以考慮智慧城市中的更多倫理問(wèn)題,學(xué)習(xí)生物和生態(tài)系統(tǒng)的組織原則,以參與式的方式組織數(shù)字世界。Stone[66]將城市描述為開(kāi)放的、不斷發(fā)展的系統(tǒng),并基于夜間照明的案例提出了6項(xiàng)原則,以加強(qiáng)價(jià)值敏感設(shè)計(jì)和價(jià)值設(shè)計(jì)方法在城市技術(shù)以及智慧城市的應(yīng)用。6項(xiàng)原則包括:技術(shù)特異性、邊界條件、歷史背景、象征意義、有價(jià)值高于價(jià)值、放棄概念上的完整性。該原則為實(shí)現(xiàn)價(jià)值敏感的城市技術(shù)創(chuàng)新提供了出發(fā)點(diǎn),但其主要集中于對(duì)道德價(jià)值觀和城市技術(shù)之間關(guān)系的概念分析,未來(lái)還可以往經(jīng)驗(yàn)和技術(shù)層面繼續(xù)迭代、修改與擴(kuò)展。

    從上述研究來(lái)看,對(duì)于可穿戴眼鏡和學(xué)習(xí)分析系統(tǒng)這類應(yīng)用于教育領(lǐng)域的人工智能來(lái)說(shuō),目前還存在如下挑戰(zhàn):1) 在人工智能教育應(yīng)用的過(guò)程中,隱私泄露所導(dǎo)致的網(wǎng)絡(luò)詐騙、惡意推送等現(xiàn)象頗為常見(jiàn),如何保護(hù)用戶的隱私,哪些數(shù)據(jù)是用戶可以自己保有而不會(huì)被迫公開(kāi)讓他人知曉的。2) 人工智能技術(shù)有利于捕捉用戶行為和偏好,能對(duì)用戶的需求進(jìn)行精準(zhǔn)推薦,這可能會(huì)使用戶在一定程度上對(duì)智能技術(shù)過(guò)度依賴,使學(xué)生的視野受到限制,使教師喪失對(duì)教學(xué)的獨(dú)特思考,如何解決這一沖突。3) 如果人工智能出現(xiàn)違反道德規(guī)范的行為,應(yīng)該由誰(shuí)來(lái)負(fù)責(zé)。如何在教育人工智能技術(shù)中體現(xiàn)“透明性”這一倫理原則。對(duì)于身份識(shí)別技術(shù)來(lái)說(shuō),現(xiàn)在人們的智能手機(jī)大多采取指紋識(shí)別技術(shù),但指紋信息能使用膠帶等工具惡意獲取,如何提高身份識(shí)別技術(shù)的可靠性和安全性。如今人臉識(shí)別技術(shù)泛濫,大多數(shù)人未經(jīng)許可即被收集人臉圖像,如何保障用戶的隱私權(quán)和知情同意。相對(duì)于有色人種和女性,目前大多數(shù)人臉識(shí)別技術(shù)對(duì)于白人男性面孔的識(shí)別準(zhǔn)確率更高,如何在人臉識(shí)別技術(shù)中避免性別和種族歧視?

    對(duì)于新聞算法來(lái)說(shuō),除了在具體的推薦算法層面考慮和整合價(jià)值觀外,還需要在組織層面對(duì)其予以考慮,但組織層面需要收集什么數(shù)據(jù)?如何使用收集的數(shù)據(jù)?如何向用戶傳達(dá)新聞機(jī)構(gòu)意識(shí)到收集和處理個(gè)人數(shù)據(jù)的具體責(zé)任?此外,由于ANRs的新聞價(jià)值很難脫離某一特定新聞渠道單獨(dú)討論,那么如何識(shí)別出一般化的價(jià)值概念,從而為更一般的推薦設(shè)計(jì)提供信息?另一個(gè)挑戰(zhàn)是,來(lái)自不同背景的從業(yè)者往往致力于不同的概念化和客觀價(jià)值,如何處理不同從業(yè)者之間的價(jià)值沖突?對(duì)于智慧城市來(lái)說(shuō),由于城市的建設(shè)涵蓋面較廣,如何確定智慧城市先進(jìn)與否的衡量標(biāo)準(zhǔn)?我國(guó)屬于多民族國(guó)家,如何在智慧城市的建設(shè)中體現(xiàn)出對(duì)不同民族人民的關(guān)懷?在這個(gè)經(jīng)濟(jì)快速發(fā)展的時(shí)代,如何避免經(jīng)濟(jì)原則主導(dǎo)城市倫理原則的情況出現(xiàn)?大多數(shù)智慧城市通常是少數(shù)幾個(gè)規(guī)劃設(shè)計(jì)人員和技術(shù)精英的事,如何真正做到讓普通民眾參與城市管理中來(lái)?未來(lái)可考慮研究上述人工智能倫理問(wèn)題的解決方案。

    4 挑戰(zhàn)與展望

    人工智能在促進(jìn)社會(huì)進(jìn)步的同時(shí),也帶來(lái)了諸多倫理問(wèn)題,如制造過(guò)程中產(chǎn)生廢料造成環(huán)境污染、醫(yī)療成本昂貴拉大貧富差距、信息收集造成隱私泄露、機(jī)器人陪護(hù)造成孩童出現(xiàn)情感偏差和認(rèn)知障礙等。然而,在符合倫理的人工智能的設(shè)計(jì)過(guò)程中,不論是采取“自上而下”方法,還是“自下而上”方法,亦或是混合方法都存在著或多或少的弊端和缺陷,無(wú)法使人工智能產(chǎn)品完全遵守倫理規(guī)范。價(jià)值敏感設(shè)計(jì)為解決人工智能倫理問(wèn)題提供了一種新的思路,通過(guò)使用三方方法論及其迭代,能夠徹底地調(diào)查出人工智能產(chǎn)品設(shè)計(jì)過(guò)程中需要考慮的倫理價(jià)值,并將其嵌入到產(chǎn)品的設(shè)計(jì)過(guò)程中去。但目前的研究還處于起步階段,研究成果也較少,仍難以完全解決人工智能快速發(fā)展所帶來(lái)的一系列問(wèn)題,還有許多問(wèn)題尚待解決。現(xiàn)列舉未來(lái)可能的研究重點(diǎn)與方向,以期推動(dòng)本領(lǐng)域研究的發(fā)展。

    1)加強(qiáng)人工智能應(yīng)用自身的基本價(jià)值研究。

    進(jìn)行人工智能倫理研究的一個(gè)核心環(huán)節(jié)是確定人工智能技術(shù)應(yīng)遵循的倫理價(jià)值,并且使價(jià)值列表盡可能詳盡。價(jià)值敏感設(shè)計(jì)的三方方法可以對(duì)人工智能應(yīng)用所涉及的倫理價(jià)值進(jìn)行充分的調(diào)研,這3種調(diào)查方法調(diào)查出的價(jià)值可以分別總結(jié)為概念化價(jià)值、經(jīng)驗(yàn)化價(jià)值和技術(shù)化價(jià)值。從目前的研究來(lái)看,學(xué)者們對(duì)于技術(shù)化價(jià)值的調(diào)查比較缺失,也就是說(shuō),涉及人工智能技術(shù)特殊性的倫理價(jià)值尚未受到關(guān)注。同時(shí),如何體現(xiàn)3種不同類型的價(jià)值之間的異同,當(dāng)前的研究也甚少考慮。此外,為了使價(jià)值列表更全面,需要在調(diào)查中納入更廣泛的利益相關(guān)者,尤其是弱勢(shì)人群和邊緣人群,因?yàn)檫@類人群在人工智能技術(shù)的發(fā)展過(guò)程中最容易受到傷害。

    2)加強(qiáng)人工智能應(yīng)用的設(shè)計(jì)規(guī)范研究

    在確定倫理價(jià)值之后,就需要將其轉(zhuǎn)化為設(shè)計(jì)規(guī)范,而這一過(guò)程的難點(diǎn)在于價(jià)值沖突的處理,由于價(jià)值是模糊且無(wú)法量化的,因此如何考慮不同倫理價(jià)值之間的復(fù)雜權(quán)衡至關(guān)重要。需要注意的是,倫理的構(gòu)建條件是當(dāng)下社會(huì)普遍接受的思想和行為,可見(jiàn)倫理價(jià)值沖突的解決應(yīng)該跟隨時(shí)代的變化而動(dòng)態(tài)地調(diào)整。在不同的人工智能應(yīng)用領(lǐng)域,設(shè)計(jì)規(guī)范的構(gòu)建可能會(huì)出現(xiàn)不一致的現(xiàn)象,這就需要對(duì)設(shè)計(jì)規(guī)范進(jìn)行普適性研究,以節(jié)約時(shí)間成本和減少資源消耗。另一個(gè)重要的問(wèn)題就是描述粒度,若能用更精準(zhǔn)的術(shù)語(yǔ)和概念描述設(shè)計(jì)規(guī)范,則能讓設(shè)計(jì)師更容易地將倫理價(jià)值嵌入人工智能的設(shè)計(jì)中。

    3)加強(qiáng)人工智能應(yīng)用的設(shè)計(jì)實(shí)踐研究

    使用價(jià)值敏感設(shè)計(jì)方法的最終目的是設(shè)計(jì)出符合倫理的人工智能應(yīng)用,真正把理論轉(zhuǎn)化為實(shí)踐,而當(dāng)前的大多數(shù)研究還停留在理論層面,這不僅是因?yàn)槿斯ぶ悄茏陨砻媾R著一些技術(shù)性難題,還因?yàn)槟撤N倫理理論或規(guī)范本身就是計(jì)算機(jī)無(wú)法實(shí)現(xiàn)的,這些問(wèn)題需要研究者們從技術(shù)層面上去著手解決。此外,三方方法是需要不斷迭代的,即使已經(jīng)設(shè)計(jì)出“新版”的人工智能應(yīng)用,依舊可以重復(fù)使用三方方法,對(duì)人工智能應(yīng)用進(jìn)行動(dòng)態(tài)調(diào)整,以設(shè)計(jì)出更符合倫理的人工智能應(yīng)用,這一點(diǎn)在目前的研究中還甚少考慮。同時(shí),如何評(píng)估上述倫理價(jià)值和規(guī)范的有效性,如何評(píng)估人工智能應(yīng)用的行為是否符合倫理,如何實(shí)現(xiàn)人工智能應(yīng)用的倫理穩(wěn)定性,仍是未來(lái)需要進(jìn)一步考慮的研究方向。另外,在實(shí)踐過(guò)程中,還要避免掉入過(guò)度使用價(jià)值敏感設(shè)計(jì)的陷阱中。例如,在國(guó)家或集體價(jià)值與個(gè)人價(jià)值產(chǎn)生沖突時(shí),如果過(guò)度強(qiáng)調(diào)價(jià)值敏感設(shè)計(jì),個(gè)人價(jià)值可能會(huì)被放在首位,而這卻不符合我國(guó)國(guó)家和集體利益至上的社會(huì)主義義利觀。

    5 結(jié)束語(yǔ)

    為了使人工智能遵從人類道德主體的道德規(guī)范和價(jià)值體系,并在法律和道德的規(guī)范下充分發(fā)揮其特定的功能,學(xué)界一直致力于人工智能倫理研究,避免設(shè)計(jì)出不符合人類價(jià)值的人工智能產(chǎn)品。價(jià)值敏感設(shè)計(jì)作為一種考慮人類價(jià)值的前攝性方法,能夠幫助人工智能工程師將倫理道德嵌入人工智能產(chǎn)品中,具有廣闊的應(yīng)用前景。本文對(duì)價(jià)值敏感設(shè)計(jì)進(jìn)行了簡(jiǎn)要介紹,并概述了價(jià)值敏感設(shè)計(jì)應(yīng)用于人工智能倫理的研究案例和發(fā)展趨勢(shì)。雖然價(jià)值敏感設(shè)計(jì)已經(jīng)對(duì)人工智能應(yīng)用的倫理研究做出了一定的貢獻(xiàn),推動(dòng)了人工智能應(yīng)用朝著符合倫理道德的方向發(fā)展,但仍然有必要繼續(xù)探索價(jià)值敏感設(shè)計(jì)為人工智能倫理研究帶來(lái)的更多發(fā)展契機(jī)。從研究現(xiàn)狀來(lái)看,現(xiàn)有的研究主要考慮理論層面人工智能應(yīng)用倫理價(jià)值的構(gòu)建,并沒(méi)有考慮到實(shí)踐過(guò)程中可能會(huì)遇到的難題。未來(lái)這方面的工作應(yīng)該聚焦于如何將倫理價(jià)值轉(zhuǎn)化為設(shè)計(jì)規(guī)范,進(jìn)而將價(jià)值和規(guī)范嵌入具體的人工智能產(chǎn)品設(shè)計(jì)環(huán)節(jié),以設(shè)計(jì)出符合倫理的人工智能應(yīng)用。

    猜你喜歡
    相關(guān)者倫理機(jī)器人
    《心之死》的趣味與倫理焦慮
    護(hù)生眼中的倫理修養(yǎng)
    活力(2019年19期)2020-01-06 07:37:00
    利益相關(guān)者視角的高???jī)效評(píng)價(jià)
    利益相關(guān)者邏輯下相互作用大學(xué)共同治理機(jī)制研究
    XBRL的傳播對(duì)利益相關(guān)者參與程度的影響研究
    機(jī)器人來(lái)幫你
    認(rèn)識(shí)機(jī)器人
    機(jī)器人來(lái)啦
    認(rèn)識(shí)機(jī)器人
    醫(yī)改莫忘構(gòu)建倫理新機(jī)制
    少妇的逼水好多| 夜夜看夜夜爽夜夜摸| 老女人水多毛片| 久久人人爽人人片av| 亚洲欧美清纯卡通| 日韩高清综合在线| 一级毛片我不卡| 麻豆成人午夜福利视频| 国产片特级美女逼逼视频| 在线免费观看不下载黄p国产| 又爽又黄无遮挡网站| 亚洲国产成人一精品久久久| 国产综合懂色| 中文字幕久久专区| 麻豆一二三区av精品| 岛国毛片在线播放| 天堂中文最新版在线下载 | 精品99又大又爽又粗少妇毛片| 国产精品野战在线观看| 国产av码专区亚洲av| 色噜噜av男人的天堂激情| 99九九线精品视频在线观看视频| 美女高潮的动态| 日韩欧美国产在线观看| 精品久久久久久成人av| 日韩精品有码人妻一区| 边亲边吃奶的免费视频| 麻豆久久精品国产亚洲av| 少妇熟女aⅴ在线视频| 日韩视频在线欧美| 美女被艹到高潮喷水动态| 老女人水多毛片| 91精品一卡2卡3卡4卡| 日韩视频在线欧美| 国产精品一区二区三区四区免费观看| 午夜福利在线在线| 国产精品99久久久久久久久| 欧美+日韩+精品| 一级黄色大片毛片| 91午夜精品亚洲一区二区三区| 高清日韩中文字幕在线| 蜜臀久久99精品久久宅男| 永久网站在线| 亚洲怡红院男人天堂| 黄片wwwwww| 亚洲第一区二区三区不卡| 国产伦精品一区二区三区四那| 小说图片视频综合网站| www日本黄色视频网| 国产一区二区亚洲精品在线观看| 亚洲最大成人av| 免费搜索国产男女视频| 日本欧美国产在线视频| 久久久久性生活片| 中文字幕人妻熟人妻熟丝袜美| 中文字幕av在线有码专区| av在线亚洲专区| 少妇的逼水好多| 99久久精品热视频| 97超碰精品成人国产| 久久久久久久久久成人| 国产免费福利视频在线观看| 搡女人真爽免费视频火全软件| 久久久成人免费电影| 国产欧美另类精品又又久久亚洲欧美| 亚洲美女视频黄频| 国产av不卡久久| 一个人免费在线观看电影| 日韩大片免费观看网站 | 日韩一区二区三区影片| 啦啦啦韩国在线观看视频| 免费av不卡在线播放| 97人妻精品一区二区三区麻豆| 久久久久久大精品| 国产在视频线精品| 韩国av在线不卡| 中文字幕亚洲精品专区| 又爽又黄a免费视频| 赤兔流量卡办理| 亚洲国产精品合色在线| 永久网站在线| 高清日韩中文字幕在线| 18禁在线无遮挡免费观看视频| 三级毛片av免费| 久久草成人影院| 国产中年淑女户外野战色| 亚洲成人久久爱视频| 亚洲图色成人| 亚洲国产精品合色在线| 18+在线观看网站| 蜜桃久久精品国产亚洲av| 韩国av在线不卡| 国产色爽女视频免费观看| 国产高清三级在线| 麻豆精品久久久久久蜜桃| 观看免费一级毛片| 中文字幕亚洲精品专区| 亚洲久久久久久中文字幕| 一卡2卡三卡四卡精品乱码亚洲| 乱码一卡2卡4卡精品| 尾随美女入室| 亚洲精品aⅴ在线观看| 国产精品久久久久久精品电影| 国产亚洲最大av| 色播亚洲综合网| 亚洲人与动物交配视频| 天堂影院成人在线观看| 午夜免费男女啪啪视频观看| 日本熟妇午夜| 国产精品一区二区在线观看99 | 看十八女毛片水多多多| 久久久午夜欧美精品| 国产午夜精品久久久久久一区二区三区| 日本猛色少妇xxxxx猛交久久| 午夜精品在线福利| 99热这里只有是精品在线观看| 亚洲在线自拍视频| 国产精品一区二区在线观看99 | 国产乱人视频| 有码 亚洲区| 国产精华一区二区三区| 国产中年淑女户外野战色| a级一级毛片免费在线观看| 国产午夜福利久久久久久| 99热网站在线观看| 听说在线观看完整版免费高清| 亚洲av免费高清在线观看| 又爽又黄无遮挡网站| 男人的好看免费观看在线视频| 欧美bdsm另类| 3wmmmm亚洲av在线观看| 久久这里只有精品中国| 亚洲欧洲日产国产| 亚洲国产最新在线播放| 99久国产av精品| 精品久久久久久久人妻蜜臀av| 你懂的网址亚洲精品在线观看 | 免费观看的影片在线观看| 欧美成人午夜免费资源| 尾随美女入室| 又粗又爽又猛毛片免费看| 美女黄网站色视频| 国产精品久久久久久av不卡| 亚洲一区高清亚洲精品| 赤兔流量卡办理| 中文天堂在线官网| 最近最新中文字幕免费大全7| av国产久精品久网站免费入址| 级片在线观看| 在线a可以看的网站| 欧美日本亚洲视频在线播放| 黑人高潮一二区| 变态另类丝袜制服| 国产片特级美女逼逼视频| 国产精品一二三区在线看| 老女人水多毛片| 欧美不卡视频在线免费观看| 亚洲欧美精品专区久久| 亚洲欧洲日产国产| 麻豆成人午夜福利视频| 国产亚洲av片在线观看秒播厂 | 成人美女网站在线观看视频| 欧美日韩综合久久久久久| 日本午夜av视频| 我要看日韩黄色一级片| 亚洲人与动物交配视频| 精品久久久噜噜| 日本免费在线观看一区| 色综合亚洲欧美另类图片| 久久久精品欧美日韩精品| 99热6这里只有精品| 久久久久国产网址| 国产成人精品婷婷| 中文字幕精品亚洲无线码一区| 国产免费男女视频| 中文字幕久久专区| 中文欧美无线码| 日韩强制内射视频| 色尼玛亚洲综合影院| 欧美精品一区二区大全| 嫩草影院精品99| 午夜亚洲福利在线播放| 久久久国产成人精品二区| 亚洲,欧美,日韩| 婷婷色综合大香蕉| 日韩av在线大香蕉| 内地一区二区视频在线| av天堂中文字幕网| 精品久久国产蜜桃| 嘟嘟电影网在线观看| 国产久久久一区二区三区| 麻豆久久精品国产亚洲av| 久久精品影院6| 国产精品伦人一区二区| 网址你懂的国产日韩在线| 欧美又色又爽又黄视频| 久久6这里有精品| 国产精品熟女久久久久浪| 国产精品国产三级国产专区5o | 欧美+日韩+精品| 波野结衣二区三区在线| 两个人的视频大全免费| 人人妻人人澡欧美一区二区| 亚洲精品成人久久久久久| 亚洲av成人av| 亚洲精品国产成人久久av| 69av精品久久久久久| 亚洲av免费高清在线观看| 韩国高清视频一区二区三区| av在线老鸭窝| 色综合色国产| 一区二区三区高清视频在线| 有码 亚洲区| 欧美xxxx黑人xx丫x性爽| 国产综合懂色| 久久久久久久久久久免费av| 亚洲国产精品sss在线观看| 色吧在线观看| 99热这里只有是精品在线观看| 欧美激情国产日韩精品一区| 国产成人免费观看mmmm| 免费黄色在线免费观看| 日本熟妇午夜| 亚洲一级一片aⅴ在线观看| 一区二区三区乱码不卡18| 中文字幕亚洲精品专区| 男的添女的下面高潮视频| 亚洲最大成人av| 久久精品国产99精品国产亚洲性色| 欧美+日韩+精品| 亚洲18禁久久av| 久99久视频精品免费| 国产又色又爽无遮挡免| 黄片wwwwww| 久久韩国三级中文字幕| 亚洲丝袜综合中文字幕| 日韩人妻高清精品专区| 精品免费久久久久久久清纯| 亚洲不卡免费看| 1000部很黄的大片| 国产不卡一卡二| 一级二级三级毛片免费看| 亚洲综合精品二区| 日本黄色片子视频| 国产大屁股一区二区在线视频| 亚洲无线观看免费| 中文亚洲av片在线观看爽| 只有这里有精品99| 国产私拍福利视频在线观看| 日本免费a在线| 日本欧美国产在线视频| 一级av片app| 精品99又大又爽又粗少妇毛片| 国产欧美日韩精品一区二区| 岛国毛片在线播放| 汤姆久久久久久久影院中文字幕 | 亚洲人成网站在线播| 欧美三级亚洲精品| 少妇的逼好多水| 国产精品美女特级片免费视频播放器| 久久鲁丝午夜福利片| 久久亚洲精品不卡| 在线免费十八禁| 久久久久免费精品人妻一区二区| 国内揄拍国产精品人妻在线| 成年免费大片在线观看| 国产老妇女一区| 国产成人精品婷婷| 女的被弄到高潮叫床怎么办| 国产极品天堂在线| av卡一久久| av在线老鸭窝| 国产极品天堂在线| 三级毛片av免费| 国产精品人妻久久久久久| 国产极品精品免费视频能看的| 精品久久久久久久久亚洲| 特级一级黄色大片| 级片在线观看| 少妇高潮的动态图| 2021天堂中文幕一二区在线观| 国产黄a三级三级三级人| 一级毛片我不卡| 精品人妻熟女av久视频| 欧美成人一区二区免费高清观看| 婷婷色av中文字幕| 久久这里有精品视频免费| 久久精品熟女亚洲av麻豆精品 | 日韩欧美精品免费久久| 免费搜索国产男女视频| 国产精品久久久久久久久免| 久久久国产成人精品二区| 精品酒店卫生间| 日本五十路高清| 变态另类丝袜制服| 老司机影院成人| 中文乱码字字幕精品一区二区三区 | 三级国产精品片| 成人欧美大片| 欧美三级亚洲精品| 久久国产乱子免费精品| 搡老妇女老女人老熟妇| 一卡2卡三卡四卡精品乱码亚洲| 国产精品久久久久久精品电影小说 | 黄色日韩在线| 国产精品无大码| 成人特级av手机在线观看| 久久99热6这里只有精品| 免费观看精品视频网站| 成人亚洲欧美一区二区av| 日韩av在线免费看完整版不卡| 精品久久国产蜜桃| 简卡轻食公司| 联通29元200g的流量卡| 国产一级毛片七仙女欲春2| 免费不卡的大黄色大毛片视频在线观看 | 国产国拍精品亚洲av在线观看| 免费在线观看成人毛片| 亚洲中文字幕日韩| 午夜亚洲福利在线播放| 亚洲无线观看免费| 国产精品一及| 精品无人区乱码1区二区| 国产精品国产高清国产av| 亚洲伊人久久精品综合 | 国产成人freesex在线| 99久久精品热视频| 国产人妻一区二区三区在| 中国美白少妇内射xxxbb| 亚洲内射少妇av| 亚洲人成网站在线播| 1000部很黄的大片| 六月丁香七月| 国产午夜精品一二区理论片| 综合色av麻豆| 成人美女网站在线观看视频| 久久欧美精品欧美久久欧美| 卡戴珊不雅视频在线播放| 成人高潮视频无遮挡免费网站| 国产亚洲91精品色在线| 99热这里只有是精品在线观看| .国产精品久久| 精品久久国产蜜桃| 午夜免费男女啪啪视频观看| 亚洲怡红院男人天堂| 色综合站精品国产| 韩国高清视频一区二区三区| 国产精品一区二区性色av| 国产精品三级大全| 国产精品野战在线观看| av免费在线看不卡| 久久草成人影院| 欧美区成人在线视频| 超碰av人人做人人爽久久| 国产在视频线在精品| 日本与韩国留学比较| 免费黄色在线免费观看| 午夜福利在线观看免费完整高清在| 中文字幕熟女人妻在线| 级片在线观看| 亚洲综合色惰| 久久久久性生活片| 搞女人的毛片| 亚洲av福利一区| 色视频www国产| 大话2 男鬼变身卡| 91精品伊人久久大香线蕉| 成人午夜精彩视频在线观看| 亚洲欧洲日产国产| 非洲黑人性xxxx精品又粗又长| 亚洲av成人精品一区久久| 日本黄色视频三级网站网址| 男人舔女人下体高潮全视频| 淫秽高清视频在线观看| 精品欧美国产一区二区三| 久久人妻av系列| 欧美区成人在线视频| 国产精品av视频在线免费观看| 日本av手机在线免费观看| 国产69精品久久久久777片| av专区在线播放| 中文亚洲av片在线观看爽| 亚洲综合色惰| 欧美成人a在线观看| 精品久久久久久成人av| 欧美不卡视频在线免费观看| 噜噜噜噜噜久久久久久91| 蜜桃久久精品国产亚洲av| 日产精品乱码卡一卡2卡三| 亚洲va在线va天堂va国产| 岛国毛片在线播放| 噜噜噜噜噜久久久久久91| 久久人妻av系列| 国产亚洲av片在线观看秒播厂 | 成人一区二区视频在线观看| 日韩精品有码人妻一区| 少妇人妻精品综合一区二区| 女人久久www免费人成看片 | 青春草视频在线免费观看| 久久人人爽人人爽人人片va| 中文字幕精品亚洲无线码一区| 尾随美女入室| 哪个播放器可以免费观看大片| 18禁在线无遮挡免费观看视频| 亚洲精品456在线播放app| 黄色一级大片看看| 欧美bdsm另类| 久久韩国三级中文字幕| 高清在线视频一区二区三区 | 久久精品人妻少妇| a级毛片免费高清观看在线播放| 精品人妻熟女av久视频| 人人妻人人看人人澡| 日韩一本色道免费dvd| 有码 亚洲区| 亚洲欧美一区二区三区国产| kizo精华| 男人舔女人下体高潮全视频| 亚洲av一区综合| 亚洲国产精品专区欧美| 亚洲aⅴ乱码一区二区在线播放| 嫩草影院新地址| 女的被弄到高潮叫床怎么办| 国产欧美日韩精品一区二区| 天天躁夜夜躁狠狠久久av| 国产一区二区在线观看日韩| 岛国在线免费视频观看| 欧美成人午夜免费资源| 午夜福利网站1000一区二区三区| 变态另类丝袜制服| 国产精品国产三级国产专区5o | kizo精华| 久久精品国产自在天天线| 能在线免费看毛片的网站| 啦啦啦观看免费观看视频高清| 欧美日韩在线观看h| 成人av在线播放网站| 小说图片视频综合网站| 国产精华一区二区三区| 亚洲成色77777| 视频中文字幕在线观看| 久久这里有精品视频免费| 国产亚洲最大av| 国产成人精品一,二区| 99久久精品热视频| 九九爱精品视频在线观看| 国产精品av视频在线免费观看| 久久草成人影院| 婷婷色麻豆天堂久久 | 亚洲av中文字字幕乱码综合| 男女国产视频网站| 可以在线观看毛片的网站| 七月丁香在线播放| 亚洲丝袜综合中文字幕| 精品午夜福利在线看| 在线播放国产精品三级| 亚洲内射少妇av| 国产高清三级在线| 七月丁香在线播放| 亚洲av中文字字幕乱码综合| 亚洲精品国产成人久久av| 天天一区二区日本电影三级| 97在线视频观看| 日韩国内少妇激情av| 欧美成人一区二区免费高清观看| 老司机影院毛片| 亚洲国产成人一精品久久久| 国产精品久久电影中文字幕| 黄色日韩在线| 深爱激情五月婷婷| 91精品一卡2卡3卡4卡| a级毛片免费高清观看在线播放| 干丝袜人妻中文字幕| 日本wwww免费看| 女的被弄到高潮叫床怎么办| 日韩中字成人| 99热这里只有是精品50| 最近最新中文字幕免费大全7| 久热久热在线精品观看| av播播在线观看一区| 色尼玛亚洲综合影院| 精品国产三级普通话版| 亚洲av不卡在线观看| 久久久午夜欧美精品| 国产91av在线免费观看| 少妇丰满av| 超碰97精品在线观看| 精品久久久久久电影网 | 成年版毛片免费区| 91在线精品国自产拍蜜月| 伦精品一区二区三区| 国产精品日韩av在线免费观看| 久久精品熟女亚洲av麻豆精品 | 亚洲av日韩在线播放| 狠狠狠狠99中文字幕| 美女脱内裤让男人舔精品视频| 18禁在线无遮挡免费观看视频| www.av在线官网国产| 偷拍熟女少妇极品色| 国产黄片美女视频| 国产黄色小视频在线观看| 亚洲在线观看片| 国产亚洲午夜精品一区二区久久 | 看十八女毛片水多多多| 男人和女人高潮做爰伦理| 亚洲国产高清在线一区二区三| 成人无遮挡网站| 亚洲成av人片在线播放无| 亚洲欧美日韩卡通动漫| 日本熟妇午夜| 一区二区三区四区激情视频| 熟妇人妻久久中文字幕3abv| 欧美xxxx黑人xx丫x性爽| 国产老妇女一区| 国产在视频线精品| 国产精品1区2区在线观看.| 六月丁香七月| 欧美最新免费一区二区三区| 91久久精品国产一区二区成人| 成人毛片60女人毛片免费| 老司机影院成人| 国产女主播在线喷水免费视频网站 | 久久久精品欧美日韩精品| 国产激情偷乱视频一区二区| 久久这里有精品视频免费| 国产成年人精品一区二区| 伦精品一区二区三区| 国产成人91sexporn| 亚洲天堂国产精品一区在线| 天天躁夜夜躁狠狠久久av| 国产一级毛片在线| 国产一区二区三区av在线| videos熟女内射| 淫秽高清视频在线观看| 国产老妇女一区| 三级国产精品片| 我的女老师完整版在线观看| 欧美日韩国产亚洲二区| 日韩欧美精品免费久久| 国产亚洲5aaaaa淫片| 老女人水多毛片| 中文字幕熟女人妻在线| 插逼视频在线观看| 免费看av在线观看网站| 国产欧美另类精品又又久久亚洲欧美| 熟妇人妻久久中文字幕3abv| 1024手机看黄色片| eeuss影院久久| 老女人水多毛片| 亚洲激情五月婷婷啪啪| 女人被狂操c到高潮| 国产亚洲5aaaaa淫片| 男人和女人高潮做爰伦理| 久久精品国产鲁丝片午夜精品| 久久精品夜夜夜夜夜久久蜜豆| 亚洲国产精品国产精品| 床上黄色一级片| 久久久久久久久久成人| 亚洲av一区综合| 亚洲无线观看免费| 偷拍熟女少妇极品色| 国产精品一区二区在线观看99 | 亚洲av成人精品一区久久| 少妇的逼好多水| 赤兔流量卡办理| 一个人免费在线观看电影| 国产一区有黄有色的免费视频 | 女的被弄到高潮叫床怎么办| 久久久久久伊人网av| 天堂网av新在线| 国产一区二区亚洲精品在线观看| 又爽又黄a免费视频| 日本午夜av视频| 老师上课跳d突然被开到最大视频| 国内精品美女久久久久久| 亚洲aⅴ乱码一区二区在线播放| 在线a可以看的网站| 亚洲欧洲日产国产| 美女高潮的动态| 色综合亚洲欧美另类图片| 女的被弄到高潮叫床怎么办| 两个人的视频大全免费| 一区二区三区免费毛片| 夜夜看夜夜爽夜夜摸| 性色avwww在线观看| 看免费成人av毛片| 国产精品爽爽va在线观看网站| 看免费成人av毛片| 欧美性感艳星| 国产日韩欧美在线精品| 五月玫瑰六月丁香| 亚洲国产精品国产精品| 少妇被粗大猛烈的视频| 少妇人妻精品综合一区二区| 亚洲国产高清在线一区二区三| 99国产精品一区二区蜜桃av| 国产老妇女一区| 免费观看人在逋| 人人妻人人看人人澡| 搡老妇女老女人老熟妇| 国产在线男女| 五月玫瑰六月丁香| 日韩在线高清观看一区二区三区| 亚洲内射少妇av| 色视频www国产| 国内揄拍国产精品人妻在线| a级毛色黄片| 精品熟女少妇av免费看| 日本爱情动作片www.在线观看| 国产成人午夜福利电影在线观看| 婷婷六月久久综合丁香| 成人性生交大片免费视频hd| 精品国内亚洲2022精品成人| 黑人高潮一二区| 亚洲欧美成人精品一区二区|