• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    電車難題與自動駕駛系統(tǒng)算法設計中的倫理考量

    2023-01-24 17:22:54鄭戈
    浙江社會科學 2022年12期
    關鍵詞:電車倫理自動

    □鄭戈

    內(nèi)容提要 自動駕駛汽車是人工智能技術得到全面、綜合應用的產(chǎn)業(yè)領域,涉及到算法自動化決策與人的自主性和尊嚴之間的潛在沖突。由于法律本身的回應性和救濟性特征,導致它無法提前介入到算法設計過程之中,因而無法為算法設計提供向善的指引。我國雖然越來越重視人工智能倫理問題,并為此設立了相關機構,制定了相關規(guī)則,但關于人工智能倫理的討論卻停留在科技向善、以人為本等抽象原則的層面,沒有形成有針對性的自動駕駛汽車算法倫理。本文通過對德國交通與數(shù)字基礎設施部倫理委員會報告、倫理學中的電車難題討論和道德心理學領域的“道德機器試驗”的介紹和分析,討論了為自動駕駛汽車裝上倫理方向盤的必要性和可能的推進方式。

    一、自動駕駛汽車為什么需要倫理?

    2022 年11 月23 日閉幕的上海市十五屆人大常委會第四十六次會議通過了《上海市浦東新區(qū)促進無駕駛?cè)酥悄芫W(wǎng)聯(lián)汽車創(chuàng)新應用規(guī)定》,這意味著車內(nèi)不配備駕駛?cè)撕蜏y試安全員的L4和L5 等級高度自動駕駛和完全自動駕駛的智能網(wǎng)聯(lián)汽車在上海市浦東新區(qū)的劃定路段和區(qū)域不僅可以開展道路測試,而且可以進行示范應用、示范運營和商業(yè)化運營等創(chuàng)新應用活動。這是繼深圳經(jīng)濟特區(qū)于6 月通過《智能網(wǎng)聯(lián)汽車管理條例》后又一自動駕駛汽車領域的重大地方立法進展,表明車上只有乘客而沒有駕駛員的無人駕駛汽車在我國公共道路上行使已經(jīng)不是夢想,而是有法律作為保障的現(xiàn)實。

    另一方面,我國在人工智能倫理方面的制度建設也取得了顯著的成就,并開始積極參與這一領域的國際規(guī)則制定。2022 年11 月16 日,中國裁軍大使李松率團出席在日內(nèi)瓦舉行的《特定常規(guī)武器公約》締約國大會,并向大會提交了《中國關于加強人工智能倫理治理的立場文件》。①文件主張“增進各國對人工智能倫理問題的理解,確保人工智能安全、可靠、可控,更好賦能全球可持續(xù)發(fā)展,增進全人類共同福祉”。在此之前,我國已于2020 年10 月21 日成立了國家科技倫理委員會,發(fā)布了《關于加強科技倫理治理的意見》,在科技倫理原則表述、治理體制、制度保障以及審查和監(jiān)管等方面邁出了重要的步伐。深圳經(jīng)濟特區(qū)和上海市在先后通過的《人工智能產(chǎn)業(yè)促進條例》中都提出了科技向善、以人為本的倫理原則,并且都創(chuàng)設了倫理委員會,引入了倫理風險評估、倫理審查、倫理安全標準管理、倫理指引和倫理教育等制度。

    但是,這兩個方面的發(fā)展并沒有有機結合起來。規(guī)范自動駕駛汽車的法律沒有涉及倫理,涉及倫理的政策性文件和法律中又沒有專門針對自動駕駛汽車的內(nèi)容。這一方面導致自動駕駛汽車算法設計這一最需要倫理指引的人工智能應用領域缺乏倫理指引,甚至缺乏形成倫理共識的制度引導;另一方面又導致倫理方面的規(guī)范性文件過于抽象和空泛,只能提出類似于“科技向善”這樣的原則,對具體行為缺乏明確的引導和評價作用,也缺乏場景適配性和語境敏感性,而這些品性是倫理考量的基本特征。

    自動駕駛汽車是人工智能技術全方位、集成化應用的產(chǎn)物,自動駕駛系統(tǒng)是一個由感知、定位、決策和執(zhí)行模塊組成的復雜系統(tǒng),每一個模塊都涉及到不同的倫理問題。感知模塊借助攝像頭、激光雷達、毫米波雷達等各種傳感器來采集車輛和環(huán)境信息,包括車輛和環(huán)境中的人的信息,這便涉及到隱私、個人敏感信息和其他個人信息。雖然法律上規(guī)定了告知同意、最少必要等原則,但如何通過技術設計來體現(xiàn)這些原則卻涉及到倫理考量與安全考量、性能考量之間的權衡。定位模塊同樣涉及車輛和車輛中的人的信息,這里具體地說就是位置信息,同時,它還涉及到高精地圖,而這又與測繪活動所觸及的國家安全和公共安全等利益息息相關。決策模塊處理感知和定位模塊采集到的信息,并做出相應的選擇:是繼續(xù)沿原來的車道直行還是拐彎?是加速還是減速?是剎車還是通過?執(zhí)行模塊則執(zhí)行決策模塊的選擇,做出相應的“行為”。決策模塊和執(zhí)行模塊從表面上看類似于人的大腦和四肢,能表現(xiàn)意向性和行為,因此也最直接地關系到倫理,即行為主體出于自由意志而做出的行為,因其對他人、對社會產(chǎn)生的影響而接受的規(guī)范性評價。

    最著名的人工智能倫理原則表述,即阿西莫夫的機器人律法②,就是以擬人化地想象機器人能夠自主決策和行動為前提的。但實際上人工智能系統(tǒng)并不會通過解釋文義而有意識地執(zhí)行這樣的準則,它不會像人類那樣通過語言學習和經(jīng)驗累積而直觀地判斷什么是人,什么是傷害,什么是自我保存。讓我們看看一個比自動駕駛系統(tǒng)簡單無數(shù)倍的簡單算法,也就是把垃圾郵件歸入垃圾郵箱的算法。即便是如此簡單的任務,用傳統(tǒng)的符號—邏輯編程方法都難以完成。程序員需要界定無數(shù)個如果(如果郵件地址中包含abcde 等等字符,如果郵件內(nèi)容中包含abcde 等等字符,……),而且即便是在設定了無數(shù)的條件之后,出錯率仍然很高。如今的垃圾郵件歸類算法則采用機器學習的方法,即把相當數(shù)量的郵件分別標注為正常郵件和垃圾郵件,然后讓算法自己去其中尋找模式或規(guī)律,對正確的輸出給予獎勵,對錯誤的輸出給予懲罰,如此不斷優(yōu)化。自動駕駛系統(tǒng)遠比垃圾郵件歸類算法復雜,所涉及的訓練數(shù)據(jù)集更加龐大和多樣,單是幫助系統(tǒng)識別行人和車輛的算法就需要海量的訓練樣本,任何用自然語言或數(shù)學語言表達的一般性規(guī)則都無法變成機器可以執(zhí)行的命令。從這個意義上講,人工智能倫理不是機器的倫理,而是人的倫理,是人工智能設計者的倫理,它旨在為設計者提供道德上的“北極星和羅盤”,指引設計者去選擇符合倫理且技術上可行的設計方案。

    為什么需要在法律中為倫理考量創(chuàng)造空間呢?首先,這是數(shù)字技術時代政府、數(shù)字技術企業(yè)與普通用戶之間新型權力格局的必然需求?!八懔礄嗔Α币呀?jīng)成為當下的基本社會事實,而算力主要并不掌握在政府手中。人類社會生活越來越依賴網(wǎng)絡和數(shù)字技術對海量人類行為數(shù)據(jù)的處理,從網(wǎng)上購物到日常消費支付,從核酸碼到線上會議,從滴滴打車到自動駕駛汽車,每一項日?;顒颖澈蠖忌婕暗剿懔χ巍⑺惴ㄌ幚砗蛿?shù)據(jù)生成。在這樣的總體數(shù)字化環(huán)境中,執(zhí)法者和監(jiān)管者去監(jiān)督數(shù)據(jù)處理的全過程是完全不可能的,讓數(shù)據(jù)主體通過訴訟或?qū)で笮姓葷姆绞絹砭S護自己的權利也只能起到個案糾錯的作用,而無法成為常態(tài)。傳統(tǒng)的權利本位的法律模式和命令—控制本位的規(guī)制模式都無法有效發(fā)揮權利保障和風險控制的作用。在這種背景下,由法律來確定框架性和底線性的基本原則,以平臺責任的形式將遵循這些原則的責任落實到數(shù)據(jù)掌控者和處理者身上,使之內(nèi)化為它們的運營準則和經(jīng)營成本,政府從外部監(jiān)督其合規(guī)行為,在出現(xiàn)可觀察到的疏于履行責任的事件(往往是社會危害后果十分嚴重的事件)時強力介入,嚴厲處罰,這無疑是最為務實的一種制度設計方案。這種模式將權利本位和風險規(guī)制本位的因素融合到一起,形成了所謂的“元規(guī)制”,即強調(diào)監(jiān)管者與被監(jiān)管者之間的合作而非對抗,行為規(guī)則的內(nèi)化,以及法律和倫理原則在整個數(shù)字基礎設施中的泛在化。企業(yè)一方面需要向政府和公眾表明自己在產(chǎn)品和服務設計中體現(xiàn)了保護法定權益和倫理價值的原則,即所謂通過設計保護隱私(privacy by design)、通過設計保障安全(security by design)等等,另一方面需要提出一套標準來規(guī)范設計者的行為,以確保規(guī)?;漠a(chǎn)出不至于埋下出現(xiàn)嚴重后果引發(fā)輿情或?qū)е卤O(jiān)管者介入的隱患。這兩方面的需求都使得企業(yè)本身也有動力去參與倫理原則的提出和公共討論。

    其次,法律本身就是社會的底線倫理,或“義務的道德”,如果突破了法律,人與人之間的和平共處就無法實現(xiàn),基本的社會秩序就無法得到維持。但只有法律是不夠的,因為我們不僅要活著,還要活得有尊嚴感和幸福感,這時候就需要倫理原則指引人們?nèi)プ霾恢褂谑刈〉拙€的對社會有益的事情。在日常社會交往中,倫理是內(nèi)生的,依靠社會評價、同儕壓力和親情友情來“執(zhí)行”。但在人工智能等科技領域,由于信息不對稱和專業(yè)能力不對稱,普通社會公眾很難對某種技術支撐的產(chǎn)品或服務的善惡利弊做出評價,因此需要專業(yè)化和制度化的倫理評價和倫理審查機制。

    第三,法律是回應性的,它只能在特定損害結果發(fā)生后,判斷這種結果是否是因為特定法律關系中的主體由于過錯或違背法定義務而造成的,并且在損害行為與損害結果之間存在因果關系的情況下提供救濟。在人工智能技術遍布于我們?nèi)粘J褂玫母鞣N手機應用、購物平臺、社交媒體和交通工具背后的當下,很多損害結果是難以察覺但卻像溫水煮青蛙那樣惡化著我們的總體生存環(huán)境的,比如大數(shù)據(jù)殺熟、過度獲取和濫用個人信息、誘導青少年上癮的常見用戶界面設計和算法設計等等。在這種資本通過技術肆意利用人性弱點的背景下,個人覺察損害結果本已不易,證明平臺有過錯或違反法定義務更難,而證明因果關系則是難上加難。倫理在此時可以作為法律的補充,事前的倫理指引和倫理審查可以確保用戶界面和算法設計者知曉什么樣的設計是向善的,是在公眾充分知情的情況下能夠被接受的,從而至少確保有可持續(xù)商業(yè)追求的企業(yè)和工程師在進行相關設計時就遵循倫理原則。而法律則在出現(xiàn)可見的嚴重損害結果時強力介入,懲處那些觸碰規(guī)則底線的行為主體。

    第四,法律是一般性和剛性的,它更像是柵欄或圍墻,界分出合法與非法的邊界。它天然缺乏敏捷性、靈活性和場景適配性。如果法律規(guī)則過嚴過密,必會遏制技術創(chuàng)新和產(chǎn)業(yè)發(fā)展;如果過寬過疏,則又會留下巨大的漏洞,使大量模糊而又圓滑的危害民生福祉的行為成為漏網(wǎng)之魚。這對于有人工智能助力的法律主體來說尤其如此。而倫理則具有更強的場景適配性和行業(yè)特定性,它更像是量身定制的合體衣服,由技術專家、人文社會科學家、行業(yè)組織和特定用戶群體通過行為互動和協(xié)商溝通發(fā)展出來,約束從業(yè)者的行為,因此能夠與法律配合營造出既有利于企業(yè)和創(chuàng)新者追求正當利益,又有助于維護個人尊嚴和權利的良好制度環(huán)境。

    最后,法律的規(guī)范性本身就來源于倫理,而倫理則形成于社會生活中的基本預期,包括隱私預期、安全預期和風險預期。法律中的核心概念和標準,都來自于穩(wěn)定的社會預期所支持的倫理準則,比如侵權法中的“注意義務”。康德曾言:“我們總有一天可以不去尋求民法的無窮無盡的雜多條款,而去尋求它們的原則;因為只有在這里面,才包含著人們所說的立法簡化的秘密?!雹圻@里的“原則”,就是上述意義的倫理原則。但對于自動駕駛汽車這樣的新興技術產(chǎn)品,人們就如何與之共處和互動尚未形成穩(wěn)定的社會預期,因此還沒有積累起足夠從中提煉剛性的法律規(guī)則的倫理資源,在這個領域,以倫理討論促進社會共識形成尤為重要,立法不可操之過急。

    二、德國模式

    2017 年,德國議會通過了《道路交通法》的第八修正案,④允許配備駕駛員的高度自動化和完全自動化汽車上路。⑤其中的§1b 款(標題為“車輛駕駛員在使用高度或全自動駕駛功能時的權利和義務”)規(guī)定:

    (1)車輛駕駛員可以在按照第1a 款使用高度或全自動駕駛功能駕駛車輛時不再專注于交通狀況和車輛控制;在這樣做時,他必須保持足夠的警覺,以便可以隨時履行第(2)項規(guī)定的義務。

    (2)車輛駕駛員有義務在下述情況下立即重新控制車輛,

    a.如果高度或全自動系統(tǒng)請求他這樣做,或

    b.如果他認識到或由于明顯的情況必須認識到高度或全自動駕駛功能的預期用途之先決條件不再滿足。

    與這一注意義務分配模式相配套的責任規(guī)則是:如果是在§1b(1)項規(guī)定的情況下使用自動駕駛功能時發(fā)生了交通事故,責任在自動駕駛汽車一方時,由自動駕駛汽車制造商負責賠償;如果是在§1b(2)項規(guī)定的情況下,駕駛員應當接管而未接管,或接管后發(fā)生事故,責任在自動駕駛汽車一方的,則由駕駛員承擔責任。

    與此同時,聯(lián)邦交通與數(shù)字基礎設施部部長亞歷山大·多布林特(Alexander Dobrindt)任命了一個“自動與網(wǎng)聯(lián)駕駛倫理委員會”來討論和確立自動駕駛汽車算法設計的倫理標準。這個委員會由十四名委員組成,分別來自哲學、法律、社會科學、技術影響分析、消費者保護、汽車工業(yè)和軟法開發(fā)等學科和行業(yè)背景,主席由前聯(lián)邦憲法法院法官烏多·迪·法比歐(Udo Di Fabio)擔任。委員會最終提出了一份包含二十項倫理原則的報告。⑥我們可以大致把這些原則分成三類。第一類是確定基本價值并對它們進行排序的原則,比如第一條確認了安全、便捷交通和人的自主性作為基本價值,第二條確認了保護人的生命優(yōu)先于所有功利性價值。第七條要求:“在采取了各種可能的技術審慎措施均無法避免事故的情況下,要把保護人的生命放在首位。在技術上可行的限度內(nèi),系統(tǒng)應當被編程為可以接受對動物和財產(chǎn)的損害,如果這樣做可以避免對人的損害。”

    第二類原則旨在為法律的執(zhí)行創(chuàng)造技術條件,比如要求自動駕駛汽車算法設計必須使車輛能夠辨識、記錄和保存每一時間點上車輛的實際控制者:是人,是車載系統(tǒng),還是遠端控制者,從而為發(fā)生事故時確定責任分配提供證據(jù)支持。

    第十六條:[系統(tǒng)的設計] 必須能夠明確區(qū)分車輛是在使用無人駕駛系統(tǒng)還是一位有可能接管的司機在負責。就并非完全無人駕駛的系統(tǒng)而言,人機交互界面的設計必須使得在每一個時間點上都有明確的規(guī)則,并且能夠辨識責任在哪方,尤其是能夠辨識車輛的控制者。為了明確責任的分配(Zust?ndigkeiten)以及法律責任的承擔(Verantwortung),與車輛操控相關的流程時間和接入規(guī)則都必須被記錄和保存。這對于人和技術交接的情況尤為重要。應當致力于交接程序及其記錄國際標準化,以確保面臨車輛、汽車技術和數(shù)字技術的跨境流動時網(wǎng)絡協(xié)議、記錄格式和義務的可兼容性。

    第三類原則強調(diào)算法決策的限度,確定某些決策只能由人來做出,這里最明顯的例子就是第八條:

    第八條:真正的倫理困境決策,比如生命與生命之間的比較權衡,取決于包含所有參與者的不可預測行為的具體事實情境。這種決策因此無法被標準化,無法根據(jù)一個確定無疑的倫理體系來進行編程。技術系統(tǒng)之設計是為了避免事故,而不是取代或預測一位道德上明辨是非的、負責任的司機的決策,因為它們無法被標準化,以做出對于事故結果的復雜的或直覺性的評估。雖然一位人類司機在緊急情況下可以采取客觀上違法的行為,導致一人死亡而挽回一個或多個其他人的生命,他的行為不一定具有主觀上的可責性。此種考慮各種具體情況的事后裁判難以被轉(zhuǎn)化成抽象的、一般性的事前評估。它們同樣無法被編程。因此我們認為有必要通過一個獨立的公共機構(比如聯(lián)邦自動化交通系統(tǒng)事故調(diào)查局或聯(lián)邦自動和網(wǎng)聯(lián)交通安全局)來系統(tǒng)處理相關經(jīng)驗。

    正如大多數(shù)一般性的抽象原則一樣,這一原則顯得十分合理,而一旦將其置于具體的應用場景之中,立刻暴露出明顯的問題。試想這樣一個完全可能發(fā)生的場景:按照法律所允許的那樣,自動駕駛汽車的駕駛員在開啟了高度或完全自動化的駕駛系統(tǒng)后雙手離開了方向盤,將注意力轉(zhuǎn)移到手機屏幕或車載影音設備上。而車輛在平穩(wěn)行駛一段時間后來到一個十字路口,由于此時面向車輛的交通信號燈是綠燈,車輛保持原速度繼續(xù)直行。這時突然有三名兒童手牽著手沖過馬路,即使剎車也無法立刻停下并避免撞到。唯一的替代方案是向右偏轉(zhuǎn),撞倒遵循交通規(guī)則在直行的一輛摩托車,并可能導致騎手死亡。這時,車輛向駕駛員發(fā)出了接管請求。我們知道,如果一個人持續(xù)專注于一件事情,保持精神上的適度緊張,她便有可能對這件事情中出現(xiàn)的未曾預料的情形做出迅速且有效的處理。而一個人如果已經(jīng)完全放松,或者在專注地做別的事情,突然讓她接手處理她沒有保持持續(xù)注意力的事情中出現(xiàn)的意外,其結果必然是驚慌失措,有可能導致比不采取任何行動更加嚴重的后果,比如因為手忙腳亂亂打方向盤,既撞死了騎手,也撞死了三個兒童。

    倫理委員會匯集了來自不同學科、不同行業(yè)背景的人士圍繞一個問題進行聚焦討論,從而有可能看到單一視角下被遮蔽的問題。同時,倫理討論與立法過程不一樣,無需追求文本內(nèi)容中的邏輯一致性和無矛盾性,因此得以把矛盾和困境呈現(xiàn)出來,供公眾進行進一步的討論。比如,由于認識到了人類接管處理倫理兩難問題這一要求可能導致上述認知和反應能力約束(或稱人類算力約束)下的荒謬結果,報告對技術提出了更高的要求:

    第十七條:高度自動化汽車的軟件和技術應當做到實際上避免在緊急情況下突然將控制權轉(zhuǎn)交給人類司機的情況。為了確保有效、可靠和安全的人機溝通并避免讓人承擔過重的負擔,系統(tǒng)應當更強地適應于人類交流行為并且不要求人類的高度適應能力。

    將第八條和第十七條放到一起,我們可以發(fā)現(xiàn)既要保障人的自主性又要確保安全性/有效性的困難。第八條是對人的尊嚴和自主性的保障,它要求人類承擔起直面?zhèn)惱砝Ь巢⒆龀鲞x擇的責任,拒絕將權衡人的生命價值的決策交給機器,體現(xiàn)了康德所說的“人是目的,不是手段”的義務論倫理立場。而第十七條又承認了人自己的局限性,認識到在出現(xiàn)倫理兩難選擇時人類或許無能力做出符合倫理的選擇,因此要求技術被設計為不能突然要求人類接管。但這兩項要求是不可能同時被做到的。如果機器能夠預見到兩難選擇即將發(fā)生,并在給人類留下充分準備時間的情況下請求人類接管,那么這就不是真正的倫理兩難問題了,甚至不符合普通交通事故的實際情形。所有的事故都是突發(fā)的,而不是讓人有準備時間的。

    在一次訪談中,委員會主席法比歐指出,通過組建這個跨學科、跨行業(yè)的委員會,更容易在技術可能性的限度內(nèi)尋找倫理或法律問題的答案,并且為技術發(fā)展構建規(guī)范指南針(normative Kompass)。委員會的任務是在較短的時間內(nèi)提出可操作的方案。⑦但非常明顯的是,時間約束壓倒了可操作性考量,因為從康德式的“絕對命令”出發(fā)用演繹邏輯的方法推導出倫理原則是比較容易的,而考慮涉及無數(shù)技術細節(jié)的可操作性問題則是需要耗費大量時間的,而且是需要進行大量試驗的。德國交通部倫理委員會所認可的倫理上的“絕對命令”就是確保自主決策并負責的個人(selbst-verantwortlichurteilenden Menschen)始終能夠做出自由選擇并對此負責。由此推演出的原則就是:技術只服務于無爭議的人類價值,比如避免事故、減少交通擁堵、節(jié)能環(huán)保等等,而不能代替人類去處理人類自身都無法給出明確答案的兩難問題。人的自主性在此得到強調(diào),在面臨倫理選擇時,人類的接管成為技術設計上的當然選項。而為了使人類不至于為此承受過重的負擔,機器還需適應人的認知和行為模式,在請求人類接管時不能過于“突然”。這是技術上難以做到的要求。

    在倫理上提出超出現(xiàn)有技術能力的要求是沒有太大問題的,“良師常常對自己的學生提出他知道他們不可能達到的要求。他這樣做的時候是懷著逼出學生的潛力這一值得贊揚的動機”,但法律不能要求不可能做到之事,因為法律是有國家強制力所施加的制裁后果的,要求不可能之事就是強迫人追求卓越,這本身是不道德的。立法者不能將自己的身份混淆為教師:“對于未能做到他所要求之事的學生,老師照樣可以為他們實際上做到的事情而表揚他們,不會因此便顯得虛偽或自相矛盾。在類似的情況中,政府官員面臨的則是這樣一種選擇:要么做出嚴重不義之事,要么對偏離法律要求的情況視而不見,從而導致人們不再尊重法律。”⑧在產(chǎn)品責任法領域,產(chǎn)業(yè)缺陷的判斷是以現(xiàn)有技術發(fā)展水平為基準,而不是以理論上可能達到的技術水平為基準,并允許“發(fā)展風險抗辯”。因此,當?shù)聡?021 年再次修改《道路交通法》⑨時,在接管問題上確立了與倫理委員會提出的倫理原則截然相反的規(guī)則:

    本法所稱的最低風險狀態(tài)是指這樣一種狀態(tài),在其中,車輛:

    3.獨立將自己置于最低風險狀態(tài),如果繼續(xù)行駛只有在違反交通法規(guī)的情況下才能進行;

    5.檢查技術監(jiān)督指定的操作并決定不予執(zhí)行,而是獨立將車輛置于最低風險狀態(tài),如果此種駕駛操作會危及交通參與者或無關人士。

    這是一項極具創(chuàng)新性的規(guī)則,它要求自動駕駛汽車系統(tǒng)被設定為可以拒絕接受人類的接管,如果人類的指令(1)違法;或(2)威脅到他人的安全。這與人類的自主性原則形成明顯沖突,是一種客觀違法性或損害性標準。但如果技術上可以做到,的確是可以減少大量故意或過失造成的交通事故。這種系統(tǒng)不僅應當安裝在無人駕駛汽車上,也應當安裝在人類駕駛的車輛上。試想,如果大連“五·二二”事件⑩中肇事車主駕駛的是一輛安裝了此種自動駕駛系統(tǒng)的車輛,即使他想要去撞死行人,車輛也不會聽從他的指揮,這不僅可以避免多人傷亡的結果,也可以使他本人避免犯下后來被判處死刑的罪行。

    德國交通部倫理委員會的工作給我們?nèi)c啟示:首先,法律和倫理的交織和互補才能確保科技向善。倫理討論可以揭示出自動駕駛汽車算法設計中需要考慮的為確保人的尊嚴和人類福祉所必須的因素,促使科技界和產(chǎn)業(yè)界圍繞這些因素去尋找技術方案。在尚未普遍進入社會生活領域的新興技術領域,由于還未形成社會的道德共識和穩(wěn)定預期,立法恐操之過急,制度化的倫理討論可以帶動公共討論。哪怕一開始提出的倫理原則不夠完善,不具有技術可行性,但文本的形成有助于公共討論的聚焦和細化深入,為此后的立法創(chuàng)造條件。其次,人工智能倫理要走出抽象原則的層面,真正落實為設計理念中不可或缺的要素,便需要結合具體的應用場景提出細致的對設計行為有指導意義的具體原則。德國交通部倫理委員會報告提出的二十項原則便是迄今可見的最細致的自動駕駛汽車算法設計倫理原則。這些原則雖然還不夠完善,甚至存在上面分析過的顯見內(nèi)在矛盾,但卻已經(jīng)為進一步的提煉和發(fā)展打下了基礎。第三,倫理委員會的工作也幫助德國汽車工業(yè)樹立了重視倫理的形象,進一步增強了德國品牌的競爭力。上述報告形成之后很快就成為德國在國際交通政策對話中的王牌,并很快在G7 和G20 的交通部長會議上得到各國的認可。

    三、電車難題

    德國交通部倫理委員會報告中提到的必須交給人去決策的“真正的倫理困境決策,比如生命與生命之間的比較權衡”,就是倫理學上經(jīng)典的“電車難題”。這個最早由英國倫理學家菲利帕·福特提出的思想試驗迄今已經(jīng)催生了無數(shù)的研究文獻,以至于形成了所謂的“電車學”。毫無意外的是,絕大多數(shù)關于自動駕駛汽車倫理的討論都會提到電車難題,并基于對電車學在自動駕駛領域應用前景的態(tài)度而分為“電車樂觀主義”和“電車悲觀主義”?!半娷嚇酚^主義”認為電車學的既有學術成果為發(fā)展自動駕駛技術倫理準備了豐富的理論資源,只要將這些理論資源稍加調(diào)整,使之更有針對性,就可以從中提煉出適用于自動駕駛汽車算法設計的倫理。而“電車悲觀主義”則相反,認為電車學所體現(xiàn)出的思維方式與自動駕駛系統(tǒng)所使用的機器學習方式存在本質(zhì)的區(qū)別,電車學對于思考自動駕駛汽車相關的倫理問題沒有太大幫助。基于對自動駕駛汽車背后的機器學習算法的理解,本文認為電車悲觀主義的立場更符合技術可能性。電車學的基本假定是:(1)存在一個獨立的理性主體;(2)這個理性主體對車禍場景中的所有選項及其后果都有充分的信息;(3)這個理性主體可以根據(jù)這些信息做出道德判斷,選擇特定的行動,并承擔相應的道德和法律責任。但這些假定對于人類來說就是不成立的,對于自動駕駛系統(tǒng)來說更是與其技術原理格格不入。在車禍發(fā)生時,駕駛員大多是憑本能而不是理性判斷行動,她往往看不到所有的選項,即使看到了往往也來不及根據(jù)理性選擇采取行動。而自動駕駛系統(tǒng)所采用的機器學習算法是從無數(shù)人類駕駛行為數(shù)據(jù)和模擬駕駛數(shù)據(jù)中進行學習,找出其中的規(guī)律或模式,選擇決策邏輯并不斷優(yōu)化的。它不是一個按照演繹邏輯來推理的決策者。如前所述,這也是唯一技術上可行的路徑。按照演繹邏輯編程的機器貌似算法透明邏輯清晰,但就連識別垃圾郵件這樣的相對簡單的任務都無法很好地完成,因為程序員需要將符合垃圾郵件特征的所有條件都事先編寫成代碼,這是一項難以完成的任務。同時,作為人工智能的自動駕駛系統(tǒng)并不具備“上帝視角”,它在視覺、聽覺等方面還不如人類,目前導致人類死亡的自動駕駛汽車車禍,從中國的高雅寧駕駛特斯拉Model S 出車禍到美國的Uber 自動駕駛汽車車禍和特斯拉Model S 車禍,都是因為自動駕駛系統(tǒng)未能識別出前方車輛或人,而且都是在能見度很高的情況下,也就是說,在駕駛員沒有轉(zhuǎn)移注意力去做別的事情可以很容易看到的情況下。計算機視覺不是人們所想象的類似于人類的那種視覺,而是一種基于對大量樣本的“學習”而形成的概率論判斷。更具體地說,計算機視覺本質(zhì)上是某種概率論的分類器,比如樸素貝葉斯分類器、決策樹、支持向量機或邏輯回歸模型。這種方法與人基于感知、直覺和經(jīng)驗的判斷相比仍有相當大的差距。?雖然這在大多數(shù)情況下不會妨礙人工智能實現(xiàn)其功能,正如荷蘭計算機科學家、圖靈獎得主艾茲赫爾·戴克斯特拉(Edsger W.Dijkstra)所說:“追問計算機能否像人那樣思考,并不比追問潛水艇是否會像人那樣游泳更有趣”,?但對這一技術現(xiàn)實的理解至少可以讓我們認識到人工智能技術(包括自動駕駛技術)的局限性以及對其做擬人化理解的不可取性。盡管如此,由于電車難題目前占據(jù)了人工智能倫理討論(尤其是自動駕駛汽車倫理討論)的核心位置,我們還是有必要理解它的邏輯和作用。

    “電車難題”起源于一個與自動駕駛汽車無關,甚至與電車也沒有關系的語境中,菲利帕·福特提出這個假想的例子是為了分析人們反對人工流產(chǎn)的理由,尤其是分析其中的一個經(jīng)常被天主教徒提出的理由,即“雙重效應學說”(The Doctrine of the Double Effect,簡稱DDE):一個行為可能導致兩個結果,一個是行為主體想要獲得的結果,另一個是其可以預見但不一定想要的結果。?為了實現(xiàn)一個好的結果,可以預見的壞結果在某些情況下是一種不得不接受的代價。反之,故意為惡(比如殺害一個人)是應當絕對被禁止的,哪怕這樣做可以挽救另一個人的生命。因此,按照反對人工流產(chǎn)的天主教徒的觀點,施行人工流產(chǎn)手術來挽救一位難產(chǎn)的孕婦的生命是不應當被允許的,因為施行這種手術的人故意殺害了一個人(胎兒)的生命,盡管這樣做的結果是救回了孕婦的生命。因為孕婦的死亡不是醫(yī)生故意導致的,而胎兒的死亡則是。殺人顯然比眼睜睜看人死亡更加惡劣。這里涉及兩項義務:一是不傷害他人的消極義務,二是為他人提供幫助的積極義務,前者比后者更為優(yōu)先。為了分析這個學說,福特假設了各種例子,其中一個就是:一輛剎車失靈的有軌電車(福特用的詞是tram,而不是后來的電車難題討論者們用的trolley)駛到了一個岔路口,按原定路線開會撞死軌道上五位正在施工的工人,而轉(zhuǎn)到另一條軌道會撞死一位工人,這時司機應當如何選擇。福特指出,“雙重效應學說” 這時指出了一條幫助司機走出道德困境的出路:變道去撞向一個人,從而使五個人得救,因為這時司機不是故意想要殺害這個人,而只是預見到這個人可能會因為自己的變道而被撞死,更何況這個人還有一線生機,比如發(fā)現(xiàn)電車開過來驚險地躲開,因為此時他的自主行動能力并沒有被剝奪,這與胎兒的情況不同。福特的整篇論文是復雜而沒有定論的,她舉的有些例子證明雙重效應學說得出的結論是符合道德直覺的,而另一些例子則說明雙重效應學說會得出與人們的道德直覺相悖的荒謬結論。有軌電車的例子屬于前者。

    可以看出,福特所描述的電車難題的例子在表述上還比較粗糙,很容易被人挑出毛病,比如很難說這位司機的變道選擇不是故意殺害那一位工人,因為他畢竟是司機,他選擇了變道,他明知變道會導致那一位工人的死亡。另一位著名的道德哲學家朱迪斯·查韋斯·湯森發(fā)現(xiàn)了這個問題,認為這個例子中司機做的事情與下面這個例子中的醫(yī)生所做的事情很難區(qū)分開來:有一位手術技藝無可挑剔的醫(yī)生,最擅長做器官移植手術,他目前有五位垂危的病人,兩位各自需要一片肺,兩位各自需要一個腎,一位需要一顆心。有一位健康的年輕人恰好來體檢。這位醫(yī)生可以把這個年輕人拆了救這五位病人嗎?從表面上看,這兩個例子大不相同,但湯森認為它們在分析的意義上并無二致:都是為了救更多的人而犧牲一個人,都并不希望這個人的死亡(有人會說:天哪,你都把人的心肺腎摘了還不希望人家死亡?但福特的司機同樣是故意撞向了那個工人。兩者都沒有征求被犧牲者的同意)。湯森追問:為什么第二個例子會引起巨大的道德反感,而第一個不會?為此,她設計出兩個更精致版本的電車難題例子:

    例一,一輛失控的電車駛來,沿原軌道它會撞向五位正在施工的工人,而如果它變道則會撞向一位工人。這時一位正好站在扳道機旁的路人面對一個選擇:要不要扳道?

    例二,一輛失控的電車駛來,撞向五位正在施工的工人,它會先從一個天橋下穿過。你是天橋上的路人,你旁邊有一個胖子,你準確地估算如果把這個胖子推下天橋落在軌道上,能有效地讓電車停下來。你要不要把他推下去?

    通過把司機替換成路人,湯森得以論證:站在扳道器旁的路人通過扳道“不僅僅是最小化了事故所造成的死亡人數(shù);他最小化了已經(jīng)在威脅人的生命的不可避免的事故所造成的死亡人數(shù),無論這位路人做什么,都會有人死亡”。?換句話說,路人只是撥轉(zhuǎn)了死神的矛頭,使它指向一個人而不是五個人,但死神并不是他招來的。但天橋上的胖子這個版本卻不一樣。胖子本來是一個局外人,他站在天橋這個安全空間里。如果沒有被人為地推下天橋,他是無法預期也沒有理由預期自己會被天橋下的車輛撞到的。將胖子推下天橋的行為是將胖子當成實現(xiàn)外在于他的主觀世界的工具(這時把胖子替換成大石頭也能達到同樣的目的,如果碰巧有塊大石頭的話)。?如果他是自愿做出犧牲就另當別論了。外科醫(yī)生的例子與推胖子的路人的例子一樣,而與扳道的路人的例子不一樣,這便解釋了為什么例一中路人應當扳道,而例二中的路人不應推下胖子。

    為了使自己的論證更加嚴謹周延,湯森還加上了一個時態(tài)限定,也就是共時性的現(xiàn)在進行時:“如果一個人面臨著此時此刻(here and now)立即采取某種行動的選擇,一是做出一個行為會導致五個人死亡,二是做出另一個行為會導致一個人死亡,那么(在其他條件相同的情況下)他應該選擇第一種行為而不是第二種。”?在外科醫(yī)生的例子中,健康的年輕人與五位病人的生命危險既非同源,亦非共時,如果不殺害這位年輕人,五位病人也還可以等待合適的捐贈器官,無論可能性是大還是小。這與無法避免的交通事故場景完全不同。

    湯森把司機替換成路人后,使得電車難題具有了與自動駕駛汽車倫理議題表面上的直接相關性:例子中的路人可以替換成自動駕駛系統(tǒng)。討論者們天真地認為,只要將道德哲學家們已經(jīng)通過周密的分析論證得出的結論用代碼寫進程序,讓機器去執(zhí)行,就可以一勞永逸地解決現(xiàn)實世界中類似于電車難題那樣的問題了。但正如前面已經(jīng)討論過的,機器學習算法所采用的不是三段論式的演繹推理,而是學習大量范例的經(jīng)驗主義方法,而且這是包括自動駕駛技術在內(nèi)的人工智能技術之所以能夠比傳統(tǒng)的編程更有能力處理真實世界中的復雜問題的原因所在。用哥德爾不完備性定理的表述方式,我們可以說:形式邏輯上越自洽的系統(tǒng)對真實場景的覆蓋越不完整,能夠處理的問題越簡單;而覆蓋了越多真實場景應對經(jīng)驗的算法,在形式邏輯上越不自洽。像電車難題這樣假設其他條件相同的前提下孤立出A、B 選項的思維方式,如果用來給自動駕駛汽車編程,它就完全無法上路了。為了讓自動駕駛汽車能夠應對真實世界的電車難題,就必須用大量的事故場景數(shù)據(jù)集來訓練它,但真實世界中的此種場景是很少的,無法滿足訓練的需要,因此還需要人為創(chuàng)造出許多模擬電車難題場景的數(shù)據(jù)。這樣做不僅成本巨大,而且還存在很大的潛在風險,比如,一輛學習了大量應對電車難題的數(shù)據(jù)的自動駕駛汽車,在本來不至于發(fā)生事故的場景中,“看到”馬路一邊出現(xiàn)了五個人,另一邊出現(xiàn)了一個人,它可能選擇去撞那一個人,以“挽救”本來不需要它挽救的五個人。試圖將電車難題作為自動駕駛汽車算法設計中倫理考量之重點的人士,完全無視了它的技術特點,只關注到它最后表現(xiàn)出的“行為”上,而忽視了訓練出這種行為的前期工作中需要思考的包含倫理考量的問題,比如:(1)通盤的訓練數(shù)據(jù)集合:在這個總體的數(shù)據(jù)集合中,有多少數(shù)據(jù)應該專門用來訓練處理電車難題式事故的能力;(2)結構:假設事故場景被包含在訓練理想駕駛操作的數(shù)據(jù)集中,這些場景的結構是否應該被設計成像電車難題那樣?(3)裁斷:是否應該以道德哲學家們關于如何在電車難題場景下做出選擇的學說為標準來“獎勵”和“懲罰”算法,使之最終能夠做出令道德哲學家們滿意的決策?如果是,應該采納哪位或哪些道德哲學家的學說?要知道她們的學說可是不一樣的,甚至有些是截然相反的。而將“電車學”思維方式引入自動駕駛汽車討論的學者們多數(shù)關心的只是最后一個環(huán)節(jié),即(4)是否應當按照電車難題那樣的結構來設計自動駕駛汽車算法,使之在不可避免的事故場景出現(xiàn)時像道德哲學家們(現(xiàn)在先不管她們之間的分歧)所希望的那樣去行動??出于對這些因素的考慮,我認為在思考自動駕駛汽車倫理問題時,應當避開電車難題,或至少要將它擺到相當次要的位置。電車難題的意義在于訓練人的倫理思維,而不適合用來訓練機器。

    四、道德機器試驗

    電車難題是道德哲學家或倫理學家們構建出來的思想試驗,其主要目的在于通過類似于數(shù)學運算那樣的推演過程,澄清在其他條件相同的情況下如何區(qū)分和判斷選項A 與選項B 的倫理分值。但人類的現(xiàn)實生活卻永遠不是因變量和自變量、A選項和B 選項般界限分明的,我們所面對的所有現(xiàn)實問題都要求在信息不完備、行動結果不確定的情況下去采取行動。自動駕駛汽車所融入其中的交通場景尤其如此。因此,相較于倫理學層面的演繹推理式討論,對相關立法、倫理原則發(fā)展和公共政策制定更有幫助的是社會科學的經(jīng)驗研究。通過這種研究,我們才能了解與自動駕駛汽車相關的社會預期和社會上多數(shù)人面對類似于電車難題那樣的場景時愿意做出的選擇,從而確定法律上的注意義務標準、責任分配原則以及風險規(guī)制強度。在這方面,“道德機器試驗”是一個很好的范例。?

    2015 年,三位分別來自法國和美國的科學家通過亞馬遜的眾包平臺(Amazon Mechanical Turk)進行了一項涉及1928 位受試者的線上心理試驗。這項試驗具有十分明確的現(xiàn)實針對性:要讓一種新技術產(chǎn)品被社會所接受,制造商和立法者都需要發(fā)展或制定出與這種產(chǎn)品相關的體現(xiàn)倫理的公共敘事和立法,這套公共敘事必須滿足三個條件:(1)具有內(nèi)部邏輯一致性(不自相矛盾);(2)不引起公眾反感;(3)對消費者有吸引力。這項試驗就是試圖搞清楚:自動駕駛汽車當然應該以安全為首要設計目標,但在事故難以避免而不得不兩害相權取其輕的場合,人們期待算法設計讓汽車做出何種選擇?試驗的方式是設計出若干類似于“電車難題”的自動駕駛汽車交通事故中的選擇難題,讓受試者在各種選項中做出選擇。?這一試驗得出的最重要發(fā)現(xiàn)就是:

    1.絕大多數(shù)人都希望無人駕駛汽車被編程為:在采取了各種可能的預防措施都無法避免事故的情況下,如果車內(nèi)乘客的人數(shù)少于車外潛在受害者的人數(shù),車輛須犧牲自己(包括車內(nèi)乘客)以避免傷害他人。

    2.絕大多數(shù)人都表示不會購買如此編程的車。

    這一發(fā)現(xiàn)與更具一般性的“社會困境”(即“囚徒困境”的擴大版)高度一致:

    設想一種情境,在其中每一個人都面臨一種選擇:是選擇社會合作性(或利他主義的)行動X,還是選擇自利的行動Y。

    1.幾乎所有的人都會選擇生活在一個所有的(其他)人都做X 而不是Y 的社會。換句話說,沒有人喜歡生活在一個所有人都自私的世界。

    2.但是,所有的人都會因為做Y 而獲益。換句話說,不管其他人怎么做,我都寧愿生活在一個我有自由/權利做Y 的世界。

    此項研究澄清了一個制度設計上的關鍵問題:自動駕駛汽車畢竟是一種消費產(chǎn)品,為了讓這種產(chǎn)品能夠有銷路,車內(nèi)乘客的安全應當被放在首位或者說應當被排除在功利主義計算之外。自動駕駛汽車內(nèi)部應當是法律所劃定的一個安全空間,就像步道、人行橫道和安全島一樣。

    這項研究成果在《科學》雜志上發(fā)表后,引起了很大轟動。原作者與麻省理工學院媒體實驗室合作設計了一個專門的網(wǎng)站來繼續(xù)這一試驗,旨在“量化對應當指引機器行為的倫理原則的社會預期”,并進而為提出“普世機器倫理”(Universal Machine Ethics)做好準備。這個被命名為“道德機器” 的網(wǎng)站共收到來自233 個國家和地區(qū)的上千萬志愿者對道德困境問題做出的四千萬項決策,是迄今為止最大規(guī)模的心理學試驗。這次的研究成果在《自然》雜志上發(fā)表。?在“道德機器”網(wǎng)站?的主界面上,用戶可以依次看到13 種不可避免的車禍場景,取決于是保持車道還是轉(zhuǎn)彎,每一種場景都有兩種不同的可能結果,用戶可以點擊選擇他們認為更可以接受的結果。選擇主要圍繞九個因素:避免撞人還是避免撞寵物;一直保持車道還是轉(zhuǎn)向;優(yōu)先保護車上乘客還是優(yōu)先保護行人;保持車道撞向較多的人還是轉(zhuǎn)向撞倒較少的人;撞男性還是撞女性;撞年輕人還是撞老年人;撞遵守交規(guī)過馬路的行人還是撞亂穿馬路的人;撞健康的人還是撞不健康的人(從身材判斷);撞社會地位較高的人還是撞社會地位較低的人(從衣著判斷)。還有若干場景涉及不包括在上述類型中的特定角色,比如罪犯和社會貢獻很大的專業(yè)人士(比如科學家和醫(yī)生)以及孕婦。這項試驗只發(fā)現(xiàn)了三項跨文化、跨國別的普遍道德偏好,即人的生命優(yōu)先于動物的生命、更多人的生命優(yōu)先于更少人的生命、年輕人的生命優(yōu)先于老人的生命。圍繞其他因素的選擇則呈現(xiàn)出極大的文化差異性,即使在同一區(qū)域、同一國家、同一文化群體內(nèi)部,離形成共識或者哪怕是大多數(shù)人同意的距離也較遠。而比較有共識的三項道德偏好,除了人的生命優(yōu)先于動物的生命以外,如果作為預先編程的設計都涉嫌違反法律,尤其是年齡(以及其他場景中涉及的性別、職業(yè)、身材、社會地位等等)屬于法律禁止作為區(qū)別對待之基礎的歸類,基于這些歸類的區(qū)別對待構成歧視。由此可見,德國交通部倫理委員會報告所提出的倫理原則中唯一允許機器自動化執(zhí)行的選擇是在事故難以避免的情況下可以犧牲動物和財產(chǎn)來保護人的生命,這一選擇是符合社會預期的。

    這項研究的政策和法律意義在于為今后的制度設計提供了關于社會道德預期的相對可靠的經(jīng)驗研究結論。正如作者所言:

    關于指導自動駕駛汽車的倫理原則的決定不能完全由工程師或倫理學家來做出。為了讓消費者從傳統(tǒng)的人工駕駛汽車轉(zhuǎn)向自動駕駛汽車,為了讓廣大公眾接受人工智能驅(qū)動的汽車在他們的道路上擴散,這兩個群體都需要了解被編程進這些自動駕駛汽車的倫理原則的起源。換句話說,即使倫理學家就自動駕駛汽車應該如何解決道德困境達成一致,如果公民不同意他們的解決方案,他們的工作也將毫無用處,無法促使公眾選擇自動駕駛汽車承諾的未來,從而改變交通現(xiàn)狀。任何設計人工智能倫理的嘗試都必須建立在至少了解公共道德的基礎上。?

    結論

    倫理考量是自動駕駛汽車算法設計中不可缺少的因素,但企業(yè)出于利益最大化的動機往往缺乏內(nèi)生激勵來將倫理考量納入自己的產(chǎn)品設計流程,因此需要國家通過法律來促使或迫使企業(yè)追求符合倫理的設計。同時,倫理原則不能只是恰好被賦予倫理把關權的那些人的個人道德偏好的表述,而必須是社會共識的產(chǎn)物,符合一般性的社會預期,因此需要通過制度設計來引導社會展開自動駕駛方面的倫理問題研究和討論,促進社會共識的形成。從長遠來看,重視倫理考量的商業(yè)氛圍和社會環(huán)境不僅有利于企業(yè)競爭力的形成,而且有助于一個國家的整個行業(yè)獲得國際競爭力?;谏鲜隹紤],本文提出五項具體的建議:

    首先,除了目前已經(jīng)設立的國家科技倫理委員外,交通部內(nèi)部應當設立專門針對自動駕駛汽車的倫理委員會。一方面負責提出供立法和公共政策制定者參考的倫理指導意見,另一方面引導行業(yè)和教育科研機構展開倫理討論和倫理教育,將倫理意識的培育納入到促進產(chǎn)業(yè)發(fā)展、實現(xiàn)交通強國的戰(zhàn)略之中。

    其次,應當在自動駕駛汽車測試、示范運營和商業(yè)運營的管理機制中加入倫理審查環(huán)節(jié),由主管部門負責召集跨學科、跨行業(yè)、跨領域的人士組成倫理委員會,對自動駕駛汽車算法設計是否以及如何貫徹了政府的倫理指導意見和行業(yè)的倫理標準進行審查。這可以促使企業(yè)形成自己內(nèi)部的倫理原則和倫理考量。

    第三,我國汽車工業(yè)和數(shù)字技術領域的專業(yè)協(xié)會和行業(yè)協(xié)會應當像IEEE 那樣在關注科技議題的同時注重倫理標準的研發(fā),提出中國版的符合倫理的設計準則,并圍繞著這些準則凝聚行業(yè)共識,使中國的自動駕駛汽車系統(tǒng)、產(chǎn)品和服務在具有更高質(zhì)量的同時體現(xiàn)更高的倫理品質(zhì)。

    第四,應當在大學的相關專業(yè)(比如電子電氣、計算機、自動化和汽車制造)中設置倫理課程,比如本文作者所在的大學就在電子信息與電氣工程學院開設了“人工智能思維與倫理”課程?,不僅教育未來的算法設計者具備倫理考量的意識和能力,而且通過文理工交叉的教學和科研尋找技術上可能的科技倫理落實方案。

    最后,我國應借助已有的國際磋商機制(比如聯(lián)合國、G20、東盟等等)積極提出并倡議本國提煉和發(fā)展出的自動駕駛汽車算法倫理原則,參與和引領相關國際標準和規(guī)則的形成與制定,為未來交通注入中國元素,創(chuàng)造中國空間。

    注釋:

    ①《中國關于加強人工智能倫理治理的立場文件》,載中華人民共和國外交部網(wǎng)站,http://newyork.fmprc.gov.cn/ziliao_674904/tytj_674911/zcwj_674915/202211/t20221117_1 0976728.shtml。

    ②機器人律法(Laws of Robotics)是美國科學家和科幻小說作家伊薩克·阿西莫夫在1942 年的短篇科幻小說“轉(zhuǎn)圈圈”中提出的內(nèi)置于機器人設定中的倫理法則。其最初版本包含三項法則:1.一個機器人不能傷害一個人,也不能因為不作為而導致一個人被傷害;2.一個機器人必須服從人類對它的命令,除非該命令與第一律法相沖突;3.一個機器人必須保護自己的生存,只要這種自保不與第一和第二律法相沖突。Isaac Asimov,“Runaround”,in I,Robot,London: HarperVoyager,2013,p.31.

    ③[德]康德著:《純粹理性批判》,鄧曉芒譯,楊祖陶校,人民出版社2017 年第2 版,第201 頁。

    ④Achtes Gesetzzur ?nderung des Straβenverkehrsgesetzes(8.StVG?ndGk.a.Abk.) G.v.16.06.2017 BGBl.I S.1648(Nr.38);Geltung ab 21.06.2017,可下載于:BGBl.I 2017 S.1648-Achtes Gesetz zur ?nderung des Straβenverkehrsgesetzes-dejure.org.

    ⑤有不少評論者認為這部法律只允許L3 及以下級別的自動駕駛汽車上路,這是錯誤的理解。實際上,這次修訂已經(jīng)允許L4 和L5 級別的自動駕駛汽車上路了,只不過要求其必須有駕駛員。導致誤解的原因是不少人混淆了技術等級和法律要求,L4 和L5 級別的自動駕駛汽車在技術上可以做到自主控制,不需要駕駛員,但法律要求其必須有駕駛員。法律要求并不因此降低車輛的自動化技術等級。

    ⑥Ethik -KommissionAutomatisiertes und Vernetztes-Fahren,Eingesetztdurch den Bundesminister für Verkehr und digitaleInfrastruktur,Bericht,Juni 2017,可下載于:berichtder-ethik-kommission.pdf (bund.de).

    ⑦“Paternalistischsindschon die Internetkonzerneunterwegs.” Staatsrechtslehrer Udo Di Fabio empfiehlt das Prinzip der PrivatautonomiealsKompass für die Regulierung des Internets Ein Interview.Sankt Augustin/Berlin: Konrad-Adenauer-Stiftung e.V.2018.

    ⑧[美]朗·富勒著:《法律的道德性》,鄭戈譯,商務印書館2005 年第一版,第84 頁。

    ⑨2021 年7 月,德國聯(lián)邦議會通過《修訂道路交通法和強制保險法的法律——自動駕駛法》(以下簡稱德國“自動駕駛法”),Gesetzzur?nderung des Straβenverkehrsgesetzes und des Pflichtversicherungsgesetzes-Gesetzzumautonomen-Fahren,下載網(wǎng)址:https://www.bgbl.de/xaver/bgbl/start.xav?startbk=Bundesanzeiger_BGBl&start=//* [@attr_id=%27bgbl121s3108.pdf% 27]#_bgbl_% 2F% 2F*% 5B% 40attr_id%3D%27bgbl121s3108.pdf%27%5D_1641381743887。此處所引條款在§1e(2)。由于高度和完全自動化汽車上不再有司機,監(jiān)督車輛運行狀態(tài)的人被稱為 “技術監(jiān)督”(TechnischenAufsich)。

    ⑩2011 年5 月22 日,劉某駕駛一輛黑色寶馬轎車在大連市中山區(qū)五惠路由西向東行駛至勞動公園北門人行過道斑馬線處,在等候綠燈指示時突然發(fā)動車輛,在7 秒鐘內(nèi)將速度從0 提高到108 公里/小時,故意沖撞行人,導致5 人死亡,多人受傷。2021 年10 月13 日,大連市中級人民法院公開開庭審理了劉某以危險方法危害公共安全案,判處劉某死刑,剝奪政治權利終身。

    ?關于概率論的算法與決定論的算法之差異及其對法律和倫理分析的意義,請參閱鄭戈:《算法的法律與法律的算法》,《中國法律評論》2018 年第2 期。

    ?轉(zhuǎn)引自:Virginia Dignum,Responsible Artificial Intelligence: How to Develop and Use AI in a Responsible Way,Springer Nature,2019,p.116.

    ?Philippa Foot,“The Problem of Abortion and the Doctrine of the Double Effect,” Oxford Review,Number 5,1967.p.5-15.

    ?Judith Jarvis Thomson,“The Trolley Problem,”94 Yale Law Journal 1395 (1985),p.1408.

    ?David Edmonds,Would You Kill the Fat Man? The Trolley Problem and What Your Answer Tells Us about Right and Wrong,Princeton University Press,2014,p.38.

    ?Judith Jarvis Thomson,“The Trolley Problem,”p.1415.

    ?對這些問題的詳盡討論請參閱Jeff Behrends and John Basl,“Trolleys and Autonomous Vehicles New Foundations for the Ethics of Machine Learning,” in Ryan Jenkins,Davidern,and TomHíbek (eds.),Autonomous Vehicle Ethics:The Trolley Problem and Beyond,Oxford University Press,2022,p.58-79.

    ?關于道德機器試驗的設計初衷、試驗方法、主要發(fā)現(xiàn)和成果發(fā)表過程,請參閱:Jean-Fran?ois Bonnefon,The Car That Knew Too Much: Can a Machine Be Moral? The MIT Press,2021.作者讓-弗朗索瓦·布勒豐就是這個試驗的發(fā)起人和組織者。

    ?Jean-Fran?ois Bonnefon,Azim Shariff,and Iyad Rahwan,“The Social Dilemma of Autonomous Vehicles,” Science,Vol.352,Issue 6293,June 24,2016,p.1573-1576.

    ?Edmond Awad,Sohan Dsouza,Richard Kim,Jonathan Schulz,Joseph Henrich,Azim Shariff,Jean-Fran?ois Bonnefon,&Iyad Rahwan,“The Moral Machine Experiment,” Nature,Vol.563,November 1,2018,pp.59-78.https://doi.org/10.1038/s41586-018-0637-6.

    ??https://www.moralmachine.net.

    ?俞陶然:《交大開設人工智能倫理必修課,為未來算法工程師輸入倫理意識》,載《解放日報》2021 年9 月15日,可參閱新華社網(wǎng)站轉(zhuǎn)載版:《AI 專業(yè)有門不教算法的“倫理必修課”》,載新華網(wǎng),http://www.xinhuanet.com/tech/202110 09/cdb6ffb799764a82bfa0dd5df7418c28/c.html。

    猜你喜歡
    電車倫理自動
    《心之死》的趣味與倫理焦慮
    基于Baja電車點線面動態(tài)仿真轉(zhuǎn)向設計
    小電車,大問題
    自動捕盜機
    學生天地(2020年5期)2020-08-25 09:09:08
    護生眼中的倫理修養(yǎng)
    活力(2019年19期)2020-01-06 07:37:00
    基于STM32的自動喂養(yǎng)機控制系統(tǒng)
    電子測試(2018年10期)2018-06-26 05:53:36
    關于自動駕駛
    汽車博覽(2016年9期)2016-10-18 13:05:41
    辛苦的電車售票員
    Stefan Greiner:我們?yōu)槭裁葱枰詣玉{駛?
    醫(yī)改莫忘構建倫理新機制
    国产成人啪精品午夜网站| 免费高清视频大片| 国产成人精品久久二区二区91| 国产欧美日韩综合在线一区二区| 91老司机精品| 亚洲五月色婷婷综合| 巨乳人妻的诱惑在线观看| 欧美日韩中文字幕国产精品一区二区三区 | 欧美午夜高清在线| 久久久久国内视频| 亚洲精品国产色婷婷电影| 老司机亚洲免费影院| 999久久久国产精品视频| 国产精品二区激情视频| 成人手机av| 高清在线国产一区| 变态另类成人亚洲欧美熟女 | 51午夜福利影视在线观看| 日本wwww免费看| 亚洲色图综合在线观看| 亚洲专区中文字幕在线| 女性生殖器流出的白浆| 极品人妻少妇av视频| 窝窝影院91人妻| 在线观看www视频免费| 丰满的人妻完整版| 在线观看午夜福利视频| 国产日韩一区二区三区精品不卡| 曰老女人黄片| 免费av毛片视频| 亚洲av第一区精品v没综合| 日本撒尿小便嘘嘘汇集6| 久久青草综合色| 一边摸一边做爽爽视频免费| 国产一区二区三区综合在线观看| 精品熟女少妇八av免费久了| 50天的宝宝边吃奶边哭怎么回事| 一进一出抽搐gif免费好疼 | av免费在线观看网站| 欧美在线黄色| a级毛片在线看网站| 成熟少妇高潮喷水视频| 国产亚洲精品一区二区www| av免费在线观看网站| 夜夜看夜夜爽夜夜摸 | 99久久人妻综合| 国产精品99久久99久久久不卡| 热re99久久国产66热| 在线观看舔阴道视频| 美女国产高潮福利片在线看| 黑人巨大精品欧美一区二区mp4| 亚洲成人久久性| 色在线成人网| 亚洲精品一二三| videosex国产| 一夜夜www| 久久性视频一级片| 亚洲成a人片在线一区二区| 久久青草综合色| 久久久久久人人人人人| 成人亚洲精品一区在线观看| 欧美丝袜亚洲另类 | 成人三级黄色视频| 久久久久久久久久久久大奶| 91老司机精品| 波多野结衣高清无吗| videosex国产| 国产麻豆69| 精品卡一卡二卡四卡免费| 日韩欧美国产一区二区入口| 中文字幕人妻丝袜制服| 老司机午夜福利在线观看视频| 欧美日韩视频精品一区| 99国产精品一区二区蜜桃av| 80岁老熟妇乱子伦牲交| 纯流量卡能插随身wifi吗| 久久精品国产综合久久久| 好看av亚洲va欧美ⅴa在| www.自偷自拍.com| 亚洲人成77777在线视频| 精品无人区乱码1区二区| 看黄色毛片网站| 国产精品影院久久| 久久中文字幕人妻熟女| 欧美中文综合在线视频| 不卡一级毛片| 国产精品爽爽va在线观看网站 | 日韩精品免费视频一区二区三区| 精品福利永久在线观看| 成人手机av| 午夜免费激情av| 日日干狠狠操夜夜爽| 最近最新中文字幕大全免费视频| 香蕉丝袜av| 女人被狂操c到高潮| 亚洲自偷自拍图片 自拍| 在线观看一区二区三区激情| 中国美女看黄片| 免费av中文字幕在线| 国产亚洲av高清不卡| 国产精品二区激情视频| 亚洲一区高清亚洲精品| 国产亚洲av高清不卡| 国产一卡二卡三卡精品| 两性夫妻黄色片| 久久青草综合色| 亚洲av成人不卡在线观看播放网| 亚洲国产精品一区二区三区在线| 男女高潮啪啪啪动态图| 麻豆久久精品国产亚洲av | 一本大道久久a久久精品| 搡老岳熟女国产| 母亲3免费完整高清在线观看| 国产精品 欧美亚洲| 丰满饥渴人妻一区二区三| 天堂√8在线中文| 精品久久久久久电影网| 老司机在亚洲福利影院| 精品乱码久久久久久99久播| 97超级碰碰碰精品色视频在线观看| av电影中文网址| 国产又爽黄色视频| 中文欧美无线码| 啦啦啦在线免费观看视频4| 欧美+亚洲+日韩+国产| 国内毛片毛片毛片毛片毛片| 亚洲国产中文字幕在线视频| 午夜视频精品福利| 久久精品国产亚洲av高清一级| 欧美日韩亚洲国产一区二区在线观看| 热re99久久精品国产66热6| 色综合站精品国产| 亚洲精品国产一区二区精华液| 一边摸一边做爽爽视频免费| 极品教师在线免费播放| 国产片内射在线| 亚洲三区欧美一区| 欧美日韩中文字幕国产精品一区二区三区 | 免费看十八禁软件| 黄片播放在线免费| 国产男靠女视频免费网站| 亚洲七黄色美女视频| 丰满人妻熟妇乱又伦精品不卡| 一区二区三区激情视频| av在线天堂中文字幕 | 亚洲精品一区av在线观看| 日本a在线网址| svipshipincom国产片| 亚洲 欧美 日韩 在线 免费| 日韩欧美免费精品| 国产在线精品亚洲第一网站| 久久久国产欧美日韩av| 国产精华一区二区三区| 国产成+人综合+亚洲专区| 国产精品香港三级国产av潘金莲| 18禁裸乳无遮挡免费网站照片 | 久久这里只有精品19| 岛国在线观看网站| 亚洲第一青青草原| 国产精品亚洲av一区麻豆| 欧美日韩av久久| 欧美黄色片欧美黄色片| 欧美中文日本在线观看视频| 身体一侧抽搐| 久久99一区二区三区| 搡老乐熟女国产| 黄色 视频免费看| 91av网站免费观看| 免费观看精品视频网站| 国产精品香港三级国产av潘金莲| 桃红色精品国产亚洲av| 成人手机av| 免费在线观看视频国产中文字幕亚洲| 午夜日韩欧美国产| 欧美日韩av久久| 精品国产亚洲在线| 国产高清激情床上av| 日本免费a在线| 免费在线观看亚洲国产| 在线观看免费高清a一片| 丝袜在线中文字幕| 黄片小视频在线播放| 久久久久国内视频| 午夜成年电影在线免费观看| 亚洲va日本ⅴa欧美va伊人久久| 涩涩av久久男人的天堂| 丝袜美腿诱惑在线| 欧美精品一区二区免费开放| 激情在线观看视频在线高清| 琪琪午夜伦伦电影理论片6080| 可以免费在线观看a视频的电影网站| 黑人巨大精品欧美一区二区mp4| 视频区欧美日本亚洲| 欧美成人免费av一区二区三区| 中文亚洲av片在线观看爽| 女性生殖器流出的白浆| 亚洲国产中文字幕在线视频| 国产三级在线视频| 欧美激情极品国产一区二区三区| 日本黄色日本黄色录像| 成人av一区二区三区在线看| 亚洲av熟女| 国产熟女午夜一区二区三区| 亚洲欧洲精品一区二区精品久久久| 黑人巨大精品欧美一区二区mp4| 他把我摸到了高潮在线观看| 丝袜人妻中文字幕| 亚洲欧美日韩高清在线视频| 伊人久久大香线蕉亚洲五| 男女床上黄色一级片免费看| 国产色视频综合| 欧美大码av| 午夜两性在线视频| 欧美黄色片欧美黄色片| 欧美人与性动交α欧美精品济南到| 午夜免费鲁丝| 人人妻,人人澡人人爽秒播| 一夜夜www| 欧美另类亚洲清纯唯美| www日本在线高清视频| 精品国产一区二区三区四区第35| 男女之事视频高清在线观看| 女人被狂操c到高潮| 亚洲一区中文字幕在线| avwww免费| 久久久久国内视频| 免费观看精品视频网站| 97碰自拍视频| 大陆偷拍与自拍| 最新在线观看一区二区三区| 在线国产一区二区在线| 久久国产乱子伦精品免费另类| av有码第一页| 久久久国产成人精品二区 | 亚洲片人在线观看| 亚洲av五月六月丁香网| 最近最新免费中文字幕在线| 欧美中文综合在线视频| 激情在线观看视频在线高清| 男人舔女人下体高潮全视频| 高清黄色对白视频在线免费看| 亚洲精品国产一区二区精华液| 手机成人av网站| 国产成年人精品一区二区 | 亚洲美女黄片视频| 久久人妻熟女aⅴ| 可以免费在线观看a视频的电影网站| 欧美久久黑人一区二区| 一边摸一边抽搐一进一出视频| 免费看a级黄色片| 女性生殖器流出的白浆| 久久影院123| 每晚都被弄得嗷嗷叫到高潮| 91成人精品电影| 十八禁网站免费在线| 亚洲精华国产精华精| e午夜精品久久久久久久| 热re99久久国产66热| 久久欧美精品欧美久久欧美| 国产av在哪里看| 国产免费现黄频在线看| 一进一出抽搐动态| 久久影院123| 日韩精品中文字幕看吧| 国产精品香港三级国产av潘金莲| 亚洲七黄色美女视频| 亚洲在线自拍视频| 大型黄色视频在线免费观看| 国产精品av久久久久免费| 人妻久久中文字幕网| 午夜激情av网站| 国产主播在线观看一区二区| 亚洲五月天丁香| 美女扒开内裤让男人捅视频| 久热爱精品视频在线9| 久久久国产欧美日韩av| 久久久国产精品麻豆| 欧美日韩福利视频一区二区| svipshipincom国产片| www日本在线高清视频| 国产精品综合久久久久久久免费 | 久久 成人 亚洲| 久久国产精品影院| 精品一品国产午夜福利视频| 免费女性裸体啪啪无遮挡网站| 一区二区日韩欧美中文字幕| 精品一区二区三卡| 国产免费现黄频在线看| 亚洲成a人片在线一区二区| 免费日韩欧美在线观看| 一a级毛片在线观看| 亚洲av熟女| 多毛熟女@视频| 天堂俺去俺来也www色官网| 久久精品国产清高在天天线| 免费在线观看黄色视频的| av电影中文网址| 日韩欧美一区视频在线观看| 黄频高清免费视频| 亚洲色图 男人天堂 中文字幕| 人妻丰满熟妇av一区二区三区| 成人特级黄色片久久久久久久| 另类亚洲欧美激情| 亚洲七黄色美女视频| 欧美成人免费av一区二区三区| 成人永久免费在线观看视频| 自线自在国产av| 精品久久久久久久毛片微露脸| 国产精品美女特级片免费视频播放器 | 热re99久久国产66热| 欧美日韩精品网址| 国产深夜福利视频在线观看| 他把我摸到了高潮在线观看| 交换朋友夫妻互换小说| 免费久久久久久久精品成人欧美视频| 一二三四在线观看免费中文在| 午夜福利,免费看| 无人区码免费观看不卡| 又黄又爽又免费观看的视频| av欧美777| 波多野结衣一区麻豆| xxx96com| 国产精品免费视频内射| 欧美国产精品va在线观看不卡| 亚洲av成人不卡在线观看播放网| 18禁国产床啪视频网站| 国产精品av久久久久免费| 亚洲精华国产精华精| 97超级碰碰碰精品色视频在线观看| 亚洲欧洲精品一区二区精品久久久| 亚洲色图av天堂| 日韩欧美国产一区二区入口| 99热只有精品国产| av超薄肉色丝袜交足视频| 亚洲一区高清亚洲精品| 精品卡一卡二卡四卡免费| 免费在线观看影片大全网站| 国产三级黄色录像| 美女 人体艺术 gogo| 中文字幕高清在线视频| 亚洲国产精品999在线| 如日韩欧美国产精品一区二区三区| 久久精品国产综合久久久| 在线永久观看黄色视频| 免费在线观看黄色视频的| 手机成人av网站| 久久久国产精品麻豆| 国产成人啪精品午夜网站| 亚洲专区国产一区二区| 国产欧美日韩精品亚洲av| 欧美一级毛片孕妇| 欧美人与性动交α欧美软件| 在线观看一区二区三区激情| 视频在线观看一区二区三区| 美女福利国产在线| 日韩精品免费视频一区二区三区| 国产精品成人在线| 精品高清国产在线一区| av中文乱码字幕在线| 一夜夜www| 91大片在线观看| 天天躁夜夜躁狠狠躁躁| 亚洲九九香蕉| 精品国产乱子伦一区二区三区| 午夜免费成人在线视频| 中国美女看黄片| 中文字幕高清在线视频| av视频免费观看在线观看| 国产熟女午夜一区二区三区| 香蕉久久夜色| 18禁国产床啪视频网站| 亚洲免费av在线视频| 女人被躁到高潮嗷嗷叫费观| 色精品久久人妻99蜜桃| 国产成+人综合+亚洲专区| 亚洲视频免费观看视频| 欧美一级毛片孕妇| 99国产极品粉嫩在线观看| 1024视频免费在线观看| 亚洲国产欧美网| 一进一出好大好爽视频| 女人被狂操c到高潮| 免费在线观看影片大全网站| 久久亚洲真实| 一级毛片精品| 男女做爰动态图高潮gif福利片 | 亚洲av第一区精品v没综合| 亚洲中文日韩欧美视频| 欧美激情 高清一区二区三区| 日韩有码中文字幕| 美女国产高潮福利片在线看| 国产精品日韩av在线免费观看 | 精品国内亚洲2022精品成人| 亚洲,欧美精品.| av网站在线播放免费| 男人舔女人的私密视频| 久久久久九九精品影院| 国产免费男女视频| 一二三四社区在线视频社区8| 亚洲第一欧美日韩一区二区三区| 精品福利观看| 国产一卡二卡三卡精品| 99热国产这里只有精品6| 免费一级毛片在线播放高清视频 | 国产深夜福利视频在线观看| 在线观看免费日韩欧美大片| 无限看片的www在线观看| 亚洲精品国产精品久久久不卡| 在线播放国产精品三级| 欧美日本亚洲视频在线播放| 久久久久九九精品影院| 久久精品亚洲熟妇少妇任你| 亚洲成人精品中文字幕电影 | 成熟少妇高潮喷水视频| 国产精品国产高清国产av| 国产精品九九99| www国产在线视频色| www日本在线高清视频| 婷婷六月久久综合丁香| 欧美老熟妇乱子伦牲交| 桃红色精品国产亚洲av| 国产精品野战在线观看 | 亚洲人成电影免费在线| 美国免费a级毛片| 国产成年人精品一区二区 | 老司机靠b影院| 一个人免费在线观看的高清视频| 操美女的视频在线观看| 又黄又爽又免费观看的视频| 美女高潮到喷水免费观看| 国产日韩一区二区三区精品不卡| 99国产精品免费福利视频| 精品国内亚洲2022精品成人| 国产精品自产拍在线观看55亚洲| 美女国产高潮福利片在线看| 国产精华一区二区三区| 久久欧美精品欧美久久欧美| 成熟少妇高潮喷水视频| 免费在线观看完整版高清| xxxhd国产人妻xxx| 欧美日韩亚洲综合一区二区三区_| 欧美人与性动交α欧美软件| 久久99一区二区三区| 侵犯人妻中文字幕一二三四区| 黄色a级毛片大全视频| 19禁男女啪啪无遮挡网站| 黑人操中国人逼视频| 亚洲国产精品一区二区三区在线| 亚洲成人免费电影在线观看| 久久久精品国产亚洲av高清涩受| 国产xxxxx性猛交| 高清在线国产一区| 国产午夜精品久久久久久| 99国产精品99久久久久| 极品教师在线免费播放| 99国产精品一区二区三区| 俄罗斯特黄特色一大片| 可以在线观看毛片的网站| 黄色女人牲交| 桃色一区二区三区在线观看| 99久久人妻综合| 老司机午夜福利在线观看视频| 日韩欧美一区二区三区在线观看| 亚洲精品国产色婷婷电影| 欧美黑人精品巨大| 日本撒尿小便嘘嘘汇集6| ponron亚洲| 国产精品美女特级片免费视频播放器 | 日本黄色日本黄色录像| 欧美中文日本在线观看视频| 999精品在线视频| 日韩大码丰满熟妇| 久热爱精品视频在线9| 精品福利永久在线观看| 热99国产精品久久久久久7| 亚洲熟妇熟女久久| 国产激情久久老熟女| 欧美一区二区精品小视频在线| 亚洲精品中文字幕一二三四区| 日日摸夜夜添夜夜添小说| 天堂√8在线中文| 国产成人av激情在线播放| av视频免费观看在线观看| 大码成人一级视频| 18禁观看日本| 亚洲人成电影观看| 亚洲专区国产一区二区| 中国美女看黄片| 黄网站色视频无遮挡免费观看| 久久久久九九精品影院| 国产精品免费视频内射| 欧美成人性av电影在线观看| av电影中文网址| 天堂√8在线中文| 欧洲精品卡2卡3卡4卡5卡区| 日本五十路高清| 十八禁人妻一区二区| 午夜日韩欧美国产| 亚洲av美国av| 久久久久国产一级毛片高清牌| 男人舔女人的私密视频| 一级片免费观看大全| 色综合婷婷激情| 99国产精品免费福利视频| 亚洲成a人片在线一区二区| 国产99白浆流出| 亚洲黑人精品在线| 欧美日韩国产mv在线观看视频| 80岁老熟妇乱子伦牲交| 极品人妻少妇av视频| 亚洲中文字幕日韩| 日日干狠狠操夜夜爽| 9191精品国产免费久久| 一二三四社区在线视频社区8| 色尼玛亚洲综合影院| 男女午夜视频在线观看| 亚洲人成电影观看| www日本在线高清视频| 叶爱在线成人免费视频播放| 亚洲精品av麻豆狂野| 欧美黄色片欧美黄色片| 亚洲avbb在线观看| 久久久国产欧美日韩av| 一进一出抽搐动态| 激情视频va一区二区三区| www.www免费av| 又紧又爽又黄一区二区| 1024视频免费在线观看| 亚洲欧美激情在线| 丝袜人妻中文字幕| 欧美日韩av久久| 日本免费a在线| 在线国产一区二区在线| 天天添夜夜摸| 脱女人内裤的视频| 亚洲视频免费观看视频| 成人18禁在线播放| 丰满的人妻完整版| 精品一区二区三区av网在线观看| 国产欧美日韩精品亚洲av| 久久久久久久久中文| 亚洲熟妇熟女久久| 中文字幕高清在线视频| 日韩视频一区二区在线观看| 无限看片的www在线观看| 最近最新中文字幕大全免费视频| 色老头精品视频在线观看| 中亚洲国语对白在线视频| 亚洲三区欧美一区| 麻豆av在线久日| 999久久久精品免费观看国产| 免费在线观看黄色视频的| 国产男靠女视频免费网站| 老司机午夜福利在线观看视频| av欧美777| 国产aⅴ精品一区二区三区波| 亚洲久久久国产精品| 99精品在免费线老司机午夜| 午夜福利免费观看在线| 免费在线观看视频国产中文字幕亚洲| 亚洲aⅴ乱码一区二区在线播放 | 精品人妻1区二区| 91麻豆av在线| 另类亚洲欧美激情| 国产日韩一区二区三区精品不卡| 岛国视频午夜一区免费看| 久久国产亚洲av麻豆专区| 国产精品av久久久久免费| 美女国产高潮福利片在线看| 日韩大码丰满熟妇| 国产成人欧美| 热99re8久久精品国产| 国产深夜福利视频在线观看| e午夜精品久久久久久久| av中文乱码字幕在线| 精品日产1卡2卡| 欧美激情 高清一区二区三区| 91精品国产国语对白视频| 免费女性裸体啪啪无遮挡网站| 久久精品亚洲熟妇少妇任你| 亚洲av熟女| 手机成人av网站| 免费人成视频x8x8入口观看| 国产亚洲av高清不卡| 欧美色视频一区免费| 老司机靠b影院| 两性夫妻黄色片| 少妇粗大呻吟视频| 18禁黄网站禁片午夜丰满| 999久久久国产精品视频| 性欧美人与动物交配| 一进一出抽搐动态| 在线观看一区二区三区激情| 国产99久久九九免费精品| 色精品久久人妻99蜜桃| 精品久久久久久,| xxxhd国产人妻xxx| 久久天躁狠狠躁夜夜2o2o| 日韩成人在线观看一区二区三区| 怎么达到女性高潮| 国产精品久久视频播放| 亚洲国产毛片av蜜桃av| 欧美最黄视频在线播放免费 | 搡老熟女国产l中国老女人| 国产av又大| 国产免费av片在线观看野外av| 国产熟女xx| 亚洲人成电影免费在线| 国产91精品成人一区二区三区| 女性被躁到高潮视频| 人人妻人人澡人人看| 男女床上黄色一级片免费看| 国产精品一区二区精品视频观看| 操美女的视频在线观看| 啦啦啦 在线观看视频|