自動駕駛汽車事故的道德算法由誰來決定

孫保學(xué)

自動駕駛汽車成為未來社會的主要交通工具是大勢所趨。但是，自動駕駛汽車被大規(guī)模地推廣和應(yīng)用有一個重要前提是它能夠明顯降低交通事故發(fā)生率和人員傷亡率。換言之，它應(yīng)當具備更高的安全性。不過，自動駕駛汽車不可能做到萬無一失，它同樣會面臨類似“電車難題”（trol ley problem）的道德決策困境。對此，學(xué)術(shù)界目前的討論主要圍繞兩大問題展開：面臨道德決策困境，自動駕駛汽車究竟該如何選擇？自動駕駛汽車的道德算法基于哪種道德理論才能獲得最大的可接受性？本文的討論是與上述兩大理論問題密切相關(guān)的一個現(xiàn)實問題：究竟由誰來決定自動駕駛汽車事故的道德算法？在很多人看來，個人、汽車制造商、政府管理部門和社會都可能成為候選者。通過本文的分析，我們將會理解道德算法的設(shè)置權(quán)不能完全交付給個人，它依賴于有效的社會共識的達成。

一、自動駕駛汽車的安全性與道德決策難題

自動駕駛技術(shù)被認為會引發(fā)人類交通史的一次革命，極大地改變汽車的安全性、交通擁堵狀況和人們的出行行為。不過，自動駕駛汽車全面進入大眾消費市場并取代現(xiàn)有的汽車仍然面臨技術(shù)上和制度上的一些難題。目前，我們能夠設(shè)想的自動駕駛汽車將會面臨的種種困難其實都指向一個中心問題：自動駕駛汽車真的更安全嗎？

據(jù)推測，自動駕駛汽車的引入能夠在總體上大幅度減少交通事故的發(fā)生率，同時降低交通事故中人員的死亡率。麥肯錫的一項研究顯示，自動駕駛汽車至少能夠減少90%的交通事故[1]。目前，處于測試階段的自動駕駛汽車的安全記錄顯示它比手動駕駛表現(xiàn)要好。在理想狀態(tài)下，自動駕駛汽車的傳感器技術(shù)會要比人類的感知能力更加精確，其視野廣度和感知精度能夠遠遠強于人類。

不過，技術(shù)不可能解決所有問題，自動駕駛汽車也不例外。自動駕駛汽車的安全性隱憂可能帶來的倫理挑戰(zhàn)越來越引人注目。自動駕駛汽車不可能做到萬無一失，完全避免交通事故的發(fā)生是不可能的。自動駕駛汽車的性能嚴重依賴于傳感技術(shù)和決策算法等，軟硬件系統(tǒng)失靈的情況無法完全避免。即使它們運轉(zhuǎn)正常，來自外部環(huán)境的不可控因素也可能導(dǎo)致兩難情境的發(fā)生。當事故無法避免時，自動駕駛汽車可能會殺死或嚴重傷害某（些）人。設(shè)想如下的“隧道案例”情形：

你坐在一輛自動駕駛汽車里，正以穩(wěn)定的速度駛?cè)胍粋€隧道，前方有一輛載滿學(xué)生的校車以相同的車速行駛。忽然，你注意到在左邊車道上有一輛載有兩名乘客的轎車正在試圖超過你。由于某種原因，前面的校車突然剎車，你的車已來不及剎車避免追尾。此刻，你的車可以有三種不同的選擇：（1）剎車并撞向校車，這將導(dǎo)致校車上的部分學(xué)生傷亡；（2）左轉(zhuǎn)，把左邊的車推到墻上，救了你的命，卻使轎車上的兩名乘客喪命；（3）右轉(zhuǎn)，把你的車引到隧道的右墻上，犧牲自己，拯救周圍其他人的生命[2]。

作為乘客，如果你有資格為汽車設(shè)置撞擊方案，你會確認上述哪種選擇？針對上述情形，人們可能把第一種選擇看作是受到義務(wù)論的指導(dǎo)，第二種是典型的利己主義選擇，第三種屬于功利主義中的利他主義。其實，乘客或司機最為擔(dān)心的還是安全問題，可能都希望自動駕駛汽車最大限度地保護自己。當然，在他們面臨道德兩難時，的確會有人選擇犧牲自己。人類在不同情境下既可能表現(xiàn)出保護自身的利己傾向，也能夠表現(xiàn)出使他者免于傷害或使其受益的利他之心。

實際上，只要自動駕駛汽車與其他的道路使用者存在相互影響，自動駕駛汽車的零事故發(fā)生率就是不可能的。尤其是自動駕駛汽車和手動駕駛汽車同時在路上行使時，可能將是交通事故的高發(fā)期。此時，如果自動駕駛汽車事故責(zé)任歸屬不清晰，消費者的購買欲可能會受到抑制，進而影響到自動駕駛汽車的大規(guī)模應(yīng)用。因此，確定自動駕駛汽車事故的撞擊算法不僅要考慮技術(shù)問題，也會涉及很多現(xiàn)實層面的社會倫理問題。

可見，自動駕駛技術(shù)在試圖解決現(xiàn)有的交通難題時，也給我們帶來全新的倫理挑戰(zhàn)。目前，我們并沒有充足的證據(jù)得出自動駕駛汽車一定比現(xiàn)在的汽車更加安全的結(jié)論。有可能它在降低死亡率和事故發(fā)生率的同時，給我們的社會帶來更多的新問題。正如更加便捷且效率更高的汽車代替馬車后，導(dǎo)致了交通事故的死亡率上升、交通擁堵和尾氣污染等社會問題。尤其，自動駕駛汽車的應(yīng)用將會增大發(fā)生系統(tǒng)性風(fēng)險的可能性。例如，當?shù)缆飞下?lián)網(wǎng)的自動駕駛汽車都受到云端系統(tǒng)和標準算法的調(diào)配，一旦系統(tǒng)出現(xiàn)漏洞或遭遇不法分子劫持，有可能造成大面積的交通系統(tǒng)癱瘓和大規(guī)模的人員傷亡?？傊詣玉{駛汽車的推廣和普及事實上會產(chǎn)生什么樣的后果仍然有太多的不確定性。

二、強制的倫理設(shè)定與個人的倫理設(shè)定

在面對道德兩難的抉擇困境方面，“隧道案例”與“電車難題”的確有很多相似之處。但是，兩者有一個很大的不同：“電車難題”的決策者需要做瞬時的直覺判斷，而“隧道案例”中自動駕駛汽車被要求在上路行駛前預(yù)置某種審慎的理性決策程序或倫理設(shè)定。顯然，一個最為緊迫的問題是：究竟何種倫理設(shè)定才是正確的？與此相關(guān)的問題是，即使我們能確定某種傾向性的倫理設(shè)定，那么究竟由誰來決定這種倫理設(shè)定？是共同體集體決定還是由個人決定？根據(jù)揚·哥格爾（Jan Gogol l）和朱利安·繆勒（Jul ian Mül ler）的分析，符合全體社會成員最大利益的做法是在推行一種強制的倫理設(shè)定（mandatory ethics setting，簡稱 MES），而不是讓每一個司機或乘客都選擇個人化的倫理設(shè)定（personal ethics set ting，簡稱 PES），因為后者將會帶來“囚徒困境”（prisoner’s dilemma）。

實際上，個體訴求與集體利益的沖突之處往往是道德難題的高發(fā)地。一方面，從社會發(fā)展的制度性約束角度考慮，群體內(nèi)部的確需要其成員達成基本一致的強制性約定來維系；另一方面，在日常生活和生產(chǎn)活動中，工具的使用者在大多數(shù)情況下都可以根據(jù)實際需要和使用習(xí)慣對工具進行設(shè)置，以滿足個性化需求。尤其，一個自由社會理應(yīng)尊重并且允許工具使用者的自主權(quán)。因此，自動駕駛汽車作為一種交通工具應(yīng)該允許司機或乘客對其進行個人化的設(shè)定。不過，帕特里克·林（Patrick Lin）對可調(diào)整的（個人化）倫理設(shè)定提出兩個最突出的反對理由：第一，PES可能造成更多的道德問題。人們的財富狀況、社會地位、膚色和宗教信仰等都可能成為個體設(shè)置道德算法的參量。盡管現(xiàn)代社會已經(jīng)能夠鑒別哪些行為屬于歧視，但我們?nèi)匀浑y以避免PES在最初面對新情況時可能對乘客或司機造成不公正的對待；第二，PES可能給個體造成沉重的負擔(dān)。如果執(zhí)行PES，那么事故的責(zé)任可能要全部由個人來承擔(dān)。很多人認為，除了公民之外，制造商和政府管理部門也被納入考慮范圍。但是，出于國際競爭壓力和對消費者需求的尊重，制造商不會去冒險挑戰(zhàn)行業(yè)標準；同樣，管理部門制定法律和規(guī)章要反映公民的價值和集體偏好才能被通過。因此，道德難題的決策權(quán)或者說道德權(quán)威仍然是公民社會，政府和制造商的選擇權(quán)是要得到公民的集體認可才行[3]。

與林的分析有所不同，哥格爾和繆勒是從博弈論的視角出發(fā)思考這一問題，給出了更具說服力的分析。首先，他們區(qū)分三個概念：自私主體（sel fish agent）是指最小化對自己的傷害那些人；功利主義主體（util itarian agent）會為了更大的善，犧牲自己，不論其他行動者怎么做；道德主體（moral agent）基于整體互惠原則，只要大多數(shù)同伴做出利他行動，他也會選擇這么做，至少在某些情形下會犧牲自己。可以合理地推測，在完全由道德主體構(gòu)成的群體中，每一個道德主體都會有充足的理由相信每一輛自動駕駛汽車的算法都是合乎道德的，并且有充足的理由為自動駕駛汽車選擇個人化的倫理設(shè)定。不過，當群體中有自私主體，并且道德主體無法將他們分辨出來時，道德主體會考慮最好不要犧牲自己，因為他們無法確定其他人也像自己一樣做道德的事，誰都不希望自己被自私主體欺騙。實際上，我們可以通過對“囚徒困境”的分析來刻畫這種博弈關(guān)系。因為“囚徒困境”是對一些非常普遍人類行為模式的一種簡單概括和抽象?！霸谶@些情形中，從個人的角度考慮，背叛總是最好的選擇，但雙方背叛會導(dǎo)致不甚理想的結(jié)果。……個體的理性導(dǎo)致雙方得到的比可能得到的要少，這就是‘困境’”[4]（P6-7）。

“囚徒困境”的結(jié)構(gòu)有助于我們理解社會秩序的核心問題，它所包含的協(xié)調(diào)有不同動機的個體行為的要素有助于我們分析自動駕駛汽車情形中人們的道德決策模式。在理想狀態(tài)下，如果每個人都選擇道德的PES，那么交通對每個人都是安全最大化的，但現(xiàn)實并非如此。為了說明這個問題，哥格爾和繆勒構(gòu)想了“跑車案例”情形：假設(shè)一個社會中只有三個人和兩輛自動駕駛的跑車。每天出門時三個人輪換乘坐兩輛車，其中一輛車載兩個人，另一輛車載一個人。每天出發(fā)前，它們都要決定他們的跑車在面對道德兩難時（其中一輛車要被撞毀）如何行為。同時，假定每個人在每臺車的乘坐次數(shù)都相同[2]。

根據(jù)上述情境，如果每個人決定設(shè)置自私的PES，那么死亡期望值 E（PES）：0.5×2+0.5×1=1.5；如果采用 MES，那么死亡期望值 E（MES）：0×2+1×1=1。顯然，E（PES）＞E（MES）。換言之，PES的社會后果比MES要糟糕得多。上述計算是從社會整體來考慮的，我們也要從個體視角出發(fā)來思考這個問題。如果采用PES，那么死亡期望值EPES（I）：（1/3）×0.5+（2/3）×0.5=1/2；如果采用 MES，那么死亡期望值EMES（I）：（1/3）×1+（2/3）×0=1/3。顯然，EPES（I）＞EMES（I）?？梢?，無論從社會角度還是從個人角度，采用個人的倫理設(shè)定都將導(dǎo)致死亡率的增加。

在社會成員都選擇道德的PES的社會中，如果某個體出于最大化自身安全的考慮單方面地設(shè)定自己的汽車，那么不論其他個體如何選擇，自私的PES將是他的最佳選擇。當然，他所獲得的安全是以犧牲他人安全為代價的。所以，其他社會成員一旦知道有人選擇自私的PES，那么他們很可能放棄道德的PES，也選擇對自身傷害最小的策略。按照個體的理性決策邏輯，至少這樣做能增加自身安全。隨著選擇自私的PES人數(shù)不斷增加，道德主體的數(shù)量將隨之減少，最小傷害總體安全的原則將漸漸失效，這最終將導(dǎo)致每個個體受到傷害的可能性不斷增加。“基于這種邏輯，在一個沒有人準備愿意為了更大多數(shù)人而犧牲自己的社會里，事實上發(fā)生的交通災(zāi)難必然更高?！盵2]哥格爾和繆勒將這種現(xiàn)象概括為“道德擠出效應(yīng)”。明白了這一點，無論自私主體還是道德主體都有充分的理由反對PES。

為了防止集體行為中“囚徒困境”的發(fā)生，PES的支持者可能提議通過引入非正式的規(guī)則和懲戒來做到這一點。但是，這種方案可能只在相對小型的組織中才方便實施[5]（P258-70）。隨著組織的增大，監(jiān)管和懲罰的成本將不斷攀升。交通問題是極其復(fù)雜的，在相互匿名化的道路上試圖公開每個車輛在某些時刻或某種情境下的倫理設(shè)定極為困難，非正式的規(guī)則和制裁往往很難發(fā)揮實際作用。根據(jù)哥格爾和繆勒的分析，我們最終只能訴諸政府干預(yù)手段來防止“囚徒困境”的發(fā)生，以此達到道德平衡。具體來說，政府要規(guī)定自動駕駛汽車的倫理設(shè)定，引入一種新的工業(yè)標準直接約束制造商，使自動駕駛汽車具備最大化交通安全（最小化對所有受影響的人的傷害）的能力。

當然，強制的倫理設(shè)定并不是要忽視人們的規(guī)范信念和民眾價值觀。應(yīng)用倫理學(xué)恰恰最為關(guān)注這一點，這是它與傳統(tǒng)的倫理學(xué)只注重抽象理論運思的明顯不同?！霸蚝芎唵?，任何不正確反映受影響民眾價值觀的提案，都不會被立法者或受影響的人所接受?！盵2]而且，類似MES的方案具有很多經(jīng)驗數(shù)據(jù)的支持。研究顯示，在類似電車困境的情境中，至少有81.3%的參與者傾向于選擇將所有受影響的人的傷害最小化[6]（P83）?！犊茖W(xué)》雜志發(fā)表的一項統(tǒng)計研究表明，盡管功利主義的自動駕駛汽車在最初推向市場時可能會遭遇一些困境，但大部分人都支持自動駕駛汽車被編程為事故死亡人數(shù)最小化的算法[7]（P1573）。

三、情境歸責(zé)的倫理設(shè)定：一種混合版本

盡管強制的倫理設(shè)定相比于個人的倫理設(shè)定具有理論和經(jīng)驗上的優(yōu)勢，但它只是自動駕駛汽車倫理規(guī)制的一種可能的路徑，仍然可能遭遇以下這些質(zhì)疑或難題：

第一，強制的倫理設(shè)定可能會造成偏見和歧視。例如，如果將功利主義作為自動駕駛汽車的道德決策框架，那么只載有一名乘客的汽車可能更容易成為事故中的撞擊目標，這可能導(dǎo)致很多人不愿意購買內(nèi)置這種算法的汽車?；谧钚』傮w傷害的道德算法也可能導(dǎo)致自動駕駛汽車在兩難情形中撞向較為堅固的汽車，這種算法都會對消費者和汽車制造商造成某種傾向性引導(dǎo)。

第二，僅僅基于互惠和利他來刻畫智能機器的道德可能并不充分。道德理論本身都是抽象的，但在現(xiàn)實中人們進行道德評價往往不是基于某個單一的理論，往往還受到情緒和情境等因素影響?！艾F(xiàn)實世界的行動者通常不是基于純粹的義務(wù)論和功利主義做判斷。相反，現(xiàn)實世界中的行動者在評價某些行動或規(guī)章時，通常是依靠較為折衷的規(guī)范標準。”[2]不過，利他主義和互惠原則作為我們?nèi)粘５赖碌暮诵挠^念應(yīng)該是合理的。

第三，PES支持者可能會質(zhì)疑用公權(quán)力來限制理性個體選擇的做法。按照PES支持者的觀點，自動駕駛汽車的乘客或司機應(yīng)該并且能夠?qū)ψ约旱膫惱碓O(shè)定負責(zé)，任何公司或政府對他們選擇的干涉都是家長式的[8]。然而，這些PES的支持者的態(tài)度并非一以貫之。例如，他們主張個人選擇應(yīng)當?shù)玫阶銐虻淖鹬兀赡軙邮苜x予癌癥患者對自己生死的決策權(quán)，但是堅決反對醉酒駕駛的司機開車，因為這會給他人帶來安全風(fēng)險。其實，自我指定優(yōu)先權(quán)的PES可能就屬于后者。

第四，在某些情況下MES會顯得不夠道德。在某些情況下，某些本來有機會生還的人在兩難情形中可能會出于人道主義關(guān)懷寧愿選擇犧牲自我，而把生命權(quán)讓給其他人。例如，一對年邁的老夫婦在事故中可能會自愿地選擇把生存權(quán)讓給一個孕婦或小孩的情形，但在MES并沒有預(yù)置這種具有明顯的PES傾向的利他選項的添加[2]。

當然，強制的倫理設(shè)定可能遭遇的質(zhì)疑或難題遠不止這些，它們是否對MES構(gòu)成致命威脅仍是未知數(shù)。不過，PES所面臨質(zhì)疑和困境并不比MES少。其中，最突出的批評是，個體可以決定自己的生死，在危難之時選擇自我犧牲，但個體沒有權(quán)力決定他人的生死。PES恰恰是將個體置放于這種決定他人生死的特殊境地。PES的支持者強調(diào)技術(shù)要尊重使用者的自主選擇權(quán)，而MES的支持者則強調(diào)對共同體價值和利益的維護是社會良序運行的必要之舉。其實，問題的關(guān)鍵可能不是確定何者正確，而是如何兼顧兩者，最大限度地發(fā)揮它們各自的優(yōu)勢，彌補缺陷。對于MES和PES的各種質(zhì)疑和難題中，有很大一部分是沒有足夠重視現(xiàn)實情境所導(dǎo)致。在具體的碰撞情境中，自動駕駛汽車的道德算法可能需要引入某些特殊的社會價值因素作為參量。尤其在道德決策框架中，事故的責(zé)任方可能需要被優(yōu)先作為碰撞算法的目標，而無辜者應(yīng)當獲得最大限度的保護。具體來說，這種情境歸責(zé)方案至少包含以下要點：

第一，在“最小化總體傷害”的原則下，要將保護生命安全作為第一序列參量考慮，情境歸責(zé)等因素作為第二序列參量。概括來講，在進行風(fēng)險責(zé)任評估的過程中，在單純依據(jù)第一序列參量無法展開有效道德決策的情況下，可能有必要引入第二序列參量，以此來確定造成事故主要責(zé)任方，選擇如何碰撞。例如，違規(guī)操作的自動駕駛汽車更應(yīng)當成為事故算法中的受害對象?？赡苡腥藭J為在事故發(fā)生過程中確定責(zé)任方是非常困難的。不過，如果自動駕駛汽車能夠正確地評估不同對象的生存可能性，那么在技術(shù)上確認事故責(zé)任方也將不是問題。在路況數(shù)據(jù)實時同步的條件下，自動駕駛系統(tǒng)能夠快速地調(diào)取已有數(shù)據(jù)并進行責(zé)任分析，進而用來做決策，無需等到事故發(fā)生后在保險理賠階段再進行人工認定。其實，在智能道路系統(tǒng)的配合下，每輛車都是整個交通系統(tǒng)的一部分，有很多事故能夠通過算法被提前規(guī)避。

第二，明確界定與非歧視原則相容的特殊情境。按照IEEE的對專業(yè)人員的倫理規(guī)范要求，平等對待所有的人，不從事基于種族、宗教、性別、殘疾、年齡、國籍、性取向、性別認同或性別表達的歧視行為[9]（P62）。但是，在現(xiàn)實情境中，盡管我們強調(diào)在生命面前人人平等，但在危難時刻大多數(shù)人會選擇給予兒童、孕婦等更多的生存機會，這可能也是一項基本的道德要求。通過征集公民意見和對以往的交通事故進行案例分析，我們能夠獲得那些審慎選擇結(jié)果的特殊情境分類系統(tǒng)。例如，在何種情況下乘客放棄自保的條款或請求可以被采納，哪些對象不宜被作為撞擊目標等等。

第三，在明顯不會出現(xiàn)生命危險的碰撞情形可能不是以保護生命安全為最高原則。例如，城區(qū)道路上普通的刮擦和輕微追尾事故，如果自動駕駛汽車基于MES撞向了高級轎車可能面臨高額的保險賠付。盡管自動駕駛汽車的事故算法應(yīng)該以生命安全為最高指導(dǎo)原則，但這可能并不是最小化傷害原則的唯一指標。拯救更多生命的事故算法可能并不適用于普通事故，兩者可能在有些情況下是互斥的。因此，我們可能需要兩類不同的道德算法：一類是以人為中心事故算法，適用于涉及生命安全和人身傷害的情形；一類是以車為中心事故算法，適用于保險賠付等低損事故情形。自動駕駛汽車強大的數(shù)據(jù)分析能力，原則上可以對每一起交通事故現(xiàn)場進行模擬，通過對案例數(shù)據(jù)庫的分析尋找總體上最優(yōu)的撞擊方案。

結(jié) 語

自動駕駛汽車不是完美的汽車，不可能永遠不出事故。在事故情形中，道德算法應(yīng)當以最小化總體傷害為原則，以生命安全為第一考慮因素，同時要兼顧具體事故的情境因素（考慮事故責(zé)任方、公眾意見和普通碰撞情形等）?；谑鹿守?zé)任的碰撞算法在根本上支持強制的倫理設(shè)定，試圖將事故的傷害指向責(zé)任方，同時盡可能地尊重個人在危難時刻個人的合理道德選擇。實際上，自動駕駛汽車的倫理設(shè)定終將被看作是交通規(guī)則的一部分。在思考自動駕駛汽車的倫理問題時，需要盡可能地避免算法歧視和偏見，算法設(shè)計需要進行深入磋商才能獲得廣泛的社會共識。

[參考文獻]

[1]Paul Gao，Russel l Hensley&Andreas Zielke.A road map to the future for the auto indust ry[EB/OL].McKinsey Quar ter ly，2014，October.ht tps：//www.mckinsey.com/indust ries/automotive-and-assembly/our-insights/a-road-map-to-the-future-forthe-auto-indust ry.

[2]Jan Gogol l and Jul ian Mül ler.Autonomous cars：in favor of a mandatory ethics setting[J].Science&Engineering Ethics，2017，23（3）：681-700.

[3]Pat rick Lin.Here’s terrible idea：robot cars with adjustable ethics set tings[EB/OL].Wired，2014.08.18.ht tps：//www.wired.com/2014/08/heres-a-terrible-idea-robot-cars-with-adjustableethics-set tings/.

[4]阿克塞爾羅德.合作的進化（修訂版）[M].吳堅忠，譯.上海：上海人民出版社，2016.

[5]Elinor Ostrom.Understanding Institutional Diversity[M].Princeton：Princeton University Press，2005.

[6]Bryce Huebner and Marc Hauser.Moral judgments about al truistic sel f-sacrif ice：When phi losophical and folk intuitions clash[J].Philosophical Psychology，2011，24（1）.

[7]Jean-Fran?ois Bonnefon，Azim Shari f f，Iyad Rahwan.The social di lemma of au tonomous vehicles[J].Science，2016，352（6293）：1573-1576.

[8]Jason Mi l lar.Proxy prudence：Rethinking models of responsibi lity for semi-autonomous robots[EB/OL].SSRN Elect ronic Journal，2014.ht tp：//dx.doi.org/10.2139/ssrn.2442273.

[9]The IEEE Global Initiative on Ethics of Autonomous and Intel l igent Systems.Ethical ly al igned design：a vision for prioritizing human wel l-being with autonomous and intel ligent systems，Version 2[EB/OL].ht tp：//standards.ieee.org/develop/indconn/ec/autonomous_systems.html.