人工智能、物聯(lián)網(wǎng)、機器^技術(shù)對安全和責(zé)任框架的影響

李泯泯

人工智能、物聯(lián)網(wǎng)和機器人技術(shù)將為社會創(chuàng)造新的機遇和價值。歐盟委員會充分認識到新興數(shù)字技術(shù)的重要性和潛力，以及在該領(lǐng)域大量投資的必要性，進而致力于使歐洲獲得人工智能、物聯(lián)網(wǎng)和機器人技術(shù)領(lǐng)域的世界先進地位。為了實現(xiàn)這一目標(biāo)，需要一個清晰、可預(yù)測的法律框架來應(yīng)對技術(shù)挑戰(zhàn)。

一、安全和責(zé)任框架概述

安全和責(zé)任框架的總體目標(biāo)旨在保障所有產(chǎn)品和服務(wù)（包括集成新興數(shù)字技術(shù)的產(chǎn)品和服務(wù)）的安全、可靠、同步運行，并有效修復(fù)已發(fā)生的損失。雖然集成了新型數(shù)字技術(shù)的產(chǎn)品和系統(tǒng)具有很高的安全性，但安全和責(zé)任框架可以提供可靠的補救機制來彌補發(fā)生的損害，有助于更好地保護消費者。當(dāng)人工智能、物聯(lián)網(wǎng)和機器人等新技術(shù)興起時，建立明確清晰的安全和責(zé)任框架勢在必行，以期保護消費者和企業(yè)的合法權(quán)益。

歐盟擁有健全的安全和產(chǎn)品責(zé)任監(jiān)管框架，以及完善的安全標(biāo)準(zhǔn)體系，在保障公民在單一市場上的福祉的同時，鼓勵創(chuàng)新和技術(shù)應(yīng)用。但是，人工智能、物聯(lián)網(wǎng)和機器人技術(shù)正在改變許多產(chǎn)品和服務(wù)的特性。

2018年4月25日，歐盟委員會通過了《人工智能通訊》，宣布將提交一份報告，以評估人工智能、物聯(lián)網(wǎng)和機器人技術(shù)對現(xiàn)有安全和責(zé)任框架的影響。本報告提出的目標(biāo)以及《人工智能白皮書》僅供討論，重點關(guān)注安全和責(zé)任框架已確定的關(guān)鍵問題。

二、人工智能、物聯(lián)網(wǎng)和機器人技術(shù)的特征及機遇

（一）新興技術(shù)的特征

人工智能、物聯(lián)網(wǎng)和機器人技術(shù)有許多共同特征，包括連接性、自主性、復(fù)雜性和數(shù)據(jù)依賴性。配備人工智能的系統(tǒng)可以通過從經(jīng)驗中學(xué)習(xí)來改善自身性能。其復(fù)雜性既反映在供應(yīng)鏈涉及多個經(jīng)濟運營商，又反映在構(gòu)成新技術(shù)生態(tài)系統(tǒng)的組件、零件、軟件、系統(tǒng)或服務(wù)的多樣性。此外，隨著投放市場的變化，它們的開放性進一步提升。同時，由于涉及大量數(shù)據(jù)，導(dǎo)致算法依賴以及人工智能決策的不透明性，使得對人工智能產(chǎn)品行為更難預(yù)測，對造成損害的潛在原因排查難度加大。最后，連接性和開放性也可能使人工智能和物聯(lián)網(wǎng)產(chǎn)品面臨網(wǎng)絡(luò)威脅。

（二）新興技術(shù)的機遇

人工智能、物聯(lián)網(wǎng)和機器人技術(shù)為人類社會創(chuàng)造了許多機遇。例如可以增加用戶對新興技術(shù)的信任和社會認可，提高產(chǎn)品質(zhì)量、改善流程和商業(yè)模式，以及幫助歐洲制造商提高生產(chǎn)效率。同時，該技術(shù)還有望幫助人類解決一些重大挑戰(zhàn)，包括治療慢性疾病、預(yù)測疾病爆發(fā)、減少交通事故死亡率、應(yīng)對氣候變化或預(yù)測網(wǎng)絡(luò)安全威脅等。

一方面，新技術(shù)通過提高產(chǎn)品的安全性從而使產(chǎn)品降低某些風(fēng)險。例如，網(wǎng)聯(lián)汽車和自動駕駛汽車可以提高道路安全性，從而避免大多數(shù)人為錯誤引起的交通事故。另一方面，物聯(lián)網(wǎng)系統(tǒng)可以接收和處理不同來源的大量數(shù)據(jù)，提高產(chǎn)品召回的有效性，提醒用戶避免產(chǎn)品的安全問題。如果生產(chǎn)商發(fā)現(xiàn)物聯(lián)網(wǎng)產(chǎn)品在使用期間出現(xiàn)安全問題，可以直接與用戶溝通，警告其相關(guān)風(fēng)險，或者直接解決問題。例如，2017年某智能手機生產(chǎn)商在召回設(shè)備時對軟件進行升級，把待召回的手機電池容量降為零，以便用戶停止使用危險設(shè)備。此外，這些新技術(shù)可以提高產(chǎn)品的可追溯性。例如，物聯(lián)網(wǎng)的連接功能可以使企業(yè)和市場監(jiān)督機構(gòu)跟蹤危險產(chǎn)品并識別整個供應(yīng)鏈中的風(fēng)險。

三、人工智能、物聯(lián)網(wǎng)和機器人技術(shù)對現(xiàn)有安全框架的挑戰(zhàn)及應(yīng)對

歐盟委員會關(guān)于《建立對以人為本的人工智能的信任》（Building Trust in Human-Centric Artificial Intelligence）指出，人工智能系統(tǒng)應(yīng)綜合設(shè)計安全機制，以確保每一步的安全性都經(jīng)受得住檢驗，確保所有相關(guān)人員的身心安全。

歐盟產(chǎn)品安全法規(guī)旨在確保投放到歐盟市場上的產(chǎn)品滿足高標(biāo)準(zhǔn)的健康、安全和環(huán)境要求，并且此類產(chǎn)品可以在整個歐盟內(nèi)部自由流通。針對該行業(yè)的立法以《通用產(chǎn)品安全指令》為依托，要求即使不受歐盟立法監(jiān)管的消費品也要保證安全。歐洲標(biāo)準(zhǔn)化是歐盟產(chǎn)品安全法規(guī)的重要組成部分?？紤]到數(shù)字化和新興數(shù)字技術(shù)的全球化特征，標(biāo)準(zhǔn)化領(lǐng)域的國際合作對維持歐洲工業(yè)的競爭力至關(guān)重要。

歐盟產(chǎn)品安全框架的很大一部分是在人工智能、物聯(lián)網(wǎng)或機器人等數(shù)字技術(shù)出現(xiàn)之前制定的。因此，它并不完全包含解決這些新興技術(shù)挑戰(zhàn)和風(fēng)險的明確規(guī)定。但是，由于現(xiàn)有產(chǎn)品安全框架是技術(shù)中立的，并不意味它不適用于采用了這些技術(shù)的產(chǎn)品。此外，在醫(yī)療設(shè)備或汽車等領(lǐng)域，該框架的后續(xù)立法已經(jīng)明確將數(shù)字技術(shù)納入考慮范圍。

（一）新興技術(shù)的連接性對傳統(tǒng)安全概念提出挑戰(zhàn)

連接性已成為新興產(chǎn)品和服務(wù)的核心特征，對傳統(tǒng)的安全概念提出了挑戰(zhàn)。以冰島兒童智能手表的“歐盟快速預(yù)警系統(tǒng)”為例，該產(chǎn)品預(yù)期利用本地化來確保兒童安全，卻存在被用作接觸兒童工具的危險。而德國乘用車中的無線電設(shè)備如果存在軟件安全漏洞，允許未經(jīng)授權(quán)的第三方訪問其互連控制系統(tǒng)并進行惡意攻擊，就會增加發(fā)生交通事故的風(fēng)險。另外，工業(yè)應(yīng)用缺乏必要的安全等級，也可能威脅員工的人身安全。例如針對工廠的關(guān)鍵控制系統(tǒng)開展網(wǎng)絡(luò)攻擊，可觸發(fā)導(dǎo)致死亡事故的爆炸。

歐盟產(chǎn)品安全法規(guī)（Union product safety legislation）中的安全性屬于公共政策目標(biāo)，旨在確保產(chǎn)品安全。根據(jù)規(guī)定，產(chǎn)品的使用范圍包括預(yù)期用途、可預(yù)見用途，以及合理可預(yù)見的誤用。產(chǎn)品安全性概念涵蓋了各種風(fēng)險的防護，包括網(wǎng)絡(luò)風(fēng)險和與設(shè)備斷開連接的相關(guān)風(fēng)險。

歐盟產(chǎn)品安全法規(guī)尚未針對影響用戶安全的網(wǎng)絡(luò)威脅制定特殊的強制性要求。不過，《醫(yī)療器械法規(guī)》、《測量儀器指令》、《無線電設(shè)備指令》和《整車型式批準(zhǔn)法規(guī)》中包含了網(wǎng)絡(luò)威脅安全性的相關(guān)規(guī)定。《網(wǎng)絡(luò)安全法案》為信息和通信技術(shù)（ICT）產(chǎn)品、服務(wù)和流程制定了自愿性網(wǎng)絡(luò)安全認證框架。

（二）人工智能自主性與制造商期望存在偏差

人工智能產(chǎn)品和系統(tǒng)的自主性可能會使機器做出的決策與生產(chǎn)者的最初意圖以及用戶的期望有所偏差。歐盟產(chǎn)品安全框架規(guī)定制造商在將人工智能產(chǎn)品投放市場之前需進行風(fēng)險評估，為用戶提供明確的安全指示和警告。但是產(chǎn)品在全生命周期內(nèi)都可能因自主行為對用戶造成風(fēng)險，需要實時更新風(fēng)險評估程序。

歐盟產(chǎn)品安全法規(guī)尚未明確如何解決人工智能自主性產(chǎn)品和系統(tǒng)中由于人為疏忽導(dǎo)致的問題，從產(chǎn)品設(shè)計到人工智能產(chǎn)品全生命周期都需要人工監(jiān)督來保障安全。目前，歐盟法律框架中的安全性通常指人身傷害威脅。但是人工智能應(yīng)用的類人行為可能會給用戶造成心理健康風(fēng)險，應(yīng)考慮將精神健康風(fēng)險納入立法框架。同時要求生產(chǎn)商明確其產(chǎn)品可能對用戶（特別是弱勢用戶，例如被護理的老年人）造成的心理損害。

（三）數(shù)據(jù)依賴產(chǎn)生的安全風(fēng)險需要保障機制

數(shù)據(jù)準(zhǔn)確性和相關(guān)性可以確保人工智能系統(tǒng)按照生產(chǎn)者意圖做出決定。歐盟產(chǎn)品安全法規(guī)未明確解決由錯誤數(shù)據(jù)引起的安全風(fēng)險。根據(jù)產(chǎn)品的“用途”，生產(chǎn)商應(yīng)在設(shè)計和測試階段預(yù)測數(shù)據(jù)的準(zhǔn)確性及其與安全功能的相關(guān)性。例如，設(shè)計用于檢測特定對象的人工智能系統(tǒng)時，設(shè)計人員應(yīng)收集在光線不足的典型環(huán)境中進行產(chǎn)品測試的數(shù)據(jù)。

歐盟產(chǎn)品安全法規(guī)應(yīng)該作出規(guī)定，要求制造商在設(shè)計階段解決錯誤數(shù)據(jù)帶來的安全風(fēng)險。確保在人工智能產(chǎn)品和系統(tǒng)的使用過程中有良好的機制來保障數(shù)據(jù)質(zhì)量。

（四）人工智能的不透明性使決策過程難以跟蹤

人工智能產(chǎn)品和系統(tǒng)的不透明性可能會導(dǎo)致難以跟蹤系統(tǒng)的決策過程，即所謂的“算法黑箱”。隨著人工智能算法變得越來越先進，并部署到關(guān)鍵領(lǐng)域，人類理解系統(tǒng)如何做出算法決策具有決定性的意義，這對于事后執(zhí)行機制尤其重要。

歐盟產(chǎn)品安全法規(guī)目前尚未解決基于算法不透明所帶來的日益增長的風(fēng)險。因此，有必要考慮制定更多對算法透明性、穩(wěn)健性和問責(zé)制的相關(guān)法律規(guī)定。在發(fā)生事故的情況下，規(guī)定算法開發(fā)人員必須公開數(shù)據(jù)集的設(shè)計參數(shù)和元數(shù)據(jù)。這對于事后執(zhí)行機制的完善、建立對新興數(shù)字技術(shù)的信任尤為重要。

（五）軟件更新對安全性構(gòu)成風(fēng)險

最終產(chǎn)品制造商有義務(wù)在產(chǎn)品投放市場時預(yù)見該產(chǎn)品中集成軟件的風(fēng)險。某些歐盟產(chǎn)品安全法規(guī)明確包含了產(chǎn)品中集成軟件的規(guī)定。例如，《機械指令》要求控制系統(tǒng)軟件出現(xiàn)故障時，不會導(dǎo)致出現(xiàn)危險情況。

歐盟產(chǎn)品安全法規(guī)規(guī)定，出于安全原因，可以將軟件更新與維護操作進行比較，前提是不會對已經(jīng)投放市場的產(chǎn)品進行重大更改，并且不會構(gòu)成初始風(fēng)險評估中未預(yù)見的新風(fēng)險。但是，如果軟件的更新對已下載的產(chǎn)品進行了實質(zhì)性修改，則整個產(chǎn)品可能會被視為新產(chǎn)品，并且在執(zhí)行修改時必須重新評估是否符合相關(guān)安全產(chǎn)品法規(guī)的規(guī)定。但歐盟產(chǎn)品安全法規(guī)仍需要對獨立軟件做出特定和明確的要求，確保人工智能產(chǎn)品和系統(tǒng)中的獨立軟件具備安全功能。此外，應(yīng)規(guī)定制造商承擔(dān)相關(guān)的強制性義務(wù)，以確保上傳的軟件不會在人工智能產(chǎn)品的生命周期內(nèi)對安全性產(chǎn)生影響。

（六）新興數(shù)字技術(shù)受復(fù)雜的價值鏈影響

在歐盟產(chǎn)品安全框架下，產(chǎn)品的安全性責(zé)任由生產(chǎn)者承擔(dān)，包括產(chǎn)品中集成的各個部件。歐盟產(chǎn)品安全法規(guī)考慮了價值鏈的復(fù)雜性，并遵循“共同責(zé)任”的原則對多家企業(yè)施加了義務(wù)。

歐盟產(chǎn)品安全法規(guī)明確規(guī)定了價值鏈中的企業(yè)與用戶之間進行合作的條款，尤其是價值鏈中影響產(chǎn)品安全的每個企業(yè)（例如軟件生產(chǎn)者）和用戶（通過修改產(chǎn)品）都會承擔(dān)相關(guān)責(zé)任，并為價值鏈中的下一個行為者提供必要的信息和保護措施，以期為復(fù)雜的價值鏈問題提供法律依據(jù)。

四、人工智能、物聯(lián)網(wǎng)和機器人技術(shù)對現(xiàn)有責(zé)任框架的挑戰(zhàn)及應(yīng)對

產(chǎn)品安全和產(chǎn)品責(zé)任法規(guī)是歐盟的兩大互補機制，最大程度地降低新型技術(shù)產(chǎn)品和系統(tǒng)對用戶的傷害，國家則通過民事責(zé)任框架對各種原因造成的損害進行賠償，即與不同的責(zé)任人（例如所有者、經(jīng)營者或服務(wù)提供者）溝通。民事責(zé)任法規(guī)在社會中起著雙重作用，一方面確保受害者獲得賠償;另一方面為責(zé)任方提供經(jīng)濟誘因，以避免造成這種損害。責(zé)任法規(guī)必須始終在保護公民免受傷害與鼓勵企業(yè)創(chuàng)新之間維持平衡。

（一）新興技術(shù)降低責(zé)任框架有效性

人工智能、物聯(lián)網(wǎng)和機器人等新興數(shù)字技術(shù)的特征可能會在某些方面影響責(zé)任框架，并降低其有效性?！懂a(chǎn)品責(zé)任指令》規(guī)定生產(chǎn)商應(yīng)對因產(chǎn)品缺陷造成的損害承擔(dān)責(zé)任。發(fā)生人身或財產(chǎn)損失時，如果受害方能夠證明損失和產(chǎn)品缺陷（即產(chǎn)品沒有提供公眾預(yù)期的安全性）之間存在因果關(guān)系，則有權(quán)獲得賠償。根據(jù)嚴格的過錯和責(zé)任認定，國家賠償責(zé)任制度為產(chǎn)品和服務(wù)的受害者提供了幾項并行的索賠要求。投保適當(dāng)?shù)谋ｋU可以為受害者提供穩(wěn)定的賠償，從而減輕事故帶來的負面影響。明確的責(zé)任規(guī)定可幫助保險公司計算風(fēng)險，并向承擔(dān)損害最終責(zé)任的當(dāng)事方要求賠償。例如，如果事故是由產(chǎn)品缺陷導(dǎo)致的，則汽車保險公司可以在賠償受害者之后再向制造商索賠。

與其他類似產(chǎn)品和服務(wù)相比，新興數(shù)字技術(shù)產(chǎn)品和服務(wù)事故的受害者無法享受根據(jù)國家侵權(quán)法獲得賠償?shù)谋Ｗo，可能會降低社會對新興技術(shù)的接受程度，增加應(yīng)用阻力。此外還需要進一步評估新技術(shù)對現(xiàn)有責(zé)任框架的挑戰(zhàn)是否會導(dǎo)致法律適用的不確定性，可能會增加生產(chǎn)者和供應(yīng)鏈中其他企業(yè)的信息和保險成本。

（二）產(chǎn)品、服務(wù)和價值鏈的復(fù)雜性增加索賠難度

人工智能應(yīng)用通常集成在復(fù)雜的物聯(lián)網(wǎng)環(huán)境中，相應(yīng)提高了使用者的索賠門檻。首先，由于軟件有多種類型和形式，因此不能簡單地將軟件歸類為服務(wù)或產(chǎn)品。盡管《產(chǎn)品責(zé)任指令》對產(chǎn)品的定義很寬泛，但可以進一步明確生產(chǎn)者概念，擴大責(zé)任范圍，對于軟件或其他數(shù)字功能導(dǎo)致產(chǎn)品缺陷從而造成的損失，明確賠償義務(wù)和責(zé)任范圍。這樣可以更好地根據(jù)相關(guān)法律規(guī)定判斷是否可以將經(jīng)濟參與者（例如軟件開發(fā)人員）視為生產(chǎn)者，從而確定相關(guān)責(zé)任人。其次，由于技術(shù)的復(fù)雜性，擁有專業(yè)知識的經(jīng)濟成本過高，受害者很難根據(jù)國家法律確定責(zé)任人并成功索賠。再次，人工智能產(chǎn)品和服務(wù)將與傳統(tǒng)技術(shù)交互，從而增加責(zé)任追溯的復(fù)雜性。例如，在可預(yù)見時期內(nèi)，自動駕駛汽車將與傳統(tǒng)汽車并行。

可以通過修訂《產(chǎn)品責(zé)任指令》，減少人工智能相關(guān)受害者的舉證責(zé)任，進一步有針對性地統(tǒng)一國家責(zé)任規(guī)則。

（三）連接性和開放性對網(wǎng)絡(luò)安全義務(wù)提出挑戰(zhàn)

因產(chǎn)品網(wǎng)絡(luò)安全漏洞而造成的損害是否能得到充分的賠償問題尚沒有明確的法律規(guī)定。在現(xiàn)有的責(zé)任框架中，應(yīng)該建立明確的網(wǎng)絡(luò)安全義務(wù)，使運營商明確自身義務(wù)，從而避免承擔(dān)不必要的責(zé)任。

根據(jù)《產(chǎn)品責(zé)任指令》，在產(chǎn)品的合理可預(yù)見使用方面，生產(chǎn)者是否可以預(yù)見某些問題可能會變得越發(fā)突出。一是“后期缺陷抗辯”可能會有所增加。如果在產(chǎn)品投入市場時或在“開發(fā)風(fēng)險抗辯”（當(dāng)時的最新知識尚無法預(yù)見到缺陷）中不存在缺陷，則生產(chǎn)商不承擔(dān)責(zé)任。二是如果受害者未執(zhí)行安全更新，則有可能將此視為共同過失，從而減少生產(chǎn)商的責(zé)任。三是由于可預(yù)見合理使用的概念和共同過失問題（例如無法下載安全更新）越發(fā)普遍，受害者可能會難以獲得產(chǎn)品缺陷造成的損害賠償。

（四）自主性和不透明性造成索賠困難

人工智能的“算法黑箱”效應(yīng)，使得人工智能應(yīng)用的自主性造成的損害，很難獲得賠償。理解人工智能所使用的算法和數(shù)據(jù)需要具有專業(yè)分析能力和技術(shù)專長，受害者可能會因此付出高昂的代價。此外，如果沒有潛在責(zé)任方的配合，就無法訪問算法和數(shù)據(jù)，因此導(dǎo)致受害者實際上無法提出責(zé)任索賠。

某些自主人工智能設(shè)備和服務(wù)的運行在責(zé)任方面可能具有特定的風(fēng)險特征。這主要涉及在公共場所運行的人工智能設(shè)備（例如全自動駕駛汽車、無人機和包裹運送機器人），或具有類似風(fēng)險的人工智能服務(wù)（例如引導(dǎo)或控制車輛的交通管理服務(wù)或配電管理）。嚴格的賠償責(zé)任可以確保一旦發(fā)生這種風(fēng)險，無論過錯如何，都能給受害者提供賠償。

針對運行具有特定風(fēng)險的人工智能應(yīng)用，歐盟委員會正在尋求相關(guān)意見，以便有效補償潛在的受害者。此外，歐盟委員會還在征求關(guān)于將嚴格的責(zé)任認定與潛在義務(wù)相結(jié)合，制定可用保險的意見，以確保不論責(zé)任方的償付能力如何，受害者都能獲得賠償。針對潛在責(zé)任方?jīng)]有記錄與評估責(zé)任有關(guān)的數(shù)據(jù)，或者不愿意與受害人分享數(shù)據(jù)的行為，歐盟委員會正在探討是否需要調(diào)整因果關(guān)系和過錯責(zé)任。

五、結(jié)論

人工智能、物聯(lián)網(wǎng)和機器人等新興數(shù)字技術(shù)的出現(xiàn)，對產(chǎn)品安全和責(zé)任方面提出了新的挑戰(zhàn)，包括連接性、自主性、數(shù)據(jù)依賴性、不透明性、產(chǎn)品和系統(tǒng)的復(fù)雜性、軟件更新以及更為復(fù)雜的安全管理和價值鏈。當(dāng)前的產(chǎn)品安全法規(guī)仍有待完善，特別是需要分別對《通用產(chǎn)品安全指令》、《機械指令》、《無線電設(shè)備指令》和《新立法框架》進行修訂補充。

根據(jù)現(xiàn)行法規(guī)，發(fā)生損害時的成本分配可能不公平或效率低下。為了解決該問題以及現(xiàn)有框架中的潛在不確定性，歐盟可以考慮采用針對性的、基于風(fēng)險的方法，采取適當(dāng)?shù)呐e措對《產(chǎn)品責(zé)任指令》和國家責(zé)任制度進行調(diào)整，即考慮人工智能系統(tǒng)應(yīng)用所帶來的多重風(fēng)險，以解決現(xiàn)有安全和責(zé)任框架的不確定性。

（譯自：Repott on the safety and liability implications of Artificial Intelligence，the Internet of Things and robotics）