警惕“智能系統(tǒng)”帶來(lái)的安全隱患

■中國(guó)電子信息產(chǎn)業(yè)發(fā)展研究院安全產(chǎn)業(yè)所 黃玉垚 高宏

一、智能系統(tǒng)安全問(wèn)題的成因分析

（一）智能系統(tǒng)關(guān)鍵技術(shù)不成熟

從波音737MAX 空難和多起特斯拉事故來(lái)看，智能系統(tǒng)的關(guān)鍵安全技術(shù)應(yīng)用并不是十分成熟。

一是智能系統(tǒng)的設(shè)計(jì)缺陷，人機(jī)互信機(jī)制并未完全建立，人能及時(shí)進(jìn)行干預(yù)、糾正或終止智能系統(tǒng)行動(dòng)的最高權(quán)賦沒(méi)有得到保證。例如，從埃航墜機(jī)事故來(lái)看，波音737MAX配備的MCAS自動(dòng)防失速系統(tǒng)，會(huì)自動(dòng)觸發(fā)、自動(dòng)控制飛機(jī)，讓飛機(jī)低頭。這一功能設(shè)計(jì)的初衷是用自動(dòng)駕駛功能來(lái)保證飛行安全。而結(jié)果是，MCAS 作為一個(gè)輔助人類的機(jī)器系統(tǒng)，在生死攸關(guān)時(shí)，不僅沒(méi)有實(shí)現(xiàn)保障安全的目標(biāo)，而且還在“人機(jī)搏斗”中，人類飛行員最后也沒(méi)能奪回控制權(quán)，導(dǎo)致空難發(fā)生。

二是關(guān)鍵智能設(shè)備數(shù)據(jù)應(yīng)對(duì)能力存在缺陷，對(duì)周邊環(huán)境及靜態(tài)物體的感知不靈敏。再如，特斯拉在2015年推出Level 2 智能駕駛系統(tǒng)——Autopilot后，關(guān)于安全性的相關(guān)爭(zhēng)議就一直沒(méi)有停止過(guò)。從媒體披露的特斯拉事故來(lái)看，Autopilot 在很多方面都存在缺陷，目前的技術(shù)還不完備，應(yīng)對(duì)復(fù)雜環(huán)境的能力不足，可靠性不夠，即使是攝像頭、激光雷達(dá)能夠探測(cè)到車(chē)前的物體，也不能保證百分百有效識(shí)別。車(chē)輛行駛過(guò)程中遇到其他車(chē)輛并道的情況時(shí)，前方車(chē)輛車(chē)尾沒(méi)有完全進(jìn)入傳感器視線，傳感器無(wú)法及時(shí)識(shí)別車(chē)輛，從而出現(xiàn)意外事故。

（二）安全性評(píng)估缺乏監(jiān)管

一是美國(guó)聯(lián)邦航空局（FAA）對(duì)737 MAX 機(jī)型的大量安全評(píng)估授權(quán)給波音公司自己操作。據(jù)美國(guó)媒體報(bào)道，多年來(lái)因資金和人力短缺，F(xiàn)AA 一直授權(quán)波音公司承擔(dān)證明其自身飛機(jī)安全性的工作。在737 MAX 機(jī)型認(rèn)證早期，波音的工程師在FAA 授權(quán)下，對(duì)關(guān)鍵的MCAS 自動(dòng)防失速系統(tǒng)進(jìn)行系統(tǒng)安全分析，得出了“符合聯(lián)邦航空局所有適用的規(guī)章”的結(jié)論。但目前來(lái)看，737 MAX 機(jī)型的自動(dòng)防失速系統(tǒng)本身存在諸多設(shè)計(jì)缺陷，而波音向聯(lián)邦航空局提交的關(guān)于737 MAX機(jī)型飛行控制系統(tǒng)的最初安全分析報(bào)告數(shù)據(jù)也與實(shí)際不符；甚至，波音公司在長(zhǎng)達(dá)一年多的時(shí)間里，竟然在停用一個(gè)關(guān)鍵性的737 MAX 客機(jī)攻角傳感器報(bào)警功能，造成“迎角不一致警示燈”功能異常情況后，沒(méi)有告知FAA 和民航界。

二是作為國(guó)家最高公路安全管理機(jī)構(gòu)，美國(guó)國(guó)家公路交通安全管理局（NHTSA）澄清，特斯拉公布的安全測(cè)試結(jié)論超出了其分析范圍。Autopilot 是特斯拉推出的輔助駕駛平臺(tái)，能自動(dòng)幫助司機(jī)處理一些駕駛?cè)蝿?wù)。特斯拉曾聲稱，NHTSA曾發(fā)表的一份調(diào)查報(bào)告指出，Autopilot 能夠讓特斯拉汽車(chē)的撞車(chē)率降低40%；但NHTSA 表示，在特斯拉所提到的這份報(bào)告中，從未對(duì)Autopilot 的效率進(jìn)行過(guò)評(píng)估，所以特斯拉的說(shuō)法并無(wú)根據(jù)。而且，NHTSA 是禁止汽車(chē)制造商“吹噓”自己擁有5星以上汽車(chē)安全等級(jí)的，但特斯拉在Model S 車(chē)型的宣傳卻違反了此規(guī)定。

（三）利益驅(qū)動(dòng)下的市場(chǎng)優(yōu)先策略

無(wú)論波音還是特斯拉，商業(yè)利益在采用智能系統(tǒng)應(yīng)用于安全保障方面都扮演了尷尬的角色。

第一，由于來(lái)不及開(kāi)發(fā)一款全新的客機(jī)來(lái)跟空客下一代A320Neo 競(jìng)爭(zhēng)，波音不得不緊急啟動(dòng)737MAX 升級(jí)計(jì)劃，在已經(jīng)“榨干”了737 原始設(shè)計(jì)的前提下，加大發(fā)動(dòng)機(jī)體積、減小機(jī)翼的設(shè)計(jì)，改變了波音737 一直以來(lái)的空氣動(dòng)力學(xué)，使飛機(jī)有可能在某些情況下拉高過(guò)多。為消除這種可能性，波音不敢開(kāi)放對(duì)手動(dòng)駕駛狀態(tài)的保護(hù)，才設(shè)計(jì)了一個(gè)試圖用軟件補(bǔ)硬件的MCAS 系統(tǒng)，以便在起飛時(shí)候手動(dòng)駕駛狀態(tài)也會(huì)自動(dòng)干預(yù)抬頭。此外，737MAX的迎角傳感器的讀數(shù)功能和用來(lái)提示迎角數(shù)據(jù)不一致的故障燈是選配。這兩個(gè)功能對(duì)飛行員的判斷至關(guān)重要，但對(duì)波音來(lái)說(shuō)這正好是提高利潤(rùn)的好機(jī)會(huì)。對(duì)于埃航來(lái)說(shuō)，為了降低成本只能選擇不配置。直到悲劇發(fā)生之后，波音才不得不取消了這種政策，為新下線的737MAX 免費(fèi)增加這兩種功能。

第二，為了在競(jìng)爭(zhēng)激烈的智能汽車(chē)市場(chǎng)上占據(jù)一席之地，特斯拉試圖成為自動(dòng)駕駛革命的先行者。為了達(dá)到這一目的，與其他傳統(tǒng)車(chē)企相比，在缺乏足夠汽車(chē)設(shè)計(jì)和自動(dòng)駕駛技術(shù)積累的基礎(chǔ)上，特斯拉采取了更激進(jìn)、更敢拿消費(fèi)者的生命和自己的聲譽(yù)冒險(xiǎn)的策略。根據(jù)美國(guó)IIHS（公路安全保險(xiǎn)協(xié)會(huì)）的報(bào)告，盡管Autopilot 的完善度較高，并不一定意味著更安全。裝備了Autopilot 系統(tǒng)的車(chē)型，與其他車(chē)型前置碰撞預(yù)警、主動(dòng)剎車(chē)和盲區(qū)提示等功能對(duì)安全改善的效果基本是一致的，并沒(méi)有更出色的表現(xiàn)。然而，現(xiàn)在的問(wèn)題是，更大的事故率來(lái)自特斯拉的宣傳策略，引導(dǎo)用戶過(guò)度使用Autopilot。但包括特斯拉在內(nèi)都承認(rèn)，Autopilot 依然只是一個(gè)駕駛輔助系統(tǒng)，而且在未來(lái)很長(zhǎng)一段時(shí)間之內(nèi)，仍舊不能完全成為自動(dòng)駕駛系統(tǒng)。

二、規(guī)避智能系統(tǒng)安全隱患的對(duì)策建議

加強(qiáng)智能系統(tǒng)的軟硬件檢測(cè)

一是完善對(duì)智能系統(tǒng)的軟件測(cè)試要求。通過(guò)智能系統(tǒng)的軟件測(cè)試，對(duì)其功能性、可靠性、可用性、可維護(hù)性、可移植性、效率等方面的檢測(cè)，對(duì)軟件系統(tǒng)組件和模塊進(jìn)行全生命周期測(cè)試，最終能夠放心、安全地使用。

二是健全對(duì)智能系統(tǒng)硬件的質(zhì)量檢驗(yàn)。應(yīng)當(dāng)在現(xiàn)有電子信息檢測(cè)機(jī)構(gòu)中，從信息化、智能化方面，建立重點(diǎn)針對(duì)系統(tǒng)的智能芯片、智能探測(cè)和傳感系統(tǒng)、各類接口系統(tǒng)等硬件的可靠性進(jìn)行檢測(cè)，確保在基于物聯(lián)網(wǎng)應(yīng)用的層面上，智能系統(tǒng)自身的安全可靠。

嚴(yán)控智能安全裝備的安全評(píng)估評(píng)價(jià)

第一，慎重下放對(duì)于安全產(chǎn)品的安全評(píng)價(jià)權(quán)。從美國(guó)的經(jīng)驗(yàn)教訓(xùn)可以看出，在沒(méi)有建立一套比較完善的安全評(píng)價(jià)標(biāo)準(zhǔn)和體制機(jī)制前，盲目下放智能系統(tǒng)檢測(cè)權(quán)限，無(wú)法實(shí)現(xiàn)有效的監(jiān)管，對(duì)智能安全系統(tǒng)應(yīng)用是不負(fù)責(zé)任的。

第二，嚴(yán)格相關(guān)產(chǎn)品和系統(tǒng)安全評(píng)價(jià)的資格認(rèn)證。在保證檢測(cè)檢驗(yàn)機(jī)構(gòu)公正、誠(chéng)實(shí)的立場(chǎng)，保持檢驗(yàn)活動(dòng)獨(dú)立性的前提下，應(yīng)當(dāng)嚴(yán)格控制對(duì)安全防范與信息安全產(chǎn)品及系統(tǒng)檢驗(yàn)檢測(cè)機(jī)構(gòu)的認(rèn)可、授權(quán)和考核，并建立類似3C 認(rèn)證的智能系統(tǒng)檢驗(yàn)標(biāo)準(zhǔn)體系。

第三，完善智能系統(tǒng)和裝備的應(yīng)用統(tǒng)計(jì)分析。以大數(shù)據(jù)為核心，通過(guò)對(duì)安全事故的數(shù)據(jù)統(tǒng)計(jì)分析，建立智能系統(tǒng)測(cè)試數(shù)據(jù)庫(kù)，并對(duì)數(shù)據(jù)進(jìn)行深度的挖掘和分析，最終實(shí)現(xiàn)智能化控制和消除安全隱患的目標(biāo)。

規(guī)范智能系統(tǒng)的市場(chǎng)秩序

首先，為防止的惡性競(jìng)爭(zhēng)，應(yīng)當(dāng)建立針對(duì)智能安全系統(tǒng)和產(chǎn)品從企業(yè)資質(zhì)、研發(fā)能力、生產(chǎn)設(shè)備、檢驗(yàn)設(shè)備、安裝和售后服務(wù)等方面的評(píng)價(jià)與市場(chǎng)準(zhǔn)入機(jī)制。

其次，通過(guò)檢驗(yàn)測(cè)試、系統(tǒng)分析、用戶評(píng)價(jià)等方式，選擇高品質(zhì)、有保障的智能安全系統(tǒng)和產(chǎn)品，出臺(tái)相應(yīng)的智能安全產(chǎn)品技術(shù)與產(chǎn)品的推廣目錄，達(dá)到通過(guò)推廣智能安全技術(shù)和產(chǎn)品，保障安全、降低傷害和減少事故發(fā)生的目的。

最后，建立完善的智能安全技術(shù)、產(chǎn)品和系統(tǒng)的通用標(biāo)準(zhǔn)，并強(qiáng)化監(jiān)管，通過(guò)安全監(jiān)管、市場(chǎng)監(jiān)管、產(chǎn)品監(jiān)管等多部門(mén)綜合治理和規(guī)范，讓安全性與安全性能成為生產(chǎn)企業(yè)的初心，使不成熟的技術(shù)、不可靠的產(chǎn)品、不完善的系統(tǒng)失去生存的空間。

完善智能系統(tǒng)的關(guān)鍵技術(shù)和設(shè)計(jì)

統(tǒng)籌各類資源，進(jìn)一步促進(jìn)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人機(jī)交互、自然語(yǔ)言、機(jī)器視覺(jué)等多個(gè)技術(shù)的研發(fā)與應(yīng)用，在投入使用前，要充分開(kāi)展研究實(shí)驗(yàn)，以數(shù)字化模擬和真實(shí)場(chǎng)景試驗(yàn)為重點(diǎn)，深挖智能技術(shù)及系統(tǒng)的缺陷，完善智能技術(shù)對(duì)復(fù)雜環(huán)境的有效識(shí)別，提升智能技術(shù)對(duì)隱患的準(zhǔn)確判斷和響應(yīng)能力。

此外，智能系統(tǒng)的邏輯設(shè)計(jì)應(yīng)是人機(jī)協(xié)作，而不是機(jī)器換人，人必須擁有系統(tǒng)使用的最高權(quán)限。尤其是在自動(dòng)駕駛領(lǐng)域，如果解除了自動(dòng)駕駛狀態(tài)，則自動(dòng)駕駛系統(tǒng)應(yīng)當(dāng)徹底停止工作，只顯示實(shí)時(shí)故障，飛機(jī)或汽車(chē)完全由駕駛員指揮并協(xié)調(diào)處理各類問(wèn)題。