“健康中國”戰(zhàn)略下醫(yī)療人工智能診斷產(chǎn)品技術(shù)風險及主體責任探討

茅鴦對，孫高軍

1 浙江醫(yī)藥高等?？茖W校，寧波市，315000

2 廣發(fā)銀行股份有限公司 寧波分行，寧波市，315000

0 引言

中共中央、國務(wù)院印發(fā)的《“健康中國2030”規(guī)劃綱要》中指出到2030年基本實現(xiàn)健康公平，主要健康指標進入高收入國家行列[1]。當前人口基數(shù)龐大，老齡化加劇，日益增長的健康服務(wù)需求已使我國醫(yī)療服務(wù)系統(tǒng)不堪重負，醫(yī)療人工智能（artificial intelligence，AI）的出現(xiàn)對大幅提高診療效率，改善醫(yī)療資源配置，緩解就醫(yī)壓力，降低醫(yī)療成本有所裨益。近年來全球各個國家及組織紛紛發(fā)布國家戰(zhàn)略、倫理準則、規(guī)范、指南、標準、政策、白皮書、行業(yè)發(fā)展報告等文件，均致力于實現(xiàn)AI產(chǎn)業(yè)穩(wěn)步落地。然而醫(yī)療AI產(chǎn)品的廣泛應(yīng)用會引發(fā)諸多風險，包括數(shù)據(jù)隱私和安全問題，算法黑箱特性問題，結(jié)果篡改便利問題，算法融合人類偏見以及加劇健康差異等問題[2]。醫(yī)療AI診斷產(chǎn)品依賴于算法、算力和數(shù)據(jù)三大核心要素，與普通醫(yī)療器械產(chǎn)品的特性大相徑庭，其風險隱蔽性更強，影響面更廣，唯有主體責任落實與道德規(guī)范約束兩者并駕齊驅(qū)，劃清各個主體的責任邊界，推行有效的問責措施，才能真正引導(dǎo)行業(yè)自律，形成良性循環(huán)。有針對性地構(gòu)建醫(yī)療AI診斷產(chǎn)品主體責任體系及提出相關(guān)保障措施，為該類產(chǎn)品在應(yīng)用中實現(xiàn)合理可責、可持續(xù)發(fā)展奠定重要基礎(chǔ)。

1 醫(yī)療AI診斷產(chǎn)品界定

醫(yī)療AI產(chǎn)品是在不同臨床應(yīng)用場景下引入自然語言處理（natural language processing）、深度學習（deep learning）、知識圖譜（knowledge graph）、計算機視覺（computer vision）等AI相關(guān)技術(shù)所開發(fā)的產(chǎn)品及服務(wù)[3]。醫(yī)療AI產(chǎn)品通過學習海量的醫(yī)學數(shù)據(jù)和專業(yè)知識，模擬醫(yī)生的診斷方式，可在短時間內(nèi)開展篩查和診斷、風險計算、預(yù)后和臨床決策支持、管理規(guī)劃和精準醫(yī)療。目前醫(yī)療AI產(chǎn)品涵蓋了疾病風險預(yù)測、醫(yī)療影像輔助診斷、臨床輔助治療、智能健康管理和醫(yī)院智能管理等眾多領(lǐng)域。本研究探討的醫(yī)療AI診斷產(chǎn)品是指在不同醫(yī)療場景提供疾病診斷信息的產(chǎn)品，包括醫(yī)學影像AI、輔助診斷AI、智能導(dǎo)診AI等。

2 醫(yī)療AI診斷產(chǎn)品主體責任困境探討

醫(yī)療AI診斷產(chǎn)品常見風險點較多（見圖1），其準確度、敏感度、特異性等關(guān)鍵指標尚未達到完美程度，尤其是腫瘤類影像診斷AI對疾病的檢出、分類、篩查、病灶分割及測量等工作，任何一個環(huán)節(jié)都有可能存在某種程度上的偏差，直接或間接影響診療方案，從而造成延誤治療、錯誤治療或過度治療，對患者身心造成不同程度的傷害。鑒于醫(yī)療AI診斷產(chǎn)品涉及設(shè)計者、生產(chǎn)者、經(jīng)營者、使用者等多個主體，實踐中存在多重角色合一的情況，任何環(huán)節(jié)都有可能存在主觀紕漏或客觀疏忽，存在混合責任，責任邊界模糊的情況，容易陷入責任分配不公，舉證和追責難度大的窘境，有損患者權(quán)益。而目前醫(yī)療AI法律主體地位的不明朗、評價標準與方法規(guī)范的缺失、侵權(quán)責任歸屬的復(fù)雜性問題凸顯，是行業(yè)發(fā)展的首要障礙。

圖1 醫(yī)療AI診斷產(chǎn)品常見風險圖Fig.1 Common risk diagram of medical AI diagnostic products

3 國內(nèi)外醫(yī)療AI主體責任研究

3.1 國內(nèi)外醫(yī)療AI法律主體資格認定

國內(nèi)外學者對人工智能法律主體資格認定主要有三種觀點：一是以DREMLIUGA、顏俊、黃瑩等為代表的學者，認為醫(yī)療AI產(chǎn)品在不同程度上需要借助人類的智慧，受到人類的操作與監(jiān)管，其地位等同于普通醫(yī)療器械，不賦予其法律主體資格[4-6]。二是以HALLEVY、王征、袁曾等為代表的學者，認為可以賦予擁有獨立思考及決策能力，具備自我感知和行為能力的強人工智能以同人類平等的權(quán)利并承擔相應(yīng)責任義務(wù)，但考慮到其能承擔的法律后果有限，將其確立為具有“特殊性質(zhì)”“有限”“類人”的法律主體[7-9]。歐盟已將最先進的AI定位為“電子人”，賦予其“特定的權(quán)利和義務(wù)”[10]。三是以劉憲權(quán)、蔣巍、劉建利為代表的學者，認為對于強人工智能可以確立其法律主體資格[11-13]，梁鵬將其定位為類似于未成年人的法律地位[14]。沙特阿拉伯已授予類人機器人“索菲亞”沙特阿拉伯國籍。我國在2019年世界人工智能大會上公開表明在弱人工智能時代，人工智能產(chǎn)品本身不具有獨立的法律主體資格，設(shè)計者、生產(chǎn)者、運營者、使用者承擔法律主體責任[15]。

3.2 醫(yī)療AI主體責任分配問題探討

美國國家標準與技術(shù)研究院（NIST）發(fā)布了關(guān)于人工智能技術(shù)和道德標準指導(dǎo)意見，確立改進公平性、透明度和設(shè)計責任機制。法國規(guī)定醫(yī)師診斷是主動操作員，應(yīng)承擔“機器人監(jiān)護人”的角色。錢思雯[16]建議構(gòu)建以產(chǎn)品責任為核心的責任分配體系，黨家玉[17]認為人工智能的侵權(quán)責任應(yīng)在明確具體的責任承擔主體，設(shè)立具體的責任承擔監(jiān)管機構(gòu)的基礎(chǔ)上，平衡消費者、制造商以及受害人三方利益，建立以責任保險制度為核心的綜合救濟體系。張志堅[18]指出將人工智能擬制為電子法人，須按相應(yīng)比例在多方主體之間分攤權(quán)責，從而實現(xiàn)法人之責任有限與權(quán)責分攤的目的，且不危及人類自身安全和主體支配地位。蔣巍[19]指出結(jié)合“一般法+特別法+責任主體承諾”方式，人工智能刑事責任分配考量設(shè)計者的犯罪為目，使用者的具體角色，并判斷其是否犯罪以及刑事責任的大小。目前我國明確根據(jù)過錯責任原則，由人工智能設(shè)計者、生產(chǎn)者、運營者、使用者按照過錯程度分擔，由外部技術(shù)侵入造成的侵權(quán)應(yīng)追究其責任，對于因技術(shù)限制在開發(fā)之初無法預(yù)測到的危險，造成侵權(quán)后果的，應(yīng)引入保險機制等方式進行責任分擔。

3.3 實現(xiàn)醫(yī)療AI主體責任認定及追償?shù)呐涮状胧?/h3>

美國《人工智能未來法案》要求商務(wù)部設(shè)立聯(lián)邦人工智能發(fā)展與應(yīng)用咨詢委員會，重點關(guān)注隱私保護、責任認定問題[20]?！稓W盟機器人民事法律規(guī)則》明確要求機器人適用強制保險機制并設(shè)立賠償基金[21]。顏俊[5]建議針對人工智能研發(fā)、生產(chǎn)和使用中可能出現(xiàn)的各類風險，設(shè)置不同的責任險種實現(xiàn)對受損者的賠償。張玉潔[22]認為應(yīng)建立機器人強制登記制度以確立機器人法律主體地位，開展權(quán)責追溯。張童[23]認為需要建立專門的倫理準則、登記公示制度與召回處置機制，確立生產(chǎn)者、銷售者與使用者之間差異化的歸責原則，并側(cè)重強調(diào)生產(chǎn)者的舉證責任，以及在保護隱私權(quán)的前提下記錄并保存侵害原由與過程的電子數(shù)據(jù)。《斯坦?！溉斯ぶ悄馨倌暄芯俊故追輬蟾妫?030年的人工智能與生活》中指出可以實行人工智能算法代碼備案制度，并交由專門的機構(gòu)進行算法的事后監(jiān)督檢查，一旦發(fā)現(xiàn)漏洞及時通知算法研發(fā)機構(gòu)和使用人，并要求更正更新[24]。

4 構(gòu)建醫(yī)療AI診斷產(chǎn)品主體責任體系

4.1 構(gòu)建醫(yī)療AI診斷產(chǎn)品主體責任體系總體原則

筆者建議借鑒發(fā)達國家“模糊目標+強硬透明度要求+有意義執(zhí)法”的監(jiān)管經(jīng)驗，以包容審慎為原則，構(gòu)建以上市許可持有人為“第一責任人”，設(shè)計者、生產(chǎn)者、經(jīng)營者和使用者為共同責任人的醫(yī)療AI診斷產(chǎn)品主體責任體系。建立醫(yī)療AI診斷產(chǎn)品致?lián)p的責任分擔機制，使各個主體義務(wù)與責任邊界清晰化，避免責任空白。同時建議規(guī)定因科技水平限制或不可抗力等因素造成的責任豁免情形，有效平衡風險防范和創(chuàng)新激勵，確保人工智能系統(tǒng)以公平、可靠、安全、適當透明和隱私為核心，保障公眾利益。

4.2 醫(yī)療AI診斷產(chǎn)品主體責任要點

4.2.1 醫(yī)療AI診斷產(chǎn)品上市許可持有人主體責任

筆者建議將醫(yī)療AI診斷產(chǎn)品上市許可持有人作為“第一責任人”承擔產(chǎn)品從始至終的法律責任，其角色可以是涉及AI產(chǎn)品任何一個環(huán)節(jié)的主體，也可以是研發(fā)機構(gòu)或者科研人員。上市許可持有人主動向藥監(jiān)局提出AI診斷產(chǎn)品審批申請，監(jiān)管部門作為第一層過濾網(wǎng)，遴選出符合AI技術(shù)標準和準則的產(chǎn)品，降低市場風險。上市許可持有人可與設(shè)計者、生產(chǎn)者、經(jīng)營者等相關(guān)利益方簽訂合同，載明權(quán)利、責任和義務(wù)，明確質(zhì)量責任。注冊環(huán)節(jié)需要進行合同備案與算法備案，作為侵權(quán)責任分配依據(jù)。

4.2.2 醫(yī)療AI診斷產(chǎn)品設(shè)計者主體責任

醫(yī)療AI診斷產(chǎn)品設(shè)計者在需求分析、數(shù)據(jù)收集、算法設(shè)計、驗證與確認等每個環(huán)節(jié)必須以設(shè)計可信賴AI（trustworthy AI）為最高綱領(lǐng)，收集醫(yī)院倫理委員會批準或者豁免的臨床脫敏數(shù)據(jù)，統(tǒng)一標記規(guī)范，建立高質(zhì)量大規(guī)模分布均衡的高質(zhì)量數(shù)據(jù)庫。開發(fā)匹配不同診斷場景和臨床需求，契合臨床醫(yī)師工作流程的可靠型、安全型、易用型AI，建立渠道暢通、響應(yīng)快速的反饋機制，便于及時迭代和優(yōu)化。確保AI可理解、可解釋、可預(yù)測，實時檢測模型偏差并自動推薦要添加到模型中的數(shù)據(jù)，及時糾正偏差。

4.2.3 醫(yī)療AI診斷產(chǎn)品生產(chǎn)者和經(jīng)營者主體責任

醫(yī)療AI診斷產(chǎn)品的生產(chǎn)者應(yīng)以人為本，生產(chǎn)安全有效、公平、透明、尊重隱私、符合倫理道德的產(chǎn)品。在說明書中詳盡闡述具體操作方法、注意事項、警示信息、履行使用者培訓(xùn)后再使用的義務(wù)，采用醫(yī)療器械唯一標識（unique device identification，UDI），開發(fā)AI追溯系統(tǒng)，能夠利用算法從復(fù)雜的因果鏈中尋找歸責依據(jù)。經(jīng)營者按規(guī)定開展進貨查驗記錄制度和銷售記錄制度，向符合資質(zhì)的醫(yī)療機構(gòu)銷售產(chǎn)品。

4.2.4 醫(yī)療AI診斷產(chǎn)品使用者主體責任

醫(yī)療AI診斷產(chǎn)品使用者包括醫(yī)療機構(gòu)、體檢中心、第三方醫(yī)學影像中心等單位，國家藥品監(jiān)督管理局協(xié)同國家衛(wèi)生健康委員會對其進行資質(zhì)認定，嚴格審核硬件設(shè)施、醫(yī)師資格、專業(yè)技術(shù)能力以及培訓(xùn)管理等要求，符合《人工智能輔助診斷技術(shù)管理規(guī)范2017》等行業(yè)規(guī)范。醫(yī)院引入AI產(chǎn)品必須開展采購論證、進貨查驗等工作。使用者必須善用和慎用AI，避免不合理的利用與不恰當?shù)牟僮?，盡可能降低損害發(fā)生的概率。

4.3 醫(yī)療AI診斷產(chǎn)品侵權(quán)責任探討

在醫(yī)療AI診斷產(chǎn)品侵權(quán)事件發(fā)生時，首先判定醫(yī)療AI診斷產(chǎn)品是否注冊并符合產(chǎn)品技術(shù)要求，由具備資質(zhì)的檢驗檢測機構(gòu)出具是否合格的檢測報告，如果產(chǎn)品不合格即為缺陷產(chǎn)品，上市許可持有人應(yīng)向受害人進行賠償，此時上市許可持有人亦有權(quán)調(diào)查根本原因，若是其他共同責任人造成的侵害，有權(quán)按合同約定向其追償。其次判定是否在免責條款中，如果在免責條款中，受害人可以通過保險或基金進行救濟。如果不在免責范圍內(nèi)，結(jié)合《產(chǎn)品質(zhì)量法》《產(chǎn)品侵權(quán)法》判定因果關(guān)系、損害事實及主觀過錯?；卺t(yī)療AI診斷產(chǎn)品的智能等級和產(chǎn)品風險水平進行分類，對高智能等級且高風險產(chǎn)品嚴格監(jiān)管，適用無過錯責任，舉證責任倒置。對于低智能等級且低風險產(chǎn)品適用過錯責任，“誰主張，誰舉證”原則。由專門的醫(yī)療人工智能損害技術(shù)鑒定部門進行專業(yè)技術(shù)判斷，醫(yī)療過錯行為在醫(yī)療損害后果責任程度應(yīng)依據(jù)患者損害的原因力大?。ㄈ吭?、主要原因、同等原因、次要原因、輕微原因、無因果關(guān)系）確定，要求上市許可持有人賠償，上市許可持有人根據(jù)合同約定的責任條款向設(shè)計者、生產(chǎn)者等過錯方追究連帶責任，追償損失。同時可以建立AI質(zhì)量首問負責任制，AI利益相關(guān)方中任何一方先接到受害人賠償請求，誰就先行賠付，再進行追償。

建議構(gòu)建醫(yī)療人工智能強制保險制度為主，賠償基金制度為輔的雙重保障體系。上市許可持有人參考風險級別購買強制保險和商業(yè)險，保額與風險大小成正比，設(shè)計者、生產(chǎn)者、使用者等利益相關(guān)方可以選擇性購買商業(yè)險，消除侵權(quán)賠償?shù)暮箢欀畱n，將各自精力聚焦在專業(yè)領(lǐng)域，有利于實現(xiàn)精準診療。設(shè)立專項賠償基金進行合理救濟，在侵權(quán)責任和強制保險無法覆蓋的情形下彌補受害者賠償不到位的損失。

需要指出的是，當前處于弱人工智能時代，大部分是單病種醫(yī)療AI診斷產(chǎn)品，加上僅是輔助決策作用，臨床診斷結(jié)論更依賴醫(yī)師專業(yè)程度，此處需要甄別診斷失誤事件或醫(yī)療事故是由醫(yī)師主觀判斷錯誤、操作失誤還是硬件故障、程序漏洞等AI本身原因所導(dǎo)致的問題。

4.4 醫(yī)療AI診斷產(chǎn)品主體責任體系重要保障措施

4.4.1 逐步實現(xiàn)算法透明和可解釋

算法透明是提供算法可責性問題的解決工具，明確算法決策的主體性、因果性或相關(guān)性，是確定和分配算法責任的前提[25]。歐盟《通用數(shù)據(jù)保護條例》中規(guī)定公司有義務(wù)向歐盟管理機構(gòu)提供個別算法決策詳細解釋或關(guān)于算法如何決策的一般信息[26]。應(yīng)該堅持公開透明原則，將人工智能的研發(fā)、設(shè)計和應(yīng)用置于監(jiān)管機構(gòu)、倫理委員會以及社會公眾的共同監(jiān)督之下。

4.4.2 構(gòu)建分類分級監(jiān)管模式

不同醫(yī)療AI診斷產(chǎn)品技術(shù)發(fā)展成熟度、能力水平和特定功能存在差異，給社會帶來的風險程度有所不同。筆者建議針對不同的疾病情況（不同病癥、不同嚴重程度）和算法功能（篩查、輔助診斷、治療），采用基于風險管理的分類分級監(jiān)管模式。當所提交審批的醫(yī)療AI產(chǎn)品質(zhì)量、用戶安全、臨床可靠性、網(wǎng)絡(luò)安全責任和前瞻性文化五大方面超過行業(yè)金標準時，企業(yè)可申請預(yù)認證，通過后予以精簡審核。上市后監(jiān)管可結(jié)合產(chǎn)品風險等級不同，采用寬嚴有別的監(jiān)督方式。

4.4.3 構(gòu)建基于社會共治理念的多元治理路徑

面對日新月異的醫(yī)療AI技術(shù)發(fā)展以及日趨復(fù)雜的醫(yī)療診斷安全問題，亟需構(gòu)建以“政府法律規(guī)范制約、行政監(jiān)管部門監(jiān)管、技術(shù)機構(gòu)技術(shù)支撐、行業(yè)組織產(chǎn)業(yè)引導(dǎo)、社會輿論監(jiān)督”為主線的多元治理路徑。發(fā)揮政府在倫理監(jiān)管中的作用，明確利益相關(guān)者在倫理治理體系中的責任[27]。行政監(jiān)管部門建立醫(yī)療AI強制登記制度，強制故障透明，使醫(yī)療AI行為及決策全程可追溯。技術(shù)支撐機構(gòu)需加快建立醫(yī)療AI器械審評審批制度，制定統(tǒng)一的質(zhì)量評價標準與規(guī)范，合理評估安全性和倫理性。以中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟為引領(lǐng)的行業(yè)組織應(yīng)助推醫(yī)療AI政策落地，搭建AI技術(shù)端與應(yīng)用端的橋梁，引導(dǎo)產(chǎn)業(yè)精準服務(wù)。在新常態(tài)開展以新聞媒體、消費者協(xié)會、行業(yè)協(xié)會、公民為共同體的輿論監(jiān)督，真正傾聽市場訴求，促進現(xiàn)代化高效治理，利于產(chǎn)業(yè)蓬勃發(fā)展。

5 小結(jié)

醫(yī)療AI診斷作為當前發(fā)展最成熟應(yīng)用最廣的領(lǐng)域，產(chǎn)品正處在市場價值驗證的關(guān)鍵時期，法律規(guī)范的空白會帶來巨大風險，行業(yè)良性競爭的營商環(huán)境建立會受到掣肘。健康完善的醫(yī)療AI診斷產(chǎn)品主體責任體系的構(gòu)建能促使行業(yè)朝著以人為本，受人類監(jiān)管，和諧與優(yōu)化共生的目標發(fā)展。