人工智能獨(dú)立醫(yī)用軟件監(jiān)管研究

張建楠，李瑩瑩，周佳卉，朱燁琳，李蘭娟

（1.浙江數(shù)字醫(yī)療衛(wèi)生技術(shù)研究院，杭州 311100；2.浙江大學(xué)醫(yī)學(xué)院附屬第一醫(yī)院，杭州 310003）

一、 前言

獨(dú)立醫(yī)用軟件（SaMD）是獨(dú)立于醫(yī)療設(shè)備硬件而在通用計(jì)算機(jī)上使用并直接用于一個(gè)或多個(gè)醫(yī)療目的的一類軟件[1]。隨著人工智能技術(shù)的快速發(fā)展和領(lǐng)域滲透，基于人工智能技術(shù)的獨(dú)立醫(yī)用軟件正在快速發(fā)展。世界范圍內(nèi)已經(jīng)涌現(xiàn)的一批人工智能獨(dú)立醫(yī)用軟件產(chǎn)品，包括常見(jiàn)的醫(yī)學(xué)影像診斷軟件及一些放射診斷器械、臨床化學(xué)檢測(cè)系統(tǒng)、心血管診斷和監(jiān)測(cè)器械、神經(jīng)病學(xué)診斷器械和眼科診斷器械等[2]。人工智能（AI）新技術(shù)賦能催生了監(jiān)管部門(mén)對(duì)這類特殊產(chǎn)品的監(jiān)管需要[3]，對(duì)此美國(guó)食品藥品監(jiān)督管理局（FDA）等世界AI發(fā)展領(lǐng)先國(guó)家監(jiān)管部門(mén)和國(guó)際醫(yī)療設(shè)備監(jiān)管機(jī)構(gòu)論壇（IMDRF）等領(lǐng)域相關(guān)國(guó)際組織開(kāi)展了熱烈討論并開(kāi)啟了針對(duì)智能化新興醫(yī)療器械軟件的監(jiān)管變革。FDA總結(jié)了此次變革歸因于AI的技術(shù)特殊性在傳統(tǒng)監(jiān)管模式中的不兼容，不同于傳統(tǒng)計(jì)算機(jī)醫(yī)用軟件程序代碼完全固定可完全適應(yīng)于靜態(tài)的醫(yī)療器械監(jiān)管模式，AI技術(shù)以數(shù)據(jù)、算法和算力為技術(shù)特征，由數(shù)據(jù)或算法驅(qū)動(dòng)的獨(dú)立醫(yī)用軟件會(huì)隨著算法和數(shù)據(jù)的變化而動(dòng)態(tài)變化，加劇了產(chǎn)品安全性和有效性中的不確定性風(fēng)險(xiǎn)，增加了實(shí)時(shí)軟件監(jiān)管和高頻變更控制需要[4]。這意味著AI獨(dú)立醫(yī)用軟件在上市后的監(jiān)管包括變更控制、質(zhì)量控制和安全監(jiān)測(cè)將尤為關(guān)鍵。

當(dāng)前，大部分國(guó)家監(jiān)管機(jī)構(gòu)面向AI獨(dú)立醫(yī)用軟件上市的監(jiān)管制度和政策已逐步建立。2019年，美國(guó)FDA開(kāi)展了基于人工智能/機(jī)器學(xué)習(xí)的醫(yī)療器械軟件（AI/ML-based SaMD）的監(jiān)管框架討論以應(yīng)對(duì)AI醫(yī)用獨(dú)立軟件監(jiān)管[5]。FDA延用了IMDRF對(duì)SaMD制定的風(fēng)險(xiǎn)分類分級(jí)框架[6]；并依照AI算法特征將相關(guān)產(chǎn)品對(duì)應(yīng)于各自適用的510(k)、上市前審評(píng)（PMA）和 產(chǎn)品重新分類申請(qǐng)（De Novo）監(jiān)管審批通道，初步制定了不同嚴(yán)格程度的上市前/后監(jiān)管程序和必須遵照的監(jiān)管規(guī)則。FDA從算法性質(zhì)出發(fā)將人工智能獨(dú)立醫(yī)用軟件開(kāi)發(fā)算法分為“鎖定”（locked）和“自適應(yīng)”（adaptive），分類分級(jí)了其中的不確定性風(fēng)險(xiǎn)程度?；凇版i定”算法，軟件算法不隨使用改變，相同輸入即得相同輸出。而基于“自適應(yīng)”算法，軟件通過(guò)既定學(xué)習(xí)進(jìn)程可改變軟件的根本性能表現(xiàn)，算法的更新及確認(rèn)受其本身控制，相同輸入在軟件迭代更新前后可能會(huì)得到不同輸出結(jié)果。在FDA監(jiān)管框架下，IDx-DR成為FDA批準(zhǔn)的第一個(gè)提供糖尿病視網(wǎng)膜病變?cè)\斷決策的自主AI系統(tǒng)[7]，而另30余種AI獨(dú)立醫(yī)用軟件產(chǎn)品均以“鎖定算法”經(jīng)FDA批準(zhǔn)上市[8]。FDA目前對(duì)于算法自適應(yīng)的AI獨(dú)立醫(yī)療軟件如何監(jiān)管尚未有萬(wàn)全的應(yīng)對(duì)方案[9]。中國(guó)國(guó)家藥品監(jiān)督管理局（NMPA）對(duì)于AI獨(dú)立醫(yī)用軟件監(jiān)管給出了不同的理解。NMPA定義人工智能獨(dú)立醫(yī)用軟件為基于醫(yī)療器械數(shù)據(jù)，采用人工智能技術(shù)實(shí)現(xiàn)其醫(yī)療用途的獨(dú)立軟件[10]?！渡疃葘W(xué)習(xí)輔助決策醫(yī)療器械軟件審批要點(diǎn)》從數(shù)據(jù)和算法角度入手將人工智能獨(dú)立醫(yī)用軟件分為數(shù)據(jù)驅(qū)動(dòng)和算法驅(qū)動(dòng)，并將算法成熟度作為風(fēng)險(xiǎn)分類分級(jí)的核心考慮因素。《人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》指明對(duì)于算法在醫(yī)療應(yīng)用中成熟度低（指未上市或安全有效性尚未得到充分證實(shí)）的人工智能醫(yī)用軟件，若用于輔助決策，如提供病灶特征識(shí)別、病變性質(zhì)判定、用藥指導(dǎo)、治療計(jì)劃制定等臨床診療建議，按照第三類醫(yī)療器械管理；若用于非輔助決策，如進(jìn)行數(shù)據(jù)處理和測(cè)量等提供臨床參考信息，按照第二類醫(yī)療器械管理。目前NMPA批準(zhǔn)的12個(gè)按照第三類醫(yī)療器械管理的人工智能獨(dú)立醫(yī)用軟件產(chǎn)品[11]依據(jù)審批要點(diǎn)對(duì)照FDA分類均可歸于鎖定算法。可以看出，盡管各國(guó)監(jiān)管部門(mén)對(duì)于風(fēng)險(xiǎn)的具體評(píng)判標(biāo)準(zhǔn)有所不同，但對(duì)于高風(fēng)險(xiǎn)性的AI獨(dú)立醫(yī)用軟件表示擔(dān)憂，對(duì)于低風(fēng)險(xiǎn)的AI獨(dú)立醫(yī)用軟件監(jiān)管持審慎態(tài)度呈現(xiàn)一致。

在AI獨(dú)立醫(yī)用軟件發(fā)展初期，監(jiān)管者對(duì)于影響人工智能獨(dú)立醫(yī)用軟件全生命周期監(jiān)管的關(guān)鍵要素仍在積極探索中，其范疇主要圍繞：①關(guān)鍵監(jiān)管策略，即適應(yīng)于AI/ML透明度、可解釋性差、泛化能力和魯棒性及算法自適應(yīng)等特殊技術(shù)屬性的實(shí)時(shí)性強(qiáng)、靈活性高的監(jiān)管制度或框架；②監(jiān)管支撐保障，即與之相適應(yīng)的質(zhì)量評(píng)價(jià)和安全監(jiān)管標(biāo)準(zhǔn)、強(qiáng)依賴的標(biāo)準(zhǔn)化數(shù)據(jù)集儲(chǔ)備、測(cè)試方案、技術(shù)工具等實(shí)現(xiàn)科學(xué)監(jiān)管的支撐體系。相比相對(duì)成熟的上市前準(zhǔn)入，本文認(rèn)為隨著申請(qǐng)和上市產(chǎn)品的持續(xù)增加，如何通過(guò)監(jiān)管科學(xué)積極發(fā)揮對(duì)人工智能獨(dú)立醫(yī)用軟件市場(chǎng)化發(fā)展的引導(dǎo)和監(jiān)督，防范人工智能獨(dú)立醫(yī)用軟件的算法風(fēng)險(xiǎn)，積極應(yīng)對(duì)準(zhǔn)入后的AI獨(dú)立醫(yī)用軟件應(yīng)用的持續(xù)監(jiān)管問(wèn)題更不容忽視，因?yàn)獒t(yī)用軟件一直存在開(kāi)發(fā)人員無(wú)法完全了解臨床環(huán)境導(dǎo)致錯(cuò)誤和風(fēng)險(xiǎn)的問(wèn)題。2018年10月至2019年5月，美國(guó)、英國(guó)、加拿大、澳大利亞、中國(guó)等公開(kāi)的136例國(guó)際醫(yī)療器械嚴(yán)重不良事件導(dǎo)致的醫(yī)療器械召回中，由于軟件缺陷原因引起的比例占到了16.91% [12]。而這種情況在AI獨(dú)立醫(yī)用軟件不可解釋的黑盒模式下無(wú)疑將更甚。

由此，本文重點(diǎn)從AI/ML技術(shù)特征出發(fā)分析國(guó)內(nèi)外對(duì)于AI醫(yī)療軟件監(jiān)管制度建設(shè)及指南、標(biāo)準(zhǔn)和標(biāo)準(zhǔn)化支撐的建設(shè)現(xiàn)狀；并以上市后監(jiān)管的變更控制、質(zhì)量控制和安全監(jiān)測(cè)為側(cè)重梳理當(dāng)前監(jiān)管體系下我國(guó)AI醫(yī)療軟件在上市后監(jiān)管上面臨的問(wèn)題，并提出了相關(guān)措施建議，以期為進(jìn)一步完善我國(guó)AI獨(dú)立醫(yī)用軟件全生命周期管理提供參考。

二、AI獨(dú)立醫(yī)用軟件監(jiān)管策略現(xiàn)狀分析

AI獨(dú)立醫(yī)用軟件監(jiān)管制度是實(shí)施監(jiān)管的根本依據(jù)。美國(guó)、歐盟、日本、中國(guó)等已初步建立了AI獨(dú)立醫(yī)用軟件監(jiān)管制度。以FDA為代表，監(jiān)管機(jī)構(gòu)面向AI/ML技術(shù)影響下關(guān)鍵的上市后算法變更、質(zhì)量控制和安全監(jiān)測(cè)問(wèn)題提出了概要性的解決策略或方案。

（一） 基于算法變更的監(jiān)管策略

對(duì)于上市后AI醫(yī)用軟件的算法變更問(wèn)題，美國(guó)FDA《基于AI/ML的醫(yī)療器械軟件的監(jiān)管框架更改協(xié)議》（討論稿）提出了一種將變更控制前置的方案，以保障上市后AI獨(dú)立醫(yī)用軟件迭代時(shí)算法可控。FDA通過(guò)變更控制計(jì)劃中的獨(dú)立醫(yī)用軟件預(yù)先性能說(shuō)明（SaMD Pre-Specifications）和算法更改協(xié)議（Algorithm Change Protocol）框定軟件規(guī)格的潛在變化區(qū)域和預(yù)期更改描述；并通過(guò)新的產(chǎn)品全生命周期監(jiān)管方法（TPLC）確保產(chǎn)品能夠遵循算法更改協(xié)議按照預(yù)先指定的性能目標(biāo)實(shí)施算法更改[13]。與之類似，日本PMDA于2019年12月更新的《藥品和醫(yī)療器械法》（PMD Act）面向算法的快速迭代提供了上市后使用AI持續(xù)改進(jìn)SaMD性能的審批審核流程[14]，并規(guī)定性能必須是單向改進(jìn)，由上市許可持有人（MAH）進(jìn)行管理。MAH可開(kāi)發(fā)一種程序以確保“改進(jìn)過(guò)程”并在上市前審批審核流程中提交。

（二） 基于質(zhì)量控制的監(jiān)管策略

對(duì)于上市后質(zhì)量控制監(jiān)管，各國(guó)針對(duì)透明性、可解釋性、可信賴性等算法模型的質(zhì)量評(píng)價(jià)方案仍處于探索階段，質(zhì)量監(jiān)管將通過(guò)新的質(zhì)量評(píng)價(jià)體系/系統(tǒng)實(shí)現(xiàn)。

2021年1月，F(xiàn)DA器械和放射健康中心（CDRH）內(nèi)設(shè)的獨(dú)立部門(mén)數(shù)字健康卓越中心發(fā)布了《基于人工智能/機(jī)器學(xué)習(xí)的軟件醫(yī)療設(shè)備行動(dòng)計(jì)劃》，提出了5項(xiàng)研究要點(diǎn)用以探索保證人工智能獨(dú)立醫(yī)用軟件的安全性和有效性監(jiān)測(cè)的實(shí)現(xiàn)路徑（見(jiàn)表1）[15]。歐盟在2021年5月生效的《2017/745歐盟醫(yī)療器械法規(guī)》（下稱新法規(guī)）中側(cè)重強(qiáng)化了制造商的上市后義務(wù)，要求制造商重新評(píng)估當(dāng)前的質(zhì)量管理和文檔編制戰(zhàn)略，并建立包括質(zhì)量管理體系（QMS）和技術(shù)文檔售后監(jiān)督程序等在內(nèi)的全面流程。我國(guó)針對(duì)AI獨(dú)立醫(yī)用軟件監(jiān)管部分延用傳統(tǒng)監(jiān)管模式，經(jīng)由質(zhì)量管理系統(tǒng)、臨床表現(xiàn)和評(píng)估等進(jìn)行質(zhì)量監(jiān)管。NMPA于2019年制定并發(fā)布了《醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范附錄獨(dú)立軟件》，從獨(dú)立軟件、軟件組件生產(chǎn)管理、質(zhì)量控制、不良事件監(jiān)測(cè)分析等8個(gè)方面提出要求。此外，2021年3月，國(guó)家藥監(jiān)局正式發(fā)布的修訂后的《醫(yī)療器械監(jiān)督管理?xiàng)l例》（以下簡(jiǎn)稱新條例）在較大范圍內(nèi)強(qiáng)化了醫(yī)療器械的上市后監(jiān)管力度。新條例提出要強(qiáng)化醫(yī)療器械注冊(cè)人、備案人應(yīng)當(dāng)履行的義務(wù)：要求建立與產(chǎn)品相適應(yīng)的質(zhì)量管理體系并保持有效運(yùn)行；制定上市后研究和風(fēng)險(xiǎn)管控計(jì)劃并保證有效實(shí)施。

表1 FDA基于AI/ML軟件醫(yī)療設(shè)備行動(dòng)計(jì)劃概要

（三） 基于安全監(jiān)測(cè)的監(jiān)管策略

對(duì)于上市后安全監(jiān)管，基于不良事件報(bào)告系統(tǒng)以及產(chǎn)品召回制度是上市后監(jiān)管的主流應(yīng)對(duì)機(jī)制。此外，提升產(chǎn)品上市后追溯能力是另一個(gè)可幫助及時(shí)獲取AI獨(dú)立醫(yī)用軟件產(chǎn)品安全相關(guān)信息及解決AI引起的不良事件定責(zé)問(wèn)題的可行解決方案。歐盟實(shí)行了統(tǒng)一的身份識(shí)別系統(tǒng)（UDI）計(jì)劃，將優(yōu)先支持醫(yī)療設(shè)備軟件（MDSW）的UDI獲?。会槍?duì)新引入IIa級(jí)別以上產(chǎn)品，要求制造商提供上市后臨床跟蹤調(diào)研評(píng)估報(bào)告（PMCF）作為定期安全更新報(bào)告（PSUR）的一部分。FDA的上市后監(jiān)管策略包括基于真實(shí)世界數(shù)據(jù)的追溯和安全監(jiān)測(cè)，該方案作為試點(diǎn)計(jì)劃正在探索當(dāng)中[14]。我國(guó)國(guó)家藥監(jiān)局組織于2020年11月制定發(fā)布的《真實(shí)世界數(shù)據(jù)用于醫(yī)療器械臨床評(píng)價(jià)技術(shù)指導(dǎo)原則（試行）》同樣提出利用真實(shí)世界數(shù)據(jù)進(jìn)行上市后臨床評(píng)價(jià)和不良事件監(jiān)測(cè)。此外，新條例明確了增設(shè)產(chǎn)品唯一標(biāo)識(shí)追溯、延伸檢查等監(jiān)管措施。通過(guò)基于唯一標(biāo)識(shí)符的追溯體系建立和不良事件監(jiān)測(cè)系統(tǒng)實(shí)現(xiàn)上市后的安全監(jiān)管。

三、AI獨(dú)立醫(yī)用軟件監(jiān)管支撐體系現(xiàn)狀分析

（一） 指南和標(biāo)準(zhǔn)規(guī)范

AI獨(dú)立醫(yī)用軟件相關(guān)指南或標(biāo)準(zhǔn)是進(jìn)行AI獨(dú)立醫(yī)用軟件科學(xué)監(jiān)管的重要支撐。美國(guó)FDA與國(guó)際標(biāo)準(zhǔn)化組織（ISO）、國(guó)際電工委員會(huì)（IEC）、電氣與電子工程師協(xié)會(huì)（IEEE）等國(guó)際標(biāo)準(zhǔn)化組織建立了廣泛合作，正積極參與面向人工智能獨(dú)立醫(yī)用軟件的國(guó)際標(biāo)準(zhǔn)制訂。同時(shí)，F(xiàn)DA還與美國(guó)醫(yī)療儀器促進(jìn)協(xié)會(huì)（AAMI）、英國(guó)標(biāo)準(zhǔn)協(xié)會(huì)（BSI）等機(jī)構(gòu)合作開(kāi)發(fā)關(guān)于醫(yī)學(xué)人工智能術(shù)語(yǔ)和分類的方案、醫(yī)學(xué)人工智能認(rèn)證過(guò)程的方案。國(guó)際電信聯(lián)盟（ITU）和世界衛(wèi)生組織（WHO）于2018年7月聯(lián)合成立健康醫(yī)療人工智能焦點(diǎn)組（FG-AI4H）正在創(chuàng)建健康評(píng)估指南，涵蓋AI獨(dú)立醫(yī)用軟件健康倫理、監(jiān)管法規(guī)、需求規(guī)范、軟件生命周期規(guī)范、數(shù)據(jù)規(guī)范、測(cè)試實(shí)踐規(guī)范、評(píng)估規(guī)范、示范應(yīng)用、應(yīng)用和平臺(tái)的通用要求和針對(duì)各類醫(yī)學(xué)應(yīng)用的專用要求[16]。國(guó)際標(biāo)準(zhǔn)化組織ISO已發(fā)布部分AI獨(dú)立醫(yī)用軟件適用的可參考標(biāo)準(zhǔn)，如健康信息學(xué)—機(jī)器學(xué)習(xí)技術(shù)在成像和其他醫(yī)療應(yīng)用中的應(yīng)用（ISO/TR 24291: 2021），機(jī)器系統(tǒng)的狀態(tài)監(jiān)測(cè)和診斷—數(shù)據(jù)處理、通信和展示（ISO 13374-4: 2015），健康軟件和健康IT系統(tǒng)安全、有效性和保障—第1部分：原則和概念（ISO 81001-1: 2021）等。另外，安全、有效和可靠的健康軟件和健康IT系統(tǒng)—鑒證案例應(yīng)用指南 ISO/AWI TS 6337，健康軟件—第 2 部分：健康和保健應(yīng)用—質(zhì)量和可靠性（ISO/PRF TS 82304-2）等質(zhì)量和安全評(píng)價(jià)相關(guān)標(biāo)準(zhǔn)正在開(kāi)發(fā)中。

國(guó)內(nèi)AI獨(dú)立醫(yī)用軟件標(biāo)準(zhǔn)建設(shè)正處于初始階段。藥監(jiān)局醫(yī)療器械技術(shù)審評(píng)中心（CMDE）為促進(jìn)AI獨(dú)立醫(yī)用軟件標(biāo)準(zhǔn)化發(fā)展發(fā)布了兩項(xiàng)指南：一是《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審批要點(diǎn)》，從適用范圍、審批關(guān)注要點(diǎn)、軟件更新、相關(guān)技術(shù)考量、注冊(cè)申報(bào)資料說(shuō)明五個(gè)部分進(jìn)一步明確產(chǎn)品審批細(xì)則。二是《肺炎CT影像輔助分診與評(píng)估軟件審評(píng)要點(diǎn)（試行）》，結(jié)合新冠肺炎國(guó)情通過(guò)綠色通道和適當(dāng)?shù)某绦驅(qū)捤蛇M(jìn)一步推動(dòng)肺炎相關(guān)SaMD軟件的審評(píng)審批。中國(guó)檢驗(yàn)檢疫科學(xué)研究院牽頭成立的人工智能醫(yī)療器械工作組（AIMDWG）立項(xiàng)了安全有效性評(píng)價(jià)術(shù)語(yǔ)標(biāo)準(zhǔn)IEEE P2802、數(shù)據(jù)集質(zhì)控標(biāo)準(zhǔn)IEEE P2801。另外，人工智能醫(yī)療器械標(biāo)準(zhǔn)化技術(shù)歸口單位根據(jù)《醫(yī)療器械標(biāo)準(zhǔn)管理辦法》初步構(gòu)建了我國(guó)人工智能醫(yī)療器械標(biāo)準(zhǔn)體系，具體分為基礎(chǔ)標(biāo)準(zhǔn)、管理標(biāo)準(zhǔn)、方法標(biāo)準(zhǔn)和產(chǎn)品標(biāo)準(zhǔn)?；A(chǔ)標(biāo)準(zhǔn)主要面向行業(yè)基礎(chǔ)共性問(wèn)題，對(duì)人工智能醫(yī)療器械的術(shù)語(yǔ)、分類、編碼、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)注、數(shù)據(jù)集等進(jìn)行規(guī)范。其中，《人工智能醫(yī)療器械質(zhì)量要求與評(píng)價(jià) 第1部分：術(shù)語(yǔ)》和《人工智能醫(yī)療器械質(zhì)量要求與評(píng)價(jià) 第2部分：數(shù)據(jù)集通用要求》處于起草階段。面向人工智能生產(chǎn)質(zhì)量管理面臨的特殊問(wèn)題，包括風(fēng)險(xiǎn)管理、算法開(kāi)發(fā)、基礎(chǔ)設(shè)施管理、產(chǎn)品迭代變更管理、人員管理等方面的管理標(biāo)準(zhǔn)處于申報(bào)立項(xiàng)階段。方法標(biāo)準(zhǔn)主要面向產(chǎn)品、組件的質(zhì)量評(píng)價(jià)需求，包括產(chǎn)品/系統(tǒng)性能評(píng)價(jià)方法、產(chǎn)品變更評(píng)價(jià)方法、安全測(cè)試方法等方面，也涉及測(cè)試工具評(píng)價(jià)、標(biāo)注工具評(píng)價(jià)等內(nèi)容。目前，人工智能醫(yī)療器械創(chuàng)新合作平臺(tái)發(fā)布《基于眼底彩照的糖尿病視網(wǎng)膜病變輔助決策產(chǎn)品性能指標(biāo)和測(cè)試方法》和《基于胸部 CT 的肺結(jié)節(jié)影像輔助決策產(chǎn)品性能指標(biāo)和測(cè)試方法》兩項(xiàng)技術(shù)文件。在產(chǎn)品標(biāo)準(zhǔn)方面，根據(jù)產(chǎn)品上市數(shù)量與監(jiān)管需求，目前冠狀動(dòng)脈CT血流分析、神經(jīng)系統(tǒng)影像輔助診斷等方向已形成草案初稿。

（二） 信息化監(jiān)管支撐環(huán)境

為系統(tǒng)提升AI獨(dú)立醫(yī)用軟件產(chǎn)品質(zhì)量評(píng)價(jià)能力，一些國(guó)家和地區(qū)正在積極推動(dòng)標(biāo)準(zhǔn)化數(shù)據(jù)集、測(cè)試用例、測(cè)試方法、工具、指標(biāo)、平臺(tái)等關(guān)鍵監(jiān)管支撐的研究。例如，國(guó)際電信聯(lián)盟ITU和世界衛(wèi)生組織WHO于2018年7月聯(lián)合成立健康醫(yī)療人工智能焦點(diǎn)組（FG-AI4H），目標(biāo)創(chuàng)建在線基準(zhǔn)測(cè)試平臺(tái)和協(xié)助注釋或數(shù)據(jù)收集等相關(guān)工具的開(kāi)源軟件包。平臺(tái)將收集形成可以驗(yàn)證人工智能模型的未公開(kāi)的測(cè)試數(shù)據(jù)集，建立人工智能金標(biāo)準(zhǔn)數(shù)據(jù)集[6]。歐盟集合21國(guó)啟動(dòng)了AI4EU項(xiàng)目，希望實(shí)現(xiàn)數(shù)據(jù)集、算法、技術(shù)工具等技術(shù)資源的共享與整合。項(xiàng)目通過(guò)網(wǎng)站www.ai4europe.eu已提供臨床用例等數(shù)據(jù)集、支持以增強(qiáng)圖像的形式創(chuàng)建解釋的解釋器ABELE等共享資源[17]。中國(guó)食品藥品檢定研究院在2020年7月啟動(dòng)了《醫(yī)學(xué)人工智能產(chǎn)品全生命周期檢測(cè)平臺(tái)研發(fā)與應(yīng)用示范》項(xiàng)目，為包括上市前驗(yàn)證確認(rèn)、上市后監(jiān)管、臨床在用質(zhì)控、產(chǎn)品變更評(píng)價(jià)等監(jiān)管環(huán)節(jié)提供技術(shù)服務(wù)[18]。項(xiàng)目在數(shù)據(jù)接口、軟件界面、體系架構(gòu)、測(cè)試方法等方面已取得初步進(jìn)展，以醫(yī)學(xué)數(shù)字成像和通信（DICOM）格式的醫(yī)學(xué)影像應(yīng)用為切入點(diǎn)，開(kāi)發(fā)和整合數(shù)據(jù)上傳、統(tǒng)計(jì)分析、數(shù)據(jù)標(biāo)注、測(cè)試集抽取等主要模塊，聯(lián)通數(shù)據(jù)、算法和算力。人工智能醫(yī)療器械創(chuàng)新合作平臺(tái)已初步建立醫(yī)療人工智能測(cè)評(píng)公共服務(wù)平臺(tái)，一期建立糖尿病視網(wǎng)膜病變常規(guī)眼底彩色照相Al標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)。

四、我國(guó)AI獨(dú)立醫(yī)用軟件監(jiān)管問(wèn)題與挑戰(zhàn)

（一） AI獨(dú)立醫(yī)用軟件監(jiān)管制度存在短板

AI獨(dú)立醫(yī)用軟件在上市后具有算法頻繁變更、算法模型不可解釋等固有屬性，較傳統(tǒng)監(jiān)管模式實(shí)時(shí)性和靈活性要求更高。依據(jù)AI/ML靈活的算法變更方式，上市后的監(jiān)管顯然值得引起更大重視。一方面，對(duì)于已準(zhǔn)入產(chǎn)品的上市后算法追溯和實(shí)時(shí)監(jiān)測(cè)實(shí)際仍存在挑戰(zhàn)，目前國(guó)內(nèi)還未建立成熟的直接應(yīng)對(duì)機(jī)制。另一方面，基于現(xiàn)階段FDA、NMPA等監(jiān)管框架仍無(wú)法真正應(yīng)對(duì)自適應(yīng)算法驅(qū)動(dòng)型AI獨(dú)立醫(yī)用軟件的監(jiān)管，因?yàn)槿藗儫o(wú)法清楚解釋黑盒算法更新前后的機(jī)制和原理，這種固有高風(fēng)險(xiǎn)因素?zé)o法被醫(yī)務(wù)人員所接受。盡管當(dāng)前有一種基于深度泰勒分解（DTD）的解釋方法Layer-wise Relevance Propagation可以識(shí)別出哪些輸入數(shù)據(jù)（特征）對(duì)算法起決定性作用[19]，但其僅面向數(shù)據(jù)驅(qū)動(dòng)的AI獨(dú)立醫(yī)用軟件在可解釋性問(wèn)題上可能有效，且需進(jìn)一步考察其在醫(yī)療領(lǐng)域內(nèi)的真實(shí)世界表現(xiàn)。面向AI獨(dú)立醫(yī)用軟件算法可解釋性問(wèn)題是國(guó)內(nèi)外監(jiān)管科學(xué)共同面臨的短板。針對(duì)AI醫(yī)療領(lǐng)域的算法模型解釋器的研究與開(kāi)發(fā)難度較大，國(guó)內(nèi)還未見(jiàn)成熟成果。

（二） AI獨(dú)立醫(yī)用軟件監(jiān)管支撐環(huán)境匱乏

我國(guó)大多AI獨(dú)立醫(yī)用軟件標(biāo)準(zhǔn)處于在研階段，受標(biāo)準(zhǔn)研制周期和其他不確定性因素干擾影響，標(biāo)準(zhǔn)缺乏問(wèn)題嚴(yán)重。我國(guó)的AI獨(dú)立醫(yī)療設(shè)備軟件在監(jiān)管支撐上仍缺乏明確統(tǒng)一、全面細(xì)致的上市后評(píng)估/評(píng)審標(biāo)準(zhǔn)，評(píng)審/審批細(xì)則的缺乏影響監(jiān)管工作的快速、準(zhǔn)確落實(shí)。當(dāng)前，我國(guó)面向AI獨(dú)立醫(yī)用軟件產(chǎn)品技術(shù)性能、應(yīng)用效果等的評(píng)估體系仍未建立，僅部分學(xué)者在研究層面提出了醫(yī)療人工智能產(chǎn)品應(yīng)用效果的評(píng)估框架[20]，面向AI獨(dú)立醫(yī)用軟件的技術(shù)安全規(guī)范標(biāo)準(zhǔn)和質(zhì)量評(píng)價(jià)體系尚未建立。

在高質(zhì)量數(shù)據(jù)層面，上市后的監(jiān)管缺乏大型數(shù)據(jù)集支撐。在面向新出現(xiàn)的AI獨(dú)立醫(yī)療設(shè)備軟件時(shí)無(wú)法訪問(wèn)足夠的測(cè)試數(shù)據(jù)是預(yù)測(cè)算法模型性能的一個(gè)主要限制因素。大型的標(biāo)準(zhǔn)數(shù)據(jù)集、測(cè)試集、驗(yàn)證集對(duì)上市后AI獨(dú)立醫(yī)用軟件的迭代和驗(yàn)證至關(guān)重要。但當(dāng)前AI醫(yī)療領(lǐng)域的金標(biāo)準(zhǔn)數(shù)據(jù)集嚴(yán)重缺乏，無(wú)法提供參照。一方面，由于訪問(wèn)健康數(shù)據(jù)受法律和隱私保護(hù)約束較大以及信息化水平和互聯(lián)互通影響，當(dāng)前我國(guó)大型標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集缺乏嚴(yán)重，造成上市后臨床評(píng)估困難等監(jiān)管制約。另一方面，盡管AI獨(dú)立醫(yī)用軟件在其模型準(zhǔn)確性方面多做相關(guān)報(bào)道，但在真實(shí)臨床環(huán)境中的應(yīng)用評(píng)價(jià)數(shù)據(jù)目前仍顯匱乏，包括臨床有效性、成本效益和安全性評(píng)估方面的數(shù)據(jù)等。上市后軟件的真實(shí)世界數(shù)據(jù)難以收集和利用，造成軟件迭代監(jiān)管難以真正落地，大大增加AI獨(dú)立醫(yī)用軟件使用的潛在風(fēng)險(xiǎn)。這對(duì)基于自適應(yīng)算法的AI獨(dú)立醫(yī)用軟件的發(fā)展尤為不利。

五、 措施建議

（一） 系統(tǒng)完善AI獨(dú)立醫(yī)用軟件監(jiān)管制度

建議面向AI獨(dú)立醫(yī)用軟件全生命周期監(jiān)管引入“監(jiān)管沙盒”機(jī)制，系統(tǒng)性完善AI獨(dú)立醫(yī)用軟件監(jiān)管體系。加快完善AI獨(dú)立醫(yī)用軟件上市后監(jiān)管機(jī)制，加強(qiáng)上市后產(chǎn)品預(yù)期應(yīng)用場(chǎng)景規(guī)制和應(yīng)用效果評(píng)估及基于真實(shí)世界數(shù)據(jù)的“不良反應(yīng)”監(jiān)測(cè)預(yù)警研究，建立面向高風(fēng)險(xiǎn)AI獨(dú)立醫(yī)用軟件的危險(xiǎn)預(yù)警機(jī)制?；凇渡疃葘W(xué)習(xí)輔助決策醫(yī)療器械軟件審批要點(diǎn)》等建立前瞻性的AI獨(dú)立醫(yī)用軟件監(jiān)管框架，吸納AI系統(tǒng)技術(shù)下可預(yù)見(jiàn)的其他技術(shù)分支，在全生命周期監(jiān)管流程、質(zhì)量監(jiān)管體系、臨床評(píng)價(jià)/試驗(yàn)、上市后追溯和再審查機(jī)制中建立廣泛適用的安全性和有效性監(jiān)管機(jī)制。

（二） 深化AI獨(dú)立醫(yī)用軟件監(jiān)管支撐體系

建議基于人工智能醫(yī)療器械標(biāo)準(zhǔn)體系框架加快推進(jìn)AI獨(dú)立醫(yī)用軟件國(guó)家標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)制定，并適當(dāng)引入或轉(zhuǎn)化面向AI獨(dú)立醫(yī)用軟件質(zhì)量、安全、管理等國(guó)際標(biāo)準(zhǔn)。在國(guó)際社會(huì)建立AI獨(dú)立醫(yī)用軟件標(biāo)準(zhǔn)體系建設(shè)協(xié)作機(jī)制，開(kāi)展AI獨(dú)立醫(yī)用軟件標(biāo)準(zhǔn)在國(guó)際國(guó)內(nèi)的協(xié)同建設(shè)，促進(jìn)AI獨(dú)立醫(yī)用軟件在世界范圍內(nèi)的統(tǒng)一建設(shè)并制定醫(yī)療AI全球標(biāo)準(zhǔn)化監(jiān)測(cè)計(jì)劃。

在數(shù)據(jù)支撐上加快推進(jìn)基于真實(shí)世界數(shù)據(jù)的AI獨(dú)立醫(yī)用軟件研究。面向數(shù)據(jù)驅(qū)動(dòng)型AI獨(dú)立醫(yī)用軟件，加快功能化、標(biāo)準(zhǔn)化測(cè)試數(shù)據(jù)集集群建設(shè)。深化基于真實(shí)世界數(shù)據(jù)的AI獨(dú)立醫(yī)用軟件上市后監(jiān)測(cè)研究，從試驗(yàn)設(shè)計(jì)、臨床表現(xiàn)、工作流程、數(shù)據(jù)管理等方面的數(shù)據(jù)需求出發(fā)，加快真實(shí)世界數(shù)據(jù)采集和分析研究工具系統(tǒng)和數(shù)據(jù)互聯(lián)互通建設(shè)。面向算法驅(qū)動(dòng)型AI獨(dú)立醫(yī)用軟件，探索開(kāi)發(fā)適應(yīng)于基于自適應(yīng)算法的AI獨(dú)立醫(yī)用軟件的全生命周期監(jiān)察評(píng)估系統(tǒng)，通過(guò)實(shí)時(shí)監(jiān)測(cè)自適應(yīng)算法跟蹤性能等建立AI獨(dú)立醫(yī)用軟件上市后的安全可控機(jī)制，利用數(shù)字化、可視化手段強(qiáng)化“算法追蹤”的可及性。