人工智能醫(yī)療器械性能評價(jià)通用方法專家共識(2023)

通信作者：劉士遠(yuǎn)，E-mail：cjr.liushiyuan@vip.163.com 李靜莉，E-mail：lijli@nifdc.org.cn 吳 健，E-mail：wujian2000@zju.edu.cn

1海軍軍醫(yī)大學(xué)第二附屬醫(yī)院影像醫(yī)學(xué)與核醫(yī)學(xué)科，上海 200003 2中國食品藥品檢定研究院醫(yī)療器械檢定所，北京 102629 3浙江大學(xué)公共衛(wèi)生學(xué)院，杭州 310027

新一代人工智能(artificial intelligence，AI)技術(shù)與生物醫(yī)療的交叉融合，不斷深化我們對疾病和診療方法的認(rèn)知與思考方式，為解決臨床問題提供了新思路，為醫(yī)療產(chǎn)業(yè)發(fā)展開拓了新視野。如智能醫(yī)學(xué)檢測技術(shù)可輔助快速檢測醫(yī)學(xué)影像中的病灶，智能分類技術(shù)可快速準(zhǔn)確地輔助測量骨齡和分辨眼底彩照中的疾病等[1-3]。大量的科研和實(shí)踐經(jīng)驗(yàn)表明，AI技術(shù)在解決部分臨床問題方面具有速度優(yōu)勢、效果優(yōu)勢，有望緩解醫(yī)療資源稀缺緊張、分配不均的現(xiàn)狀。當(dāng)前，AI醫(yī)療器械的研發(fā)與轉(zhuǎn)化已進(jìn)入活躍期，但具體產(chǎn)品在性能指標(biāo)、驗(yàn)證方法、臨床表現(xiàn)和用戶反饋等方面存在較大差異，質(zhì)量參差不齊。隨著AI醫(yī)療器械產(chǎn)品功能的增加和適應(yīng)證的擴(kuò)展，其產(chǎn)品檢驗(yàn)與質(zhì)量控制技術(shù)也處于不斷發(fā)展變化中，大量實(shí)際問題亟待探索研究和解決。學(xué)術(shù)界、工業(yè)界已提出大量檢測方法和度量指標(biāo)，但其科學(xué)性、公正性、有效性、規(guī)范性、適用性有待統(tǒng)一。

目前，各個(gè)國際標(biāo)準(zhǔn)化組織開始布局AI醫(yī)療器械標(biāo)準(zhǔn)的起草，性能評價(jià)是重中之重，如國際電工委員會醫(yī)用電器設(shè)備標(biāo)委會(IEC/TC62)提出的《人工智能醫(yī)療器械性能評價(jià)過程》《人工智能醫(yī)療器械測試》等[4-5]，此類項(xiàng)目目前處于框架階段，屬于通用標(biāo)準(zhǔn)，具體細(xì)節(jié)尚未展開。

我國AI醫(yī)療器械標(biāo)準(zhǔn)體系發(fā)展較快，目前已發(fā)布了《人工智能醫(yī)療器械 肺部影像輔助分析軟件 算法性能測試方法》《人工智能醫(yī)療器械 質(zhì)量要求和評價(jià) 第1部分：術(shù)語》《人工智能醫(yī)療器械 質(zhì)量要求和評價(jià) 第2部分：數(shù)據(jù)集通用要求》《人工智能醫(yī)療器械 質(zhì)量要求和評價(jià) 第3部分：數(shù)據(jù)標(biāo)注通用要求》4個(gè)行業(yè)標(biāo)準(zhǔn)[6-9]，在熱點(diǎn)產(chǎn)品的算法測試方法、測試流程、數(shù)據(jù)集通用質(zhì)量評價(jià)等方面取得了突破[10-16]。在實(shí)踐層面，中國食品藥品檢定研究院聯(lián)合國內(nèi)臨床機(jī)構(gòu)共同建設(shè)了糖網(wǎng)眼底彩照圖像測試集和胸部CT肺結(jié)節(jié)測試集，分別在糖尿病視網(wǎng)膜病變輔助診斷軟件、胸部CT肺結(jié)節(jié)輔助檢測軟件的算法性能測試中開展了應(yīng)用，并積累了早期經(jīng)驗(yàn)。然而，目前我國尚缺乏兼具全面性和通用性的評價(jià)框架，用以指導(dǎo)醫(yī)療領(lǐng)域的所有AI醫(yī)療器械。因此，在現(xiàn)有研究基礎(chǔ)上，有必要進(jìn)一步凝練行業(yè)共識，研究AI醫(yī)療器械的通用性能評價(jià)框架，統(tǒng)籌后續(xù)標(biāo)準(zhǔn)的發(fā)展方向，參與國際標(biāo)準(zhǔn)的制訂。

為更好地滿足質(zhì)量評價(jià)需求，本共識在征集和總結(jié)專家意見的基礎(chǔ)上，對AI醫(yī)療器械的性能評價(jià)進(jìn)行系統(tǒng)梳理，為建立通用性能評價(jià)框架提供相關(guān)解決方案。本共識內(nèi)容具有一定的前瞻性，同時(shí)將跟隨產(chǎn)品技術(shù)升級、市場情況變更、醫(yī)療器械監(jiān)管要求、臨床實(shí)踐演化而更新，逐步建立更為科學(xué)合理的統(tǒng)一規(guī)范，鼓勵(lì)全社會有序開發(fā)和利用醫(yī)學(xué)數(shù)據(jù)資源，研發(fā)AI醫(yī)療器械，持續(xù)更新性能評價(jià)方法和指標(biāo)體系。

1 共識形成方法

本共識由浙江大學(xué)睿醫(yī)人工智能研究中心發(fā)起，共識專家組由中國食品藥品檢定研究院等多家專業(yè)機(jī)構(gòu)以及人工智能醫(yī)療器械標(biāo)準(zhǔn)化技術(shù)歸口單位醫(yī)學(xué)與計(jì)算機(jī)人工智能學(xué)科交叉領(lǐng)域的14位專家共同組成，無相關(guān)利益沖突。參照共識和指南的制訂方法[17-20]，2022年1月啟動(dòng)該共識的制訂工作，2022年11月定稿。專家組擬定關(guān)鍵問題和共識提綱后，以“人工智能醫(yī)療器械”“質(zhì)量要求”“質(zhì)量評價(jià)”“軟件測試”“Medical Artificial Intelligence”“Quality Management”“Software Engineering”“Artificial Intelligence Device Evaluation”等為關(guān)鍵詞，于ACM Digital Library、IEEE Digital Library、PubMed、中國知網(wǎng)、萬方數(shù)據(jù)知識服務(wù)平臺、維普數(shù)據(jù)庫中檢索相關(guān)中、英文文獻(xiàn)，檢索時(shí)間為建庫至2022年3月。2022年6月22日和2023年3月9日，專家組經(jīng)2次線上討論和修改，最終形成共識終稿。考慮到AI醫(yī)療器械發(fā)展迅猛、實(shí)際檢測要求多樣的現(xiàn)狀，本共識僅保留投票結(jié)果一致性100%贊成的意見，最終確定三大類14種AI醫(yī)療器械質(zhì)量特性及示例(表1)和四大類17種推薦AI醫(yī)療器械測試方法(表2)。

表2 17種AI醫(yī)療器械測試方法

2 AI醫(yī)療器械的質(zhì)量模型

參考ISO/IEC 25010和ISO/IEC TR 29119，AI軟件產(chǎn)品的一般質(zhì)量模型如圖1所示，包括軟件特性和AI特性兩個(gè)層面。其中軟件特性又分為功能特性和一般性能。對于AI醫(yī)療器械而言，對質(zhì)量模型的理解需依托實(shí)際的臨床應(yīng)用場景。表1所示為上述各質(zhì)量特性含義的解讀和示例。

圖1 AI軟件產(chǎn)品的一般質(zhì)量模型

AI醫(yī)療器械質(zhì)量特性在其質(zhì)量評價(jià)中扮演重要角色。其中，軟件特性的評價(jià)一方面可參照通用軟件的測試方法，如GB/T 25000.51標(biāo)準(zhǔn)，通過編寫測試用例、檢查文檔和實(shí)際操作進(jìn)行驗(yàn)證；另一方面需結(jié)合臨床醫(yī)生的實(shí)際體驗(yàn)，進(jìn)行主觀、定性的評價(jià)，如醫(yī)療器械軟件的可用性試驗(yàn)。

AI特性的評價(jià)則相對復(fù)雜。由于目前AI醫(yī)療器械大部分采用深度學(xué)習(xí)的技術(shù)路線，算法的工作機(jī)理不透明，難以直觀評價(jià)，而需借助算法的輸入-輸出關(guān)系進(jìn)行間接觀測，客觀上需依托高質(zhì)量臨床數(shù)據(jù)建設(shè)專用的測試集。

對于AI醫(yī)療器械而言，軟件特性和AI特性存在一定交叉，如輔助決策的正確性(常見指標(biāo)包括靈敏度、特異度、準(zhǔn)確率等)與功能的正確性、算法的泛化能力均有關(guān)系。再比如產(chǎn)品的網(wǎng)絡(luò)防護(hù)性能，既要考慮對自身網(wǎng)絡(luò)安全漏洞的控制，又要考慮算法抵御欺騙性攻擊的能力。

3 AI醫(yī)療器械的性能評價(jià)需求

AI醫(yī)療器械的性能評價(jià)，一般需考慮產(chǎn)品生存周期的研發(fā)設(shè)計(jì)、驗(yàn)證確認(rèn)、臨床應(yīng)用、迭代更新4個(gè)主要階段。在研發(fā)設(shè)計(jì)階段，主要考慮對AI算法模型自身的功能、性能、效率、安全性進(jìn)行調(diào)優(yōu)驗(yàn)證，為算法定型和封裝提供決策。在驗(yàn)證確認(rèn)階段，需關(guān)注醫(yī)療器械的成品能否滿足設(shè)計(jì)要求、能否滿足用戶需求的功能和性能，開展實(shí)驗(yàn)室測試、臨床預(yù)試驗(yàn)、臨床評價(jià)等活動(dòng)，包含對算法性能指標(biāo)、安全特性的考量。在臨床應(yīng)用階段，需關(guān)注產(chǎn)品的日常質(zhì)控、真實(shí)臨床表現(xiàn)、上市后監(jiān)督、不良事件監(jiān)測等問題，開展必要的評價(jià)。在AI技術(shù)迭代更新之后，則需進(jìn)行新的循環(huán)，周而復(fù)始。

上述環(huán)節(jié)在4個(gè)方面需通過測試活動(dòng)形成客觀證據(jù)，為企業(yè)研發(fā)、臨床使用、政府監(jiān)管的決策制訂提供支持。因此，針對AI醫(yī)療器械質(zhì)量特性中的軟件功能特性，需進(jìn)行一般性能測試中的部分測試流程；針對AI特性，需進(jìn)行泛化能力與魯棒性測試中的部分測試流程(AI特性中的公平性和透明性評價(jià)方法目前處于研究階段，暫不納入)；針對軟件的一般性能，需進(jìn)行一般性能測試、泛化能力測試、魯棒性測試以及安全性測試的部分測試流程。本文將所有測試流程歸納為四大類，具體內(nèi)容如下：

(1)一般性能測試：AI算法實(shí)現(xiàn)其預(yù)期用途的程度需通過具體的技術(shù)指標(biāo)進(jìn)行表征，如預(yù)期用于輔助分類的AI算法可使用靈敏度、特異度、準(zhǔn)確率作為性能指標(biāo)。依托具體的測試集，測試機(jī)構(gòu)可獲得定量的測試結(jié)果，用于評價(jià)算法的一般性能。

(2)泛化能力測試：泛化能力是AI產(chǎn)品能否推廣應(yīng)用的關(guān)鍵，可衡量算法對陌生樣本的適應(yīng)能力。我國幅員遼闊，人口眾多，不同地區(qū)、醫(yī)療機(jī)構(gòu)在流行病學(xué)特征、數(shù)據(jù)采集方面存在較大差異，對泛化能力要求較高。因此在產(chǎn)品的測試環(huán)節(jié)，有必要增強(qiáng)測試數(shù)據(jù)的多樣性，靈活組合和模擬各種情形，充分考量泛化能力。

(3)魯棒性測試：由于產(chǎn)品上市后可能遭遇各種來源的數(shù)據(jù)擾動(dòng)和噪聲，產(chǎn)品性能能否保持平穩(wěn)、符合預(yù)期，對臨床用戶和患者權(quán)益具有重要影響。不同于對樣本數(shù)據(jù)適應(yīng)性進(jìn)行評價(jià)的模型泛化能力測試，魯棒性測試的目的是檢驗(yàn)?zāi)Ｐ蛯Ξ惓栴}的應(yīng)對能力。目前，業(yè)內(nèi)推薦采用對抗測試，對已有數(shù)據(jù)樣本進(jìn)行適當(dāng)擴(kuò)增，觀測算法在面對擾動(dòng)時(shí)的表現(xiàn)，具體方法有待細(xì)化和擴(kuò)展。

(4)安全性測試：由于AI醫(yī)療器械多以獨(dú)立軟件、軟件組件的形態(tài)存在，公共利益方關(guān)注產(chǎn)品的網(wǎng)絡(luò)安全、數(shù)據(jù)安全能力。因此，產(chǎn)品的安全性測試同樣重要，需模擬現(xiàn)實(shí)挑戰(zhàn)，形成配套的方法和技術(shù)服務(wù)能力，滿足監(jiān)管要求。

4 AI醫(yī)療器械的測試方法

AI醫(yī)療器械測試方法是為有效反映被測試醫(yī)療器械在被期待的質(zhì)量特性上的性能水平，包含前文所述4種情形。為保證對被測試AI醫(yī)療器械質(zhì)量檢測的全面性和客觀性，結(jié)合國內(nèi)外相關(guān)研究[21-23]，筆者從代表性樣本、對抗攻擊、模型綜合表現(xiàn)、數(shù)據(jù)安全4個(gè)方面納入了17種不同的AI醫(yī)療器械檢測方法，用于支撐AI醫(yī)療器械通用質(zhì)量評價(jià)框架，針對不同待測產(chǎn)品及其應(yīng)用場景可調(diào)用其中的測試方法和配套性能指標(biāo)，作為產(chǎn)品性能評估的客觀依據(jù)，具體內(nèi)容詳見表2。現(xiàn)對具體的測試方法、對應(yīng)指標(biāo)，以及測試方法的選用條件分類進(jìn)行闡述。

4.1 一般性能測試方法

鑒于醫(yī)療領(lǐng)域的敏感性與關(guān)鍵性，AI醫(yī)療器械質(zhì)量評價(jià)過程首先需實(shí)現(xiàn)其醫(yī)療AI模型在一般場景下的表現(xiàn)測試，確保其實(shí)用性。因此，測試方應(yīng)構(gòu)建常規(guī)測試數(shù)據(jù)庫，針對模型的常規(guī)數(shù)據(jù)表現(xiàn)、訓(xùn)練效率以及運(yùn)算速度進(jìn)行測試。針對不同算法的應(yīng)用場景與任務(wù)，需專家給定不同的指標(biāo)衡量AI醫(yī)療器械性能。本共識以最為常見的分類、檢出、分割為例。對于分類任務(wù)，通用的測試指標(biāo)采用靈敏度(sensitivity)衡量模型對陽性樣本的靈敏程度(漏診情況)，采用特異度(specificity)衡量模型判斷實(shí)際陰性樣本的成功率(誤診情況)，采用曲線下面積(area under the curve，AUC)值衡量模型綜合考慮實(shí)際陽性樣本與陰性樣本的分類能力。

對于檢出任務(wù)，通用的測試指標(biāo)包括精確度(precision)、召回率(recall)、F1分?jǐn)?shù)等，還可采用準(zhǔn)確率(accuracy)和距離誤差，分別描述被測試AI醫(yī)療器械的識別準(zhǔn)確度和檢測對象的檢測框位置定位準(zhǔn)確度。以歐氏距離誤差為例，公式定義如下：

其中pi代表檢測任務(wù)中模型預(yù)測的目標(biāo)位置坐標(biāo)，yi則代表真實(shí)標(biāo)簽的位置坐標(biāo)。

對于分割任務(wù)，通用的測試指標(biāo)采用像素準(zhǔn)確率(pixel accuracy，PA)和類別平均像素準(zhǔn)確率(mean pixel accuracy，MPA)衡量模型的像素分割準(zhǔn)確度，采用交并比(intersection over union，IoU)、平均交并比(mean IoU，mIoU)和Dice衡量模型預(yù)測區(qū)域與真實(shí)區(qū)域的交集占比，混淆矩陣作為模型在各個(gè)類別像素分割準(zhǔn)確預(yù)測數(shù)量的直觀表示。以MPA和mIoU為例，公式定義如下：

其中，pi代表模型輸出預(yù)測為i類目標(biāo)像素的集合，yi則為真實(shí)標(biāo)簽中屬于i類目標(biāo)的像素集合，|·|代表集合中像素的數(shù)量。而針對三維影像的分割任務(wù)，通用的測試指標(biāo)包括平均表面距離、Hausdorff距離，衡量模型的3D體素分割區(qū)域與真實(shí)區(qū)域偏移的空間距離。Hausdorff距離的公式定義如下：

其中X代表模型分割的體素集合，Y代表真實(shí)的體素集合，d(x，y)代表體素x與體素y的歐式距離，sup代表上確界，inf代表下確界。

基于上述指標(biāo)和公式，可采用下述的測試方法和流程，在不同條件下對AI醫(yī)療器械性能進(jìn)行評價(jià)。

4.1.1 常規(guī)數(shù)據(jù)表現(xiàn)測試法

一般樣本是指“測試樣本分布符合產(chǎn)品適用人群一般分布”的樣本。在該測試過程中，測試方從目標(biāo)數(shù)據(jù)庫中抽樣出數(shù)據(jù)分布符合預(yù)期臨床場景、不存在偏離較為嚴(yán)重情況的樣本用于測試AI醫(yī)療器械。在該測試過程中，以專家人工標(biāo)注得到的參考標(biāo)準(zhǔn)作為基準(zhǔn)，對被測試的AI醫(yī)療器械輸出結(jié)果進(jìn)行評分。當(dāng)評分滿足制造商標(biāo)識的水平時(shí)，認(rèn)為被測試AI醫(yī)療器械通過了常規(guī)數(shù)據(jù)樣本測試。在最終的檢驗(yàn)報(bào)告中，應(yīng)對測試樣本和參考標(biāo)準(zhǔn)進(jìn)行描述。

4.1.2 效率測試法

產(chǎn)品模型大小測試是對模型運(yùn)行成本的一種度量性測試。對于基于AI技術(shù)的醫(yī)療器械，該測試法應(yīng)在技術(shù)要求規(guī)定的環(huán)境中開展。在該測試中，測試方記錄被測AI醫(yī)療器械的模型參數(shù)量、內(nèi)存占有量、每秒所執(zhí)行的浮點(diǎn)運(yùn)算次數(shù)(floating-point operations per second，F(xiàn)LOPS)、CPU占用量和GPU占用量等模型參數(shù)。在最終的檢驗(yàn)報(bào)告中，應(yīng)注明測試結(jié)果各項(xiàng)指標(biāo)及配置環(huán)境。

4.1.3 應(yīng)用場景效率測試法

4.2 泛化能力測試方法

對AI醫(yī)療器械的泛化能力測試通常是基于觀察系統(tǒng)如何對環(huán)境修改或突變作出響應(yīng)。通過選擇一些特殊樣本輸入模型進(jìn)行測試，這些樣本的分類效果反映了AI醫(yī)療器械的泛化能力與真實(shí)性能的差距。因此，測試方應(yīng)選取被測試AI醫(yī)療器械針對的臨床場景中常用的、具有特殊代表性的樣本進(jìn)行測試。代表性樣本測試方法包括：患者亞人群組合測試法、壓力樣本測試法、混合征樣本測試法、跨設(shè)備測試法等。現(xiàn)針對泛化能力常用測試方法的含義和測試流程進(jìn)行詳細(xì)介紹。

4.2.1 患者亞人群組合測試法

患者亞人群是指具備類似特征的患者樣本子集，常見為具有相近年齡、生活習(xí)慣等的患者樣本或擁有相近治療軌跡和結(jié)局等的樣本子集。不同于下文提到的混合征樣本測試法，該測試法通過整理具有單一特征的樣本組成患者亞人群，通過組合不同患者亞人群的樣本作為測試集進(jìn)行測試，以實(shí)現(xiàn)測試數(shù)據(jù)的多樣性。在該測試過程中，測試方從患者亞人群數(shù)據(jù)庫中抽樣出具有多種患者亞人群的樣本作為測試數(shù)據(jù)集，使用被測試的AI醫(yī)療器械對具有多樣性和變化性的測試樣本進(jìn)行預(yù)測，以專家人工標(biāo)注得到的參考標(biāo)準(zhǔn)作為基準(zhǔn)，對被測試AI醫(yī)療器械的輸出結(jié)果進(jìn)行評分。當(dāng)評分滿足制造商標(biāo)識的水平時(shí)，認(rèn)為被測試AI醫(yī)療器械通過了患者亞人群組合測試。在最終的檢驗(yàn)報(bào)告中，應(yīng)對測試樣本和參考標(biāo)準(zhǔn)進(jìn)行描述。

4.2.2 壓力樣本測試法

壓力樣本可理解為“被正確識別有難度”的樣本，也稱為“困難樣本”。在該測試過程中，測試方從目標(biāo)數(shù)據(jù)庫中抽樣出一部分難以分類的、非典型樣本用于測試AI醫(yī)療器械，以專家人工標(biāo)注得到的參考標(biāo)準(zhǔn)作為基準(zhǔn)，對被測試AI醫(yī)療器械的輸出結(jié)果進(jìn)行評分。當(dāng)評分滿足制造商標(biāo)識的水平時(shí)，認(rèn)為被測試AI醫(yī)療器械通過了困難樣本測試。在最終的檢驗(yàn)報(bào)告中，應(yīng)對測試樣本和參考標(biāo)準(zhǔn)進(jìn)行描述。

4.2.3 混合征樣本測試法

混合征樣本一般出現(xiàn)在多種病灶或多種相似疾病同時(shí)發(fā)病的情況，如肺結(jié)節(jié)患者同時(shí)存在多種類型的肺結(jié)節(jié)。該測試法通過整理具有多種不同特征(如多種類型的肺結(jié)節(jié))的樣本組成作為測試集進(jìn)行測試，檢測模型在面對易混淆、多標(biāo)簽數(shù)據(jù)時(shí)的泛化能力，實(shí)現(xiàn)測試數(shù)據(jù)的多樣性。在該測試過程中，測試方從數(shù)據(jù)庫中抽樣出具有多種標(biāo)簽(代表類別)的樣本，使用被測試AI醫(yī)療器械對測試樣本進(jìn)行多類別預(yù)測，以專家人工標(biāo)注得到的參考標(biāo)準(zhǔn)作為基準(zhǔn)，對被測試AI醫(yī)療器械的輸出結(jié)果進(jìn)行評分。當(dāng)評分滿足制造商標(biāo)識的水平時(shí)，認(rèn)為被測試AI醫(yī)療器械通過了混合征樣本測試。該測試方法僅用于臨床上存在混合征疾病的部分AI醫(yī)療器械，為非必要測試方法。

4.2.4 跨設(shè)備樣本測試法

跨設(shè)備樣本一般出現(xiàn)在臨床器械品牌較多的情況，如眼底光學(xué)相干斷層掃描技術(shù)(optical coherence tomography，OCT)設(shè)備。在測試過程中，測試方從數(shù)據(jù)庫中選用多種常用型號醫(yī)療器械記錄的產(chǎn)品樣本，測試AI醫(yī)療器械在跨設(shè)備樣本中的識別效果。當(dāng)在不同設(shè)備中產(chǎn)生的樣本識別效果差距小于制造商標(biāo)識的水平時(shí)，認(rèn)為被測試AI醫(yī)療器械通過了跨設(shè)備樣本測試。

4.3 魯棒性測試方法

對于基于隨機(jī)算法的AI系統(tǒng)，并非經(jīng)常存在一個(gè)可用作預(yù)期結(jié)果的精確值。AI醫(yī)療器械的每次決策，可能得出不同的結(jié)果(如計(jì)算可能基于隨機(jī)種子，每次都會產(chǎn)生不同但可行的結(jié)果)。因此，被測試AI醫(yī)療器械可能存在非確定性，導(dǎo)致了可重復(fù)性的缺乏。此外，針對一些非典型、難以分類的樣本，以及模型運(yùn)行在不同環(huán)境時(shí)也可能得出不同的結(jié)果。在此兩種情況下，實(shí)際結(jié)果中的不確定性要求測試人員獲得比傳統(tǒng)系統(tǒng)更復(fù)雜的預(yù)期結(jié)果。因此，測試方應(yīng)選取一些領(lǐng)域內(nèi)臨床場景常用的、具有特殊代表性的樣本和環(huán)境進(jìn)行測試。代表性的樣本測試方法包括：自然噪聲樣本測試法、不合格樣本測試法、可信區(qū)域測試法、結(jié)果一致測試法、對抗攻擊測試法、結(jié)果無偏測試法、不確定性測試法等，現(xiàn)對各測試方法的含義和測試流程進(jìn)行詳細(xì)介紹。

4.3.1 自然噪聲樣本測試法

自然噪聲樣本是指在器械、環(huán)境等因素條件下，導(dǎo)致存在粒度粗細(xì)不一致、分布不一致、背景不一致等噪聲信息的樣本。在測試過程中，測試方從數(shù)據(jù)庫中選用存在較大自然噪聲的樣本(如來自特定廠家產(chǎn)品的數(shù)據(jù))，測試AI醫(yī)療器械在這些大噪聲樣本中的識別準(zhǔn)確率。當(dāng)算法性能未顯著低于普通樣本的識別效果(低于識別閾值時(shí)，需提請專家組評估確定)時(shí)，認(rèn)為被測試AI醫(yī)療器械通過了自然噪聲樣本測試。

4.3.2 不合格樣本測試法

不合格樣本是指不具備被識別信息的樣本，常見為非該疾病類型的樣本、醫(yī)學(xué)影像中的錯(cuò)片和廢片等。在該測試過程中，測試方從數(shù)據(jù)庫中抽樣出其他類型的樣本和/或其他有明顯錯(cuò)誤的樣本混合在正確樣本中，使用被測試AI醫(yī)療器械進(jìn)行判別，測試其能否避開誤導(dǎo)。測試時(shí)采用召回率評估被測試產(chǎn)品對錯(cuò)誤樣本的識別效果，召回率高說明被測試產(chǎn)品能夠準(zhǔn)確識別錯(cuò)誤樣本。當(dāng)召回率超過一定閾值(如95%)時(shí)，認(rèn)為被測試AI醫(yī)療器械通過了錯(cuò)誤樣本測試。該測試為非必測項(xiàng)目，由被測AI醫(yī)療器械應(yīng)用場景和器械的使用聲明等決定。如某些器械聲明具有“不合格樣本檢出”的特性，則需進(jìn)行不合格樣本測試。

4.3.3 可信區(qū)域測試法

可信區(qū)域測試指模型適用范圍的確認(rèn)，是模型泛化能力的補(bǔ)充。在該測試過程中，測試方從數(shù)據(jù)庫中抽取不同類別、采集自不同設(shè)備、適用于不同任務(wù)的樣本。對于不同的數(shù)據(jù)子集，采用被測AI醫(yī)療器械對這些子集進(jìn)行預(yù)測，并采用準(zhǔn)確率、AUC以及使用五折交叉驗(yàn)證后二者指標(biāo)的方差進(jìn)行度量。當(dāng)被測試AI醫(yī)療器械在任意子集上準(zhǔn)確率指標(biāo)均不低于產(chǎn)品的設(shè)計(jì)預(yù)期，以及多次抽樣測試的方差不大于預(yù)定閾值時(shí)，則認(rèn)為被測試AI醫(yī)療器械在該類場景是可信的。在最終的測試報(bào)告中，應(yīng)詳盡注明不同場景條件下被測試AI醫(yī)療器械的性能和評測結(jié)論。

4.3.4 結(jié)果一致測試法

結(jié)果一致性測試是指驗(yàn)證模型的臨床應(yīng)用分析是否建立在關(guān)鍵特征分析上的測試方法。在該測試過程中，測試方對抽樣的樣本進(jìn)行變換操作(如對圖像進(jìn)行裁剪、翻轉(zhuǎn)，對文本進(jìn)行one-hot嵌入，對心電圖進(jìn)行傅里葉變換等)后和變換前組成樣本對，應(yīng)用被測試AI醫(yī)療器械對變換后的樣本和原樣本進(jìn)行預(yù)測，并采用一致率指標(biāo)進(jìn)行度量。一致率指標(biāo)定義為：

其中，Nc表示樣本對預(yù)測結(jié)果一致的數(shù)量，N表示樣本對的總數(shù)量。原則上，當(dāng)一致性指標(biāo)不低于專家多次反復(fù)判斷的一致率時(shí)，認(rèn)為被測AI醫(yī)療器械的結(jié)果一致性測試基本合格。

4.3.5 對抗攻擊測試方法

對抗攻擊測試是指通過輸入添加的微小擾動(dòng)使得分類器分類錯(cuò)誤，一般用于深度學(xué)習(xí)網(wǎng)絡(luò)的攻擊算法。通過對抗攻擊測試，測試方可評價(jià)智能器械的內(nèi)核模型對樣本中的微小擾動(dòng)是否過于敏感，檢驗(yàn)智能器械在進(jìn)行應(yīng)用時(shí)能否捕捉關(guān)鍵特征，避免因某些不適應(yīng)的特征導(dǎo)致結(jié)果跳變。如在測試過程中，從數(shù)據(jù)庫中抽樣出相應(yīng)樣本，首先使用Carlini and Wagner(C&W)攻擊，對數(shù)據(jù)添加控制，在l∞，l2和l0范圍內(nèi)變動(dòng)，使樣本變化無法使人察覺，被測試AI醫(yī)療器械預(yù)測的算法性能無明顯下降(損失的性能閾值需提請專家組評估確定)時(shí)，認(rèn)為其通過了C&W攻擊測試。然后使用通用擾動(dòng)方法(universal adversarial perturbations)，生成施加了足以跨越分類邊界的微小擾動(dòng)而不偏離真實(shí)樣本數(shù)據(jù)分布的樣本，如對任何圖像實(shí)現(xiàn)人類幾乎不可見但能推出分類邊界的擾動(dòng)，但同一個(gè)擾動(dòng)針對的是同一類樣本的所有樣本，且可泛化至大部分針對該樣本的網(wǎng)絡(luò)模型。被測試AI醫(yī)療器械預(yù)測的算法性能無明顯下降(損失的性能閾值需提請專家組評估確定)時(shí)，認(rèn)為其通過了通用擾動(dòng)攻擊測試。

4.3.6 結(jié)果無偏測試法

無偏估計(jì)是指用樣本統(tǒng)計(jì)量估計(jì)總體參數(shù)的一種無偏推斷。估計(jì)量的數(shù)學(xué)期望等于被估計(jì)參數(shù)的真實(shí)值時(shí)，則此估計(jì)量為被估計(jì)參數(shù)的無偏估計(jì)，即具有無偏性，是一種用于評價(jià)估計(jì)量優(yōu)良性的準(zhǔn)則。結(jié)果無偏測試是指驗(yàn)證模型對關(guān)鍵特征的識別是建立在理論邏輯上的另一種測試方法。在該測試過程中，測試方對樣本進(jìn)行編輯等操作，使用裁剪等方式抹去數(shù)據(jù)中除關(guān)鍵特征點(diǎn)(如腫瘤)外的無關(guān)特征，或使用翻轉(zhuǎn)、旋轉(zhuǎn)等數(shù)據(jù)增強(qiáng)方式生成新的相關(guān)樣本，采用被測試AI醫(yī)療器械編輯后的樣本進(jìn)行預(yù)測，并采用精確度指標(biāo)進(jìn)行模型的結(jié)果驗(yàn)證，當(dāng)對數(shù)據(jù)的預(yù)測準(zhǔn)確率與原預(yù)測準(zhǔn)確率相差不大于設(shè)定的閾值時(shí)，認(rèn)為被測試AI醫(yī)療器械的結(jié)果無偏測試基本合格。

4.3.7 不確定性測試法

不確定性測試是指使用樣本統(tǒng)計(jì)量估計(jì)樣本的不確定性，同時(shí)使用估計(jì)的模型參數(shù)梯度估計(jì)模型輸出的不確定性[24]。通過樣本輸入的不確定性，估計(jì)模型輸出的不確定性，有效評估模型的穩(wěn)定性，保證該模型適用于目標(biāo)樣本。在該測試過程中，測試方通過對標(biāo)準(zhǔn)樣本的各個(gè)輸入施加一個(gè)極小擾動(dòng)(如10-6)，通過中心差值近似估計(jì)模型的差分梯度。采用樣本數(shù)據(jù)庫建立時(shí)得到的樣本各個(gè)輸入方差作為樣本不確定性估計(jì)值，通過以下公式估計(jì)模型各個(gè)輸出的不確定性Uyi：

4.4 安全性測試方法

安全性測試方法旨在測試被測AI醫(yī)療器械產(chǎn)品的對抗性及穩(wěn)健性。從AI模型部署至后期使用維護(hù)，安全性測試方法用于測試被測產(chǎn)品是否存在安全問題，包括隱私保護(hù)測試法、模型推斷攻擊測試法和模型部署攻擊測試法等。

4.4.1 隱私保護(hù)測試法

隱私保護(hù)測試是指驗(yàn)證產(chǎn)品是否具有涉及隱私提取和泄露的行為，AI醫(yī)療器械常通過企業(yè)駐場或云端部署等方式為醫(yī)療機(jī)構(gòu)提供服務(wù)，需保護(hù)本地客戶端存儲的患者隱私信息。在該測試中，測試方通過運(yùn)行多種隱私風(fēng)險(xiǎn)監(jiān)測工具對被測AI醫(yī)療器械的代碼和接口進(jìn)行全方位分析，對所有可產(chǎn)生數(shù)據(jù)上傳的代碼進(jìn)行上下文分析和命名調(diào)用遞歸分析，查看是否調(diào)用了網(wǎng)絡(luò)權(quán)限、系統(tǒng)權(quán)限、數(shù)據(jù)庫數(shù)據(jù)等，檢查相關(guān)產(chǎn)生網(wǎng)絡(luò)權(quán)限的參數(shù)和函數(shù)是否有上傳隱私數(shù)據(jù)的行為。針對基于聯(lián)邦學(xué)習(xí)的AI醫(yī)療器械產(chǎn)品，也應(yīng)分析部分客戶端上傳的變動(dòng)是否能分析出患者的私人信息。當(dāng)分析結(jié)果認(rèn)為不存在隱私數(shù)據(jù)泄露時(shí)，認(rèn)為被測試AI醫(yī)療器械通過了隱私保護(hù)測試。

4.4.2 模型推斷攻擊測試法

推斷攻擊是指攻擊者從全局參數(shù)變化情況推斷出某一攻擊目標(biāo)的參數(shù)變化情況。在該測試中，測試方通過上傳特定測試樣本，根據(jù)模型輸出結(jié)果估計(jì)模型中的重要參數(shù)，并與模型真實(shí)參數(shù)進(jìn)行對比。當(dāng)分析結(jié)果得到的參數(shù)與真實(shí)模型參數(shù)差距小于由專家認(rèn)定的閾值時(shí)，認(rèn)為被測試AI醫(yī)療器械通過了模型推斷攻擊測試。

4.4.3 模型部署攻擊測試法

模型部署攻擊測試是驗(yàn)證產(chǎn)品能否在模型部署攻擊下進(jìn)行正常工作。模型部署攻擊是指對模型加載數(shù)據(jù)、加載預(yù)訓(xùn)練權(quán)重文件等過程進(jìn)行攻擊，此類攻擊會干擾模型數(shù)據(jù)的加載從而影響訓(xùn)練和推斷過程。通過該測試檢查模型能否在部署攻擊下進(jìn)行正常數(shù)據(jù)和權(quán)重加載。

5 AI醫(yī)療器械測試數(shù)據(jù)抽樣

數(shù)據(jù)集是AI醫(yī)療器械檢驗(yàn)的重要基本要素，用于滿足各類臨床場景的數(shù)據(jù)模擬。針對不同的AI醫(yī)療器械，應(yīng)從醫(yī)學(xué)多場景(包括門診、住院等)、多系統(tǒng)(電子病歷、實(shí)驗(yàn)室信息管理系統(tǒng)、影像歸檔和通信系統(tǒng)等)、多模態(tài)(影像、視頻、體征、生理參數(shù)等)、多角度構(gòu)建專用數(shù)據(jù)集，同時(shí)應(yīng)滿足符合全國或區(qū)域流行病學(xué)統(tǒng)計(jì)的數(shù)據(jù)分布，包含壓力樣本及各種實(shí)際類別(如疾病類別)等。國內(nèi)外已有相關(guān)標(biāo)準(zhǔn)對AI醫(yī)療器械數(shù)據(jù)集提出了詳細(xì)要求，如IEEE 2801《醫(yī)學(xué)人工智能數(shù)據(jù)集質(zhì)量管理標(biāo)準(zhǔn)》[26]和YY/T 1833.2《人工智能醫(yī)療器械 質(zhì)量要求和評價(jià) 第2部分：數(shù)據(jù)集通用要求》[7]，包括數(shù)據(jù)入庫前應(yīng)進(jìn)行合理完整的標(biāo)注、規(guī)范管理、保持可擴(kuò)展性和安全性等。

為保證數(shù)據(jù)集總體描述不泄露，同時(shí)保證AI醫(yī)療器械質(zhì)量檢測過程公平、合理、科學(xué)、符合臨床條件，因此設(shè)計(jì)數(shù)據(jù)抽樣方法，在測試前獨(dú)立抽取與臨床數(shù)據(jù)場景同分布的數(shù)據(jù)集用于AI醫(yī)療器械質(zhì)量測試至關(guān)重要。本共識建議結(jié)合層次抽樣和隨機(jī)抽樣等抽樣方法，以保證抽樣數(shù)據(jù)盡可能接近真實(shí)分布、涵蓋所有種類數(shù)據(jù)。單次測試集總樣本量可由單次測試陽性樣本量除以陽性樣本比例獲得。在測試前，需確定單次測試陽性樣本量選取的依據(jù)。如該AI醫(yī)療器械產(chǎn)品提交時(shí)預(yù)期用于分類任務(wù)，單次測試陽性樣本量可采用召回率計(jì)算[20]。此外，為滿足“壓力樣本測試法”“錯(cuò)誤樣本測試法”等一系列特殊樣本的測試需求，需額外抽樣一定比例的特殊樣本加入數(shù)據(jù)集并標(biāo)記位置或單獨(dú)形成測試數(shù)據(jù)集以供測試使用。

6 小結(jié)與展望

本共識總結(jié)了AI醫(yī)療器械性能評價(jià)的通用方法，以促進(jìn)AI醫(yī)療器械測試標(biāo)準(zhǔn)和流程的制訂，提高AI醫(yī)療器械檢驗(yàn)標(biāo)準(zhǔn)化，保障AI醫(yī)療器械行業(yè)健康發(fā)展。本共識對相關(guān)檢驗(yàn)方法、度量指標(biāo)提出了建議，并總結(jié)了支撐檢驗(yàn)方法的數(shù)據(jù)庫建設(shè)原則、抽樣方法以及數(shù)據(jù)庫對應(yīng)的配套模型庫建設(shè)原則和使用方法，具有較強(qiáng)的科學(xué)性、可操作性、靈活性。然而，需指出的是，AI醫(yī)療器械領(lǐng)域發(fā)展迅猛，新器械、新模型層出不窮，實(shí)際檢測要求更加復(fù)雜多樣，需要進(jìn)一步的流程和標(biāo)準(zhǔn)指引。隨著對AI醫(yī)療器械檢測技術(shù)的不斷探索，包括但不限于安全性、透明性、公平性等，本共識內(nèi)容將在現(xiàn)有基礎(chǔ)上不斷更新，幫助業(yè)內(nèi)形成統(tǒng)一認(rèn)識。

作者貢獻(xiàn)：吳健、李靜莉、劉士遠(yuǎn)牽頭制訂共識框架；應(yīng)豪超、王浩負(fù)責(zé)共識內(nèi)容編制；陳晉泰、徐宇揚(yáng)負(fù)責(zé)撰寫共識初稿；應(yīng)豪超、王浩組織協(xié)調(diào)專家組成員對共識內(nèi)容進(jìn)行修訂，并組織會議討論；應(yīng)豪超、王浩、徐宇揚(yáng)負(fù)責(zé)對專家意見進(jìn)行匯總，并對共識內(nèi)容進(jìn)行完善；吳健、李靜莉、劉士遠(yuǎn)對共識全文進(jìn)行最終審校并形成共識終稿。

利益沖突：所有參與共識制訂的專家組成員均聲明不存在利益沖突

專家組成員(按姓氏首字母排序)：李佳戈(中國食品藥品檢定研究院)，李靜莉(中國食品藥品檢定研究院)，劉士遠(yuǎn)(海軍軍醫(yī)大學(xué)第二附屬醫(yī)院)，陸遙(中山大學(xué))，孟祥峰(中國食品藥品檢定研究院)，錢天翼(騰訊醫(yī)療健康(深圳)有限公司)，史國華(中國科學(xué)院蘇州生物醫(yī)學(xué)工程技術(shù)研究所)，唐橋虹(中國食品藥品檢定研究院)，王浩(中國食品藥品檢定研究院)，吳健(浙江大學(xué))，吳凱(華南理工大學(xué))，顏?zhàn)右?廣州柏視醫(yī)療科技有限公司)，應(yīng)豪超(浙江大學(xué))，周少華(中國科學(xué)技術(shù)大學(xué)蘇州高等研究院)

執(zhí)筆者：應(yīng)豪超(浙江大學(xué)公共衛(wèi)生學(xué)院)，王浩(中國食品藥品檢定研究院光機(jī)電室)，徐宇揚(yáng)(浙江大學(xué)計(jì)算機(jī)學(xué)院)，陳晉泰(浙江大學(xué)計(jì)算機(jī)學(xué)院)