CT 影像人工智能軟件的審評(píng)要點(diǎn)

李小江，曾祥衛(wèi)，孫志剛

廣東省藥品監(jiān)督管理局審評(píng)認(rèn)證中心 （廣東廣州 510080 ）

近年來，隨著人工智能（artificial intelligence，AI）技術(shù)的快速發(fā)展，AI在醫(yī)學(xué)領(lǐng)域的應(yīng)用也越來越廣泛，特別是關(guān)于CT影像AI軟件的研究。從臨床應(yīng)用的角度來看，CT影像AI軟件可分為輔助決策類和非輔助決策類。輔助決策類軟件相當(dāng)于醫(yī)師的“助手”，可以自動(dòng)識(shí)別病灶、提供輔助診斷（如肺結(jié)節(jié)良惡性的輔助診斷）；非輔助決策類軟件僅可提供信息參考，相當(dāng)于醫(yī)師的“工具”，可用于改善成像質(zhì)量及進(jìn)行流程優(yōu)化、自動(dòng)測(cè)量、CT三維重建等。軟件的前處理、流程優(yōu)化、常規(guī)后處理、輔助決策等功能在產(chǎn)品層面存在交叉，具體情況需要結(jié)合產(chǎn)品的預(yù)期用途、使用場(chǎng)景和核心功能進(jìn)行考慮。目前，從獲批的醫(yī)療器械注冊(cè)證來看，國(guó)內(nèi)CT影像AI軟件主要應(yīng)用在肺結(jié)節(jié)、肺炎、冠狀動(dòng)脈病變、骨折等方面的輔助診斷、分診和流程優(yōu)化。AI軟件因其具有輔助醫(yī)務(wù)人員進(jìn)行臨床決策的功能，因此存在很大的臨床使用風(fēng)險(xiǎn)，若出現(xiàn)漏診和誤診甚至?xí)?dǎo)致延誤治療和過度醫(yī)療[1]。因此，很有必要對(duì)CT 影像AI軟件的安全性和有效性進(jìn)行評(píng)價(jià)。本文主要從醫(yī)療器械注冊(cè)審評(píng)角度淺析CT影像AI軟件的審評(píng)要點(diǎn)，以期為該類產(chǎn)品的注冊(cè)申報(bào)提供參考。

1 監(jiān)管信息

1.1 產(chǎn)品名稱

產(chǎn)品的命名應(yīng)符合《醫(yī)療器械通用名稱命名規(guī)則》[2]的要求。建議產(chǎn)品名稱應(yīng)明確目標(biāo)疾?。ㄈ绶窝住⒎谓Y(jié)節(jié)、骨折）和臨床用途（如輔助診斷、輔助檢測(cè)、分診、測(cè)量、定位）。如：肺炎CT 影像輔助分診與評(píng)估軟件、肺結(jié)節(jié)CT 影像輔助檢測(cè)軟件。目前，AI 軟件在決策方面的定位只是輔助角色，需要醫(yī)師做出最終決定，產(chǎn)品名稱建議明確為輔助軟件。

1.2 分類

根據(jù)《人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》[3]，輔助決策類AI 軟件按照三類醫(yī)療器械管理，用于測(cè)量等非輔助決策類AI 軟件按照二類醫(yī)療器械管理。如廠家不確定產(chǎn)品分類，建議向國(guó)家藥品監(jiān)督管理局醫(yī)療器械標(biāo)準(zhǔn)管理中心申請(qǐng)分類界定。

1.3 適用范圍

適用范圍需明確處理對(duì)象（如CT 影像）、目標(biāo)疾?。ㄈ绶窝?、肺結(jié)節(jié)、肺氣腫、肺結(jié)核、肺癌、腦出血、血管閉塞、心臟冠脈病變、肝癌等）、適用人群（如成人、小兒）、臨床用途（如分診提示、異常識(shí)別、疾病類型分析、良惡性風(fēng)險(xiǎn)提示、病程階段分析、提供輔助診斷結(jié)果、提供醫(yī)學(xué)建議）、目標(biāo)用戶（如放射科醫(yī)師）等信息。如：用于肺部CT 影像的顯示、處理、測(cè)量和肺炎病灶識(shí)別，可輔助用于成年的新型冠狀病毒肺炎疑似患者的分診提示以及確診患者的病情評(píng)估；供經(jīng)培訓(xùn)合格的醫(yī)師使用，不能單獨(dú)用作臨床診療決策證據(jù)。

2 技術(shù)要求

2.1 型號(hào)規(guī)格及劃分說明

如產(chǎn)品有多個(gè)型號(hào)，應(yīng)明確不同型號(hào)間的差異，明確軟件的發(fā)布版本及軟件版本的命名規(guī)則，命名規(guī)則中需涵蓋算法更新類型（區(qū)分算法驅(qū)動(dòng)型和數(shù)據(jù)驅(qū)動(dòng)型），還需涵蓋網(wǎng)絡(luò)安全的更新類型，并區(qū)別重大更新和輕微更新（原則上算法驅(qū)動(dòng)型屬于重大更新），重大更新需列舉常見的情形。

2.2 性能指標(biāo)

明確軟件的輸入輸出數(shù)據(jù)類型。輸入數(shù)據(jù)一般包括軟件的處理對(duì)象及成像模態(tài)，如X 射線計(jì)算機(jī)體層攝影；輸出數(shù)據(jù)一般指的是測(cè)量、分析、處理等結(jié)果類型，如用于4 mm 以上肺結(jié)節(jié)的識(shí)別。

明確軟件的接口類型，包括調(diào)用的其他應(yīng)用程序接口、數(shù)據(jù)接口、可聯(lián)合使用的其他產(chǎn)品接口。其中，數(shù)據(jù)接口還需明確數(shù)據(jù)傳輸協(xié)議或存儲(chǔ)格式（如比較常見的DICOM、HL7），如采用私有協(xié)議也需要說明。

明確軟件運(yùn)行環(huán)境。一般需明確典型運(yùn)行環(huán)境，既包括處理器、存儲(chǔ)器等硬件配置，也包括系統(tǒng)軟件環(huán)境，還包括網(wǎng)絡(luò)條件。需要注意的是，如適用多個(gè)版本，一般表述為“兼容版本”，不宜表述為“更高版本”或“以上版本”，如“運(yùn)行環(huán)境： IE 6.0版本或兼容版本”。

軟件的臨床功能需包括說明書和軟件界面所包含的所有臨床功能綱要。為方便審閱，建議可結(jié)合產(chǎn)品的邏輯組成，分模塊列明。臨床功能一般包括可以客觀測(cè)量的功能、圖像處理功能等。直線長(zhǎng)度、角度、面積、周長(zhǎng)、體積、平均密度、直徑等凡是可測(cè)量的物理量，都應(yīng)該在性能指標(biāo)中進(jìn)行明確，并規(guī)定測(cè)量的誤差要求。布局、放大鏡、聯(lián)動(dòng)、復(fù)位、裁剪、拖移、縮放、反片、曲線窗、右轉(zhuǎn)、左轉(zhuǎn)、倒置、鏡像、偽彩、增強(qiáng)、濾鏡、圖像對(duì)比、多平面重建（multiplanar reformation，MPR）、最大密度投影（maximum intensity projection，MIP）、最小密度投影（minimum intensity projection，MinIP）、容積重建（Volume rendering，VR）、病灶部位、分割方式、病灶量化分析、病灶識(shí)別與標(biāo)注、病灶性質(zhì)判斷、靶區(qū)自動(dòng)勾畫等采用AI算法的圖像處理功能需標(biāo)注并明確算法類型。

軟件性能包括響應(yīng)時(shí)間、系統(tǒng)響應(yīng)時(shí)間和應(yīng)用延遲時(shí)間、吞吐量、并發(fā)用戶數(shù)和資源利用率等。

明確軟件的用戶使用限制和必要的技術(shù)限制。如使用場(chǎng)景的限制，預(yù)期用于一般的體檢篩查還是門診病房；對(duì)患者的年齡、疾病類型或者地域是否有限制；其他限制包括CT 設(shè)備的廠家，CT 的掃描參數(shù)（如排數(shù)、層數(shù)、管電流、管電壓、劑量、層厚、加載時(shí)間、重建方式等），適用于CT 平掃還是CT 增強(qiáng)掃描，CT 圖像質(zhì)量有何要求（如分辨率是多少，需要排除的偽影類型等），目標(biāo)疾病的分類或分型，病灶識(shí)別的部位等。

3 軟件研究

3.1 算法性能要求

疾病檢出類算法的性能一般包括召回率、病變定位率（真陽性/（真陽性+假陰性）×100%）、精確度（真陽性/（真陽性+假陽性）×100%））、F1分?jǐn)?shù)[（2×精確度×召回率/（精確率+召回率）]、平均精確度、平均精確度均值、fR0C曲線（以召回率為縱坐標(biāo)、非病變定位率為橫坐標(biāo)構(gòu)造的曲線）。

區(qū)域分割與測(cè)量類算法的性能一般包括召回率（算法分割的感興趣區(qū)域與參考標(biāo)準(zhǔn)分割的感興趣區(qū)域的交集除以參考標(biāo)準(zhǔn)分割的感興趣區(qū)域）、精確度（算法分割的感興趣區(qū)域與參考標(biāo)準(zhǔn)分割的感興趣區(qū)域的交集除以算法分割的感興趣區(qū)域）、交并比[當(dāng)感興趣區(qū)域?yàn)橐话銓?shí)體時(shí)（如肺結(jié)節(jié)），宜采用Dice系數(shù)或Jaccard系數(shù)計(jì)算交并比]、樹檢測(cè)長(zhǎng)度、表面距離、密度測(cè)量、尺寸測(cè)量、體積測(cè)量。

影像分類算法的性能一般包括靈敏度、特異度、漏檢率、陽性預(yù)測(cè)值、陰性預(yù)測(cè)值、準(zhǔn)確率、約登指數(shù)、Kappa系數(shù)、R0C 曲線。

隨訪評(píng)估功能算法一般需根據(jù)不同時(shí)間節(jié)點(diǎn)，比較算法對(duì)同一感興趣區(qū)域的分析結(jié)果與參考標(biāo)準(zhǔn)之間的符合性，計(jì)算絕對(duì)誤差，并建立各時(shí)間節(jié)點(diǎn)的動(dòng)態(tài)曲線，計(jì)算與參考標(biāo)準(zhǔn)曲線的一致性。

患者分診功能算法一般根據(jù)不同的分診級(jí)，與算法輸出的標(biāo)簽進(jìn)行對(duì)比，建立混淆矩陣，計(jì)算靈敏度、特異度、Kappa系數(shù)等。

算法質(zhì)量特性包括泛化能力、魯棒性（包括面向硬件變化的對(duì)抗測(cè)試、面向軟件前處理的對(duì)抗測(cè)試、面向欺騙攻擊的對(duì)抗測(cè)試、壓力測(cè)試）、重復(fù)性、一致性、效率、錯(cuò)誤分析。

3.2 訓(xùn)練數(shù)據(jù)要求

基于深度學(xué)習(xí)的AI 技術(shù)與傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)技術(shù)的差異主要在于數(shù)據(jù)集規(guī)模與特征提取兩方面。傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)技術(shù)對(duì)數(shù)據(jù)量的要求沒有那么大，特征提取是一個(gè)白盒過程；而AI 技術(shù)對(duì)于數(shù)據(jù)量要求很高，且是一個(gè)端到端的黑盒過程，可自動(dòng)完成特征提取。這意味著，AI 技術(shù)對(duì)數(shù)據(jù)庫(kù)的考量會(huì)更加細(xì)致，需要重點(diǎn)考慮其數(shù)據(jù)的可解釋性問題。

3.3 數(shù)據(jù)采集要求

數(shù)據(jù)采集需考慮CT 設(shè)備的兼容性與掃描參數(shù)、CT 影像質(zhì)量等因素，如廠家、探測(cè)器排數(shù)、層數(shù)、層厚、管電壓、管電流、加載時(shí)間、掃描方式、患者體位、掃描速度、螺距、圖像偽影與噪聲等要求。對(duì)于CT 設(shè)備的要求，建議盡量覆蓋國(guó)內(nèi)外主流機(jī)型，如飛利浦、GE、西門子、東芝、聯(lián)影、東軟等。掃描方式，如平掃、增強(qiáng)、低劑量，應(yīng)各有一定的占比。數(shù)據(jù)采集還需考慮患者人群、采集場(chǎng)所、機(jī)構(gòu)來源、數(shù)據(jù)格式、采集人員、影像學(xué)分級(jí)、分型、分期等多方面的因素。人群因素包括不同的年齡分布、性別、地域（如華東、華南、華中、西北等）。采集場(chǎng)所，如體檢、門診、住院。影像學(xué)分級(jí)，如肺炎包括早期、進(jìn)展期、嚴(yán)重期，肺結(jié)節(jié)類型包括肺內(nèi)實(shí)性結(jié)節(jié)、肺內(nèi)部分實(shí)性結(jié)節(jié)、肺內(nèi)純磨玻璃結(jié)節(jié)、肺內(nèi)鈣化結(jié)節(jié)、胸膜實(shí)性結(jié)節(jié)、胸膜鈣化結(jié)節(jié)、其他疾病等，不同類型的結(jié)節(jié)還包括不同尺寸。

3.4 數(shù)據(jù)標(biāo)注及質(zhì)控要求

在標(biāo)注任務(wù)開始前，標(biāo)注責(zé)任方應(yīng)明確標(biāo)注任務(wù)的分類，包括數(shù)據(jù)模態(tài)、執(zhí)行主體、標(biāo)注結(jié)果格式、標(biāo)注結(jié)果性質(zhì)、標(biāo)注結(jié)果形式等維度。

標(biāo)注任務(wù)需建立標(biāo)注規(guī)則，如根據(jù)法規(guī)文件、專家共識(shí)、文獻(xiàn)分析等確定標(biāo)注規(guī)則，需明確標(biāo)注人員的要求，如標(biāo)注人員來源的醫(yī)療機(jī)構(gòu)、工作年限、職稱、工作量、培訓(xùn)考核評(píng)價(jià)情況、標(biāo)注任務(wù)，不同角色人員（如初級(jí)標(biāo)注人員、審核人員、仲裁人員）分別進(jìn)行闡述，明確人員分工，制定決策機(jī)制，明確分歧處理程序。此外，需明確標(biāo)注過程適用的標(biāo)注工具，如設(shè)備型號(hào)、標(biāo)注軟件的信息，描述標(biāo)注環(huán)境，標(biāo)注數(shù)據(jù)如何進(jìn)行數(shù)據(jù)清洗、查重等。

要求整個(gè)標(biāo)注過程中追蹤結(jié)果應(yīng)可以導(dǎo)出并可追溯，避免數(shù)據(jù)丟失，具體要求如下。（1）標(biāo)注時(shí)間監(jiān)測(cè)：可以通過記錄測(cè)試過程中醫(yī)師對(duì)于每一個(gè)病例的標(biāo)注時(shí)間，建立每一位標(biāo)注者的標(biāo)注時(shí)間分布；在實(shí)際標(biāo)注階段，可以通過不斷比對(duì)每一個(gè)病例的標(biāo)注時(shí)間、該時(shí)間在該標(biāo)注人員標(biāo)注時(shí)間分布中的位置來判斷標(biāo)注的狀態(tài)；若標(biāo)注時(shí)間多次出現(xiàn)過長(zhǎng)或過短的情況，則需要同時(shí)評(píng)估標(biāo)注人員的狀態(tài)和數(shù)據(jù)的質(zhì)量。（2）標(biāo)注一致性監(jiān)測(cè)：在標(biāo)注過程中，引入部分病例，讓同一名標(biāo)注人員進(jìn)行二次標(biāo)注，并計(jì)算同一個(gè)人兩次標(biāo)注之間的一致性，以確保標(biāo)注人員的標(biāo)注一致性水準(zhǔn)始終能夠達(dá)到項(xiàng)目的要求，保證整體標(biāo)注的一致性。（3）標(biāo)注準(zhǔn)確率監(jiān)測(cè)：在標(biāo)注過程中，引入部分醫(yī)學(xué)專家提供的帶有標(biāo)準(zhǔn)標(biāo)注答案的病例，計(jì)算標(biāo)注人員對(duì)于帶標(biāo)準(zhǔn)答案病例標(biāo)注的準(zhǔn)確性，用以評(píng)估標(biāo)注人員的實(shí)時(shí)狀態(tài)。

3.5 算法訓(xùn)練

算法訓(xùn)練需結(jié)合繪制訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線，重點(diǎn)進(jìn)行算法性能影像因素分析以及數(shù)據(jù)多樣性分析。

算法訓(xùn)練如涉及數(shù)據(jù)擴(kuò)增，需明確數(shù)據(jù)擴(kuò)增的對(duì)象、方法、倍數(shù)，分析擴(kuò)增倍數(shù)過大的影響及其風(fēng)險(xiǎn)。數(shù)據(jù)擴(kuò)增并不總能產(chǎn)生積極的作用，不當(dāng)?shù)臄?shù)據(jù)擴(kuò)增可能產(chǎn)生負(fù)面影響。而什么是適當(dāng)?shù)臄?shù)據(jù)擴(kuò)增，取決于具體的任務(wù)和數(shù)據(jù)集。因此需要慎重考慮擴(kuò)增過程中的數(shù)據(jù)偏移問題，同時(shí)進(jìn)行擴(kuò)增倍數(shù)過大的影響分析。

3.6 算法驗(yàn)證與確認(rèn)

測(cè)試集應(yīng)與算法的研發(fā)、訓(xùn)練集和調(diào)優(yōu)集保持獨(dú)立，以保證數(shù)據(jù)集的安全性和封閉性。根據(jù)靈敏度、特異度計(jì)算單次測(cè)試的樣本量，考慮人群特征，疾病分類和分級(jí)、數(shù)據(jù)質(zhì)量要求，不同采集設(shè)備等，確保數(shù)據(jù)容量和數(shù)據(jù)多樣性。

4 臨床評(píng)價(jià)

該類產(chǎn)品的臨床評(píng)價(jià)方式與其必備的軟件功能類型有關(guān)。用于病情評(píng)估的量化分析功能、數(shù)據(jù)對(duì)比功能、常見影像后處理功能（如多平面重建、曲面重建、最大密度投影、最小密度投影、表面遮蓋顯示、容積再現(xiàn)、仿真內(nèi)窺鏡、偽彩、圖像銳化、去噪、增強(qiáng)、分割、配準(zhǔn)、融合等）屬于非輔助決策類軟件功能，可基于核心功能按同品種醫(yī)療器械比對(duì)的臨床評(píng)價(jià)途徑。簡(jiǎn)單操作類軟件功能（如隨訪結(jié)果對(duì)比、多窗口顯示、圖像縮放移動(dòng)、窗寬窗位調(diào)節(jié)、長(zhǎng)度測(cè)量、角度測(cè)量、標(biāo)注工具）、單純流程優(yōu)化類軟件功能（如一鍵輸出報(bào)告功能、批量導(dǎo)出功能、隨訪提醒功能、膠片智能排版打印、分診指引功能）可通過非臨床證據(jù)予以評(píng)價(jià)。

分診提示、異常識(shí)別、疾病類型分析、病灶種類鑒別、良惡性風(fēng)險(xiǎn)提示、病程階段分析、提供輔助診斷結(jié)果（自動(dòng)化報(bào)告）、提供醫(yī)學(xué)建議（給出臨床診斷治療依據(jù)和/或建議、用藥建議）等功能屬于輔助決策類軟件功能，可基于核心算法進(jìn)行同品種醫(yī)療器械比對(duì)，比對(duì)所選產(chǎn)品的臨床證據(jù)需基于臨床試驗(yàn)。全新的核心算法、核心功能、預(yù)期用途原則上均應(yīng)開展臨床試驗(yàn)[4]。

4.1 試驗(yàn)設(shè)計(jì)

若無同類已上市產(chǎn)品可采用單組目標(biāo)值試驗(yàn)設(shè)計(jì)；若有同類已上市產(chǎn)品可考慮平行對(duì)照試驗(yàn)設(shè)計(jì)。

采用單組目標(biāo)值試驗(yàn)設(shè)計(jì)，目標(biāo)值應(yīng)符合臨床應(yīng)用需求，并提供目標(biāo)值確定的依據(jù)。目標(biāo)值可來源于權(quán)威醫(yī)學(xué)組織、臨床文獻(xiàn)或回顧性臨床研究結(jié)果確定。

臨床機(jī)構(gòu)應(yīng)當(dāng)具備代表性和廣泛性，不同于訓(xùn)練數(shù)據(jù)主要來源機(jī)構(gòu)，地域分布盡可能廣泛，機(jī)構(gòu)數(shù)量盡可能多，以確認(rèn)算法泛化能力。

4.2 評(píng)價(jià)指標(biāo)

針對(duì)采用AI算法設(shè)計(jì)的臨床功能原則上選擇靈敏度、特異度、ROC曲線下面積（area under curve，AUC）為主要評(píng)價(jià)指標(biāo)，亦可在此基礎(chǔ)上根據(jù)軟件特點(diǎn)選擇靈敏度/特異度衍生指標(biāo)、ROC AUC衍生指標(biāo)（如診斷準(zhǔn)確率、精確率、召回率）、F1系數(shù)、組內(nèi)相關(guān)系數(shù)、Kappa系數(shù)、時(shí)間效率（如輔助診斷平均時(shí)間、日人均診斷量增益率和診斷平均時(shí)間增益率）、數(shù)據(jù)有效使用率等指標(biāo)作為次要評(píng)價(jià)指標(biāo)。

5 小結(jié)

AI 技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用日益廣泛，前景廣闊，但仍存在如下問題：因其不確定性帶來潛在風(fēng)險(xiǎn)，目前相關(guān)的監(jiān)管體系尚不健全，評(píng)估標(biāo)準(zhǔn)缺失，難以及時(shí)對(duì)潛在的醫(yī)療質(zhì)量安全問題進(jìn)行監(jiān)督與管理。國(guó)家藥監(jiān)部門有必要盡快出臺(tái)具體的評(píng)價(jià)標(biāo)準(zhǔn)，發(fā)布相關(guān)的指導(dǎo)原則、審評(píng)指南，指導(dǎo)企業(yè)從研發(fā)、注冊(cè)申報(bào)，到臨床應(yīng)用，規(guī)范注冊(cè)審評(píng)審批，構(gòu)建全生命周期的監(jiān)管體系，為產(chǎn)品的安全、有效保駕護(hù)航，使AI 軟件產(chǎn)品更好地服務(wù)于臨床。