超聲多模態(tài)人工智能技術(shù)在甲狀腺癌智能診斷中的應(yīng)用研究

吳愛娣, 王娟,宋藝敏,陳容,李文靖

518052 廣東 深圳,深圳大學(xué)總醫(yī)院 超聲醫(yī)學(xué)科

甲狀腺癌已成為中國女性最常見的五種癌癥之一,新發(fā)甲狀腺癌病例在中國15～59歲的女性中排名第3位[1]。一直以來,超聲是甲狀腺疾病診斷的首選方式,但具有主觀性及經(jīng)驗(yàn)依賴性。人工智能(artificial intelligence,AI),近幾年再度成為各領(lǐng)域關(guān)注的焦點(diǎn),其中深度學(xué)習(xí)的提出帶來了一系列革命性變化[2]。超聲醫(yī)學(xué)作為影像領(lǐng)域的重要分支,利用AI相關(guān)算法進(jìn)行聲像圖分析的研究不斷涌現(xiàn)[3-4],不僅為臨床科研提供了新思路,亦有助于提高超聲診斷的準(zhǔn)確性。AI學(xué)習(xí)中模型構(gòu)建包括訓(xùn)練集、驗(yàn)證集與測試集[5],訓(xùn)練模型需要大量的醫(yī)學(xué)圖像,甲狀腺癌已被列入全球癌癥發(fā)病率的前十位[6],甲狀腺結(jié)節(jié)的高發(fā)病率能夠提供足夠多的醫(yī)學(xué)病例作為模型的訓(xùn)練集。因此,甲狀腺AI醫(yī)療診斷與甲狀腺結(jié)節(jié)的診斷迅速契合?，F(xiàn)階段關(guān)于甲狀腺結(jié)節(jié)彩色Doppler、彈性成像、超聲造影等類型的數(shù)據(jù)研究較少,因此,本研究擬設(shè)計(jì)基于不同類型數(shù)據(jù)訓(xùn)練得到的AI模型,通過比較不同模型對甲狀腺癌的診斷效能,求證超聲多模態(tài)AI技術(shù)在提高甲狀腺癌診斷中的價(jià)值。

1 資料與方法

1.1 研究對象與儀器

回顧性收集2020年8月至2023年8月在本院超聲科行甲狀腺檢查中均含有二維灰階圖像、彈性成像及彩色Doppler的486例患者的超聲圖像,共獲得486個甲狀腺結(jié)節(jié)。年齡范圍13～80歲,平均年齡(40.1±12.0)歲。486個結(jié)節(jié)中225個結(jié)節(jié)為惡性(占46.3%),261個結(jié)節(jié)為良性(占53.7%)。惡性結(jié)節(jié)全部經(jīng)病理證實(shí),良性結(jié)節(jié)經(jīng)病理證實(shí)或至少隨訪一年無變化(隨訪病例需由兩位副高級別以上醫(yī)師診斷)。

圖像納入標(biāo)準(zhǔn):(1)結(jié)節(jié)圖像清楚、邊界在圖像可顯示范圍內(nèi)且一張圖像中只有一個結(jié)節(jié);(2)經(jīng)超聲檢查后,根據(jù)美國放射學(xué)會2017版TI-RADS分類診斷標(biāo)準(zhǔn)[7],診斷為TI-RADS3類及以上結(jié)節(jié)可納入;(3)患者既往沒有惡性腫瘤病史;(4)患者既往沒有進(jìn)行甲狀腺消融手術(shù)或在本院行超聲檢查前未進(jìn)行甲狀腺穿刺[8];(5)所有結(jié)節(jié)圖像均含有同一切面三個模態(tài)。

圖像排除標(biāo)準(zhǔn):(1)甲狀腺結(jié)節(jié)超聲圖像背景信息模糊,結(jié)節(jié)顯示不清或結(jié)節(jié)邊界超出界面可顯示范圍;(2)患者既往進(jìn)行甲狀腺有創(chuàng)性檢查或治療;(3)原始圖像上出現(xiàn)患者身份、箭頭等標(biāo)注信息。

儀器:法國聲科Aixploper超聲診斷儀,探頭選擇機(jī)器配套使用的淺表器官高頻探頭(頻率為7.5 MHz～13 MHz)。圖像標(biāo)注軟件為可用于3D醫(yī)學(xué)圖像中分割結(jié)構(gòu)的軟件ITK-SNAP(3.0版本)。

1.2 方法

1.2.1 建立數(shù)據(jù)集 (1)圖像標(biāo)注:甲狀腺目標(biāo)結(jié)節(jié)的標(biāo)注全部由1名經(jīng)過專業(yè)培訓(xùn)的超聲醫(yī)師(具有十年甲狀腺超聲檢查經(jīng)驗(yàn),且經(jīng)過軟件專業(yè)培訓(xùn),能熟練掌握軟件操作)進(jìn)行;(2)數(shù)據(jù)分組:將486個結(jié)節(jié)分為兩組,386個結(jié)節(jié)(良性208個,惡性178個)進(jìn)行5倍擴(kuò)增后分為訓(xùn)練集和驗(yàn)證集(訓(xùn)練集1 737個,驗(yàn)證集193個)用于構(gòu)建模型,100個結(jié)節(jié)不擴(kuò)增分為測試集(良性53個,惡性47個)用于測試模型;(3)數(shù)據(jù)增強(qiáng):用于模型訓(xùn)練的原始數(shù)據(jù)有386例,為了加強(qiáng)數(shù)據(jù)的可利用性,算法人員對原始數(shù)據(jù)進(jìn)行了數(shù)據(jù)增強(qiáng),增強(qiáng)倍數(shù)為5倍,增強(qiáng)方法為:①旋轉(zhuǎn):所有圖像在±25度范圍內(nèi)進(jìn)行隨機(jī)角度旋轉(zhuǎn);②翻轉(zhuǎn):鏡像或者垂直翻轉(zhuǎn)。增強(qiáng)后得到1 930例數(shù)據(jù),共5 790張圖片。

1.2.2 模型訓(xùn)練 標(biāo)注好的圖像交由深圳大學(xué)生物醫(yī)學(xué)工程系相關(guān)技術(shù)人員進(jìn)行甲狀腺結(jié)節(jié)超聲特征提取。本研究所采用的網(wǎng)絡(luò)主干是ResNet18。為了更好利用數(shù)據(jù)及降低小數(shù)據(jù)集的影響,算法設(shè)計(jì)了自監(jiān)督任務(wù)對ResNet18預(yù)訓(xùn)練。在完成自監(jiān)督預(yù)訓(xùn)練后,將參數(shù)遷移到多模態(tài)特征融合網(wǎng)絡(luò)的各個特征提取分支上,用以后續(xù)對多模態(tài)甲狀腺圖像進(jìn)行分類診斷(圖1)。然后,使用3個ResNet18作為特征提取的網(wǎng)絡(luò)分支,3個模態(tài)的圖像各自送入對應(yīng)的ResNet18分支提取特征。同時(shí)為了更好結(jié)合各模態(tài)之間的信息,本實(shí)驗(yàn)使用多模態(tài)特征融合分支,提取3個模態(tài)的共同特征,并再與各模態(tài)自身的特征融合以引導(dǎo)后面網(wǎng)絡(luò)層的特征提取,最終融合3個分支的特征用于甲狀腺癌的診斷分類(圖2)。模型訓(xùn)練大致步驟如下:(1)標(biāo)注好的386例結(jié)節(jié)進(jìn)行5倍擴(kuò)增得到1 930例結(jié)節(jié);(2)將圖像輸入網(wǎng)絡(luò)主干進(jìn)行訓(xùn)練,采用10折交叉驗(yàn)證的方法進(jìn)行模型訓(xùn)練與驗(yàn)證。10折交叉驗(yàn)證:即將擴(kuò)增得到的1 930例結(jié)節(jié)隨機(jī)分為10份,9份用于訓(xùn)練模型,1份用于驗(yàn)證模型,得到每次AI模型的分類結(jié)果,進(jìn)行10次驗(yàn)證后取其平均值作為輸出結(jié)果。訓(xùn)練得到AI模型:(1)US-AI模型:為提取甲狀腺結(jié)節(jié)二維灰階特征訓(xùn)練而得;(2)多模態(tài)-AI模型:為提取甲狀腺結(jié)節(jié)二維灰階、彈性成像及彩色Doppler特征后進(jìn)行特征融合訓(xùn)練而得。

圖1 通過自監(jiān)督任務(wù)進(jìn)行預(yù)訓(xùn)練和參數(shù)遷移

圖2 多模態(tài)特征融合的分類網(wǎng)絡(luò)

1.2.3 模型診斷結(jié)果判讀 把圖像導(dǎo)入相對應(yīng)框架后,模型下方可判定結(jié)節(jié)性質(zhì)及概率值。結(jié)果顯示為“良性”/ “惡性”,概率值越大,則表示結(jié)節(jié)為良性/惡性的可能性越大。具體流程及案例見圖3。

圖3 AI診斷系統(tǒng)診斷甲狀腺結(jié)節(jié)流程及良惡性判斷案例

1.2.4 低年資住院醫(yī)師判讀 測試集中所有的病例,由一名具有3年甲狀腺超聲檢查及診斷經(jīng)驗(yàn)的住院醫(yī)師進(jìn)行診斷。

1.3 統(tǒng)計(jì)學(xué)方法

2 結(jié) 果

2.1 驗(yàn)證集中多模態(tài)-AI診斷模型與US-AI診斷模型診斷甲狀腺結(jié)節(jié)良惡性的比較

驗(yàn)證集中,US-AI模型準(zhǔn)確診斷良性結(jié)節(jié)97個,惡性結(jié)節(jié)59個,多模態(tài)-AI模型準(zhǔn)確診斷良性結(jié)節(jié)105個,惡性結(jié)節(jié)76個(表1)。多模態(tài)-AI模型的AUC為0.938,US-AI模型AUC為0.797,前者診斷效能高于后者,差異具有統(tǒng)計(jì)學(xué)意義(Z=5.444,P<0.001;圖4)。

表1 US-AI模型與多模態(tài)-AI模型驗(yàn)證結(jié)果

圖4 US-AI模型及多模態(tài)-AI模型ROC曲線圖

2.2 測試集中多模態(tài)-AI模型、US-AI模型與低年資住院醫(yī)師診斷甲狀腺結(jié)節(jié)良惡性的比較

測試集中良性結(jié)節(jié)53個,惡性結(jié)節(jié)47個。US-AI模型、多模態(tài)-AI模型及低年資住院醫(yī)師準(zhǔn)確診斷良性結(jié)節(jié)分別為47個、49個、40個,準(zhǔn)確診斷惡性結(jié)節(jié)分別為33個、40個、40個(表2)。繪制各組ROC曲線圖(圖5),得到各組的AUC。US-AI模型、多模態(tài)-AI模型以及低年資住院醫(yī)師的AUC分別為0.794、0.888、0.803。多模態(tài)-AI模型AUC大于US-AI模型(Z=3.176,P=0.002),大于低年資住院醫(yī)師(Z=3.261,P=0.001),差異均有統(tǒng)計(jì)學(xué)意義。US-AI模型AUC低于低年資住院醫(yī)師,差異無統(tǒng)計(jì)學(xué)意義(Z=0.239,P=0.810)。

表2 US-AI模型、多模態(tài)-AI模型及低年資住院醫(yī)師測試結(jié)果

圖5 各模型及低年資住院醫(yī)師診斷效能ROC曲線圖

3 討 論

近年來,AI在乳腺與甲狀腺疾病診斷、胎兒測量、心臟功能測定等多個領(lǐng)域已有較多研究與應(yīng)用[9-11]。目前甲狀腺AI應(yīng)用研究主要集中在甲狀腺結(jié)節(jié)分割與分類[12-13],所應(yīng)用到的超聲圖像主要是甲狀腺結(jié)節(jié)二維圖像[5,14],如Sun等[15]的研究,在甲狀腺二維圖像特征的基礎(chǔ)上應(yīng)用遷移學(xué)習(xí)的方法獲得AI模型,然后與主治醫(yī)師比較,結(jié)果顯示,AI診斷的準(zhǔn)確性、敏感性和特異性均高于后者,分別為96.4%vs93.1%、83.1%vs67.2%和92.5%vs87.1%。關(guān)于聯(lián)合甲狀腺結(jié)節(jié)彈性圖像或其他類型數(shù)據(jù)的研究較罕見,僅發(fā)現(xiàn)國內(nèi)有研究者應(yīng)用剪切波數(shù)據(jù)進(jìn)行研究[16]。因此,本研究擬以甲狀腺二維灰階、彈性成像及彩色Doppler三種超聲圖像為基礎(chǔ),利用AI進(jìn)行深度學(xué)習(xí),設(shè)計(jì)可以智能分類甲狀腺結(jié)節(jié)的模型,比較各模型在診斷甲狀腺結(jié)節(jié)中的效能,探討多模態(tài)AI在甲狀腺癌診斷中的應(yīng)用價(jià)值。

據(jù)報(bào)道,運(yùn)用二維數(shù)據(jù)得到AI模型診斷甲狀腺結(jié)節(jié)的準(zhǔn)確率一般可達(dá)到85%～90%[17-18]。本研究以486個甲狀腺結(jié)節(jié)為研究對象,運(yùn)用上述結(jié)節(jié)不同圖像進(jìn)行數(shù)據(jù)集構(gòu)建及框架訓(xùn)練,訓(xùn)練得到模型后進(jìn)行測試,100個測試結(jié)節(jié)中,US-AI模型準(zhǔn)確診斷良性結(jié)節(jié)47個,惡性結(jié)節(jié)33個,共準(zhǔn)確診斷結(jié)節(jié)80個,得出US-AI模型的準(zhǔn)確率為80.00%,診斷率低于報(bào)道情況,可能因?yàn)楸狙芯繛樾?shù)據(jù)量研究,未來加大樣本量診斷率可能會有所提高。AI模型中融入彩色Doppler及彈性兩個模態(tài)信息后,AI模型診斷的AUC明顯提高,其中多模態(tài)-AI驗(yàn)證集與測試集AUC分別為0.938、0.888,這反映了甲狀腺結(jié)節(jié)多模態(tài)特征提取與融合可以進(jìn)一步提高模型的分類能力。Li等[19]使用超過40 000例的二維灰階圖像數(shù)據(jù)進(jìn)行訓(xùn)練,結(jié)果顯示其測試集曲線下面積為0.912,與本研究結(jié)果接近,說明多模態(tài)數(shù)據(jù)能在一定程度上彌補(bǔ)小樣本量的不足。專家共識表明,實(shí)性甲狀腺結(jié)節(jié)若不具有惡性特征,結(jié)節(jié)周圍顯示較完整環(huán)形血流且彈性硬度較低,此類結(jié)節(jié)多為良性[20]。因此,臨床工作中恰當(dāng)運(yùn)用多普勒超聲與彈性成像超聲有助于甲狀腺結(jié)節(jié)診斷。多模態(tài)-AI模型融合了彩色Doppler及彈性特征后,結(jié)果與預(yù)期相符,模型診斷效能明顯提高,多模態(tài)特征融合具有可行性。除了彈性成像,較新的技術(shù)如超微血管成像、超聲造影等亦為臨床工作中診斷甲狀腺結(jié)節(jié)提供了重要參考信息[21-22]。本研究初步表明多模態(tài)特征融合具有可行性,為AI多模態(tài)特征融合奠定重要基礎(chǔ),未來研究可進(jìn)一步嘗試融合甲狀腺結(jié)節(jié)超聲造影以及超微血管成像獲得的特征,讓AI更深入、全面獲取結(jié)節(jié)信息。低年資醫(yī)師因經(jīng)驗(yàn)不足,診斷主觀性影響較大,因此客觀性診斷、同質(zhì)性診斷尤為重要。測試集中US-AI模型與低年資醫(yī)師的診斷效能相近,并不能很好地給低年資醫(yī)師診斷甲狀腺結(jié)節(jié)提供參考意義。但融入多模態(tài)特征后,AI模型診斷效能極大提高,恰當(dāng)應(yīng)用AI能輔助低年資住院醫(yī)師診斷甲狀腺結(jié)節(jié),更能滿足臨床需求。

為了更加全面地利用超聲數(shù)據(jù),本研究AI模型設(shè)計(jì)所采用的圖像數(shù)據(jù),除了二維數(shù)據(jù)外,還有彈性成像、彩色Doppler數(shù)據(jù)。另外,AI模型設(shè)計(jì)旨在為臨床服務(wù),我們創(chuàng)新地設(shè)計(jì)了可視化操作頁面,方便超聲醫(yī)師操作。同樣地,本研究亦存在一些不足之處,首先本研究所采用的圖像均為靜態(tài)圖像,未將動態(tài)超聲圖像納入,這可能會導(dǎo)致病灶的部分特征信息丟失[23]。其次本研究數(shù)據(jù)來源僅為單中心研究,樣本量亦不夠大,未來多中心大樣本量研究將是研究重點(diǎn)與突破方向。

總之,本研究中訓(xùn)練得到的AI模型是基于甲狀腺結(jié)節(jié)不同模態(tài)圖像改進(jìn)得到的,研究結(jié)果得出,甲狀腺多模態(tài)AI可以更加全面準(zhǔn)確診斷甲狀腺癌,可為多模態(tài)AI超聲在甲狀腺疾病的診斷和研究奠定重要基礎(chǔ)。

作者聲明：本文全部作者對于研究和撰寫的論文出現(xiàn)的不端行為承擔(dān)相應(yīng)責(zé)任;并承諾論文中涉及的原始圖片、數(shù)據(jù)資料等已按照有關(guān)規(guī)定保存,可接受核查。

學(xué)術(shù)不端：本文在初審、返修及出版前均通過中國知網(wǎng)(CNKI)科技期刊學(xué)術(shù)不端文獻(xiàn)檢測系統(tǒng)的學(xué)術(shù)不端檢測。

同行評議：經(jīng)同行專家雙盲外審,達(dá)到刊發(fā)要求。

利益沖突：所有作者均聲明不存在利益沖突。

文章版權(quán)：本文出版前已與全體作者簽署了論文授權(quán)書等協(xié)議。