深度學(xué)習(xí)在兒科先天性心臟病超聲心動圖診斷的研究進(jìn)展

陳訓(xùn)藝, 夏焙, 陳偉玲

1汕頭大學(xué)醫(yī)學(xué)院深圳兒科臨床學(xué)院(廣東深圳 518038); 2深圳市兒童醫(yī)院超聲科(廣東深圳 518038)

先天性心臟病(簡稱先心病)是我國最常見的出生缺陷,也是導(dǎo)致新生兒和嬰幼兒死亡的主要原因。超聲心動圖是先心病首選的篩查和術(shù)前診斷方法。但兒科對象的年齡跨度較大,操作的復(fù)雜性和可重復(fù)性一直是臨床工作的難點(diǎn)。在不同層級的醫(yī)院之間,兒科心臟超聲報(bào)告與專家診斷意見不一致率高達(dá)38%,約60%可能影響治療方案及治療效果[1]。歐洲超聲心動圖學(xué)會(European Association of Echocardiography,EAE)指南建議,初級超聲醫(yī)師應(yīng)接受至少半年的培訓(xùn),完成至少350次經(jīng)胸超聲心動圖檢查方給予上崗,旨在提高醫(yī)療安全[2]。優(yōu)秀的超聲心動圖醫(yī)生培養(yǎng)困難一直是行業(yè)內(nèi)存在的問題。人工智能(artificial intelligence,AI)是一種能夠模擬、擴(kuò)展人類智能及執(zhí)行相關(guān)任務(wù)的新技術(shù)方法。假設(shè)AI方法可獲得與專家接近的診斷水平,將極大的提高對先心病的篩查和診斷效率。本文就深度學(xué)習(xí)在兒科先心病超聲心動圖診斷中的應(yīng)用進(jìn)展進(jìn)行綜述。

1 AI在超聲心動圖的基本方法

1.1 機(jī)器學(xué)習(xí)與深度學(xué)習(xí)

1.1.1 機(jī)器學(xué)習(xí)(machining learning,ML) ML的基本原理是從數(shù)據(jù)中學(xué)習(xí)并獲得預(yù)測結(jié)果輸出,依據(jù)學(xué)習(xí)方法分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)[3],這3種學(xué)習(xí)方法各具優(yōu)勢,需要綜合擬解決的問題難度和數(shù)據(jù)類型,達(dá)到先心病診斷要求而綜合舍取。

1.1.2 深度學(xué)習(xí)(deep learning,DL) DL是機(jī)器學(xué)習(xí)的一個子集,經(jīng)輸入大規(guī)模的高維度數(shù)據(jù),構(gòu)建深層的人工神經(jīng)網(wǎng)絡(luò)并進(jìn)行經(jīng)驗(yàn)學(xué)習(xí)訓(xùn)練,從而獲得精準(zhǔn)的預(yù)測模型。近些年來在大數(shù)據(jù)、模型、GPU三要素加持下,在心臟影像研究領(lǐng)域中,DL搭建出了一系列優(yōu)秀的網(wǎng)絡(luò),包括全連接網(wǎng)絡(luò)(fully connected network,FCN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)、卷積神經(jīng)網(wǎng)絡(luò)(convolution neural networks,CNN)等,其中CNN為當(dāng)前DL在醫(yī)學(xué)領(lǐng)域發(fā)展的最受關(guān)注網(wǎng)絡(luò),其主流算法有Resnet、U-Net、DeepLab、SqueezeNet、GoogLeNet等[4],這已是在先心病研究中較為常用的網(wǎng)絡(luò)模型。

1.2 圖像分類與分割 AI研究兒科先心病的基本步驟包括對標(biāo)準(zhǔn)切面自動識別、心臟結(jié)構(gòu)的自動分割和心臟功能自動評估等,獲得圖像診斷的預(yù)測模型,進(jìn)而實(shí)現(xiàn)對結(jié)構(gòu)性心臟病的診斷。其中,圖像分類是結(jié)構(gòu)識別、分割、定位和定量的基礎(chǔ)。

1.2.1 圖像分類 圖像分類是將先心病圖像分類為具有醫(yī)學(xué)意義的不同類別。圖像分類的傳統(tǒng)流程包含特征提取與分類兩個模塊。常用的分類網(wǎng)絡(luò)有Alexnet、VGG Resnet、Resnet、Densenet、SqueezeNet GoogLeNet[5]。視圖分類是實(shí)現(xiàn)自動超聲心動圖診斷的初始步驟。一套完整的心臟檢查可能有70多個視頻,但由于先心病的結(jié)構(gòu)、功能和心率差異較大,變異性相對較大,使先心病的圖像分類成為比較復(fù)雜的過程。雖然成人超聲心動圖切面的識別已經(jīng)取得了一些進(jìn)展,已經(jīng)實(shí)現(xiàn)了對確定的靜態(tài)圖像進(jìn)行識別,整體準(zhǔn)確率也達(dá)到了84%,但這些對兒科先心病的診斷還遠(yuǎn)遠(yuǎn)不夠。Gearhart等[6]構(gòu)建了小兒超聲心動圖視圖分類的CNN模型,實(shí)現(xiàn)了對27個切面的識別,總體準(zhǔn)確率達(dá)到了90.3%。這個模型是迄今為止研究報(bào)道中最為全面的兒科超聲心動圖視圖分類器,與已發(fā)表的成人超聲心動圖視圖分類模型相比,性能甚至更好,當(dāng)前國內(nèi)劉貽曼等[7]通過改進(jìn)密集連接網(wǎng)絡(luò)(DenseNet),實(shí)現(xiàn)了15個兒童心臟超聲標(biāo)準(zhǔn)切面的自動識別,對兒童超聲心動圖切面自動識別領(lǐng)域有了進(jìn)一步補(bǔ)充。

1.2.2 圖像分割 圖像分割是指按照病變心臟中擬識別的目標(biāo)結(jié)構(gòu),并結(jié)合圖像的相似性,將圖像劃分為不同區(qū)域,用于AI進(jìn)行結(jié)構(gòu)的學(xué)習(xí)和識別,是計(jì)算機(jī)視覺和圖像處理領(lǐng)域的基本內(nèi)容。傳統(tǒng)的圖像分割方法如閾值法、邊界法、面積法等,是基于圖像的顏色、紋理和形狀等信息進(jìn)行處理的。而AI采用的語義分割和實(shí)例分割具有更明顯的優(yōu)勢。語義分割[8]是將視覺圖像的輸入劃分為初步可解釋類別。實(shí)例分割是在目標(biāo)語義分割的基礎(chǔ)上,對同一個類別的影像進(jìn)一步細(xì)化個體,得到更精細(xì)和準(zhǔn)確的分類,從而進(jìn)一步識別結(jié)構(gòu)細(xì)節(jié),在醫(yī)學(xué)的意義是用于識別判斷先心病診斷所需要的病理或生理性結(jié)構(gòu)。先心病圖像分割的網(wǎng)絡(luò)框架主要有FCN、CNN和U-net等。這些分割網(wǎng)絡(luò)可以采用單一的,或綜合應(yīng)用多種模型方法進(jìn)行影像結(jié)構(gòu)分割,目的是達(dá)到醫(yī)學(xué)專家級的精度和準(zhǔn)度。例如,Hu等[9]采用了FCN-Unet-GAN即雙網(wǎng)絡(luò)生成對抗網(wǎng)絡(luò)(BiSeNet),對小兒心尖四腔圖的結(jié)構(gòu)進(jìn)行分割。

2 基于DL的超聲心動圖對先心病診斷分類

2.1 胎兒心臟畸形 在現(xiàn)行的分級醫(yī)療體系下,盡管80%的胎兒復(fù)雜心臟畸形得以診斷,但專業(yè)培訓(xùn)程度、操作者的經(jīng)驗(yàn)、設(shè)備儀器等多因素影響,臨床上總體心臟畸形的產(chǎn)前檢出率仍低于30%,診斷的敏感性僅有40%～50%,值得研究應(yīng)用AI方法提高篩查的普適性和檢出率。Arnaout等[10]使用了1 326例的107 823張18～24周的胎兒超聲檢查圖像進(jìn)行模型訓(xùn)練,采用基于CNN的Resnet,自動篩選出胎兒畸形的5個標(biāo)準(zhǔn)切面圖像。為了證明模型目標(biāo)是提出具有臨床特征的圖像,作者采用了顯著性映射和Grad-CAM,顯示了模型的圖像分割、分類和特征提取的關(guān)鍵像素或區(qū)域結(jié)果,打破了DL網(wǎng)絡(luò)工作運(yùn)行過程中的“盲盒”過程。在獲得標(biāo)準(zhǔn)切面的識別后,Resnet模型還實(shí)現(xiàn)了對正常與16種常見畸形結(jié)構(gòu)的初步鑒別,并在內(nèi)部測試集4 108例胎兒中,獲得診斷效能為受試者工作特征(ROC)曲線下面積為0.99,敏感度和特異度分別達(dá)到95%和96%,陰性預(yù)測值達(dá)到100%。在這個Resnet模型的圖像特征識別中,采用了三血管圖的主動脈與肺動脈的相對大小,心尖四腔圖的室間隔角度與右心的相對大小,來識別法洛四聯(lián)癥與左心發(fā)育不良綜合征。同時應(yīng)用了改良的U-Net來識別四腔圖像中的心胸結(jié)構(gòu),實(shí)現(xiàn)對胎兒心胸比率、心軸和面積分?jǐn)?shù)的自動測算,取得了與文獻(xiàn)其他作者報(bào)道較為一致的結(jié)果。作者認(rèn)為,基于DL的Resnet可以使社區(qū)級別的產(chǎn)前篩查的敏感度及特異度增加1倍。國內(nèi)龔玉新團(tuán)隊(duì)[11]使用的基于生成對抗網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了在胎兒超聲心動圖四腔圖對畸形的初步自動篩查,在他們的內(nèi)部測試集中準(zhǔn)確率也高達(dá)85%。由此可見DL在輔助產(chǎn)前胎兒心臟畸形的篩查,已經(jīng)顯示出一定的潛力。

2.2 左心發(fā)育不良綜合征(hypoplastic left heart syndrome,HLHS) HLHS是以左心發(fā)育不全為特征的一組復(fù)雜畸形,手術(shù)單心室循環(huán)建立之后,遠(yuǎn)期預(yù)后級差,與并發(fā)癥心力衰竭、三尖瓣的結(jié)構(gòu)和功能異常有關(guān),故實(shí)現(xiàn)對三尖瓣的準(zhǔn)確分割成為HLHS治療方案與預(yù)后的關(guān)鍵。在對三尖瓣圖像分割中,經(jīng)食管超聲心動圖三維圖像優(yōu)于經(jīng)胸超聲心動圖三維圖像,但小兒經(jīng)食管超聲有一定局限性,研究多圍繞經(jīng)胸超聲心動圖展開。Herz等[12]采用全卷積神經(jīng)網(wǎng)絡(luò)對129例左心發(fā)育不良綜合征患兒的161組圖像展開研究,目標(biāo)是實(shí)現(xiàn)對小兒三尖瓣的精準(zhǔn)分割、定量評價和三尖瓣返流程度。在增加瓣環(huán)及瓣葉連接點(diǎn)標(biāo)志等注釋后進(jìn)行了監(jiān)督學(xué)習(xí),獲得的分割模型的骰子系數(shù)(dice coefficient,DICE)達(dá)到0.86,平均邊界距離(mean boundary distance,MBD)達(dá)到0.35,平均分割精度與專家相似,重復(fù)檢測的一致性高于專家的檢測結(jié)果。這是文獻(xiàn)中報(bào)道的首個個基于DL的兒科先天性心臟病中瓣膜分割的模型,為進(jìn)一步開拓小兒先心病瓣膜結(jié)構(gòu)和功能AI研究奠定了基礎(chǔ)。

2.3 室間隔缺損與房間隔缺損 室間隔缺損(ventricular septal defect,VSD)和房間隔缺損(atrial septal defect,ASD)同屬于兒科常見、相對簡單的先心病,但因不具備特別的心臟、血管的結(jié)構(gòu)異常,缺損的部位和大小較為局限,診斷的延遲率較高,甚至到成年人才得以診斷,從而引起肺炎和肺動脈高壓等并發(fā)癥。Wang等[13]提出了基于CNN和RNN的端到端框架,對靜態(tài)圖像及和視頻進(jìn)行自動分析,采用的數(shù)據(jù)集包含1 308例,其中10%為固定測試集,應(yīng)用5個常用切面識別房間隔、室間隔,結(jié)合心房和心室容積大小變化,實(shí)現(xiàn)了對ASD與VSD的診斷。為了提高計(jì)算性能,彌補(bǔ)樣本不足導(dǎo)致的過擬合問題,作者在原AlexNet基礎(chǔ)上增加了深度可分離卷積(depthwise convolution,DSC)算法,進(jìn)一步提高了網(wǎng)絡(luò)性能(5.4%),也減小了網(wǎng)絡(luò)的計(jì)算量(94%),最終在靜態(tài)圖像上,對正常心臟、ASD和VSD的診斷準(zhǔn)確率達(dá)到95.4%,具體到區(qū)分兩種間隔缺損的準(zhǔn)確率也有92.3%。在視頻圖像上診斷兩者的準(zhǔn)確率則分別達(dá)到93.9%、92.1%。而如果僅使用心尖四腔圖,診斷準(zhǔn)確率將會降低5%。因此,這是首個使用多視圖切面對先心病進(jìn)行初步自動診斷的AI模型,比以往報(bào)道的單切面更加全面。Jiang等[14]使用深度學(xué)習(xí)模型于7個常用兒科超聲心動圖標(biāo)準(zhǔn)切面的二維及彩色多普勒圖像上,實(shí)現(xiàn)自動診斷包含ASD、VSD在內(nèi)的3種簡單先心病,準(zhǔn)確率可達(dá)92.3%。其他使用的卷積網(wǎng)絡(luò)模型輔助室間隔缺損和房間隔缺損的還有IFT-Net[15]、EchoNet[16]等網(wǎng)絡(luò)。

2.4 主動脈縮窄(coarctation of the aorta,CoA) CoA占先心病的4%～6%,重癥CoA是導(dǎo)管依賴性先心病,胎兒期和新生兒期診斷是決定嬰兒能否得以存活的關(guān)鍵。Coa病變進(jìn)程受主動脈發(fā)育和流經(jīng)血流量影響,胎兒期的心腔的變化可以不明顯,產(chǎn)檢診斷的假陽性和假陰性較高,有較大的局限性,文獻(xiàn)報(bào)道的部分CoA的產(chǎn)前檢出率僅為21.7%～52%。新生兒期CoA的篩查成為超聲心動圖的重要內(nèi)容。Pereira等[17]提出了基于3個常用標(biāo)準(zhǔn)圖像,即胸骨旁長軸圖、心尖四腔心圖、胸骨上窩圖,采用機(jī)器學(xué)習(xí)的全自動算法實(shí)現(xiàn)了對新生兒CoA的自動診斷。該算法主要用堆疊降噪自動編碼器(SDAE)進(jìn)行特征提取,支持向量機(jī)(SVM)進(jìn)行分類。主要方法是經(jīng)胸骨上窩主動脈長軸圖及胸骨旁左室長軸圖上,觀察主動脈動脈導(dǎo)管相鄰處附近有無明顯的內(nèi)徑異常。其中心尖四腔圖雖然不能夠得出CoA的診斷,但可以提供左心室增大等間接診斷信息。采用兩個模型后,準(zhǔn)確率最高的是胸骨旁左室長軸圖與心尖四腔圖的組合。而基于上述3個圖像的運(yùn)算,包含90例數(shù)據(jù)(26例CoA)的驗(yàn)證集,最終結(jié)果為總錯誤率12.9%,假陽性率11.5%,假陰性率13.6%。盡管這一結(jié)果還有待提升,但仍然優(yōu)于采用心臟雜音加脈搏血氧儀進(jìn)行篩查結(jié)果。盡管在先心病中CoA的占比不高,但鑒于CoA的嚴(yán)重不良預(yù)后,加強(qiáng)CoA診斷方法研究也有助于與其他復(fù)雜先心病的鑒別診斷。

2.5 動脈導(dǎo)管未閉(patent ductus arteriosus,PDA) PDA是最常見的先天性心臟病之一,約占先天性心臟病的10%～21%,僅次于房間隔缺損與室間隔缺損。PDA常無明顯臨床癥狀,晚期可引起嚴(yán)重肺動脈高壓,出現(xiàn)右向左分流時還能引起患兒發(fā)紺。盡管PDA的診斷并不困難,但初級醫(yī)生還是有一定概率會漏誤診PDA。Erno等[18]訓(xùn)練基于CNN的深度學(xué)習(xí)模型,在自動診斷PDA上敏感度達(dá)到0.83,特異度達(dá)到0.89,同樣的研究關(guān)于PDA的自動診斷還有Jiang等[14]。

3 AI超聲心動圖對先心病心臟功能的定量分析

左心室射血分?jǐn)?shù)(left ventricular ejection fraction,LVEF)是超聲心動圖最為常用的心臟收縮功能指標(biāo)。傳統(tǒng)手工勾畫圖像后獲得左心室舒張末期和收縮末期容積的方法獲得LVEF。這種方法在觀察者之間存在差異,對急重癥者耗時仍然較長。自動測量EF在成年人超聲心動圖中取得了較好的進(jìn)展,Knackstedt等[19]應(yīng)用最新版,具有機(jī)器學(xué)習(xí)輔助計(jì)算模型TomTec工作站,獲得了接近專家診斷水平的LVEF,耗時僅8 s。Ouyang等[20]利用DL模型ECHO-NET實(shí)現(xiàn)了左心室的幀級語義分割,初步實(shí)現(xiàn)了對左心室舒張末期容積、每搏輸出量和射血分?jǐn)?shù)的自動計(jì)算。兒科LVEF自動計(jì)算的研究為數(shù)不多,Zuercher等[21]遷移了成年人的EchoNet-Dynamic模型,嘗試用于兒科患者。該數(shù)據(jù)集包含267例正常心臟、54例擴(kuò)張型心肌病。經(jīng)改良EchoNet-Dynamic模型計(jì)算出兒科對象的LVEF,MAE為4.47%,均方根誤差(RMSE)為5.54%,平均絕對百分比誤差(MAPE)為7.57%、R2為0.87,這種應(yīng)用于成人預(yù)測模型在對心臟時空特征提取有一定幫助,但應(yīng)用于兒科仍有較大的局限性,尤其是成人與兒童心率和心臟解剖學(xué)大小、形狀的差異較大,仍然需要較大的兒科超聲心動圖數(shù)據(jù)進(jìn)一步訓(xùn)練。

在兒科超聲心動圖心腔容積的計(jì)算中,也有采用的EchoNet-Peds[22]及MAEF-Net模型[23],但均還不足以獲得臨床診斷效果,關(guān)鍵問題還是DL模型中的分層級數(shù)據(jù)訓(xùn)練不足。

4 涉及AI的干預(yù)的超聲心動圖臨床試驗(yàn)

AI技術(shù)在臨床醫(yī)療應(yīng)用以來,DL技術(shù)得以廣泛應(yīng)用,尤其是在疾病的篩查與分診、診斷與預(yù)后評估,以及決策支持與治療建議等諸多方面研究有了較大的進(jìn)展,但仍然存在AI技術(shù)在臨床試驗(yàn)中的倫理、法規(guī)的空白區(qū)域?，F(xiàn)行的相關(guān)指南(SPIRIT和CONSORT)適用于傳統(tǒng)的健康干預(yù)措施和臨床研究,但并未充分解決AI系統(tǒng)特有的潛在問題。2020年9月9日,權(quán)威雜志《Nat Med》《BMJ》《The Lancet Digital Health》同步發(fā)了指南《Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension》[24-26]和《Reporting guidelines for clinical trial reports for interventions involving artificial intelligence:the CONSORT-AI extension》[27-29],SPIRIT-AI和CONSORT-AI為如何設(shè)計(jì)、開展和報(bào)告涉及AI的臨床試驗(yàn)提供了框架。其中SPIRIT-AI是對臨床試驗(yàn)方案指南SPIRIT 2013的擴(kuò)展,CONSORT-AI是對臨床試驗(yàn)報(bào)告指南CONSORT 2010的擴(kuò)展?；趯I的方法學(xué)和倫理學(xué),該指南分別在原有基礎(chǔ)上增加15及14個新條目,強(qiáng)調(diào)了新增條目對評估AI介入效果非常重要,包括對AI介入環(huán)節(jié)進(jìn)行清晰的描述、使用說明、使用AI所需的技能、AI的集成環(huán)境、AI輸入和輸出、人機(jī)交互細(xì)節(jié)和提供錯誤案例分析等,目標(biāo)是提高臨床試驗(yàn)的安全性和倫理性,這部指南為AI系統(tǒng)的超聲心動圖臨床試驗(yàn)提供了第一個國際標(biāo)準(zhǔn),尤其是涉及先心病的診斷和治療。SPIRIT-AI、CONSORT-AI的推出,旨在幫助提高針對AI介入臨床試驗(yàn)的透明度和完整性,解釋和嚴(yán)格評估臨床試驗(yàn)設(shè)計(jì)的質(zhì)量以及報(bào)告結(jié)果存在偏倚的風(fēng)險,但其也有不足,其主要針對的是監(jiān)督學(xué)習(xí),并未對無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)提供研究準(zhǔn)則。

5 問題與展望

5.1 AI與數(shù)據(jù) 數(shù)據(jù)集的標(biāo)準(zhǔn)化不足,是DL超聲心動圖中的首要難點(diǎn),這與多中心之間互通病例和存儲圖像不規(guī)范、不完整有關(guān),難以達(dá)到DL訓(xùn)練時對病例的“見多識廣“的要求;人工標(biāo)注的精度不足,用于訓(xùn)練的標(biāo)注應(yīng)該是正確的,但超聲專家因繁忙,往往是工科或醫(yī)科初級學(xué)生承擔(dān),標(biāo)注的誤差較大,影響了模型的準(zhǔn)確性。例如即使是當(dāng)前世界上最大的圖像識別數(shù)據(jù)庫ImageNet也存在著約6%的標(biāo)簽錯誤[30]。

5.2 AI與臨床 基于AI超聲心動圖是為了更好地解決臨床問題,而不是為了發(fā)展AI而將其與臨床問題強(qiáng)行掛鉤,本末倒置。AI與臨床醫(yī)生不應(yīng)該是競爭或者替代關(guān)系,兩者應(yīng)該是相互促進(jìn)。AI可以幫助臨床醫(yī)生充分利用現(xiàn)有數(shù)據(jù),減輕人工負(fù)擔(dān);臨床醫(yī)生也可以利用自己的專業(yè)知識及臨床經(jīng)驗(yàn)對AI模型的改善提出建議,促進(jìn)AI模型的改良,并對AI作出的預(yù)測結(jié)果是否合格或正確做最終的定奪。

綜上所述,以DL為基礎(chǔ)的AI輔助小兒先心病的篩查和診斷,已經(jīng)初現(xiàn)出臨床應(yīng)用前景,應(yīng)用于臨床決策支持、智能地向臨床醫(yī)生提供有效的支持,或是將AI結(jié)果與患者的醫(yī)療條件和數(shù)據(jù)相關(guān)聯(lián),實(shí)現(xiàn)AI的真實(shí)場景應(yīng)用,仍需要多學(xué)科、多中心合作,建立完整公開數(shù)據(jù)庫,增強(qiáng)AI模型在兒科超聲先心病診斷的泛化能力。

利益相關(guān)聲明:所有作者均聲明不存在利益沖突。

作者貢獻(xiàn)說明:陳訓(xùn)藝負(fù)責(zé)檢索、翻譯文獻(xiàn)及論文撰寫;陳偉玲、夏焙負(fù)責(zé)指導(dǎo)和論文修改工作。