深度學(xué)習(xí)在兒童先天性室間隔缺損和房間隔缺損輔助檢測(cè)中的應(yīng)用研究

姚小芬 郭宇宇 謝瑋慧 郭 辰 胡立偉 邱海嵊 王 乾 鐘玉敏

先 天 性 心 臟 ?。╟ongenital heart disease，CHD；以下簡(jiǎn)稱先心?。┦亲畛Ｒ姷南忍煨猿錾毕?，其中室間隔缺損（ventricular septal defect，VSD）、房間隔缺損（atrial septal defect， ASD）是最常見的非紫紺型先心病，其發(fā)病率約占先心病的25%～ 35%[1]。目前臨床上常用的先心病影像診斷方法包括胸片、超聲心動(dòng)圖（echocardiography，ECHO）、計(jì)算機(jī)體層攝影（computed tomography，CT）、磁共振成像(magnetic resonance imaging，MRI)及心 血 管 造 影(angiocardiography， CAG)。ECHO是目前臨床最常用的先心病篩查方法。心臟大血管磁共振（cardiovascular magnetic resonance，CMR）檢查時(shí)間長(zhǎng)，鎮(zhèn)靜要求高，空間分辨率略低以及檢查費(fèi)用相對(duì)較高，目前在亞洲地區(qū)先心病術(shù)前診斷中應(yīng)用較少[2]。隨著CT快速發(fā)展，低輻射、高空間和時(shí)間分辨率、低鎮(zhèn)靜要求（甚至可以非鎮(zhèn)靜狀態(tài)下掃描），CT技術(shù)在兒童先心病診斷中逐漸應(yīng)用廣泛[2]。由于ECHO對(duì)于心外結(jié)構(gòu)的顯示不如心臟CT（cardiac CT， CCT）和CMR。目前臨床術(shù)前診斷先心病往往用ECHO結(jié)合CCT，兩者互為補(bǔ)充，提供更為有效、全面的先心病診斷信息[3-4]。

CCT完成掃描后需要?？朴跋襻t(yī)師進(jìn)行后處理，人工分割并重建圖像，最后根據(jù)重建的圖像進(jìn)行診斷，每個(gè)病例的后處理時(shí)間比普通胸部CT增強(qiáng)要長(zhǎng)，診斷效率較低；另外，目前高端CT儀器較為普遍，二級(jí)醫(yī)院都擁有64層以上的螺旋CT或雙源CT，但是先心病診斷專業(yè)性強(qiáng)，非?？漆t(yī)院影像醫(yī)師的誤診和漏診率較高。目前人工智能尤其是深度學(xué)習(xí)技術(shù)結(jié)合影像數(shù)據(jù)，被越來(lái)越多地應(yīng)用到病灶分割、疾病檢測(cè)、輔助診斷等各種醫(yī)療影像分析任務(wù)中[5-8]。是否可以應(yīng)用人工智能方法進(jìn)行心臟疾病自動(dòng)識(shí)別，是本文的研究目的所在。本研究提出一種基于深度學(xué)習(xí)的CCT對(duì)室間隔缺損和房間隔缺損檢測(cè)方法，旨在實(shí)現(xiàn)非專科醫(yī)院的影像醫(yī)師對(duì)VSD和ASD的快速準(zhǔn)確診斷，以初步達(dá)到人工智能輔助診斷簡(jiǎn)單先心病的目的。

方 法

1.研究對(duì)象

本研究通過(guò)醫(yī)院倫理委員會(huì)批準(zhǔn)?；仡櫺苑治?65例CCT數(shù)據(jù)，均為2018年7月至2019年10月接受CCT檢查，分為病例組和正常組；病例組150例，均行ECHO檢查，包括VSD病例84例，ASD病例66例；正常組15例，正常組入組標(biāo)準(zhǔn)為ECHO排除心臟異常病例。病例組病例均有金標(biāo)準(zhǔn)心血管造影或/和手術(shù)結(jié)果作對(duì)照，入組多為常見的膜周部室間隔缺損、少部分為漏斗部室間隔缺損和繼發(fā)孔型房間隔缺損。

2.CT掃描技術(shù)

所有病例行CCT掃描，采用佳能Aquilion ONE 320排16cm寬體探測(cè)器CT（Canon Medical，Japan）進(jìn)行掃描。檢查方法：患者仰臥位、雙臂上舉，容積動(dòng)態(tài)掃描。掃描參數(shù)：管電壓80kV，智能管電流，準(zhǔn)直器寬度320×0.5mm，掃描視野（scan field of view，SFOV）32cm，機(jī)架旋轉(zhuǎn)時(shí)間0.275s，層間隔0.25mm，矩陣512×512，使用心臟標(biāo)準(zhǔn)重建算法FC15，重建厚度0.5mm，所有層面均以橫斷面重建。使用雙筒高壓注射器經(jīng)外周靜脈以1.3～ 1.7ml/s的速率注射非離子對(duì)比劑碘帕醇1.0～ 1.5 ml/kg (370mg/ml)。注射前使用1～2ml生理鹽水沖洗檢驗(yàn)留置針是否通暢并防止血管內(nèi)未稀釋的對(duì)比劑導(dǎo)致偽影。對(duì)不能配合檢查的患兒給予10%水合氯醛0.4ml/kg口服或苯巴比妥5mg/kg肌注。

3.數(shù)據(jù)標(biāo)注

所有VSD和ASD的缺損標(biāo)注均由1名低年資醫(yī)師初步標(biāo)注，再由1名先心病影像診斷經(jīng)驗(yàn)豐富的高年資影像醫(yī)師審核確認(rèn)后完成圖像標(biāo)注。所有病例均根據(jù)心血管造影和手術(shù)結(jié)果為參考標(biāo)準(zhǔn)，通過(guò)觀察CT圖像上有無(wú)房、室間隔異常分流，對(duì)訓(xùn)練集和測(cè)試集數(shù)據(jù)進(jìn)行缺損標(biāo)注，采用ITK-SNAP 3.8.0（www.itksnap.org）在CCT斷層圖像上相應(yīng)位置進(jìn)行室間隔缺損和房間隔的缺損標(biāo)注，并記錄影像醫(yī)師對(duì)每例缺損的判別及標(biāo)注時(shí)間。

4.模型訓(xùn)練

本研究采用十折交叉驗(yàn)證的方式對(duì)模型進(jìn)行訓(xùn)練。將總數(shù)據(jù)集分別從VSD、ASD數(shù)據(jù)中各隨機(jī)選取90%的缺損數(shù)據(jù)作為訓(xùn)練集，10%的缺損數(shù)據(jù)及所有正常CCT數(shù)據(jù)作為測(cè)試集，共進(jìn)行10次，10次結(jié)果的均值作為算法精度的估計(jì)。使用Faster R-CNN（faster region-based convolutional neural network）訓(xùn)練CCT深度學(xué)習(xí)模型，對(duì)房室缺損位置進(jìn)行檢測(cè)，如圖1所示。網(wǎng)絡(luò)骨干模型采用VGG 16。該檢測(cè)網(wǎng)絡(luò)使用Adam優(yōu)化器，0.0001學(xué)習(xí)率（learning rate），以及批處理（batch normalization，BN）為5的相關(guān)參數(shù)，硬件平臺(tái)為12GB英偉達(dá)顯卡，32GB內(nèi)存，i7 CPU，訓(xùn)練總計(jì)100個(gè)epoch。圖像預(yù)處理中，首先將所有CCT圖像的灰度值截取到[-400，600]的CT值范圍內(nèi)并進(jìn)行對(duì)比度歸一化處理，其次根據(jù)手工標(biāo)記的缺損標(biāo)記線生成其在圖像所對(duì)應(yīng)的矩形框。在每次模型訓(xùn)練過(guò)程中，首先將大小512×512的心臟二維斷層圖像輸入至區(qū)域生成網(wǎng)絡(luò)（region proposal network，RPN），RPN網(wǎng)絡(luò)輸出1024個(gè)矩形框候選區(qū)域（region proposal， RP）以及每個(gè)矩形框?qū)?yīng)的其為缺損位置的概率值（score），對(duì)于每一個(gè)候選區(qū)域，計(jì)算與該圖像所對(duì)應(yīng)的金標(biāo)準(zhǔn)區(qū)域的交并比（intersection over union， IOU），若IOU＞0.7，記為正樣本，如果＜0.3，記為負(fù)樣本，然后用得到的正負(fù)樣本計(jì)算損失函數(shù)對(duì)模型進(jìn)行訓(xùn)練，使得模型收斂，得到該次訓(xùn)練好的VSD/ASD檢測(cè)模型。

5.模型測(cè)試

本研究采用十折交叉驗(yàn)證法來(lái)評(píng)估Faster R-CNN模型的分類性能。根據(jù)每次訓(xùn)練的模型對(duì)測(cè)試集數(shù)據(jù)進(jìn)行測(cè)試，如圖1所示，對(duì)于檢測(cè)到缺損的CT圖像層面，深度學(xué)習(xí)模型輸出預(yù)測(cè)的缺損位置及其對(duì)應(yīng)的概率Score。按照預(yù)測(cè)閾值0.7，挑選出輸出概率Score＞0.7的位置并按照降序排列挑選最大概率所對(duì)應(yīng)的位置輸出預(yù)測(cè)結(jié)果（見圖1綠框），同時(shí)生成與醫(yī)師標(biāo)注的金標(biāo)準(zhǔn)計(jì)算所得的重合度Dice系數(shù)，對(duì)于未檢測(cè)到缺損的CT層面圖像將不生成綠框，其Dice系數(shù)為0。根據(jù)臨床上CT診斷缺損的標(biāo)準(zhǔn)，即通過(guò)觀察室間隔、房間隔的連續(xù)性是否有中斷來(lái)判斷有無(wú)室間隔或者房間隔缺損[4]，如果某一病例多個(gè)CCT層面中，有一層或一層以上層面模型自動(dòng)生成出缺損綠框且Dice系數(shù)大于閾值，則將該病例認(rèn)為模型預(yù)測(cè)陽(yáng)性，反之則認(rèn)為模型預(yù)測(cè)陰性。計(jì)算每一次測(cè)試的準(zhǔn)確性、敏感性、特異性、AUC及誤檢率，并最終通過(guò)對(duì)比這十次分類結(jié)果的平均值，來(lái)評(píng)估Faster R-CNN對(duì)VSD及ASD的檢測(cè)效果。

6.統(tǒng)計(jì)方法

應(yīng)用SPSS25.0(SPSS， Chicago， IL， USA)進(jìn)行數(shù)據(jù)錄入、整理及分析。對(duì)數(shù)據(jù)進(jìn)行正態(tài)性檢驗(yàn)，正態(tài)數(shù)據(jù)由均值（標(biāo)準(zhǔn)差）表示，偏態(tài)數(shù)據(jù)由中位數(shù)（上、下四分位數(shù)）表示。計(jì)算包括缺損檢測(cè)的準(zhǔn)確度、敏感度、特異度等指標(biāo)，以敏感度和特異度得到模型的ROC曲線，從而計(jì)算得到ROC曲線的曲線下面積（area under the curve， AUC）。每次測(cè)試結(jié)果均采用McNemar檢驗(yàn)和Kappa檢驗(yàn)比較深度學(xué)習(xí)模型與影像醫(yī)師對(duì)室間隔缺損和房間隔缺損的檢出能力，P＜0.05被認(rèn)為差異具有統(tǒng)計(jì)學(xué)意義。

結(jié) 果

1.數(shù)據(jù)劃分

數(shù)據(jù)集共165例（表1），中位年齡9.00（5.00，14.75）個(gè)月，男性92例，女性73例，其中包括VSD病例84例，ASD病例66例，正常15例。每次分別從VSD、ASD數(shù)據(jù)集中各隨機(jī)選取90%的病例（135例）作為訓(xùn)練集，10%的病例（15例）作為測(cè)試集，15例正常CCT也作為測(cè)試集，共進(jìn)行10次。訓(xùn)練集及測(cè)試集數(shù)據(jù)間相互獨(dú)立，數(shù)據(jù)集在任何一組患者之間沒有重疊。訓(xùn)練集用于生成VSD/ASD深度學(xué)習(xí)模型，模型性能評(píng)價(jià)基于測(cè)試集結(jié)果得到。

2.深度學(xué)習(xí)模型檢測(cè)效能

Faster R-CNN深度學(xué)習(xí)模型經(jīng)過(guò)十折交叉驗(yàn)證后的平均測(cè)試結(jié)果見表2。Faster R-CNN深度學(xué)習(xí)模型對(duì)總測(cè)試病例、VSD病例及ASD病例的檢測(cè)準(zhǔn)確性分別為84.93%、86.84%及92.58%。深度學(xué)習(xí)總測(cè)試集模型、VSD模型及ASD模型的AUC值分別為0.85、0.81和0.89。在10次測(cè)試中，深度學(xué)習(xí)模型平均每次誤檢測(cè)4.5例，VSD相對(duì)于ASD更容易被誤診，平均每次測(cè)試中平均有2例正常被誤檢為缺損病例。深度學(xué)習(xí)模型對(duì)總測(cè)試病例、VSD病例及ASD病例的平均誤檢率為15.07%、13.16%及7.42%。對(duì)本研究中，深度學(xué)習(xí)模型對(duì)測(cè)試集病例進(jìn)行測(cè)試，平均每張圖像0.15秒，平均每例測(cè)試時(shí)間約為30秒，而影像醫(yī)師對(duì)測(cè)試病例的平均每例缺損判別時(shí)間約為10分鐘。10次測(cè)試的McNemar檢驗(yàn)P均大于0.05，且平均Kappa值為0.70（P＜0.05）。

表1 病例基本信息及數(shù)據(jù)構(gòu)成

表2 十折交叉驗(yàn)證平均結(jié)果

圖1 深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)圖。A、C為同一例VSD的輸入、輸出圖像，B、D為同一例ASD的輸入、輸出圖像；B、D紅框?yàn)獒t(yī)師標(biāo)注的缺損矩形框，綠框?yàn)樯疃葘W(xué)習(xí)模型生成的缺損矩形框；圖中Dic表示重合度Dice系數(shù)，Score表示深度學(xué)習(xí)模型預(yù)測(cè)的缺損位置對(duì)應(yīng)的概率。

討 論

深度學(xué)習(xí)是利用多層神經(jīng)網(wǎng)絡(luò)從大量數(shù)據(jù)中進(jìn)行學(xué)習(xí)，目前深度學(xué)習(xí)在醫(yī)學(xué)影像領(lǐng)域有著廣泛的應(yīng)用，如圖像識(shí)別及分類、圖像分割、圖像配準(zhǔn)、疾病輔助診斷等。本文通過(guò)Faster R-CNN模型輸入原始的CCT圖像，輸出室間隔缺損或房間隔缺損所在的位置。Faster R-CNN是一種用于目標(biāo)檢測(cè)的深度學(xué)習(xí)技術(shù)，其最大的特點(diǎn)是在Fast R-CNN的基礎(chǔ)上加上RPN，RPN是一種可以進(jìn)行端到端訓(xùn)練的全卷積網(wǎng)絡(luò)（full convolutional network， FCN），可以生成高質(zhì)量的候選區(qū)域，然后送入Fast R-CNN進(jìn)行檢測(cè)[9-10]。為了更加客觀地評(píng)價(jià)Faster R-CNN模型檢測(cè)室間隔缺損或房間隔缺損的性能，本文使用十折交叉驗(yàn)證方法，將缺損數(shù)據(jù)集隨機(jī)分成10份，使用其中9份缺損數(shù)據(jù)進(jìn)行訓(xùn)練而將另外1份用作測(cè)試，并且每次補(bǔ)充1份正常CCT數(shù)據(jù)進(jìn)行測(cè)試。該過(guò)程重復(fù)10次，每次使用的測(cè)試數(shù)據(jù)不同，可以避免VSD和ASD病例數(shù)據(jù)不平衡導(dǎo)致的結(jié)果差異及過(guò)擬合，經(jīng)過(guò)10次測(cè)試的平均結(jié)果用來(lái)評(píng)價(jià)Faster R-CNN深度學(xué)習(xí)模型。

本研究結(jié)果顯示，F(xiàn)aster R-CNN深度學(xué)習(xí)模型在10次不同的測(cè)試數(shù)據(jù)集中實(shí)現(xiàn)室間隔缺損和房間隔缺損檢測(cè)的平均準(zhǔn)確度、敏感度、特異度等均較高（＞80%），平均AUC值大于0.85，同時(shí)深度學(xué)習(xí)模型對(duì)每例缺損的平均檢出時(shí)間也遠(yuǎn)遠(yuǎn)短于影像醫(yī)師的判讀時(shí)間，深度學(xué)習(xí)模型較影像醫(yī)師的判讀時(shí)間提高了20倍。該深度學(xué)習(xí)模型能夠?qū)SD或ASD這兩種不同位置的缺損檢測(cè)出來(lái)，VSD病例及ASD病例的平均檢測(cè)準(zhǔn)確度、敏感度、特異度均較高（＞75%），平均AUC值均大于0.80，并且ASD的檢測(cè)準(zhǔn)確度和敏感度較VSD高，深度學(xué)習(xí)模型對(duì)ASD的檢出能力尤為顯著。本研究通過(guò)10次測(cè)試的McNemar檢驗(yàn)和Kappa檢驗(yàn)，表明Faster R-CNN深度學(xué)習(xí)模型與影像醫(yī)師每次對(duì)VSD和ASD的檢測(cè)均沒有差異（P＞0.05），并且具有較高的一致性（平均Kappa值為0.70，P＜0.05），提示其可以作為一種輔助影像醫(yī)師進(jìn)行VSD和ASD檢測(cè)的方法。

Faster R-CNN深度學(xué)習(xí)模型對(duì)ASD病例的敏感度更高，其對(duì)VSD病例的誤檢率大于ASD。室間隔缺損更容易誤檢的原因可能是心底部靠近主動(dòng)脈竇位置的室間隔組織較薄，不同于肌部及心尖部較厚的室間隔組織，加上CT掃描時(shí)左右心室對(duì)比劑濃度的不均勻性，可能在主動(dòng)脈竇部被誤認(rèn)為存在較薄的室間隔組織影像，或受到CT掃描層厚的影響，可能檢測(cè)不到分流部位，從而造成深度學(xué)習(xí)模型對(duì)室間隔缺損的檢測(cè)發(fā)生遺漏。跟影像醫(yī)師相比，深度學(xué)習(xí)模型存在一定的假陽(yáng)性率，在相對(duì)正常的CCT測(cè)試中，平均有兩例正常CCT被誤檢測(cè)為室間隔或房間隔缺損陽(yáng)性，觀察假陽(yáng)性病例后發(fā)現(xiàn)，在CT斷層圖像上的基底層面主動(dòng)脈瓣竇位置存在相對(duì)較薄的室間隔或房間隔組織，容易被誤認(rèn)為是室間隔或房間隔組織中斷的小缺損。因此，在接下來(lái)的研究中需要增加多種缺損類型的訓(xùn)練數(shù)據(jù)，不斷地迭代更新模型，以提高模型對(duì)缺損尤其是室間隔缺損檢測(cè)的敏感度和準(zhǔn)確度。

有研究表明，使用人工智能技術(shù)輔助檢測(cè)室間隔缺損或房間隔缺損具有一定的優(yōu)勢(shì)。Gharehbaghi等[11]使用一種機(jī)器學(xué)習(xí)方法時(shí)間增長(zhǎng)神經(jīng)網(wǎng)絡(luò)區(qū)分室間隔缺損心音、房室瓣反流心音和兒童正常心臟心音，其準(zhǔn)確度和靈敏度達(dá)到86.7%和83.3%。楊宏波等[12]使用人工智能心音信號(hào)特征提取技術(shù)對(duì)先天性房間隔缺損心音進(jìn)行輔助篩查，其準(zhǔn)確率為69.1%。劉凱等[10]利用深度學(xué)習(xí)Faster R-CNN對(duì)胸部X線平片亞實(shí)性結(jié)節(jié)進(jìn)行檢出，其敏感度和假陽(yáng)性率分別69.64%和55.36%。本研究將深度學(xué)習(xí)Faster R-CNN方法用于室間隔缺損和房間隔缺損的檢測(cè)，較前述研究具有更佳的檢出效果，其對(duì)于總測(cè)試病例的平均準(zhǔn)確度和平均敏感度均達(dá)到85%及以上，平均每個(gè)病例的檢測(cè)時(shí)間在30秒左右，大大縮短了影像醫(yī)師對(duì)每個(gè)病例的診斷時(shí)間，提高了診斷效率，并且利用十折交叉驗(yàn)證表明該模型對(duì)不同的VSD或ASD都有良好的檢出能力，具有很好的魯棒性。

本研究也存在一些局限性。第一，本研究的測(cè)試集病例數(shù)偏小，但本文已通過(guò)十折交叉驗(yàn)證的方法避免單次不平衡的測(cè)試集導(dǎo)致的結(jié)果差異，未來(lái)還需增加缺損病例數(shù)進(jìn)行外部測(cè)試，爭(zhēng)取獲得更加客觀的深度學(xué)習(xí)模型評(píng)價(jià)結(jié)果。第二，本研究雖然能較好地檢測(cè)室間隔缺損或房間隔缺損，但測(cè)試病例中室間隔缺損多為膜周部室間隔缺損，房間隔缺損多為繼發(fā)孔型房間隔缺損，均屬于較為簡(jiǎn)單、單一的缺損類型，未能覆蓋臨床上所有的缺損類型。實(shí)際臨床上除了單純的室間隔缺損或房間隔缺損的病例，還有合并其他先天性心臟病畸形，檢測(cè)難度更大。由于目前臨床上往往通過(guò)CCT及ECHO綜合診斷室間隔缺損或房間隔缺損，未來(lái)可進(jìn)一步增加多種類、多樣性的室間隔缺損和房間隔缺損ECHO數(shù)據(jù)進(jìn)行訓(xùn)練，以獲得更加適應(yīng)臨床使用的深度學(xué)習(xí)模型。

綜上所述，隨著人工智能及深度學(xué)習(xí)技術(shù)的發(fā)展，如能運(yùn)用深度學(xué)習(xí)方法協(xié)助醫(yī)師進(jìn)行先天性心臟病中房間隔缺損或室間隔缺損的輔助診斷，還可以節(jié)約人力，還可以減少因診斷疲勞引起的人為診斷錯(cuò)誤，提高偏遠(yuǎn)地區(qū)醫(yī)師對(duì)先天性心臟缺損的輔助診斷和教育培訓(xùn)。