深度學(xué)習(xí)用于產(chǎn)前超聲顯示切面分析研究進展

高云玥,福 林,王宗敏

(內(nèi)蒙古醫(yī)科大學(xué)附屬醫(yī)院超聲診斷科,內(nèi)蒙古 呼和浩特 010050)

產(chǎn)前超聲可監(jiān)測胎兒在子宮內(nèi)的生長和發(fā)育;噪聲、聲影及軟組織形變等多種因素可使切面不標準而致胎兒生物學(xué)特征測值出現(xiàn)變異。利用深度學(xué)習(xí)(deep learning, DL)算法能從輸入圖像中提取特定的局部特征,對聲像圖中的感興趣結(jié)構(gòu)進行定位和分割,進而預(yù)測及分類不同切面,并于正確切面內(nèi)測量目標結(jié)構(gòu)等,有助于提高產(chǎn)前超聲的效率和可重復(fù)性[1]。

1 DL概述

多種DL算法均可用于分析產(chǎn)前超聲切面,主要包括卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network, CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks, RNN)及編碼器-解碼器結(jié)構(gòu)等。

CNN主要結(jié)構(gòu)為卷積層、池化層和全連接層。卷積層以不同過濾器(即卷積核)提取邊緣、紋理、形狀等特定圖像特征;池化層在特定區(qū)域內(nèi)選取最大值或平均值以減小特征圖尺寸,以在盡可能保留關(guān)鍵特征的同時降低計算量;全連接層對提取到的特征進行非線性組合,將其映射為固定長度的特征向量,用以表示輸入圖像屬于相應(yīng)位置類別的概率,并最終生成分類結(jié)果[2]。以卷積層和池化層減小特征圖空間尺寸的過程為下采樣;而采用插值、上池化、反卷積等操作增大低分辨率特征圖空間尺寸以恢復(fù)圖像細節(jié)的過程為上采樣。以傳統(tǒng)CNN全連接層得到的是一維概率信息,無法保留像素之間的空間關(guān)系,故只能對二維圖像進行分類[3];而利用RNN可將當(dāng)前輸入和前個時間步的隱藏狀態(tài)作為新的輸入而生成當(dāng)前輸出和新的隱藏狀態(tài),以此持續(xù)將隱藏狀態(tài)傳遞到網(wǎng)絡(luò)中并建立時間步的連接,進而將像素之間的空間關(guān)系引入圖像分割中[4]。RNN與CNN結(jié)合可提升圖像分割性能:先以CNN提取圖像特征,再由RNN接收之作為輸入,同時在每個像素點上考慮周圍像素信息,以更好地捕捉空間依賴關(guān)系而實現(xiàn)像素級別預(yù)測。利用全卷積網(wǎng)絡(luò)(fully convolutional networks, FCN)在CNN基礎(chǔ)上將全連接層替換為卷積層,將卷積后的小尺寸高維特征圖通過轉(zhuǎn)置卷積等上采樣恢復(fù)到輸入圖像相同的尺寸,既可保留輸入圖像中的空間信息,又能對每個像素進行預(yù)測,實現(xiàn)端到端訓(xùn)練[5]。U-Net是最常用的編碼器-解碼器結(jié)構(gòu)之一,其生成高語義特征圖過程可視為編碼器,而高語義到像素級別的分類過程則為解碼器;U-Net通過跳躍連接將深層特征與淺層特征相融合,以豐富細節(jié)并生成更精確的語義分割結(jié)果[6]。

2 分割產(chǎn)前超聲切面的挑戰(zhàn)

DL模型須學(xué)習(xí)和識別產(chǎn)前超聲圖像的各種特征,以大量經(jīng)過標注的高質(zhì)量圖像進行模型訓(xùn)練,以免過擬合而影響其泛化能力;但訓(xùn)練中圖片數(shù)量及質(zhì)量要求很難得到滿足,學(xué)習(xí)特征結(jié)果同樣難以保證,主要原因如下:①DL模型性能取決于樣本數(shù)量[7],但產(chǎn)前超聲圖像內(nèi)容龐雜,前期標注工作量大,且難以確保其準確性,使得可用帶標簽訓(xùn)練圖集極為有限,且目前針對監(jiān)督學(xué)習(xí)所需最低訓(xùn)練樣本量尚無金標準[8];而無監(jiān)督學(xué)習(xí)模型需要更多學(xué)習(xí)時間和更高算力,且預(yù)測能力無法保障;通過簡單遷移學(xué)習(xí)將以其他領(lǐng)域圖片訓(xùn)練得到的模型用于分析產(chǎn)前超聲圖像則可導(dǎo)致不穩(wěn)定或無法收斂的結(jié)果[1];②產(chǎn)前超聲圖像質(zhì)量受多種因素影響[9],孕周過小或過大、胎兒體位變化及頻繁活動、孕婦腹壁較厚及骨盆遮擋等均可致觀察目標被遮擋或偽像形成;③超聲設(shè)備、操作者經(jīng)驗、偽像、軟組織變形、胎兒發(fā)育程度及探頭方向等多種因素均可造成同類別圖像特征存在高度變異[10],而相鄰切面間結(jié)構(gòu)差異較小時則可造成不同類別間存在相似性,增加模型訓(xùn)練與測試難度;④相比二維超聲,產(chǎn)前三維(three-dimension, 3D)超聲所獲信息更加直觀、全面,但行體積分割時需適當(dāng)選擇卷積“目標體積”大小,過大時可能超過算力影響分割性能,過小可能只考慮局部而丟失圖像空間結(jié)構(gòu)和情景信息[11]。

針對訓(xùn)練集樣本量不足及訓(xùn)練模型出現(xiàn)過擬合等問題的解決方式包括:①增強數(shù)據(jù),通過旋轉(zhuǎn)、平移、縮放等增加訓(xùn)練集規(guī)模;②優(yōu)化模型,以正則化、初始化、動態(tài)學(xué)習(xí)率等技術(shù)提高模型穩(wěn)定性和收斂速度;③遷移學(xué)習(xí),依照分析產(chǎn)前超聲圖像需要對經(jīng)其他相關(guān)任務(wù)完成預(yù)訓(xùn)練的模型進行微調(diào)。

3 DL用于不同部位產(chǎn)前超聲切面

3.1 顱腦 產(chǎn)前超聲胎兒頭部單切面內(nèi)常顯示顱腦多個解剖結(jié)構(gòu),而相鄰切面間內(nèi)容差異較小,使識別切面與分割圖像難度較大;而顱骨聲影、顱骨輪廓顯示不完整及顱外結(jié)構(gòu)干擾等因素也可影響分析切面的準確性。

束鑫等[12]通過雙線性CNN以兩路并行子網(wǎng)絡(luò)特征融合預(yù)測胎兒顱腦橫切面,實現(xiàn)了在增加激活區(qū)域并獲取更多有辨識能力特征的同時提升模型泛化能力。QU等[13]在傳統(tǒng)CNN特征圖基礎(chǔ)上利用不同過濾器生成差分特征圖,以協(xié)助提取邊緣及轉(zhuǎn)角等細節(jié)特征,較其他疊加卷積層模型降低了計算要求,在對6類標準切面(丘腦水平橫切面、側(cè)腦室水平橫切面、小腦橫切面、正中矢狀面、中央旁矢狀面及側(cè)腦室前角冠狀面)與其他切面進行分類時,其所獲差分CNN模型分類預(yù)測結(jié)果優(yōu)于經(jīng)典機器學(xué)習(xí)和其他CNN模型。黃佳偉[14]基于U-Net結(jié)構(gòu)以注意力機制獲取長依賴關(guān)系,融合不同尺度特征以增大感受野,并采用2種損失函數(shù)訓(xùn)練網(wǎng)絡(luò)以提高其分割性能;用于分割胎兒頭部圖像時,使用Canny算子提取頭部輪廓,再對其進行橢圓擬合,可準確自動檢測胎兒頭圍。邢妍妍[15]將U-Net特征提取模塊改進為殘差模塊,并以點乘方式融合編碼器不同級別特征,同時引入語義監(jiān)督以改善編碼器提取特征的質(zhì)量,先分割胎兒頭部ROI再提取目標邊緣,取得較好的邊緣檢測效果。CHEN等[16]將不同解剖結(jié)構(gòu)或相同結(jié)構(gòu)的不同視圖視為不同的域,采用包含共享層和特定層的迭代多域正則化FCN設(shè)計進行跨域?qū)W習(xí)和細化迭代分割,其中的共享層用于加強描述低級特征,特定層則基于高級語義信息區(qū)分背景與目標解剖結(jié)構(gòu),迭代過程則對目標區(qū)域及周圍背景進行上采樣,得到尺寸更大圖像作為分割圖像的基礎(chǔ),可有效去除混雜的背景區(qū)域,由細化的邊界生成更精確的圖像分割結(jié)果;其用于分割胎兒頭部圖像的表現(xiàn)與2名專家相當(dāng)。

3.2 腹部 胎兒上腹部橫切面是測量腹圍及評估體重的重要切面,需顯示胃泡、臍靜脈、肝臟及脊柱等重要結(jié)構(gòu);腹部與周圍結(jié)構(gòu)顯像對比度較低,易發(fā)生形變,且存在其他組織遮擋致腹部邊界不清等問題,可使圖像分割失敗。

WU等[17]基于AlexNet構(gòu)建以原始超聲圖像及圖像局部對稱、局部非對稱特征為輸入源的CNN模型,采用中心定位和矩形定義方法識別胎兒腹部ROI并作為另一CNN模型的輸入源,通過胃泡和臍靜脈判定是否為標準上腹部橫切面,測試結(jié)果顯示其評估結(jié)果與3名醫(yī)師相當(dāng)。JANG等[18]將超聲波傳播方向、局部與非局部圖像塊輸入CNN模型后得到腹部切面分類結(jié)果,并以所獲標準上腹部切面為基礎(chǔ),結(jié)合霍夫變換測量胎兒腹圍,所獲結(jié)果較為穩(wěn)定,但不適用于腹部變形或周圍羊水過少等情況。RAVISHANKAR等[19]將CNN輸出的腹部ROI與梯度提升機預(yù)測相結(jié)合進行精細化分割,其自動測量的腹圍估計孕周與真實孕周誤差較小。

3.3 心臟 胎兒心臟容積較小,解剖結(jié)構(gòu)相對細微,且隨著探頭移動或胎兒體位變化,產(chǎn)前超聲圖像中胎兒心臟位置可發(fā)生改變,增加了分類難度。

CHEN等[20-21]聯(lián)合CNN與RNN共享腹部橫切面、四腔心(four chamber, 4C)切面、雙眼水平橫切面3個不同檢測任務(wù)的信息,其在識別圖像和檢測視頻中的表現(xiàn)優(yōu)于分類器與CNN結(jié)合及跨域遷移學(xué)習(xí)后的CNN。HUANG等[22]將圓形錨點模型嵌入CNN并與RNN結(jié)合,將識別胎兒心臟掃查視頻的不同切面的問題描述為檢測框架內(nèi)空間-時間多任務(wù)分類問題,于幀水平分類預(yù)測4C切面、左心室流出道(left ventricular outflow tract, LVOT)切面、三血管(three vessel, 3V)切面與背景類切面,可獲得心臟位置及方向等更多信息。SUNDARESAN等[23]利用FCN分割4C切面、LVOT切面和3V切面,采用反向步長卷積(雙線性內(nèi)插)對預(yù)測標簽輸出進行32倍、16倍和8倍上采樣,對比分析所獲像素級標簽圖與人工分類注釋結(jié)果,發(fā)現(xiàn)16倍上采樣FCN效果最佳;上述3個切面中,以LVOT切面準確分類難度最大,原因在于其與4C切面僅存在主動脈瓣等微小結(jié)構(gòu)差異。王聯(lián)芳[24]將心臟不同標準切面識別視作長尾學(xué)習(xí)任務(wù),通過改進損失函數(shù)向殘差CNN中引入標簽概率作為先驗概率,再以RNN中的長短期記憶(long short-term memory, LSTM)網(wǎng)絡(luò)提取CNN輸出特征中的幀與幀之間的時間依賴信息,用于分類識別4C、LVOT、右心室流出道(right ventricular outflow tract, RVOT)、3V切面及其他非標準切面表現(xiàn)較為優(yōu)秀。

3.4 三維結(jié)構(gòu) 相比3D CNN體積分割,利用二維卷積分割3D超聲圖像時,因相鄰像素共享大量空間背景,易丟失三維解剖結(jié)構(gòu)信息。除計算機算力及顯存大小等,胎兒軟組織、胎盤及羊水等的變化也是影響3D CNN體積分割效率和結(jié)果的重要因素。

YANG等[25]聯(lián)合引入深度監(jiān)督的3D FCN及分層深度監(jiān)督的RNN用于分割10～14周胎兒、羊水和胎盤,以克服容積超聲圖像質(zhì)量差、空間關(guān)系復(fù)雜及邊界不確定等缺陷,進一步提升了模型分割性能。SCHMIDT-RICHBERG等[11]以全卷積網(wǎng)絡(luò)體系結(jié)構(gòu)將3D超聲圖像中的待分割區(qū)域結(jié)合對同位置擴大范圍行下采樣所獲粗分辨率特征圖進行上采樣,實現(xiàn)輸出概率圖與原始超聲圖像的融合,并作為可變形模型的輸入數(shù)據(jù),以此識別胎兒腹圍切面優(yōu)于未結(jié)合單模型,并大大增強了分割的穩(wěn)健性。LOONEY等[26]以半自動隨機游走輸出圖像訓(xùn)練雙通路CNN,克服胎盤位置變異大的影響而全自動分割早孕期3D容積超聲圖像中的胎盤。

4 小結(jié)

隨著大型數(shù)據(jù)庫的建立及學(xué)習(xí)算法的進步,產(chǎn)前超聲與DL的結(jié)合日益深入,將相關(guān)研究成果更廣泛地用于識別與分析超聲切面圖像及掃查視頻有助于高效評估胎兒生長發(fā)育、識別胎兒先天性發(fā)育畸形,提高產(chǎn)前超聲篩查效率。