基于深度學(xué)習(xí)的甲狀腺超聲圖像輔助診斷研究進(jìn)展

鄒奕軒，趙紫婷，周蕾蕾，韓煜東，田書暢，蔣紅兵，3*

（1.南京醫(yī)科大學(xué)附屬南京醫(yī)院，南京市第一醫(yī)院醫(yī)療設(shè)備處，南京 210006；2.南京醫(yī)科大學(xué)附屬南京醫(yī)院，南京市第一醫(yī)院功能檢查科，南京 210006；3.南京市急救中心，南京 210003）

0 引言

研究表明，甲狀腺結(jié)節(jié)是全球成年人群中最常見的結(jié)節(jié)性病變之一，平均約5個成年人中就有一人罹患此病，其中大部分為良性結(jié)節(jié)，甲狀腺癌的發(fā)生率為5%～15%[1-2]。由于缺少對甲狀腺疾病的認(rèn)知，許多患者接受了不必要的手術(shù)與穿刺，這一方面加重了患者的心理和經(jīng)濟(jì)負(fù)擔(dān)，另一方面加大了醫(yī)生的工作強(qiáng)度。因此，深入了解甲狀腺結(jié)節(jié)性疾病的超聲圖像組學(xué)特征，對提高此類疾病的診療水平、改善診療效果意義重大。本文就基于深度學(xué)習(xí)的機(jī)器輔助診斷在甲狀腺結(jié)節(jié)性疾病超聲圖像中的應(yīng)用及進(jìn)展綜述如下。

1 甲狀腺疾病的超聲圖像診斷

作為一種常用的疾病篩查與診斷工具，超聲成像的安全、便捷、無創(chuàng)、無痛、低成本、無電離輻射、實(shí)時顯像等特點(diǎn)使其廣泛應(yīng)用于臨床，其中包括甲狀腺疾病的常規(guī)診斷。2015年美國甲狀腺學(xué)會（American Thyroid Association，ATA）《成人甲狀腺結(jié)節(jié)與分化型甲狀腺癌診治指南》中指出：所有甲狀腺結(jié)節(jié)均需行頸部超聲檢查，并行惡性風(fēng)險評估，明確定義甲狀腺結(jié)節(jié)為“甲狀腺內(nèi)散在病灶，影像學(xué)能將其和周圍甲狀腺組織清楚分界”[3-4]。這都表明影像學(xué)檢查在甲狀腺結(jié)節(jié)性疾病診斷中具有無可替代的作用。但整個診斷流程對醫(yī)生的臨床經(jīng)驗(yàn)及專業(yè)知識要求較高，需結(jié)合甲狀腺圖像中結(jié)節(jié)的位置、大小、數(shù)目、邊界、邊緣、形態(tài)、縱橫比、回聲、聲暈、內(nèi)部結(jié)構(gòu)及鈣化、內(nèi)部濃縮膠質(zhì)、被膜連續(xù)性及彩色多普勒血流圖像特征等進(jìn)行綜合評估。然而由于超聲圖像分辨力和對比度較低、固有斑點(diǎn)噪聲較大、偽影較多等特性，及不同品牌和型號設(shè)備間的系統(tǒng)性差異、醫(yī)師經(jīng)驗(yàn)判斷及操作習(xí)慣不同等人為因素造成的差異，超聲診斷結(jié)果難以明確，通常需要依靠醫(yī)師豐富的臨床經(jīng)驗(yàn)與主觀判斷。

2 基于深度學(xué)習(xí)的計算機(jī)輔助診斷

2.1 計算機(jī)輔助診斷

計算機(jī)輔助診斷是為消除醫(yī)師經(jīng)驗(yàn)依賴性、提高診斷準(zhǔn)確性而設(shè)計的系統(tǒng)，通過醫(yī)學(xué)影像學(xué)、數(shù)字圖像處理技術(shù)、信息與計算科學(xué)以及其他可能的生理、生化手段，結(jié)合計算機(jī)的高效率運(yùn)算，輔助醫(yī)師發(fā)現(xiàn)病灶、明確分類、預(yù)測分型，提高診斷的準(zhǔn)確性[4-5]。計算機(jī)輔助診斷通常由圖像預(yù)處理、特征提取和選擇、圖像分類3個主要步驟組成，如圖1所示。

圖1 計算機(jī)輔助診斷主要步驟

2.2 深度學(xué)習(xí)輔助診斷

隨著計算機(jī)技術(shù)的發(fā)展，深度學(xué)習(xí)在計算機(jī)輔助診斷中的診斷作用已變得不可替代。在深度學(xué)習(xí)之前，需要從大量候選特征集合中選出一組最有代表性、分類性能好的特征，一個好的特征選擇方法能夠有效地提升模型的性能。作為機(jī)器學(xué)習(xí)的子領(lǐng)域，深度學(xué)習(xí)能夠通過多隱藏層的學(xué)習(xí)結(jié)構(gòu)，從原始圖像中自動學(xué)習(xí)、提取特征[6-11]。特征經(jīng)過相鄰層間激活函數(shù)的非線性變換，轉(zhuǎn)換為更抽象的表征特征傳遞到下一層，實(shí)現(xiàn)對底層特征的高度抽象，形成自動化、定量化的圖像分析技術(shù)，用于臨床診斷和預(yù)測。

作為深度學(xué)習(xí)方法之一的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）是一種前饋型神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的神經(jīng)元可以響應(yīng)周圍神經(jīng)元，進(jìn)行大型醫(yī)學(xué)圖像處理，完成如目標(biāo)檢測，結(jié)節(jié)及腫塊的分類、分割和分型等任務(wù)[12-15]。

CNN主要結(jié)構(gòu)包括卷積層、池化層與全連接層。卷積層可以通過卷積運(yùn)算，從輸入圖像中以局部矩陣的形式學(xué)習(xí)圖像特征，同時保留像素間的空間關(guān)系，使得相鄰連接層之間只需要部分節(jié)點(diǎn)相連，即局部連接。池化層可以逐漸降低輸入表示的空間尺度，即縮小特征張量維度，簡化運(yùn)算，降低網(wǎng)絡(luò)的時間和空間復(fù)雜度，避免過擬合，同時能夠降低網(wǎng)絡(luò)對于輸入圖像中無關(guān)變化、冗余誤差和微小變換的敏感度，使得更多的神經(jīng)元結(jié)點(diǎn)流向主特征，從而提高特征的魯棒性，加快關(guān)鍵特征的獲取[16]。全連接層起到將網(wǎng)絡(luò)在訓(xùn)練中獲取的特征映射到樣本標(biāo)記空間的作用。全連接層中的每個神經(jīng)元與其前一層的所有神經(jīng)元進(jìn)行全連接，可以整合卷積層及池化層中具有類別區(qū)分性的局部信息。

CNN相較于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，能夠壓縮圖像特征，摒棄冗余，有效減少神經(jīng)網(wǎng)絡(luò)中的參數(shù)數(shù)量[17]，提高網(wǎng)絡(luò)學(xué)習(xí)效率，適于處理復(fù)雜且龐大的醫(yī)學(xué)圖像[18]。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)與CNN結(jié)構(gòu)對比如圖2所示。

圖2 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)與CNN結(jié)構(gòu)示意圖

3 深度學(xué)習(xí)在甲狀腺超聲圖像輔助診斷中的應(yīng)用研究

目前，深度學(xué)習(xí)在甲狀腺超聲圖像輔助診斷中的應(yīng)用主要包括對皮膚、筋膜、脂肪、肌肉、腺體及血管等各種解剖結(jié)構(gòu)進(jìn)行檢測、分割和分類。

3.1 感興趣區(qū)域的檢測與分割

結(jié)節(jié)的檢測可為目標(biāo)分割和良惡性鑒別提供有力的支持。同時，結(jié)節(jié)的定位在醫(yī)療工作中也是基于圖像診斷和治療的前提。但在超聲圖像中，甲狀腺結(jié)節(jié)與背景的對比度較低，手工分割感興趣區(qū)域不僅費(fèi)時費(fèi)力，且個體差異較大[19]。為解決這一問題，Ma等[20]使用級聯(lián)深度卷積神經(jīng)網(wǎng)絡(luò)探究自動檢測二維超聲圖像中甲狀腺結(jié)節(jié)的方法。級聯(lián)深度卷積神經(jīng)網(wǎng)絡(luò)是一種混合模型，由2種不同功能的卷積神經(jīng)網(wǎng)絡(luò)和一種新的分割方法組成。該模型的基本思路是先運(yùn)用CNN架構(gòu)從原始數(shù)據(jù)中學(xué)習(xí)分割概率圖（如圖3所示），然后將所有的分割概率圖用分割方法分割成不同的連通區(qū)域，最后通過訓(xùn)練得到用于甲狀腺超聲圖像結(jié)節(jié)識別的CNN，實(shí)現(xiàn)超聲圖像的甲狀腺結(jié)節(jié)檢測。

圖3 甲狀腺結(jié)節(jié)分割效果示意圖[20]

Ma等[21]使用基于CNN方法的一個框架，提取多個結(jié)節(jié)圖像塊，從輸入的二維超聲圖像中捕獲廣泛的結(jié)節(jié)變異性。然后將得到的圖像塊同時輸入網(wǎng)絡(luò)，計算識別特征（如圖4所示），即將甲狀腺結(jié)節(jié)分割問題作為一個塊分類任務(wù)，忽略圖像塊之間的關(guān)系。該方法中CNN使用正常甲狀腺和甲狀腺結(jié)節(jié)圖像的圖像塊作為輸入，然后生成分割概率圖作為輸出，并采用多視圖策略提高基于CNN模型的性能[22]。

圖4 基于深度學(xué)習(xí)的圖像塊分類流程圖[21]

Wang等[23]使用遷移學(xué)習(xí)方法設(shè)計了一個基于YOLOv2的端到端檢測網(wǎng)絡(luò)，其中集成了Resnet v2-50[24]網(wǎng)絡(luò)和YOLOv2網(wǎng)絡(luò)，并去除Resnet網(wǎng)絡(luò)的最后池化層和全連接層，將網(wǎng)絡(luò)的深特征映射與淺特征融合，獲得更好的細(xì)粒度特征。為了減少計算量，在Resnet網(wǎng)絡(luò)輸出后通過增加卷積層的方式進(jìn)行降維。該結(jié)構(gòu)操作速度快，便于實(shí)時處理輸入圖像。改進(jìn)后的YOLOv2網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)后YOLOv2網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)[23]

基于 YOLOv2的網(wǎng)絡(luò)速度快，能夠?qū)崟r檢測。與其他檢測網(wǎng)絡(luò)相比[25]，能夠在判斷結(jié)節(jié)良惡性的同時自動識別結(jié)節(jié)位置（如圖6所示）。此網(wǎng)絡(luò)可以捕捉到更精細(xì)的圖像特征，提高對小結(jié)節(jié)的檢測和識別精度。與使用分類器提取特征并進(jìn)行訓(xùn)練的方式相比，對不同設(shè)備獲得的不同質(zhì)量的超聲圖像具有較好的識別能力。

圖6 結(jié)節(jié)識別輸出效果圖[23]

基于CNN的區(qū)域自動檢測與分割技術(shù)可為臨床醫(yī)師提供客觀的二次意見，減少工作量，降低甲狀腺結(jié)節(jié)性疾病的漏診、誤診率。此外，還能夠輔助從業(yè)經(jīng)驗(yàn)不足的醫(yī)師對此類疾病的診斷[26]。

3.2 結(jié)節(jié)的分類

甲狀腺結(jié)節(jié)外觀多變，內(nèi)部成分多樣，邊界模糊，在超聲圖像中難以憑借肉眼區(qū)分其良惡性。長期以來，甲狀腺結(jié)節(jié)良惡性診斷十分依賴于穿刺活檢和術(shù)中切片活檢結(jié)果。計算機(jī)輔助診斷與超聲圖像的結(jié)合為甲狀腺結(jié)節(jié)性疾病診斷提供了一種安全、無痛、快捷、經(jīng)濟(jì)的替代方法。Ma等[27]提出一種混合CNN的甲狀腺結(jié)節(jié)診斷方法，此神經(jīng)網(wǎng)絡(luò)由2個包含不同數(shù)量卷積層和全連接層的預(yù)訓(xùn)練CNN融合而成。2個不同深度的CNN分別學(xué)習(xí)淺層特征和深層的抽象特征，結(jié)合2個神經(jīng)網(wǎng)絡(luò)的特征圖，利用softmax分類器對甲狀腺結(jié)節(jié)進(jìn)行診斷。該方法能夠準(zhǔn)確有效地診斷甲狀腺結(jié)節(jié)，準(zhǔn)確率為（83.02±0.72）%，2種CNN模型融合后的性能顯著提高。有學(xué)者[28-29]進(jìn)一步提出一種更準(zhǔn)確的特征提取方法，嘗試在訓(xùn)練過程中引入更有意義的語義特征用于分類。該方法將一個經(jīng)過大規(guī)模自然數(shù)據(jù)集訓(xùn)練的CNN模型轉(zhuǎn)移到超聲圖像域中，生成語義深度特征，處理小樣本問題，并將這些深度特征與傳統(tǒng)特征，如方向梯度直方圖（histogram of oriented gradient，HOG）和局部二值模式（local binary patterns，LBP）結(jié)合起來，形成一個混合特征空間（如圖7所示）。采用正樣本優(yōu)先的多數(shù)投票算法和特征選擇策略進(jìn)行混合分類，從而克服集成特征向量的冗余和不相關(guān)的問題，避免過度擬合。結(jié)果表明，與傳統(tǒng)方法相比，該方法的精度提高14%，并且證明了對甲狀腺超聲圖像的有效預(yù)處理和數(shù)據(jù)增強(qiáng)策略可提高診斷性能。

圖7 卷積層的響應(yīng)結(jié)果[29]

Chi等[25]使用深度學(xué)習(xí)方法從甲狀腺超聲圖像中提取特征。超聲圖像經(jīng)過預(yù)處理，校準(zhǔn)其刻度并去除偽影。然后使用預(yù)處理的圖像樣本對訓(xùn)練好的GoogLeNet模型進(jìn)行微調(diào)，以獲得更好的特征提取。圖8為微調(diào)的過程。之后將提取的甲狀腺超聲圖像特征發(fā)送到對代價敏感的隨機(jī)森林分類器中，對圖像進(jìn)行良惡性分類。該方法的創(chuàng)新性在于使用了微調(diào)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，將原始GoogLeNet網(wǎng)絡(luò)的參數(shù)應(yīng)用到甲狀腺超聲數(shù)據(jù)的訓(xùn)練和驗(yàn)證圖像中，從而轉(zhuǎn)移了這些參數(shù)。最初的GoogLeNet CNN是由Szegedy等[30]創(chuàng)建的，使用22個卷積層，包括9個初始模塊，并經(jīng)過120多萬幅圖像的預(yù)訓(xùn)練。Chi等[25]在甲狀腺超聲圖像處理研究中對GoogLeNet網(wǎng)絡(luò)的損失層參數(shù)進(jìn)行修改，只學(xué)習(xí)與這2個類對應(yīng)的2個輸出，即良性或可能惡性。同時，將整體學(xué)習(xí)率從0.01降低到0.001，這樣預(yù)訓(xùn)練的模型權(quán)值不會變化得太快、太多，以增加整個訓(xùn)練過程的魯棒性。通過使用來自不同數(shù)據(jù)庫的訓(xùn)練和驗(yàn)證樣本，從而生成了3種不同的微調(diào)過的GoogLeNet模型。實(shí)驗(yàn)結(jié)果表明，該調(diào)整GoogLeNet模型達(dá)到良好的分類性能，在開放存取的甲狀腺圖像數(shù)據(jù)庫中測試分類精度達(dá)到98.29%，敏感度為99.10%，特異度為93.90%。

綜上，利用深度學(xué)習(xí)網(wǎng)絡(luò)對甲狀腺超聲圖像進(jìn)行分類和診斷與傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)相比，在低靈敏度下預(yù)測效果更為突出，提取特征更為準(zhǔn)確。

圖8 微調(diào)GoogLeNet過程[30]

4 結(jié)語

深度學(xué)習(xí)方法在甲狀腺超聲圖像輔助診斷中的應(yīng)用已經(jīng)日趨成熟，并不斷創(chuàng)造新高度。從目前深度學(xué)習(xí)網(wǎng)絡(luò)框架的應(yīng)用上來看，甲狀腺超聲圖像的智能檢測與診斷方法多數(shù)都是基于CNN圖像塊方式訓(xùn)練并取得優(yōu)秀的分割與分類結(jié)果，與最初的感知器和非監(jiān)督訓(xùn)練方法相比有長足的發(fā)展。然而，CNN在甲狀腺超聲圖像領(lǐng)域的應(yīng)用仍存在較多亟待解決的問題。一是在自然圖像集上訓(xùn)練的模型可能不適合單通道、低對比度和紋理復(fù)雜的超聲圖像[31-32]。二是對于發(fā)病率較低的某些惡性結(jié)節(jié)，難以找到足夠多的標(biāo)注樣本用于特征學(xué)習(xí)，使得分析難度增大。有部分學(xué)者已經(jīng)將目光投向遞歸神經(jīng)網(wǎng)絡(luò)來對時間關(guān)系進(jìn)行建模，使得神經(jīng)元的輸出可以在下一個時間戳直接作用于自身，并在此基礎(chǔ)上發(fā)展出長短期記憶（long short-term memory，LSTM）網(wǎng)絡(luò)[33-34]。因此，跨模式多維度的遷移學(xué)習(xí)可能是未來甲狀腺超聲圖像分析的一個方向，并已有學(xué)者利用圖像中的低層局部特征信息與循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）中的高層信息相融合的方式對圖像進(jìn)行分類[35-36]。隨著硬件功能的進(jìn)步及算法結(jié)構(gòu)的改善，深度學(xué)習(xí)網(wǎng)絡(luò)在甲狀腺超聲圖像輔助診斷領(lǐng)域?qū)⑾蚋邷?zhǔn)確性、更強(qiáng)適應(yīng)性、更廣適用范圍的方向發(fā)展，為臨床診療工作提供全面的參考依據(jù)。