多模態(tài)超聲聯(lián)合深度學(xué)習(xí)對乳腺癌新輔助化療療效及侵襲性評價的研究進展

劉錦輝，冷曉玲

新疆醫(yī)科大學(xué)附屬腫瘤醫(yī)院超聲診斷科，新疆 烏魯木齊830000

女性乳腺癌是2020年全球癌癥發(fā)病的主要原因，首次超過肺癌，成為“全球第一大癌癥”。盡管該病的治療已取得進展，但其死亡率依舊很高，為全球癌癥死亡的第五大原因［1］。其中，高侵襲性乳腺癌具有高度侵襲性，其治療難度大，復(fù)發(fā)率高，預(yù)后差［2］。新輔助化療（NAC）已經(jīng)成為中晚期乳腺癌患者的標(biāo)準(zhǔn)治療方案，不僅能有效縮小腫瘤減少手術(shù)范圍，降低腫瘤的臨床分期達到手術(shù)根治的目的，而且還是體內(nèi)最好的藥物敏感試驗，準(zhǔn)確獲取患者對化療藥物敏感性的信息，從而實現(xiàn)患者的個體化治療，改善患者的預(yù)后［3-4］。但是，NAC并非對所有乳腺癌患者都有效，僅有約30%的患者實現(xiàn)了病理完全緩解（pCR），還有約5%的患者出現(xiàn)疾病進展的情況［5］。目前，多模態(tài)超聲在乳腺癌診斷中的優(yōu)勢越發(fā)凸顯，在此基礎(chǔ)上聯(lián)合深度學(xué)習(xí)可以準(zhǔn)確評估乳腺癌NAC的療效，如腫瘤體積的大小、血流灌注情況、腫瘤硬度等［6］。筆者就多模態(tài)超聲技術(shù)聯(lián)合深度學(xué)習(xí)在乳腺癌患者NAC療效及侵襲性評價的應(yīng)用及研究進展進行綜述。

1 乳腺癌NAC療效的評價方法及侵襲性的評價指標(biāo)

1.1 NAC療效的評價方法

乳腺癌NAC療效的評價方法主要包括病理評價與臨床評價，病理評價是乳腺癌NAC療效評價的金標(biāo)準(zhǔn)，可直接對腫瘤體積大小、組織浸潤情況及腫瘤細胞對化療藥物的反應(yīng)性進行觀察，但缺點是評價存在滯后性［7］，無法對臨床治療實現(xiàn)有效指導(dǎo)并及時地作出調(diào)整，影響患者預(yù)后。臨床評價主要包括體格檢查和影像學(xué)檢查。臨床觸診可以發(fā)現(xiàn)接受NAC治療的乳腺癌患者的殘余病灶和轉(zhuǎn)移的淋巴結(jié)病變，有研究發(fā)現(xiàn)，臨床觸診總體準(zhǔn)確率為57%，陽性預(yù)測值為91%，陰性預(yù)測值為31%［8］。這可能是NAC后病灶纖維化的形成，導(dǎo)致漏診率提高，而且臨床觸診對操作者依賴性強，不同操作者觸診診斷的結(jié)果也會有所不同，因此，無法實現(xiàn)對NAC療效高準(zhǔn)確度的評價。因此，采取必要的影像學(xué)檢查方法對乳腺癌NAC療效進行評估是十分重要的。目前，常用的影像學(xué)檢查方法主要包括MRI、乳腺鉬靶檢查、超聲檢查等。研究發(fā)現(xiàn)MRI測量乳腺癌患者NAC后殘余病灶大小與病理腫瘤大小的相關(guān)性最好，但由于MRI費用高、耗時長、需要靜脈注射造影劑及存在禁忌證等缺點而難以開展［9］。乳腺鉬靶檢查是乳腺疾病篩查中最常用的影像學(xué)檢查方式之一，但其預(yù)測乳腺癌NAC后腫瘤殘留大小估計值與殘留病理腫瘤大小的相關(guān)性較差［10］。乳腺超聲檢查是可以用于診斷、篩查乳腺疾病，監(jiān)測乳腺癌NAC后腫瘤變化，是一種重要影像學(xué)檢查方法，它操作簡單、價格便宜，且無放射性損害，基本沒有檢查風(fēng)險，能利用回聲信清晰顯示乳房結(jié)構(gòu)，對乳腺腫塊性質(zhì)作出準(zhǔn)確判斷，但難以區(qū)分NAC后腫瘤液化壞死、病灶纖維化等［11］。

1.2 侵襲性的評價指標(biāo)

乳腺癌主要分為三大類：非浸潤性癌、早期浸潤性癌及浸潤性癌。其中浸潤性癌分為非特殊類型癌及特殊類型癌。高侵襲性乳腺癌具有高度侵襲性及轉(zhuǎn)移性，治療難度大，預(yù)后差，在腫瘤微環(huán)境中，腫瘤的惡性基質(zhì)化及腫瘤的血管異質(zhì)性對乳腺癌細胞的轉(zhuǎn)移和侵襲性具有重要促進作用［12］。乳腺癌分子生物學(xué)的研究進展顯示，越來越多的生物學(xué)指標(biāo)被納入了臨床研究，并且證實了與乳腺癌發(fā)展、預(yù)后及侵襲性有著緊密關(guān)系。目前研究最為廣泛的是雌激素受體、孕激素收聽受體、HER-2、Ki-67等，其中根據(jù)激素受體雌激素受體、孕激素收聽受體及HER-2表達含量的多少，乳腺癌的分子分型主要有：LuminalA型乳腺癌、Luminal B型乳腺癌、三陰性乳腺癌、HER-2陽性乳腺癌［13-15］。乳腺癌中客觀準(zhǔn)確的生物學(xué)指標(biāo)之一—易感基因（BRCA），是乳腺癌中重要的抑癌基因，BRCA1/2基因的突變會導(dǎo)致其抑制腫瘤發(fā)生的功能受到影響。研究發(fā)現(xiàn)，5%～10%的乳腺癌患者為遺傳性乳腺癌，其中15%突變?yōu)锽RCA1/2基因突變，有超過75%的BRCA2基因突變?yōu)長uminal型，而60%～80%的BRCA1基因突變?yōu)槿幮匀橄侔?6］。但目前，上述生物學(xué)指標(biāo)大都依靠免疫組化檢測獲得，限制了對術(shù)前乳腺癌治療的指導(dǎo)意義。因此，應(yīng)用影像學(xué)檢查方法預(yù)測乳腺癌分子分型，評估乳腺癌的侵襲性，對乳腺癌患者治療具有重要價值。隨著超聲成像技術(shù)的發(fā)展，越來越多的超聲技術(shù)被應(yīng)用于乳腺癌的診療中，研究發(fā)現(xiàn)乳腺癌超聲造影（CEUS）后出現(xiàn)增強擴大及灌注缺損，時間-強度曲線呈快進高增強、高灌注與腫瘤干細胞、上皮-間充質(zhì)轉(zhuǎn)化高表達有關(guān)，且乳腺癌患者NAC后病灶增強的范圍變化和病理反應(yīng)MP評分呈正相關(guān)，而非Luminal型乳腺癌NAC前CEUS呈低灌注與腫瘤干細胞、上皮-間充質(zhì)轉(zhuǎn)化高表達有關(guān)，通過CEUS對NAC后呈非向心性回縮的非Luminal型乳腺癌的療效評價效果要優(yōu)于常規(guī)超聲；另一臨床試驗研究證實，乳腺癌的剪切波彈性成像（SWE）存在各向異性，且SWE各向異性越大，乳腺癌的硬度越高，腫瘤干細胞、上皮-間充質(zhì)轉(zhuǎn)化的表達越高，提示預(yù)后較差［17-19］。

2 多模態(tài)超聲聯(lián)合深度學(xué)習(xí)對乳腺癌新輔助化療療效評價

2.1 常規(guī)超聲

常規(guī)超聲是超聲科醫(yī)師最常用的檢查方法，其檢查無痛苦，可在短時間多次反復(fù)進行，適用于任何年齡段的女性，在多模態(tài)超聲中起基礎(chǔ)性的作用。有研究發(fā)現(xiàn)，常規(guī)超聲可以測量乳腺癌腫塊的大小，但是難以準(zhǔn)確評估乳腺癌NAC的療效［20］。有學(xué)者對93例已接受NAC的乳腺癌患者進行了回顧性分析，研究發(fā)現(xiàn)常規(guī)超聲對乳腺癌腫塊有著很好的預(yù)測能力，準(zhǔn)確率為98%，然而它卻錯誤地預(yù)測了2例pCR，表明僅使用超聲評估乳腺癌NAC療效效果較低［21］，原因可能如下：乳腺癌NAC后病灶改變呈蜂窩狀，邊界難以確定，從而提高了腫塊實際大小的測量難度；在常規(guī)超聲上難以區(qū)分NAC后纖維灶的形成和殘留乳腺癌病灶；容易受到操作者主觀性的影響等。常規(guī)超聲在評估NAC療效效果中具有一定的價值，但與之相比，多模態(tài)超聲在乳腺癌診斷及NAC療效評價上均表現(xiàn)出更高的準(zhǔn)確率和診斷效能，比常規(guī)超聲具有更加顯著的臨床價值［22-23］。因此，單純應(yīng)用常規(guī)超聲不能很好地評價乳腺癌NAC后的治療效果，應(yīng)與其他超聲檢查方法結(jié)合，以達到準(zhǔn)確預(yù)測乳腺癌NAC療效的目的。

2.2 CEUS

CEUS是一種基于微循環(huán)血流灌注的超聲成像技術(shù)，在清晰顯示腫瘤血管的基礎(chǔ)上，還提供了微循環(huán)血流動力學(xué)的相關(guān)信息。CEUS的聲像圖特征與乳腺癌的生物學(xué)行為有關(guān)，腫瘤宏觀上形態(tài)的變化比微觀結(jié)構(gòu)的改變晚，因此，腫瘤形態(tài)學(xué)的改變不能作為乳腺癌NAC療效的評價指標(biāo)［24］。有學(xué)者對21例乳腺癌患者NAC治療前后42個CEUS圖像進行分析研究，發(fā)現(xiàn)乳腺癌NAC后，腫瘤的新生血管呈減少趨勢，而且變得更加不均勻，表明CEUS的聲像圖特征在評估NAC療效上具有良好的精準(zhǔn)度［25］。一項研究對80例非Luminal型乳腺癌患者進行實驗研究，發(fā)現(xiàn)非Luminal型乳腺癌NAC前CEUS的顯示范圍大于常規(guī)超聲的顯示范圍，NAC后小于常規(guī)超聲的顯示范圍，并且更接近術(shù)后的病理結(jié)果，NAC 后病灶擴大和灌注缺損的程度也較NAC 前明顯減少，這表明對于非Luminal 型乳腺癌，CEUS比常規(guī)超聲可以更真實客觀地反映乳腺癌實際腫瘤的大小，NAC后CEUS能顯著降低病灶纖維化灌注的程度，避免了對NAC療效的低估［19］。而另一研究證實CEUS定量參數(shù)和分子亞型的組合在預(yù)測乳腺癌NAC療效上有良好地表現(xiàn)，在腫瘤直徑改變的情況下，使用峰值強度和達峰時間的CEUS模型能有效地預(yù)測乳腺癌NAC的療效［26］。乳腺癌作為一種血管依賴性病變，其微循環(huán)是預(yù)測NAC 療效最常用的評價方法。CEUS是一種純血池超聲顯像技術(shù)，通過靜脈注射造影劑，使病灶血管內(nèi)的分布及走行情況得到清晰地顯示，實時觀察病灶的整個血流灌注過程，評估腫瘤微循環(huán)的灌注的情況，從而提高對乳腺癌NAC療效評價的準(zhǔn)確性［27］，但同時也存有局限性：樣本量過小會限制我們對實驗的深入研究；感興趣區(qū)的選擇具有主觀性，會對腫瘤血流量的測量產(chǎn)生偏差；CEUS對腫瘤血管的依賴性高，對于血管較少的腫瘤，CEUS并不能有效地顯示其血管分布情況及微循環(huán)的特征［28］。

2.3 超聲彈性成像（UE）

UE是一種定量估計組織彈性模量的分布，并將其轉(zhuǎn)化為可視聲像圖的超聲成像技術(shù)。它已成為醫(yī)學(xué)超聲成像中迅速發(fā)展的一項新技術(shù)。目前，UE主要包括以下兩種：應(yīng)變式彈性成像（SE）和SWE。

SE通過向檢查組織表面施加動態(tài)或靜態(tài)/準(zhǔn)靜態(tài)激勵，跟蹤組織運動來估計彈性模量的分布［29］。有學(xué)者采用SE對92例乳腺癌患者的NAC療效進行臨床觀察，研究發(fā)現(xiàn)預(yù)測乳腺癌NAC后pCR的敏感度為84%，特異性為85%，曲線下面積為81%，表明SE能以高敏感度和高特異性的優(yōu)勢，準(zhǔn)確評估乳腺癌患者在進行NAC治療2周期后的療效［30］，為乳腺癌患者選擇NAC治療以達到最佳獲益。

而SWE則是另一種基于超聲成像測量組織硬度的技術(shù)，不同的是，它使用了聲輻射引入干擾，而不是操作者手動激發(fā)，并且測量的是橫波的傳播速度而非組織的變形程度［31］。有研究對60例乳腺癌患者的臨床資料進行分析，發(fā)現(xiàn)隨著NAC治療的進展，腫塊的硬度值也隨之發(fā)生明顯變化，表明在NAC治療2周期后，病灶的最大直徑與應(yīng)變率之比有助于評估乳腺癌NAC的療效［32］。有前瞻性實驗研究發(fā)現(xiàn)，在乳腺癌NAC治療的前、中、后期，pCR和非pCR的SWE定量參數(shù)均有顯著性差異，且在第三次研究訪問期間，pCR的質(zhì)量特征頻率明顯增高，可以作為預(yù)測pCR的NAC終點標(biāo)記物［33］，表明SWE可以作為乳腺癌NAC療效評價的方法之一，能準(zhǔn)確評估其療效并指導(dǎo)患者的個體化治療，具有重要價值。

一項聯(lián)合CEUS和UE的雙模態(tài)超聲評估乳腺癌患者NAC療效的研究發(fā)現(xiàn)，在準(zhǔn)確性、特異性、敏感度、陽性預(yù)測值及陰性預(yù)測值上，CEUS和UE的聯(lián)合應(yīng)用要高于單獨使用CEUS或UE，證實兩者的聯(lián)合應(yīng)用在評估乳腺癌NAC療效上有著較高的準(zhǔn)確性［34］。目前，臨床實驗入選的患者樣本量相對較小，NAC對乳腺癌不同表型療效評價還沒有統(tǒng)一的標(biāo)準(zhǔn)，需要進一步增加乳腺癌患者樣本量來提供足夠的統(tǒng)計能力來解決乳腺癌不同表型NAC后對CEUS和UE定性及定量參數(shù)的影響［26,35-37］。

2.4 三維超聲

三維超聲通過特殊超聲探頭采集圖像，然后利用計算機圖像處理技術(shù)，在二維超聲上進行三維重建，使器官和血管各種結(jié)構(gòu)的立體形態(tài)、組織厚度、空間關(guān)系，特別是活動狀況的顯示成為可能。研究表明，三維超聲中診斷乳腺癌最具價值的聲像圖特征是：匯聚征、腫瘤邊緣和腫瘤邊界回聲紋理［38-39］。近十年來，三維超聲越來多地被應(yīng)用于診斷乳腺小腫瘤上，尤其在冠狀面的檢查優(yōu)勢，三維超聲在顯示乳腺小腫瘤的腫塊形態(tài)、邊界、內(nèi)部回聲、縱橫比的準(zhǔn)確率均高于二維超聲［39］。有研究將221例乳腺癌患者的三維超聲結(jié)果和病理預(yù)后因素進行對比，發(fā)現(xiàn)通過三維超聲檢查方法預(yù)測乳腺癌治療的預(yù)后可以提供更精準(zhǔn)的治療決策［40］。

自動乳腺全容積成像是一種以三維超聲為基礎(chǔ)的、標(biāo)準(zhǔn)化的、自動化的超聲成像技術(shù)，它不依賴于操作者，能在任何時間點獲取超聲圖像［41］。研究發(fā)現(xiàn)，自動乳腺全容積成像在評估乳腺癌NAC療效的表現(xiàn)中與乳腺MRI相當(dāng)，均顯示出較高的特異性、敏感度及診斷準(zhǔn)確率［42］。自動乳腺全容積成像作為一種多平面成像，通過三維重建可形成冠狀面，獲取更多有利于診斷乳腺癌的精確信息，還可以提供乳腺腫塊在二維超聲圖像上無法顯示的三維結(jié)構(gòu)上的更多信息，如腫塊的表面積、腫塊體積、各組織結(jié)構(gòu)的空間位置及毗鄰關(guān)系等，這極大提高了我們對乳腺癌的診斷準(zhǔn)確率及評估乳腺癌NAC療效的準(zhǔn)確性［43］。目前，三維超聲成像在技術(shù)上已逐步趨向于臨床實用，相信隨著醫(yī)療科技技術(shù)的不斷發(fā)展，三維超聲技術(shù)會成為乳腺癌臨床相關(guān)工作中最為有效的診斷工具之一。

2.5 多模態(tài)超聲對乳腺癌NAC評價指標(biāo)的優(yōu)選

現(xiàn)如今，以多種超聲成像為基礎(chǔ)的多模態(tài)超聲技術(shù)，在臨床乳腺癌診治中的應(yīng)用越來越廣泛。有學(xué)者在多模態(tài)超聲基礎(chǔ)上建立Logistic回歸模型，分析發(fā)現(xiàn)以下是乳腺惡性病變的危險因素：乳腺腫瘤邊緣不清、向心性強化、速升速降的強化模式、乳腺腫瘤不完整、4分的彈力造影評分、速升緩降的強化模式［44］。一項研究發(fā)現(xiàn)NAC后乳腺癌最長直徑縮小程度、阻力指數(shù)、收縮期峰值血流流速、應(yīng)變率比值、彈性評分、峰值強度和曲線下面積是影響新輔助化療療效的因素，并且通過建立多因素Logistic回歸模型證實，腫瘤最長直徑縮小程度、峰值強度及應(yīng)變率比值是乳腺癌NAC的危險因素［45］。彭娟等通過對超聲定量參數(shù)的分析，發(fā)現(xiàn)峰值強度變化率＞16.37%和剪切波速度最大值變化率＞28.52%提示pCR，證實兩者是評估NAC療效的預(yù)測因子［46］。不過，有國外學(xué)者通過對比MRI與超聲檢查預(yù)測乳腺癌NAC后pCR情況，研究發(fā)現(xiàn)MRI比超聲有著更高的特異性（56.8%vs33.3%），但是敏感度不及超聲檢查（87.7%vs91.4%）［47］。超聲作為一種常規(guī)的影像學(xué)方法，有望在未來為評估乳腺癌患者NAC療效中提供重要診斷價值。

3 多模態(tài)超聲聯(lián)合深度學(xué)習(xí)

3.1 深度學(xué)習(xí)的發(fā)展歷程

深度學(xué)習(xí)是人工智能的分支，它是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對數(shù)據(jù)資料進行學(xué)習(xí)的算法。20世紀(jì)60年代，有科學(xué)家提出了計算機輔助診斷［48］，但受到當(dāng)時技術(shù)水平的發(fā)展限制，直至20世紀(jì)90年代，隨著機器學(xué)習(xí)的發(fā)展，尤其是深度學(xué)習(xí)算法的完善，計算機輔助診斷才在醫(yī)學(xué)影像的診斷上的應(yīng)用越來越廣泛［49］。深度學(xué)習(xí)是由多個神經(jīng)層組成的模型，將輸入的數(shù)據(jù)（如圖像）轉(zhuǎn)換為輸出的數(shù)據(jù)（如疾病存在/不存在），同時學(xué)習(xí)高級別的特征。目前，最成功的圖像分析模型是卷積神經(jīng)網(wǎng)絡(luò)（CNNs），CNNs 的研究開始于上世紀(jì)70 年代末［50］，1998年有學(xué)者將2層神經(jīng)網(wǎng)絡(luò)的LeNet神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于手寫數(shù)字識別應(yīng)用程序，并成功運行［51］；2012年一項研究用5層卷積網(wǎng)絡(luò)的AlexNet神經(jīng)網(wǎng)絡(luò)模型以極大的優(yōu)勢取得了ImageNet挑戰(zhàn)賽的勝利［52］。此后，有學(xué)者用VGG19神經(jīng)網(wǎng)絡(luò)模型和ResNet神經(jīng)網(wǎng)絡(luò)架構(gòu)分別贏得了2014及2015年的ImageNet挑戰(zhàn)賽［53-54］。此外，還有其他神經(jīng)網(wǎng)絡(luò)模型被提出，如一種名為GoogLeNet的22層神經(jīng)網(wǎng)絡(luò)［55］，以及基于完全神經(jīng)網(wǎng)絡(luò)提出的U-Net架構(gòu)［56］。從此，迎來了深度學(xué)習(xí)的大發(fā)展時代。

3.2 基于神經(jīng)網(wǎng)絡(luò)模型的超聲檢查方法的應(yīng)用

目前，CNNs——深度學(xué)習(xí)的典型代表，在醫(yī)學(xué)影像圖像分析中的應(yīng)用最為廣泛。作為近年來新興的一項計算機技術(shù)，它能對輸入的圖像數(shù)據(jù)進行學(xué)習(xí)，并從中提取輸入樣本的高層次特征結(jié)構(gòu)數(shù)據(jù)，從而獲取更能代表圖像屬性的相關(guān)特征［57］。如今，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法在醫(yī)學(xué)影像中的應(yīng)用受到越來越多的關(guān)注，尤其是在超聲檢查上［58-59］，在對傳統(tǒng)的診斷任務(wù)中，包括分類、分割、檢測、配準(zhǔn)、生物特征測量和療效質(zhì)量評估，以及對圖像引導(dǎo)的干預(yù)和治療等，都表現(xiàn)出良好的效果［60］。有學(xué)者應(yīng)用GoogLeNet和AlexNet神經(jīng)網(wǎng)絡(luò)模型鑒別乳腺癌的良、惡性，并且取得良好的結(jié)果［61］；有學(xué)者在U-Net 架構(gòu)基礎(chǔ)上結(jié)合了ResNet 神經(jīng)網(wǎng)絡(luò)模型，提出了ResU-Net神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)了在乳腺超聲圖像上對乳腺癌腫瘤區(qū)域的精準(zhǔn)分割，其中測試集腫瘤分割的相似度系數(shù)為0.9568，交并比為0.9173［62］；國外有研究采用3種不同的方法（基于補丁的LeNet、U-Net和經(jīng)過預(yù)訓(xùn)練的FCN-AlexNet遷移學(xué)習(xí)方法）對2個乳腺超聲圖像數(shù)據(jù)集（數(shù)據(jù)集A在2001年收集于一位乳腺影像學(xué)專家使用的教學(xué)媒體文件中，數(shù)據(jù)集B在2012年收集于西班牙的UDIAT診斷中心）進行檢測分析，發(fā)現(xiàn)經(jīng)過預(yù)訓(xùn)練的FCN-AlexNet 遷移學(xué)習(xí)方法優(yōu)于其他檢測方法，數(shù)據(jù)集A的真陽性分數(shù)為0.98，每幅圖像的FPs/image為0.16，F(xiàn)-measure為0.91，數(shù)據(jù)集B的真陽性分數(shù)為0.92，F(xiàn)Ps/image為0.17，F(xiàn)-measure為0.89，并且U-Net的檢測性能要低于基于補丁的LENet［63］。有學(xué)者提出采用3種神經(jīng)網(wǎng)絡(luò)模型（VGGNet、ResNet和DenseNet）集成到乳腺超聲圖像上，在作者的私人數(shù)據(jù)集中，其準(zhǔn)確性、敏感度、特異性、精密度、F1 分數(shù)和AUC 值分別為91.10%、85.14%、95.77%、94.03%、89.36%和0.9697，在公開數(shù)據(jù)集中，其準(zhǔn)確性、敏感度、特異性、精確度、F1 分數(shù)和AUC 值分別為94.62%、92.31%、95.60%、90%、91.14%和0.9711，兩者均呈現(xiàn)良好的表現(xiàn)［64］，但是該研究并沒有對3種神經(jīng)網(wǎng)絡(luò)模型的優(yōu)劣性進行總結(jié)。另有學(xué)者對4種基于CNNs的神經(jīng)網(wǎng)絡(luò)模型（FCN-AlexNet，U-Net，基于VGG16和VGG19的SegNet 以及使用ResNet18、ResNet50、MobileNet-V2和Xception網(wǎng)絡(luò)的DeepLabV3+）在超聲圖像中乳腺腫瘤的自動分割進行評估，研究發(fā)現(xiàn)基于SegNet和DeepLabV3+的神經(jīng)網(wǎng)絡(luò)模型獲得較好的分割效果，F(xiàn)1分數(shù)＞0.90，交并比＞0.81。U-Net的分割性能表現(xiàn)為F1分數(shù)=0.89，交并比=0.80，而FCN-AlexNet的分割效果最低，F(xiàn)1分數(shù)=0.84，交并比=0.73，證實了神經(jīng)網(wǎng)絡(luò)越深，分割的質(zhì)量越好，而當(dāng)F1 分數(shù)達到其上界（即0.905），其分割性能沒有明顯的提升；對各個神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練時間進行評估發(fā)現(xiàn)，ResNet18的訓(xùn)練時間大約是ResNet50的一半，即150 min［65］。綜合分析各模型分割效果及訓(xùn)練時間，ResNet18可以在使用更少訓(xùn)練時間的情況下，達到其評分的標(biāo)準(zhǔn)要求（F1 分數(shù)=0.905，交并比=0.827），有望成為全自動化端到端計算機輔助診斷系統(tǒng)的候選者。

3.3 多模態(tài)超聲聯(lián)合深度學(xué)習(xí)對乳腺癌的評價應(yīng)用

隨著超聲新技術(shù)的出現(xiàn)，多模態(tài)超聲聯(lián)合深度學(xué)習(xí)在臨床上的應(yīng)用越發(fā)廣泛。有研究在單模態(tài)超聲基礎(chǔ)上通過構(gòu)建神經(jīng)網(wǎng)絡(luò)模型ResNet50-N及ResNet50-L，分別對乳腺結(jié)節(jié)良惡性進行診斷和預(yù)測腋窩淋巴結(jié)侵犯情況，發(fā)現(xiàn)無論是對乳腺結(jié)節(jié)良惡性鑒別，還是預(yù)測腋窩淋巴結(jié)的侵犯情況，兩種神經(jīng)網(wǎng)絡(luò)模型均有良好的性能表現(xiàn)［66］。有學(xué)者通過多種神經(jīng)網(wǎng)絡(luò)模型（Xception、InceptionV3、InceptionResNetV2、DenseNet121、DenseNet169和NASNetMobile)對乳腺癌常規(guī)超聲聯(lián)合SWE的雙模態(tài)超聲成像進行檢測，發(fā)現(xiàn)DenseNet169模型表現(xiàn)出良好的性能參數(shù)，其AUC、敏感度、特異性分別為0.857、0.789、0.898，與超聲科醫(yī)師的檢查結(jié)果相比，CNNs能顯示出相同甚至更好的診斷能力［67］。有研究分別在常規(guī)超聲、雙模態(tài)超聲融合及多模態(tài)超聲融合模式下，采用DenseNet50模型對乳腺癌圖像進行分割和分類，結(jié)果顯示DenseNet50神經(jīng)網(wǎng)絡(luò)模型有著良好的性能表現(xiàn)，在常規(guī)超聲下，準(zhǔn)確度等其余6項指標(biāo)平均提升7.45%，而在雙線性融合的多模態(tài)超聲模式中，其準(zhǔn)確度更是達94.59%［68］。有學(xué)者通過利用4種神經(jīng)網(wǎng)絡(luò)模型（DenseNet121，VGG16，InceptionV3及ResNet50）融合常規(guī)超聲及SWE來判斷乳腺腫塊的良、惡性，發(fā)現(xiàn)在單模態(tài)超聲中，DenseNet121神經(jīng)網(wǎng)絡(luò)模型分類效果最好，在多模態(tài)超聲中，DenseNet121的性能表現(xiàn)要比單模態(tài)超聲好，對于鑒別乳腺腫瘤良、惡性的準(zhǔn)確度、敏感度、特異性、AUC、F1 分數(shù)分別為93.51%、94.88%、92.25%、0.975、0.931［69］。但目前深度學(xué)習(xí)實現(xiàn)主要性能的改進在很大程度上依賴于大樣本訓(xùn)練數(shù)據(jù)集，而醫(yī)學(xué)超聲領(lǐng)域中公開可用的數(shù)據(jù)集是很有限的，這成為深度學(xué)習(xí)在醫(yī)學(xué)超聲圖像分析中進一步應(yīng)用的瓶頸。目前最常用的方法之一是進行跨數(shù)據(jù)集學(xué)習(xí)，即遷移學(xué)習(xí)，其主要分為兩種類型：跨模態(tài)遷移學(xué)習(xí)和跨域遷移學(xué)習(xí)［70］。已有實驗證明，在小樣本訓(xùn)練數(shù)據(jù)集的情況下，跨模式遷移學(xué)習(xí)可能會優(yōu)于跨域遷移學(xué)習(xí)［71］；此外，模型的訓(xùn)練也是一個非常耗時間的過程，其可靠性需大量樣本進行驗證［72］。

關(guān)于多模態(tài)超聲聯(lián)合深度學(xué)習(xí)對乳腺癌NAC療效進行評價的研究暫鮮有相關(guān)文獻報道。一項關(guān)于乳腺PET/MRI圖像深度學(xué)習(xí)模型的研究表明，AlexNet神經(jīng)網(wǎng)絡(luò)模型可以有效預(yù)測晚期乳腺癌患者NAC的療效，還能提高各種實時臨床應(yīng)用的診斷準(zhǔn)確率［73］。有學(xué)者在多模態(tài)超聲基礎(chǔ)上建立了L1正則化Logistic回歸預(yù)測模型及Siamese CNNs神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)了早期預(yù)測乳腺癌NAC療效，兩種模型的AUC值分別為0.797和0.847［74］。近年來，深度學(xué)習(xí)放射組學(xué)列線圖被證實能準(zhǔn)確預(yù)測乳腺癌患者NAC的pCR情況［75］，國內(nèi)有研究在超聲基礎(chǔ)上建立兩種DLR模型（DLR-2、DLR-4），通過前瞻性研究發(fā)現(xiàn)，兩個模型都有良好的性能表現(xiàn)，其AUC值分別是0.812、0.937［76］。由此可見，深度學(xué)習(xí)具有巨大的潛能，結(jié)合多模態(tài)超聲的優(yōu)勢，可系統(tǒng)性地對超聲科醫(yī)師的診斷結(jié)果進行優(yōu)化，提高了診斷結(jié)果的臨床應(yīng)用性，為臨床研究的進一步開展提供了新的思路。在臨床工作中，其作為超聲科醫(yī)師的“第二雙眼睛”，極大的提高了醫(yī)師的工作效率。但是，現(xiàn)在還沒有充足的證據(jù)表明深度學(xué)習(xí)技術(shù)能取代超聲科醫(yī)師，而且該項技術(shù)在臨床的應(yīng)用中仍存在風(fēng)險，因此還需要加強對深度學(xué)習(xí)的深入研究及進行更多的實驗探索，以提高該技術(shù)在臨床診療上的實用性。

4 小結(jié)和展望

近年來，隨著超聲成像技術(shù)的不斷進步，不同超聲技術(shù)在臨床的應(yīng)用逐漸增多，尤其是在乳腺癌的診斷、治療及監(jiān)測中，還能為乳腺癌NAC療效提供精確的信息。絕大多數(shù)研究結(jié)果顯示，多模態(tài)超聲已然成為超聲發(fā)展的必然趨勢，在未來將會有更廣闊的發(fā)展前景。在當(dāng)今這個大數(shù)據(jù)時代，基于深度學(xué)習(xí)的CNNs計算機技術(shù)迅速發(fā)展，在醫(yī)學(xué)影像診斷方面取得重大的進展。無論是在乳腺癌的診斷還是對NAC的評價，多模態(tài)超聲聯(lián)合深度學(xué)習(xí)都展現(xiàn)巨大潛能，在提高診斷準(zhǔn)確率的同時，極大提高超聲科醫(yī)師工作效率。

綜上所述，多模態(tài)超聲聯(lián)合深度學(xué)習(xí)，融合不同學(xué)科的新技術(shù)，實現(xiàn)對乳腺癌患者NAC全方位、多參數(shù)的綜合評價，為患者制定個體化治療方案，改善患者生存質(zhì)量，這將具有重大的臨床意義和社會意義。