基于超聲圖像的遷移學(xué)習(xí)模型在乳腺腫塊良惡性鑒別診斷中的價(jià)值

余美慧 袁 泉 曾書娥 程 慧 李 楠 葉華容

2020年全球癌癥統(tǒng)計(jì)數(shù)據(jù)顯示乳腺癌已成為威脅女性健康的首位高發(fā)癌癥[1］, 精準(zhǔn)診斷對改善患者預(yù)后和降低死亡率至關(guān)重要[2］。超聲具有操作簡便、經(jīng)濟(jì)、無輻射、無創(chuàng)等優(yōu)勢, 是目前臨床篩查乳腺癌的首選影像學(xué)檢查方法[3］。然而, 超聲醫(yī)師的工作經(jīng)驗(yàn)、專業(yè)水平等主觀因素, 以及超聲儀器、診療環(huán)境等客觀因素均可能影響診斷準(zhǔn)確性。近年來, 深度學(xué)習(xí)因其在圖像識別和人工智能決策中的優(yōu)異表現(xiàn)而受到廣泛關(guān)注, 其可以自動對復(fù)雜的醫(yī)學(xué)圖像（如超聲圖像）特征進(jìn)行定量評估, 提取有診斷價(jià)值的信息, 并將分析結(jié)果作為第二意見或決策支持提供給臨床醫(yī)師[4］, 具有客觀、可重復(fù)性等特點(diǎn)。遷移學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNN）模型是目前醫(yī)學(xué)領(lǐng)域最有效的深度學(xué)習(xí)技術(shù), 已被證實(shí)優(yōu)于傳統(tǒng)方法[5］?；诖? 本研究旨在探討基于超聲圖像的遷移學(xué)習(xí)模型在乳腺腫塊良惡性鑒別診斷中的應(yīng)用價(jià)值。

資料與方法

一、研究對象

1.患者納入情況：收集2018年5月至2021年3月我院收治的行超聲檢查、手術(shù)或穿刺活檢的乳腺腫塊患者, 均為女性。納入標(biāo)準(zhǔn)：①腫塊經(jīng)病理組織學(xué)確診；②惡性腫塊經(jīng)病理證實(shí)為原發(fā)性乳腺癌；③可獲得標(biāo)準(zhǔn)的術(shù)前超聲檢查圖像；④術(shù)前未行相關(guān)放療、化療或放化療。排除標(biāo)準(zhǔn)：①超聲圖像質(zhì)量差, 無原始格式；②術(shù)前行相關(guān)治療。最終納入300例患者, 年齡19～79歲, 平均（46.77±12.41）歲；其中良性144例（146個(gè)腫塊）, 惡性156例（158個(gè)腫塊）。本研究為回顧性研究, 經(jīng)武漢科技大學(xué)附屬華潤武鋼總醫(yī)院倫理委員會批準(zhǔn), 免除了書面知情同意的要求。

2.乳腺超聲數(shù)據(jù)集情況：300例患者共582張超聲圖像（良性304張, 惡性278張）隨機(jī)分為訓(xùn)練集和測試集, 訓(xùn)練集中良性患者96例（98個(gè)腫塊, 256張圖像）, 惡性患者104例（106個(gè)腫塊, 226張圖像）；測試集中良性患者48例（48個(gè)腫塊, 48張圖像）, 惡性患者52例（52個(gè)腫塊, 52張圖像）。訓(xùn)練階段最多提取同一腫塊的4個(gè)不同截面圖像和同一患者的2個(gè)腫塊, 隨機(jī)分配并使用訓(xùn)練集中200例患者204個(gè)腫塊圖像；測試階段僅提取測試集同一患者一個(gè)腫塊的一張超聲圖像。

3.乳腺X線攝影篩查數(shù)字?jǐn)?shù)據(jù)庫的更新和標(biāo)準(zhǔn)化版本（CBIS-DDSM）數(shù)據(jù)集：CBIS-DDSM[6］是乳腺X線攝影篩查數(shù)字?jǐn)?shù)據(jù)庫的更新和標(biāo)準(zhǔn)化版本, 共包含1590張圖像, 其中良性腫塊圖像845張, 惡性腫塊圖像745張。將此數(shù)據(jù)集中70%的樣本作為訓(xùn)練集, 30%的樣本作為測試集, 以增強(qiáng)模型在超聲數(shù)據(jù)集上的表現(xiàn)力, 并對模型進(jìn)行微調(diào)和優(yōu)化。

二、儀器與方法

1.乳腺超聲圖像采集：使用Philips EPIQ 7C彩色多普勒超聲診斷儀, 線陣探頭, 頻率3～12 MHz。受檢者取仰臥位, 雙臂外展, 充分暴露乳房, 探頭置于乳房表面, 于平靜呼吸狀態(tài)下以乳頭為中心行放射狀全面掃查, 二維超聲重點(diǎn)掃查病灶區(qū)域, 根據(jù)病灶位置、大小及回聲適當(dāng)調(diào)整深度、焦點(diǎn)位置和增益, 存儲腫塊最大徑超聲圖像。

2.圖像處理與數(shù)據(jù)增強(qiáng)：在完全保留乳腺病變區(qū)域的前提下, 對圖像進(jìn)行人工裁剪預(yù)處理, 具體操作如下：①從每張圖像中裁剪出矩形視圖, 刪除包含無關(guān)內(nèi)容的區(qū)域；②從矩形視圖的左、中、右或上、中、下正方形區(qū)域裁剪3個(gè)塊, 選擇包括腫塊在內(nèi)的最合適的正方形視圖；③在不改變縱橫比的情況下, 重新縮放裁剪后的圖片尺寸為256×256（像素）, 見圖1。由于數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)量有限, 訓(xùn)練過程中對圖像進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)、平移、對比度增強(qiáng)等數(shù)據(jù)增強(qiáng)操作, 人為地將訓(xùn)練圖像數(shù)據(jù)集擴(kuò)充為其原始數(shù)量的4倍。

圖1 人工裁剪預(yù)處理后的乳腺腫塊超聲圖像

3.CNN模型選擇：本研究選取了3種具有代表性的深度CNN模型, 即VGG-16、Inception-v3和ResNet-50。

4.遷移學(xué)習(xí)方法：使用ImageNet數(shù)據(jù)集預(yù)訓(xùn)練網(wǎng)絡(luò)作為特征提取器, 即從頭開始學(xué)習(xí)特征, 然后將訓(xùn)練模型參數(shù)遷移至3種CNN模型以對其進(jìn)行初始化。第1次遷移學(xué)習(xí)利用CBIS-DDSM數(shù)據(jù)集中良惡性乳腺腫塊X線圖像對3種CNN模型進(jìn)行訓(xùn)練優(yōu)化并微調(diào)卷積層參數(shù)；第2次遷移學(xué)習(xí)使用乳腺超聲數(shù)據(jù)集中隨機(jī)挑選的訓(xùn)練集超聲圖像對3種CNN模型進(jìn)行二次微調(diào), 得到最優(yōu)的模型參數(shù), 并在測試集中輸出最終分類結(jié)果。CNN模型遷移學(xué)習(xí)流程圖見圖2。

圖2 CNN遷移學(xué)習(xí)流程圖

5.模型訓(xùn)練和測試：本研究選取隨機(jī)梯度下降為遷移學(xué)習(xí)的優(yōu)化函數(shù), 損失函數(shù)為交叉熵?fù)p失函數(shù)。為了訓(xùn)練網(wǎng)絡(luò), 每個(gè)Batch包含16張圖像, 初始學(xué)習(xí)率設(shè)置為0.0001。最多訓(xùn)練200個(gè)epoch, 當(dāng)10個(gè)epoch的驗(yàn)證誤差不減少時(shí), 訓(xùn)練提前結(jié)束。最后選擇驗(yàn)證損失最低的模型用來測試。

三、統(tǒng)計(jì)學(xué)處理

應(yīng)用SPSS 26.0統(tǒng)計(jì)軟件, 計(jì)量資料以±s表示, 兩組比較采用t檢驗(yàn)；計(jì)數(shù)資料以例或率表示, 兩組比較采用χ2檢驗(yàn)。以病理結(jié)果為金標(biāo)準(zhǔn), 繪制受試者工作特征（ROC）曲線分析遷移學(xué)習(xí)后3種模型鑒別診斷乳腺腫塊良惡性的效能, 曲線下面積（AUC）比較行Z檢驗(yàn)。P＜0.05為差異有統(tǒng)計(jì)學(xué)意義。

結(jié) 果

一、臨床資料比較

良、惡性乳腺腫塊患者平均年齡分別為（41.27±11.64）歲、（51.84±10.86）歲, 腫塊平均最大徑分別為（2.03±1.53）cm、（2.55±1.22）cm, 差異均有統(tǒng)計(jì)學(xué)意義（均P＜0.001）。訓(xùn)練集和測試集患者平均年齡分別為（46.66±13.05）歲、（46.99±11.06）歲, 腫塊平均最大徑分別為（2.33±1.49）cm、（2.25±1.20）cm, 差異均無統(tǒng)計(jì)學(xué)意義。

二、未遷移與遷移學(xué)習(xí)后3種模型對乳腺腫塊良惡性的鑒別診斷效能比較

未遷移與遷移學(xué)習(xí)后3種模型鑒別診斷乳腺腫塊良惡性的準(zhǔn)確率、敏感性、特異性、精準(zhǔn)率、F1分?jǐn)?shù)、約登指數(shù)見表1。

表1 未遷移與遷移學(xué)習(xí)后3種模型對乳腺腫塊良惡性的鑒別診斷效能

1.第1次遷移學(xué)習(xí)與未遷移學(xué)習(xí)比較：3種模型第1次遷移學(xué)習(xí)后鑒別診斷乳腺腫塊良惡性的準(zhǔn)確率、敏感性、特異性、精準(zhǔn)率、F1分?jǐn)?shù)及約登指數(shù)均高于未遷移, 差異均有統(tǒng)計(jì)學(xué)意義（均P＜0.05）。

2.第2次遷移學(xué)習(xí)與第1次遷移學(xué)習(xí)比較：3種模型第2次遷移學(xué)習(xí)后鑒別診斷乳腺腫塊良惡性的準(zhǔn)確率、敏感性、特異性、精準(zhǔn)率、F1分?jǐn)?shù)及約登指數(shù)均高于第1次遷移學(xué)習(xí), 差異均有統(tǒng)計(jì)學(xué)意義（均P＜0.05）。

三、ROC曲線分析

ROC曲 線 分 析 顯 示, VGG-16、Inception-v3、ResNet-50第2次遷移學(xué)習(xí)后鑒別診斷乳腺腫塊良惡性的AUC分別為0.841（95%可信區(qū)間0.759～0.916）、0.865（95%可信區(qū)間0.756～0.946）、0.915（95%可信區(qū)間0.869～0.949）?；赗esNet-50建立的遷移學(xué)習(xí)模型鑒別診斷乳腺腫塊良惡性的AUC高于其他兩種模型, 差異均有統(tǒng)計(jì)學(xué)意義（均P＜0.05）。見圖3。

圖3 第2次遷移學(xué)習(xí)后3種模型鑒別診斷乳腺腫塊良惡性的ROC曲線圖

討 論

近年來, 深度學(xué)習(xí)在乳腺疾病診斷中的研究越來越多, 但多是應(yīng)用傳統(tǒng)機(jī)器學(xué)習(xí)通過手動勾畫感興趣區(qū)域進(jìn)行紋理分析或是基于深度學(xué)習(xí)的乳腺鉬靶X線診斷, 而應(yīng)用兩次遷移學(xué)習(xí)鑒別診斷乳腺腫塊良惡性的報(bào)道較少?；诖? 本研究采用深度學(xué)習(xí)的方法分別比較兩次遷移學(xué)習(xí)后3種CNN模型（VGG-16、Inception-v3、ResNet-50）對乳腺腫塊良惡性的鑒別診斷效能, 探討基于超聲圖像的遷移學(xué)習(xí)模型在乳腺腫塊良惡性鑒別診斷中的價(jià)值。

在基于深度學(xué)習(xí)的圖像分類問題中, 數(shù)據(jù)是模型的根本和基礎(chǔ)[7］, 雖然可對數(shù)據(jù)進(jìn)行增強(qiáng)處理, 但用于訓(xùn)練網(wǎng)絡(luò)的樣本仍然較少, 這可能會增加出現(xiàn)過擬合、模型泛化能力差等問題的幾率, 導(dǎo)致在乳腺腫塊良惡性鑒別診斷中無法獲得良好效果。遷移學(xué)習(xí)是深度學(xué)習(xí)中一種新的學(xué)習(xí)方式, 其可在一定程度上緩解數(shù)據(jù)有限的問題, 解決醫(yī)學(xué)圖像分析中由于數(shù)據(jù)集較小導(dǎo)致模型不準(zhǔn)確的問題[8］。Byra等[9］先在ImageNet數(shù)據(jù)集上對VGG19、Inception-v3及Inception ResNet-v2 3種模型進(jìn)行預(yù)訓(xùn)練, 經(jīng)過遷移學(xué)習(xí)后對149例良性和82例惡性乳腺腫塊的超聲圖像進(jìn)行分類, 其診斷乳腺腫塊良惡性的AUC分別為0.858、0.829及0.860, 表明基于超聲圖像的遷移學(xué)習(xí)在鑒別診斷乳腺腫塊良惡性中具有較好價(jià)值。Hadad等[10］基于乳房X線攝影圖像訓(xùn)練了一個(gè)網(wǎng)絡(luò)模型, 直接遷移至乳腺M(fèi)RI數(shù)據(jù)集上并對其進(jìn)行微調(diào), 分析3種CNN模型在乳腺M(fèi)RI圖像病變分類中的表現(xiàn), 結(jié)果表明在缺乏足夠訓(xùn)練數(shù)據(jù)的情況下, 乳腺X線攝影和乳腺M(fèi)RI之間的跨模態(tài)遷移學(xué)習(xí)可以顯著提高診斷效能。本研究通過VGG-16、Inception-v3、ResNet-50 3種模型實(shí)現(xiàn)乳腺X線攝影和乳腺超聲之間的跨模態(tài)遷移學(xué)習(xí), 結(jié)果顯示遷移學(xué)習(xí)后3種CNN模型對乳腺腫塊良惡性的鑒別診斷效能均有所提高, 第1次遷移學(xué)習(xí)與未遷移學(xué)習(xí)及第2次遷移學(xué)習(xí)與第1次遷移學(xué)習(xí)比較, 準(zhǔn)確率、敏感性、特異性均明顯提高, 差異均有統(tǒng)計(jì)學(xué)意義（均P＜0.05）, 表明遷移學(xué)習(xí)算法能有效地在相似圖像之間進(jìn)行信息共享和遷移。此外, 在第1次遷移的基礎(chǔ)上, 第2次遷移借助少量數(shù)據(jù)就能達(dá)到預(yù)期較好的診斷效果, 表明兩次遷移學(xué)習(xí)較一次遷移學(xué)習(xí)效果更佳, 更適合用于小數(shù)據(jù)集的乳腺腫塊超聲圖像良惡性鑒別診斷, 與Hodad等[10］研究結(jié)論一致。

本研究中基于ResNet-50建立的第2次遷移學(xué)習(xí)模型鑒別診斷乳腺腫塊良惡性的準(zhǔn)確率為88.0%, 敏感性為82.7%, 特異性為93.8%, AUC為0.915（95%可信區(qū)間0.869～0.949）, 較VGG-16、Inception-v3模型具有更優(yōu)的診斷價(jià)值, 分析原因可能為ResNet網(wǎng)絡(luò)創(chuàng)新性地引入殘差網(wǎng)絡(luò), 改善了由于網(wǎng)絡(luò)深度加深而產(chǎn)生的學(xué)習(xí)效率降低和準(zhǔn)確率無法有效提升的問題[11］。但Zhang等[12］研究顯示, Inception-v3模型在測試集超聲圖像中鑒別診斷乳腺腫塊良惡性的AUC為0.905, 相較于ResNet-50顯示出更高的診斷準(zhǔn)確率, 這可能是由訓(xùn)練數(shù)據(jù)量差異引起的。

年齡是罹患乳腺癌的高危因素之一, 本研究中惡性乳腺腫塊患者平均年齡為（51.84±10.86）歲, 與良性乳腺腫塊患者平均年齡[（41.27±11.64）歲］比較差異有統(tǒng)計(jì)學(xué)意義（P＜0.05）, 與以往研究[13-14］顯示我國女性乳腺癌的發(fā)病高峰年齡為45～54歲基本一致。乳腺為多種內(nèi)分泌激素作用的靶器官, 其中雌激素與乳腺癌的發(fā)病有直接關(guān)系, 分析其原因可能與年齡增長后的內(nèi)分泌失調(diào)、卵巢功能紊亂及絕經(jīng)后女性雌激素水平下降有關(guān)[15］。

綜上所述, 基于超聲圖像的遷移學(xué)習(xí)模型能夠提高乳腺腫塊良惡性的鑒別診斷效能, 減少由于樣本數(shù)據(jù)量少對基于深度卷積特征的乳腺超聲圖像應(yīng)用產(chǎn)生的影響, 可為臨床醫(yī)師提供決策參考, 具有較高的臨床應(yīng)用價(jià)值。但本研究為單中心、回顧性研究, 納入樣本量有限, 圖像來源于不同超聲醫(yī)師, 且缺乏獨(dú)立的外部測試集以進(jìn)一步驗(yàn)證模型的診斷效能, 未來仍需開展多中心、大樣本研究進(jìn)一步驗(yàn)證試驗(yàn)結(jié)果。