異構(gòu)多分支網(wǎng)絡(luò)超聲圖像自動診斷方法

李昕昕，師 恩

(1. 四川大學(xué)錦城學(xué)院計算機(jī)與軟件學(xué)院 成都 611731；2. 西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院 成都 610031)

乳腺癌是目前女性發(fā)病率最高的惡性腫瘤，盡早發(fā)現(xiàn)可以提供更好的治療機(jī)會[1]。當(dāng)前常用的乳腺癌篩查手段包括：粗針穿刺、乳腺X 線攝影、乳腺磁共振檢查和超聲影像。而超聲影像因其無創(chuàng)傷、便捷、價廉，對致密性乳腺診斷敏感性和準(zhǔn)確性高，成為首選的乳腺檢查方法。但由于超聲影像中良惡性結(jié)節(jié)的圖像表現(xiàn)存在重疊，嚴(yán)重依賴醫(yī)生經(jīng)驗(yàn)，不同資歷的醫(yī)生誤診率達(dá)到10%～30%[2]。因此，如何借助計算機(jī)視覺和大數(shù)據(jù)技術(shù)輔助臨床醫(yī)生提高對超聲影像進(jìn)行良惡性腫瘤判斷的準(zhǔn)確率，逐漸成為目前的研究熱點(diǎn)。

針對上述問題，本文提出了一種端到端的自動結(jié)節(jié)分類方法。該方法主要采用基于乳腺超聲圖像的良性和惡性分類的異構(gòu)多分支網(wǎng)絡(luò) (heterogeneous multi-brach network, HMBN)。包括如下4 個模塊：

1)圖像預(yù)處理：為提高超聲圖片的質(zhì)量，本文采用基于mean shift 聚類算法[3]對原始視頻進(jìn)行關(guān)鍵幀選取。然后對超聲及造影圖像進(jìn)行基于增強(qiáng)的Wiener 濾波[4]去噪和基于多重分形和對比度自適應(yīng)的直方圖均衡技術(shù)[5]的增強(qiáng)處理。

2)超聲病理特征信息提?。翰±硇畔ㄔ汲晥D像提取的病理信息和包括年齡以及其他6 個與乳腺良惡性相關(guān)度最高的乳腺病理特征在內(nèi)的非圖像信息。通過將病理信息做歸一化處理后融合到分類的神經(jīng)網(wǎng)絡(luò)中。

3)異構(gòu)多分支網(wǎng)絡(luò)模型：該模型的輸入數(shù)據(jù)包括圖像信息和非圖像信息。對于圖像信息，使用了由ImageNet 數(shù)據(jù)集遷移的Resnet50 網(wǎng)絡(luò)進(jìn)行特征提取，對于非圖像信息，使用了一個全連接層將非圖像的信息向量與其他分支結(jié)果融合進(jìn)行分類。

4)優(yōu)化的損失函數(shù)：在附加角邊距損失(additive angular margin loss, AAM loss)[6]的基礎(chǔ)上應(yīng)用了最小超球面能量(minimum hyperspherical energy, MHE)[7]來改善分類效果。

1 相關(guān)工作

在乳腺超聲的自動診斷分類任務(wù)中，文獻(xiàn)[8]在針對乳腺病灶區(qū)進(jìn)行篩選和分類的任務(wù)中，將自適應(yīng)的去卷積網(wǎng)絡(luò)模型作為一種產(chǎn)生式的無監(jiān)督分層深度學(xué)習(xí)框架，用于診斷乳腺腫瘤的超聲圖像特征學(xué)習(xí)以及特征圖譜生成，從而實(shí)現(xiàn)乳腺良惡性腫瘤的分類。實(shí)驗(yàn)結(jié)果表明該卷積網(wǎng)絡(luò)的性能已達(dá)到傳統(tǒng)手工特征的CADx 系統(tǒng)的水平。文獻(xiàn)[9]研究了一種將從預(yù)先訓(xùn)練的CNN 中提取的低級和中級特征與從傳統(tǒng)計算機(jī)輔助系統(tǒng)中獲得的手工設(shè)計特征相結(jié)合的方法，并得到了顯著的性能改善。文獻(xiàn)[10]設(shè)計了3 種能夠分別接受橫向平面圖像，冠狀面圖像和圖像注釋信息的網(wǎng)絡(luò)模型。實(shí)驗(yàn)結(jié)果表明，文中設(shè)計的模型可以同時處理圖像和注釋，且與單輸入模型相比，多種信息融合模型將分類準(zhǔn)確率提高了2.91%，達(dá)到了75.11%。

本文結(jié)合臨床醫(yī)學(xué)知識，將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展為異構(gòu)的多分支網(wǎng)絡(luò)進(jìn)行乳腺超聲的良惡性分類識別，最終獲得了較好的結(jié)果。

2 本文算法

2.1 數(shù)據(jù)預(yù)處理

超聲圖像對于乳腺癌等疾病的診斷有著很大的優(yōu)勢。但是超聲圖像中可能包含大量噪聲，尤其是斑點(diǎn)偽影和高斯噪聲，因此需要大量的圖像預(yù)處理工作來提升圖像質(zhì)量。

1)超聲圖像去噪

為了探索針對乳腺超聲圖像數(shù)據(jù)集最佳的去噪方法，本文選擇基于散斑統(tǒng)計的記憶各向異性擴(kuò)散去噪方法(anisotropic diffusion with memory based on speckle statistics, ADMSS)[11]、小波閾值算法、以及基于增強(qiáng)的Wiener 濾波的超聲圖像去噪算法在團(tuán)隊自建的乳腺超聲數(shù)據(jù)集上進(jìn)行定量和定性評估。實(shí)驗(yàn)結(jié)果如表1 所示。

表1 不同算法的去噪效果對比

實(shí)驗(yàn)中采用了兩個應(yīng)用最普遍的去噪效果評價指標(biāo)：等效外觀指數(shù)(equivalent number of looks,ENL)和超聲去斑評估指數(shù)(ultrasound despeckling assessment index, USDSAI)。其中，ENL 用于測量降噪效果，USDSAI 則用于測量去噪后圖像中不同類別(均質(zhì)區(qū)域)的可分離性，值越大表示該算法的性能越好?；谏鲜鰧?shí)驗(yàn)結(jié)果，本文選擇了增強(qiáng)的Wiener 濾波算法對乳腺超聲圖像進(jìn)行去噪，基于增強(qiáng)的Wiener 濾波方法實(shí)現(xiàn)過程如下。

首先考慮以下采集模型：

式中，z()是采集的數(shù)據(jù)；y()是無噪聲信號；n()是斑點(diǎn)噪聲；(x,r)是根據(jù)采集幾何定義的空間索引。然后通過應(yīng)用對數(shù)變換，將乘法模型轉(zhuǎn)換為加法模型，從而得到：

最后在新的獲取模型上，應(yīng)用Wiener 濾波器(wiener filter, WF)。WF 是線性不變?yōu)V波器，其二維頻率響應(yīng)函數(shù)定義為：

式中，Py′(ζ,η)=|Y′(ζ,η)|2是無噪聲信號y′(x,r)的功率譜；(ζ,η)為二維頻譜中的空間頻率。根據(jù)超聲圖片采集系統(tǒng)的不同，噪聲隨機(jī)過程表現(xiàn)出特定的自相關(guān)函數(shù)，其特征在于功率密度函數(shù)Wn′(ζ,η)；參數(shù) α用于調(diào)整濾波器強(qiáng)度的標(biāo)量值，在標(biāo)準(zhǔn)WF下，將其設(shè)置為單位值1。為了提高濾波效果，采用馬爾科夫隨機(jī)場(Markov random field, MRF)理論對圖像進(jìn)行建模。

2)超聲圖像增強(qiáng)

為了更好地提升圖像質(zhì)量，還需要對乳腺超聲圖像進(jìn)行數(shù)據(jù)增強(qiáng)。通過對多峰廣義直方圖均衡化算法(multi-peak generalized histogram equalization,Multi-peak GHE)[12]，基于多重分形和對比度自適應(yīng)直方圖均衡的圖像增強(qiáng)算法(Clahe+Mfrac)[5]以及一種基于模糊邏輯的增強(qiáng)算法[13]進(jìn)行對比實(shí)驗(yàn)，最終選擇基于多重分形和對比度自適應(yīng)直方圖均衡的圖像增強(qiáng)算法進(jìn)行超聲影像數(shù)據(jù)集的增強(qiáng)。

多重分形技術(shù)是增強(qiáng)醫(yī)學(xué)圖像和提取紋理特征的有效工具。多重分形技術(shù)中，最常用的4 種強(qiáng)度度量分別是：求和度量、最大度量、逆最小度量和iso度量。與其他3 個度量相比，逆最小度量在對斑點(diǎn)濾波過后的超聲圖片進(jìn)行增強(qiáng)操作時，其處理后的圖片在紋理特征等方面表現(xiàn)更好，因此本文在多重分形中使用逆最小度量。

將多重分形度量表示為μw(ρ)，其中ρ是大小為w的方形窗口內(nèi)的中心像素。令g(k,l)表示窗口內(nèi)(k,l)處像素的強(qiáng)度值，且 Ω表示窗口的中心像素ρ的所有鄰近像素的集合。

計算多重分形特征的第一步是Holder 指數(shù)α的估計。最小強(qiáng)度度量遵循逆冪定律，并給出α的負(fù)值。然后將計算出的最小值相對于最大強(qiáng)度值求反，以獲得具有所需縮放屬性的最小逆度量值：

令圖像中每個像素點(diǎn)的強(qiáng)度代表原始圖像中相應(yīng)點(diǎn)的Holder 指數(shù)，得到與原始圖像大小相同的α圖像。為了生成α切片，選擇圖像中屬于α值特定范圍(αmin,αmax)的像素，并縮放其強(qiáng)度值。通過多重分形獲得的輸出特征增強(qiáng)圖像在乳腺超聲掃描圖像中得到了改善。從圖1 為多重分形圖像增強(qiáng)效果比較圖。圖1a 為斑點(diǎn)濾波過后的乳腺超聲圖像，圖1b 為多重分形(中心)的α圖像，圖1c 為使用多重分形測量值的增強(qiáng)型乳腺超聲圖像。圖1b 可以看出，將圖像多重分解為α圖像可用于表征超聲圖像中的解剖結(jié)構(gòu)及各種形狀和紋理特征。

圖1 多重分形圖像增強(qiáng)效果圖

表2 為定量增強(qiáng)效果評價表。從表2 可以看出，本文采用的基于多重分形和對比度自適應(yīng)直方圖均衡的圖像增強(qiáng)算法(Clahe+Mfrac)，在結(jié)構(gòu)相似性指標(biāo)(structural similarity index metric, SSIM)、邊緣保持系數(shù)(edge preservation index, EPI)和通用質(zhì)量指標(biāo)(universal quality index, UQI)這3 個指標(biāo)上較其他兩種方法效果更好。圖2 為應(yīng)用多重分形和對比度自適應(yīng)直方圖均衡增強(qiáng)算法后的超聲造影效果圖。

表2 定量增強(qiáng)效果評價表

圖2 多重分形和對比度自適應(yīng)直方圖均衡增強(qiáng)效果圖

3)圖像關(guān)鍵幀提取

本文采用mean shift 聚類算法對原始視頻進(jìn)行關(guān)鍵幀選取。將包含良性(150 例)和惡性(150 例)的多張乳腺超聲視頻進(jìn)行均值化處理后，對每5 幀圖片進(jìn)行距離可視化，得到圖3 所示的結(jié)果。

圖3 乳腺超聲圖像關(guān)鍵幀提取算法聚類結(jié)果

算法步驟：

1)從視頻幀序列中選取中間一幀作為起始關(guān)鍵幀；

2)計算出當(dāng)前關(guān)鍵幀與其前面所有圖像和后面所有圖像的相似度，得到前后平均相似度的值；

3)將當(dāng)前關(guān)鍵幀沿著平均相似度值大的方向移動，移動的距離為移動方向所有圖像數(shù)量的一半，修改當(dāng)前關(guān)鍵幀；

4)重復(fù)步驟2)和步驟3)，直到當(dāng)前關(guān)鍵幀與其前后圖像平均相似度值差距很小，即目前的關(guān)鍵幀為最后算法選取的關(guān)鍵幀。

為了量化評價mean shift 聚類算法對乳腺超聲視頻關(guān)鍵幀提取的有效性，引入兩個量化指標(biāo)：視頻保真度和視頻壓縮率。其中，保真度是提取的關(guān)鍵幀中所能表達(dá)的視頻包含的有效信息。壓縮率則是提取的關(guān)鍵幀總數(shù)與原始視頻總幀數(shù)之比。將所有視頻分類送入該算法并計算結(jié)果的平均值，得到mean shift 聚類算法的關(guān)鍵幀提取結(jié)果，如表3所示。

表3 乳腺超聲圖像關(guān)鍵幀提取算法聚類結(jié)果

2.2 損失函數(shù)設(shè)計

本文通過將最小超球形能量MHE[7]與AAM loss[6]相結(jié)合，提出一種新的混合損失函數(shù)。下面分別介紹附加角邊距損失、MHE 與混合損失。

1)附加角邊距損失

附加角邊距損失AAM 函數(shù)是在傳統(tǒng)softmax損失函數(shù)[14]的基礎(chǔ)上改進(jìn)得到的。傳統(tǒng)的softmax損失函數(shù)可表示為：

式中，xi∈Rd表示第i 個樣本的深度特征；Wj∈Rd表示權(quán)重W ∈Rd×n的第j 列；bj∈Rn是偏置項(xiàng)。

但是，Softmax 損失函數(shù)由于缺少明確的優(yōu)化嵌入式特征，無法為類內(nèi)樣本提供更高的相似度，為類間樣本提供更高的多樣性，導(dǎo)致當(dāng)類內(nèi)樣本的外觀差距較大時，圖像識別的性能降低。而AAM函數(shù)在 xi和 Wyi之間增加了附加的角度損失m，可以同時增強(qiáng)類內(nèi)部的緊湊性和類間的差異：

2) MHE

分類器神經(jīng)元是每個類特征簇的近似中心。輸出層的全空間MHE 使得分類器神經(jīng)元在超球體上分布更均勻，可以有效地改善類間特征的可分離性。MHE 將原始卷積視為角函數(shù)g(θ)=cos(θ)和幅度函數(shù)的乘積：

式中， θ是輸入x 和核w 之間的角度?？梢钥闯?，核的方向和核的范數(shù)對內(nèi)積相似性有著不同的影響。通常，可以通過最小化l2范數(shù)來規(guī)范化權(quán)重衰減，但是內(nèi)核的方向并沒有被規(guī)范化。因此，使用MHE 來規(guī)范化內(nèi)核角度：

式中，xi是進(jìn)入輸出層的第i 個樣本的特征；wiout是輸出全連接層中第i 個類的分類器神經(jīng)元，且

式中，m 是最小batch 的大??；c 是類別數(shù)目；M是分類器神經(jīng)元的數(shù)量；xi表示第i 個圖片的深度特征(是其真實(shí)的標(biāo)簽)；wiout是第i 個分類器的神經(jīng)元。

3)融合損失函數(shù)

通過以上分析和大量實(shí)驗(yàn)驗(yàn)證，AAM loss 的主要作用是減小類內(nèi)距離，而MHE 可以顯著增加類間的間距。因此，本文將MHE 和AAM 進(jìn)行融合，形成新的損失函數(shù)。

正則化項(xiàng)定義為：

式(10)展開可表示為：

上述融合損失函數(shù)可以進(jìn)一步增加學(xué)習(xí)特征的角余量，減少類內(nèi)距離，分類效果顯著改善。

2.3 病理信息提取

從超聲及造影圖片或視頻中提取結(jié)節(jié)病理信息，對于醫(yī)學(xué)診斷具有重要意義。并且在本文所研究的乳腺超聲自動診斷課題中，結(jié)節(jié)病理信息可以作為乳腺超聲圖片良惡性判斷的依據(jù)。有時原始數(shù)據(jù)中的病理信息可能存在缺失的情況，且很多目前公開的醫(yī)學(xué)超聲圖像數(shù)據(jù)集中基本都未包含與其相應(yīng)的病理信息。因此，探究對乳腺超聲診斷有意義的病理信息并從超聲圖片中將其提取出來對乳腺超聲圖片的診斷具有重要的意義。

對于從圖片中提取的病理信息如表4 所示，包括3 個方面的工作。

表4 病理信息提取技術(shù)表

1)基于多標(biāo)簽分類的病理提取

基于多標(biāo)簽的乳腺造影圖片病理信息的提取主要包含以下內(nèi)容：增強(qiáng)均勻性(類別：均勻、不均勻)、蟹足征(類型：有、無)、滋養(yǎng)血管(類型：無、有)、增強(qiáng)后邊界(清楚、不清楚、難以分辨)和增強(qiáng)后形態(tài)(規(guī)則、不規(guī)則、難以分辨)。這些基于乳腺造影圖片的病理信息被認(rèn)為是對良惡性判斷非常有幫助的病理信息[15]。首先通過已有的文本格式的病理信息對數(shù)據(jù)集進(jìn)行多標(biāo)簽標(biāo)記，然后將訓(xùn)練數(shù)據(jù)集作為多標(biāo)簽分類的訓(xùn)練數(shù)據(jù)集進(jìn)行分類并用測試數(shù)據(jù)集對分類結(jié)果進(jìn)行定量分析，分析結(jié)果如表5所示。

表5 良性和惡性乳腺病變形態(tài)特征的比較

2)增強(qiáng)后病灶范圍提取

由于增強(qiáng)后病灶范圍的特征描述的是通過造影(超聲增強(qiáng))后的圖像病灶范圍的大小相比于普通超聲圖像中的病灶范圍的變化情況。因此單獨(dú)使用超聲圖像或造影圖像都不能得出針對該病理特征的正確結(jié)論。同時，有相關(guān)研究發(fā)現(xiàn)，增強(qiáng)后病灶范圍擴(kuò)大特征與惡性病灶的相關(guān)性更高[15]。因此，本文同時使用到了病灶定位和病灶區(qū)分割技術(shù)。病灶區(qū)分割技術(shù)采用Mask-RCNN[16]。首先分別輸入超聲圖片和其對應(yīng)的造影圖片，使用病灶區(qū)定位及分割技術(shù)，確定病灶范圍；然后分別通過分割結(jié)果(結(jié)節(jié)形狀掩碼)進(jìn)行計算；最后對計算出的超聲病灶范圍和其對應(yīng)的造影病灶范圍進(jìn)行判斷，確定病灶區(qū)范圍(擴(kuò)大/縮小/不變)。

病灶區(qū)分割結(jié)果如圖4 所示，其中第一列為原始圖像，第二列為實(shí)際病灶區(qū)掩碼，即標(biāo)簽，第三列為分割結(jié)果。

圖4 病灶區(qū)分割結(jié)果示例

3)增強(qiáng)強(qiáng)度及增強(qiáng)時相后的病理特征提取

增強(qiáng)強(qiáng)度和增強(qiáng)時相這兩個病灶特征是通過分析造影視頻得出的。增強(qiáng)強(qiáng)度是指病灶區(qū)相對于其他正常區(qū)域達(dá)到最亮的峰值高低，而增強(qiáng)時相則表征病灶區(qū)相對于其他正常區(qū)域增強(qiáng)的快慢。如圖5 所示，該圖為某醫(yī)院的設(shè)備中，將造影視頻的亮暗信息進(jìn)行分析后所繪制的波形圖。其中圖5a 中的惡性病灶顯示出增強(qiáng)時相快進(jìn)、高增強(qiáng)的特征，而圖5b 中的良性病灶顯示出增強(qiáng)時相慢進(jìn)、低增強(qiáng)的特征。

針對這兩個病灶特征的提取流程為：首先，分析整個視頻的病灶區(qū)域并記錄下病灶區(qū)平均亮度的最大值p 和到達(dá)該值時的時間值t，然后通過斜率k 和峰值p 的經(jīng)驗(yàn)閾值對其進(jìn)行判斷分析。

k 值的計算方式為：

圖5 增強(qiáng)時相和增強(qiáng)強(qiáng)度示例圖

圖5a 中的病灶區(qū)的平均亮度最大值為15.63，到達(dá)該值的時間為12.33 s，通過式(12)得到k值為1.27[17]。由于不同的醫(yī)生可能存在不同的經(jīng)驗(yàn)閾值，針對本文實(shí)驗(yàn)的數(shù)據(jù)，設(shè)定經(jīng)驗(yàn)閾值為0.74。

對于增強(qiáng)強(qiáng)度及增強(qiáng)時相后的病理特征，采用醫(yī)生的經(jīng)驗(yàn)值作為算法的經(jīng)驗(yàn)閾值。該經(jīng)驗(yàn)值即為：將病灶區(qū)域與病灶周圍的其他正常區(qū)域(兩個區(qū)域的組織結(jié)構(gòu)盡可能保持一致，且區(qū)域范圍由醫(yī)生標(biāo)注)相比較。根據(jù)良惡性腫瘤的一般特性，如果病灶區(qū)域的增強(qiáng)時相比正常區(qū)域更快，且其增強(qiáng)強(qiáng)度更高則其病灶為惡性的概率則更大，反之亦然。另外，為了盡量減少非相關(guān)變量對結(jié)果的影響，算法還對該區(qū)域進(jìn)行了歸一化操作(結(jié)果除以該區(qū)域的面積)。根據(jù)該經(jīng)驗(yàn)閾值進(jìn)行計算后的準(zhǔn)確率結(jié)果分析顯示在表5 中。

2.4 異構(gòu)多分支超聲圖像識別網(wǎng)絡(luò)

調(diào)研發(fā)現(xiàn)，目前已有的針對超聲圖片良惡性診斷的研究仍然存在以下局限性：

1)現(xiàn)有的大多數(shù)研究僅基于乳腺超聲圖像，因此獲得的結(jié)果很大程度上依賴于輸入圖像的質(zhì)量。本文提出的方法將超聲圖像與相應(yīng)的造影圖像相結(jié)合，增加了乳腺病變的信息量，為神經(jīng)網(wǎng)絡(luò)的特征提取提供了更豐富的信息。

2)目前所做研究大多數(shù)都沒有使用醫(yī)生的經(jīng)驗(yàn)信息，例如病人或病灶的描述信息等。本文提出的方法以醫(yī)學(xué)專業(yè)知識為基礎(chǔ)，將臨床上針對良惡性判別最有效的病理特征提取到網(wǎng)絡(luò)中，進(jìn)一步提高了分類的準(zhǔn)確性。

針對目前研究工作的不足，本文提出了一種端到端的乳腺超聲自動結(jié)節(jié)分類模型。該模型用于乳腺超聲圖像的良性和惡性分類的異構(gòu)多分支網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過將醫(yī)學(xué)知識作為非圖像信息，和經(jīng)過數(shù)據(jù)預(yù)處理的超聲圖像信息一起輸入異構(gòu)多分支網(wǎng)絡(luò)，提高了乳腺超聲診斷的準(zhǔn)確率。

本文實(shí)驗(yàn)所采取的技術(shù)路線如圖6 所示。

圖6 異構(gòu)多分支超聲良惡性分類實(shí)驗(yàn)技術(shù)路線圖

分類步驟分為3 步：1) HMBN 網(wǎng)絡(luò)采用ResNet作為主干網(wǎng)，其中，兩個分支采用Rsenet50 用于提取超聲圖像和造影圖像的特征。即將大小為224×224 的超聲圖片和造影圖片通過網(wǎng)絡(luò)中步長為2、大小為3×3 的卷積核和全局平均池化層操作，得到7×7 的特征圖以及具有Softmax 的全連接的分類層。為了避免瓶頸，當(dāng)特征圖的空間大小變化時，特征的數(shù)量將增加一倍。每次卷積后，應(yīng)用batch 歸一化和ReLU 函數(shù)。

2) 對于單獨(dú)的用于處理非圖像信息的分支，使用一個全連接層將非圖像信息(包含患者的年齡和病灶的病理特征(如表5 中6 項(xiàng)造影病理信息所示))所構(gòu)成的特征矢量的長度從7 轉(zhuǎn)換到2 048。對于用于提取圖像特征的分支，使用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練得到的模型，在模型輸出時去掉最后一個卷積層，得到長度為2 048 的特征向量。

3) 通過相加運(yùn)算和一個全連接層對3 個異構(gòu)網(wǎng)絡(luò)的分支結(jié)果進(jìn)行融合，使用本文提出的MHE 和AMM 的融合損失函數(shù)得到最終的診斷分類結(jié)果。

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集介紹

本文實(shí)驗(yàn)所用的數(shù)據(jù)集來源于四川省的若干個醫(yī)療機(jī)構(gòu)，由各醫(yī)療機(jī)構(gòu)的超聲科采集的乳腺超聲科室提供。原始的乳腺超聲數(shù)據(jù)集中包含3 種不同格式的視頻文件，其中每個視頻文件分別包含超聲圖像和相應(yīng)的造影文件，以及與超聲造影視頻文件相對應(yīng)的乳腺詳細(xì)病理報告。不同醫(yī)院所用設(shè)備不同，因此所采集的圖像的分辨率和噪聲情況等都略有不同。

綜上所述，本實(shí)驗(yàn)所用乳腺超聲數(shù)據(jù)集包含791 例良性病例和572 例惡性病例，每個病例通過視頻關(guān)鍵幀提取技術(shù)抽取了包含100～200 張超聲圖像和相應(yīng)的造影圖像和與其對應(yīng)的病理報告。然后將數(shù)據(jù)集分為3 個獨(dú)立的數(shù)據(jù)集，分別是包含1 166個樣本集的訓(xùn)練集、包含102 個樣本集的驗(yàn)證集和包含95 個樣本集的測試集。其分配比例基本按照10∶1∶1 的關(guān)系進(jìn)行隨機(jī)抽取。表6 中顯示了該數(shù)據(jù)集的詳細(xì)信息。

表6 乳腺超聲病例數(shù)據(jù)集

其中，該數(shù)據(jù)集的病理報告組成有：研究中心基本情況、病灶基本資料(如為多發(fā)病灶等)——灰階超聲、患者基本資料(包含患者年齡、性別、民族、身高及體重等)、CEUS、超聲造影增強(qiáng)模式定性數(shù)據(jù)、乳腺鉬靶、MRI、穿刺活檢病理、術(shù)后病理、隨訪內(nèi)容、其他情況。

3.2 病理信息提取結(jié)果

為選取最適合乳腺超聲數(shù)據(jù)病理信息提取的多標(biāo)簽分類的網(wǎng)絡(luò)模型，本文基于乳腺超聲數(shù)據(jù)集分別對CNN-RNN 多標(biāo)簽分類技術(shù)[18]、GCN 多標(biāo)簽分類技術(shù)[19]及VGG16 多標(biāo)簽分類技術(shù)[20]進(jìn)行多標(biāo)簽提取的實(shí)驗(yàn)。為了驗(yàn)證本文所設(shè)計的基于造影視頻的增強(qiáng)強(qiáng)度和增強(qiáng)時相特征的提取，以及基于乳腺超聲圖片和其對應(yīng)的造影圖片的增強(qiáng)后病灶范圍特征提取的有效性，分別做了準(zhǔn)確率的驗(yàn)證實(shí)驗(yàn)。本將主要針對基于多標(biāo)簽分類的病理提取技術(shù)的實(shí)驗(yàn)結(jié)果和其他病理信息的提取實(shí)驗(yàn)結(jié)果進(jìn)行比較和分析。

1)基于多標(biāo)簽分類的病理提取技術(shù)實(shí)驗(yàn)

為了提取乳腺超聲圖片中的病理特征(增強(qiáng)均勻性、蟹足征、滋養(yǎng)血管、增強(qiáng)后邊界和增強(qiáng)后形態(tài))，綜合考慮算法時間復(fù)雜度、準(zhǔn)確率、發(fā)表時間等因素分別篩選出3 個網(wǎng)絡(luò)進(jìn)行多標(biāo)簽分類的訓(xùn)練和測試實(shí)驗(yàn)：CNN-RNN 網(wǎng)絡(luò)，GCN 網(wǎng)絡(luò)和VGG16網(wǎng)絡(luò)。這3 種網(wǎng)絡(luò)下的分類實(shí)驗(yàn)結(jié)果如表7 所示。表中顯示了多個標(biāo)簽累計分類結(jié)果的準(zhǔn)確率、敏感性及特異性。

表7 多標(biāo)簽分類網(wǎng)絡(luò)病理信息提取實(shí)驗(yàn)結(jié)果

由表7 可知，CNN-RNN 網(wǎng)絡(luò)、基于GCN 的網(wǎng)絡(luò)及VGG16 這3 種網(wǎng)絡(luò)的準(zhǔn)確率都有待提高，其中表現(xiàn)最佳的是CNN-RNN 網(wǎng)絡(luò)。為了驗(yàn)證從超聲圖片中提取的病理信息可以有效提升分類的準(zhǔn)確率，將通過上述3 種網(wǎng)絡(luò)提取的結(jié)果輸入到只包含超聲圖片和造影圖片的HMBN 二分支網(wǎng)絡(luò)中，進(jìn)行分類結(jié)果的對比，其實(shí)驗(yàn)結(jié)果如表8所示。

表8 不同多標(biāo)簽分類網(wǎng)絡(luò)結(jié)果對HMBN 良惡性分類結(jié)果的影響

由表8 可知，由于VGG16 網(wǎng)絡(luò)所提取的病理特征在良惡性分類時的準(zhǔn)確率較低，無法對分類效果進(jìn)行改善，甚至對網(wǎng)絡(luò)有反向的抑制作用。而基于GCN 的網(wǎng)絡(luò)和基于CNN-RNN 的方法在加入HMBN 的二分支網(wǎng)絡(luò)后，準(zhǔn)確率有了明顯提升，而CNN-RNN+二分支網(wǎng)絡(luò)的分類準(zhǔn)確率最高，達(dá)到83.24%。因此，本文后續(xù)實(shí)驗(yàn)選用CNN-RNN網(wǎng)絡(luò)對超聲圖片內(nèi)的病灶特征進(jìn)行提取。

2)其他病理信息提取技術(shù)實(shí)驗(yàn)

其他病理信息提取涉及增強(qiáng)后病灶范圍(enhanced lesion range, ELR)、增強(qiáng)時相(enhanced phase, EP)及增強(qiáng)強(qiáng)度(enhanced strength, ES)這3個病理特征的提取?？紤]到在醫(yī)院的數(shù)據(jù)分析儀器中，增強(qiáng)強(qiáng)度和增強(qiáng)時相的定義與造影圖片亮度值變化曲線的峰值和斜率相關(guān)，因此本文認(rèn)為利用該定義進(jìn)行特征提取可以獲得很好的效果，如表9所示。

表9 其他病理信息提取結(jié)果

為了驗(yàn)證該方法提取到的增強(qiáng)后病灶范圍、增強(qiáng)時相及增強(qiáng)強(qiáng)度這3 個特征對多分支網(wǎng)絡(luò)進(jìn)行乳腺良惡性分類結(jié)果的影響，分別在訓(xùn)練集和測試集上做了訓(xùn)練和測試，其中包含兩個方面的實(shí)驗(yàn)：1) 提取得到的增強(qiáng)后病灶范圍、增強(qiáng)時相及增強(qiáng)強(qiáng)度這3 個特征相對于二分支網(wǎng)絡(luò)的作用；2) 結(jié)合CNNRNN 網(wǎng)絡(luò)所提取的其他病理特征和這3 個特征共同作用下相對于二分支網(wǎng)絡(luò)的分類作用，實(shí)驗(yàn)結(jié)果如表10 所示。

表10 提取的病理特征對二分支網(wǎng)絡(luò)良惡性分類的影響

從表10 可以看出，利用本文設(shè)計的其他病理信息提取技術(shù)提取的增強(qiáng)后病灶范圍、增強(qiáng)時相及增強(qiáng)強(qiáng)度這3 個特征對網(wǎng)絡(luò)具有積極改善的作用，且將其與利用CNN-RNN 網(wǎng)絡(luò)所提取的超聲圖片中的特征相結(jié)合后，對異構(gòu)多分支網(wǎng)絡(luò)中良惡性腫瘤的的識別性能有明顯改善。但是其84.7%的分類準(zhǔn)確率相較于表1 中采用HMBN 網(wǎng)絡(luò)得到的92.41%的準(zhǔn)確率仍有很大的改進(jìn)空間。

3.3 實(shí)驗(yàn)分析

3.3.1 HMBN 實(shí)驗(yàn)過程

針對超聲圖像分支，輸入圖像大小為224×224，當(dāng)Resnet50 網(wǎng)絡(luò)在con2_x 提取圖像特征時，卷積核為3×3，輸入的特征圖大小為56×56×64，輸出的特征圖大小為28×28×128，其過程如圖7 所示。

圖7 超聲分支網(wǎng)絡(luò)特征提取圖

在訓(xùn)練過程中，每一個epoch 中取出其中3 個階段的精確值和損失函數(shù)的值，得到訓(xùn)練精度變化曲線和loos 變化曲線，如圖8 所示。從圖中可以看出在第125 個epoch 左右收斂。

圖8 訓(xùn)練精確度和loss 變化情況

3.3.2 不同數(shù)目分支分類效果對比實(shí)驗(yàn)

為了驗(yàn)證本文提出的異構(gòu)多分支網(wǎng)絡(luò)的有效性，分別對以下4 個不同結(jié)構(gòu)的網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)并進(jìn)行比較和分析：

1) Single-Stream net_1，即僅使用一個ResNet-50 網(wǎng)絡(luò)。它的輸入圖像是通過超聲圖像及其對應(yīng)的對比度增強(qiáng)超聲圖像的拼接形成的；

2) Single-Stream net_2，其主干網(wǎng)絡(luò)結(jié)構(gòu)與Single-stream net_1 的網(wǎng)絡(luò)相同，但該網(wǎng)絡(luò)的輸入圖像僅是超聲圖像；

3) Two-Stream network，該網(wǎng)絡(luò)的主干網(wǎng)絡(luò)是ResNet50，它是具有兩個單獨(dú)的圖片特征提取網(wǎng)絡(luò)的雙流網(wǎng)絡(luò)，可同時處理超聲圖像和其相應(yīng)的造影圖像，但是沒有添加處理非圖像的病理特征的分支網(wǎng)絡(luò)。

4) HMBN 網(wǎng)絡(luò)，即本文提出的網(wǎng)絡(luò)，是同時使用圖像特征和非圖像特征的異構(gòu)多分支網(wǎng)絡(luò)。

這4 個網(wǎng)絡(luò)的對比實(shí)驗(yàn)結(jié)果如表11 所示。

表11 不同網(wǎng)絡(luò)結(jié)構(gòu)準(zhǔn)確率比較

從實(shí)驗(yàn)結(jié)果可以看出，同時使用了超聲圖像、造影圖像和非圖像信息的病理特征的HMBN 網(wǎng)絡(luò)的識別準(zhǔn)確率最高，達(dá)到92.41%。證明造影圖像和非圖像的病理特征對提高乳腺超聲診斷的準(zhǔn)確性具有積極的作用。

3.3.3 損失函數(shù)對比實(shí)驗(yàn)

為了驗(yàn)證本文設(shè)計的融合損失函數(shù)對乳腺超聲診斷的異構(gòu)多分支網(wǎng)絡(luò)的有效性，進(jìn)行了多組比較實(shí)驗(yàn)。首先，將廣泛使用的原始Softmax 損失函數(shù)用作參考實(shí)驗(yàn)，然后將附加角邊距損失函數(shù)作為第一組對比實(shí)驗(yàn)，將SphereFace +損失函數(shù)作為第二組對比實(shí)驗(yàn)，而將本文設(shè)計的融合損失函數(shù)作為第三組對比實(shí)驗(yàn)。最終的實(shí)驗(yàn)結(jié)果如表12 所示。

表12 不同損失函數(shù)分類效果比較

從表12 可以看出，本文所提出的融合損失函數(shù)具有最佳的表現(xiàn)，其測試集的準(zhǔn)確率達(dá)到92.41%。

3.3.4 與其他方法的對比實(shí)驗(yàn)

目前針對乳腺超聲圖像良惡性分類效果最好的方法有兩種：1) 基于加權(quán)BI-RADS 的B-wBI[21]，該方法利用減少病理分級的方法解決分類中常見的分級失衡問題，進(jìn)而提高診斷性能。其中經(jīng)過加權(quán)訓(xùn)練的RF 分類器用于對提取的特征進(jìn)行分類；2)基于3D-CNN 的方法[22]。為了驗(yàn)證本文提出的HMBN方法與其他方法的對比實(shí)驗(yàn)效果，將上述3 種方法在數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，由于B-wBI 和3D-CNN兩種方法均未使用造影圖像、年齡以及病理信息等非圖像信息，因此實(shí)驗(yàn)中僅將超聲圖像構(gòu)造為以上兩種方法的訓(xùn)練和測試數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果如表13所示。

表13 HMBN 與最新技術(shù)分類準(zhǔn)確性的比較

在準(zhǔn)確性方面，HMBN 的準(zhǔn)確性比B-wBI 方法提高了0.52%，但略低于3D-CNN。原因在于3D-CNN 直接處理視頻，考慮了超聲視頻中時間維度信息，而HMBN 方法在融合病理信息時雖然也引入了與時間相關(guān)的增強(qiáng)強(qiáng)度和增強(qiáng)時相等病理特征，但是并不能將時間維度上的信息完全利用，所以導(dǎo)致HMBN 的分類準(zhǔn)確率略低于3D-CNN。但是3D-CNN 對圖像質(zhì)量要求較高，目前符合其要求的醫(yī)學(xué)超聲圖像并不多，而HMBN 由于采取了前期的數(shù)據(jù)預(yù)處理，更適合現(xiàn)有的數(shù)據(jù)集，具有更好的普遍適用性。

4 結(jié) 束 語

本文的工作主要分為3 點(diǎn)：1) 通過對乳腺超聲圖像去噪和圖像增強(qiáng)操作在一定程度上改善了超聲圖像的質(zhì)量；2) 提出了一種異構(gòu)多分支網(wǎng)絡(luò)，將3 個針對良惡性診斷相關(guān)度較高的信息(即超聲圖像、造影圖像和包括患者年齡的非圖像信息)和其他6 個病理信息結(jié)合在一起進(jìn)行乳腺超聲影像的良惡性分類的網(wǎng)絡(luò)模型；3) 基于最小超球面能量和附加角邊距損失的融合提出了一種新的損失函數(shù)。實(shí)驗(yàn)結(jié)果表明，上述工作對于提升乳腺良惡性分類的性能和準(zhǔn)確率都有積極的效果，其最終識別準(zhǔn)確率在目前最新的分類算法中名列前茅。