基于卷積神經(jīng)網(wǎng)絡(luò)和多信息融合的三維乳腺超聲分類方法

孔小函 檀 韜 包凌云 王廣志#*

1(清華大學(xué)醫(yī)學(xué)院生物醫(yī)學(xué)工程系，北京 100084) 2(埃因霍溫理工大學(xué)生物醫(yī)學(xué)工程系，埃因霍溫 5162wh) 3(杭州市第一人民醫(yī)院超聲影像科，杭州 310006)

引言

乳腺癌是嚴(yán)重危害女性健康的惡性腫瘤之一。據(jù)美國癌癥協(xié)會(ACS)2012年公布的數(shù)據(jù)顯示[1]，乳腺癌是全世界女性中被診斷最多的癌癥類型，也是女性癌癥致死的主要原因。在2012年的所有女性癌癥病例中，乳腺癌所占比例高達(dá)25%。早期檢查可以及時發(fā)現(xiàn)乳腺異常，增加治療選擇。超聲成像是臨床上常用的乳腺影像學(xué)檢查方式，但是目前手動超聲用于乳腺癌篩查尚存在一些問題：一是操作者依賴性，可重復(fù)性差；二是無法建立標(biāo)準(zhǔn)的篩查流程。近年來，一種新的自動乳腺全容積超聲成像(automated breast volume scanner，ABVS)技術(shù)開始進(jìn)入臨床，它采用超寬探頭自動完成對整個乳腺的掃描，并且可以生成標(biāo)準(zhǔn)化的三維超聲圖像，可以從不同切面對同一病變進(jìn)行全面的觀察，為醫(yī)生的診斷提供了更多的信息。相關(guān)臨床試驗(yàn)證明，這種超聲掃描技術(shù)具有診斷準(zhǔn)確度高、操作者無關(guān)性和三維可視化等優(yōu)點(diǎn)，是一種有前途的乳腺成像模式[2]。

醫(yī)生往往需要根據(jù)超聲圖像對乳腺腫瘤進(jìn)行良惡性的評估，而評估的結(jié)果是進(jìn)一步確定治療方案的重要前提。但是目前通過超聲圖像判斷腫瘤的良惡性十分依賴于醫(yī)生的個人經(jīng)驗(yàn)，若能建立相關(guān)的計算機(jī)輔助診斷(computer-aided diagnosis，CAD)系統(tǒng)用于進(jìn)行乳腺腫瘤的輔助分類，對于提高臨床上的診斷效率和降低誤診率都具有重要的意義[3]。

乳腺超聲圖像分類是一項(xiàng)非常具有挑戰(zhàn)性的工作：一是超聲成像質(zhì)量較差，圖像往往包含較多噪聲，給自動分類診斷增加了難度；二是目前尚缺乏大型公開且已標(biāo)記的乳腺超聲圖像數(shù)據(jù)集，給算法的研究和測試帶來了一定的困難。目前醫(yī)學(xué)圖像分類的常用方法可以分為兩種，一種是基于手工特征的分類方法，另一種是基于深度學(xué)習(xí)的分類方法。

傳統(tǒng)的分類方法一般包含4個階段：圖像預(yù)處理、圖像分割、特征提取和選擇、分類[3]。其中，越有代表性的特征往往意味著更好的分類結(jié)果，所以特征的設(shè)計[4]和選擇[5]一直是研究的熱點(diǎn)。在三維乳腺超聲領(lǐng)域，Moon等提取形狀、橢球擬合等三維特征用于腫瘤良惡性的分類[6]；Tan等研究了冠狀面上的毛刺特征對于分類性能的提升[7]，他們都利用了三維乳腺超聲上獨(dú)有的特征來提高分類精度。但是，傳統(tǒng)分類方法的流程較為復(fù)雜，而且特征的提取和選擇尚沒有通用的標(biāo)準(zhǔn)，方法的泛化能力較差。

近幾年，深度學(xué)習(xí)[8]技術(shù)在自然圖像的分類問題中取得了突破性進(jìn)展[9-11]。不同于傳統(tǒng)方法，深度學(xué)習(xí)不需要經(jīng)歷人工設(shè)計的目標(biāo)檢測、目標(biāo)分割、特征提取等步驟，而是直接輸入圖像和圖像標(biāo)簽，有監(jiān)督地學(xué)習(xí)出具有復(fù)雜參數(shù)的高級模型，從而對新輸入的圖像進(jìn)行預(yù)測。目前，將深度學(xué)習(xí)應(yīng)用在醫(yī)學(xué)圖像分類領(lǐng)域取得了一系列的成果[12]，在乳腺鉬靶和病理切片圖像中也得到了較為成功的應(yīng)用[13-16]。在乳腺超聲分類問題上，有關(guān)學(xué)者也開始嘗試使用深度學(xué)習(xí)方法來簡化分類流程，提高分類精度。Cheng等采用了一種堆棧式去噪自動編碼器(SDAE)對二維乳腺超聲圖像進(jìn)行分類，結(jié)果表明該種深度學(xué)習(xí)方法優(yōu)于基于紋理的傳統(tǒng)分類算法，達(dá)到了82.4%的準(zhǔn)確率[17]。Han等利用遷移學(xué)習(xí)技術(shù)，使用7 408幅二維超聲圖像進(jìn)行訓(xùn)練，達(dá)到了90%的準(zhǔn)確率，顯示了深度學(xué)習(xí)算法在臨床應(yīng)用上的潛力[18]。不過，上述研究均是將深度學(xué)習(xí)方法應(yīng)用于二維乳腺超聲圖像中，目前還沒有在三維乳腺超聲數(shù)據(jù)上應(yīng)用深度學(xué)習(xí)算法進(jìn)行分類的相關(guān)研究。

三維乳腺超聲的一個突出特點(diǎn)是比傳統(tǒng)手動超聲增加了冠狀面方向上的信息，是對橫截面信息的良好補(bǔ)充，臨床上也常用作診斷依據(jù)。但是，冠狀面圖像和橫截面圖像在腫瘤良惡性分類判別中的所占權(quán)重及作用尚不明確，如何融合不同切面的圖像信息來共同決定最終的分類判別仍是一個需要探究的問題。本研究采用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks， CNN)作為主要分類方法，設(shè)計了可以接受冠狀面和橫截面同時輸入并且通過后期融合進(jìn)行分類判斷的網(wǎng)絡(luò)結(jié)構(gòu)，評估了該融合方法對于分類性能的影響。除了圖像信息外，本研究還收集了每個病變的描述信息，設(shè)計了一種新穎的可以融合圖像信息和文本信息的網(wǎng)絡(luò)結(jié)構(gòu)，使得僅訓(xùn)練一個網(wǎng)絡(luò)模型就可以完成綜合所有信息的分類判別，提升了分類效率。

1 方法

1.1 數(shù)據(jù)及預(yù)處理

本研究使用的數(shù)據(jù)集來自于340位患者，其中圖像數(shù)據(jù)是通過西門子ACUSON S2000 ABVS和GE Invenia ABUS自動乳腺全容積超聲成像設(shè)備掃描獲得。圖像數(shù)據(jù)集一共包含了880幅圖像，其中12幅來自于GE ABUS設(shè)備，其余的均來自西門子ABVS設(shè)備。其中，良性病變圖像401幅，惡性病變479幅。病變良惡性的分類標(biāo)注來自醫(yī)生，且均經(jīng)過活檢確認(rèn)。此外，還收集了每幅圖上關(guān)于病變圖像特征描述的標(biāo)注信息。因此，數(shù)據(jù)的預(yù)處理主要包含兩個方面：圖像數(shù)據(jù)預(yù)處理和文本標(biāo)注預(yù)處理。

1)圖像數(shù)據(jù)預(yù)處理。圖像數(shù)據(jù)是三維數(shù)據(jù)，由于其特殊的成像方式，數(shù)據(jù)的每個維度具有不同的分辨率和像素數(shù)。隨機(jī)選取某幅圖像為例，其3個方向的像素數(shù)分別為718×446×565，像素間距依次是0.212×0.375×0.071(單位：mm/pixel)。本研究采用降采樣和線性插值的方式將各方向的像素間距均調(diào)整為0.25 mm/pixel，使圖像可以正常表現(xiàn)病變的實(shí)際形態(tài)和大小。然后根據(jù)醫(yī)生標(biāo)記的病變中心點(diǎn)坐標(biāo)，分別截取橫截面和冠狀面方向上的ROI(region of interest)圖像。因?yàn)閿?shù)據(jù)集中大多數(shù)腫瘤的尺寸分布在10～20 mm之間，且三維乳腺超聲的探測深度一般在40 mm左右，調(diào)整后的圖像像素間距為0.25 mm/pixel，所以本研究將ROI的大小設(shè)為140像素×140像素，實(shí)際大小為35 mm×35 mm，得到的示例圖像如圖1所示。

圖1 乳腺腫瘤的ROI圖像。(a)良性腫瘤的冠狀面ROI；(b)良性腫瘤的橫截面ROI；(c)惡性腫瘤的冠狀面ROI；(d)惡性腫瘤的橫截面ROIFig.1 ROI images of breast tumor. (a) Coronal ROI of benign tumor; (b) Transverse ROI of benign tumor; (c) Coronal ROI of malign tumor; (d) Transverse ROI of malign tumor

可以看到，橫截面和冠狀面的腫瘤形態(tài)和灰度分布表現(xiàn)存在一定的差異。由于三維乳腺超聲特殊的成像方式，探頭運(yùn)動方向上的分辨率較差，導(dǎo)致矢狀面方向上的圖像存在較嚴(yán)重的失真，臨床上醫(yī)生往往也不使用其作為診斷依據(jù)，故本研究后續(xù)不采用該方向上的圖像用于分類判斷。

2)文本標(biāo)注預(yù)處理。標(biāo)注信息是根據(jù)美國放射學(xué)會制定的BI-RADS(breast imaging reporting and data system)的標(biāo)準(zhǔn)病變描述。標(biāo)注信息由6個特征構(gòu)成，具體如表1所示。臨床中，醫(yī)師會根據(jù)圖像中腫瘤的表現(xiàn)來進(jìn)行標(biāo)注。在使用這些文本信息之前要進(jìn)行逐項(xiàng)轉(zhuǎn)換，先將各項(xiàng)描述轉(zhuǎn)換為表1中對應(yīng)的數(shù)字，再根據(jù)各項(xiàng)的數(shù)值范圍，將其進(jìn)行線性變換映射到[0,1]區(qū)間，作為該項(xiàng)標(biāo)注特征的描述。假設(shè)某項(xiàng)標(biāo)注為x，在該項(xiàng)描述中可取的最大值為max，則轉(zhuǎn)換公式為

f(x)=x/max

(1)

表1 BI-RADS標(biāo)注信息說明Tab.1 Description of BI-RADS annotations

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種前饋神經(jīng)網(wǎng)絡(luò)，能從一個二維圖像中提取其拓?fù)浣Y(jié)構(gòu)，采用反向傳播算法來優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，求解網(wǎng)絡(luò)中的未知參數(shù)。與其他深度學(xué)習(xí)結(jié)構(gòu)相比，卷積神經(jīng)網(wǎng)絡(luò)在圖像和語音識別方面能夠給出更好的結(jié)果。相比傳統(tǒng)的圖像處理算法，CNN避免了對圖像復(fù)雜的前期預(yù)處理過程(如提取人工特征等)，可以直接輸入原始圖像[19]，因而得到了更為廣泛的應(yīng)用。

目前經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有LeNet[20](1998年)、AlexNet[9](2012年)、GoogLeNet[10](2015年)、ResNet[11](2016年)。這些經(jīng)典的結(jié)構(gòu)都經(jīng)過了大量數(shù)據(jù)的測試與驗(yàn)證，往往具有更好的性能。一個卷積神經(jīng)網(wǎng)絡(luò)通常由以下5部分構(gòu)成：

1)輸入層。輸入層是整個網(wǎng)絡(luò)的輸入，負(fù)責(zé)載入圖像，用于后續(xù)的操作。

2)卷積層。通常包含多個卷積核，對輸入的圖像進(jìn)行濾波，并加上偏置(bias)，進(jìn)行特征的提取。多個不同的卷積核可以提取出多個特征，每一個卷積核映射出一個新的2D圖像。

3)激活函數(shù)層。將前面卷積核的濾波結(jié)果傳入非線性激活函數(shù)，使網(wǎng)絡(luò)具有非線性的表達(dá)能力，常用的激活函數(shù)有ReLU函數(shù)、Sigmoid函數(shù)等，其中ReLU函數(shù)的表達(dá)式為：

f(x)=max(0,x)

(2)

4)池化層。通過計算局部區(qū)域內(nèi)的最大值或平均值來表示區(qū)域的整體特征，實(shí)現(xiàn)圖像特征的降采樣，縮小特征矩陣的大小，以減少神經(jīng)網(wǎng)絡(luò)的參數(shù)量和計算量。目前一般使用最大池化(max pooling)來保留最顯著的特征。

5)全連接層。全連接層中前一層的任意一個節(jié)點(diǎn)，都和下一層的所有節(jié)點(diǎn)相連接，可以將提取的特征映射到樣本標(biāo)記空間，實(shí)現(xiàn)“分類器”的作用。

1.3 CNN模型設(shè)計

由于所處理的數(shù)據(jù)集較小，本研究采用搭建自己的網(wǎng)絡(luò)結(jié)構(gòu)并從頭訓(xùn)練的方法。由Yann LeCun提出的LeNet5[20]是最早發(fā)展的卷積神經(jīng)網(wǎng)絡(luò)之一，該網(wǎng)絡(luò)的提出也為深度學(xué)習(xí)的發(fā)展奠定了基礎(chǔ)。LeNet5的諸多特性依然在目前表現(xiàn)最優(yōu)的卷積神經(jīng)網(wǎng)絡(luò)中使用。所以本研究參考LeNet5的結(jié)構(gòu)，首先搭建了一個包含3個卷積層、3個全連接層的簡單網(wǎng)絡(luò)結(jié)構(gòu)，可以輸入二維圖像進(jìn)行訓(xùn)練，作為基本模型，稱作Single-Net，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 Single-Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The architecture of Single-Net

1)Single-Net。第1層為輸入層，可輸入單張的橫截面(transverse)或冠狀面(coronal)圖像；第2層為卷積層，共有32個大小為3×3的卷積核，步長(stride)為1，激活函數(shù)采用ReLU函數(shù)；第3層為最大池化層，使用max pooling方法進(jìn)行下采樣，感受野為3×3，步長為2；第4、5層分別重復(fù)2、3層的結(jié)構(gòu)；第6層為卷積層，共有64個大小為3×3的卷積核；第7層為最大池化層；第8層為全連接層，將上一層的輸出拉伸成一維之后映射到256個輸出節(jié)點(diǎn)上，同時進(jìn)行L2正則化來防止過擬合；第9層是全連接層，輸出節(jié)點(diǎn)為128，同時進(jìn)行L2正則化；第10層為全連接層，輸出節(jié)點(diǎn)為類別數(shù)2；最后通過Softmax函數(shù)將分類結(jié)果歸一化。

在三維乳腺超聲的實(shí)際應(yīng)用中，醫(yī)生會采用冠狀面和橫截面相結(jié)合的閱覽方式來進(jìn)行診斷。三維超聲重建冠狀斷面上所表現(xiàn)的匯聚征、不規(guī)則毛刺征及完整的界面回聲對乳腺腫瘤的鑒別診斷具有重要價值[21]。同時，橫截面上的形態(tài)和聲影等信息與冠狀面有較大的差異。根據(jù)這一特點(diǎn)，本研究嘗試設(shè)計了一種新的CNN網(wǎng)絡(luò)結(jié)構(gòu)，可以同時使用冠狀面和橫截面的ROI圖像用于分類判斷來提高準(zhǔn)確率。需要注意的是，冠狀面和橫截面的圖像特征存在較大差異，例如橫截面上的后方回聲，在冠狀面上并沒有體現(xiàn)。根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的原理，本研究設(shè)計了2個獨(dú)立的卷積結(jié)構(gòu)分別用于兩個截面的特征提取。特征提取完成后，將二者的結(jié)果相連接，利用全連接層實(shí)現(xiàn)特征的選取及權(quán)重優(yōu)化，從而完成雙圖像輸入的分類判斷。該網(wǎng)絡(luò)結(jié)構(gòu)稱為2Views-Net，具體結(jié)構(gòu)如圖3所示。

圖3 2Views-Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The architecture of 2Views-Net

2)2Views-Net。輸入層是將同一個三維數(shù)據(jù)的橫截面和冠狀面ROI圖像一起輸入模型，隨后的卷積部分與Single-Net的卷積部分(conv block)的結(jié)構(gòu)保持一致，卷積操作結(jié)束后將兩個輸出結(jié)果拉伸成一維向量，并進(jìn)行拼接合并，然后輸入全連接層部分，fc1共有512個神經(jīng)節(jié)點(diǎn)，fc2有256個神經(jīng)節(jié)點(diǎn)，最終完成分類。相比于Single-Net的全連接層，該結(jié)構(gòu)的前兩個全連接層中增加的節(jié)點(diǎn)是為了更好地適應(yīng)橫截面和冠狀面特征的合并。

同時，為了明確2Views-Net的融合效果，本研究還設(shè)計了一種概率融合的方式來綜合冠狀面和橫截面進(jìn)行分類判斷。首先使用訓(xùn)練集的冠狀面圖像在Single-Net上訓(xùn)練得到分類模型，記為Single-Net-Coronal；使用訓(xùn)練集的橫截面圖像在Single-Net上訓(xùn)練得到分類模型，記為Single-Net-Transverse。假設(shè)測試集中某一病變的冠狀面圖像在之前訓(xùn)練好的Single-Net-Coronal模型得到的預(yù)測概率為Pc，其橫截面圖像輸入Single-Net-Transverse模型得到的預(yù)測概率為Pt，將這兩個概率進(jìn)行融合得到最終的概率用于分類預(yù)測。該方法記為Probability fusion。該方法的流程如圖4所示。

圖4 Probability fusion流程Fig.4 The progress of probability fusion

3)Probability fusion。將病變冠狀面的預(yù)測概率Pc和橫截面的預(yù)測概率Pt，按照下進(jìn)行計算得到概率PM，作為最終的分類概率，有

PM=Pc×0.4+Pt×0.6

(3)

因?yàn)闄M截面圖像對病變的顯示比較清晰，同時也是臨床上主要采用的診斷依據(jù)，所以使其概率所占比重稍大一些。

標(biāo)注信息利用文本的形式對于乳腺腫瘤的重要特征進(jìn)行了描述，這些信息比圖像信息更加直接和明確，對于最終的良惡性判斷也有非常重要的參考價值。本研究嘗試將圖像信息和文本信息融合到同一個卷積網(wǎng)絡(luò)分類模型中。但是標(biāo)注信息不同于圖像信息，不需要進(jìn)行特征提取的操作，可以直接連接到全連接層用于分類?；?Views-Net的結(jié)構(gòu)，將降維后的圖像信息與標(biāo)注信息相連接用于最終的分類判斷，設(shè)計出第3種網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)稱為Multi-Net，具體結(jié)構(gòu)如圖5所示。

圖5 Multi-Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 The architecture of Multi-Net

4)Multi-Net。結(jié)構(gòu)大致與2Views-Net保持一致，但在fc1層，將fc1層的輸出和預(yù)處理之后的標(biāo)注信息進(jìn)行連接合并，變?yōu)?12+6的一維向量，然后輸入fc2層，最終進(jìn)行良惡性分類。

對比3個模型可以發(fā)現(xiàn)，模型的基本結(jié)構(gòu)保持一致，但輸入的信息依次增多，根據(jù)增加信息的特點(diǎn)，調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)適應(yīng)于多信息的融合，通過該種設(shè)計，可以研究使用CNN進(jìn)行信息融合的效果，并分析乳腺腫瘤分類問題中增加不同信息對提高腫瘤良惡性分類性能的影響。

1.4 實(shí)驗(yàn)設(shè)計

1.4.1數(shù)據(jù)集劃分與平衡

在進(jìn)行CNN的訓(xùn)練之前，需要將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，其中訓(xùn)練集用于網(wǎng)絡(luò)的訓(xùn)練，測試集用于評估模型的分類性能。需要注意的是，本研究所用數(shù)據(jù)集中一個病人通常會包含多幅掃描圖像，這些圖像之間往往具有一定的相關(guān)性。為了避免同一病變不同掃描視圖下的圖像間的相互影響，在劃分?jǐn)?shù)據(jù)集的時候，需要以病人為單位進(jìn)行劃分，而非以圖像為單位。同時還注意到數(shù)據(jù)存在良惡性不平衡現(xiàn)象，良性樣本的數(shù)量小于惡性樣本的數(shù)量。如果數(shù)據(jù)非線性可分，則這種不平衡會導(dǎo)致分類結(jié)果向數(shù)據(jù)較多的一方偏移[22]，從而影響分類器的性能。所以，在較少的良性病例中隨機(jī)采樣增加數(shù)據(jù)，使訓(xùn)練集中良惡性圖像數(shù)量一致，避免數(shù)據(jù)對模型分類結(jié)果造成偏差。

1.4.2訓(xùn)練方法

采用TensorFlow[22]深度學(xué)習(xí)框架進(jìn)行模型的搭建和數(shù)據(jù)的訓(xùn)練。在數(shù)據(jù)輸入時，由于數(shù)據(jù)量較小，所以對原始圖像進(jìn)行一些變換操作來實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，以提高網(wǎng)絡(luò)的魯棒性和分類性能。本研究主要采用兩種數(shù)據(jù)增強(qiáng)方式：一是對原始圖像進(jìn)行隨機(jī)裁剪，在140×140的圖像中隨機(jī)截取128×128的圖像；二是水平翻轉(zhuǎn)，將圖像的左右方向進(jìn)行翻轉(zhuǎn)。訓(xùn)練時，batch size設(shè)為64，初始學(xué)習(xí)率為0.000 1，每迭代100次進(jìn)行衰減，衰減率為0.96。loss的計算采用交叉熵(cross entropy)方法，優(yōu)化器算法使用Adam。訓(xùn)練次數(shù)為150個epoch。

將全部參數(shù)設(shè)置好后，為了避免數(shù)據(jù)集劃分對于實(shí)驗(yàn)結(jié)果的影響，對全部數(shù)據(jù)進(jìn)行5折交叉驗(yàn)證(5-fold cross validation)。先將數(shù)據(jù)集隨機(jī)均勻地分成5份，輪流將其中4份作為訓(xùn)練數(shù)據(jù)，1份作為測試數(shù)據(jù)，進(jìn)行實(shí)驗(yàn)。每次試驗(yàn)都會得出相應(yīng)的正確率，5次結(jié)果的正確率的平均值作為對算法精度的估計。本研究一共進(jìn)行了5次5折交叉驗(yàn)證實(shí)驗(yàn)，得到25組測試結(jié)果。通過計算各項(xiàng)評價指標(biāo)的平均值和標(biāo)準(zhǔn)差，以便對各個網(wǎng)絡(luò)模型的性能進(jìn)行客觀準(zhǔn)確的評估。

1.4.3評價標(biāo)準(zhǔn)

對于醫(yī)學(xué)圖像的分類問題，常用的評價標(biāo)準(zhǔn)有準(zhǔn)確率(accuracy)、敏感性(sensitivity)、特異性(specificity)、受試者工作特征曲線(receiver operating characteristic curve，ROC曲線)及AUC (area under ROC curve)。

針對一個二分類問題，將實(shí)例分成正類(positive,P)或者負(fù)類(negative,N)。但是實(shí)際中分類時，會出現(xiàn)4種情況：真正類(true positive，TP)，模型預(yù)測為正類的正樣本；假正類(false positive，F(xiàn)P)，模型預(yù)測為正類的負(fù)樣本；假負(fù)類(false negative，F(xiàn)N)，模型預(yù)測為負(fù)類的正樣本；真負(fù)類(true negative，TN)，被模型預(yù)測為負(fù)類的負(fù)樣本。

基于分類情況可以計算各個評價指標(biāo)：

1)準(zhǔn)確率(accuracy)

accuracy=(TP+TN)/(P+N)

(4)

準(zhǔn)確率是測試集中模型正確分類的樣本所占的比例，反映了模型的預(yù)測分類能力。

2)敏感性(sensitivity)

sensitivity=TP/(TP+FN)

(5)

敏感性是模型正確識別的正例數(shù)據(jù)在實(shí)際正例數(shù)據(jù)中所占的百分比，反映了模型對于正例數(shù)據(jù)的識別能力。

3)特異性(specificity)

specificity=TN/(TN+FP)

(6)

模型正確識別的負(fù)例數(shù)據(jù)在實(shí)際負(fù)例數(shù)據(jù)中所占的百分比，反映了模型對于負(fù)例數(shù)據(jù)的識別能力。

4)AUC

ROC曲線指受試者工作特征曲線或接收器操作特性曲線，是反映敏感性和特異性連續(xù)變量的綜合指標(biāo)。首先定義TPR(true positive rate)和FPR(false positive rate)，即

TPR=TP/P

(7)

FPR=FP/N

(8)

ROC曲線以FPR為橫軸、TPR為縱軸，最理想的分類情況是TPR=1，F(xiàn)PR=0。AUC(area under curve)被定義為ROC曲線下的面積，由于ROC曲線一般都處于y=x這條直線的上方，所以AUC的取值范圍在0.5～1.0之間。使用AUC值作為評價標(biāo)準(zhǔn)，是因?yàn)楹芏鄷r候ROC曲線并不能清晰地說明哪個分類器的效果更好，而AUC作為數(shù)值可以直觀地評價分類器的好壞，其值越大性能越好。

1.4.4顯著性檢驗(yàn)

因?yàn)閷?shí)驗(yàn)的隨機(jī)性和有限性，不能僅僅通過比較準(zhǔn)確率和AUC的平均值就做出確切的結(jié)論，而是要對數(shù)據(jù)進(jìn)行顯著性檢驗(yàn)，判斷差異是由偶然因素或誤差引起的，還是兩者之間確實(shí)存在不同。根據(jù)實(shí)驗(yàn)的特點(diǎn)，使用配對樣本t檢驗(yàn)的方法對實(shí)驗(yàn)結(jié)果做顯著性檢驗(yàn)，具體步驟如下：

1)建立假設(shè)檢驗(yàn)，確定檢驗(yàn)水準(zhǔn)。H0表示兩方法的結(jié)果不存在顯著性差異，H1表示兩方法的結(jié)果存在顯著性差異。雙側(cè)檢驗(yàn)，檢驗(yàn)水準(zhǔn)α=0.05。

2)計算統(tǒng)計量為

(9)

3)確定P值，做出統(tǒng)計推斷。

查相應(yīng)的界值表，得到P值。若P>α，則H0假設(shè)成立；若P<α，則H1假設(shè)成立。

2 結(jié)果

為比較3種模型的分類表現(xiàn)，按照模型要求將相關(guān)數(shù)據(jù)輸入進(jìn)行實(shí)驗(yàn)，得到各模型的實(shí)驗(yàn)結(jié)果如表2所示，其中Single-Net(t)代表使用橫截面進(jìn)行訓(xùn)練，Single-Net(c)代表使用冠狀面進(jìn)行訓(xùn)練。所有的實(shí)驗(yàn)結(jié)果的數(shù)據(jù)分布如圖6所示，顯著性分析的具體結(jié)果如表3所示。分析實(shí)驗(yàn)數(shù)據(jù)可知，在Single-Net中，使用橫截面的分類準(zhǔn)確率和AUC明顯高于使用冠狀面；同時，通過顯著性分析發(fā)現(xiàn)二者的分類效果有著極顯著的差異。

在probability fusion方法中，雖然進(jìn)行了概率融合，但準(zhǔn)確率和AUC與使用橫截面的Single-Net模型相比有所下降，甚至兩組的AUC存在顯著性差異，說明該種融合方式并不能進(jìn)一步地提高分類性能。

在2Views-Net中，通過比較準(zhǔn)確率和AUC均值，發(fā)現(xiàn)冠狀面和橫截面同時輸入的分類表現(xiàn)均優(yōu)于二者單獨(dú)輸入的表現(xiàn)，同時敏感性和特異性也得到了一定的提升。對2Views-Net模型和使用橫截面的Single-Net模型的實(shí)驗(yàn)結(jié)果做顯著性分析，發(fā)現(xiàn)兩組的準(zhǔn)確率和AUC的P值均大于顯著性水平。這說明2Views-Net雖然綜合了橫截面和冠狀面的信息，但是在分類效果上與使用橫截面的Single-Net模型無顯著性差別。與probability fusion方法對比，2Views-Net 的準(zhǔn)確率和AUC更高，兩組的AUC的P值小于顯著性水平，存在非常顯著的差異。

在Multi-Net中，標(biāo)注信息的加入使分類的準(zhǔn)確率、特異性和AUC均得到了明顯的提升。與使用橫截面的Single-Net相比，兩組的準(zhǔn)確率和AUC的P值均小于顯著性水平，說明Multi-Net的分類能力明顯優(yōu)于Single-Net。與2Views-Net的分類結(jié)果進(jìn)行對比，并做顯著性分析，兩組的準(zhǔn)確率和AUC的P值均小于顯著性水平，說明Multi-Net模型的分類性能明顯優(yōu)于2Views-Net；同時，兩組特異性的P值為0.013，小于顯著性水平，說明標(biāo)注信息的加入使網(wǎng)絡(luò)對良性病例的識別能力得到了提升。

表2 3種網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of three CNN models

圖6 實(shí)驗(yàn)結(jié)果的箱式圖。(a)準(zhǔn)確率；(b)AUCFig.6 Box plots of experimental result. (a)Accuracy; (b)AUC

對比分組二者accuracy的P值二者AUC的P值Single-Net (t) & Single-Net (c) 2.51×10-6??? 5.47×10-8???Single-Net (t) & probability fusion0.6862.40×10-2?Single-Net (t) & 2Views-Net0.1300.525Single-Net (t) & Multi-Net 3.77×10-3?? 2.65×10-5???probability fusion & 2Views-Net6.92×10-2 7.20×10-3??2Views-Net & Multi-Net 1.41×10-3?? 2.20×10-12???

注：*P<0.05，**P<0.01,***P<0.001

Note：*P<0.05,**P<0.01,***P<0.001

3 討論

在Single-Net中，使用冠狀面的分類效果最差。通過分析，造成這個結(jié)果的原因可能有3個：一是兩個視圖對病變的表現(xiàn)能力不同，橫截面上病變的形狀、邊緣等特征都十分清晰，同時還具有獨(dú)特的回聲信息，冠狀面對于病變的形態(tài)特點(diǎn)的表現(xiàn)能力較弱，病變邊界較為模糊，脂肪組織等干擾信息較多；二是由于三維乳腺超聲設(shè)備的成像原理，冠狀面的分辨率低于橫截面，冠狀面上截取的ROI是經(jīng)過插值之后的結(jié)果，圖像質(zhì)量較差；三是網(wǎng)絡(luò)的層數(shù)較少，提取復(fù)雜特征的能力有限，不適用于冠狀面中一些抽象特征的表達(dá)。

對比2Views-Net和probability fusion的實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)，使用2Views-Net進(jìn)行信息融合具有明顯的優(yōu)勢，是一種有效的信息融合方法。2Views-Net的雙輸入設(shè)計，改變了傳統(tǒng)CNN網(wǎng)絡(luò)中單輸入的結(jié)構(gòu)，使得同一病灶的2張不同方向下的圖像可以同時輸入網(wǎng)絡(luò)進(jìn)行特征提取，還可以通過訓(xùn)練使其自動學(xué)習(xí)到橫截面和冠狀面特征的融合方式，并用于分類判斷。該種融合方式代替了probability fusion中概率的簡單線性結(jié)合，提升了分類性能。與使用橫截面的Single-Net模型的實(shí)驗(yàn)結(jié)果對比，發(fā)現(xiàn)2Views-Net對于分類效果的提升比較有限，原因可能是增加的冠狀面圖像對于提升分類效果的作用比較有限，用于分類的主要有效信息依舊來自于橫截面。

Multi-Net的分類性能是所有模型中最好的。它在2Views-Net的基礎(chǔ)上進(jìn)一步將圖像信息和文本信息融合到一個卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類判斷，顯著地提升了分類的準(zhǔn)確率和AUC。新增的標(biāo)注信息雖然只有6項(xiàng)，但對于模型分類性能卻有著十分明顯的提升作用。

綜合上述分析，發(fā)現(xiàn)在卷積神經(jīng)網(wǎng)絡(luò)用于乳腺腫瘤超聲圖像分類的應(yīng)用中，增加冠狀面圖像和標(biāo)注信息對于提高分類效果有著積極作用。一般情況下，冠狀面信息的分類效果較差，而標(biāo)注信息的維度較少，相對于橫截面來說，這兩項(xiàng)都不是最適于單獨(dú)作為分類依據(jù)的信息。所以，如何合理地使用并且綜合這些信息的有效部分來提高分類效果就成為了一個難點(diǎn)。本研究通過優(yōu)化調(diào)整卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，探究了不同信息的融合對于分類的影響，并使2Views-Net和Multi-Net在多種信息中自動學(xué)習(xí)到了最有效的部分，充分發(fā)揮了多種信息的分類優(yōu)勢，避免了傳統(tǒng)方法中人為選取特征進(jìn)行融合的復(fù)雜性和局限性，提高效率的同時也改善了單輸入網(wǎng)絡(luò)的分類效果。實(shí)驗(yàn)結(jié)果也反映出本研究設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)與增加的信息特點(diǎn)相適應(yīng)，使得新增信息在網(wǎng)絡(luò)中得到了有效的利用。另一方面，這也為乳腺超聲圖像的分類研究提供了新的思路，在診斷之前為模型輸入充分的、多類型的信息將有助于最終的良惡性判別。

目前，本研究所采用的CNN網(wǎng)絡(luò)結(jié)構(gòu)是比較簡單的，對于圖像的特征提取能力有限，未來仍需要研究利用深度網(wǎng)絡(luò)和遷移學(xué)習(xí)[23]等方法來改進(jìn)模型的特征提取能力和分類能力，使分類準(zhǔn)確率得到進(jìn)一步的提升。

4 結(jié)論

本研究主要基于三維乳腺超聲數(shù)據(jù)進(jìn)行腫瘤良惡性分類的深度學(xué)習(xí)算法設(shè)計，重點(diǎn)研究了調(diào)整卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來融合多種信息對于分類性能的影響。結(jié)合不同信息的特點(diǎn)以及利用CNN模型的靈活性，提出了Single-Net、2Views-Net和Multi-Net共3種模型，并進(jìn)行了對比。實(shí)驗(yàn)結(jié)果證明，除了使用傳統(tǒng)的橫截面之外，增加冠狀面和標(biāo)注信息使得 CNN模型的分類性能得到了明顯提升。另外，也證明了使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行多信息融合是一種有效的融合方式，省去了人為設(shè)計融合方法的步驟，提升了分類效率和準(zhǔn)確率。該種方法在解決三維數(shù)據(jù)分類問題和信息融合問題具有一定的潛力，值得未來做進(jìn)一步的探索和研究。