劉書樵,寇逸飛,李孝杰
(成都信息工程大學(xué)計(jì)算機(jī)學(xué)院,四川成都 610225)
傳統(tǒng)醫(yī)療影像診斷方法需要依靠臨床醫(yī)生多年的經(jīng)驗(yàn)與臨床研究才能人工辨別病患是否患有相應(yīng)疾病.機(jī)器學(xué)習(xí)方法的出現(xiàn)為醫(yī)學(xué)領(lǐng)域識(shí)別問題提供了一種智能化的解決方案.其中,深度學(xué)習(xí)方法已經(jīng)廣泛用于各個(gè)研究領(lǐng)域.如 ResNet、VGG、UNet等分類、分割網(wǎng)絡(luò)在計(jì)算機(jī)視覺的各個(gè)鄰域表現(xiàn)出優(yōu)良的性能.該類網(wǎng)絡(luò)均以卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)為基礎(chǔ)發(fā)展出來的各種變體.同時(shí),該類方法已成功應(yīng)用于醫(yī)學(xué)圖像研究領(lǐng)域醫(yī)學(xué)如阿爾茨海默病、前列腺癌的識(shí)別與預(yù)測[11-12].
基于CNN的網(wǎng)絡(luò)結(jié)構(gòu)在計(jì)算機(jī)視覺及醫(yī)學(xué)等研究領(lǐng)域已取得了很大的成功[4-10].相對(duì)于傳統(tǒng)醫(yī)療影像人為設(shè)計(jì)或指定圖像特征從而進(jìn)行病患診斷,機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)方法可輔助醫(yī)師對(duì)醫(yī)學(xué)診斷提供初步的定量和定性的評(píng)價(jià),以此節(jié)省大量的人力成本.然而心臟磁共振病患圖像與正常人圖像的差異性不顯著(如圖1所示),多層CNN、SVM等較淺層分類方法難以從差異性較弱的圖像間提取有效的圖像分類特征,因此不能達(dá)到很好的識(shí)別效果.
CNN擅長檢測圖片中特定的特征,如檢測鼻子、眼睛等特征,但卻難以挖掘出特征間的關(guān)系,如視角大小、方向等.一張眼睛與鼻子交換的人臉照片可能被CNN錯(cuò)誤識(shí)別為一張真正的人臉.基于Hinton提出的可視化系統(tǒng)理論,膠囊(Capsule)及膠囊網(wǎng)絡(luò)(Capsule Net,CapsNet)應(yīng)運(yùn)而生[1],旨在克服 CNN方法的缺點(diǎn).Hinton指出對(duì)于每個(gè)固定的視覺位置有一個(gè)樹狀的解析結(jié)構(gòu),而每一個(gè)解析樹由固定的多層神經(jīng)網(wǎng)絡(luò)組成[1].每一層神經(jīng)網(wǎng)絡(luò)由許多不同的“膠囊(Capsule)”神經(jīng)元組成[2].與傳統(tǒng)神經(jīng)元輸出標(biāo)量值不同,膠囊神經(jīng)元?jiǎng)t是包括一些特殊信息的矢量,如相似度、方向、大小、角度等信息,最終根據(jù)矢量的模長確定膠囊神經(jīng)元的激活值(輸出值).CapsNet采用壓縮(squashing)算法作為矢量激活函數(shù),并使用動(dòng)態(tài)路由(dynamic routing)算法代替CNN中全連接網(wǎng)絡(luò)的dropout,使得該網(wǎng)絡(luò)特征更具有多重性,獲得更好的算法性能.
由于心臟磁共振患病圖像與正常人圖像之間的差異不顯著性,多層CNN網(wǎng)絡(luò)難以達(dá)到較好效果的問題,而CapsNet可以在較淺層網(wǎng)絡(luò)的情況下,容納更多的特征信息,而得到更好的分類效果.本文基于文獻(xiàn)[3],首次設(shè)計(jì)和使用淺層的膠囊網(wǎng)絡(luò)對(duì)心臟磁共振T1-mapping圖像做二分類病患識(shí)別,以測試膠囊類網(wǎng)絡(luò)結(jié)構(gòu)對(duì)與此類醫(yī)學(xué)數(shù)據(jù)的識(shí)別性能.本文使用該方法在心臟磁共振成像T1-mapping數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),并與VGG16、SVM等方法進(jìn)行比較,實(shí)驗(yàn)結(jié)果表明CapsNet在正確率、敏感度、特異性三個(gè)常用醫(yī)學(xué)指標(biāo)均優(yōu)于CNN網(wǎng)絡(luò).相比于傳統(tǒng)方法和多層CNN網(wǎng)絡(luò),膠囊網(wǎng)絡(luò)在心臟磁共振成像識(shí)別方面表現(xiàn)了優(yōu)異的性能表現(xiàn),能夠有效的識(shí)別心臟磁共振成像圖像是否為病患,同時(shí)表明膠囊神經(jīng)元作為一種網(wǎng)絡(luò)結(jié)構(gòu)單位性能更優(yōu)于傳統(tǒng)CNN.
針對(duì)腦部磁共振原始數(shù)據(jù)中3D圖像空間尺寸、體素尺寸不統(tǒng)一問題,我們首先將圖片重新采樣使得分辨率都為1.0×1.0×1.0 mm3.然后,接選出3D圖像中中間位置的三張2D圖像,并將resize成128×128大小.根據(jù)預(yù)處理操作,本網(wǎng)絡(luò)的輸入尺寸固定為128×128.
圖2 CapsNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 CapsNet structure
CapsNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.該網(wǎng)絡(luò)是一個(gè)淺層的網(wǎng)絡(luò)結(jié)構(gòu),僅包含兩個(gè)卷積層和一個(gè)全連接層(即Digital Capsule).本網(wǎng)絡(luò)以處理后的128×128 2D圖像作為網(wǎng)絡(luò)輸入.該圖像首先經(jīng)過無pooling操作Pre-Conv層.針對(duì)CMR T1-mapping病人與正常人圖像差異性較小,我們?cè)O(shè)計(jì)該層步長為2、卷積核為9×9大小、輸出通道數(shù)為256、激活函數(shù)為ReLU的傳統(tǒng)卷積層進(jìn)行圖像的局部特征預(yù)提取,該層輸出為60×60×256,可減少感受域重疊問題.傳統(tǒng)上CNN與全連接網(wǎng)絡(luò)中使用標(biāo)量作為實(shí)體,而膠囊使用的多維化的矢量作為實(shí)體,這樣有利于網(wǎng)絡(luò)對(duì)實(shí)體進(jìn)行特征提取.其中,Pre-Conv層是多維化實(shí)體的最低級(jí)別[3].Pre-Conv層輸出傳送至膠囊層(Capsule Layer,如圖2紅色虛框所示).膠囊層主要包括兩部分:主膠囊子層和數(shù)字膠囊子層.
主膠囊子層:主膠囊子層(Primary Capsule)是膠囊層的第一層,由一個(gè)無激活函數(shù)與無池化的卷積層和重構(gòu)層(Reshape)組成.該層旨在將上層的非“膠囊化”的Pre-Conv層特征輸入轉(zhuǎn)化為“膠囊化”的特征以供后層處理.針對(duì)CMR T1-mapping數(shù)據(jù),我們?cè)O(shè)計(jì)其步長為2,卷積核大小為9×9,輸出為一個(gè)26×26×256大小的傳統(tǒng)卷積層以保持較小的空間維度.與傳統(tǒng)CNN不同的是,此層沒有設(shè)計(jì)池化層或者是使用激活函數(shù),而是將輸出轉(zhuǎn)化為26×26×32×8的膠囊層輸出.其中,該輸出中32*8可看作32個(gè)通道、維度為8(8D)的矢量輸出,也可看作676(即26×26)個(gè)32通道的8D的“一維”的矢量輸出,且在26×26大小的區(qū)域中,這些膠囊之間共享權(quán)重以縮減訓(xùn)練參數(shù)減少過擬合問題.此處的維度轉(zhuǎn)換是Caps-Net的靈魂,亦是膠囊的設(shè)計(jì)初衷.該處理可包括一些特殊信息的矢量信息,如相似度、方向、大小、角度等信息更利于提高分類性能,最終根據(jù)矢量的模長確定膠囊神經(jīng)元的激活值(輸出值).
數(shù)字膠囊子層:數(shù)字膠囊子層(Digital Capsule)是膠囊層的第二層.相較于傳統(tǒng)神經(jīng)元中輸入為標(biāo)量,數(shù)字膠囊層使用矢量作為輸入.該層主要作用就是代替?zhèn)鹘y(tǒng)全連接層(Fully Connected Layer,F(xiàn)C),將主膠囊子層的676×32的8-D膠囊轉(zhuǎn)化為2個(gè)(針對(duì)二分類問題)8-D的膠囊,最后利用兩個(gè)膠囊的矢量模長表示相應(yīng)二分類的預(yù)測概率.數(shù)字膠囊子層是膠囊網(wǎng)絡(luò)的核心.主要的兩個(gè)針對(duì)膠囊的算法都應(yīng)用于此層.其主要的模型如圖2所示.
設(shè)第l層膠囊的輸入為K(l)個(gè)D(l)維的矢量單個(gè)膠囊具體實(shí)現(xiàn)公式如(1)-(4)所示.
圖3 “膠囊”結(jié)構(gòu)Fig.3 “Capsule” structure
中每一行或每一列和為1,而Wij是權(quán)重矩陣.
其中,權(quán)重ci是通過“路由softmax”操作得到,bij是膠囊i與膠囊j的對(duì)數(shù)先驗(yàn)概率,通過“動(dòng)態(tài)路由”算法迭代計(jì)算而得出(詳細(xì)見3.3).
其中,sj是“預(yù)測矢量”通過計(jì)算得到的加權(quán)和.
其中,vj是sj通過公式計(jì)算得出(關(guān)于函數(shù)Squashing,詳細(xì)見3.3).其中,公式(3)等價(jià)于傳統(tǒng)神經(jīng)元的加權(quán)求和操作aj|i=wijxi+b;公式(4)等價(jià)于傳統(tǒng)神經(jīng)元的激活函數(shù)如sigmoid、ReLU、tanh等.
重構(gòu)層:重構(gòu)層(Reconstruction)緊鄰膠囊層,有三個(gè)全連接層組成.我們針對(duì)CMR T1-mapping數(shù)據(jù)集大小分別設(shè)計(jì)維度為 512、4 096、128×128=16 384.其中,為引入重構(gòu)誤差損失函數(shù)以優(yōu)化模型,設(shè)計(jì)該重構(gòu)塊最后一層的輸出為輸入圖像大小.此網(wǎng)絡(luò)結(jié)構(gòu)引入重構(gòu)誤差可以有效的提高整體模型的準(zhǔn)確度.
由圖2和公式(4)可知膠囊激活函數(shù)為Squashing函數(shù),其具體計(jì)算公式如公式(5)所示.該函數(shù)是一個(gè)非線性的、能夠保持輸入矢量維度不變的激活函數(shù).該函數(shù)具有如下特點(diǎn):
圖4 Squashing函數(shù)輸入與輸出模長Fig.4 The norm of input and output of Squashing function
即Capsule的“激活函數(shù)”實(shí)際上是對(duì)向量長度的一種壓縮和重新分布.其函數(shù)輸出矢量的模與輸入矢量的模的關(guān)系如圖4所示.Squashing函數(shù)的函數(shù)曲線類似于Sigmoid函數(shù)的正半軸部分,輸入sj模長趨于無窮時(shí),輸出vj越趨近于1.
由公式(2)可知,膠囊網(wǎng)絡(luò)需要通過動(dòng)態(tài)路由算法迭代計(jì)算膠囊i與膠囊j的對(duì)數(shù)先驗(yàn)概率bij.Hinton指出“找到最好的(處理)路徑等價(jià)于(正確)處理了圖像”.這也是 Capsule框架中引入動(dòng)態(tài)路由的原因之一.
而找到“最好路徑”的方法之一就是選出與輸出向量最符合的輸入向量.符合度是通過輸出向量和輸入向量(線性變換后的向量)的內(nèi)積所表征.算法通過更新迭代權(quán)重,使對(duì)輸出向量貢獻(xiàn)更大的輸入向量獲得更大的權(quán)重.具體算法如算法1所示,其作用區(qū)域如圖2中紅色虛框所示.該更新算法容易收斂.文獻(xiàn)[3]認(rèn)為該算法迭代3次足以.與其他算法類似,動(dòng)態(tài)
●vj的值域被限制在[0,1)之間,所以輸出向量的長度可以表征某個(gè)實(shí)體出現(xiàn)的概率,其模值越大,該實(shí)體出現(xiàn)的概率越大.
●該函數(shù)單調(diào)遞增,所以“鼓勵(lì)”原來模較長的向量,而“壓縮”原來模較小的向量.路由也存在過擬合問題.雖然增加動(dòng)態(tài)路由的迭代次數(shù)可以提高識(shí)別準(zhǔn)確率,但會(huì)降低算法的泛化性.
在公式(3)中的ci是對(duì)上層輸入膠囊計(jì)算對(duì)數(shù)先驗(yàn)概率的和(其值的更新見算法1步驟③),在首輪迭代中初始化為0,通過算法1的第⑥步迭代更新.權(quán)重ci通過第③步softmax函數(shù)計(jì)算出.最后使得膠囊i以其先驗(yàn)概率從大到小排序,傳遞至下一層的膠囊.公式中的“預(yù)測矢量”sj通過算法1第④步計(jì)算得出.最后,輸出第 (l+1)層膠囊vj通過算法1第⑤步計(jì)算得出(Squashing函數(shù)見公式).最后將輸入與輸出vj點(diǎn)乘并與bij相加,其值即為bij更新后的值.動(dòng)態(tài)路由算法如算法1所示.
算法1動(dòng)態(tài)路由算法
輸入:輸入矢量, 路由次數(shù)r, 當(dāng)前層數(shù)l
輸出:矢量vj
①對(duì)于所有的l層膠囊i和所有 (l+1)層的膠囊j:bij←0
②Whiler≠0 do
③對(duì)于所有的l層的膠囊ii:
④對(duì)于所有的 (l+1)層的膠囊i:
⑤對(duì)于所有的 (l+1)層膠囊j:
⑥對(duì)于所有的l層的膠囊i和所有 (l+1)層的膠囊j:
我們將損失函數(shù)分為兩部分:邊界損失和重構(gòu)損失.在膠囊網(wǎng)絡(luò)中,我們通過一個(gè)膠囊的矢量長度作為這個(gè)實(shí)體存在的概率.
邊界損失:使用與SVM類似的損失函數(shù).
其中,Tc為c類類別信息,當(dāng)分類c存在時(shí)設(shè)置Tc=1,反之,Tc=0.在公式(6)與公式(7)中,m+與m-分別取0.9與0.1,作為‖vc‖的上下邊界,以避免假陽性與假陰性.
重構(gòu)損失:該損失由最后三層全連接網(wǎng)絡(luò)計(jì)算得出(見圖2).最后的輸出與原輸入圖片大小相等的特征圖即128×128.
其中,X代表網(wǎng)絡(luò)輸入的原圖像,Xdecode代表最后重構(gòu)網(wǎng)絡(luò)輸出的特征圖.該式計(jì)算x與Xdecode的歐式距離的平方,其兩者差異越小越好.超參μ是平衡重構(gòu)誤差在整個(gè)訓(xùn)練目標(biāo)函數(shù)中的權(quán)重.在本實(shí)驗(yàn)中,μ設(shè)置為0.0005,以保證重構(gòu)損失在訓(xùn)練中不占主導(dǎo)地位,突出分類目標(biāo).
網(wǎng)絡(luò)整體目標(biāo)損失函數(shù)由LTotal得到的.在圖6中,可以看到CapsNet所設(shè)置的損失函數(shù)的收斂性.
實(shí)驗(yàn)設(shè)置:實(shí)驗(yàn)基于 python 3.6.7、Ubuntu 16.04、Tensorflow 1.4.1平臺(tái)下,使用型號(hào)為NVIDIA Ge-Force RTX 2080 TI的GPU上運(yùn)行.為了保證對(duì)比實(shí)驗(yàn)(VGG16、SVM)結(jié)果的一致性,我們統(tǒng)一訓(xùn)練500個(gè)周期(batch_size大小為32).每個(gè)實(shí)驗(yàn)均使用五折交叉驗(yàn)證來選擇測試集與訓(xùn)練集.最后由5次實(shí)驗(yàn)結(jié)果的各指標(biāo)平均值作為評(píng)價(jià)量.各實(shí)驗(yàn)細(xì)節(jié)具體設(shè)置如下所示:
CapsNet超參μ、λ分別設(shè)置為 0.0005與0.5.損失函數(shù)使用公式(10).訓(xùn)練的優(yōu)化器使用了Adam優(yōu)化器,學(xué)習(xí)率調(diào)整為1E-3.總共訓(xùn)練輪數(shù)為500輪.
VGG16:使用了最經(jīng)典的VGG16網(wǎng)絡(luò)結(jié)構(gòu)[4],訓(xùn)練500輪損失函數(shù)使用了對(duì)數(shù)交叉熵函數(shù).訓(xùn)練的優(yōu)化器使用了Adam優(yōu)化器.
SVM:使用了線性SVM分類器,將輸入的尺寸從128×128直接轉(zhuǎn)化為16 384維度的向量進(jìn)行訓(xùn)練.訓(xùn)練500輪.訓(xùn)練使用的優(yōu)化函數(shù)為梯度下降.
數(shù)據(jù)集及增強(qiáng):CMR T1-mapping數(shù)據(jù)集均來源于同一家醫(yī)院的心臟磁共振成像數(shù)據(jù).該數(shù)據(jù)集包括80張正常人圖像與455張患有各類心臟疾病的病患圖像,如擴(kuò)張性心肌病圖像.但由于正常人圖像與病患圖像之間的差異性不顯著,圖像之間的成像質(zhì)量也有所差異,我們做了部分預(yù)處理.針對(duì)心臟磁共振CMR T1-mapping原始數(shù)據(jù)中2D圖像空間尺寸、體素尺寸不統(tǒng)一問題,我們首先選取包含心臟組織的感興趣區(qū)域(統(tǒng)一為128×128)以減少冗余部分.然后,將T1-mapping圖像重新采樣,使得分辨率都為1.0×1.0×1.0 mm3.由于數(shù)據(jù)集的不平衡性,對(duì)正常人數(shù)據(jù)進(jìn)行了數(shù)據(jù)增強(qiáng),在將數(shù)據(jù)五折分類后,將正常人的數(shù)據(jù)復(fù)制3倍,最后的得到320張正常人圖像、455張病患圖像,共計(jì)775張圖片.
評(píng)估指標(biāo):本文主要采用在醫(yī)學(xué)分類上常用的本個(gè)評(píng)價(jià)指標(biāo):正確率(accuracy)、敏感度(sensitivity)、特異性(specificity),ROC曲線(receiver operat-ingcharacteristic curve,ROC)進(jìn)行定量評(píng)價(jià),具體見公式(11)-(13).
其中,公式中變量的具體定義見表1所示.
表1 公式(11)(12)(13)中的參數(shù)定義Table 1 The parameter definition in equation(11)(12)(13)
各對(duì)比實(shí)驗(yàn)結(jié)果如表2所示.從表2可以看出,CapsNet在CMR T1-mapping分類任務(wù)中表現(xiàn)出優(yōu)異的性能,其在三個(gè)度量指標(biāo)上均超過其他對(duì)比方法.特別地,在正確率、敏感性與特異性等評(píng)估參數(shù)上,超過次之的方法6.53%、7.08%與13.80%.這體現(xiàn)出了CapsNet作為一個(gè)淺層網(wǎng)絡(luò)在性能上的優(yōu)異性.
表2 各方法準(zhǔn)確率、敏感度及特異性Table 2 The accuracy,sensitivity and specificity of each method
圖5 CapsNet和VGG16的ROC分類曲線Fig.5 ROC classification curve for CapsNet and VGG16
數(shù)據(jù)類別不平衡時(shí),正確率指標(biāo)不能客觀評(píng)價(jià)分類效果,而ROC指標(biāo)是最常用的指標(biāo)之一.為了體現(xiàn)CapsNet方法在心臟分類數(shù)據(jù)上的可行性,圖5顯示了CapsNet與VGG16的ROC分類曲線.由于SVM分類器無概率輸出,本實(shí)驗(yàn)僅繪制了CapsNet網(wǎng)絡(luò)與VGG16網(wǎng)絡(luò)的ROC曲線圖.其中CapsNet的AUC值為0.9643,高于VGG16對(duì)比實(shí)驗(yàn)的AUC值0.0339.這證明了CapsNet作為而分類器在磁共振心臟成像的二分類上有著優(yōu)異的效果.
圖6 CapsNet的重構(gòu)損失(上)、邊界損失(中)、總損失(下)Fig.6 The reconstruction loss(top),margin loss(mid)and total loss(down)of CapsNet
圖6為CapsNet網(wǎng)絡(luò)中的各損失函數(shù)的收斂性.由圖6可知當(dāng)邊界損失迅速收斂后,重構(gòu)誤差在訓(xùn)練中可起到優(yōu)化訓(xùn)練的作用.當(dāng)重構(gòu)誤差訓(xùn)練開始就降低至以內(nèi),這也側(cè)面說明了數(shù)據(jù)集在成像上的同一性.對(duì)比總損失與邊界損失可以看出,訓(xùn)練的主要貢獻(xiàn)來源于邊界損失,這與設(shè)計(jì)的思路是一致的.
本實(shí)驗(yàn)是通過五折驗(yàn)證的方式來計(jì)算各個(gè)指標(biāo).三種方法在五折實(shí)驗(yàn)中的各折正確率曲線如圖7所示.可以看出CapsNet方法整體優(yōu)于其他兩種方法.雖然VGG16方法在正確率上有優(yōu)于CapsNet方法,但VGG16在本實(shí)驗(yàn)中體現(xiàn)出的魯棒性不強(qiáng),正確率波動(dòng)較為明顯,也反映出CapsNet方法作為對(duì)心臟磁共振成像做二分類檢測具有相當(dāng)?shù)聂敯粜?
圖7 CapsNet(藍(lán))、VGG16(紅)與SVM(黑)的五折正確率曲線Fig.7 The 5-fold accuracy curve for CapsNet(blue),VGG16(red)and SVM(black)
CapsNet的網(wǎng)絡(luò)層次淺,但在本二分類實(shí)驗(yàn)中可以超過VGG16這種較為深層的傳統(tǒng)神經(jīng)網(wǎng)絡(luò).這說明了“膠囊”結(jié)構(gòu)在作為一個(gè)CNN與傳統(tǒng)神經(jīng)元的變體,有著巨大的開發(fā)潛力.相較于傳統(tǒng)神經(jīng)元,膠囊的神經(jīng)輸入不再是標(biāo)量輸入,而是矢量輸入.這使得CapsNet在本實(shí)驗(yàn)的數(shù)據(jù)集上有著良好的表現(xiàn),能夠在差異性不強(qiáng)的二分類問題中表現(xiàn)優(yōu)良.
但需要指出的是,由于動(dòng)態(tài)路由算法需要更多維的參數(shù)去訓(xùn)練,所以此算法所需參數(shù)量隨輸入及輸出大小成倍增長.因此,CapsNet的結(jié)構(gòu)對(duì)于分類數(shù)過多的問題(比如圖片分割等)會(huì)消耗大量GPU顯示存儲(chǔ)的資源,甚至在當(dāng)前硬件環(huán)境下,無法使用單GPU進(jìn)行訓(xùn)練.這也限制了此方法不建議作為多層網(wǎng)絡(luò)中的中間層,而更建議作為輸出層(或更靠近輸出層的部分).
針對(duì)心臟磁共振成像識(shí)別算法面臨的主要問題:患病圖像與正常圖像之間的差異不顯著,使用多層CNN網(wǎng)絡(luò)難以達(dá)到十分優(yōu)秀的效果,而膠囊網(wǎng)絡(luò)CapsNet可以在較淺層網(wǎng)絡(luò)的情況下,容納更多的特征信息,有利于識(shí)別心臟磁共振圖像.我們?cè)O(shè)計(jì)使用了淺層膠囊網(wǎng)絡(luò)對(duì)心臟磁共振圖像做二分類病患識(shí)別,并與VGG16、SVM等方法進(jìn)行比較,實(shí)驗(yàn)結(jié)果表明膠囊網(wǎng)絡(luò)相比較傳統(tǒng)方法和淺層網(wǎng)絡(luò),在心臟磁共振圖像識(shí)別方面表現(xiàn)了優(yōu)異的性能.我們考慮未來還會(huì)將CapsNet嘗試進(jìn)行圖片分割及多任務(wù)的應(yīng)用,這將會(huì)本文中所展示的更有難度與挑戰(zhàn).