卷積神經網絡在醫(yī)學圖像分割中的研究進展

徐航，隨力，張靖雯，趙彥富，李月如

1.上海理工大學醫(yī)療器械與食品學院，上海200093；2.上海交通大學醫(yī)學院附屬仁濟醫(yī)院放射科，上海200127

前言

近年來，卷積神經網絡（Convolutional Neural Network,CNN）已經在計算機視覺和模式識別領域中證實了它的應用價值［1］。自從2012年AlexNet的誕生以來，計算機視覺各類任務的準確率有了質的飛躍，有的甚至可以超過接受訓練的人類［2］。CNN在醫(yī)學影像領域的應用則從2015年開始有顯著的增長，醫(yī)學圖像計算和計算機輔助干預國際會議（Medical Image Computing and Computer Assisted Intervention,MICCAI）上關于CNN和深度學習的論文數量也逐年增多，可以說深度學習技術，尤其是CNN已經逐漸滲透了整個醫(yī)學圖像分析領域［3］。CNN擁有強大的空間識別能力，可以從原始輸入中提取出高層特征信息，這些特征就好比構成原始圖像的“筆畫”，通過對這些特征進行分析和識別就可以輕松地完成對原始圖像的分割操作。CNN的另一大特征就是可以通過共用卷積核和上下采樣來大幅降低整個網絡的參數量。有研究證明神經網絡的深度是影響網絡性能的關鍵。然而隨著網絡層數的增加，參數量的爆炸式增長為實際運算帶來了難以承受的負擔，使得神經網絡訓練需要大量的資源和時間。CNN的每一個卷積層只使用一個遠小于圖像尺寸的卷積核（可能存在多個通道），讓這個卷積核在滑過圖像的同時更新其參數。這樣就既能充分利用圖像全體的空間信息，又能有效限制參數量。全卷積網絡更是完全放棄了參數量龐大的全連接層，全部采用卷積層，減少參數量的同時在圖像分割任務上也有著出色的表現［4］。CNN的強大性能和巨大潛力激發(fā)了大量研究者們對其的鉆研，新的方法和技巧層出不窮。本研究針對CNN在醫(yī)學圖像分割領域的研究進展進行綜述。

1 CNN在圖像分割中的應用

1.1 有監(jiān)督學習與全卷積網絡

常規(guī)的滑窗式CNN可以通過在指定像素的周圍多次提取一小塊圖像進行運算，逐個像素進行判別，從而完成圖像分割任務［4］。實際操作上就像是用一個卷積核滑過整幅圖像，符合我們對卷積的一般認識，然而這其實是一種效率很低的做法，因為卷積核滑動的步幅絕大多數情況都小于卷積核的尺寸，這就導致了相鄰步幅之間重復的內容很多，帶來冗余的計算。同時，由于一次僅對相當于卷積核尺寸的一小塊圖像進行運算，網絡很難把握圖像整體的空間特征。另外也有研究表示池化層會導致輸出的分辨率遠低于輸入［5］。U-Net由 Ronneberger等［6］于2015年提出，這個全卷積網絡最早是被應用在醫(yī)學圖像的分割上的，由于其強大的性能，很快又被其他領域借鑒使用。成功訓練一個深度網絡需要大量的人為標注的數據集，ImageNet大賽使用的訓練數據集中圖片的數量往往都以萬為單位。醫(yī)學圖像由于設備之間差異和人員的精力時間所限，難以獲取規(guī)格相近的數據。U-Net近乎是一個對稱的網絡，由收縮路徑和擴張路徑組成，其中，收縮路徑與典型的CNN相似，用于獲取空間信息；擴張路徑則由上采樣和2×2的卷積層組成，用于精確定位。兩條路徑上分別具有數量相同的上采樣層和下采樣層，相對應的層之間由跳過連接結合，把收縮路徑和擴張路徑上獲取的特征聯(lián)系在了一起。從訓練的角度來看，U-Net可以一次性獲取整幅圖像的空間信息，同時有效避免滑窗式CNN相鄰步幅之間輸入內容的大面積重疊。這樣的網絡結構大幅提升了分割的準確性，同時訓練的速度極快且不需要大量的標記數據集。在2014年和2015年ISBI細胞示蹤挑戰(zhàn)中，該網絡于僅有35幅訓練圖像的數據集“PhC-U373”上取得92%的IOU（Intersection Over Union,用于表示預測和真實情況之間的相關度，該值越高，相關度越高），于僅有20幅訓練圖像的數據集“DIC-HeLa”上取得77.5%的 IOU［7］。V-Net可以理解為 U-Net的一個改良版。Milletari等［1］在 U-Net的基礎上引入殘差單元，并用Dice損失層替換交叉熵損失函數，有效解決在訓練過程中模型陷入局部最小值而停止，不再尋求全局最小值的問題，提升了分割的精度。同時，V-Net可以在3D的磁共振（Magnetic Resonance,MR）圖像上進行工作，可以說不論是在精度還是維度上都對UNet進行了明顯的改良。V-Net在PROMISE 2012（一系列前列腺的MR圖像）數據集上取得了82.39的高分，與當年的最佳成績Imorphics的84.36相差甚微［8］。同等硬件條件下，完成一幅圖像的訓練Imorphics需要8 min，V-Net僅需要1 s。

殘差網絡由He等［9］于2015年提出，可以說是深度學習網絡結構上最新的重大發(fā)明。殘差網絡允許原始輸入信息直接傳遞到后面的層中，此時網絡學習的內容就不再是完整的輸出了，而是輸出與輸入的差，即殘差。殘差結構有利于保護輸入信息的完整性，同時簡化學習目標和難度，一經發(fā)表就被大量的研究者應用在他們的網絡結構中，U-Net中使用的跳過連接就是一種殘差結構。Yu等［10］使用了一個全卷積殘差網絡（Fully Convolutional Residual Network,FCRN）進行皮膚黑素瘤損傷的精確分割，榮獲ISBI 2016年該項分割任務的第二名。該研究將38、50、101層的FCRN和未采用殘差結構的VGG-16及GoogleNet（22層）進行對比，結果表明FCRN的表現全面優(yōu)于未采用殘差結構的這兩個網絡，且50層FCRN的表現最為出色。Chen等［11］將殘差網絡推廣到3D的MR影像中，實現腦部體積圖像的分割。實際上在這項任務中他們使用了兩個殘差網絡：（1）VexResNet用于對T1權重圖像進行初步分割；（2）Auto-context VexResNet則對T1-IR、T2-FLAIR等多模圖像和初步分割好的T1權重圖像執(zhí)行自動上下文算法，取得更為精確的分割結果。值得一提的是，VexResNet使用了多重分支結構［11］，在不同的分支上采取不同的卷積策略，這樣的結構也普遍為殘差網絡所使用。

1.2 無監(jiān)督學習與自編碼器

在CNN的應用過程中無監(jiān)督學習越來越受到重視，研究者們都希望能創(chuàng)造一種能真正意義上替代具有專業(yè)知識的人類完成醫(yī)學圖像分割的工具。無監(jiān)督學習下，網絡不需要醫(yī)師標注好的分類結果作為訓練材料，只需要對輸入圖像進行多層卷積等操作便可以得到其高層空間特征，從而將感興趣區(qū)域和圖像背景區(qū)分開來。自編碼器［12］是一個經典的無監(jiān)督學習模型，通過一個編碼器和一個解碼器來重構輸入。最初的自編碼器中，編碼器和解碼器都只有一層。隨著深度學習思想的滲透，編碼器和解碼器的層數逐漸增多，層層堆疊，所以這樣的自編碼器也被稱作棧式自編碼器（StackedAuto-Encoder,SAE）［13］或深度自編碼器。同時，卷積層和池化層也被應用在自編碼器中，以增強對圖像輸入的處理能力，通過反復的卷積和池化操作，便能在整個自編碼器正中間的隱含層中得到一個維度遠小于原始輸入的特征向量。這個特征向量可以通過配套的解碼器來近似還原成原始輸入，所以自編碼器在圖像分割中常常用于提取圖像的高階特征。從MR圖像中分割出視覺傳導通路具有相當的難度，該組織狹長且結構多變，同時與周圍組織的解剖特征區(qū)別不明顯，要想實現病理意義上的劃分（例如分割出膠質瘤）就更具挑戰(zhàn)了。Mansoor等［13］利用SAE在MR圖像中推斷出視覺傳導通路的特征，實現了左視神經、右視神經及視交叉的全自動分段模型劃分，實驗中的Dice相關系數高達0.779，為當時的最佳成績，同時相比于常規(guī)方法擁有相同的魯棒性。研究表示SAE在低對比度區(qū)域的效果尤其突出，同時使用SAE提取高階特征也使得他們的方法可同時應用于健康和病態(tài)的組織上。Guo等［14］發(fā)現以往用于從腦部MR圖像中劃分成人海馬體的方法并不適用于1歲以下的嬰兒，并推測這是因為海馬體和周圍的腦組織之間缺乏具有足夠判別力的特征表示，他們提出使用SAE實現無監(jiān)督學習，同時從T1和T2權重圖像中提取互補特征的方法來解決這個問題，并在2周至9個月大的嬰兒的腦部圖像上證明了該方法的有效性。Moriya等［15］將Yang等［16］的無監(jiān)督學習圖像聚類法推廣到3D的醫(yī)學圖像上。他們首先訓練一個包含了3個卷積層、1個池化層和2個全連接層的CNN來提取圖像中每一小塊的特征表示；然后，再用K均值法進行聚類，將這些特征表示分為K類并給每一類賦予標簽；最后給每一小塊最中心的幾個體素賦予和該一小塊所屬類相同的標簽，即將聚類的結果投影到原圖上，完成圖像的分割。K的數值可以根據實際需要進行調整，且無需再提取特征，標簽的賦予也僅用作區(qū)分，不需要專業(yè)的醫(yī)學知識。Moriya等［15］將K設置為3，將肺部的CT圖像劃分為3部分：侵襲性癌變、非侵襲性癌變和正常組織，相比直接應用K均值法和多閾值大津法，該方法取得了更為優(yōu)秀的結果。Bao等［17］使用了一種相當新穎的方式來提升腦部MR圖像分割的質量。他們使用了一個多重規(guī)格結構的CNN，其每一層有尺寸不同的多個卷積核，分別進行運算后在最后幾層進行匯總。多重規(guī)格結構的CNN被用于對圖像進行特征提取并賦予每一小塊可能的標簽；再使用隨機游走法強制實現標簽的連續(xù)性，即相鄰的小塊應盡可能擁有同樣的標簽，使得分割的結果更加平滑［18］。此法在IBSR數據集上取得了平均0.822的準確度，在LPBA40數據集上取得了平均0.850的準確度，相較于之前的PBL法［19］（其上述兩項準確度分別為0.760、0.843），不論是在精度還是速度上都有顯著提升。

1.3 半監(jiān)督學習與預訓練

預訓練就是在正式訓練前，利用某些初始化方式為網絡內參數賦予初值，然后再開始訓練。此時訓練中參數更新的幅度較小，也有鎖定前幾層網絡參數，僅讓訓練對最后幾層做出調整的方法，這種手法也被稱為微調［20］。較為早期的網絡參數初始化主要還是采取統(tǒng)計學手段，例如數據標準化，但本質上還是一個隨機取值的過程。近年來，各領域的研究普遍表明，一些特殊的預訓練方法可以明顯提升網絡的學習效率和精度，其中，有些方法本身就應用了CNN，故值得單獨討論，如上文提到的自編碼器就經常應用于CNN的預訓練。Kallenberg等［21］將他們使用稀疏自編碼器進行無監(jiān)督預訓練的網絡CSAE（Convolutional Sparse Auto-Encoder）應用在乳腺密度分割上。這種無監(jiān)督預訓練和有監(jiān)督微調的組合也被稱作半監(jiān)督學習。而Sun等［22］在他們關于乳腺癌癥狀區(qū)域的分割篩選上則采用了另外一種半監(jiān)督學習方式。該研究面臨的情況是在3 158個樣本的訓練集中，僅有100例有標注，其余為無標注數據。他們先通過21個圖像數據指標同時對標注數據和無標注數據進行特征提取及分類；然后，通過同類的標注數據為無標注數據賦予標簽，從而轉化為標注數據，反復迭代這一過程，直至所有數據都得到標注；最后，通過CNN進行劃分。該研究賦予標簽的準確率在80%左右，最終結果的準確率為82.43%。值得關注的是，在3 158個樣本全都正確標記的情況下，同樣的卷積網絡可以取得85.52%的準確率，可見半監(jiān)督學習可以在不損失太多正確率的情況下，大幅減少人為標注數據的工作量，或是在只有少量樣本被標注的情況下依然能較好地完成分割任務。該研究通過主成分分析的方法實現特征提取，通過CNN進行更高層的特征提取，有望進一步提升賦予標簽的準確率。

類似的方法也被應用在3D以及動態(tài)醫(yī)學圖像上。Brosch等［23］使用含卷積的受限玻爾茲曼機對他們的3D卷積編碼器進行預訓練，然后將這個類自編碼器的網絡應用在多發(fā)性硬化的損傷分割上，在MICCAI 2008和ISBI 2015兩個數據集上取得了頂尖的成績。Yu等［24］將微調應用到了動態(tài)醫(yī)學圖像上，在超聲心動圖里左心室的分割任務中大量使用預訓練和微調。開始分割前，使用一批有標記的數據對CNN進行預訓練，開始分割任務后，CNN會動態(tài)地使用第一幀和剩余幀不斷地進行微調。盡管他們的網絡結構相當簡單，但創(chuàng)新性的動態(tài)微調幫助他們在51組超聲心動圖的分割任務中取得與人為分割相接近的結果，并且明顯優(yōu)于現有的其他手段。另外也有不少工作是基于遷移學習完成的，即使用在類似領域訓練好的網絡進行參數初始化后再進行微調，可以一定程度解決目標任務訓練數據不足的問題。Chen等［25］對一個在PASCAL VOC數據集［26］上訓練好的模型在他們的超聲圖像集上進行微調，并使用它完成了5個不同視角的超聲圖像下左心室的分割，結果與人為分割結果相比也毫不遜色。

2 挑戰(zhàn)與展望

深度CNN作為近幾年來計算機視覺的新寵，已逐漸滲透醫(yī)學影像整個領域，在解剖結構及癥狀區(qū)域的識別、分割以及醫(yī)學圖像的增強、配準及融合等方面都取得了令人眼前一亮的成果。CNN應用于醫(yī)學圖像分割具有得天獨厚的優(yōu)勢，可以通過多層卷積提取輸入圖像的高層空間特征并以此為依據執(zhí)行分割，在人眼難以識別并區(qū)分的區(qū)域，效果尤其顯著。CNN在醫(yī)學圖像分割領域的應用意義重大，一方面提高了分割算法的效率和精度，另一方面解放了人力資源，減輕醫(yī)師的負擔。隨著不斷研究與發(fā)展，相信不久的將來無監(jiān)督學習將會在各種任務中扮演更為重要的角色，甚至可以在某些任務中真正意義上替代人類，完成沒有先驗知識條件下的圖像分割。然而，CNN的進一步推廣也面臨著若干挑戰(zhàn)：（1）現有的硬件水平普遍難以負擔CNN帶來的海量運算。本文提及的實驗絕大多數都將圖像縮小或裁剪后再提供給CNN，分辨率等級僅限于各維度幾百像素，這對于精確定位和診斷來說還是遠遠不夠的。理想情況下我們希望有足夠強大的硬件設備能一次性讀入整張高分辨率的圖片，同時在網絡結構中不需要下采樣降低分辨率以減輕運算負擔。（2）大部分任務中CNN的精度比起人為分割仍有一定差距，所以目前幾乎所有的醫(yī)學圖像分割CNN都僅處于實驗階段，并未投入實際使用。但隨著各種網絡結構和訓練技巧的推陳出新，CNN精度超過一般從業(yè)人員的勢頭已經很明顯，并有望在未來的幾年內達到專家水平。（3）醫(yī)學圖像數據因為設備間差異和技師操作習慣等原因，難以取得大量同規(guī)格的標記數據作為訓練資料。這個問題在醫(yī)療聯(lián)網逐漸普及的如今有望在短期內得到解決，另外一方面也可以寄希望于無監(jiān)督學習的發(fā)展，直接對現有數據進行特征挖掘，而不依賴于人為的標記?？偠灾珻NN的應用使醫(yī)學圖像分割向著自動化邁出了確實的一步。