閆 超，孫占全，田恩剛，趙楊洋，范小燕

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海200093)

隨著醫(yī)療科學(xué)技術(shù)的快速發(fā)展，醫(yī)學(xué)影像已成為醫(yī)生了解、分析病情的重要參考信息，在診斷疾病、評(píng)估治療等方面發(fā)揮著重要作用。全球醫(yī)學(xué)影像信息量在全世界信息總量中占20%以上[1]。醫(yī)學(xué)領(lǐng)域形成了不同的醫(yī)學(xué)成像技術(shù)，包括計(jì)算機(jī)斷層掃描(Computer Tomography，CT)、核磁共振成像(Magnetic Resonance Image，MRI)和超聲成像等。醫(yī)學(xué)圖像分割是從醫(yī)學(xué)影像中識(shí)別病變器官的像素點(diǎn)，旨在獲取這些病變部位的信息特征，在醫(yī)學(xué)圖像分析任務(wù)中具有一定的技術(shù)難度[2]。醫(yī)學(xué)圖像分割方法在發(fā)展的過(guò)程中形成了不同的分割算法，包括：基于灰度閾值的分割算法、基于邊緣檢測(cè)的分割算法、基于區(qū)域的分水嶺分割算法以及結(jié)合特定理論的分割算法等[3]。

隨著計(jì)算機(jī)硬件性能的迅速提高，深度學(xué)習(xí)方法應(yīng)運(yùn)而生，在圖像處理任務(wù)中展現(xiàn)出強(qiáng)大能力。深度學(xué)習(xí)的本質(zhì)是將大量數(shù)據(jù)樣本輸入構(gòu)建的多層機(jī)器學(xué)習(xí)模型之中，學(xué)習(xí)對(duì)象的特征信息，最終提高分類(lèi)精度[4]?；谏疃葘W(xué)習(xí)的圖像處理技術(shù)優(yōu)勢(shì)明顯，已成為研究熱點(diǎn)之一。Shen等人總結(jié)了各種醫(yī)學(xué)圖像分析方法[5]。微軟團(tuán)隊(duì)He等人提出了殘差網(wǎng)絡(luò)架構(gòu)，有效地解決了神經(jīng)網(wǎng)絡(luò)梯度彌散的問(wèn)題[6]。Prathiba等融合多種網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)造出的深度殘差全卷積網(wǎng)絡(luò)(Fully Convolutional Residual Network，F(xiàn)CRN)，在皮膚鏡圖像中自動(dòng)分割黑色素瘤效果顯著[7]。文獻(xiàn)[8]總結(jié)了深度學(xué)習(xí)在醫(yī)學(xué)圖像分割、檢測(cè)、分類(lèi)、配準(zhǔn)、檢索等多個(gè)方面的研究[8]。本文主要探討深度學(xué)習(xí)醫(yī)學(xué)圖像分割技術(shù)在腦組織、肺部和血管等分割任務(wù)之中的應(yīng)用，分析了目前基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割技術(shù)面臨的問(wèn)題和應(yīng)對(duì)策略，并對(duì)今后的發(fā)展方向進(jìn)行了展望。

1 醫(yī)學(xué)圖像的種類(lèi)和特點(diǎn)

醫(yī)學(xué)圖像是指為了方便醫(yī)學(xué)研究，對(duì)人體器官以非侵入方式掃描照射所取得的內(nèi)部組織影像。在醫(yī)學(xué)成像系統(tǒng)中，按照成像設(shè)備和成像機(jī)理的不同可以將醫(yī)學(xué)圖像分為CT圖像、MRI圖像及超聲成像等。

1.1 電子計(jì)算機(jī)斷層掃描圖像

電子計(jì)算機(jī)斷層掃描的原理是利用高靈敏度的探測(cè)器和精準(zhǔn)的射線對(duì)人體器官組織按照一定厚度的斷截面進(jìn)行分層掃描，將得到的電信號(hào)經(jīng)過(guò)模數(shù)轉(zhuǎn)換器轉(zhuǎn)換為可以被計(jì)算機(jī)識(shí)別的數(shù)字信號(hào)。在圖像處理過(guò)程中，將選定層面分成若干個(gè)體積相同的長(zhǎng)方體，即體素[9]。CT圖像可以根據(jù)人體器官組織對(duì)射線吸收能力的不同，通過(guò)不同灰度等級(jí)顯示人體器官組織密度的高低。但CT 圖像無(wú)法提供清晰的軟組織和病灶影像，具有一定的局限性。

1.2 MRI圖像

磁共振成像，又名核磁共振成像。核磁共振成像與其它斷層成像技術(shù)都能夠再現(xiàn)各種物理量的分布特征信息。相比CT，磁共振成像能更好地可視化，更精確地定位和區(qū)分腫瘤和正常軟組織器官。動(dòng)態(tài)對(duì)比度增強(qiáng)MRI 具有非侵入方式評(píng)價(jià)整個(gè)腫瘤區(qū)域的能力，已應(yīng)用于腫瘤學(xué)相關(guān)領(lǐng)域[10]。核磁共振成像的空間分辨率可以達(dá)到亞毫米級(jí)別，能夠提供非常清晰的人體軟組織解剖結(jié)構(gòu)和病灶影像。但其缺點(diǎn)在于無(wú)法獲取骨性組織影像，自動(dòng)分析技術(shù)也有一定的困難。

1.3 超聲圖像

超聲成像的工作原理是通過(guò)超聲束對(duì)人體進(jìn)行照射掃描，利用掃描之后產(chǎn)生的信號(hào)重現(xiàn)人體器官組織影像。三維成像、超聲生物顯微鏡、穿透式超聲成像等進(jìn)一步豐富了超聲成像技術(shù)。超聲成像可確定人體器官組織的位置、大小、形態(tài)以及病灶的范圍和物理性質(zhì)[11]；超聲成像還可以提供身體組織的解剖圖像，鑒別胎兒發(fā)育是否正常，被廣泛地應(yīng)用于消化系統(tǒng)、泌尿系統(tǒng)、心血管系統(tǒng)疾病的診斷中，已成為一種非常重要的醫(yī)學(xué)成像技術(shù)。

除了以上幾種常用的醫(yī)學(xué)圖像，還有很多其他的醫(yī)學(xué)圖像，例如病理光學(xué)顯微鏡、正電子發(fā)射計(jì)算機(jī)斷層顯像等。這些圖像彼此之間各有優(yōu)勢(shì)，相互補(bǔ)充，在疾病的診斷和病灶區(qū)域的治療方面發(fā)揮了重要的作用。

2 基于深度學(xué)習(xí)的圖像分割算法

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分割的策略為將逐個(gè)像素及其鄰域輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和預(yù)測(cè)。這種方式的弊端在于需要很大的存儲(chǔ)開(kāi)銷(xiāo)，不僅計(jì)算量大、效率低下，而且鄰域的大小限制了感受野的范圍，降低了特征提取能力。針對(duì)這個(gè)問(wèn)題，加州大學(xué)伯克利分校的Long等人提出將全卷積網(wǎng)絡(luò)(Fully Convolutional Network，F(xiàn)CN)用于圖像分割[12]。該網(wǎng)絡(luò)以AlexNet[13]網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，將全連接層全部轉(zhuǎn)化為卷積層，通過(guò)上采樣的方式增加特征圖的維度。全卷積網(wǎng)絡(luò)的創(chuàng)新在于樣本圖片尺寸不再受到限制，適用性更加廣泛，減少了冗余結(jié)構(gòu)，運(yùn)行效率更加高效。但是該方法的缺點(diǎn)在于圖像細(xì)節(jié)信息會(huì)有所丟失，分割精度有待進(jìn)一步提高。Ronneberger等在FCN 思想的基礎(chǔ)上，提出U-net網(wǎng)絡(luò)架構(gòu)[14]。該網(wǎng)絡(luò)結(jié)構(gòu)由編碼階段和解碼階段組成，在編碼過(guò)程中，下采樣圖像提取圖片特征；解碼過(guò)程中，對(duì)圖片進(jìn)行上采樣，以便逐步恢復(fù)圖片的大小。編碼階段連續(xù)的卷積核和池化操作丟失了圖片的部分特征信息，但是在解碼階段上采樣之后的特征圖與跳躍連接的前端信息相融合，豐富了圖像的細(xì)節(jié)特征，已應(yīng)用在對(duì)神經(jīng)元、細(xì)胞瘤和HeLa細(xì)胞的醫(yī)學(xué)圖像分割任務(wù)中。在此之后，Milletari等提出了一個(gè)專(zhuān)為3D 醫(yī)學(xué)圖像分割設(shè)計(jì)的改進(jìn)型U-net，稱(chēng)之為V-net。該模型采用3D 卷積技術(shù)和置信度分割指標(biāo)，使之更適用于醫(yī)學(xué)圖像分割[15]。2018年，Zhou等人對(duì)U-net網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了創(chuàng)新，提出U-net++網(wǎng)絡(luò)結(jié)構(gòu)[16]。相對(duì)于原來(lái)的U-net網(wǎng)絡(luò)，U-net++把U-net網(wǎng)絡(luò)結(jié)構(gòu)的前4層連接在一起，通過(guò)特征疊加的方式整合，讓網(wǎng)絡(luò)自身去學(xué)習(xí)不同深度的特征權(quán)重。U-Net的變體被用于不同的醫(yī)學(xué)圖像分割任務(wù)中，然而多次池化和跨度卷積操作降低了圖像的特征分辨率，學(xué)習(xí)的特征表達(dá)更為抽象，不利于需要詳細(xì)空間信息的密集預(yù)測(cè)任務(wù)。

Gu等人于2019年提出一種上下文編碼網(wǎng)絡(luò)CE-Net(Context Encoder Network)用于2D醫(yī)學(xué)圖像分割。該網(wǎng)絡(luò)捕獲更多高級(jí)信息并保留空間信息特征[17]。該網(wǎng)絡(luò)包含3個(gè)模塊：特征編碼模塊、上下文提取模塊和特征解碼模塊。特征編碼模塊使用預(yù)先訓(xùn)練好的殘差網(wǎng)絡(luò)作為固定特征提取器，利用遷移學(xué)習(xí)將預(yù)訓(xùn)練權(quán)重加載到網(wǎng)絡(luò)之中，可以加速網(wǎng)絡(luò)訓(xùn)練過(guò)程，并通過(guò)微調(diào)的方式進(jìn)一步優(yōu)化結(jié)構(gòu)參數(shù)。上下文提取模塊由密集空洞卷積和殘差多尺度池化組成。空洞卷積模塊用來(lái)提取圖像豐富的特征表達(dá)，多尺度池化模塊用來(lái)進(jìn)一步獲取上下文信息，二者結(jié)合可以捕獲更多抽象特征并保留更多空間信息，提高醫(yī)學(xué)圖像分割的性能。CE-Net網(wǎng)絡(luò)結(jié)構(gòu)在視神經(jīng)盤(pán)、視網(wǎng)膜血管、肺部、細(xì)胞輪廓等多個(gè)醫(yī)學(xué)圖像分割任務(wù)中取得了良好的分割結(jié)果。

由表1可以看出，在深度學(xué)習(xí)分割技術(shù)的發(fā)展過(guò)程中涌現(xiàn)出了很多經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)框架，這些高效的網(wǎng)絡(luò)模型相互借鑒，融合了多尺度信息，可對(duì)卷積神經(jīng)網(wǎng)絡(luò)的寬度和深度層面進(jìn)行探索，分別形成了Inception結(jié)構(gòu)和殘差網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)結(jié)構(gòu)朝著更豐富、更準(zhǔn)確方向發(fā)展的同時(shí)，也有不少團(tuán)隊(duì)致力于精簡(jiǎn)網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)加深特征融合，減少計(jì)算復(fù)雜度，避免不必要的內(nèi)存消耗，提高了圖像的分割精度。

表1 深度學(xué)習(xí)分割網(wǎng)絡(luò)框架

3 深度學(xué)習(xí)在醫(yī)學(xué)圖像分割上的應(yīng)用

3.1 腦組織分割

臨床上腦部區(qū)域的分割任務(wù)難點(diǎn)主要在于：(1)正確劃分腦部和非腦部在圖像中的分布。核磁共振圖像中，噪音等因素會(huì)影響圖像各部位的亮度，因此將腦與頭骨分割開(kāi)來(lái)有一定的挑戰(zhàn)性；(2)確定MRI合適的掃描時(shí)間。掃描時(shí)間越長(zhǎng)，得到的圖片分辨率越高，更有利于對(duì)病情的了解和分析。但是長(zhǎng)時(shí)間的掃描輻射對(duì)病人的身體健康有一定的危害；(3)降噪尺度的把握。采用技術(shù)手段降噪的同時(shí)會(huì)使得原圖中的細(xì)節(jié)信息大量丟失，不利于疾病診斷。常見(jiàn)的解決思路分別為：(1)通過(guò)背景體元移除來(lái)對(duì)MRI圖像進(jìn)行預(yù)處理，降低腦部區(qū)域分割的技術(shù)難度；(2)根據(jù)病人病情和不同醫(yī)療設(shè)備的特點(diǎn)，在獲取較為清晰圖像的基礎(chǔ)上減少掃描時(shí)間；(3)將Fuzzy C-Means算法與馬爾科夫隨機(jī)場(chǎng)結(jié)合提升分割精度，根據(jù)對(duì)圖像質(zhì)量不同的要求標(biāo)準(zhǔn)，找到合適的平衡點(diǎn)。采用智能調(diào)強(qiáng)放療技術(shù)對(duì)腦腫瘤進(jìn)行治療時(shí)，需要對(duì)周?chē)哪X部結(jié)構(gòu)做好穩(wěn)定可靠的保護(hù)措施。上海交通大學(xué)Cui等提出了一種基于圖像塊的方法可以使用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)對(duì)腦MRI進(jìn)行分割，在丘腦、側(cè)腦室的分割任務(wù)中分割準(zhǔn)確率高達(dá)90%[22]。Moeskops等通過(guò)融合不同尺度卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)腦部組織進(jìn)行分割，在8個(gè)組織分類(lèi)結(jié)果上表現(xiàn)突出，在五個(gè)不同年齡段的數(shù)據(jù)集上進(jìn)行測(cè)試，分割結(jié)果的置信度系數(shù)分別為0.87、0.82、0.84、0.86 和0.91[23]。Zhang等提出基于提取圖像塊的卷積神經(jīng)網(wǎng)絡(luò)算法，采用嬰兒T1、T2和部分各向異性圖像分割正常腦結(jié)構(gòu)[24]。研究結(jié)果表明，卷積神經(jīng)網(wǎng)絡(luò)算法比支持向量機(jī)和隨機(jī)森林的嬰兒腦組織分割方法更加有效。Nie等提出使用3D全卷積神經(jīng)網(wǎng)絡(luò)分割嬰兒大腦圖像，使用全卷積網(wǎng)絡(luò)進(jìn)行端到端的訓(xùn)練，減少了網(wǎng)絡(luò)學(xué)習(xí)時(shí)間[25]。

3.2 肺部分割

近年來(lái)，肺癌已經(jīng)成為世界上死亡率和發(fā)病率最高的癌癥之一。肺癌早期表現(xiàn)形式主要是肺結(jié)節(jié)，準(zhǔn)確快速地對(duì)肺結(jié)節(jié)進(jìn)行檢測(cè)、分割、診斷是提升患者生存幾率的關(guān)鍵。臨床上一般使用CT技術(shù)獲取患者胸腔內(nèi)的肺部圖像，圖像包含背景、肺部、血管、脂肪等部分。為了更好地分析圖像，要先對(duì)圖像進(jìn)行預(yù)處理，把圖像中的像素值轉(zhuǎn)化為CT值，并進(jìn)行歸一化操作。如果圖像數(shù)據(jù)集較少，可以將原來(lái)的圖像進(jìn)行縮放、旋轉(zhuǎn)、變形，通過(guò)數(shù)據(jù)增強(qiáng)的方法來(lái)擴(kuò)大數(shù)據(jù)集，防止模型過(guò)擬合。把預(yù)處理之后的肺部圖像與肺部標(biāo)簽輸入網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練。Cheng等使用堆棧式去噪自編碼算法分割肺結(jié)節(jié)，不僅證明了該算法比傳統(tǒng)方法精度更高，而且擴(kuò)大了堆棧式去噪自編碼算法在醫(yī)學(xué)圖像的適用范圍[26]。Liauchuk等利用GoogLeNet網(wǎng)絡(luò)檢測(cè)肺結(jié)節(jié)，發(fā)現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)病灶的ROC(Receiver Operating Characteristic)面積僅為0.969，而傳統(tǒng)的基于特征提取方法的ROC面積為0.895[27]。在對(duì)肺部磨玻璃結(jié)節(jié)的處理上，Zhou等結(jié)合了似然圖方法和基于肺部磨玻璃結(jié)節(jié)紋理的非參數(shù)密度估計(jì)，并且對(duì)Hessian矩陣進(jìn)行特征分析，最終實(shí)現(xiàn)對(duì)GGO(Ground Glass Opacity)的分割[28]。

3.3 血管分割

血管分割是醫(yī)學(xué)圖像中難度較大的分割任務(wù)。目前沒(méi)有任何一種算法能夠適用于不同成像方式的血管分割任務(wù)，也沒(méi)有任何一種算法能夠適用于人體不同部位血管的分割任務(wù)?；谏疃葘W(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的分割方法相對(duì)于基于數(shù)學(xué)形態(tài)學(xué)的方法、基于邊緣檢測(cè)的方法和基于閾值的方法的優(yōu)勢(shì)在于可以自動(dòng)提取圖像信息特征，反復(fù)迭代優(yōu)化，而且在訓(xùn)練的過(guò)程中能夠使用網(wǎng)絡(luò)的非線性特性進(jìn)行邊界分割。但該方法的局限性在于當(dāng)面臨新的圖像特征時(shí)，要對(duì)網(wǎng)絡(luò)模型重新進(jìn)行訓(xùn)練，調(diào)參過(guò)程比較復(fù)雜。Nasr-Esfahani等提出基于圖像塊的卷積神經(jīng)網(wǎng)絡(luò)從X光血管造影圖像中提取血管[29]。Wu等人利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)的特征信息，識(shí)別血管組織結(jié)構(gòu)，通過(guò)融合廣義概率跟蹤框架來(lái)提取整個(gè)眼底血管連接樹(shù)[30]。Liskowski以監(jiān)督學(xué)習(xí)算法為基礎(chǔ)，利用卷積神經(jīng)網(wǎng)絡(luò)提取抽象特征，首創(chuàng)眼底血管分割技術(shù)。該方法通過(guò)使用公共數(shù)據(jù)集進(jìn)行預(yù)先訓(xùn)練和微調(diào)訓(xùn)練的方法，使得ROC達(dá)到0.99，準(zhǔn)確率達(dá)到了0.97，大大提高了網(wǎng)絡(luò)性能[31]。Wang提出了一個(gè)綜合卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林的監(jiān)督方法來(lái)解決視網(wǎng)膜血管病變分割的問(wèn)題[32]。在這些方法中，大多數(shù)采用監(jiān)督深度學(xué)習(xí)的方法提取特征，再結(jié)合其他已有技術(shù)和分類(lèi)器來(lái)保證分割的準(zhǔn)確性。

4 結(jié)束語(yǔ)

本文從醫(yī)學(xué)影像技術(shù)、圖像分割算法、醫(yī)學(xué)圖像分割的具體應(yīng)用3個(gè)方面總結(jié)了基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割技術(shù)迅速發(fā)展的過(guò)程?？梢钥闯觯摷夹g(shù)在取得一定突破的同時(shí)也面臨著如下問(wèn)題：(1)缺少高質(zhì)量的數(shù)據(jù)。深層神經(jīng)網(wǎng)絡(luò)通常需要大量帶注釋的示例來(lái)執(zhí)行培訓(xùn)任務(wù)。在醫(yī)學(xué)圖像處理中，收集龐大的病例注釋數(shù)據(jù)集往往是一項(xiàng)非常艱巨的任務(wù)；(2)由于圖像重建方法和醫(yī)學(xué)成像設(shè)備的不同，可能會(huì)導(dǎo)致偏移場(chǎng)不一致和灰度不均勻等問(wèn)題；(3)不同成像原理的醫(yī)學(xué)圖像數(shù)據(jù)僅能反映人體特定的信息，而不能反映全面綜合的信息特征。

基于以上問(wèn)題，深度學(xué)習(xí)醫(yī)學(xué)圖像分割技術(shù)發(fā)展方向主要集中為以下幾點(diǎn)：(1)通過(guò)數(shù)據(jù)增強(qiáng)來(lái)擴(kuò)充圖像數(shù)據(jù)；采用遷移學(xué)習(xí)方法將大數(shù)據(jù)集預(yù)訓(xùn)練和目標(biāo)數(shù)據(jù)集微調(diào)相結(jié)合；采用弱監(jiān)督學(xué)習(xí)方式，有效結(jié)合無(wú)監(jiān)督預(yù)訓(xùn)練和監(jiān)督學(xué)習(xí)的優(yōu)點(diǎn)；(2)可以采用批規(guī)范化、正則化、Dropout來(lái)改善灰度不均勻等問(wèn)題；(3)利用不同影像之間信息互補(bǔ)的特點(diǎn)，融合多模態(tài)醫(yī)學(xué)影像，從而提高分析的準(zhǔn)確性。隨著計(jì)算機(jī)技術(shù)的進(jìn)一步提高以及深度學(xué)習(xí)算法不斷地優(yōu)化和創(chuàng)新，基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割技術(shù)擁有巨大的發(fā)展?jié)摿?，將被更加廣泛地應(yīng)用于醫(yī)學(xué)研究的各個(gè)領(lǐng)域，產(chǎn)生更為深遠(yuǎn)的影響。