◆任楚嵐 王寧 張陽(yáng)
醫(yī)學(xué)圖像分割方法綜述
◆任楚嵐1王寧1張陽(yáng)2
(1.沈陽(yáng)化工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 遼寧 110142;2.遼寧中醫(yī)藥大學(xué)附屬醫(yī)院 遼寧 110032 )
醫(yī)學(xué)圖像分割是一項(xiàng)極具挑戰(zhàn)性的任務(wù),也是醫(yī)學(xué)領(lǐng)域與計(jì)算機(jī)視覺(jué)領(lǐng)域的完美結(jié)合。本文通過(guò)對(duì)醫(yī)學(xué)圖像分割領(lǐng)域現(xiàn)狀的了解和學(xué)習(xí),對(duì)其進(jìn)行了系統(tǒng)性梳理,首先介紹了閾值法、區(qū)域法、邊緣檢測(cè)法、聚類法這4種傳統(tǒng)的醫(yī)學(xué)圖像分割方法,然后介紹了基于深度學(xué)習(xí)的自動(dòng)分割方法,最后對(duì)醫(yī)學(xué)圖像分割的發(fā)展趨勢(shì)做出展望。
醫(yī)學(xué)圖像分割;傳統(tǒng)分割方法;深度學(xué)習(xí)
醫(yī)學(xué)圖像分割的目的是將醫(yī)學(xué)圖像中具有特殊含義的部分單獨(dú)分割出來(lái)。在醫(yī)學(xué)領(lǐng)域中,醫(yī)生主要靠醫(yī)學(xué)影片圖像和主觀判斷來(lái)診斷疾病,醫(yī)學(xué)圖像分割是醫(yī)學(xué)三維重建和定量分析中的關(guān)鍵步驟,更是病灶區(qū)量化、選擇治療手段和放射治療的重要技術(shù)前提[1-2],分割結(jié)果的準(zhǔn)確性直接影響后續(xù)治療效果。目前,醫(yī)學(xué)圖像分割主要有以下難點(diǎn):醫(yī)學(xué)組織影像結(jié)構(gòu)復(fù)雜,有多種成像模態(tài),PET、MRI、CT和超聲等[3],根據(jù)不同的成像方法和成像部位要選擇不同的分割方法。另外一點(diǎn)是,醫(yī)學(xué)圖像同自然圖像不同,具有較高的復(fù)雜性,由于圖像的像素單一,所以在病變部位的界線、形狀等信息也比較模糊,醫(yī)學(xué)圖像的準(zhǔn)確分割仍是一項(xiàng)難題。
閾值法具有計(jì)算量小、實(shí)現(xiàn)簡(jiǎn)單、穩(wěn)定性較好等優(yōu)點(diǎn),成為醫(yī)學(xué)圖像分割領(lǐng)域中運(yùn)用最廣泛的分割技術(shù)。其基本原理是通過(guò)設(shè)定閾值的不同,把像素點(diǎn)分為不同灰度級(jí)的背景區(qū)和目標(biāo)區(qū),所以它更適用于背景和目標(biāo)灰度相差較大的圖像。如果圖像只有目標(biāo)和背景兩大類,就只需要設(shè)置一個(gè)閾值,單閾值分割的變換如公式(1),其中是輸入圖像,是輸出圖像。
公式(1)中,為閾值,背景圖像元素(,)=0,目標(biāo)圖像元素(,)=1。如果圖像中有多個(gè)目標(biāo)需要分割,就要設(shè)置多個(gè)閾值,所以其分割的準(zhǔn)確度多依賴于閾值的選擇,常用的閾值選擇方法有運(yùn)用圖像灰度直方圖的峰谷法、基于過(guò)渡區(qū)法、結(jié)合連通信息的閾值方法、最大熵原則自動(dòng)閾值法和最大相關(guān)性原則選擇閾值。這種方法就是運(yùn)用像素點(diǎn)灰度值的特征,并沒(méi)有考慮其空間特性,此方法對(duì)噪聲也比較敏感,但是目前出現(xiàn)了許多基于閾值法的改進(jìn)算法,分割準(zhǔn)確度有了進(jìn)一步提高。
區(qū)域生長(zhǎng)法是根據(jù)像素的相似性質(zhì)來(lái)聚集像素點(diǎn)所形成的區(qū)域,這種方法是從單個(gè)像素出發(fā),逐步合并形成所需要的區(qū)域。區(qū)域生長(zhǎng)是從待分割區(qū)域中選取種子像素開始,作為生長(zhǎng)起點(diǎn),將種子像素鄰域里符合條件的像素合并到種子像素里,形成新的種子像素,繼續(xù)合并,直到找不到符合條件的像素,其關(guān)鍵是種子像素的選擇、確定生長(zhǎng)規(guī)則和終止條件。區(qū)域生長(zhǎng)法計(jì)算簡(jiǎn)單,對(duì)分割具有相同特征的連通區(qū)域效果較好,但是由于噪聲和灰度不均的問(wèn)題,容易產(chǎn)生空洞和過(guò)分割。在醫(yī)學(xué)圖像分割中閾值法和區(qū)域法一般與其他分割方法結(jié)合,如劉瑩等[4]結(jié)合區(qū)域生長(zhǎng)和水平集算法實(shí)現(xiàn)宮頸病灶圖像分割,李孝斐等[5]對(duì)肝臟腫瘤CT圖像進(jìn)行直方圖均衡化、中值濾波等預(yù)處理,再運(yùn)用混合濾波策略的區(qū)域生長(zhǎng)算法實(shí)現(xiàn)對(duì)肝臟腫瘤的有效分割。
基于邊緣檢測(cè)的圖像分割是通過(guò)檢測(cè)包含不同區(qū)域的邊緣來(lái)解決問(wèn)題,不同區(qū)域之間邊界的灰度值變化比較劇烈,一般利用一階導(dǎo)數(shù)的極大值或二階導(dǎo)數(shù)的過(guò)零點(diǎn)信息來(lái)判斷邊緣點(diǎn)。在醫(yī)學(xué)圖像領(lǐng)域中,最簡(jiǎn)單常用的檢測(cè)方法包括:Roberts梯度算子、Wills算子、Prewitt算子、Canny算子等。不同的算子有不同的提取效果,但兩大難點(diǎn)限制了其在醫(yī)學(xué)圖像分割中的應(yīng)用,一個(gè)是不能保證邊緣的連續(xù)性和封閉性;另一個(gè)是在高細(xì)節(jié)區(qū)容易出現(xiàn)大量碎邊緣,難以形成一個(gè)大區(qū)域。由于醫(yī)學(xué)圖像的高度復(fù)雜性,要想實(shí)現(xiàn)完整的分割任務(wù)還需要與其他分割算法相結(jié)合。
將圖像中相似灰度合并的方法稱為聚類,通過(guò)聚類將圖像表示為不同的區(qū)域即聚類分割方法,其實(shí)質(zhì)是將圖像分割看成是模式識(shí)別下的聚類分析,如K均值、模糊C-均值算法(FCM)、參數(shù)密度估計(jì)等方法都可以用于圖像分割。由于多數(shù)醫(yī)學(xué)圖像具有模糊性、圖像質(zhì)量低等特性,所以在醫(yī)學(xué)分割領(lǐng)域最常用的聚類算法是模糊C-均值算法(FCM),該方法將模糊集理論和聚類算法結(jié)合,通過(guò)“隸屬度”來(lái)確定像素點(diǎn)屬于某個(gè)聚類的程度。模糊C均值聚類的基本思想是:先人工隨機(jī)指定每個(gè)數(shù)據(jù)到各個(gè)聚類(簇)的隸屬度,再根據(jù)隸屬度計(jì)算每一個(gè)簇的質(zhì)心,接著重新進(jìn)行偽劃分,直到質(zhì)心不變。該算法是一種無(wú)監(jiān)督算法,在一定程度上緩解了醫(yī)學(xué)圖像分割標(biāo)簽少的問(wèn)題。李[6]提出一種改進(jìn)的局部自適應(yīng)模糊C-均值算法進(jìn)行肺結(jié)節(jié)分割,并驗(yàn)證了其算法在利用肺部圖像的鄰域信息和灰度信息上的有效性。廖林峰[7]等采用粒子群算法和遺傳算法相結(jié)合的優(yōu)化算法來(lái)確定初始類聚中心,再引入像素的鄰域信息,克服噪聲對(duì)異常值敏感的問(wèn)題。
Long[8]等提出的全卷積網(wǎng)絡(luò)(Fully Convolutional Networks,F(xiàn)CN)成為圖像分割領(lǐng)域的主流框架,顧名思義,其將經(jīng)典CNN模型中的全連接層替換成了卷積層,整個(gè)網(wǎng)絡(luò)由卷積層和池化層組成。FCN可以看成一個(gè)編碼器-解碼器的結(jié)構(gòu),編碼部分是進(jìn)行高維特征提取的過(guò)程,解碼部分利用反卷積進(jìn)行上采樣,使得到的分割結(jié)果圖像大小和輸入圖像大小相同,實(shí)現(xiàn)了像素級(jí)的分類。FCN模型對(duì)輸入圖像的大小沒(méi)有要求,但其缺點(diǎn)是沒(méi)有考慮全局上下文信息且只采用一次上采樣操作,容易忽視細(xì)節(jié)信息。
隨著深度學(xué)習(xí)的快速發(fā)展,針對(duì)FCN的不足,Ronneberger[9]等人提出U-net網(wǎng)絡(luò)結(jié)構(gòu),其在小規(guī)模數(shù)據(jù)集下有良好的表現(xiàn),更適合于醫(yī)學(xué)圖像的分割,結(jié)構(gòu)和FCN類似,包括特征提取的收縮路徑、精準(zhǔn)定位的擴(kuò)張路徑和融合底層信息和高層信息的跳躍連接。在U-net框架的基礎(chǔ)上也衍生了許多在不同醫(yī)學(xué)影像上表現(xiàn)優(yōu)越的語(yǔ)義分割網(wǎng)絡(luò),包括U-net++和3DU-net等。U-net++是U-net的加強(qiáng)版,根據(jù)具體的醫(yī)學(xué)影像分割任務(wù)進(jìn)行調(diào)整,將U-net的跳躍連接結(jié)構(gòu)改成了密集連接。黃鴻[10]等融合自適應(yīng)加權(quán)聚合策略對(duì)U-net++進(jìn)行改進(jìn),該方法能在微小細(xì)節(jié)上實(shí)現(xiàn)精確分割。一些醫(yī)學(xué)影像是以3D的形式存儲(chǔ)的,如CT和MRI影像,3DU-net網(wǎng)絡(luò)就是對(duì)此類圖像進(jìn)行分割的,就是用3D卷積操作替換了2D的卷積操作,并在模型中引入了新的目標(biāo)函數(shù),有效緩解圖像分割中類不平衡的問(wèn)題。王繼平[11]等運(yùn)用3DU-net對(duì)鼻咽癌危及器官(腦干、下頜骨、脊髓、內(nèi)耳、腮腺、喉、垂體、視神經(jīng))進(jìn)行自動(dòng)分割,相較于手工勾畫平均時(shí)間節(jié)省74.5%,準(zhǔn)確度均高于80%。
本文著重介紹了幾種傳統(tǒng)的醫(yī)學(xué)圖像分割方法和基于深度學(xué)習(xí)的自動(dòng)分割方法,總結(jié)近幾年醫(yī)學(xué)圖像分割方法,在實(shí)際應(yīng)用中應(yīng)該根據(jù)分割場(chǎng)景的不同采用不同的分割方法,以達(dá)到準(zhǔn)確分割病灶或器官的目的。醫(yī)學(xué)圖像自動(dòng)分割速度快、精確度高,已經(jīng)在醫(yī)學(xué)領(lǐng)域發(fā)揮著重要作用,但是仍然存在不足,一點(diǎn)是目前的分割模型都是基于監(jiān)督學(xué)習(xí)的,這需要大量的分割標(biāo)簽,標(biāo)簽的獲取費(fèi)時(shí)費(fèi)力費(fèi)錢;另一點(diǎn)是目前的主流方法都是基于U-net及其變體的,全部是編碼器-解碼器結(jié)構(gòu),其他的分割網(wǎng)絡(luò)框架將是未來(lái)的重要研究方向。
[1]劉辰,肖志勇,杜年茂. 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割上的應(yīng)用[J]. 計(jì)算機(jī)科學(xué)與探索,2019(9):1593-1603.
[2]郭磊,王玉軍,賀宏偉,等. 基于全卷積網(wǎng)絡(luò)的 X 線圖像成像部位自動(dòng)分割[J]. 中國(guó)醫(yī)療器械雜志,2019(3):170-172.
[3]李蘭蘭.醫(yī)學(xué)圖像分割方法綜述[J].科技創(chuàng)新與應(yīng)用,2017(14):71.
[4]劉瑩,李筠,楊海馬,等.結(jié)合區(qū)域生長(zhǎng)與水平集算法的宮頸癌圖像分割[J].電子測(cè)量與儀器學(xué)報(bào),2020,34(09):146-152.
[5]李孝斐. 肝臟腫瘤CT圖像分割方法的研究[D].東華大學(xué),2019.
[6]李昌燃. 基于模糊C均值聚類的肺結(jié)節(jié)分割研究[D].浙江師范大學(xué),2018.
[7]廖林峰,邱曉暉.基于模糊C-均值聚類醫(yī)學(xué)圖像分割的優(yōu)化算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2017,27(12):81-84.
[8]Long J,Shelhamer E,Darrell T.Fully convolutional networks for semantic segmentation[C].Proceedings of the IEEE conference on computer vision and pattern recognition,2015: 3431-3440.
[9]Ronneberger O,F(xiàn)ischer P,Brox T.U-net:Convolutional Networks for Biomedical Image Segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention.Munich:MICCAI,2015:234-241.
[10]黃鴻,呂容飛,陶俊利,等.基于改進(jìn)U-Net++的CT影像肺結(jié)節(jié)分割算法[J].光子學(xué)報(bào),2021,50(02):73-83.
[11]王繼平,李鑫,陳傳喜,等.3D U-net應(yīng)用于鼻咽癌危及器官自動(dòng)分割的研究[J].醫(yī)療衛(wèi)生裝備,2020,41(11):17-20+45.
網(wǎng)絡(luò)安全技術(shù)與應(yīng)用2022年2期