基于HRNet的胃腸道圖像分割方法的設計與實現

凌 飛,吳延凱

河南工業(yè)職業(yè)技術學院,河南 南陽 473000

0 引言

截至2022年底,全球有600多萬人被診斷出患有消化道癌癥,在這些患者中,約有一半符合接受放射治療的條件,在放射治療的過程中須避開腸道和胃。傳統(tǒng)方式須借助先進儀器成像體內結構,并手動勾畫出胃和腸道的位置,耗時且勞動密集,但胃和腸道的位置每天都在發(fā)生著變化,因此增加了醫(yī)療工作量,降低了患者的醫(yī)療體驗。

本文提出使用語義分割模型HRNet精確定位胃和腸道的掩碼,然后對掩碼進行開、閉運算去除成像中的噪點和被誤分的小塊,得到胃和腸道的連通域,從而給出精確的邊緣信息。使用該方法能夠替代醫(yī)務人員進行醫(yī)療影像中胃腸道區(qū)域分割,使癌癥患者得到有效治療的同時,降低了治療時間。

1 相關技術

1.1 HRnet語義分割模型

最近的研究表明,深度卷積神經網絡已具有先進的性能,大多數現有方法通過一個由高分辨率到低分辨率的子網傳遞輸入,然后通過對稱的低到高分辨率來生成高分辨率的表示。HRNet[1]從高分辨率子網作為第一階段始,逐步增加高分辨率到低分辨率的子網,形成更多的階段,并將多分辨率子網并行連接。在整個過程中,通過在并行的多分辨率子網絡上反復交換信息來進行多尺度的重復融合,最后通過網絡輸出高分辨率來生成對應的掩碼,得到精確的圖像類別信息。

1.2 輕量化網絡

網絡模型性能的提升伴隨著網絡模型參數量和計算量的增加,這會導致硬件成本的提升、實時性的降低,而模型加速的方法主要包括輕量化模型設計、模型壓縮與剪枝、知識蒸餾這3種方法。

輕量化模型是在保持模型骨干網絡精度的基礎上,通過降低神經網絡的深度或寬度,從而降低模型的參數量和計算量。Zhang et al.提出ShuffleNet,該結構利用分組逐點卷積和通道重排的方式提高了模型的推理速度,使其可以達到移動端運行的要求[2];2017年Howard et al.提出將常規(guī)卷積替換為深度可分離卷積方式構建網絡,這種方式降低了模型的參數量和運算復雜度;Mark Sandler等提出MobileNetV2,在MobileNetV1的基礎上,通過引入倒殘差結構(Inverted Residuals) 和Linear Bottlenecks,提高了模型的精度且模型更小[3]。

1.3 多尺度特征提取

多尺度特征提取是一種從圖像中提取特征的技術,其從不同尺度提取圖像特征,并將這些特征轉換為高維數據。該方法主要分為2步:首先利用圖像金字塔或者其他尺度變化的技術,獲取不同尺度的圖像,然后利用圖像處理技術提取不同尺度下圖像的特征,不同尺度的特征包含很豐富的語義信息,能夠提高模型的檢測精度[4]。

為了捕獲多尺度特征,圖像金字塔將原始圖片進行不同尺度的縮放,然后在不同尺度上進行特征提取,SSD(single shot detector)采用這種多尺度特征融合的方式,沒有上采樣過程,即從網絡不同層抽取不同尺度的特征做預測,這種方式不會增加額外計算量,并且能夠獲取足夠低層的特征,對于捕獲小目標有很大的幫助[5]。受到SPP(spatial pyramid pooling)的啟發(fā),語義分割模型DeepLabv2中提出了ASPP(atrous spatial pyramid pooling)模塊,該模塊使用具有不同采樣率的多個并行空洞卷積層,為每個采樣率提取的特征在單獨的分支中進一步處理,并融合以生成最終結果[6]。該模塊通過不同的空洞率構建不同感受野的卷積核,用來獲取多尺度物體信息,提升模型捕捉多尺度特征的能力。

2 胃腸道圖像分割

基于HRNet的胃腸道圖像分割方法借助于醫(yī)療影像對人體胃腸道進行精確定位,從而實現輔助治療的目的,該方法整體訓練、推理流程如圖1所示。

圖1 胃腸道圖像分割方法流程

2.1 數據增強

數據增強是指通過對原始訓練數據進行一系列變換和修改,生成新的訓練樣本,從而擴展訓練集的規(guī)模和多樣性。在實際的應用場景中,足量且高保真的優(yōu)質數據集通常是可遇不可求的,為提高模型的魯棒性,本文在模型訓練階段采用工業(yè)中常用的降低成本的方法,即利用數據增強技術來減少對訓練數據的依賴,從而構建高精度的模型。

本文采用了Cutout、Random erasing、GridMask、Cropping and resizing、隨機翻轉方式對原始數據進行增強,提高模型的泛化性能。

2.2 模型輕量化

為提高模型的實時性,本文采用調整網絡結構的方式,引入輕量化模型MobileNetV2中的倒置殘差模塊替代HRNet網絡中的BasicBlock模塊,通過使用深度可分離卷積的方式,弱化在通道維度上的特征提取過程,降低了參數量,更符合實際應用場景下的需求,如圖2所示。

圖2 HRNet Basicblock模塊與倒置殘差模塊結構

2.3 損失函數優(yōu)化

語義分割任務實際上是一種像素層面的分類,需要識別圖像中存在的內容和位置,同樣也存在與分類相似的問題——樣本類別不均衡,對于醫(yī)療影像更多的是前景區(qū)域的樣本遠遠小于背景區(qū)域,針對類別不均衡的問題,本文在Loss層面進行了優(yōu)化,選擇Dice Loss替換交叉熵,為了防止分母為0,對損失函數進行了平滑處理。其損失函數為:

(1)

式中:X表示GT分割圖像,Y表示Pred分割圖像。

2.4 ASPP特征提取

受到DeepLabv2中ASPP模塊的啟發(fā),本文決定在HRnet模型的head部分引入ASPP[7]模塊,使得圖片提取的特征具有更大的感受野,并且保證分辨率不受影響,增強獲取多尺度物體信息的能力。模型整體結構如圖3所示。

圖3 模型整體結構

2.5 模型效果

為驗證算法的效果,本文使用了威斯康星大學卡本癌癥中心(UW-Madison Carbone Cancer Center)公布的胃腸道醫(yī)療影像數據集進行模型訓練及調優(yōu),為了比較模型在準確性方面的差異,在表1中給出各模型的平均交并比(mean intersection over union,MIOU)。通過表1可知,相較于其他模型,改進的模型在模型預測精度上有了較大的提升。

為驗證模型的實際效果,本文在驗證集上進行了效果測試,效果如圖4所示。

由試驗可知,醫(yī)療影像中醫(yī)務人員手工繪制的胃腸道區(qū)域與模型推理出的胃腸道區(qū)域吻合,故使用該方法能夠精確的預測出醫(yī)療影像中胃腸道的位置,從而替代醫(yī)務人員手工繪制,大大降低醫(yī)療工作量、提高工作效率、提升了患者體驗,具有實際應用價值。

3 結束語

本文提出了一種改進HRNet算法進行醫(yī)療影像胃腸道分割的方法,采用了模型輕量化、添加ASPP模塊、優(yōu)化損失函數等技巧以提高模型的檢測精度、穩(wěn)定性和實時性。

試驗結果表明,該方法能夠替代人工自動化完成醫(yī)療影像中胃腸道分割工作,大大提高醫(yī)務人員工作效率,可以有效地應用于實際場景中。與傳統(tǒng)的圖像分割方法相比,本文提出的方法具有更高的準確性和更好的泛化性能。

今后,將進一步優(yōu)化現有網絡結構,進一步提高模型的精度和泛化性能,使其更加符合實際醫(yī)療場景的需求。