基于人機協(xié)同的FU-Net網(wǎng)絡(luò)的CT影像肝臟自動分割

王佳琪 張廣淵 李克峰

摘? 要：現(xiàn)有的醫(yī)學圖像器官分割方法不能很好地依肝臟形狀、位置及大小的變化而進行適當?shù)姆指?，當肝臟形態(tài)變化明顯時，不能準確地將肝臟分割出來。鑒于此，文章在傳統(tǒng)U-Net網(wǎng)絡(luò)中加入了全局注意力模塊，通過通道注意力和自我注意力增強了對肝臟的特征提取；并在自動分割的基礎(chǔ)上進行了人機協(xié)同操作，對分割不好的部分增加數(shù)據(jù)量，有效提高了分割準確率。該模型在MIOU和MPA指標上分別達到了86.71%、92.58%。

關(guān)鍵詞：醫(yī)學影像；人機協(xié)同；器官分割；U-Net網(wǎng)絡(luò)

中圖分類號：TP391.4? ? 文獻標識碼：A? 文章編號：2096-4706（2023）06-0054-04

Automatic Liver Segmentation of CT Images Based on FU-Net Network of

Human-Computer Cooperation

WANG Jiaqi， ZHANG Guangyuan， LI Kefeng

（Shandong Jiaotong University， Jinan? 250357， China）

Abstract： The existing organ segmentation methods in medical images can not segment properly according to the changes of liver shape， position and size. When the liver shape changes obviously， the liver can not be accurately segmented. In view of this， this paper adds a global attention module to the traditional U-Net network， which enhances the feature extraction of liver through channel attention and self attention. On the basis of automatic segmentation， human-computer cooperation is carried out to increase the amount of data for the bad part of segmentation and effectively improve the accuracy of segmentation. The model reaches 86.71% and 92.58% respectively in MIOU and MPA indicators.

Keywords： medical image; human-computer cooperation; organ segmentation; U-Net network

0? 引? 言

醫(yī)學影像主要包括：電子計算機斷層掃描（Computerized?Tomography， CT）、磁共振成像（Magnetic Resonance Imaging，MRI）、正電子發(fā)射斷層成像（Positron Emission Tomography，PET）、核醫(yī)學（Single Photon Emission Computerized Tomography，SPECT）等，原理大多是通過某種介質(zhì)來反映人體內(nèi)部結(jié)構(gòu)，能夠在醫(yī)生進行診斷時幫助醫(yī)生了解患者身體內(nèi)部構(gòu)造。一般醫(yī)療影像中如CT影像成像復雜，組織與器官等在CT影像中清晰度一般，不同的人的CT影像也存在著不小的差異，所以醫(yī)生在看醫(yī)療影像時需要根據(jù)醫(yī)生的經(jīng)驗去判斷病情，不易上手。因此對醫(yī)療圖像中器官進行準確分割，給予醫(yī)生一定的輔助判斷能夠有效地輔助醫(yī)生更精準地判斷病情，從而減輕醫(yī)生的職業(yè)壓力。

深度學習分割方法在硬件設(shè)備崛起后發(fā)展突飛猛進，Long等[1]提出了全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks， FCN），將全連接層換為卷積層能夠適應(yīng)各種不同尺寸的輸入，并通過不同深層的結(jié)合，確保了結(jié)果的魯棒性與精確性；Ronneberger等[2]提出的U-Net網(wǎng)絡(luò)提出了能夠有效地處理大尺寸圖像的方法，通過下采樣與上采樣增強了圖像特征提取從而提升了標注少量數(shù)據(jù)集訓練檢測的效果，被廣泛應(yīng)用于醫(yī)學圖像；Badrinarayanan等[3]提出SegNet網(wǎng)絡(luò)對每個像素進行分類計算概率，將池化層應(yīng)用到譯碼過程中提高了分割準確率；Zhao等[4]使用金字塔池化模塊聚合背景信息，在主分支損失上又增加了附加損失；Zhang等[5]結(jié)合多尺度策略和擴張卷積策略提出了EncNet，通過上下文語義編碼提升語義分割結(jié)果。

雖然現(xiàn)有的分割方法在圖像分割方面能夠取得較不錯的分割效果，但是這些分割方法對醫(yī)學影像分割的結(jié)果都很一般，尤其當器官形態(tài)位置等發(fā)生變化時就會出現(xiàn)較為明顯的誤差，器官的邊緣部分分割效果也較為一般。針對上述問題，本文所做出的主要工作如下：（1）我們在原基礎(chǔ)U-Net網(wǎng)絡(luò)上增加了全注意網(wǎng)絡(luò)模塊[6]，通過增加注意力模塊來增強對圖像特征的提取，使U-Net網(wǎng)絡(luò)更加適用于對肝臟的分割（2）提出了在自動分割中加入人機協(xié)同，在自動分割的基礎(chǔ)上通過人的判斷與經(jīng)驗增加分割效果不好的肝臟形態(tài)的數(shù)據(jù)量，使得模型對該形態(tài)的肝臟的分割效果得以提升從而提高了分割準確率。

1? 相關(guān)工作

CT影像中各種器官與組織清晰度并不是非常高，并且常常伴有各種噪聲；在對肝臟進行分割時，我們主要是觀察人的第十胸椎體到第十二胸椎體間的CT影像，個體差異使得CT影像差異也很大，這些都增大了肝臟分割工作的難度。

1.1? 人機協(xié)同

隨著計算機技術(shù)的發(fā)展，計算機在一些重復工作以及大計算量的工作中已經(jīng)能夠代替人類工作，但是對于一些理解能力、邏輯推理判斷等問題，人類具有更明顯的優(yōu)勢。

人機協(xié)同即將人的智能與計算機的智能結(jié)合，機器善于從龐大的數(shù)據(jù)集做出明智的決策，而人則更擅長用較少的信息做出決策。人機協(xié)同即將計算機的快速計算與人的決策判斷結(jié)合起來，在機器學習基礎(chǔ)上增加人機協(xié)同既能提高計算速度也能夠使得算法更加適用于各種不同場景。

1.2? U-Net網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)經(jīng)常被用來處理醫(yī)療圖像分割問題，U-Net網(wǎng)絡(luò)簡單結(jié)構(gòu)如圖1所示，主要分為下采樣支路和上采樣支路，兩條支路對稱且可以進行端到端的訓練。下采樣支路主要用來提取特征，包含四個下采樣模塊，每個下采樣模塊又含有：兩個3×3卷積層、兩個ReLU非線性層和一個2×2最大池化層；上采樣支路主要用來增強網(wǎng)絡(luò)學習能力，包含四個上采樣模塊，每個上采樣模塊含有：兩個3×3卷積層、兩個ReLU非線性層和一個2×2反卷積層。網(wǎng)絡(luò)的最后一層使用1個1×1的卷積層將全部的特征層映射到輸出層。

1.3? 全注意力網(wǎng)絡(luò)

全注意網(wǎng)絡(luò)模塊如圖2所示，設(shè)計了一個通道處理模塊，引入通道注意權(quán)重促進了更多的組合表征同時也可以捕捉到更重要的信息，對每個通道進行了更加全面的考慮，通過重新加權(quán)來對通道進行選擇，在空間上更全面地考慮每一個信道來提升分組信息，從而能夠做出全局的聚合決策。

2? 基于人機協(xié)同的FU-Net網(wǎng)絡(luò)的肝臟自動分割

通過對CT醫(yī)學影像的學習，我們了解到肝臟主要位于人體的第十到第十二胸椎體間，我們對這區(qū)間的CT影像的肝臟部分進行了仔細研究，我們發(fā)現(xiàn)每個人CT序列圖像中肝臟的形態(tài)大小和位置變化很大，甚至會因為腫瘤、膽囊體等的遮擋使得肝臟在一張圖像中被分為2～5塊不等，不同人肝臟的形狀大小和位置差異更加明顯如圖3所示，且CT影像主要為黑白的，僅僅依靠像素難以將其各種組織與器官區(qū)分，CT影像中內(nèi)容又較多較復雜，這些都加大了對圖像中肝臟分割的難度。

U-Net網(wǎng)絡(luò)進行分割時主要依據(jù)不斷提取圖像特征來對圖像進行分割，而肝臟的變化較為明顯，不僅患者之間存在著明顯差異，每個人的CT影像中的肝臟的大小、位置、形狀甚至是數(shù)量也有著不小的變化，特征不明顯，故基礎(chǔ)U-Net網(wǎng)絡(luò)在我們的數(shù)據(jù)中并不能很好地完成分割任務(wù)。我們在U-Net網(wǎng)絡(luò)中加入了全注意力模塊（模型結(jié)構(gòu)如圖4所示），自注意力[7]模塊能夠過濾無用信息，進一步增強對特征的提取，通道注意力[8]通過給予不同通道不同的權(quán)重，信息包含多的通道權(quán)重大能夠得到更多的關(guān)注，不僅增強了對特征的提取更是有助于網(wǎng)絡(luò)進行全局判斷決策，從特征提取與全局信息兩方面的增強提高了分割的準確率。

我們在對肝臟進行分割的實驗中發(fā)現(xiàn)我們的FU-Net網(wǎng)絡(luò)雖然比基礎(chǔ)的U-Net網(wǎng)絡(luò)分割效果好，但是對于一些肝臟形狀變化大或者由于其他器官的遮擋導致肝臟被分為幾部分的圖像的分割效果不佳。如圖5所示，當肝臟剛開始出現(xiàn)或肝臟形狀奇怪時（如第一列和第五列），F(xiàn)U-Net網(wǎng)絡(luò)對其定位是比較準確的，但是在分割的精準度上卻不盡人意，第二列中我們可以看出FU-Net網(wǎng)絡(luò)在對肝臟分割時對于比邊緣的處理較為一般，第三四列中我們可以看到由于像素的相似性，F(xiàn)U-Net網(wǎng)絡(luò)會將右下角的脾部也認為是肝臟分割出來。

對此我們在原始的數(shù)據(jù)庫中增加了上述幾種情況的圖像數(shù)據(jù)量對訓練數(shù)據(jù)進行補充，圖5中第二行就是對應(yīng)的第一行的FU-Net加入人機協(xié)同后的結(jié)果對比，經(jīng)過對比我們發(fā)現(xiàn)在原始訓練數(shù)據(jù)中增加分割效果一般的肝臟形狀的數(shù)據(jù)量能夠更好地對肝臟部分進行分割，并且使得模型在定位肝臟與處理圖像邊緣的水平提高，有效提高了模型在對肝臟進行分割時的準確率。

3? 實驗結(jié)果

3.1? 數(shù)據(jù)庫

我們實驗所用數(shù)據(jù)為齊魯醫(yī)院提供的醫(yī)療數(shù)字影像傳輸協(xié)定（Digital Imaging and Communications in Medicine， DICOM）文件，在我們實驗進行前我們需要對其導出為圖像文件，考慮到圖像及肝臟清晰度的問題，我們選擇在窗寬250，窗位50的參數(shù)設(shè)置下將其導出。

我們有225位病人的CT樣片，其中CT影像主要包含三種患者：有肺結(jié)節(jié)的患者、門靜脈高壓患者和門靜脈正?；颊叩腃T，約5萬張CT影像。在我們訓練模型時，我們標注了60人，其中肺結(jié)節(jié)患者20人、門靜脈高壓患者20人，門靜脈正?；颊?0人，總計3 500張CT影像進行訓練。在進行人機協(xié)同操作時，我們在原數(shù)據(jù)庫中挑選出350張分割效果不好的圖像重新加入訓練數(shù)據(jù)中訓練。

我們將訓練集驗證集按照9：1的比例劃分，評判標準選擇平均交并比（Mean Intersection Over Union， MIoU）和類別平均像素準確率（Mean Pixel Accuracy， MPA）來進行評判。

3.2? 實驗結(jié)果

為了證明我們算法的有效性，我們分別選用基礎(chǔ)U-Net、基礎(chǔ)U-Net+人機協(xié)同、FU-Net以及FU-Net+人機協(xié)同進行對比實驗，實驗結(jié)果如表1所示，由于CT影像中各器官間的色差很小，我們的肉眼都難以分辨，機器分割根據(jù)像素差別去辨別難度很大，這也給我們的分割工作造成了很大的干擾。在表1中我們可以看出FU-Net網(wǎng)絡(luò)由于在U-Net網(wǎng)絡(luò)中加入全注意網(wǎng)絡(luò)，不僅通過自注意力過濾無用信息更能夠通過通道注意對含有肝臟的影像加大權(quán)重，對于肝臟的特征提取更加明確，使得分割準確率得以進一步提高；相較于基礎(chǔ)U-Net網(wǎng)絡(luò)，在U-Net網(wǎng)絡(luò)中加入人機協(xié)同機制，通過增加分割效果不好的圖像的數(shù)據(jù)量，使模型更加適用于肝臟分割從而有效地提高了分割準確率；在基礎(chǔ)FU-Net網(wǎng)絡(luò)中加入了人機協(xié)同機制后的模型相較于基礎(chǔ)U-Net網(wǎng)絡(luò)、人機協(xié)同下的U-Net網(wǎng)絡(luò)和FU-Net網(wǎng)絡(luò)人機協(xié)同下的FU-Net網(wǎng)絡(luò)在MIOU和MPA上均提高。

4? 結(jié)? 論

本文提出了基于人機協(xié)同的FU-Net網(wǎng)絡(luò)的肝臟自動分割方法，在基礎(chǔ)U-Net網(wǎng)絡(luò)中加入全注意力模塊，使算法能夠更加準確提取圖像特征并從全局進行判斷，有效提高了分割準確率；在機器自動分割基礎(chǔ)上加入人機協(xié)同，根據(jù)人的經(jīng)驗去修正訓練數(shù)據(jù)，使算法更加適用于我們肝臟數(shù)據(jù)的分割，進一步提高了分割的準確率。將肝臟更為精準的分割出來，輔助醫(yī)生判斷肝臟位置，減輕醫(yī)生職業(yè)壓力，對醫(yī)療水平提高有重要意義。

參考文獻：

[1] LONG J，SHELHAMER E，DARRELL T. Fully Convolutional Networks for Semantic Segmentation [J/OL].arXiv：1411.4038 [cs.CV].[2022-10-18].https：//arxiv.org/abs/1411.4038.

[2] RONNEBERGER O，F(xiàn)ISCHER P BROX T. U-net：Convolutional networks for biomedical image segmentation [EB/OL].[2022-10-19].https：//www.doc88.com/p-9909769280204.html.

[3] BADRINARAYANAN V，KENDALL A，CIPOLLA R. Segnet：A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

[4] ZHAO H S，SHI J P，QI X J，et al. Pyramid scene parsing network [C]//2017 IEEE conference on computer vision and pattern recognition.Honolulu：IEEE，2017：6230-6239.

[5] ZHANG H，DANA K，SHI J P，et al. Context Encoding for Semantic Segmentation [C]//2018 IEEE/CVF conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：7151-7160.

[6] ZHOU D Q，YU Z D，XIE E Z，et al. Understanding the robustness in vision transformers [J/OL].arXiv：2204.12451 [cs.CV].[2022-10-18].https：//arxiv.org/abs/2204.12451v4.

[7] VASWANI A，SHAZEER N，PARMAR N，et al. Attention is all You Need [J/OL].arXiv：1706.03762 [cs.CL].[2022-10-18].https：//arxiv.org/abs/1706.03762v2.

[8] HU J，SHEN L，ALBANIE S. Squeeze-and-Excitation Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.

作者簡介：王佳琪（1996—），女，漢族，山東煙臺人，碩士在讀，研究方向：電子電氣。

收稿日期：2022-11-08