摘" 要: 醫(yī)學圖像分割是保障發(fā)展智慧醫(yī)療系統(tǒng)的先決條件之一。由于原U2?Net+網(wǎng)絡的跳躍連接只關注同分辨率所提取的特征,所以在設計時借鑒FR?UNet網(wǎng)絡加入中間層,接收深層的上下文信息與淺層提取的高分辨率特征進行整合;并在中間層的下采樣使用非對稱空洞空間卷積金字塔代替,增加網(wǎng)絡模型訓練時對邊緣信息的關注,并在結構最后加入閾值增強模塊,加強對細小特征邊緣的識別與分割;同時加入到上采樣中,幫助網(wǎng)絡更好地提取多尺度特征,增加上下文語義關聯(lián)。根據(jù)正負樣本不均衡和難易不同的問題設計了組合的損失函數(shù)來監(jiān)督網(wǎng)絡優(yōu)化。實驗結果表明,所提算法在DRIVE、STARE+CHASE_DB1數(shù)據(jù)集上的[F1]分數(shù)分別提高了1.8%與4.2%,在ISIC2018數(shù)據(jù)集上的DSC分數(shù)提高了2.3%。對分割結果進行可視化后表明,該網(wǎng)絡在樣本較小的情況下可以充分提取到更加精確的邊緣信息和細小的特征信息,提高語義分割的效果,所提算法在醫(yī)學圖像語義分割任務上有更好的表現(xiàn)。
關鍵詞: 醫(yī)學圖像; 語義分割; 跳躍連接; 非對稱空洞空間卷積金字塔; 智慧醫(yī)療; FR?UNet網(wǎng)絡
中圖分類號: TN911.73?34; TP391.7" " " " " " " " " " 文獻標識碼: A" " " " " " " "文章編號: 1004?373X(2024)23?0029?07
U2?Net+ medical image semantic segmentation based on short?range jump connection
WANG Qinghua1, SUN Shuifa2, WU Yirong3
(1. College of Electrical Engineering and New Energy, China Three Gorges University, Yichang 443002, China;
2. School of Information Science and Technology, Hangzhou Normal University, Hangzhou 310036, China;
3. Institute of Advanced Studies in Humanities and Social Sciences, Beijing Normal University, Zhuhai 519087, China)
Abstract: Medical image segmentation is one of the necessary prerequisites to guarantee the development of an intelligent medical system. Because the jump connection of the original U2?Net+ network only focuses on the features extracted at the same resolution, an intermediate layer is added in the design by taking the FR?UNet network as reference. The contextual information from the deeper layer is received by the intermediate layer to integrate with the high?resolution features extracted from the shallower layer. In the down?sampling of the intermediate layer, a convolutional pyramid with asymmetric atrous space is used to increase the attention to edge information during network model training. A threshold value enhancement module is added at the end of the structure to strengthen the identification and segmentation of the edges with fine features. It is also added to the up?sampling to help the network extract multi?scale features better and increase contextual semantic associations. A combined loss function is designed to supervise network optimization according to the imbalance between the positive and negative samples and the different levels of difficulties. The experimental results show that the proposed algorithm improves the [F1]?score by 1.8% and 4.2% on the datasets of DRIVE and STARE+CHASE_DB1, respectively, and improves the DSC score by 2.3% on the dataset ISIC2018. Visualization of the segmentation results shows that the present network can fully extract more accurate edge information and fine feature information to improve the semantic segmentation in the case of smaller samples, so the proposed algorithm has a better performance on the task of semantic segmentation of medical images.
Keywords: medical image; semantic segmentation; jump connection; convolutional pyramid with asymmetric dilated space; intelligent medical care; FR?UNet network
0" 引" 言
近些年來,人們對醫(yī)學檢測準確度的關注度越來越高。通常醫(yī)生對于醫(yī)學圖像的分析和判斷來自于醫(yī)生的經(jīng)驗與直覺,而醫(yī)學圖像語義分割的目的是使圖像中的解剖或病理結構的邊緣結構與細小特征更加清晰。醫(yī)學圖像語義分割在計算機輔助診斷和智慧醫(yī)療中發(fā)揮著至關重要的作用,極大地提高了診斷的效率和準確率。為了幫助臨床醫(yī)生做出準確的診斷,有必要對醫(yī)學圖像中的一些關鍵目標進行分割,并從分割區(qū)域中提取特征[1]。醫(yī)學圖像分割的早期方法通常依賴于邊緣檢測、模板匹配技術、統(tǒng)計形狀模型、活動輪廓和傳統(tǒng)機器學習技術。這些方法在一定程度上取得了不錯的效果,但由于特征表示困難,特別是醫(yī)學圖像的特征提取比普通RGB圖像更難,所以前者往往存在模糊、噪聲、對比度低等問題。隨著深度學習技術的快速發(fā)展,醫(yī)學圖像語義分割將不再需要手工制作的特征,卷積神經(jīng)網(wǎng)絡(CNN)成功實現(xiàn)了圖像的層次特征表示。由于特征學習的CNN對圖像噪聲、模糊、對比度等不敏感,給醫(yī)學圖像提供了很好的分割結果[2]。且由于醫(yī)學圖像數(shù)據(jù)集相比于其他數(shù)據(jù)集有著數(shù)據(jù)集體量小、數(shù)據(jù)集中特征不清晰的特點,現(xiàn)如今關于醫(yī)學圖像語義分割采用由編碼器?解碼器構成的U?Net網(wǎng)絡進行訓練。U?Net網(wǎng)絡的編碼器?解碼器以及跳躍連接結構具有關聯(lián)上下文信息、訓練速度快和使用數(shù)據(jù)量小的優(yōu)點,滿足醫(yī)學圖像分割的訴求,而在醫(yī)學圖像語義分割中廣泛應用[3]。但是由于病灶形狀的多樣性和不同器官結構的差異性,僅使用簡單結構構成的U?Net網(wǎng)絡無法滿足醫(yī)學中對于精準度、速度的需求,產(chǎn)生了許多基于U?Net網(wǎng)絡的編碼器?解碼器?跳躍連接改進的網(wǎng)絡。
文獻[4]提出的U?Net++改變了傳統(tǒng)的U?Net跳躍連接方式,加入中間層使得原本U?Net長距離跳躍連接改為可調節(jié)的多尺度特征提取模塊,改進了原本U?Net網(wǎng)絡因無法融合多尺度特征導致的上下文信息斷層。文獻[5]提出了FR?UNet網(wǎng)絡,使用類似于U?Net++的跳躍連接方式,采用簡單上采樣、下采樣和卷積進行水平與垂直方向的擴展,刪除每個階段的密集連接方式,利用淺層階段的高分辨率提供更加精細的特征信息,利用深層階段提供上下文信息并增加特征圖的局部感受野。
基于深度學習的醫(yī)學圖像語義分割相比于傳統(tǒng)的機器學習有著很大的進步,但是還存在著邊緣不清晰和細小特征無法準確分割等問題。本文根據(jù)上述問題提出一個基于U2?Net+網(wǎng)絡[6]改進的醫(yī)學語義分割網(wǎng)絡。具體貢獻如下。
1) 基于邊緣不清晰問題。在跳躍連接中將下采樣替換為非對稱空洞空間卷積金字塔,增加邊緣在整體語義分割中的權重。
2) 基于細小特征無法識別的問題。在跳躍連接中加入中間層連接淺層信息與深層信息進行信息整合,使得在編碼與解碼過程中不會丟失細小特征,并且在非對稱空洞空間卷積金字塔的最后一層加入閾值增強模塊,減少細小特征邊緣的丟失情況。
3) 由于醫(yī)學圖像的正負樣本不均衡以及數(shù)據(jù)量小的特征,設計混合損失函數(shù)提高訓練過程中網(wǎng)絡的學習能力。
與目前最新的模型相比,本文方法在DRIVE、STARE+CHASE_DB1、ISIC2018這3個數(shù)據(jù)集上取得了更優(yōu)的性能。
1" 基于短距離跳躍連接的U2?Net+網(wǎng)絡
本文提出一個基于U2?Net+的醫(yī)學圖像語義分割網(wǎng)絡,具體網(wǎng)絡結構如圖1所示。
對于醫(yī)學圖像分割的邊緣不清晰與細小特征分割較難的問題,本文受FR?UNet網(wǎng)絡啟發(fā)設計了一個跳躍連接結構,將長距離連接改為短距離稠密連接,為了增加邊緣分割權重,本文在跳躍連接的下采樣中加入非對稱空洞空間卷積金字塔結構,使得網(wǎng)絡在分割邊緣上有著較強的關注度。針對醫(yī)學圖像正負樣本不均衡的特征,本文采用混合損失函數(shù)彌補因正負樣本不均衡導致的模型魯棒性變差的問題。
1.1" 網(wǎng)絡結構
由圖1可知,本文提出的網(wǎng)絡是基于U2?Net+網(wǎng)絡改進而成,使用了原U2?Net+網(wǎng)絡相似的編碼器?解碼器結構。由于醫(yī)學圖像的數(shù)據(jù)集數(shù)量較少,使用原U2?Net+網(wǎng)絡會導致網(wǎng)絡訓練時產(chǎn)生過擬合現(xiàn)象以及淡化細小特征現(xiàn)象,故將原本U2?Net+網(wǎng)絡的5層結構改為4層網(wǎng)絡結構。原U2?Net+使用長距離跳躍連接,但是針對于醫(yī)學圖像中數(shù)據(jù)集數(shù)量較少以及細小特征較多的情況,長距離跳躍連接只能在同一深度中獲取特征信息,這樣會導致在上采樣的過程中淡化淺層網(wǎng)絡所識別的細小特征。
受到FR?UNet網(wǎng)絡結構的啟發(fā),本文采用短距離跳躍連接,使得淺層網(wǎng)絡分割的特征信息與深層網(wǎng)絡的上下文信息交互,在醫(yī)學圖像的少量數(shù)據(jù)集中得到較好的分割結果。對于醫(yī)學圖像語義分割中常見的邊緣分割不清晰的問題,本文采用非對稱空洞空間卷積金字塔作為跳躍連接中的下采樣,此模塊可以最大程度保留淺層高分辨率分割的邊緣信息特征,與深層的上下文信息相結合,改善醫(yī)學圖像中邊緣不清晰的問題。
1.2" 跳躍連接
如圖1所示,本文的跳躍連接模塊是基于醫(yī)學圖像數(shù)據(jù)集較少以及細小特征較多的問題所設計的,由于淺層網(wǎng)絡的圖像分辨率大,可以關注的細小特征較多,又由于網(wǎng)絡在進行下采樣與上采樣過程中會丟失一定量細節(jié)特征,所以設計跳躍連接模塊來彌補網(wǎng)絡在下采樣與上采樣過程中丟失的信息。為了防止過多的信息造成訓練的過擬合效果,本文在設計跳躍連接時,令跳躍連接中每一層的最后一個模塊放棄下采樣,這樣可以最大程度地減少因為淺層細小特征過度下采樣導致重復特征較多,使得網(wǎng)絡會在訓練時過擬合,從而在整體網(wǎng)絡訓練時的訓練效果變差。
1.3" 非對稱空洞空間卷積金字塔
非對稱空洞空間卷積金字塔結構如圖2所示。本文在跳躍連接中的所有下采樣采用類似空洞空間卷積池化金字塔(ASPP)結構[7],由于跳躍連接中間層下采樣過多,如果全部替換為類似ASPP模塊會導致模型過大,使得每一次的訓練樣本數(shù)(Batch_size)過小,而訓練中Batch_size數(shù)過小會導致訓練速度下降,也會導致梯度下降方向不準確,使得梯度變化波動較大,網(wǎng)絡不容易收斂,所以本文采用非對稱卷積的方式替換傳統(tǒng)的大卷積塊,可以在減少網(wǎng)絡參數(shù)量的同時不降低分割效果。
與原ASPP結構不同的是,本網(wǎng)絡僅采用其中3個空洞卷積以及1個1×1卷積組成第一部分,空洞卷積的膨脹系數(shù)分別為6、12和18,并且填充大小等于膨脹系數(shù),由于在下采樣中想保留足夠多的上層細小特征,所以去除原ASPP的池化結構并行,再將得到的結構進行連接(Concat)操作后,進行1×1的卷積操作恢復到原通道數(shù)。由于網(wǎng)絡預測的像素點屬于概率,通常二分類分割問題的分割結構概率結果為(0,1)的閾值通常為0.5。在網(wǎng)絡分割中,總有一些細小特征以及邊緣分割概率略低于0.5,為了保留更全面的細小特征,本文在非對稱空洞空間卷積后加入一個閾值增強模塊,將那些小于0.5的像素點增加0.2的概率后,判斷是否大于0.5,若大于0.5則保留結果,若小于0.5則強制改為0,防止計算損失時會影響分割效果。
1.4" 損失函數(shù)
由于輸出的預測圖為二值化圖片,對于二值化圖片的分類問題,運用二分類交叉熵損失函數(shù)(BCE Loss)可以降低簡單樣本對Loss的貢獻,更多關注困難樣本可以避免在訓練過程中大量簡單負樣本占據(jù)Loss主導地位[8]的問題,計算公式如下:
[LossBCE=-1Ni=1N[yilog(pi)+(1-yi)log(1-pi)]] (1)
式中:[N]表示總樣本數(shù);[yi]是第[i]個樣本的所屬類別;[pi]是第[i]個樣本的預測值。
雖然BCE Loss解決了正負樣本不均衡的問題,但并沒有區(qū)分簡單樣本和復雜樣本。由于醫(yī)學圖像中存在大量的簡單負樣本,所以單獨使用BCE Loss容易稀釋正樣本,造成大損失,因此本文采用Focal損失函數(shù)對復雜樣本進行聚焦[9],計算公式如下:
[LossFocal=-(1-pt)γlog(pt)] (2)
式中[(1-pt)γ]可以降低簡單樣本的損失貢獻,從而增加復雜樣本的損失比例,本文采用參數(shù)[γ]=0.6作為實驗參數(shù)。
由Bas?Net[10]和F3?Net[11]中的研究表明,將多個損失函數(shù)與不同級別自適應權值相結合,可以獲得更快的收斂速度和提高網(wǎng)絡性能。因此,本文使用二值交叉熵損失(BCE Loss)和Focal損失(Focal Loss)進行監(jiān)督,使網(wǎng)絡獲得更快的收斂速度,并提高網(wǎng)絡性能。計算公式如下:
[Losstotal=φ1LossBCE+φ2LossFocal] (3)
式中:[φ1]、[φ2]為各損失的權重,[φ1]+[φ2]=1,令[φ1]=0.3、[φ2]=0.7。
2" 實驗結果
2.1" 實驗參數(shù)設計
實驗中使用的深度學習框架為PyTorch 1.12.0、Python 3.9、CUDA 11.4版本,所有實驗均在Intel Xeon CPU E5?2680 v3和RTX 2080Ti顯卡上進行訓練,訓練時對輸入圖像分辨率大小進行統(tǒng)一設置,重設為256×256,設置批次大?。˙atch_size)為10,訓練迭代輪次為200個epoch。初始學習率為1×10-3,使用AdamW優(yōu)化器[12][β]區(qū)間為0.9~0.999,權重衰退(Weight Decay)為0.01,學習率隨訓練輪次的增加在80個epoch后下降90%。
2.2" 評估指標
本文采用準確率(Accuracy)、ROC曲線下面積(AUC)、[F1]分數(shù)、骰子系數(shù)(Dice)和平均交并比(MIoU)作為評價指標來衡量方法的性能。
ACC是常見的圖像分割評價指標,也稱精度,表示分類準確的樣本數(shù)占該類樣本總數(shù)的比例。計算公式如下:
[ACC=TP+TNTP+TN+FP+FN] (4)
式中:TP表示檢測正確的正樣本像素數(shù)量;TN表示檢測正確的負樣本像素數(shù)量;FP表示檢測錯誤的負樣本像素數(shù)量;FN表示檢測錯誤的正樣本數(shù)量。
ROC曲線分別以假陽性率和真陽性率作為橫軸和縱軸,綜合反映了兩者之間的關系,ROC曲線下面積(AUC)是評價模型優(yōu)劣性的重要指標。計算公式如下:
[AUC=insi∈positiverankinsi-M(M+1)2MN] (5)
式中:[rankinsi]表示第[i]個樣本的序號(概率得分從小到大排序,排至第rank個的位置);[M]、[N]分別表示正樣本與負樣本的個數(shù)。
[F1]分數(shù)取像素級評價指標,使用模型輸出的預測圖像[P]和實際分割標簽[G](Ground Truth)進行計算。計算公式如下:
[F1=2×TPTP+FP×TPTP+FNTPTP+FP+TPTP+FN] (6)
骰子系數(shù)(Dice)是醫(yī)學圖像中使用頻率最高的評價指標,是一種集合相似度度量指標,通常用于計算兩個樣本的相似度。計算公式如下:
[Dice=2×TPFP+2×TP+FN] (7)
平均交并比(MIoU)是語義分割中常見的評價指標,是真實值與預測值兩個集合的交集和并集之比。計算公式如下:
[MIoU=1k+1i=0kpiij=0kpij+j=0kpji-pii] (8)
式中:[i]表示真實值;[j]表示預測值;[pij]表示將[i]預測為[j]的像素個數(shù)。
2.3" 數(shù)據(jù)集
本文采用DRIVE[13]、STARE[14]、CHASE_DB1[14?15]、ISIC2018[16]四個數(shù)據(jù)集檢驗本文方法,并與其他方法進行了實驗比較。其中,DRIVE、STARE、CHASE_DB1數(shù)據(jù)集為視網(wǎng)膜血管分割,這三個數(shù)據(jù)集中量較少,最少的STARE數(shù)據(jù)集僅有20張,最多的DRIVE數(shù)據(jù)集也僅有40張,且數(shù)據(jù)集中細小特征較多,由于STARE與CHASE_DB1數(shù)據(jù)集較少,本文將兩個數(shù)據(jù)集合并為一個數(shù)據(jù)集使用。將三個數(shù)據(jù)集分別按照訓練集、驗證集和測試集為8∶1∶1的比例隨機抽取,并加入隨機翻轉和裁剪作為圖像增強。
2.4" 實驗結果
為了驗證本文模型的有效性,將本文模型與其他文章的模型進行比較,實驗對比結果見表1。
U?Net[3]網(wǎng)絡使用編碼器?解碼器?跳躍連接結構進行圖像語義分割,因其網(wǎng)絡結構簡單,針對于醫(yī)學圖像數(shù)據(jù)集較少的情況有著較好的分割表現(xiàn)而廣泛應用,其獨特的跳躍連接結構幫助網(wǎng)絡對不同尺度特征進行融合。
U?Net++[4]網(wǎng)絡使用U?Net網(wǎng)絡編碼器?解碼器結構,在跳躍連接中加入中間層,摒棄原U?Net網(wǎng)絡的長連接而使用短連接和深監(jiān)督,可以使網(wǎng)絡中間層也得到訓練,并且使用長連接獲取更多特征信息。
U?Net 3+[17]網(wǎng)絡使用全尺度連接代替原U?Net網(wǎng)絡的長距離連接,該連接方式整合淺層網(wǎng)絡的高分辨率特征與深層網(wǎng)絡的上下文信息,并且該網(wǎng)絡相比于U?Net++網(wǎng)絡的參數(shù)量更少。
U2?Net+[6]網(wǎng)絡使用類似于U?Net網(wǎng)絡結構,在每層中嵌套類U?Net結構而組成的網(wǎng)絡,其較深的網(wǎng)絡結構可以使得分割時邊緣更加清晰。
FR?UNet[7]網(wǎng)絡將原U?Net網(wǎng)絡的長距離連接全部替換為上下層之間的短距離連接,從同一層網(wǎng)絡連接轉為多尺度特征信息連接方式,可以更好地學習上下文信息以及細節(jié)特征,從而進行圖像的語義分割。
TransUNet[18]網(wǎng)絡通過對原U?Net網(wǎng)絡的下采樣中加入Transformer結構作為編碼器組合而成,使用Transformer對來自卷積神經(jīng)網(wǎng)絡(CNN)特征圖的標記化圖像塊編碼來提取全局上下文信息,從而實現(xiàn)圖像語義分割。
DCSAUNet[19]網(wǎng)絡使用緊湊分裂注意模塊(CSA)代替原U?Net網(wǎng)絡的編碼器與解碼器,為了避免梯度隨層數(shù)增加而消失,擴大接受域,加入PFC策略改進了深度可分離卷積(DC),實現(xiàn)圖像語義分割。
本文算法與上述7種算法在DRIVE、STARE+CHASE_DB1數(shù)據(jù)集上的ACC、AUC、[F1]比較見表1。在DRIVE數(shù)據(jù)集上,本文算法的[F1]相比于U?Net網(wǎng)絡、U?Net++網(wǎng)絡、U?Net 3+網(wǎng)絡以及U2?Net+網(wǎng)絡分別提高7.8%、5.7%、6.3%以及4%,由于DRIVE數(shù)據(jù)集為視網(wǎng)膜血管圖像分割,其中圖像中的細小特征較多,這些簡單的網(wǎng)絡結構并不能很好地針對于細小血管的識別與分割,網(wǎng)絡在下采樣與上采樣之間丟失了許多的細小特征。與其相比,F(xiàn)R?UNet網(wǎng)絡、TransUNet網(wǎng)絡以及DCSAUNet網(wǎng)絡采用了不同的針對于醫(yī)學圖像中細小特征的模塊后,雖對圖像中的細小血管有著不錯的識別效果,但是對于血管邊緣的清晰程度,相比本文結果仍是稍弱一點。本文算法相比三種方法[F1]分別提高2.5%、2.5%以及2.2%。由于ISIC2018數(shù)據(jù)集數(shù)量相對較多且分割結構較為簡單,U?Net網(wǎng)絡、U?Net++網(wǎng)絡、U?Net 3+網(wǎng)絡以及U2?Net+網(wǎng)絡均有著不錯的分割表現(xiàn),但是由于圖像中邊緣細節(jié)較多,所以分割結果可視化后邊緣表現(xiàn)并不理想。本文方法與其他四種方法相比,DSC分別提高13.3%、12.3%、10%以及7.6%,而本文網(wǎng)絡相比于FR?UNet網(wǎng)絡、TransUNet網(wǎng)絡以及DCSAUNet網(wǎng)絡的DSC分別提高4.5%、2.9%以及2.6%。
將本文模型與U2?Net+網(wǎng)絡、FR?UNet網(wǎng)絡、TransUNet網(wǎng)絡以及DCSAUNet網(wǎng)絡進行了分割可視化對比,可視化結果如圖3所示。由圖3可知,本文模型效果優(yōu)于其他模型,對于圖像的邊緣清晰度和細小特征都有著很好的表現(xiàn),說明本文方法是有效且準確的。
2.5" 消融實驗
本文模型相比于其他網(wǎng)絡的優(yōu)點在于獨特的跳躍連接機制、非對稱空洞空間卷積金字塔以及針對于醫(yī)學圖像的混合損失函數(shù)機制。為了驗證本文各個部分的有效性,通過消融實驗對比不同模塊的ACC、AUC、[F1]值,用來展示各個模塊的結果,見表2。
本文對以下四種情況進行消融實驗:U2?Net+:采用U2?Net+網(wǎng)絡對視網(wǎng)膜血管圖像進行語義分割;U2?Net+S:在U2?Net+網(wǎng)絡中加入本文的跳躍連接機制對視網(wǎng)膜血管圖像進行語義分割;U2?Net+SA:在U2?Net+S網(wǎng)絡中加入非對稱空洞空間卷積金字塔對視網(wǎng)膜血管圖像進行語義分割;U2?Net+SA?Loss:在U2?Net+SA網(wǎng)絡中加入混合損失函數(shù)對視網(wǎng)膜血管圖像進行語義分割。
3" 結" 論
本文提出了一個基于U2?Net+網(wǎng)絡的醫(yī)學圖像語義分割模型。本文采用上下層短連接將淺層細節(jié)特征與深層上下文信息融合,在減少丟失淺層高分辨率特征的前提下,加深特征圖之間的上下文信息;在中間層加入空洞空間卷積金字塔使得網(wǎng)絡在下采樣中加深對邊緣信息的保留與采集;在金字塔中加入非對稱卷積減少網(wǎng)絡模型的參數(shù)量,在金字塔結尾加入閾值增強模塊,使得網(wǎng)絡對于已識別的細小特征但概率不高的情況進行改善。
實驗結果表明,本文提出的模型在DRIVE、STARE+CHASE_DB1以及ISIC2018數(shù)據(jù)集上取得了優(yōu)異的結果。另外,消融實驗DRIVE數(shù)據(jù)集的效果說明其中每個模塊對于網(wǎng)絡都有正向積極作用。本文研究希望通過這類語義分割可以更好地為醫(yī)學領域的臨床診斷與治療做出更加杰出的輔助作用,從而減少醫(yī)學領域的診斷錯誤率。
注:本文通訊作者為孫水發(fā)。
參考文獻
[1] QURESHI I, YAN J H, ABBAS Q, et al. Medical image segmentation using deep semantic?based methods: A review of techniques, applications and emerging trends [J]. Information fusion, 2023, 90: 316?352.
[2] KATTENBORN T, LEITLOFF J, SCHIEFER F, et al. Review on convolutional neural networks (CNN) in vegetation remote sensing [J]. ISPRS journal of photogrammetry and remote sensing, 2021, 173: 24?49.
[3] RONNEBERGER O, FISCHER P, BROX T. U?Net: Convolutional networks for biomedical image segmentation [C]// Proceedings of 18th International Conference on Medical Image Computing and Computer?assisted Intervention. Heidelberg, Germany: Springer, 2015: 234?241.
[4] ZHOU Z W, SIDDIQUEE M M R, TAJBAKHSH N, et al. UNet++: A nested U?Net architecture for medical image segmentation [C]// Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support: 4th International Workshop and 8th International Workshop. Heidelberg, Germany: Springer, 2018: 3?11.
[5] LIU W T, YANG H H, TIAN T, et al. Full?resolution network and dual?threshold iteration for retinal vessel and coronary angiograph segmentation [J]. IEEE journal of biomedical and health informatics, 2022, 26(9): 4623?4634.
[6] QIN X B, ZHANG Z C, HUANG C Y, et al. U2?Net: Going deeper with nested U?structure for salient object detection [J]. Pattern recognition, 2020, 106: 107404?107414.
[7] LI Y Z, CHENG Z Y, WANG C J, et al. RCCT?ASPPNet: Dual?encoder remote image segmentation based on transformer and ASPP [J]. Remote sensing, 2023, 15(2): 379?389.
[8] BAI Z X, WANG J Y, ZHANG X L, et al. End?to?end speaker verification via curriculum bipartite ranking weighted binary cross?entropy [J]. IEEE/ACM transactions on audio, speech, and language processing, 2022, 30: 1330?1344.
[9] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection [J]. IEEE transactions on pattern analysis and machine intelligence, 2020, 42(2): 2980?2988.
[10] LEE P, UH Y, BYUN H. Background suppression network for weakly?supervised temporal action localization [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]: AAAI, 2020: 11320?11327.
[11] YE X H, XIONG F C, LU J F, et al. ?3?Net: Feature fusion and filtration network for object detection in optical remote sensing images [J]. Remote sensing, 2020, 12(24): 4027.
[12] WU H, SONG H N, HUANG J H, et al. Flood detection in dual?polarization SAR images based on multi?scale deeplab model [J]. Remote sensing, 2022, 14(20): 5181.
[13] STAAL J, ABRàMOFF M D, NIEMEIJER M, et al. Ridge?based vessel segmentation in color images of the retina [J]. IEEE transactions on medical imaging, 2004, 23(4): 501?509.
[14] HOOVER A D, KOUZNETSOVA V, GOLDBAUM M. Locating blood vessels in retinal images by piecewise threshold probing of a matched filter response [J]. IEEE transactions on medical imaging, 2000, 19(3): 203?210.
[15] FRAZ M M, REMAGNINO P, HOPPE A, et al. An ensemble classification?based approach applied to retinal blood vessel segmentation [J]. IEEE transactions on biomedical engineering, 2012, 59(9): 2538?2548.
[16] LI Y X, SHEN L L. Skin lesion analysis towards melanoma detection using deep learning network [J]. Sensors, 2018, 18(2): 556?566.
[17] HUANG H M, LIN L F, TONG R F, et al. UNet 3+: A full?scale connected UNet for medical image segmentation [C]// 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). New York: IEEE, 2020: 1055?1059.
[18] NURIN F V. Improved segmentation of overlapping red blood cells on malaria blood smear images with TransUNet architecture [J]. International journal of imaging systems and technology, 2022, 32(5): 1673?1680.
[19] ISLAM SUMON R, BHATTACHARJEE S, HWANG Y B, et al. Densely convolutional spatial attention network for nuclei segmentation of histological images for computational pathology [J]. Frontiers in oncology, 2023, 13: 1009681?1009691.
作者簡介:王清華(1998—),男,湖北武漢人,碩士研究生,主要研究領域為醫(yī)學圖像語義分割。
孫水發(fā)(1977—),男,江西黎川人,教授,博士生導師,主要研究領域為計算機視覺、圖像處理、自然語言處理、人工智能、大數(shù)據(jù)分析、信息安全等。
吳義熔(1970—),男,湖北荊州人,教授,博士生導師,主要研究領域為信息資源管理及分析、社會治安管理、醫(yī)學大數(shù)據(jù)和精確醫(yī)學。