基于多尺度和跨空間融合的超聲乳腺結節(jié)分割

趙欣，祝倩倩，趙聰，吳佳玲

基于多尺度和跨空間融合的超聲乳腺結節(jié)分割

趙欣1*，祝倩倩1，趙聰2，吳佳玲3

（1.大連大學 信息工程學院，遼寧 大連 116622； 2.大連市第五人民醫(yī)院 超聲科，遼寧 大連 116021； 3.大連醫(yī)科大學附屬第一醫(yī)院 超聲科，遼寧 大連 116011）（ ? 通信作者電子郵箱zhaoxin@dlu.edu.cn）

針對超聲成像分辨率低且存在噪聲、結節(jié)形態(tài)與紋理復雜多變導致超聲乳腺結節(jié)精確分割較為困難的問題，提出一種融合多尺度特征提取和跨空間特征融合的超聲乳腺結節(jié)端到端自動分割方法。首先，設計一種多尺度特征提取與融合（MFEF）模塊，通過融合4條具有不同感受野的卷積路徑使網(wǎng)絡具有多尺度的特征提取能力。其次，為對高級語義信息進行多尺度觀察和信息篩選，在瓶頸層采用尺度感知與特征聚合（SFA）模塊，以增強編碼階段的深層特征提取能力。此外，設計跨空間殘差融合（CRF）模塊，并將它應用在編、解碼器間的跳躍連接上。該模塊一方面對不同編碼層進行跨空間信息融合，實現(xiàn)不同編碼層間的信息互補；另一方面進一步提取編碼層信息特征，緩解編解碼對等層之間的語義差異，從而更好地補償解碼階段的信息損失。在公開的超聲乳腺結節(jié)數(shù)據(jù)集上的實驗結果顯示，所提方法的DICE系數(shù)可達0.888，同主流的深度學習分割模型UNet、AttUNet、ResUNet++、SKUNet相比，提高了0.033～0.094，對比相同數(shù)據(jù)集中的改進模型如CF2-Net、ESTAN、FS-UNet、SMU-Net，提高了0.001～0.068。所提方法分割結果圖的主觀視覺效果與專家給出的金標準最接近，能更加準確地分割出乳腺結節(jié)區(qū)域。

多尺度特征融合；跨空間特征融合；尺度感知與特征聚合；卷積神經(jīng)網(wǎng)絡；超聲乳腺結節(jié)分割

0 引言

近年來，隨著社會生活各方面壓力的增加、飲食習慣的改變及其余外在環(huán)境因素的影響，乳腺癌已成為威脅全球女性健康的最常見的惡性腫瘤之一。然而，乳腺癌的早期常無典型的癥狀和體征，很容易被人忽視，從而導致誤診和漏診常有發(fā)生。而乳腺癌的“早發(fā)現(xiàn)、早診斷、早治療”可以大大延緩患者的病情進展，降低患者的治療難度，進而降低患者的死亡率。目前，臨床上常用的無創(chuàng)性乳腺診斷手段包括磁共振成像、X射線、超聲成像等。其中，超聲成像具有易于使用、無輻射損傷、價格便宜、可任意角度觀察、成像速度快等優(yōu)點，成為乳腺癌早期最主要的篩查手段［1］。然而，乳腺結節(jié)形態(tài)和質地各異，部分結節(jié)與周邊組織易混淆，且超聲成像存在噪聲偏高、對比度低、灰度不均等缺點，給超聲乳腺結節(jié)的檢測帶來一定困難。隨著醫(yī)療行業(yè)的快速發(fā)展，特別是人工智能技術的高速發(fā)展，通過人工智能和計算機輔助手段對醫(yī)療數(shù)據(jù)進行精確挖掘和處理已成為可能。基于人工智能的計算機輔助診斷逐步被用于超聲乳腺結節(jié)的診斷中。

早期的算法研究多采用傳統(tǒng)的機器學習方法進行超聲乳腺結節(jié)分割。例如，Jiang等［2］采用Adaboost+Haar框架對超聲乳腺結節(jié)的病灶區(qū)域進行目標檢測，并使用支持向量機對檢測到結節(jié)區(qū)域進行篩選，最后通過隨機游走算法對篩選出的結節(jié)進行精細化分割。Shan等［3］通過頻域濾波獲得圖像的相位特征，并在此基礎上采用NLM（Neutrosophic L?Means）方法進行結節(jié)邊界的精細分割。Luo等［4］在分割前通過人工選擇兩條對角線來確定結節(jié)區(qū)域，然后聯(lián)合使用粒子群算法和優(yōu)化圖論算法分割結節(jié)區(qū)域。Liu等［5］采用形態(tài)學濾波法和自適應閾值法對結節(jié)輪廓進行初步定位，再通過活動輪廓方法進一步細化結節(jié)輪廓。Lotfollahi等［6］結合Neutrosophic理論提出一種改進的活動輪廓方法進行超聲乳腺結節(jié)的分割，但該方法需要人為鎖定結節(jié)的初始輪廓。早期方法的本質是通過人為構建的特征模式檢測乳腺腫塊的邊界，受人為提取特征能力的限制，這些特征的表示能力有限，因此，分割效果并不理想。

近年來，基于深度學習的語義分割方法在圖像處理領域非常流行且有效。它利用深度卷積神經(jīng)網(wǎng)絡的自學習特性，在無人工干預的情況下自動地學習出隱含于圖像中的復雜的、具有區(qū)分能力的特征，將圖像分割問題轉換成像素的語義分類問題，彌補了早期經(jīng)典方法的不足，因此，許多學者開始研究采用深度學習技術的超聲乳腺結節(jié)分割方法，且大多數(shù)方法是對經(jīng)典UNet模型進行改進，以提升結節(jié)的分割效果。Zhuang等［7］在傳統(tǒng)UNet架構的跨層連接處采用注意力門和卷積增強模型的學習能力，并在瓶頸層使用擴張卷積擴大感受野來增強特征提取能力。Han等［8］采用多尺度特征提取網(wǎng)絡和雙注意力融合網(wǎng)絡分割超聲乳腺結節(jié)，但復雜的模型結構導致計算和訓練負載過大。Byra等［9］僅用選擇性核卷積替代傳統(tǒng)UNet中的普通卷積，目的是自適應地調整感受野，解決乳腺結節(jié)形態(tài)多變的分割問題。Vakanski等［10］在池化操作中添加注意力，但這種改進對邊界模糊的結節(jié)分割效果并不好。Xue等［11］將多層上下文信息與乳腺病灶邊界檢測相結合，通過細化邊界質量來提高分割結果。Li等［12］用多尺度擴張卷積模塊應對乳腺結節(jié)形狀的不規(guī)則變化，并采用Focal-DSC（Dice Similarity Coefficient）損失函數(shù)解決乳腺結節(jié)中類別不平衡問題，但無法應用于其他模式的圖像上。Gao等［13］提出將空間-通道注意力應用在編解碼器的跨層連接處，實現(xiàn)對乳腺結節(jié)區(qū)域的關注。Iqbal等［14］為超聲乳腺結節(jié)分割提出一種基于UNet的多尺度雙注意力網(wǎng)絡，該模型用多尺度卷積取代UNet中所有的標準卷積，并在上采樣操作后引入雙注意力機制，自適應地學習高級特征，但對模糊邊界的結節(jié)分割效果不佳。Punn等［15］通過融合四種不同尺度卷積來適應不同尺寸的超聲乳腺結節(jié)區(qū)域，同時使用混合池化保留更多的結節(jié)特征信息；此外，將編碼路徑相鄰空間特征和解碼路徑對等層空間特征與注意力結合用于關注不同空間維度上的相關性，以更好地識別結節(jié)區(qū)域。Chen等［16］提出用混合自適應注意力改進UNet，使網(wǎng)絡具有在通道和空間上自適應調整感受野的能力，以捕捉不同維度的特征，該方法獲得了較好的分割效果。Zhao等［17］結合注意力機制和殘差組成的模塊應用在編解碼對等層上，使網(wǎng)絡對淺層特征中的邊界細節(jié)賦予更高的權重，但該方法無法應對結節(jié)特征不規(guī)則變化的情況。

上述工作相較于傳統(tǒng)機器學習的分割質量有很大提升，為基于深度學習的超聲乳腺結節(jié)分割研究提供了借鑒與參考，但超聲乳腺結節(jié)的分割仍是一項困難的任務。首先，乳腺結節(jié)形狀多樣、大小不一，且存在斑點噪聲和超聲偽影等干擾因素，增加了病灶的分割難度。其次，有些乳腺結節(jié)內(nèi)部的超聲表征與周邊組織特征相似，導致網(wǎng)絡很難區(qū)分結節(jié)區(qū)域與背景區(qū)域，易造成結節(jié)區(qū)域的誤劃分問題。例如圖1（b）的左邊圖像中，綠色是結節(jié)區(qū)域，紅色是結節(jié)內(nèi)部與周邊組織易混淆的區(qū)域。最后，有些結節(jié)內(nèi)部的超聲表征雖然可明顯區(qū)分，但結節(jié)邊界與周邊組織易混淆，給結節(jié)邊界的精準分割帶來一定難度。例如圖1（b）的右邊圖像中，紅色區(qū)域是該結節(jié)邊界的模糊段。現(xiàn)有方法準確區(qū)分結節(jié)目標區(qū)域與背景區(qū)域，并精準分割結節(jié)邊界的能力有限，這也是該領域目前的難點問題。

圖1　乳腺超聲圖像

針對上述問題，本文提出了一種融合多尺度特征提取和跨空間特征融合的超聲乳腺結節(jié)分割網(wǎng)絡。首先，利用擴張卷積和分組卷積使網(wǎng)絡具有多尺度特征提取能力；其次，在瓶頸層融合多個不同尺度感受野的特征，生成關注度權重圖對深層語義進行特征加權，突出與分割結果相關的語義特征，增強編碼階段深層特征的提取和表達能力；此外，為編碼器與解碼器之間的跨層連接設計了一種具有交叉融合結構的跨空間殘差融合（Cross-spatial Residual Fusion， CRF）模塊，以緩解編、解碼器對等層之間的語義差異，從而更好地補償解碼階段的信息損失。為對以上方法思想進行保護，在研究階段已對該方法申請了發(fā)明專利［18］，本文主要對方法進行了更加深入的理論分析，對部分實施步驟進行了細化和改進，并對實驗結果進行了詳細的分析和總結。

1 本文方法

1.1　改進的分割網(wǎng)絡模型

本文提出的基于多尺度和跨空間融合的超聲乳腺結節(jié)端到端分割模型結構如圖2所示。該模型基于原始UNet模型，采用U型的編解碼架構。為提高網(wǎng)絡淺層特征的提取和表達能力，模型的編碼部分采用多尺度特征提取與融合（Multi-scale Feature Extraction and Fusion， MFEF）模塊；為增強瓶頸層的深層特征提取能力，模型采用尺度感知與特征聚合（Scale-aware Feature Aggregation， SFA）模塊篩選和強化深層語義特征中的重要信息；為緩解編、解碼器對等層之間的語義差異，還設計了CRF模塊連接對等層，以緩解語義差異，促進解碼階段的信息還原。

圖2　本文模型的網(wǎng)絡結構

1.2　多尺度特征提取與融合模塊

超聲影像對比度低且存在偽影干擾，乳腺結節(jié)在超聲影像下常表現(xiàn)為復雜的形態(tài)，如惡性結節(jié)常呈現(xiàn)出各種不規(guī)則的形狀，結節(jié)的尺寸大小不一、部分結節(jié)與周邊組織間的界限不清，這些因素給結節(jié)的精確分割帶來挑戰(zhàn)。傳統(tǒng)UNet的編碼層采用2個連續(xù)的3×3卷積進行特征提取，但這種處理方式只能提取到單一尺度感受野下的特征，對結節(jié)特征的不規(guī)則變化應變力差。為此，本文設計了MFEF模塊，結構如圖3所示。

圖3　MFEF模塊結構

MFEF模塊的主體架構包含四條具有不同感受野的卷積支路：第一條支路采用1×1卷積核，具有1×1的最小感受野；第二條卷積支路具有3×3感受野；第三、四條支路在3×3卷積后增加了一個多尺度卷積塊，稱為SplitB+（如圖4（a））。SplitB+使用擴張卷積和通道分組，具有更大的感受野和更強的非線性。整個MFEF模塊形成一個多支路與多尺度感受野的嵌套效果，既保證了多尺度特征提取，又增強了模型的非線性。MFEF模塊將除第一條支路外的其他三條支路的后端進行兩兩拼接，目的是融合相鄰感受野下的特征信息，以增強信息的互補性。第一條支路卷積沒有參與拼接是為了保留一部分輸入的原始信息，并通過1×1卷積調整通道數(shù)，以滿足后續(xù)相加操作時的通道要求。

本文SplitB+的設計是對HS-ResNet［19］中SplitB（如圖4（b））結構的輕量化改進，主要包括：1）將輸入的特征通道分為2組而不是HS-ResNet中的5組，目的是降低分組處理的復雜度和計算量；2）在SplitB中用擴張卷積替代普通卷積，以增大網(wǎng)絡的感受野，讓網(wǎng)絡在特征提取時捕捉更多的局部信息，提升特征提取能力。改進后的SplitB+結構更簡潔，并具有多尺度處理能力。

SplitB+首先將輸入的特征通道分為2組，如圖4（a）的group1和group2所示。其中，group1經(jīng)過擴張卷積后又分為group3和group4；group4與group2拼接，而后經(jīng)過擴張卷積，并將得到的特征圖與group3拼接，形成最終的模塊輸出。這種分組后卷積再合并的形式可有效減少模型參數(shù)并降低計算量，同時增加了模型連接的復雜性，提升了模塊的非線性。

1.3　尺度感知與特征聚合模塊

信息進入瓶頸層后，淺層特征被進一步抽象為高級語義特征，特征的抽象性增強，使不同通道的語義特征對最終分割結果的影響力不同，因此，瓶頸層的特征提取除需考慮多尺度感受野外，還應考慮不同語義特征間的重要性差異。而1.2節(jié)設計的MFEF模塊雖具有多尺度感受野的捕獲能力，但對不同尺度的通道特征進行等權重拼接，因此不具備區(qū)分通道特征重要性差異的能力。為此，本文在瓶頸層沒有使用MFEF模塊，而是采用了文獻［20］中提出的尺度感知與特征聚合（SFA）模塊，結構如圖5所示。該模塊不僅可對不同感受野下的卷積特征進行權重篩選，還能對不同通道特征進行權重篩選，從而使重要的語義特征具有更加顯著的作用，進而提升分割效果。

圖5　SFA模塊

這種自適應選擇的實質是通過權重矩陣突出多尺度感受野下有用的信息，弱化無用的信息，選擇后的結果與原始特征進行信息疊加，目的是確保信息不被丟失的同時突出被強化的信息。

1.4　跨空間殘差融合模塊

傳統(tǒng)UNet通過跳躍連接將編碼部分的特征信息傳遞并拼接到解碼部分的對等層，以彌補解碼階段上采樣帶來的信息損失。然而，編碼器的特征屬于低級特征，解碼器的特征是在經(jīng)歷了多次卷積、池化、反卷積后形成的更高級別的上下文信息，這使被拼接的編、解碼器對等層之間的特征信息之間存在較大的語義差異，分割模型應盡可能消除這種語義差異以提升分割效果。為此，本文在跳躍連接處設計了一種跨空間殘差融合（CRF）模塊，該模塊由5個雙空間融合（Dual-Spatial Fusion， DSF）模塊（如圖6（a））通過串聯(lián)和交叉并聯(lián)的形式組成，如圖6（b）所示。該模塊一方面將相鄰編碼層間的信息進行互補融合；另一方面對編碼層信息進行進一步的特征提取，從而緩解編、解碼器對等層之間的語義差異。

圖6　CRF與DSF模塊

2 實驗與結果分析

2.1　數(shù)據(jù)準備

實驗數(shù)據(jù)集來源于Yap等［21］提供的超聲乳腺結節(jié)公開數(shù)據(jù)集。該數(shù)據(jù)集是在西門子ACUSON Sequoia C512系統(tǒng)上采集的，共包含163張超聲圖像，其中有110張圖像含良性結節(jié)，53張圖像含有惡性結節(jié)。標簽均由經(jīng)驗豐富的醫(yī)生標注，原圖以及標簽圖如圖7（a）、（b）所示。該數(shù)據(jù)集的圖像尺寸大小均為760×570，實驗中將所有圖像的大小縮放為統(tǒng)一尺寸256×256，并按7∶1∶2比例劃分訓練集、驗證集和測試集。為了防止模型因數(shù)據(jù)樣本過少而出現(xiàn)過擬合，對訓練集中的圖像分別進行水平翻轉和90°、180°、270°旋轉，將訓練集中樣本數(shù)擴大為原來的5倍。

圖7　超聲乳腺結節(jié)圖像示例

2.2　實驗環(huán)境與參數(shù)設置

實驗使用一塊NVIDIA GeForce RTX 2080 GPU顯卡，GPU內(nèi)存為11 GB。在實驗階段，Batch size設置為4，深度學習框架采用TensorFlow，迭代次數(shù)設置為200，學習率設置為0.000 1，選擇Adam作為優(yōu)化算法，損失函數(shù)采用DICE損失函數(shù)，終止條件采用當驗證集上的損失值在10個迭代周期內(nèi)不再減小時，停止訓練。

2.3　評價指標

2.4　消融實驗

本文通過消融實驗驗證設計的各個模塊及其組合對超聲乳腺結節(jié)分割任務的有效性。消融實驗共5組：第1組只采用原始UNet進行分割；第2組在UNet架構基礎上將編碼器的每一層分別替換為SplitB和SplitB+；第3組在UNet架構基礎上分別單獨添加MFEF模塊、SFA模塊、CRF模塊；第4組在UNet架構基礎上進行兩兩混合添加；第5組在UNet架構基礎上將三個模塊全部添加。消融實驗結果如表1所示。

從表1可以看出，采用SplitB+相較于采用SplitB在指標DICE系數(shù)、召回率和交并比上均有所提升，這與結構輕量化后更有利于模型的優(yōu)化訓練有關。因此，在MFEF模塊中采用SplitB+。第3組實驗中的各模型在指標值上相較于傳統(tǒng)UNet均有所提升，這說明MFEF模塊、SFA模塊、CRF模塊具有各自的有效性。但從第4組實驗可以發(fā)現(xiàn)，添加兩個模塊比單獨采用一個模塊指標值提升得更多，這說明模塊混合使用可以產(chǎn)生優(yōu)勢累加，這種優(yōu)勢累加效果在第5組實驗中體現(xiàn)得更明顯。第5組實驗結果除精度指標外，其他指標相較于第4組結果均有更明顯的提升，DICE系數(shù)、召回率和交并比分別平均提升0.258、0.307、0.243。盡管第5組的精度指標相比第3、4組的略低，但差距不大，而且所有指標的綜合提升更重要。此外，召回率關注的是有多少病變組織被找到，它在醫(yī)學圖像分割領域中是一項非常重要的指標，因此，在精度指標相近的情況下，本文實驗更關注召回率的提升。上述分析表明，在UNet架構基礎上同時采用MFEF模塊、SFA模塊、CRF模塊所得到的指標評價最好，這一點還體現(xiàn)在分割結果的視覺效果對比上，如圖8所示。

表1　網(wǎng)絡結構消融性能對比

圖8是第1～5組實驗分割結果在視覺效果上的對比。綠色輪廓是專家給出的結節(jié)區(qū)標注，紅色輪廓表示本文模型的分割結果。從圖8中可以看出，單純使用UNet模型的分割結果存在較多的假陽性，如圖中a～e所示的區(qū)域。在UNet的基礎添加MFEF模塊，假陽性顯著消失，但分割邊界與專家標注邊界相比還存在一定差距；添加MFEF、SFA和CRF模塊后，有更完整的輪廓，保留了更多乳腺結節(jié)邊界細節(jié)信息，分割結果在形態(tài)上與標注圖更逼近，具有更佳的性能。

圖9是本文模型在訓練過程中表現(xiàn)出來的訓練損失和驗證損失的變化情況。模型在第77個Epoch結束訓練，第62個Epoch后模型訓練基本達到收斂狀態(tài)，但該實驗沒有單純依靠訓練誤差的收斂判定模型是否終止，而是將驗證誤差的變化情況結合進來，即當驗證誤差在驗證集上的損失值在10個迭代周期內(nèi)不再減小時停止訓練，以防出現(xiàn)訓練過擬合。從圖9可以看到，訓練損失是收斂的，且變化曲線比較平滑，驗證損失在下降過程中存在跳動，但整體具有下降趨勢，且訓練終止時能降低到可接受的損失值，這說明本文模型的設計和訓練是合理和可行的。

2.5　方法對比實驗

對比實驗中，先與下列經(jīng)典分割模型進行對比：UNet［22］、AttUNet［23］、ResUNet++［24］、SKUNet［9］。采用上述經(jīng)典模型對超聲乳腺結節(jié)進行分割的結果如表2中前4行所示。從表中可以看出，本文方法的評價指標在所有對比模型中是最好的，尤其是DICE系數(shù)和IoU的提升明顯，本文方法的DICE系數(shù)達到0.888，與對比的4個同主流模型相比，至少提升了0.033，最多提升了0.094，說明本文方法的分割結果與醫(yī)生給出的金標準最接近。這一點還體現(xiàn)在分割結果的視覺效果對比上，如圖10所示，綠色輪廓是專家給出的結節(jié)區(qū)標注，紅色表示本文模型的分割結果。

從圖10中可以看出，UNet模型分割產(chǎn)生大量的假陽性區(qū)域，如圖10（b）中a～e標識的區(qū)域所示，這與UNet采用單一尺度的卷積有關。從圖10（c）、（d）兩列來看，AttUNet、ResUNet++在跨層連接上采用了注意力機制，使模型能更好地關注結節(jié)區(qū)域，從而消除了大部分假陽性區(qū)域，但隨之帶來了對結節(jié)內(nèi)部過度關注的問題，如圖10（c）、（d）中f、g、p、q標識的區(qū)域所示；此外，對于邊界模糊的結節(jié)，AttUNet、ResUNet++兩個模型仍無法準確定位結節(jié)邊界，如圖10（c）、（d）中m、n標識的區(qū)域所示，這說明模型對特征捕獲還不夠精準。SKUNet將注意力機制添加在編解碼階段的每一層而非跨層上，減輕了對結節(jié)內(nèi)部的過度關注，如圖10（e）中h標識的區(qū)域所示；此外，SKUNet在編解碼階段的每一層引入了多尺度卷積，使得邊界模糊的結節(jié)周邊的假陽性區(qū)域有所緩解，但分割出的結節(jié)邊界仍然不夠精準，如圖10（e）中i標識的區(qū)域所示。相比之下，本文模型的分割結果假陽性區(qū)域較少，對邊界模糊的結節(jié)分割效果與金標準更加接近，如圖10（f）中j、k標識的區(qū)域所示。這與本文模型在編碼層和跨層連接處采用了多尺度特征提取與融合以及瓶頸層采用權重矩陣突出多尺度感受野下有用的信息有關。綜上所述，說明本文模型具有優(yōu)越性與有效性。

圖8　消融實驗分割結果對比

此外，還與近三年同樣實現(xiàn)超聲乳腺結節(jié)分割模型進行了對比，包括：CF2-Net［25］、ESTAN［26］、FS-UNet［27］、SMU-Net［28］，這些模型的評價指標如表2中的5～8行所示，這些數(shù)據(jù)來自原文獻，它們采用的實驗數(shù)據(jù)集與本文一致；由于原文獻參數(shù)情況不明，因此無法復現(xiàn)這些模型，對未列出的數(shù)據(jù)用“—”表示原文獻中未提供相應指標。由表2可知，本文方法的精度明顯高于其他對比方法，DICE系數(shù)提高了0.001～0.068，這說明本文方法對結節(jié)區(qū)域的分割邊界更精準，這一結果與圖10（f）的分割結果圖反映是一致的。CF2-Net基于UNet引入先驗知識，但在結節(jié)不規(guī)則變化時，分割能力差，它的各項指標均低于本文方法。Estan模型的編碼器采用擴張卷積提取和融合不同尺度的圖像上下文信息，但指標并未取得明顯提升。FS-UNet采用注意力關注結節(jié)區(qū)域，DICE系數(shù)和IoU指標與本文方法接近，但它的召回率仍低于本文方法。SMU-Net采用雙通道輸入，提取和融合前景以及背景顯著圖特征，使網(wǎng)絡更加關注結節(jié)區(qū)域，在召回率上略高于本文方法，但反映分割區(qū)域精準度的精度指標和與真實結節(jié)區(qū)相似度的DICE系數(shù)低于本文方法。

圖10　不同模型的分割結果

表2　不同分割方法的比較

3 結語

本文提出一種基于多尺度和跨空間融合的超聲乳腺結節(jié)分割方法。首先，設計一種多尺度特征提取與融合（MFEF）模塊，通過融合不同感受野下的特征信息，使模型對結節(jié)特征均具有更強的捕獲能力；其次，為了對高級語義信息進行多尺度觀察和信息篩選，采用尺度感知和自適應聚合（SFA）模塊，以增強編碼階段的深層特征提取能力；最后，設計一種跨空間殘差融合（CRF）模塊，以緩解編解碼對等層之間的語義差異，更好地補償解碼階段的信息損失。通過消融實驗驗證了聯(lián)合使用上述三個模塊可獲得最佳的分割效果；同時，對比實驗結果表明，與常見的經(jīng)典方法和使用同一數(shù)據(jù)集的其他方法相比，本文方法的分割結果在DICE系數(shù)、交并比、召回率和精度等評價指標方面均為最佳，且分割結果圖的主觀視覺效果與專家給出的金標準最接近，說明本文方法具有有效性和優(yōu)越性。

但本文方法僅在公開數(shù)據(jù)集上進行了訓練和驗證，缺乏對多站點數(shù)據(jù)的驗證評估。今后工作中，將搜集更多的超聲乳腺結節(jié)臨床數(shù)據(jù)以擴充訓練集和驗證集，提高模型的泛化性和魯棒性。

[1] 司爽，張偉，王慧穎，等. 乳腺X線攝影、超聲及磁共振診斷乳腺癌的性能評價［J］. 中國臨床醫(yī)學影像雜志， 2020， 31（1）：20-23，29.（SI S， ZHANG W， WANG H Y， et al. Performance evaluation of breast cancer diagnosed with mammography， ultrasound and MRI［J］. Journal of China Clinical Medical Imaging， 2020， 31（1）： 20-23， 29.）

[2] JIANG P， PENG J， ZHANG G， et al. Learning-based automatic breast tumor detection and segmentation in ultrasound images［C］// Proceedings of the 9th IEEE International Symposium on Biomedical Imaging. Piscataway： IEEE， 2012： 1587-1590.

[3] SHAN J， CHENG H D， WANG Y. A novel segmentation method for breast ultrasound images based on neutrosophic-means clustering［J］. Medical Physics， 2012， 39（9）： 5669-5682.

[4] LUO Y， HAN S， HUANG Q. A novel graph-based segmentation method for breast ultrasound images［C］// Proceedings of the 2016 International Conference on Digital Image Computing： Techniques and Applications. Piscataway： IEEE， 2016： 1-6.

[5] LIU L， LI K， QIN W， et al. Automated breast tumor detection and segmentation with a novel computational framework of whole ultrasound images［J］. Medical and Biological Engineering and Computing， 2018， 56（2）： 183-199.

[6] LOTFOLLAHI M， GITY M， YE J Y， et al. Segmentation of breast ultrasound images based on active contours using neutrosophic theory［J］. Journal of Medical Ultrasonics， 2018， 45（2）： 205-212.

[7] ZHUANG Z， LI N， JOSEPH RAJ A N， et al. An RDAU-NET model for lesion segmentation in breast ultrasound images［J］. PLoS ONE， 2019， 14（8）： No.e0221535.

[8] HAN L， HUANG Y， DOU H， et al. Semi-supervised segmentation of lesion from breast ultrasound images with attentional generative adversarial network［J］. Computer Methods and Programs in Biomedicine， 2020， 189： No.105275.

[9] BYRA M， JAROSIK P， SZUBERT A， et al. Breast mass segmentation in ultrasound with selective kernel U-Net convolutional neural network［J］. Biomedical Signal Processing and Control， 2020， 61： No.102027.

[10] VAKANSKI A， XIAN M， FREER P E. Attention-enriched deep learning model for breast tumor segmentation in ultrasound images［J］. Ultrasound in Medicine and Biology， 2020， 46（10）： 2819-2833.

[11] XUE C， ZHU L， FU H， et al. Global guidance network for breast lesion segmentation in ultrasound images［J］. Medical Image Analysis， 2021， 70： No.101989.

[12] LI J， CHENG L， XIA T， et al. Multi-scale fusion U-Net for the segmentation of breast lesions［J］. IEEE Access， 2021， 9： 137125-137139.

[13] GAO C， YE H， CAO F， et al. Multiscale fused network with additive channel-spatial attention for image segmentation［J］. Knowledge-Based Systems， 2021， 214： No.106754.

[14] IQBAL A， SHARIF M. MDA-Net： multiscale dual attention-based network for breast lesion segmentation using ultrasound images［J］. Journal of King Saud University — Computer and Information Sciences， 2022， 34（9）： 7283-7299.

[15] PUNN N S， AGARWAL S. RCA-IUnet： a residual cross-spatial attention-guided inception U-Net model for tumor segmentation in breast ultrasound imaging［J］. Machine Vision and Applications， 2022， 33（2）： No.27.

[16] CHEN G， LI L， DAI Y， et al. AAU-Net： an adaptive attention U-Net for breast lesions segmentation in ultrasound images［J］. IEEE Transactions on Medical Imaging， 2023， 42（5）： 1289-1300.

[17] ZHAO T， DAI H. Breast tumor ultrasound image segmentation method based on improved residual U-Net network［J］. Computational Intelligence and Neuroscience， 2022， 2022： No.3905998.

[18] 大連大學. 基于多尺度和跨空間融合的超聲乳腺結節(jié)端到端分割方法： 202211177184.X［P］. 2023-01-06.（Dalian University. End-to-end segmentation of ultrasound breast nodules based on multi-scale and cross-spatial fusion： 202211177184.X［P］. 2023-01-06.）

[19] YUAN P， LIN S， CUI C， et al. HS-ResNet： hierarchical-split block on convolutional neural network［EB/OL］. （2020-10-15） ［2022-12-15］.https：//arxiv.org/pdf/2010.07621.pdf.

[20] WU H， WANG W， ZHONG J， et al. SCS-Net： a scale and context sensitive network for retinal vessel segmentation［J］. Medical Image Analysis， 2021， 70： No.102025.

[21] YAP M H， PONS G， MARTí J， et al. Automated breast ultrasound lesions detection using convolutional neural networks［J］. IEEE Journal of Biomedical and Health Informatics， 2018， 22（4）： 1218-1226.

[22] RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.

[23] OKTAY O， SCHLEMPER J， LE FOLGOC L， et al. Attention U-Net： learning where to look for the pancreas［EB/OL］. ［2022-10-12］.https：//arxiv.org/pdf/1804.03999.pdf.

[24] JHA D， SMEDSRUD P H， RIEGLER M A， et al. ResUNet++： an advanced architecture for medical image segmentation［C］// Proceedings of the 2019 IEEE International Symposium on Multimedia. Piscataway： IEEE， 2019： 225-230.

[25] NING Z， WANG K， ZHONG S， et al. CF2-Net： coarse-to-fine fusion convolutional network for breast ultrasound image segmentation［EB/OL］. （2020-03-23） ［2022-10-13］.https：//arxiv.org/ftp/arxiv/papers/2003/2003.10144.pdf.

[26] SHAREEF B， VAKANSKI A， FREER P E， et al. ESTAN： enhanced small tumor-aware network for breast ultrasound image segmentation［J］. Healthcare， 2022， 10（11）： No.2262.

[27] PI J， QI Y， LOU M， et al. FS-UNet： mass segmentation in mammograms using an encoder-decoder architecture with feature strengthening［J］. Computers in Biology and Medicine， 2021， 137： No.104800.

[28] NING Z， ZHONG S， FENG Q， et al. SMU-Net： saliency-guided morphology-aware U-Net for breast lesion segmentation in ultrasound image［J］. IEEE Transactions on Medical Imaging， 2022， 41（2）： 476-490.

Segmentation of breast nodules in ultrasound images based on multi-scale and cross-spatial fusion

ZHAO Xin1*， ZHU Qianqian1， ZHAO Cong2， WU Jialing3

（1，，116622，；2，’，116021，；3，，116011，）

Accurate breast nodule segmentation in ultrasound images is very challenging due to the low resolution and noise of ultrasound imaging， as well as the complexity and variability of the shape and texture of nodules， therefore， an end-to-end automatic segmentation method of breast nodules in ultrasound images based on multi-scale and cross-spatial feature fusion was proposed. Firstly， a Multi-scale Feature Extraction and Fusion （MFEF） module was designed to enable the network to have multi-scale feature extraction ability by fusing four convolutional paths with different receptive fields. Then， for the multi-scale observation and information filtering of high-level semantic information， a Scale-aware Feature Aggregation （SFA） module was used at the bottleneck layer to enhance the deep feature extraction ability in the encoding stage. Besides， a Cross-spatial Residual Fusion （CRF） module was designed and applied to the skip connection between the encoder and decoder to fuse information among different encoding layers in a cross-spatial way and implement information complementarity between different encoding layers， further extract information features of encoding layer and narrow the difference between peer layers of encoder and decoder to better compensate for the information loss in the decoding stage. Experimental results on a public ultrasound breast nodule dataset show that the proposed method achieves DICE coefficient of 0.888， which is 0.033 to 0.094 higher than those of the mainstream deep learning segmentation models UNet， AttUNet， ResUNet++ and SKUNet， and is 0.001 to 0.068 higher than those of the improved models such as CF2-Net， Estan， FS-UNet and SMU-Net in the same dataset. The subjective visualization of the segmentation result of the proposed method is closest to the gold standards provided by experts， verifying that the proposed mehtod can segment the breast nodule area more accurately.

multi-scale feature fusion; cross-spatial feature fusion; Scale-aware Feature Aggregation (SFA); Convolutional Neural Network (CNN); breast nodule segmentation in ultrasound images

1001-9081（2023）11-3599-08

10.11772/j.issn.1001-9081.2022111673

2022?11?11；

2023?02?16；

國家自然科學基金資助項目（61971424）。

趙欣（1974—），女，遼寧錦州人，副教授，博士，CCF會員，主要研究方向：人工智能、數(shù)字醫(yī)學圖像處理； 祝倩倩（1995—），女，山西朔州人，碩士研究生，碩士，CCF會員，主要研究方向：醫(yī)學圖像處理； 趙聰（1984—），女，遼寧大連人，副主任醫(yī)師，主要研究方向：甲狀腺、乳腺疾病的?？圃\斷及超聲介入治療； 吳佳玲（1979—），女，遼寧大連人，副主任醫(yī)師，碩士，主要研究方向：甲狀腺、乳腺疾病的超聲診斷。

TP 391

A

2023?02?20。

This work is partially supported by National Natural Science Foundation of China （61971424）.

ZHAO Xin， born in 1974， Ph. D.， associate professor. Her research interests include artificial intelligence， digital medical image processing.

ZHU Qianqian， born in 1995，M. S. candidate. Her research interests include medical image processing.

ZHAO Cong， born in 1984， deputy chief physician. Her research interests include specialized diagnosis and interventional ultrasound therapy of thyroid and breast diseases.

WU Jialing， born in 1979， M. S.， deputy chief physician. Her research interests include ultrasound diagnosis of breast and thyroid diseases.