融合多注意力機制的自監(jiān)督小樣本醫(yī)學圖像分割*

要媛媛,劉宇航,程雨菁,彭夢曉,鄭 文,2

(1.太原理工大學計算機科學與技術(shù)學院(大數(shù)據(jù)學院),山西 晉中 030600; 2.長治醫(yī)學院山西省智能數(shù)據(jù)輔助診療工程研究中心,山西 長治 046000)

1 引言

圖像分割技術(shù)旨在將感興趣區(qū)域(Region of Interest)從某視野內(nèi)分離出來。醫(yī)療圖像中對感興趣區(qū)域(如肝臟、腫瘤)的研究具有極其重要的意義。將圖像分割技術(shù)應用于醫(yī)療領域(如CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)等圖像),能夠幫助醫(yī)生更加清晰地認識各內(nèi)部器官或病理結(jié)構(gòu),達到智能輔診、高效診斷的效果。

主流的基于全監(jiān)督的深度學習分割模型在標記豐富的數(shù)據(jù)上訓練時可以取得良好的效果。這些有監(jiān)督的神經(jīng)網(wǎng)絡的性能在很大程度上取決于訓練數(shù)據(jù)集的質(zhì)量和數(shù)量,例如注釋良好的數(shù)據(jù)的數(shù)量、類分布的平衡度以及樣本表示[1,2]。就自然圖像而言,大量含標注的公開數(shù)據(jù)集(如VOC(Visual Object Classes)等)使得研究人員極易獲得預訓練模型,便于開展后期研究。然而,對醫(yī)療圖像的認知往往基于豐富的臨床專業(yè)知識,獲取含標注的醫(yī)療圖像會耗費大量的人力成本及時間成本。此外,疾病多種多樣,影像表現(xiàn)復雜多變,以某一訓練好的特定模型認知全部未知類別的特征極不現(xiàn)實。受人類僅使用少量輸入數(shù)據(jù)來區(qū)分對象的認知能力的啟發(fā),小樣本學習技術(shù)應運而生,探求模型是否擁有從少量樣本中學習和概括的能力。

傳統(tǒng)的深度學習模型用小樣本訓練時易導致過擬合或?qū)δ繕巳蝿盏那窋M合。為避免此類問題,需要依賴于具有許多注釋訓練類的大型訓練數(shù)據(jù)集,但這樣又違背了小樣本學習的初衷。自監(jiān)督學習主要是利用圖像著色、超像素生成偽標簽等輔助任務從原始的無監(jiān)督數(shù)據(jù)中提取有效信息。這些有效信息用于訓練網(wǎng)絡,從而學習到對下游任務有價值的表征。其特征在于,模型訓練過程中使用的信息源于自身,而非受人為因素影響的外部標注,以此為模型提供豐富的內(nèi)部信息。

小樣本分割FSS(Few-Shot Segmentation)的目標是使用相應的注釋掩碼分割查詢圖像中選定類別的目標區(qū)域。FSS最流行的方法是基于度量的原型學習。通過掩碼平均池化,將每個類別在空間上平均為一個一維代表原型或線性分類器的權(quán)重向量,例如,PANet(Prototype Alignment Network)[3]、PFENet(Prior guided Feature Enrichment Network)[4]、SG-One(Similarity Guidance network to tackle the One-shot)[5]、CANet(Class-Agnostic segmentation Network)[6]。然而,因人體構(gòu)造復雜,且器官、病灶或其他興趣目標在醫(yī)學圖像中占比較小,存在前景-背景極其不平衡的問題。如果背景中的無關外觀信息被錯誤地識別和破壞,就可能使得前景-背景邊界模糊,增加預測的難度。因此,通過掩碼平均池化操作,此類原型網(wǎng)絡可能會丟失圖像的詳細空間信息。

針對醫(yī)學圖像復雜、可能存在多個感興趣區(qū)域、預訓練模型難獲得,以及前景-背景極其不平衡的問題,本文使用超像素分割方法為圖像生成偽標簽,為模型提供從圖像本身獲取信息的可能;同時,摒棄掩碼平均池化操作,聚焦于局部特征及全局特征,引入注意力機制以明確前景-背景邊界,達到對感興趣的區(qū)域進行分割的目的。

本文提出的SSF-MANet(Self-Supervised Few-shot learning with Multi-Attention mechanism Network)旨在通過構(gòu)造融合樣本自身通道信息、空間信息及樣本間信息等多類信息的模型,探尋小樣本數(shù)據(jù)的內(nèi)在關聯(lián),以便在綜合考量局部及全局信息后完成對興趣目標的分割。首先,SSF-MANet模型利用依賴于超像素經(jīng)旋轉(zhuǎn)及亮度改變后生成的偽標簽得到特征圖譜,自適應局部原型池化網(wǎng)絡ALPNet(Adaptive Local Prototype pooling Network)分別接收support特征及query特征。之后,將得到的support特征傳入外部注意力機制部分,以捕獲樣本間的聯(lián)系;query特征則被傳入通道-空間雙注意力機制中,以便于圖像內(nèi)部多尺度特征的融合。最后,基于相似度的分類器對原型向量和query的特征圖譜進行對比,并進行聚類融合得到最后的分割結(jié)果。值得注意的是,在整個過程中,通過PANet模型中的原型對齊正則化更新?lián)p失,以便最終的分割結(jié)果更接近真實的語義標簽而非偽標簽。

2 相關工作

2.1 小樣本語義分割

是否擁有從少量樣本中學習和概括的能力,是將人工智能和人類智能進行區(qū)分的明顯分界點。小樣本學習更傾向于模擬人類從少數(shù)樣本中認知事物,受到了越來越多研究者的關注。

小樣本圖像語義分割的關鍵點在于構(gòu)建query集與僅有的少數(shù)support集樣本間的關系。多分支方式[6-8]的引入使得模型在充分獲取support及query集各自的特點后進行融合,進而對query圖像的分割結(jié)果進行動態(tài)調(diào)整,以遞進的方式對圖像分割模型進行改進和完善。CANet 在多分支結(jié)構(gòu)的基礎上,引入密集比較模塊,開始注重support圖像和query圖像間的多層次特征比較。之后的過程中,研究人員常常引入余弦相似度以匹配support和query圖像間的特征。Zhang等人[5]首先采用掩碼平均池化(Masked Average Pooling)策略,通過只考慮support圖像的像素來生成引導特征,然后利用余弦相似度度量引導特征與query圖像特征之間的關系。

為分析query圖像和support圖像之間的細粒度對應關系,Min等人[9]提出利用多層次特征相關和高效四維卷積的超相關擠壓網(wǎng)絡,旨在從中間卷積層的不同層次中提取多樣特征,以從粗到細的方式逐步將高相關的高級語義和低級幾何線索壓縮到精確的分割掩碼中。在醫(yī)學圖像分割領域,Roy等人[10]提出了一種新穎的Few-Shot框架,用于只有少量注釋切片的醫(yī)學圖像分割,條件分支和分割結(jié)構(gòu)通過“通道擠壓和空間激勵”模塊增強交互。

這些研究應用元學習的思想動態(tài)調(diào)整分割結(jié)果,并在此基礎上進行圖像間的多層次特征比較,證明了元學習獲得共同知識并概括到新任務的能力。然而,這些研究局限于搜索匹配小樣本間的信息。本文將重點轉(zhuǎn)移至建立樣本自身空間及通道信息,以便準確捕獲數(shù)據(jù)特征,從而提高目標任務中的分割性能。

2.2 注意力機制

獲取多個尺度豐富的上下文信息往往需要依賴于注意力機制。Vaswani等人[11]率先提出融合注意力機制的Tranformer模型以捕獲長距離的依賴關系,為圖像分割工作提供了異于RNN(Recursive Neural Network)和CNN(Convolutional Neural Network)的工作思路。

受全卷積網(wǎng)絡有效感知域較小、無法充分捕獲長距離信息等特點的限制,研究人員將注意力機制引入到多尺度輸入的語義分割網(wǎng)絡中[12,13],以緩解局部鄰域約束。SENet(Squeeze-and-Excitation Network)[14]則更關注圖像通道間的關系,通過計算各特征通道的重要性,然后針對不同的任務增強或者抑制不同的通道,達到提取特征權(quán)重的目的。

為了捕捉豐富的上下文信息,Fu等人[15]與基于多尺度特征融合的方法不同,提出了位置注意模塊和通道注意模塊,分別對空間和通道維度上的語義相互依賴關系進行了建模,利用自注意力機制,自適應地整合局部特征及其全局依賴關系。

注意力機制在捕獲樣本內(nèi)部各空間、通道間長距離信息的應用中逐漸深入人心,如何建模樣本間的特征關系成為研究人員關心的問題。EA(External Attention)[16]考慮到自注意力機制具有二次復雜度,并且忽略了不同樣本之間的潛在相關性,提出外部注意力,依靠2個外部的、小的、可學習的、共享的內(nèi)存,隱式地考慮所有數(shù)據(jù)樣本之間的相關性。

DANet(Dual Attention Network)[15]及EA[16]分別從不同的角度出發(fā),進行樣本內(nèi)及樣本間關系的建模,隱式地學習了整個數(shù)據(jù)集的特征。本文利用以上注意力機制模塊,盡可能多地捕獲樣本自身通道信息、空間信息及樣本間信息等多類信息。

2.3 自監(jiān)督學習

自監(jiān)督學習的出發(fā)點是考慮在缺少標簽或完全沒有標簽的情況下,依然能夠?qū)W習到表示原始圖像的有意義的特征,其從數(shù)據(jù)本身提取信息的思想被越來越多的人接受。

為了緩解數(shù)據(jù)稀疏問題,研究人員基于圖像修復的思想,通過填補洞的方式為圖像增添標注[17,18]。然而,Context encoders等工作[17-24]從自我監(jiān)督中學習到的參數(shù)對本文的分割任務不具有強相關性,往往需要進行第二階段的微調(diào)。與此不同的是,Li 等人[25]提出了一個新的自我監(jiān)督的方法,即在查詢圖像的背景中通過超級像素生成偽類,以提供額外的訓練數(shù)據(jù)。偽類的引入使得研究人員必須關注其與真實分割的相關性,PANet[3]在訓練過程中進一步引入了一種原型對齊正則化,通過反向執(zhí)行few-shot分割,從查詢圖像和支持圖像中提取原型,并在嵌入空間中對齊。

本文沿用文獻[25]的思路,通過使用超像素分割方法為圖像生成偽標簽,對圖像內(nèi)部的相似顏色、紋理等特征進行聚類。超像素作為真實物體語義掩碼的緊湊構(gòu)建塊,與分割真實物體直接相關。

2.4 超像素分割

超像素是由一系列位置相鄰且顏色、亮度、紋理等特征相似的像素點組成的小區(qū)域。這些小區(qū)域大多保留了進一步進行圖像分割的有效信息,且一般不會破壞圖像中物體的邊界信息,用少量的超像素代替大量像素表達圖像特征,降低了圖像處理的復雜度。分割趨于使一個區(qū)域內(nèi)的元素相似,不同區(qū)域內(nèi)的元素不相似。EGBIS(Efficient Graph-Based Image Segmentation)算法是基于圖的貪心聚類算法。為了解決EGBIS算法容易過分割的問題,Felzenszwalb等人[26]結(jié)合流行的超像素方法SLIC(Simple Linear Iterative Cluster)[27],在構(gòu)造無向圖前,先對原圖進行預分割,得到形狀大小基本一致且貼合圖像邊界的SLIC超像素;然后以超像素的顏色平均值對其進行特征描述,將每個超像素視為無向圖節(jié)點,構(gòu)造無向權(quán)重圖,進而實現(xiàn)基于圖的無監(jiān)督分割。由此生成的超像素在形狀上更加多樣化,更易分辨出未知類別的形態(tài)。

本文采用文獻[26]中的方法對圖像進行超像素預分割。

Figure 1 Structure of SSL-MANet圖1 SSL-MANet結(jié)構(gòu)

3 模型介紹

本節(jié)首先介紹小樣本自監(jiān)督學習研究的問題表述,闡述研究過程中的N-way K-shot問題。然后,介紹架構(gòu)中的MAP(Mixed Attention Pooling)模塊,重點是通過自適應池化網(wǎng)絡捕獲的原型向量如何融合多注意力機制,以突出表現(xiàn)其多尺度的特征信息。最后,介紹如何將依賴于偽標簽生成的分割結(jié)果與真實的語義標簽相匹配。

3.1 問題的提出

小樣本學習的研究目的是用少量的標記樣本迅速完成訓練,建立泛化性能較好的模型。在小樣本圖像分割中,給定一個包含訓練語義類別Ctr的訓練集Dtr和一個包含測試未見類別Cte的測試集Dte,其中Ctr∩Cte=?。任務是給定幾個Cte的注釋例子(如參照幾個腎臟標記圖像來分割腎臟),在Dtr上訓練一個分割模型,該模型可以在Dte的圖像中分割語義類Cte,而無需重新訓練。在每個推理過程中,都會給出一個支持集S= {(xs,ys(cj))}(其中s=1,2,3,…,N代表支持集中第s個圖像及其對應的標注,cj代表第j個類)和一個查詢集Q={xq}(其中,q=1,2,3,…,N代表查詢集中第q個圖像)。一個支持-查詢對(S,Q)包括一個episode對。如果有N個要分割的類(也稱為N個任務)和每個類的S中的K個標記的圖像,則每個episode對都定義了一個N-way-K-shot的分割子問題。背景類被表示為c0,不計入Ctr或Cte。

3.2 網(wǎng)絡架構(gòu)

(1)小樣本圖像利用特征提取器將其表征為向量。fθ(·):χ→ε,其中θ為參數(shù),ε代表分割操作的特征空間。

(2)提議的融合多注意力機制的原型池化模塊,用于從支持標簽及特征中提取原型向量,g(·,·):ε×Y→ε。

(3)基于相似度的分類器通過比較原型和查詢特征進行前景-背景的分割,sim(·,·):ε×ε→Y。

(4)原型對齊正則化模塊,通過反向執(zhí)行few-shot分割,從查詢圖像和支持圖像中提取原型,并在嵌入空間中對齊。

網(wǎng)絡結(jié)構(gòu)如圖1所示。Adaptive local prototype pooling模塊用于從支持特征和標簽中提取表示原型;FSS model模塊用于原型從嵌入空間中支持和查詢圖像對齊。過程中,特征提取器網(wǎng)絡fθ(·)通過將xs和xq映射到特征空間ε,為ALP(Adaptive Local Prototype pooling)提供了特征圖。ALP將每個(fθ(xs),ys(cj)) 對作為輸入,計算語義類cj和背景c0的局部原型及類級原型。這些原型以后將被用作每個類別的參考,輔助分割查詢圖像。所有cj的原型形成一個原型集合P={pk(cj)},j= 0,1,2,…,N,其中k是原型索引,每個cj的k≥1。這個原型集合被分類器sim(·,·)用來預判查詢圖像的分割,即yq=sim(P,fθ(xq))。即首先測量每個pk(cj)和查詢特征圖fθ(xq)之間的相似性,然后將這些相似性融合在一起。

MAP模塊中,自適應局部原型池模塊(ALP)保留了原型中的局部信息。受Fu等人[28]的工作啟發(fā),每一個興趣目標向量由多個子目標組成。在ALP中,每個局部原型只在覆蓋在支持物上的局部池化窗口內(nèi)計算,即只代表對象的一部分支持,并且只代表興趣目標的一個部分。具體來說,對每個fθ(xs)∈RD×H×W進行平均池化,池化窗口大小為(LH,LW),其中(H,W)是空間大小,D是通道深度。值得注意的是,(LH,LW)決定了在表示空間E中計算每個局部原型的空間范圍。在平均池化特征圖的空間位置(m,n)上獲得的具有未決定類c的局部原型pmn(c)由式(1)給出:

pmn(c)=avgpool(fθ(xs))(m,n)

(1)

其中,mLH≤h<(m+1)LH,nLW≤w<(n+1)LW。

考慮到超像素分割可能將興趣目標分割為多個部分,使用掩蔽平均池化法計算一個類級原型pg(cj)(如式(2)所示),以避免類內(nèi)信息的丟失。

(2)

其中,g代表全局類別。

之后,為捕獲圖像內(nèi)自身多尺度信息及圖像間信息,分別將Q集(查詢集)及S集(支持集)中的圖像傳入通道-空間混合注意力模塊及外部注意力模塊中,以充分利用樣本自身的特征及少數(shù)樣本間可能存在的關聯(lián)性。

針對查詢集中的圖像特征A∈RC×H×W,首先輸入一個卷積層,分別生成2個新的特征圖B和C,其中B,C∈RC×H×W;然后進行向量化操作,將RC×H×W轉(zhuǎn)化為RC×N(C代表圖像的通道數(shù),N=H×W);接下來,將C的轉(zhuǎn)置與B矩陣進行乘法操作,得到圖像內(nèi)像素的相似度矩陣?？臻g注意力圖S∈RN×N的計算公式如式(3)所示:

(3)

其中,sji表示第i個位置對第j個位置的影響。

2個位置的特征表征越相似,它們之間的相關性就越大。將通過空間注意力模塊的特征圖D∈RC×H×W轉(zhuǎn)化為RC×N形式后,將其乘以一個尺度參數(shù)α,并對特征A進行元素求和運算,得到最終輸出Ej∈RC×H×W,如式(4)所示:

(4)

與空間注意力模塊不同,通道注意力不需要通過卷積重新生成的2個新特征圖,而是直接從輸入的特征圖A計算通道注意力圖(X∈RC×C),如式(5)所示:

(5)

其中,xji表示第j個通道對第i個通道的影響。與空間注意力一樣,將其乘以一個尺度參數(shù)β,并對特征A進行元素求和運算,得到最終輸出Ej∈RC×H×W,如式(6)所示:

(6)

針對支持集中的圖像特征,設計隨機初始化的共享矩陣M∈RT×d,M是隨機初始化的,d是特征向量的維數(shù),T是實驗設置的超參數(shù),將其設置為64,參照自注意力機制的公式,將DA記為一種M對輸入特征F的注意力矩陣,如式(7)所示:

DA=(γ)i,j=Norm(FMT)

Fout=DAM

(7)

其中,(γ)i,j表示第i個像素和第j行之間的相似度。M是共享的,所以能夠隱式地考慮不同樣本之間的關聯(lián)。

3.3 基于超像素分割的自監(jiān)督學習

本文所用的語義類標注偽標簽依賴于超像素分割生成結(jié)果,模型訓練前就已得到了這些分割好的超像素偽標簽。為了使得模型訓練所得的分割結(jié)果更貼近真實的語義標簽而非偽標簽,引入原型對齊正則化模塊,在余弦相似度對比分割結(jié)果的過程中,通過反向執(zhí)行few-shot分割,不斷提高圖像的分割效果。

(8)

4 實驗與結(jié)果分析

4.1 數(shù)據(jù)集

本文實驗在CHAOS(Combined CT-MR Healthy Abdominal Organ Segmentation)健康腹部器官分割比賽中的Abdominal-MRI和Abdominal-CT數(shù)據(jù)集上進行,包括20位不同患者的圖像。該數(shù)據(jù)庫不包括注釋器官(即肝臟、腎臟、脾臟)邊界處的任何腫瘤或病變。

下載數(shù)據(jù)集后,將數(shù)據(jù)轉(zhuǎn)換為nii文件并以病人ID命名,以便于查看。為了統(tǒng)一實驗設置,所有圖像都被重新制作成二維軸向切片,并調(diào)整為256×256像素,然后生成超像素偽標簽。每個二維切片在通道尺寸上重復3次,以適應網(wǎng)絡。

4.2 評價指標及實驗設置

為了評估改進模型的效果,本文采用了常用的圖像分割指標DSC(Dice Similariy Coefficient)和Recall對圖像分割結(jié)果的精準度進行量化。DSC是一種集合相似度度量指標,通常用于計算2個樣本的相似度,其計算如式(9)所示:

(9)

其中,T1和T2分別表示2個樣本,T1∩T2表示2個樣本的交集,|T1|和|T2|分別表示2個樣本的元素個數(shù)。

召回率(Recall)又稱查全率,是一個類別被預測正確的概率,如式(10)所示:

(10)

其中,TP表示模型預測結(jié)果為正,并且實際結(jié)果也為正的數(shù)量;FN表示模型預測結(jié)果為負,但實際結(jié)果為正的數(shù)量。

本文中沿用SSL-ALPNet(Superpixel-based Self-supervised Learning Adaptive Local Prototype pooling enpowered prototypical Network)[30]中的實驗設置,設置1(set 1)使用少量樣本建立標準分割標注,這與多數(shù)傳統(tǒng)方式相同,為了模擬極端的標注稀疏情況,僅采用1-shot設置。為了評估對未見過的測試類的泛化能力,設置2(set 2)通過從訓練數(shù)據(jù)集中刪除包含測試類的圖像,強制測試類(甚至是未標記的)完全不被看到。

4.3 對比實驗

本文使用DSC和Recall評價指標,將SSF-MANet與醫(yī)學圖像FSS方法SE-Net及SSL- ALPNet模型進行比較,結(jié)果如表1和表2所示。其中,表2顯示的是強制測試類完全不被看到的情況。圖2展示的是Abdominal-CT數(shù)據(jù)集下分割結(jié)果的定性對比圖。在不使用任何人工注釋的情況下,本文提出的模型在4個目標器官上整體DSC提升了3%左右。

相較于本文的baseline模型SSL-ALPNet,融合多注意力機制的模型SSF-MANet在腎臟及肝器官上的分割DSC平均提升了約4.5%,而脾臟器官部分的分割DSC降低1.9%左右。

綜合脾臟器官分割指標DSC下降的原因,注意力機制將重心更多轉(zhuǎn)向于空間等多維度信息。而脾臟在影像學中大而集中,且其在成像中偏獨立,周圍可能對其產(chǎn)生影響的器官較少,過多在意捕獲遠距離信息反而會給脾臟的分割帶來噪聲,影響分割結(jié)果。同樣成像較大而密集的器官,肝臟通常在圖像中呈現(xiàn)更為明顯的邊界,并且其組織結(jié)構(gòu)相對均勻。這種特性在初始生成超像素的過程中起到了關鍵作用,因為它使肝臟更容易被清晰地劃分為一塊完整的超像素,為模型分割提供了良好的數(shù)據(jù)基礎。

同時還注意到,同為腎臟,右腎的分割效果明顯好于左腎的。從器官成像角度考慮,由于右腎上方有肝臟,所以右腎通常較低,造成右腎較左腎小5%左右。因此,考量右腎分割效果好于左腎的原因在于,前者成像特點突出,且與大而集中的肝相鄰,邊界清晰;前者成像區(qū)域較小,在超像素聚類融合時優(yōu)勢更明顯,可以在一定程度上免去生成超像素帶來的誤差。

Table 1 DSC comparison of SSF-MANet model and other models on CHAOS dataset (set1)表1 SSF-MANet模型與其他模型在CHAOS數(shù)據(jù)集上的DSC對比(set1)

Table 2 DSC comparison of SSF-MANet model and other models on CHAOS dataset (set2)表2 SSF-MANet模型與其他模型在CHAOS數(shù)據(jù)集上的DSC對比(set2)

Figure 2 Segmentation results under the Abdominal-CT dataset圖2 Abdominal-CT數(shù)據(jù)集下分割結(jié)果

4.4 消融實驗

為了探究本文引入多注意力機制對模型分割結(jié)果的整體影響,分別對通道-空間注意力模塊及外部注意力模塊進行消融實驗,結(jié)果如表3所示。

很多情況下,僅加入通道-空間注意力機制或外部注意力機制都可能導致分割性能降低。主要原因在于,Abdominal-MRI圖像中的大多數(shù)器官與周圍的組織有明顯的對比,對某一圖像內(nèi)進行單一長距離建模時,可能會給圖像的分割帶來一定程度的噪聲。此時,如果能將support中僅有的數(shù)據(jù)關聯(lián)起來,就能夠在整體上對圖像的分割起到更積極的作用。

圖3為支持集內(nèi)不同樣本數(shù)量對分割效果影響程度的曲線圖?？梢钥吹?在樣本數(shù)量達到10個左右時,曲線逐漸平緩,DSC在0.81附近。Kavur等人[30]在該數(shù)據(jù)集上的全監(jiān)督工作,Dice>0.8,與本文結(jié)果的差距較小,足以證明小樣本學習工作的可信性。由此說明,本文模型克服了圖像標注的困難,解決了標注稀缺的問題,在可接受誤差范圍內(nèi),小樣本學習極大程度上解決了醫(yī)療領域的圖像分割難題。

Table 3 Results of ablation experiment (set2)表3 消融實驗結(jié)果(set2)

Figure 3 Effect of the number of support set samples on the segmentation effect using DSC as an indicator圖3 以DSC為指標探究支持集樣本數(shù)量 對分割效果的影響

5 結(jié)束語

本文提出將多種注意力機制模塊加入到小樣本自監(jiān)督學習網(wǎng)絡中,在利用超像素分割等方法從圖像自身獲取信息的基礎上,以較小的成本,盡可能多地挖掘小樣本數(shù)據(jù)的內(nèi)在關聯(lián)信息,以便在綜合考量局部及全局信息后完成對感興趣目標的分割。本文通過使用位置和通道雙注意力模塊對單一圖像內(nèi)部的多尺度特征進行融合,使用外部注意力模塊顯著突出樣本間的聯(lián)系。實驗結(jié)果表明,本文模型在小樣本數(shù)據(jù)情況下,具有較高的準確度,在多個評估指標上均優(yōu)于其他模型的。這表明,多注意力機制在小樣本醫(yī)學圖像分割任務中是一種有效的解決方案。但是,在實驗結(jié)果分析中還發(fā)現(xiàn),SSF-MANet在分割大而集中的感興趣目標時稍顯遜色,后續(xù)工作會不斷改進模型結(jié)構(gòu),使其能在多變的病灶及其他可能存在的感興趣目標分割任務中,獲得穩(wěn)定的提升效果。

小樣本學習因數(shù)據(jù)稀疏問題,相較傳統(tǒng)深度學習模型,可能會帶來一定的分割精度損失。與傳統(tǒng)深度學習模型對比后,通過調(diào)整N-way-K-shot任務數(shù),尋找分割性能提升臨界值,評估小樣本學習的意義。研究結(jié)果表明,本文模型在小樣本數(shù)據(jù)支撐下的精度損失在可接受范圍內(nèi)。

本文實驗在CHAOS分割比賽的數(shù)據(jù)集上進行,分割的目標為健康者的器官,這與醫(yī)療領域病灶分割需求不相符合。因此,后期會在含病灶的其他數(shù)據(jù)集上進行進一步的測試及模型調(diào)優(yōu),使其在醫(yī)療圖像分割領域中具有普適性,同時憑借其較低的計算復雜度和較少的訓練樣本需求的優(yōu)勢,更廣泛地應用于智能輔診領域。