腎小球超微結(jié)構(gòu)分割算法：基于區(qū)域級對比學(xué)習(xí)的深度模型

林國鈺，張楨泰，路艷蒙，耿 艦，周志濤，路利軍，曹 蕾

南方醫(yī)科大學(xué)1生物醫(yī)學(xué)工程學(xué)院//廣東省醫(yī)學(xué)圖像處理重點(diǎn)實(shí)驗(yàn)室//廣東省醫(yī)學(xué)成像與診斷技術(shù)工程實(shí)驗(yàn)室，2中心實(shí)驗(yàn)室，3基礎(chǔ)醫(yī)學(xué)院，廣東 廣州 510515；4廣州華銀醫(yī)學(xué)檢驗(yàn)中心，廣東 廣州510515

在生物醫(yī)學(xué)研究中，組織和細(xì)胞的超微結(jié)構(gòu)形態(tài)需要使用超高分辨率的電子顯微鏡（簡稱電鏡）進(jìn)行觀察［1］。以腎小球超微結(jié)構(gòu)為例，病理專家借助透射電鏡，可以從納米尺度觀察到腎小球?yàn)V過屏障的損傷、免疫復(fù)合物的沉積等病理改變，這些病理改變?yōu)槟I臟疾病診斷提供關(guān)鍵依據(jù)［2］。借助計算機(jī)視覺領(lǐng)域的深度學(xué)習(xí)方法實(shí)現(xiàn)對電鏡圖像中感興趣超微結(jié)構(gòu)的自動分割，能幫助研究者理解其功能機(jī)制，也能輔助臨床專家診斷相應(yīng)疾病。目前已有一些超微結(jié)構(gòu)的分割應(yīng)用了深度學(xué)習(xí)的方法，如神經(jīng)組織［3-5］，胞外囊泡［6,7］，病毒［8,9］等，但使用深度學(xué)習(xí)方法分割腎小球超微結(jié)構(gòu)的研究相對較少［10］，是一個值得深入探索的領(lǐng)域。然而，由于腎小球超微結(jié)構(gòu)的紋理和形態(tài)非常復(fù)雜，對其進(jìn)行手工標(biāo)記耗時費(fèi)力，導(dǎo)致訓(xùn)練數(shù)據(jù)稀缺，深度模型的分割性能難以滿足臨床需求。

為解決在深度模型訓(xùn)練時所遇到的標(biāo)記數(shù)據(jù)稀缺問題，已有大量的研究提供了多種解決方案［11］，例如半監(jiān)督學(xué)習(xí)［12］、成本有效學(xué)習(xí)［13］、遷移學(xué)習(xí)［14］等等。其中，自監(jiān)督學(xué)習(xí)方法在近年來受到了相關(guān)領(lǐng)域研究者的廣泛關(guān)注［15-18］。該方法首先使用大量的無標(biāo)記數(shù)據(jù)對模型進(jìn)行預(yù)訓(xùn)練，隨后將預(yù)訓(xùn)練模型遷移到標(biāo)記數(shù)據(jù)有限的下游任務(wù)中進(jìn)行微調(diào)，以提升模型在標(biāo)記數(shù)據(jù)稀缺情況下的性能表現(xiàn)。在眾多自監(jiān)督預(yù)訓(xùn)練方法中，對比學(xué)習(xí)方法［19］得到了非常廣泛的研究和應(yīng)用。該方法依據(jù)對比對象間的相似性構(gòu)建模型的預(yù)訓(xùn)練目標(biāo)，通過拉進(jìn)相似對象（正例對）和疏遠(yuǎn)不相似對象（負(fù)例對）在表示空間的距離，以學(xué)習(xí)對比對象間的相似或差異表示。依據(jù)對比對象的不同，可將現(xiàn)有的對比學(xué)習(xí)方法劃分為3種類型：圖像級、像素級和區(qū)域級對比學(xué)習(xí)方法。MoCo［20］和SimCLR［21］是兩種代表性的圖像級對比學(xué)習(xí)方法，兩者以“圖像”為對比對象構(gòu)建正負(fù)例對進(jìn)行對比學(xué)習(xí)。圖像級對比學(xué)習(xí)方法側(cè)重于全局表示，容易忽視局部表示，可能會導(dǎo)致模型對分割目標(biāo)的邊緣分割精度不足。為了促進(jìn)對局部表示的學(xué)習(xí)，Wang等［22］和Xie等［23］將對比對象從“圖像”轉(zhuǎn)變至“像素”，分別提出了像素級對比學(xué)習(xí)方法DenseCL和PixPro。但像素級對比學(xué)習(xí)方法可能過于關(guān)注局部表示而忽略了全局表示，導(dǎo)致模型對分割目標(biāo)的識別能力不足。

為了兼顧模型對分割目標(biāo)的識別能力和邊緣分割能力，Bai等［24］和Hénaff等［25］將對比對象設(shè)置為介于“圖像”和“像素”之間的“區(qū)域”，分別提出了區(qū)域級對比學(xué)習(xí)方法PointCon和DetCon，這兩種區(qū)域級對比學(xué)習(xí)方法的主要區(qū)別在于區(qū)域劃分方式。PointCon按照網(wǎng)格將圖像均等劃分成固定數(shù)量的區(qū)域，而DetCon則使用傳統(tǒng)分割算法，如FH算法［26］，來完成區(qū)域劃分。然而，這些人工設(shè)計的區(qū)域劃分方式難以較好地推廣至電鏡圖像，如基于固定網(wǎng)格的劃分方式對于包含復(fù)雜超微結(jié)構(gòu)的電鏡圖像來說過于簡單，基于傳統(tǒng)分割算法的劃分方式需要精細(xì)地調(diào)參，甚至重新設(shè)計才能較好地應(yīng)用于電鏡圖像。

為了解決上述問題，本文提出了一種基于超微結(jié)構(gòu)語義相似性的區(qū)域級對比學(xué)習(xí)方法USRegCon，該方法要求模型依據(jù)圖像中超微結(jié)構(gòu)的語義相似性，自適應(yīng)地將圖像劃分為多個超微結(jié)構(gòu)區(qū)域，學(xué)習(xí)并提取不同數(shù)據(jù)擴(kuò)增視角下相同區(qū)域內(nèi)超微結(jié)構(gòu)的相似表示和不同區(qū)域間超微結(jié)構(gòu)的差異表示。USRegCon在對模型分割性能的提升上超過了多種現(xiàn)有的圖像級、像素級和區(qū)域級對比學(xué)習(xí)方法，且逼近基于大規(guī)模標(biāo)記數(shù)據(jù)集ImageNet的全監(jiān)督預(yù)訓(xùn)練方法。

1 材料和方法

1.1 實(shí)驗(yàn)數(shù)據(jù)

本研究為回顧性研究，從廣州華銀醫(yī)學(xué)檢驗(yàn)中心和南方醫(yī)科大學(xué)中心實(shí)驗(yàn)室共采集了19 239份腎活檢電鏡圖像，所有數(shù)據(jù)已經(jīng)過脫敏處理，患者個人隱私信息已全部去除。本文的目標(biāo)任務(wù)為分割腎小球?yàn)V過屏障的3層超微結(jié)構(gòu)，包括基底膜、內(nèi)皮細(xì)胞和足細(xì)胞（圖1）。由于電鏡圖像的對比度低，3層超微結(jié)構(gòu)的形態(tài)紋理復(fù)雜，標(biāo)記難度大且成本高，現(xiàn)階段病理專家僅完成了其中311份電鏡圖像（簡稱L-GlomEM）的標(biāo)記，用于深度模型的監(jiān)督訓(xùn)練。然而，L-GlomEM過小的數(shù)據(jù)量難以滿足深度模型的訓(xùn)練需求，因此本文通過自監(jiān)督對比學(xué)習(xí)方法，將剩余18 928 份無標(biāo)記電鏡圖像（簡稱UGlomEM）應(yīng)用于模型預(yù)訓(xùn)練，緩解嚴(yán)重的標(biāo)記數(shù)據(jù)稀缺問題。

圖1 腎小球?yàn)V過屏障3層超微結(jié)構(gòu)的分割Fig. 1 Segmentation of 3 ultrastructures of the glomerular filtration barrier.

此外，本研究還將基于ImageNet的全監(jiān)督預(yù)訓(xùn)練方法與本文所提出的方法進(jìn)行比較。ImageNet［27］是公開的大型自然圖像標(biāo)記數(shù)據(jù)集，用于2012～2017年視覺識別挑戰(zhàn)賽ILSVRC。該數(shù)據(jù)集的目標(biāo)任務(wù)為1000類別的圖像分類任務(wù)，一共包含1 281 167份訓(xùn)練數(shù)據(jù)。由于ImageNet數(shù)據(jù)規(guī)模較大，實(shí)驗(yàn)設(shè)備有限，實(shí)驗(yàn)所使用的ImageNet 全監(jiān)督預(yù)訓(xùn)練模型由Pytorch 官方所提供。

1.2 USRegCon

圖2展示了本文所提出的USRegCon的整體框架，該框架由3個步驟組成：（1）自適應(yīng)區(qū)域劃分，模型對圖像內(nèi)容信息進(jìn)行編碼和解碼，自適應(yīng)地將圖像劃分成多個區(qū)域；（2）區(qū)域表示提取，依據(jù)自適應(yīng)區(qū)域劃分的結(jié)果，提取出每個區(qū)域的一階灰度區(qū)域表示和深度語義區(qū)域表示；（3）區(qū)域表示對比，構(gòu)建正負(fù)區(qū)域?qū)M(jìn)行對比學(xué)習(xí)。

圖2 USRegCon的整體框架Fig. 2 Framework of USRegCon.

式中，θ表示編碼器Fθ()?的參數(shù)。隨后將zi輸入模型的解碼器部分Gξ()?進(jìn)行解碼，解碼器依據(jù)解碼出的超微結(jié)構(gòu)語義相似性，自適應(yīng)地將圖像劃分成K個合理的區(qū)域。

式中，ξ表示解碼器Gξ()?的參數(shù)，pi∈RH×W×K包含K個區(qū)域概率圖，尺寸大小與圖像xi相同。整個區(qū)域劃分過程由模型自動完成，無需人工設(shè)計區(qū)域劃分算法。

1.2.2 區(qū)域表示提取 為了學(xué)習(xí)電鏡圖像中更為豐富的區(qū)域表示，USRegCon選擇了兩個層次的區(qū)域表示進(jìn)行提取，分別是淺層的一階灰度區(qū)域表示和深層的深度語義區(qū)域表示。

基于原始圖像xi和區(qū)域概率圖pi，使用區(qū)域池化RP(?,?)提取出K個區(qū)域的一階灰度區(qū)域表示∈R。

1.2.3 區(qū)域表示對比 由于一階灰度區(qū)域表示和深度語義區(qū)域表示所處層次不同，所使用的區(qū)域表示對比策略也有所不同。對于一階灰度區(qū)域表示，構(gòu)建灰度損失函數(shù)Lgray，目標(biāo)是最小化區(qū)域內(nèi)的灰度差異和最大化區(qū)域間的灰度差異。

USRegCon最終使用Lgray和Lsema對模型進(jìn)行聯(lián)合訓(xùn)練，總損失函數(shù)形式為：

1.3 模型結(jié)構(gòu)

實(shí)驗(yàn)所使用的深度模型為U型卷積神經(jīng)網(wǎng)絡(luò)，該模型常用于醫(yī)學(xué)圖像分割任務(wù)中，包含編碼器和解碼器兩部分。編碼器為標(biāo)準(zhǔn)的ResNet18［28］，由5個殘差模塊構(gòu)成；解碼器則由5個相應(yīng)的解碼模塊構(gòu)成，每個解碼模塊包含：雙線性上采樣層，3×3卷積層，BN層和ReLU層。編碼器和解碼器之間通過“跳躍連接”進(jìn)行連接，負(fù)責(zé)融合多尺度特征信息。在自監(jiān)督對比學(xué)習(xí)預(yù)訓(xùn)練中，編碼器最后會額外銜接一個對應(yīng)任務(wù)的池化層和一個兩層的多層感知機(jī)，將特征圖映射成用于對比學(xué)習(xí)的表示。解碼器僅在USRegCon中參與預(yù)訓(xùn)練，負(fù)責(zé)輸出區(qū)域概率圖，而在其它對比學(xué)習(xí)方法中均不參與預(yù)訓(xùn)練。

1.4 模型訓(xùn)練設(shè)置

圖3展示實(shí)驗(yàn)中模型的訓(xùn)練流程，主要包含3個步驟：（a）使用大量無標(biāo)記數(shù)據(jù)對模型進(jìn)行自監(jiān)督對比學(xué)習(xí)預(yù)訓(xùn)練；（b）將預(yù)訓(xùn)練模型參數(shù)遷移到下游分割任務(wù)；（c）使用數(shù)量有限的標(biāo)記數(shù)據(jù)對模型進(jìn)行下游任務(wù)微調(diào)。所有模型訓(xùn)練都在相同的軟硬件環(huán)境下進(jìn)行，具體為：操作系統(tǒng)Ubuntu 18.04.6、CPU 型號Intel(R)Xeon(R)CPU E5-2680 v4、GPU型號NVIDIA GeForce RTX 3090 和編程語言Python3.8。其中，所使用的關(guān)鍵python依賴庫包括：albumentations1.0.3、numpy1.20.3、opencv4.5.3、scikit-image0.18.3、scikit-learn1.0、torch1.9.0、torchaudio0.10.0和torchvision0.10.0。

圖3 模型訓(xùn)練流程Fig. 3 Training pipeline of the model.

1.4.1 自監(jiān)督對比學(xué)習(xí)預(yù)訓(xùn)練設(shè)置 模型預(yù)訓(xùn)練所使用數(shù)據(jù)集為U-GlomEM，超參數(shù)epoch 設(shè)置為100，batchsize 設(shè)置為16。訓(xùn)練使用的優(yōu)化器為SGD，momentum 和weight_decay 分別設(shè)置為0.99 和0.0001。峰值學(xué)習(xí)率設(shè)置成0.01，使用Onecycle［29］策略對學(xué)習(xí)率進(jìn)行動態(tài)調(diào)節(jié)，實(shí)現(xiàn)快速收斂。訓(xùn)練所使用的數(shù)據(jù)擴(kuò)增方式包括隨機(jī)旋轉(zhuǎn)、反轉(zhuǎn)、位移、縮放、對比度變換、gamma變換、高斯模糊和高斯噪聲，期望模型在強(qiáng)擴(kuò)增下能學(xué)習(xí)到更加魯棒的表示。最后一個epoch的模型參數(shù)將會被保存，并遷移至下游分割任務(wù)進(jìn)行微調(diào)。在USRegCon預(yù)訓(xùn)練中，區(qū)域劃分?jǐn)?shù)目K是依據(jù)分割目標(biāo)的數(shù)量設(shè)置的，對于分割目標(biāo)數(shù)量為3的腎小球?yàn)V過屏障，K設(shè)置為5。

1.4.2 下游任務(wù)微調(diào)設(shè)置 模型微調(diào)所使用數(shù)據(jù)集為LGlomEM，超參數(shù)epoch設(shè)置為150，batchsize設(shè)置為8，其余設(shè)置與自監(jiān)督對比學(xué)習(xí)預(yù)訓(xùn)練設(shè)置相同。為了評估模型性能，使用10折交叉驗(yàn)證將L-GlomEM劃分成訓(xùn)練集和測試集，然后隨機(jī)從訓(xùn)練集中抽取20%的數(shù)據(jù)作為驗(yàn)證集。對在驗(yàn)證集中獲得最好結(jié)果的模型進(jìn)行保存，并在測試集上進(jìn)行測試，整個微調(diào)過程重復(fù)進(jìn)行3次。模型微調(diào)所使用的損失函數(shù)為Dice損失函數(shù)［30］，模型評估所使用的評估指標(biāo)為Dice 系數(shù)（均數(shù)±標(biāo)準(zhǔn)差，%），即Dice coefficient（Mean±SD,%）。所有Dice系數(shù)結(jié)果均使用Shapiro-Wilk test 進(jìn)行正態(tài)性檢驗(yàn)，P<0.05的結(jié)果將在后續(xù)實(shí)驗(yàn)結(jié)果表格中使用“*”標(biāo)記。

2 結(jié)果

2.1 不同預(yù)訓(xùn)練方法的分割結(jié)果

表1展示了不同預(yù)訓(xùn)練方法對腎小球?yàn)V過屏障3層超微結(jié)構(gòu)的分割結(jié)果。所展示的預(yù)訓(xùn)練方法包含多種先進(jìn)的圖像級（MoCo和SimCLR）、像素級（DenseCL和PixPro）和區(qū)域級（PointCon和DetCon）自監(jiān)督對比學(xué)習(xí)方法，以及基于大規(guī)模數(shù)據(jù)集ImageNet的全監(jiān)督預(yù)訓(xùn)練方法（簡稱ImageNet）。從實(shí)驗(yàn)結(jié)果中可以看出，所有自監(jiān)督對比學(xué)習(xí)方法所獲得的分割結(jié)果均優(yōu)于無預(yù)訓(xùn)練的隨機(jī)初始，這得益于將U-GlomEM納入到了模型的預(yù)訓(xùn)練中，使參與訓(xùn)練的數(shù)據(jù)量提升了約61倍（18 928:311）。本文所提出的USRegCon獲得了最好的平均分割結(jié)果（79.62±0.09）%，超過了圖像級方法MoCo和SimCLR約1.16%和1.11%，像素級方法DenseCL和PixPro 約0.93%和1.09%，以及區(qū)域級方法PointCon和DetCon約0.73%和0.89%。此外，雖然ImageNet數(shù)據(jù)量約為U-GlomEM的68倍（1 281 167:18 928），且包含了人工標(biāo)記，但I(xiàn)mageNet預(yù)訓(xùn)練方法所取得的分割結(jié)果僅高于USRegCon約0.12%。

表1 不同預(yù)訓(xùn)練方法的分割結(jié)果Tab.1 Segmentation results of different pre-training methods

圖4進(jìn)一步展示了不同預(yù)訓(xùn)練方法下單位預(yù)訓(xùn)練數(shù)據(jù)對分割結(jié)果Dice系數(shù)的平均提升量，即相應(yīng)預(yù)訓(xùn)練方法的Dice系數(shù)減去隨機(jī)初始的Dice系數(shù)，再除以預(yù)訓(xùn)練總數(shù)據(jù)量。Dice系數(shù)平均提升量越高表明了方法對數(shù)據(jù)的利用效益越高。從圖4的結(jié)果中可以觀察到，本文提出的USRegCon在所有方法中對分割結(jié)果Dice系數(shù)的平均提升最高，約為1.86×10-4，而ImageNet僅為2.84×10-6。

圖4 不同預(yù)訓(xùn)練方法的Dice系數(shù)平均提升量Fig. 4 Average improvement in Dice coefficient of different pre-training methods.

圖5展示了不同預(yù)訓(xùn)練方法的可視化分割結(jié)果，圖中白色箭頭指出了分割錯誤區(qū)域。第一、二行展示了腎小球?yàn)V過屏障的一般分割場景，可以觀察到各方法分割腎小球?yàn)V過屏障都出現(xiàn)了不同程度的斷裂現(xiàn)象，其中隨機(jī)初始化(b)、PixPro(f)和PointCon(h)的分割結(jié)果還出現(xiàn)了將非目標(biāo)結(jié)構(gòu)分割為腎小球?yàn)V過屏障的錯誤，而MoCo(d)和USRegCon(i)能較好維持了腎小球?yàn)V過屏障的連續(xù)形態(tài)。第三、四行展示了靠近鮑氏囊壁層的腎小球?yàn)V過屏障分割場景，每種方法都能完整地分割出腎小球?yàn)V過屏障。但除MoCo(d)以外的其他方法都出現(xiàn)了不同程度的將鮑氏囊壁層分割為腎小球?yàn)V過屏障的錯誤，其中PointCon(h)的此類錯誤最為嚴(yán)重，而USRegCon(i)的此類錯誤最輕。第五、六行展示了復(fù)雜形態(tài)的腎小球?yàn)V過屏障分割場景，除USRegCon(i)和ImageNet(j)以外，其余方法對圖像中正上方的腎小球?yàn)V過屏障的分割都出現(xiàn)了嚴(yán)重斷裂的現(xiàn)象。此外，PixPro(f)對右下角腎小球?yàn)V過屏障的分割也出現(xiàn)了比較嚴(yán)重的斷裂現(xiàn)象，而隨機(jī)初始(b)、MoCo(d)和USRegCon(i)的斷裂程度較輕。上述分割結(jié)果展示出USRegCon能有效提升模型在各種分割場景下的超微結(jié)構(gòu)識別和邊緣分割能力。

圖5 不同預(yù)訓(xùn)練方法的可視化分割結(jié)果Fig. 5 Visual segmentation results of different pre-training methods.A:Ground truth;B:From scratch;C:SimCLR;D:MoCo;E:DenseCL;F:PixPro;G:DetCon;H:PointCon;I:USRegCon;J:ImageNet.

2.2 消融實(shí)驗(yàn)結(jié)果

2.2.1 損失函數(shù) 表2 展示3 種不同損失函數(shù)組合下USRegCon的分割結(jié)果。3種損失函數(shù)組合分別為：（1）Gray loss，僅使用灰度損失函數(shù)Lgray對模型進(jìn)行預(yù)訓(xùn)練；（2）Semantic loss，僅使用語義損失函數(shù)Lsema對模型進(jìn)行預(yù)訓(xùn)練；（3）Overall，聯(lián)合灰度損失函數(shù)和語義損失函數(shù)一同對模型進(jìn)行預(yù)訓(xùn)練。從結(jié)果中看出，單獨(dú)使用灰度損失函數(shù)或語義損失函數(shù)預(yù)訓(xùn)練的模型在下游腎小球?yàn)V過屏障分割任務(wù)的表現(xiàn)都優(yōu)于隨機(jī)初始模型。聯(lián)合兩種損失函數(shù)預(yù)訓(xùn)練的模型獲得了最好的分割效果。

表2 不同損失函數(shù)下USRegCon的分割結(jié)果Tab.2 Segmentation results of USRegCon with different loss functions

2.2.2 對比策略 表3展示了5種不同正負(fù)區(qū)域?qū)υO(shè)置下USRegCon的分割結(jié)果。表中“+”和“-”分別表示將相應(yīng)區(qū)域設(shè)置為正區(qū)域?qū)拓?fù)區(qū)域?qū)?，“N”表示不做正負(fù)區(qū)域?qū)Φ脑O(shè)置。以默認(rèn)設(shè)置（Default）為例，該設(shè)置將不同擴(kuò)增視角下相同圖像內(nèi)的相同區(qū)域設(shè)置為正區(qū)域?qū)Γā癷ntra-image same region+”），不同區(qū)域設(shè)置為負(fù)區(qū)域?qū)Γā癷ntra-image different region-”），而不同圖像間的相同區(qū)域和不同區(qū)域均不納入到正負(fù)區(qū)域?qū)Φ脑O(shè)置中（“inter-image same region N”和“inter-image different region N”）。通過表3可以觀察到，默認(rèn)設(shè)置在腎小球?yàn)V過屏障3 層結(jié)構(gòu)的分割中均獲得了最佳結(jié)果。Setting 2 和Setting 4 所獲得的分割結(jié)果相近，表明“inter-image same region+”的設(shè)置未對結(jié)果產(chǎn)生太大影響。而Setting 2和Setting 4的分割結(jié)果略差于默認(rèn)設(shè)置，表明“inter-image different region-”的設(shè)置會對分割結(jié)果產(chǎn)生略微負(fù)面的影響。Setting 1和Setting 3獲得了最差的分割結(jié)果，甚至差于無預(yù)訓(xùn)練的隨機(jī)初始，表明“inter-image same region-”的設(shè)置會嚴(yán)重?fù)p害模型性能。

表3 不同正負(fù)區(qū)域?qū)υO(shè)置下USRegCon的分割結(jié)果Tab.3 Segmentation results of USRegCon with different settings of positive and negative region pairs

2.3 可視化結(jié)果

圖6展示了圖像區(qū)域劃分和深度語義區(qū)域表示的可視化結(jié)果。左側(cè)第一列為隨機(jī)挑選的3例腎小球電鏡圖像，中間兩列和右側(cè)兩列為訓(xùn)練開始時（epoch=0）和訓(xùn)練完成時（epoch=100）模型對3例腎小球電鏡圖像劃分的區(qū)域圖和對U-GlomEM中所有腎小球電鏡圖像提取的深度語義區(qū)域表示的可視化圖。其中，深度語義區(qū)域表示的可視化方法為t-SNE［31］，圖中每個點(diǎn)都代表了一例圖像的一個區(qū)域表示，不同顏色代表不同區(qū)域。從圖6的可視化結(jié)果中可以觀察到，與訓(xùn)練開始時相比，訓(xùn)練完成后模型能粗略地將相同超微結(jié)構(gòu)劃分到同一區(qū)域中，為提取良好的區(qū)域表示奠定基礎(chǔ)。而且模型提取的各區(qū)域表示大致聚集為5個類群，不同區(qū)域間的深度語義區(qū)域表示在表示空間的距離相遠(yuǎn)，達(dá)到了期望的對比學(xué)習(xí)目標(biāo)。

圖6 區(qū)域劃分和深度語義區(qū)域表示可視化結(jié)果Fig. 6 Visualization of both region division and deep semantic region representations.

3 討論

隨著電子顯微鏡技術(shù)的發(fā)展，生物醫(yī)學(xué)研究者對生物超微結(jié)構(gòu)的觀察和研究來到納米尺度。針對腎小球電鏡圖像，使用深度學(xué)習(xí)方法對腎小球超微結(jié)構(gòu)進(jìn)行自動分割，可輔助病理醫(yī)生對其進(jìn)行快速準(zhǔn)確的觀察和測量，降低腎臟疾病超微病理診斷的難度，提高診斷的效率。然而，標(biāo)記數(shù)據(jù)稀缺問題影響了深度模型對腎小球超微結(jié)構(gòu)的分割性能。近年來，自監(jiān)督對比學(xué)習(xí)方法通過使用大量無標(biāo)記數(shù)據(jù)對模型進(jìn)行預(yù)訓(xùn)練，成功彌補(bǔ)了標(biāo)記數(shù)據(jù)不足的缺陷。

為了將自監(jiān)督對比學(xué)習(xí)方法更有效地應(yīng)用于腎小球超微結(jié)構(gòu)的分割任務(wù)，本文提出了一種基于超微結(jié)構(gòu)語義相似性的區(qū)域級自監(jiān)督對比學(xué)習(xí)方法USRegCon。USRegCon 的預(yù)訓(xùn)練流程由3 個步驟組成：自適應(yīng)區(qū)域劃分，區(qū)域表示提取和區(qū)域表示對比，目的是學(xué)習(xí)不同數(shù)據(jù)擴(kuò)增視角下相同區(qū)域內(nèi)超微結(jié)構(gòu)的相似性和不同區(qū)域間超微結(jié)構(gòu)的差異性。與現(xiàn)有像素級和圖像級對比學(xué)習(xí)方法相比，USRegCon既能訓(xùn)練模型提取圖像中的全局語義信息，又能使其更好地保留圖像中的局部細(xì)節(jié)信息，兼顧了全局和局部表示的學(xué)習(xí)。與現(xiàn)有區(qū)域級對比學(xué)習(xí)方法相比，USRegCon使用的自適應(yīng)區(qū)域劃分方式更為靈活，能將語義一致的超微結(jié)構(gòu)劃分至同一區(qū)域。

本文在私有數(shù)據(jù)集GlomEM對USRegCon進(jìn)行評估，并將USRegCon與其他對比學(xué)習(xí)方法進(jìn)行比較。從表1中可以觀察到，不同等級的對比學(xué)習(xí)方法在提升模型對不同腎小球超微結(jié)構(gòu)的分割性能上各具優(yōu)劣。比如，側(cè)重學(xué)習(xí)全局表示的圖像級方法對細(xì)小內(nèi)皮細(xì)胞的分割優(yōu)于像素級方法，而側(cè)重學(xué)習(xí)局部表示的像素級方法對寬大的基底膜和足細(xì)胞的分割優(yōu)于或接近于圖像級方法。這可能是因?yàn)樵诰_分割出細(xì)小內(nèi)皮細(xì)胞之前需要先在全局視角下識別出內(nèi)皮細(xì)胞；而對于容易識別的基底膜和足細(xì)胞，邊緣局部細(xì)節(jié)的分割更為關(guān)鍵。區(qū)域級方法則融合了圖像級和像素級方法在學(xué)習(xí)全局和局部表示方面的優(yōu)勢，獲得了更優(yōu)的平均分割結(jié)果。相比之下，本文提出的USRegCon既繼承了區(qū)域級方法的上述優(yōu)點(diǎn)，還使用了靈活性更強(qiáng)的自適應(yīng)區(qū)域劃分方式，對三層超微結(jié)構(gòu)的分割結(jié)果都優(yōu)于其他對比學(xué)習(xí)方法，充分證明了USRegCon的優(yōu)越性。此外，圖4還展示出了所有自監(jiān)督對比學(xué)習(xí)方法的Dice系數(shù)平均提升量約為ImageNet的全監(jiān)督預(yù)訓(xùn)練方法的43～65倍，且所使用的預(yù)訓(xùn)練數(shù)據(jù)均為無標(biāo)記數(shù)據(jù)。這反映出了在標(biāo)記數(shù)據(jù)稀缺的生物醫(yī)學(xué)圖像分割領(lǐng)域，自監(jiān)督對比學(xué)習(xí)方法有替代全監(jiān)督預(yù)訓(xùn)練方法的潛力。

除了對不同預(yù)訓(xùn)練方法進(jìn)行對比實(shí)驗(yàn)以外，本文還針對USRegCon所使用的損失函數(shù)和正負(fù)區(qū)域?qū)υO(shè)置進(jìn)行了消融實(shí)驗(yàn)。表2的結(jié)果展示了聯(lián)合兩種損失函數(shù)訓(xùn)練模型得到的分割結(jié)果優(yōu)于單損失函數(shù)，反映了學(xué)習(xí)多層次區(qū)域表示更利于模型對腎小球?yàn)V過屏障三層超微結(jié)構(gòu)的分割。表3展示了多種正負(fù)區(qū)域?qū)υO(shè)置的實(shí)驗(yàn)結(jié)果，可觀察到跨圖像的正負(fù)區(qū)域?qū)υO(shè)置不利于模型性能的提升。本文推測模型僅能依據(jù)當(dāng)前輸入的圖像內(nèi)容對圖像進(jìn)行區(qū)域劃分，無法保證跨圖像區(qū)域間超微結(jié)構(gòu)的語義一致性或差異性，因此簡單地進(jìn)行跨圖像的正負(fù)區(qū)域?qū)υO(shè)置難以促進(jìn)模型學(xué)習(xí)更有益的區(qū)域表示。

在實(shí)驗(yàn)設(shè)置方面，本文選用了醫(yī)學(xué)圖像分割任務(wù)中常用的U型神經(jīng)網(wǎng)絡(luò)作為基本模型，而其他結(jié)構(gòu)的深度模型與自監(jiān)督對比學(xué)習(xí)方法結(jié)合的有效性尚未得到探討。未來我們將開展相關(guān)的研究，提出更適用于自監(jiān)督對比學(xué)習(xí)方法的模型結(jié)構(gòu)，進(jìn)一步提升腎小球超微結(jié)構(gòu)的分割結(jié)果。此外，本文僅在下游腎小球?yàn)V過屏障超微結(jié)構(gòu)分割任務(wù)中驗(yàn)證USRegCon的有效性。在未來的工作中，我們將考慮引入更多超微結(jié)構(gòu)的先驗(yàn)知識到USRegCon中，從而促進(jìn)模型學(xué)習(xí)到更為豐富的與超微結(jié)構(gòu)相關(guān)的區(qū)域表示，進(jìn)一步提升模型對其他超微結(jié)構(gòu)的分割性能。

綜上所述，本文提出了一種新的自監(jiān)督區(qū)域級對比學(xué)習(xí)方法USRegCon，使用大量無標(biāo)記數(shù)據(jù)預(yù)訓(xùn)練模型，有效緩解標(biāo)記稀缺問題，提升模型在下游腎小球超微結(jié)構(gòu)分割任務(wù)的性能表現(xiàn)。實(shí)驗(yàn)結(jié)果展示了USRegCon的分割結(jié)果超過了多種現(xiàn)有圖像級、像素級和區(qū)域級對比學(xué)習(xí)方法，并且有替代基于ImageNet全監(jiān)督預(yù)訓(xùn)練方法的潛力，充分證明了本文提出的USRegCon的優(yōu)越性。未來我們將結(jié)合模型結(jié)構(gòu)特性和超微結(jié)構(gòu)先驗(yàn)知識對USRegCon進(jìn)行改進(jìn)，進(jìn)一步提升模型分割性能。