摘要:醫(yī)學(xué)領(lǐng)域的分割任務(wù)常需要使用專門的深度學(xué)習(xí)模型,Segment Anything Model(SAM)可實(shí)現(xiàn)目標(biāo)對(duì)象的有效分割,而SAM在醫(yī)學(xué)領(lǐng)域的適用性尚未得到充分探索.為進(jìn)一步挖掘SAM模型在醫(yī)學(xué)領(lǐng)域的應(yīng)用潛力,本研究將免疫組化數(shù)據(jù)的點(diǎn)標(biāo)注轉(zhuǎn)為掩碼標(biāo)簽,提出一種實(shí)用的損失函數(shù)加權(quán)組合策略,并應(yīng)用LoRA技術(shù)改進(jìn)SAM模型,在掩碼解碼器旁增加旁路,采用先降維后升維的操作方式模擬內(nèi)在秩的實(shí)現(xiàn)機(jī)制,凍結(jié)部分預(yù)訓(xùn)練參數(shù),使其以最小交互生成穩(wěn)健的分割結(jié)果.實(shí)驗(yàn)結(jié)果表明,該方法能有效提升SAM模型在細(xì)胞圖像分割領(lǐng)域的性能,準(zhǔn)確率提升了近6.3%,F(xiàn)1分?jǐn)?shù)提升了近4.4%.
關(guān)鍵詞:改進(jìn)SAM;細(xì)胞圖像分割;損失函數(shù)設(shè)計(jì);掩碼解碼器
中圖分類號(hào):TP391.41;TP183"" 文獻(xiàn)標(biāo)志碼:A
Research on Cell Segmentation Algorithm Basedon Improved SAM Immunohistochemistry
YU Yi-cong1,2, HE Ling-chao3, LIN Kai-xin1, HONG Jia-jun1*
(1. College of New Engineering Industry, Putian University, Putian 351100, Fujian, China;
2. Engineering Research Center of Big Data Application in Private Health Medicineof Fujian Province Universities, Putian 351100, Fujian, China;
3.Fuzhou Institute of Data Technology, Fuzhou 350200, China)
Abstract:Segmentation tasks in the medical field often require the use of specialized deep-learning models, Segment Anything Model (SAM) can achieve effective segmentation of target objects, but the applicability of SAM in the medical field has not been fully explored. In order to further explore the application potential of SAM model in the medical field, this study converts the point labeling of immunohistochemical data into mask labels, proposes a practical loss-function weighted combination strategy, applies LoRA technology to improve the SAM model, adds bypass beside the mask decoder, simulates the implementation mechanism of internal rank by the operation mode of first reducing dimension and then increasing dimension, and freezes some pre-training parameters to generate robust segmentation results with minimal interaction. The experimental results show that this method can effectively improve the performance of SAM model in the field of cell image segmentation, the accuracy rate is improved by nearly 6.3%, and the F1 score is improved by nearly 4.4%.
Key words:improved SAM; cell image segmentation; loss function design; mask decoder
0 引言
SAM作為一種強(qiáng)大的通用視覺(jué)分割模型受到廣泛關(guān)注,它能夠生成各種細(xì)粒度的分割掩碼[1].盡管SAM在自然圖像領(lǐng)域表現(xiàn)出色,但在醫(yī)學(xué)圖像分割方面的性能尚未達(dá)到預(yù)期.醫(yī)學(xué)圖像分割是圖像分割領(lǐng)域的重要應(yīng)用之一,它在許多臨床應(yīng)用中扮演著關(guān)鍵角色,例如疾病診斷、手術(shù)規(guī)劃和圖像引導(dǎo)手術(shù)等[2].因此,為了盡可能提高醫(yī)學(xué)圖像分割效果,對(duì)SAM模型進(jìn)行微調(diào)是必要的.
在臨床應(yīng)用上,SAM分割效果未達(dá)到預(yù)期的主要原因是醫(yī)療圖像數(shù)據(jù)的獨(dú)特性及臨床應(yīng)用高精度的要求.為了解決此問(wèn)題,本文采用一種基于多損失加權(quán)策略進(jìn)行訓(xùn)練,借助大語(yǔ)言模型低秩自適應(yīng)微調(diào)策略(LoRA)技術(shù)對(duì)預(yù)訓(xùn)練的SAM掩碼器進(jìn)行微調(diào)[3].在訓(xùn)練中,基于提示的交互式分割是實(shí)現(xiàn)圖像分割任務(wù)的一種有效方法.提示決定了預(yù)期結(jié)果的粒度,對(duì)于零樣本分割尤為重要.以醫(yī)學(xué)圖像領(lǐng)域?yàn)槔鄣讏D像中的不同目標(biāo)(如血管、視盤(pán)、視覺(jué)和黃斑)需要從單個(gè)眼底圖像中進(jìn)行分割,分割粒度取決于不同的醫(yī)學(xué)背景需求[4].SAM為交互式分割提供了一個(gè)優(yōu)秀的框架,對(duì)基于提示的醫(yī)學(xué)圖像分割具有重要的指導(dǎo)意義.
SAM模型對(duì)醫(yī)學(xué)圖像分割及臨床診斷很有價(jià)值.本文的貢獻(xiàn)總結(jié)如下:
(1)將免疫組化數(shù)據(jù)的點(diǎn)標(biāo)注標(biāo)簽轉(zhuǎn)換為掩碼標(biāo)簽,評(píng)估了SAM在細(xì)胞免疫組化數(shù)據(jù)集中的分割性能.
(2)提出了一種基于Focal Loss、Dice Loss和IOU Loss加權(quán)的損失函數(shù)組合策略,提高了圖像分割的質(zhì)量和準(zhǔn)確性.
(3)使用LoRA技術(shù)改進(jìn)SAM模型的掩碼器,在掩碼解碼器旁增加旁路,有效提升SAM模型在細(xì)胞分割領(lǐng)域的性能.
1 相關(guān)研究
醫(yī)學(xué)成像分析的關(guān)鍵在于圖像分割,其主要目標(biāo)是識(shí)別和描繪圖像中的結(jié)構(gòu)或區(qū)域,如器官、組織或病變區(qū)域等.準(zhǔn)確的分割對(duì)于疾病診斷、治療和監(jiān)測(cè)疾病進(jìn)展等臨床應(yīng)用至關(guān)重要[5].
而深度學(xué)習(xí)在醫(yī)學(xué)圖像分割領(lǐng)域具有顯著吸引力.卷積神經(jīng)網(wǎng)絡(luò)(CNN)及其變化尤其適用于醫(yī)學(xué)圖像分割.其采用對(duì)稱的編碼器-解碼器架構(gòu),能夠捕獲圖像深層次的上下文信息和細(xì)粒度特征,從而提升圖像分割結(jié)果.然而醫(yī)學(xué)圖像的復(fù)雜性和數(shù)據(jù)的稀缺性,以及圖像中目標(biāo)的大小、光線的強(qiáng)弱、遮擋及偽影等多方面因素存在,使得借助深度學(xué)習(xí)技術(shù)對(duì)圖像自動(dòng)分割存在很大挑戰(zhàn)[6].
國(guó)內(nèi)外學(xué)者針對(duì)醫(yī)學(xué)圖像分割進(jìn)行了大量研究.LIU等[7]總結(jié)現(xiàn)有的醫(yī)學(xué)圖像分割方法、已取得的成果及當(dāng)前面臨的挑戰(zhàn),如分割精度不高、醫(yī)學(xué)圖像數(shù)量有限及圖像分辨率低等,導(dǎo)致分割結(jié)果難以滿足臨床實(shí)際需求的問(wèn)題.GUL等[8]對(duì)現(xiàn)有肝臟及肝臟腫瘤檢測(cè)分割的方法進(jìn)行概述,詳細(xì)介紹圖像分割在肝臟腫瘤方面的研究進(jìn)展,不同方法的評(píng)估指標(biāo)、準(zhǔn)確度及重疊誤差等,以及語(yǔ)義分割在肝臟腫瘤成像上的應(yīng)用.孫興等[9]總結(jié)深度學(xué)習(xí)在醫(yī)學(xué)成像中多方面的應(yīng)用,如血管檢測(cè)、皮膚癌分類及糖尿病視網(wǎng)膜病變檢測(cè)等,并整合相關(guān)研究資源及代碼,供后續(xù)進(jìn)一步實(shí)驗(yàn)研究.RENARD等[10]剖析醫(yī)學(xué)圖像分割在臨床診斷作為輔助工具的應(yīng)用,梳理了醫(yī)學(xué)圖像分割框架、評(píng)估方法和高效圖像分割的應(yīng)用前景.SAHADEV等[11]提出了多尺度注意力特征提取的醫(yī)學(xué)圖像分割方法,通過(guò)改進(jìn)編碼器-解碼器架構(gòu),增強(qiáng)圖像分割的精確度和質(zhì)量,但該模型難以有效地捕捉語(yǔ)義信息之間的特征依賴,限制了其分割精度和魯棒性.
2 基于改進(jìn)的SAM算法細(xì)胞分割模型
2.1 Vision Transformer網(wǎng)絡(luò)
目前,一些先進(jìn)的分割技術(shù)廣泛應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域,如在極性圖像中訓(xùn)練深度學(xué)習(xí)模型、將文本信息與視覺(jué)語(yǔ)言模型結(jié)合,以及在Vision Transformer(ViT)中使用注意力機(jī)制[12].ViT是一種基于Transformer架構(gòu)的深度學(xué)習(xí)模型[13].它將圖像劃分為固定大小且不重疊的圖像塊后線性地嵌入到標(biāo)記序列中.通過(guò)一系列的自注意力機(jī)制層,使得每個(gè)標(biāo)記都能學(xué)習(xí)上下文關(guān)系和空間信息,從而使模型能夠捕捉上下文豐富的語(yǔ)義信息.相對(duì)于傳統(tǒng)的卷積網(wǎng)絡(luò),ViT具有較低的歸納偏差,對(duì)局部性偏差等問(wèn)題具有一定彈性[14].然而,在數(shù)據(jù)稀缺的醫(yī)學(xué)成像領(lǐng)域,數(shù)據(jù)需求限制了ViT的應(yīng)用.通過(guò)預(yù)訓(xùn)練和改進(jìn)的方法,ViT正在展現(xiàn)出強(qiáng)大的泛化性能,超越了其他計(jì)算機(jī)視覺(jué)算法,同時(shí)ViT在零樣本學(xué)習(xí)方面也取得了優(yōu)異的成績(jī)[15].
2.2 改進(jìn)的SAM網(wǎng)絡(luò)模型
在醫(yī)學(xué)成像領(lǐng)域,基于ViT的SAM模型具有較好的分割效果.SAM的優(yōu)勢(shì)不僅歸功于其龐大的數(shù)據(jù)集和數(shù)據(jù)引擎,還在于其算法結(jié)構(gòu)的精妙設(shè)計(jì).與傳統(tǒng)語(yǔ)義分割方法相比,SAM模型更加關(guān)注局部信息,而不需要在全局范圍內(nèi)搜索目標(biāo)[16].SAM模型主要由圖像編碼器、提示編碼器和掩碼解碼器3部分構(gòu)成.本文中編碼器采用ViT網(wǎng)絡(luò)結(jié)構(gòu).
提示編碼器負(fù)責(zé)將輸入(如框提示和點(diǎn)提示)映射到提示的特征空間.點(diǎn)提示映射由兩部分組成,第一部分是位置編碼,用于表示點(diǎn)的位置信息;第二部分是可學(xué)習(xí)的一維向量,用于描述該點(diǎn)的前景背景特征.框提示映射也由兩部分組成,第一部分是左上角和右下角兩個(gè)點(diǎn)的位置編碼,用于表示框的位置信息;另一部分是一組向量,用于描述這個(gè)框是左上角還是右下角.
掩碼解碼器的目的是整合圖像編碼器和提示編碼器的嵌入,并從中解碼生成分割掩碼.這些嵌入包含了經(jīng)過(guò)編碼的圖像和提示信息.通過(guò)整合圖像編碼器和提示編碼器的輸出,掩碼解碼器能夠融合圖像全局特征和提示的局部信息,從而生成高質(zhì)量語(yǔ)義分割掩碼[17-18],如圖1所示.SAM網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)能夠充分捕獲圖像和提示的信息,實(shí)現(xiàn)精確的語(yǔ)義分割,圖1中掩碼解碼器是本文重點(diǎn)改進(jìn)部分.
2.3 掩碼解碼器改進(jìn)策略
SAM容易將細(xì)胞免疫組化數(shù)據(jù)集中的非細(xì)胞部分進(jìn)行分割,導(dǎo)致分割效果不理想,因此需對(duì)SAM模型進(jìn)行微調(diào)[19].LoRA技術(shù)基于大模型內(nèi)在低秩特性,增加旁路矩陣來(lái)模擬全參數(shù)微調(diào),是目前效果最好的微調(diào)方法之一.SAM網(wǎng)絡(luò)中掩碼解碼器本質(zhì)上是Transformer堆疊層,執(zhí)行密集矩陣乘法,這些權(quán)重通常具有滿秩的特點(diǎn).
本研究在掩碼解碼器旁邊增加輔助結(jié)構(gòu),實(shí)現(xiàn)對(duì)模型權(quán)重內(nèi)在秩特性的模擬.如圖2所示,引入兩個(gè)矩陣A與B,用隨機(jī)高斯分布對(duì)矩陣A進(jìn)行初始化,對(duì)矩陣B進(jìn)行全0初始化.在訓(xùn)練階段,凍結(jié)原掩碼解碼器參數(shù)W0,只更新旁路參數(shù)A和B,對(duì)于輸入編碼x,掩碼解碼器的前向傳播過(guò)程y如式(1)所示:
y=(W0+BA)x,(1)
其中,A與B分別表示兩個(gè)矩陣操作,W0表示原掩碼解碼器參數(shù).旁路結(jié)構(gòu)類似于殘差網(wǎng)絡(luò)中的恒等映射,確保模型整體權(quán)重的穩(wěn)定性,避免大量重要信息丟失,進(jìn)而提高模型表達(dá)能力和準(zhǔn)確性.
2.4 損失函數(shù)改進(jìn)
為了提高分割性能,本文采用多個(gè)損失函數(shù)如Focal Loss、Dice Loss和IOU Loss的加權(quán)組合策略,通過(guò)使用框提示輸入改進(jìn)SAM模型.同時(shí),綜合考慮了不同指標(biāo),將多個(gè)損失函數(shù)加權(quán)求和,便于進(jìn)一步提高圖像分割的質(zhì)量和準(zhǔn)確性.
Focal Loss最初由TSUNG-YI等[20]提出,主要解決圖像類別不平衡問(wèn)題,如正負(fù)樣本數(shù)量差距較大等情況,通過(guò)引入調(diào)節(jié)因子降低易分類樣本貢獻(xiàn)度,使模型關(guān)注困難樣本.其特點(diǎn)是當(dāng)樣本在分類時(shí),易分類樣本的損失被減小,而通過(guò)增加對(duì)應(yīng)損失值使模型更加關(guān)注困難樣本.
Focal Loss的計(jì)算如式(2)所示:
Focal Lossp=
-α1-p×γlogp,(2)
其中,p表示模型的預(yù)測(cè)概率,平衡因子α用于調(diào)節(jié)正負(fù)樣本的權(quán)重,調(diào)節(jié)因子γ用于調(diào)節(jié)易分類樣本和困難樣本的關(guān)注度.
Dice Loss是一種常用于圖像分割任務(wù)的損失函數(shù),旨在衡量預(yù)測(cè)分割結(jié)果和真實(shí)分割結(jié)果間的相似度,可有效地處理類別不平衡的問(wèn)題,同時(shí)對(duì)小目標(biāo)預(yù)測(cè)結(jié)果更敏感,有助于提高分割模型對(duì)小目標(biāo)的分割精度.
Dice Loss計(jì)算如式(3)所示:
Dice Loss=2×Intersection/
Predicition+GroundTruth,(3)
其中:Intersection表示預(yù)測(cè)分割結(jié)果和真實(shí)分割結(jié)果的交集(兩者同時(shí)為正類的像素?cái)?shù));Prediction表示預(yù)測(cè)分割結(jié)果的正類像素?cái)?shù);GroundTruth表示真實(shí)分割結(jié)果的正類像素?cái)?shù).
在圖像分割任務(wù)中,IOU Loss的目標(biāo)是最大化預(yù)測(cè)分割結(jié)果和真實(shí)分割結(jié)果的交并比.其計(jì)算公式如式(4)所示:
IOU Loss=Intersection/Union,(4)
其中,Union表示預(yù)測(cè)分割結(jié)果和真實(shí)分割結(jié)果的并集(兩者中至少一個(gè)為正類的像素?cái)?shù)).
IOU Loss的取值范圍為0到1,0表示完全匹配,1表示完全不匹配.與Dice Loss類似,IOU Loss能夠有效地處理類別不平衡的問(wèn)題,并對(duì)小目標(biāo)的預(yù)測(cè)結(jié)果更敏感.
本文根據(jù)Focal Loss、Dice Loss和IOU Loss在圖像分割任務(wù)中的特點(diǎn),結(jié)合實(shí)際選用的細(xì)胞數(shù)據(jù)集情況,通過(guò)加權(quán)組合策略將貢獻(xiàn)進(jìn)行組合.假設(shè)有權(quán)重參數(shù)α、β和γ,分別對(duì)應(yīng)于Focal Loss、Dice Loss和IOU Loss的權(quán)重,則加權(quán)求和的計(jì)算如式(5)所示:
Total Loss=α×Focal Loss+
β×Dice Loss+γ×IOU Loss,(5)
其中,α、β和γ權(quán)重參數(shù),用于調(diào)節(jié)各個(gè)損失函數(shù)的相對(duì)重要性.通過(guò)加權(quán)求和可將不同損失函數(shù)的特點(diǎn)和優(yōu)勢(shì)結(jié)合起來(lái),對(duì)模型進(jìn)行綜合訓(xùn)練.例如,F(xiàn)ocal Loss可解決類別不平衡問(wèn)題,Dice Loss可處理小目標(biāo)分割,而IOU Loss可衡量分割結(jié)果的相似度.加權(quán)求和可以靈活地調(diào)整各個(gè)損失函數(shù)的重要性,以獲得更優(yōu)的分割性能.本文中α、β和γ的值分別選取2、1和1.
3 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果
3.1 評(píng)價(jià)指標(biāo)
本文選用準(zhǔn)確率(Accuracy)和F1分?jǐn)?shù)(F1-Score)作為評(píng)價(jià)指標(biāo).準(zhǔn)確率和F1分?jǐn)?shù)是常用的目標(biāo)分割評(píng)價(jià)指標(biāo)之一,用于衡量分割模型在像素級(jí)別上的性能和準(zhǔn)確性.準(zhǔn)確率作分類度量指標(biāo),用于衡量模型在預(yù)測(cè)中正確分類的比例,其計(jì)算如式(6)所示:
Accuracy=TP+TN/
TP+TN+FP+FN,(6)
其中,TP(True Positive)表示被正確預(yù)測(cè)為目標(biāo)的像素?cái)?shù);TN(True Negative)表示被正確預(yù)測(cè)為背景的像素?cái)?shù);FP(False Positive)表示被錯(cuò)誤預(yù)測(cè)為目標(biāo)的像素?cái)?shù);FN(False Negative)表示被錯(cuò)誤預(yù)測(cè)為背景的像素?cái)?shù).
F1分?jǐn)?shù)綜合考量了精確率(Precision)和召回率(Recall),其計(jì)算如式(7)所示,常用于不平衡類別和二分類任務(wù).對(duì)于目標(biāo)分割任務(wù),F(xiàn)1分?jǐn)?shù)考量分割任務(wù)目標(biāo)區(qū)域完整性及模型準(zhǔn)確性.其取值介于0到1之間,值越高模型分割性能越好.
F1-Score=2×Precision×Recall/
Precision+Recall.(7)
3.2 實(shí)驗(yàn)數(shù)據(jù)集
實(shí)驗(yàn)選用了一個(gè)基于免疫組化(IHC)的弱監(jiān)督方案中的公開(kāi)點(diǎn)標(biāo)注數(shù)據(jù)集,如圖3所示,將其轉(zhuǎn)換為包含1300多張圖像的掩碼數(shù)據(jù)集.
此數(shù)據(jù)集最初通過(guò)在免疫組化圖像上進(jìn)行點(diǎn)標(biāo)注而獲得,每個(gè)點(diǎn)標(biāo)注代表免疫組化圖像中一個(gè)感興趣的區(qū)域.為將這些點(diǎn)標(biāo)注轉(zhuǎn)換為掩碼數(shù)據(jù)集,使用點(diǎn)標(biāo)注轉(zhuǎn)換方法,根據(jù)點(diǎn)的位置信息生成了相應(yīng)的掩碼,如圖4所示.
通過(guò)這種方式得到一個(gè)包含1300多張圖像的數(shù)據(jù)集,每張圖像都有對(duì)應(yīng)的掩碼,用于提示感興趣的區(qū)域.轉(zhuǎn)換后的掩碼數(shù)據(jù)集為研究提供更豐富的信息,使模型更準(zhǔn)確地進(jìn)行分割任務(wù)的訓(xùn)練和評(píng)估.
3.3 實(shí)驗(yàn)結(jié)果
考慮到SAM模型中的圖像編碼器和提示編碼器模塊具有大量參數(shù),并且在較少數(shù)據(jù)集上訓(xùn)練可能會(huì)導(dǎo)致過(guò)擬合,采用了LoRA技術(shù)進(jìn)行模型改進(jìn).經(jīng)過(guò)大約50個(gè)訓(xùn)練輪次后,模型趨于收斂.通過(guò)凍結(jié)圖像編碼器和提示編碼器的權(quán)重,保留預(yù)訓(xùn)練階段學(xué)到的有用特征,并將訓(xùn)練重點(diǎn)放在掩碼解碼器旁路矩陣上.這樣做可以減少模型的參數(shù)數(shù)量,同時(shí)防止過(guò)擬合,并且在有限數(shù)據(jù)集上獲得更好的訓(xùn)練效果.
經(jīng)過(guò)改進(jìn)后的實(shí)驗(yàn)結(jié)果如表1所列,算法在準(zhǔn)確率和F1分?jǐn)?shù)指標(biāo)上均有顯著提升,分別提升了6.3%和4.5%.進(jìn)一步證明改進(jìn)后的SAM模型具有更強(qiáng)的魯棒性和泛化能力.提升結(jié)果表明,在經(jīng)過(guò)改進(jìn)的SAM模型中,通過(guò)對(duì)特定任務(wù)的訓(xùn)練和調(diào)整,能夠獲得更準(zhǔn)確、穩(wěn)健的分割結(jié)果.改進(jìn)后的模型能夠更好地適應(yīng)不同場(chǎng)景和數(shù)據(jù)集,并在未見(jiàn)過(guò)的樣本上展現(xiàn)出更優(yōu)的性能.
改進(jìn)前后的分割效果對(duì)比如圖5所示.
從圖5可知,在密集圖形分割方面,改進(jìn)的模型能夠更準(zhǔn)確地分割出更多目標(biāo),在細(xì)節(jié)部分表現(xiàn)更好,能更準(zhǔn)確地捕捉圖像目標(biāo)邊緣和細(xì)微結(jié)構(gòu),從而更精確地定義目標(biāo)邊界,將更多目標(biāo)區(qū)域正確地分割出來(lái).
4 結(jié)語(yǔ)
SAM模型利用大量訓(xùn)練數(shù)據(jù)能夠?qū)崿F(xiàn)對(duì)幾乎任何對(duì)象的分割,但其在醫(yī)學(xué)領(lǐng)域的普適性尚未得到充分探索.本研究評(píng)估了SAM在醫(yī)學(xué)成像中的零樣本學(xué)習(xí)能力,提出了一種實(shí)用的改進(jìn)策略.實(shí)驗(yàn)結(jié)果表明,該策略提高了細(xì)胞分割任務(wù)的準(zhǔn)確率,其精度提升近6.3%,F(xiàn)1分?jǐn)?shù)提升近4.4%.
本文研究結(jié)果為SAM在醫(yī)學(xué)領(lǐng)域的應(yīng)用提供了方向指引,并為后續(xù)優(yōu)化SAM模型的性能提供了參考.
參考文獻(xiàn):
[1] KIRILLOV A,MINTUN E,RAVI N,et al.Segment Anything[C]//2023 IEEE/CVF International Conference on Computer Vision (ICCV),Paris,F(xiàn)rance:IEEE,2023:3992-4003.
[2] MAZUROWSKI M A,DONG H,GU H,et al.Segment anything model for medical image analysis:an experimental study[J].Medical Image Analysis,2023,89:102918.
[3] HU J E,SHEN Y L,WALLIS P,et al.LoRA:low-rank adaptation of large language models[EB/OL].(2021-06-17)[2024-02-05].https:// arxiv.org/abs/2106.09685.
[4] RAGHU M,ZHANG C,KLEINBERG J,et al.Transfusion:Understanding Transfer Learning for Medical Imaging[C]//2019 Conference on Neural Information Processing Systems,Red Hook.NY:MIT Press,2019:3347-3357.
[5] CHOWDLHARY C L,ACHARJYA D P.Segmentation and feature extraction in medical imaging:a systematic review[J].Procedia Computer Science,2020,167:26-36.
[6] SHIRLY S,RAMESH K.Review on 2d and 3d mri image segmentation techniques[J],Current medical imaging,2019,15(2):150-160.
[7] LIU X,SONG L,LIU S,et al.A review of deep-learning-based medical image segmentation methods[J].Sustainability,2021,13(3):1224.
[8] GUL S,KHAN M S,BIBI A,et al.Deep learning techniques for liver and liver tumor segmentation:A review[J].Computers in Biology and Medicine,2022,147:105620.
[9] 孫興,蔡肖紅,李明,等.視覺(jué)大模型SAM在醫(yī)學(xué)圖像分割中的應(yīng)用綜述[J].計(jì)算機(jī)工程與應(yīng)用,2024,60(17):1-16.
[10] RENARD F,GUEDRIA S,PALMA N D,et al.Variability and reproducibility in deep learning for medical image segmentation[J].Scientific Reports,2020,10(1):13724.
[11] SAHADEV P,SANG-WOONG L.Deep multi-scale attentional features for medical image segmentation[J],Applied Soft Computing,2021,109:107445-107445.
[12] BENCEVIC M,GALIC I,HABIJAN M,et al.Training on polar image transformations improves biomedical image segmentation[J].IEEE Access,2021,9:133365-133375.
[13] LIU J,ZHANG Y,CHEN J N,et al.CLIP-Driven Universal Model for Organ Segmentation and Tumor Detection[C]//2023 IEEE/CVF International Conference on Computer Vision (ICCV),Paris,F(xiàn)rance:IEEE,2023:21095-21107.
[14] PARVAIZ A,KHALID M A,ZAFAR R,et al.Vision transformers in medical computer vision—a contemplative retrospection[J].Engineering Applications of Artificial Intelligence,2023,122:106126.
[15] YUAN L,CHEN Y,WANG T,et al.Tokens-to-Token ViT:Training Vision Transformers from Scratch on ImageNet[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV).Montreal,QC:IEEE,2021:558-567.
[16] 吳曈,胡浩基,馮洋,等.分割一切模型(SAM)在醫(yī)學(xué)圖像分割中的應(yīng)用[J].中國(guó)激光,2024,51(21):27-42.
[17] WANG W,XIE E,LI X,et al.Pyramid Vision Transformer:A Versatile Backbone for Dense Prediction without Convolutions[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV).Montreal,QC:IEEE,2021:548-558.
[18] GUO Z,ZHANG R,QIU L,et al.CALIP:Zero-Shot Enhancement of CLIP with Parameter-free Attention[C]//2023 AAAI Conference on Artificial Intelligence.Washington,DC:AAAI,2023:746-754.
[19] 王淼,黃智忠,何暉光,等.分割一切模型SAM的潛力與展望:綜述[J].中國(guó)圖象圖形學(xué)報(bào),2024,29(6):1479-1509.
[20] TSUNG-YI L,PRIYA G,ROSS G,et al.Focal loss for dense object detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,42(2):318-327.
[責(zé)任編輯:李嵐 杜佳]
蘭州文理學(xué)院學(xué)報(bào)(自然科學(xué)版)2025年2期