雙編碼特征注意網(wǎng)絡(luò)的手術(shù)器械分割

楊磊，谷玉格，邊桂彬，2，劉艷紅*

1.鄭州大學(xué)電氣與信息工程學(xué)院，鄭州 450001；2.中國科學(xué)院自動(dòng)化研究所，北京 100190

0 引言

隨著醫(yī)療技術(shù)的發(fā)展和生活水平的提高，人們?cè)诰歪t(yī)時(shí)不僅關(guān)注治療的效果和時(shí)效，還十分關(guān)注治療方法對(duì)于身體產(chǎn)生的不可逆創(chuàng)傷。因此，相較于傳統(tǒng)的手術(shù)方式，微創(chuàng)手術(shù)以其創(chuàng)口小、傷害小的優(yōu)點(diǎn)受到大眾的歡迎，如顯微鏡手術(shù)或內(nèi)窺鏡手術(shù)能夠有效提升手術(shù)的精度和安全性，是現(xiàn)代外科手術(shù)的發(fā)展趨勢之一。隨著機(jī)器人技術(shù)的發(fā)展，機(jī)器人輔助的手術(shù)逐漸應(yīng)用到外科手術(shù)中，其依賴于手術(shù)圖像的自動(dòng)分析，為醫(yī)生操作和決策提供豐富的信息，如判斷手術(shù)的階段、識(shí)別手術(shù)高風(fēng)險(xiǎn)區(qū)域等，其中語義分割可以提供給外科醫(yī)生手術(shù)器械和解剖器官的類別與位置信息，為醫(yī)生安全手術(shù)操作提供直觀提示（Bouget 等，2017；Allan 等，2020）。手術(shù)器械分割作為機(jī)器人輔助手術(shù)的關(guān)鍵環(huán)節(jié)，對(duì)于克服復(fù)雜的手術(shù)環(huán)境影響、減小手術(shù)風(fēng)險(xiǎn)具有重要意義。手術(shù)器械分割是醫(yī)學(xué)圖像分割領(lǐng)域中的一項(xiàng)重要課題，吸引了很多研究學(xué)者的注意。

目前，已經(jīng)有大量的學(xué)者提出和改進(jìn)了不同的方法，以實(shí)現(xiàn)手術(shù)器械的自動(dòng)分割，但是手術(shù)器械的準(zhǔn)確分割仍然是一個(gè)難點(diǎn)。首先，在手術(shù)期間，外科醫(yī)生能接受到的全部信息僅來源于手術(shù)中圖像采集設(shè)備傳回來的圖像信息，因此醫(yī)生接受到的信息十分有限，而且，部分具有挑戰(zhàn)性的圖像人眼難以有效地分析，容易產(chǎn)生誤判，因此，準(zhǔn)確、自動(dòng)的自動(dòng)圖像分析對(duì)手術(shù)機(jī)器人也就顯得尤為重要。其次，不同的手術(shù)類型使用不同的手術(shù)器械，這些手術(shù)器械的形狀、大小存在較大差異，即使是相同的手術(shù)器械，手術(shù)過程中的運(yùn)動(dòng)和姿態(tài)變換也會(huì)使得手術(shù)器械的形狀、大小產(chǎn)生較大變化，給手術(shù)器械的分割帶來一定挑戰(zhàn)。除此之外，復(fù)雜的手術(shù)環(huán)境，例如煙霧、血液、鏡面反射和運(yùn)動(dòng)偽影等因素也會(huì)對(duì)手術(shù)器械的精確分割造成干擾（Wang等，2019）。因此，準(zhǔn)確、自動(dòng)的手術(shù)器械分割仍是一項(xiàng)有意義且存在挑戰(zhàn)性的研究工作。針對(duì)上述問題和難點(diǎn)，為了進(jìn)一步提升手術(shù)器械分割精度，本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）和Transformer 的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)。具體來說，基于CNN 和Transformer 各自的優(yōu)點(diǎn)，設(shè)計(jì)了一種雙編碼器結(jié)構(gòu)，引入Transformer網(wǎng)絡(luò)分支，增強(qiáng)網(wǎng)絡(luò)的全局上下文語義信息提取能力，彌補(bǔ)CNN 編碼分支的不足。提出了多尺度注意融合模塊，實(shí)現(xiàn)局部特征圖的特征增強(qiáng)，豐富網(wǎng)絡(luò)對(duì)于不同大小目標(biāo)特征的處理能力。同時(shí)，針對(duì)分割任務(wù)存在的類不平衡問題，引入全局注意力機(jī)制，增強(qiáng)網(wǎng)絡(luò)對(duì)于有效特征的處理，并引入Soft Dice 損失函數(shù)指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，減少類不平衡問題帶來的影響。

本文的主要貢獻(xiàn)如下：1）提出了用于手術(shù)器械分割的基于CNN 和Transformer 的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)，其很好地結(jié)合CNN 和Transformer 的各自優(yōu)點(diǎn)，實(shí)現(xiàn)端到端的手術(shù)器械的分割；2）設(shè)計(jì)了多尺度注意融合模塊，實(shí)現(xiàn)局部特征的多尺度特征表征，提高網(wǎng)絡(luò)在多尺度目標(biāo)的檢測能力；3）針對(duì)類不平衡問題，引入全局注意力機(jī)制，突出顯著的圖像區(qū)域和抑制無關(guān)的圖像區(qū)域；4）利用公開數(shù)據(jù)集驗(yàn)證模型的有效性，在兩個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相較于對(duì)比方法，本文模型獲得了優(yōu)異的分割精度，改善了手術(shù)器械分割中邊界模糊和細(xì)節(jié)特征丟失的問題。

1 相關(guān)工作

在深度學(xué)習(xí)出現(xiàn)之前，手術(shù)器械分割通常使用基于模型的半自動(dòng)方法，這種方法可以概括為傳統(tǒng)圖像分割方法。傳統(tǒng)圖像分割方法多是通過顏色、邊沿和紋理等基本特征對(duì)圖像進(jìn)行分割。該類方法常見的有閾值（Cheriet 等，1998）、邊緣（Fabijańska，2011）、聚類（Jing等，2018）和圖論（虎曉紅 等，2013）等分割方法。Wang 等人（2022）提出了一種基于OTSU多閾值分割算法的改進(jìn)狀態(tài)轉(zhuǎn)移算法，引入一種新的跳躍算子增強(qiáng)網(wǎng)絡(luò)的局部搜索能力以達(dá)到尋找最佳閾值的穩(wěn)定性和快速性。Tang（2010）將分水嶺算法與種子區(qū)域生長算法相結(jié)合，提出了一種基于區(qū)域的自動(dòng)種子區(qū)域生長的彩色圖像分割方法。這種分割方法能夠較為準(zhǔn)確地分割出圖像中的局部細(xì)節(jié)，但是容易形成過分割?？傊?，基于模型的傳統(tǒng)圖像分割方法在醫(yī)學(xué)圖像分割領(lǐng)域有許多應(yīng)用，能夠較準(zhǔn)確地分割圖像、識(shí)別邊界，但是其存在計(jì)算復(fù)雜、分割效率低的問題，限制了傳統(tǒng)圖像分割方法在手術(shù)器械分割領(lǐng)域的應(yīng)用。除此之外，傳統(tǒng)的圖像分割方法需要針對(duì)不同的目標(biāo)建立不同的模型，需要豐富的專業(yè)知識(shí)和人工干預(yù)支撐，大大增加了應(yīng)用的難度。

隨著人工智能和大數(shù)據(jù)的發(fā)展，深度學(xué)習(xí)算法已經(jīng)在醫(yī)學(xué)圖像分割領(lǐng)域廣泛應(yīng)用，眾多研究者提出了各種基于深度學(xué)習(xí)的圖像分割方法（羅愷鍇等，2021）?；谏疃葘W(xué)習(xí)的圖像處理方法通?？梢灾苯犹幚碓紨?shù)據(jù)，并自動(dòng)學(xué)習(xí)到復(fù)雜、抽象的高維特征信息，使網(wǎng)絡(luò)具備自動(dòng)分割圖像的能力。目前，常見的深度圖像分割網(wǎng)絡(luò)包括全卷積網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN）（Long 等，2015）、Deep-Lab（Chen 等，2018a）、SegNet（Badrinar ayanan 等，2017）和U-Net（Ronneberger 等，2015）。為了減少計(jì)算成本和能源消耗，Li 等人（2018）將傳統(tǒng)分水嶺算法和FCN 網(wǎng)絡(luò)結(jié)合，提出了一種輕量級(jí)網(wǎng)絡(luò)，傳統(tǒng)分水嶺分割方法使得深度學(xué)習(xí)網(wǎng)絡(luò)加強(qiáng)對(duì)可能影響分割精度的像素的關(guān)注。但是由于FCN 網(wǎng)絡(luò)本身對(duì)于局部特征和上下文信息的關(guān)注不夠強(qiáng)烈，該方法存在局部特征丟失的問題。Chen 等人（2016，2017，2018a，b）提出了一系列的DeepLab網(wǎng)絡(luò)，通過不同編碼器、空洞空間卷積池化金字塔（atrous spatial pyramid pooling，ASPP）和深度可分離卷積增強(qiáng)網(wǎng)絡(luò)對(duì)于多尺度信息的提取，但其可視化結(jié)果依舊明顯存在細(xì)節(jié)丟失和上下文提取不充分的問題。Yue 等人（2020）提出了一種將條件隨機(jī)場與SegNet網(wǎng)絡(luò)相結(jié)合的分割方法，在公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該網(wǎng)絡(luò)在精度和速度兩個(gè)方面都達(dá)到了不錯(cuò)的分割效果。但是，該方法的訓(xùn)練十分復(fù)雜，對(duì)于上下文信息的提取也不夠充分，容易造成小目標(biāo)的錯(cuò)分以及大目標(biāo)的局部誤分。針對(duì)以上分割網(wǎng)絡(luò)對(duì)于局部特征關(guān)注不夠充分、細(xì)節(jié)丟失較為嚴(yán)重的問題，通過跳躍連接，U-Net 網(wǎng)絡(luò)在一定程度上減少了細(xì)節(jié)丟失，增強(qiáng)了網(wǎng)絡(luò)對(duì)于細(xì)節(jié)特征的恢復(fù)能力，連續(xù)的雙卷積結(jié)構(gòu)也加強(qiáng)了網(wǎng)絡(luò)對(duì)于局部特征的關(guān)注，改善了基礎(chǔ)網(wǎng)絡(luò)的局限性。鑒于U-Net 的這些優(yōu)點(diǎn)，本文使用U-Net 作為基礎(chǔ)網(wǎng)絡(luò)，提出了基于CNN 和Transformer 的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)，實(shí)現(xiàn)手術(shù)器械的準(zhǔn)確分割。

U-Net憑借其卓越的分割性能，在醫(yī)學(xué)圖像分割領(lǐng)域得到廣泛應(yīng)用，許多以此為基礎(chǔ)架構(gòu)的網(wǎng)絡(luò)相繼提出（周濤 等，2021）。U-Net 的改進(jìn)思路大致可以分為兩種：引入新模塊和改進(jìn)編解碼器。引入新模塊是指在U-Net 結(jié)構(gòu)的現(xiàn)有基礎(chǔ)上額外使用其他可以增強(qiáng)特征提取能力、改善類不平衡問題的模塊。例如，F(xiàn)eng 等人（2020）提出了一種用于皮膚病變分割的CPFNet（context pyramid fusion network）模型。該網(wǎng)絡(luò)在瓶頸層引入了一個(gè)尺度感知金字塔融合模塊獲取高級(jí)特征中的多尺度上下文信息，并在重構(gòu)的跳躍連接上引入了全局金字塔引導(dǎo)模塊，為解碼器提供不同分辨率的細(xì)節(jié)信息和上下文信息。Gu等人（2019）提出的CE-Net（context encoder network）同樣以U-Net 為基礎(chǔ)架構(gòu)，在瓶頸層應(yīng)用密集空洞卷積塊和殘差多核池化模塊組成的上下文提取模塊，以提升網(wǎng)絡(luò)對(duì)于多尺度上下文的提取能力。改進(jìn)編解碼器的一般方法為將編碼器或解碼器中的雙卷積結(jié)構(gòu)更改為特征提取能力更強(qiáng)的模塊或參數(shù)占用更少的模塊，以追求更高的分割精度或更快的處理速度。除此之外，使用預(yù)訓(xùn)練的經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)作為編碼器也是改進(jìn)思路之一，例如ResNet（residual network）（He 等，2016）和VGG（Visual Geometry Group）（Simonyan 和Zisserman，2015）。Xia 等 人（2022）將編碼器、解碼器中的雙卷積結(jié)構(gòu)替換成SPConv（split based convolution），剔除冗余特征的信息流，加強(qiáng)對(duì)于有效特征所在通道的關(guān)注，在盡量少損失分割精度的條件下追求更少的參數(shù)占用。Lu等人（2022）提出了DCA-Cnet（dual context aggregation and attention-guided cross deconvolution network），在編碼器端引入邊緣信息注意模塊，加強(qiáng)網(wǎng)絡(luò)對(duì)于邊緣信息的保存，在解碼器端使用注意導(dǎo)向的交叉反卷積代替雙卷積結(jié)構(gòu)，使得解碼器獲取到更全面的多尺度信息，并學(xué)會(huì)有效利用。

盡管目前基于CNN 的方法在不同的分割任務(wù)中取得了不錯(cuò)的效果，但這些方法都存在上下文提取能力不足的問題。因?yàn)榫矸e核的大小有限，能夠提取較小的目標(biāo)對(duì)象的上下文信息。但是對(duì)于較大的目標(biāo)對(duì)象，很難準(zhǔn)確識(shí)別上下文語義。因此，本文提出了基于CNN 和Transformer 的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)以解決上述問題。

2 本文方法

為了充分提取全局上下文信息，增強(qiáng)網(wǎng)絡(luò)內(nèi)部特征表達(dá)，更精確地分割出手術(shù)器械，本文提出一種基于CNN 和Transformer 的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)，具體分割網(wǎng)絡(luò)框架如圖1所示。

圖1 基于CNN和Transformer的多尺度融合注意網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of multi-scale fusion attention network based on CNN and Transformer

該網(wǎng)絡(luò)沿用編碼器—解碼器的網(wǎng)絡(luò)結(jié)構(gòu)，使用收縮擴(kuò)展路徑在很大程度上減少了無關(guān)信息的干擾。手術(shù)器械分割屬于區(qū)域性分割任務(wù)，豐富的上下文特征提取顯得尤為重要，而CNN 在這方面略有不足，主要聚焦于局部信息提取。因此，本文在分割網(wǎng)絡(luò)的編碼器單元，提出CNN 和Transformer 結(jié)合的雙編碼器結(jié)構(gòu)，從而實(shí)現(xiàn)同時(shí)對(duì)局部特征和全局上下文語義信息的充分提取。

除此之外，針對(duì)手術(shù)器械大小、形狀的多樣性，本文提出了多尺度注意融合模塊以嵌入到瓶頸層，豐富多尺度語義信息，增強(qiáng)網(wǎng)絡(luò)局部特征表達(dá)和不同尺度的上下文信息提取，使分割網(wǎng)絡(luò)對(duì)于差異較大的目標(biāo)具有相同的分割能力。另外，類不均衡作為醫(yī)學(xué)圖像分割存在的普遍問題，同樣存在于手術(shù)器械分割中。為了緩解這一問題，網(wǎng)絡(luò)在解碼器單元引入全局注意力模塊，指導(dǎo)編碼器輸出特征圖的特征學(xué)習(xí)，并與解碼器傳遞的特征圖進(jìn)行融合，增強(qiáng)分割網(wǎng)絡(luò)對(duì)目標(biāo)像素的關(guān)注度，減少對(duì)冗余特征的關(guān)注。

2.1 骨干網(wǎng)絡(luò)

本文提出的基于CNN 和Transformer 的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)沿用了U-Net 的基礎(chǔ)架構(gòu)，使用編碼器—解碼器的架構(gòu)來處理輸入圖像，實(shí)現(xiàn)端到端的語義信息提取與圖像分割。本文主干網(wǎng)絡(luò)深度設(shè)置為4 層，從淺到深，特征通道數(shù)依次設(shè)置為64、128、256、512。

編碼器采用預(yù)訓(xùn)練的ResNet34的前4層代替?zhèn)鹘y(tǒng)的雙卷積結(jié)構(gòu)，實(shí)現(xiàn)圖像特征的有效提取，并加快網(wǎng)絡(luò)的反向傳播，加速網(wǎng)絡(luò)收斂，避免梯度消失和梯度爆炸問題。而解碼器單元采用雙卷積結(jié)構(gòu)，同時(shí)，采用轉(zhuǎn)置卷積（Dumoulin 和Visin，2018）實(shí)現(xiàn)特征的上采樣。與線性插值上采樣不同，轉(zhuǎn)置卷積上采樣不使用預(yù)設(shè)的插值方案，自適應(yīng)地學(xué)習(xí)最優(yōu)的上采樣方式。除此之外，在解碼器的每一層前端，使用一個(gè)注意力模塊AG（attention gate）（Oktay 等，2018），指導(dǎo)來自解碼器底層和鏡像層編碼器傳遞過來的特征信息融合，通過兩個(gè)非線性激活函數(shù)，有目的地放大有效信息，加強(qiáng)網(wǎng)絡(luò)對(duì)于顯著特征的關(guān)注。

同時(shí)，為了減少連續(xù)的池化運(yùn)算造成的細(xì)節(jié)信息丟失的問題，在編碼器—解碼器結(jié)構(gòu)的基礎(chǔ)上，引入跳躍連接，實(shí)現(xiàn)低級(jí)圖像特征和高層圖像特征的融合。

2.2 雙編碼器結(jié)構(gòu)

對(duì)于傳統(tǒng)的U-Net網(wǎng)絡(luò)來說，編碼器單元由2個(gè)3 × 3 卷積和下采樣層堆疊而成，但是由于卷積操作對(duì)于計(jì)算參數(shù)的引入量較大。為了保證分割網(wǎng)絡(luò)的計(jì)算效率，卷積操作只能在相對(duì)固定的感受野中學(xué)習(xí)特征。對(duì)于大目標(biāo)對(duì)象來說，感受野過小會(huì)影響全局上下文特征提取。出于減少計(jì)算成本、降低硬件設(shè)備要求的目的，卷積核通常比較小，即使隨著層數(shù)加深，感受野也在逐步上升，但是仍難以達(dá)到圖像的大小，從而限制了編碼過程中全局上下文信息的學(xué)習(xí)。相反，Transformer 在全局范圍內(nèi)關(guān)注輸入切片與其他所有切片的相關(guān)性，在每一次操作中學(xué)習(xí)所有輸入切片的上下文信息，可以很好地彌補(bǔ)卷積層上下文信息學(xué)習(xí)能力不足的缺陷。但是，由于Transformer 以切片為對(duì)象而不是以像素為對(duì)象，只聚焦于切片之間相似性的學(xué)習(xí)，缺乏對(duì)于切片內(nèi)部局部特征的關(guān)注，所以Transformer 容易忽略輸入圖像的局部細(xì)節(jié)。CNN編碼器剛好彌補(bǔ)了Transformer局部特征學(xué)習(xí)不充分的問題。因此，本文提出了基于CNN 和Transformer 結(jié)合的雙編碼器結(jié)構(gòu)，增強(qiáng)分割網(wǎng)絡(luò)的全局上下文信息和局部特征的提取能力。

相比于其他文獻(xiàn)直接融合CNN 編碼器和多層Transformer 輸出特征圖的做法，本文融合每個(gè)對(duì)應(yīng)層的CNN 和Transformer 特征圖，作為后續(xù)信息儲(chǔ)備通過跳躍連接傳遞到解碼器。這種融合方式可以充分利用每一層的特征信息，使每一次上采樣過程的特征融合都可以同時(shí)包含全面的局部細(xì)節(jié)和全局上下文信息，相比直接融合底層輸出特征圖的做法，可以在增加較少參數(shù)的情況下，增強(qiáng)有用信息流的傳遞。

本文使用的Transformer 分支編碼結(jié)構(gòu)（Wu 等，2022）由12 層Transformer 堆疊而成，每個(gè)層結(jié)構(gòu)相同，具體結(jié)構(gòu)如圖1所示。將輸入圖像輸入到Transformer 層之前，需要通過3 個(gè)圖像預(yù)處理步驟：線性投影、位置嵌入和補(bǔ)丁嵌入。

具體來說，對(duì)于RGB 三通道輸入圖像x∈R3×H×W，它的尺寸為H×W，將它按照固定尺寸裁剪成N個(gè)切片，尺寸為H/N×W/N。然后為了與Transformer 的輸入契合，使用線性投影將2D 的輸入圖像切片映射到1D 空間，生成像素序列xL∈RN×P，其中P=H/N×W/N。然后，將像素位置和切片順序嵌入生成的1D像素序列，生成帶有位置先驗(yàn)的輸出序列xe∈RN×P，并將此序列作為最淺層Transformer的輸入。每個(gè)Transformer層都包含多頭自注意層和前饋網(wǎng)絡(luò)層兩個(gè)部分，兩個(gè)部分都使用殘差連接分支。多頭自注意層包含一個(gè)層歸一化塊和一個(gè)多頭自注意塊，通過查詢向量Q、鍵向量K 和值向量V 幫助編碼器在對(duì)每個(gè)切片進(jìn)行編碼時(shí)關(guān)注其他切片，學(xué)習(xí)它們之間的相關(guān)性。每層Transformer對(duì)于輸入特征圖Fi的操作為

式中，F(xiàn)sa表示輸入特征圖經(jīng)過多頭自注意力模塊處理后與殘差分支相加的特征圖，F(xiàn)t表示對(duì)應(yīng)層Transformer 的輸出特征圖，H（·）表示多頭自注意模塊的功能函數(shù)，g（·）表示層歸一化。M（·）為前饋網(wǎng)絡(luò)的功能函數(shù)，其包含兩個(gè)線性層和一個(gè)ReLU（rectified linear unit）激活函數(shù)，線性層用L（·）表示，ReLU 激活函數(shù)用σ表示。

另外，Transformer 層處理過的特征圖與對(duì)應(yīng)的CNN 輸出特征圖按通道串聯(lián)，實(shí)現(xiàn)全局語義信息和局部語義信息的特征融合，并作為跳躍連接的輸入，輸入到attention gate模塊。

2.3 多尺度融合注意模塊

單一尺度的特征學(xué)習(xí)限制了分割網(wǎng)絡(luò)的信息豐富度，影響對(duì)于不同尺度目標(biāo)的分割能力。然而，直接增加其他卷積核大小的卷積分支以獲取不同尺度信息的做法會(huì)引入大量參數(shù)，很大程度降低網(wǎng)絡(luò)的處理速度，影響網(wǎng)絡(luò)的推理效率。為了解決上述問題，人們提出了經(jīng)典的ASPP（atrous spatial pyramid pooling）網(wǎng)絡(luò)（Yu 和Koltun，2016），多分支并行的空洞卷積既可以提取多尺度特征信息，又可以盡量減少計(jì)算參數(shù)的大量使用。但是，不同膨脹率的多尺度卷積直接并行處理會(huì)產(chǎn)生視覺盲區(qū)，忽視膨脹卷積核中值為零的點(diǎn)，這種現(xiàn)象稱之為網(wǎng)格效應(yīng)，如圖2所示。

圖2 串聯(lián)空洞卷積的網(wǎng)格效應(yīng)Fig.2 Grid effect of tandem atrous convolution（（a）one 3 × 3 convolution；（b）two concatenated 3 × 3 convolutions；（c）three concatenated 3 × 3 convolutions）

為了緩解這個(gè)問題，設(shè)計(jì)了多尺度注意融合模塊，將不同膨脹率的空洞卷積特征圖遞進(jìn)融合，加強(qiáng)不同尺度處理分支的信息交流，彌補(bǔ)視覺盲區(qū)帶來的信息丟失。多尺度融合注意模塊的結(jié)構(gòu)如圖3 所示。多尺度注意融合模塊由兩個(gè)部分組成，多尺度信息提取部分和殘差連接部分。殘差連接通道僅使用一個(gè)1 × 1 卷積。本文使用了4 個(gè)空洞卷積，膨脹率分別為1，2，5，7。4 個(gè)空洞卷積的并行分支輸入特征圖處理后都會(huì)產(chǎn)生兩個(gè)輸出分支，一個(gè)分支用于后續(xù)特征圖融合；另一個(gè)分支用于后續(xù)空洞卷積的信息交互。為了進(jìn)一步加快網(wǎng)絡(luò)的分割速度，將使用到的卷積全部替換為深度可分離卷積（Howard等，2017）。通過各尺度分支處理后的特征圖按通道串聯(lián)，生成包含多尺度語義信息的特征圖。面對(duì)多通道特征圖，為了減少對(duì)于無效尺度特征的重復(fù)利用，本文引入擠壓—激勵(lì)（squeeze-and-excitation，SE）通道注意力模塊（Hu等，2018）實(shí)現(xiàn)通道標(biāo)定，其通過擠壓—激勵(lì)機(jī)制，自適應(yīng)地學(xué)習(xí)每個(gè)尺度特征的有效性，并調(diào)整高權(quán)重至有效尺度，加強(qiáng)網(wǎng)絡(luò)對(duì)于有效尺度特征的關(guān)注。

圖3 多尺度注意融合模塊的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of the proposed multi-scale attention fusion block

為了更直觀地闡述多尺度融合注意模塊，將x設(shè)為輸入特征圖，Y 設(shè)為輸出特征圖，y1為梯形連接的空洞卷積分支的輸出特征圖，y2為殘差分支的輸出特征圖，多尺度注意融合模塊可以表述為

Hi表示膨脹率為i的深度可分離空洞卷積，fse表示SE block 的功能函數(shù)，C1表示1 × 1 卷積，⊙表示特征圖按通道串聯(lián)。

3 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證本文分割網(wǎng)絡(luò)的性能，對(duì)兩個(gè)公共手術(shù)器械分割數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)分析。本節(jié)給出了模型評(píng)估和測試時(shí)使用的數(shù)據(jù)集詳情，并闡述了實(shí)驗(yàn)過程中使用的實(shí)驗(yàn)平臺(tái)、參數(shù)設(shè)置和評(píng)價(jià)指標(biāo)。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為了測試基于CNN 和Transformer 的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)的分割性能和泛化性，使用白內(nèi)障手術(shù)器械分割數(shù)據(jù)集Endovis2017 和胃腸道手術(shù)數(shù)據(jù)集Kvasir-instrument 進(jìn)行模型的訓(xùn)練和測試。這兩個(gè)手術(shù)器械分割相關(guān)數(shù)據(jù)集的手術(shù)器械類型和收集環(huán)境都存在很大差異，可以有效驗(yàn)證分割模型的泛化性。

1）Endovis2017 數(shù)據(jù)集。Endovis2017 來 自MICCAI Endovis Challenge 2017 挑戰(zhàn)賽（Allan 等，2019）。該數(shù)據(jù)集是由 Vinci Xi 機(jī)器人在白內(nèi)障手術(shù)中獲取的，由10 個(gè)白內(nèi)障手術(shù)視頻采樣得到的圖像序列組成，包含7 種類型的手術(shù)器械。然而，這些圖像序列中，僅前8 個(gè)圖像序列包含原始圖像和標(biāo)注圖像，后2 個(gè)圖像序列只有原始圖像，不包含相應(yīng)標(biāo)注圖像。在本實(shí)驗(yàn)中，僅使用含有標(biāo)注圖像的前8 個(gè)圖像序列進(jìn)行模型的訓(xùn)練和測試。這8 個(gè)圖像序列共有1 800 幅手術(shù)圖像，分辨率均為1 280 ×1 024像素。

2）Kvasir-instrument 數(shù)據(jù)集。該數(shù)據(jù)集是從挪威 B?rum 醫(yī)院進(jìn)行的內(nèi)窺鏡檢查中通過Vestre Viken Hospital Trust 的Olympus（Olympus Europe）和Pentax（Pentax Medical Europe）的標(biāo)準(zhǔn)內(nèi)窺鏡設(shè)備收集的胃腸道手術(shù)圖像（Jha 等，2021a）。本研究中使用的所有數(shù)據(jù)均來自遵循 B?rum 醫(yī)院患者同意協(xié)議程序的視頻。此數(shù)據(jù)集包含590 幅分辨率大小從720 × 576 像素到1 280 × 1 024 像素不等的胃腸道手術(shù)器械圖像和它們對(duì)應(yīng)的標(biāo)注圖像，標(biāo)注圖像由兩名專業(yè)的研究助理完成并由胃腸道專家進(jìn)行修正。

在實(shí)驗(yàn)之前，為了統(tǒng)一標(biāo)準(zhǔn)，將這兩種公開數(shù)據(jù)集resize 中圖像尺寸統(tǒng)一調(diào)整至相同尺寸224 × 224像素，這個(gè)操作將大部分原始圖像的手術(shù)器械部分放至圖像的中央并裁剪部分與手術(shù)器械無關(guān)的像素，既有利于手術(shù)器械的分割，又減少了對(duì)于無效像素的使用，節(jié)省了內(nèi)存占用。在實(shí)驗(yàn)過程中，按照相同的比例對(duì)每個(gè)數(shù)據(jù)集劃分訓(xùn)練集、驗(yàn)證集和測試集。訓(xùn)練集和測試集的比例設(shè)置為4∶1，其中驗(yàn)證集來自于訓(xùn)練集，取訓(xùn)練集圖像的25%作為驗(yàn)證集。除此之外，為了使分割結(jié)果更有信服力，在每個(gè)數(shù)據(jù)集上使用5倍交叉驗(yàn)證，結(jié)果取平均值。

3.2 網(wǎng)絡(luò)訓(xùn)練

本文基于PyTorch 深度學(xué)習(xí)框架構(gòu)建了基于CNN 和Transformer 的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)，同時(shí)，為了加速網(wǎng)絡(luò)的訓(xùn)練和測試，相關(guān)分割實(shí)驗(yàn)均在具有24 GB內(nèi)存的NVIDIA Geforce RTX-3090 GPU平臺(tái)上實(shí)現(xiàn)。

優(yōu)化器使用自適應(yīng)矩估計(jì)優(yōu)化器（Adam），初始學(xué)習(xí)率設(shè)置為0.000 1，Batch size 的大小設(shè)置為 16，迭代次數(shù)為300 次。損失函數(shù)使用Soft Dice 損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)，并使用所有epoch 中在驗(yàn)證集上性能最好的模型進(jìn)行測試。

3.3 評(píng)價(jià)指標(biāo)

在圖像分割中常用的兩個(gè)評(píng)價(jià)指標(biāo)為Dice 分?jǐn)?shù)和平均交并比（mean intersection over union，mIOU），其不容易受到類不均衡問題的影響。因此，本文同樣使用這兩個(gè)流行的評(píng)價(jià)指標(biāo)評(píng)估本文手術(shù)器械分割網(wǎng)絡(luò)的分割性能。Dice分?jǐn)?shù)是評(píng)估預(yù)測結(jié)果與真實(shí)值的相似性評(píng)價(jià)指標(biāo)。mIOU 值是計(jì)算預(yù)測結(jié)果與真實(shí)值的重疊度量化指標(biāo)。具體為

式中，P和G分別代表預(yù)測結(jié)果與真實(shí)值。

4 實(shí)驗(yàn)結(jié)果及分析

為了充分驗(yàn)證本文提出的網(wǎng)絡(luò)對(duì)于手術(shù)器械分割精度提升的有效性，實(shí)驗(yàn)使用以上介紹的兩個(gè)公開數(shù)據(jù)集，并基于上述兩個(gè)評(píng)價(jià)指標(biāo)作為驗(yàn)證標(biāo)準(zhǔn)，分別進(jìn)行了對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)，從定量分析和定性分析兩個(gè)角度分析本文網(wǎng)絡(luò)在手術(shù)器械分割任務(wù)上的性能以及每個(gè)子模塊對(duì)于整體分割精度提升的貢獻(xiàn)。

4.1 Endovis2017數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

4.1.1 對(duì)比實(shí)驗(yàn)

首先，將本文網(wǎng)絡(luò)在此數(shù)據(jù)集的8 組視頻圖像上的分割結(jié)果與挑戰(zhàn)賽上的其他方法進(jìn)行對(duì)比，表1給出了對(duì)比模型和本文方法在各個(gè)子數(shù)據(jù)集上的mIOU 值?？梢钥闯?，與MICCAI 分割挑戰(zhàn)賽中提出的其他分割方法相比，本文提出的基于CNN 和Transformer 的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)在Endovis2017數(shù)據(jù)集的6個(gè)視頻序列上都達(dá)到了最高的分割精度，以平均mIOU 為92.5%的超高指標(biāo)名列前茅。在另外2 個(gè)視頻序列上，本文方法雖然沒有達(dá)到最高的分割精度，但是也達(dá)到了第2 高的分割精度，且與對(duì)應(yīng)視頻序列上分割精度最高的方法相差無幾。與整體分割精度第2 高的MIT 相比，本文方法將mIOU 提高了3.5%。總之，與競賽中的其他方法相比，本文方法在手術(shù)器械分割精度方面實(shí)現(xiàn)了巨大提升。

表1 Endovis2017數(shù)據(jù)集上與MICCAI挑戰(zhàn)賽其他分割方法的對(duì)比實(shí)驗(yàn)結(jié)果Table 1 Comparison experimental results with other methods in the MICCAI challenge on the Endovis2017 dataset

其次，選用了幾個(gè)其他研究者提出的新分割模型作為對(duì)比實(shí)驗(yàn)，在相同實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置的基礎(chǔ)上，比較本文方法與對(duì)比方法的分割性能，具體的實(shí)驗(yàn)結(jié)果如表2所示。

表2 與其他先進(jìn)方法在Endovis2017數(shù)據(jù)集的對(duì)比結(jié)果Table 2 Comparison experimental results with other advanced methods on the Endovis2017 dataset /%

從表2 可以看出，相比于對(duì)比實(shí)驗(yàn)選用的其他方法，本文方法在Endovis2017數(shù)據(jù)集上達(dá)到了最高的分割精度，Dice 分?jǐn)?shù)為96.27%，mIOU 為92.55%，比表現(xiàn)次優(yōu)的RASNet 分割網(wǎng)絡(luò)（Dice 分?jǐn)?shù)為94.65%，mIOU 為90.33%）分別高出1.62% 和2.22%。與U-Net（Dice 分?jǐn)?shù)為89.37%，mIOU 為79.44%）相比，本文方法實(shí)現(xiàn)了分割精度的大幅提升，Dice 分?jǐn)?shù)提升了6.9%，mIOU 提升了13.11%。綜上所述，本文方法在Endovis2017數(shù)據(jù)集上取得優(yōu)秀的分割性能，在分割精度方面超越了很多較先進(jìn)的分割方法。以上為Endovis2017 數(shù)據(jù)集上對(duì)比實(shí)驗(yàn)結(jié)果的定量分析。為了更直觀地闡述本文方法在該數(shù)據(jù)集上的分割效果，測試集上的部分圖像作為測試樣本，給出了不同模型的可視化結(jié)果，具體分割結(jié)果如圖4 所示。從圖4 的可視化結(jié)果中可以明顯看出，相比于其他方法，本文方法的分割結(jié)果最接近真實(shí)值，而其他對(duì)比方法的分割結(jié)果普遍存在邊界不清晰、局部細(xì)節(jié)誤分的問題。

圖4 Endovis2017數(shù)據(jù)集上對(duì)比實(shí)驗(yàn)的可視化結(jié)果Fig.4 Visualization results of comparative experiments on the Endovis2017 dataset（（a）raw images；（b）ground-truth；（c）ours；（d）U-Net；（e）U-Net++；（f）attention U-Net）

結(jié)合定性分析和定量分析，可以得出結(jié)論，本文提出的基于CNN 和Transformer 的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)具有十分優(yōu)秀的分割效果，相比于其他網(wǎng)絡(luò)模型，可以更準(zhǔn)確地分割出目標(biāo)邊界和檢測出局部細(xì)節(jié)。

4.1.2 消融實(shí)驗(yàn)

在Endovis2017 數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果證明了本文提出的基于CNN 和Transformer 的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)在分割精度方面取得了明顯提升。本文方法相比于U-Net 的改進(jìn)主要集中在雙編碼器結(jié)構(gòu)、多尺度注意融合模塊和attention gate模塊。為了說明每個(gè)模塊的有效性，針對(duì)提出的3 個(gè)子網(wǎng)絡(luò)模塊，設(shè)置了4 個(gè)消融實(shí)驗(yàn)，分別為基準(zhǔn)網(wǎng)絡(luò)（其為去除本文設(shè)計(jì)的3 個(gè)子網(wǎng)絡(luò)模塊后的分割網(wǎng)絡(luò)）、w/o Transformer 模塊、w/o 多尺度注意融合模塊和w/o attention gate 模塊。其中w/o 表示從本文網(wǎng)絡(luò)中移除對(duì)應(yīng)網(wǎng)絡(luò)模塊。w/o Transformer 模塊是指將雙編碼器結(jié)構(gòu)換成僅使用ResNet34 的單分支的CNN 編碼器的編碼器結(jié)構(gòu)。基于Endovis2017 數(shù)據(jù)集，具體的消融實(shí)驗(yàn)的定量分析結(jié)果如表3所示。

表3 在Endovis2017數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Table 3 Ablation experiment results on the Endovis2017 dataset

可以看出，基礎(chǔ)網(wǎng)絡(luò)RNet 在不使用任何子模塊的情況下，對(duì)于Endovis2017 數(shù)據(jù)集可以獲取89.11%的Dice 分?jǐn)?shù)和83.03%的mIOU 值。另外3 個(gè)消融實(shí)驗(yàn)的分割結(jié)果表明，去除任何一個(gè)子模塊都會(huì)對(duì)最終分割精度造成損失，但是，其均高于基準(zhǔn)網(wǎng)絡(luò)。除此之外，同時(shí)使用3 個(gè)子模塊的本文方法在兩個(gè)指標(biāo)上都得到了最高的分?jǐn)?shù)，說明本文提出的3 個(gè)子模塊對(duì)于最終分割精度的提升都有或多或少的貢獻(xiàn)，其中，w/o Transformer 模塊的分割指標(biāo)是最低的，相較于本文網(wǎng)絡(luò)，Dice 分?jǐn)?shù)降低了1.39%，mIOU 值降低了0.78%。由此可以說明，在Endovis2017 數(shù)據(jù)集上，雙編碼器模塊對(duì)于最終分割精度的提升效果最明顯。

為了進(jìn)一步說明3 個(gè)子網(wǎng)絡(luò)模塊對(duì)于最終分割精度的提升都有貢獻(xiàn)，與對(duì)比實(shí)驗(yàn)中的定性分析相同，本文展示了消融實(shí)驗(yàn)的可視化結(jié)果。以測試集中的4張隨機(jī)樣本作為實(shí)驗(yàn)對(duì)象，具體消融實(shí)驗(yàn)的可視化實(shí)驗(yàn)結(jié)果如圖5所示。可以看出，可視化實(shí)驗(yàn)結(jié)果與消融實(shí)驗(yàn)的定量分析相互印證，同時(shí)，應(yīng)用3 個(gè)子網(wǎng)絡(luò)模塊的網(wǎng)絡(luò)的分割結(jié)果最接近真實(shí)值，取得了最高的分割精度。其他3 個(gè)消融實(shí)驗(yàn)或多或少存在局部誤分割的情況，其中w/o Transformer模塊的分割效果最差，不能準(zhǔn)確分割出手術(shù)器械一些小的關(guān)節(jié)，對(duì)于較大器械的內(nèi)部像素也產(chǎn)生了一定程度的誤分。相比其他兩個(gè)消融實(shí)驗(yàn)，w/o Transformer模塊產(chǎn)生了更大面積的誤分割，很好地證明了雙編碼器模塊對(duì)整體分割性能提升的作用。

圖5 Endovis2017數(shù)據(jù)集上消融實(shí)驗(yàn)的可視化結(jié)果Fig.5 Visualization results of ablation experiments on the Endovis2017 dataset（（a）raw images；（b）ground-truth；（c）ours；（d）w/o Transformer；（e）w/o muti-sacle attention fusion block；（f）w/o attention gate）

4.2 Kvasir-instrument數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

4.2.1 對(duì)比實(shí)驗(yàn)

單一數(shù)據(jù)集上模型的分割性能驗(yàn)證并不能很好地說明模型的分割性能和模型的通用性。為了使實(shí)驗(yàn)結(jié)果更具說服力，排除偶然性等因素的影響，本文在另一個(gè)胃腸道手術(shù)數(shù)據(jù)集Kvasir-instrument 上同樣進(jìn)行了對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)，且從定量和定性兩個(gè)方面分析本文分割網(wǎng)絡(luò)的性能。

首先，將本文提出的分割網(wǎng)絡(luò)與其他研究人員提出的先進(jìn)分割方法進(jìn)行對(duì)比，用于性能比較，實(shí)驗(yàn)結(jié)果如表4 所示。毫無疑問，本文提出的基于CNN和Transformer的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)在Kvasir-instrument 數(shù)據(jù)集上取得的各項(xiàng)指標(biāo)名列前茅，Dice 分?jǐn)?shù)達(dá)到96.46%，mIOU 值達(dá)到94.12%，分割精度遠(yuǎn)遠(yuǎn)高于表4 中其他研究人員提出方法。相比于對(duì)比實(shí)驗(yàn)中最優(yōu)分割網(wǎng)絡(luò)DRR-Net（Dice 分?jǐn)?shù)為96.27%，mIOU 值為92.82%），本文方法將Dice分?jǐn)?shù)提升了0.19%，mIOU 值提升了1.30%。此外，從表4 中還可以看到，U-Net 的Dice 分?jǐn)?shù)為91.58%，mIOU 值為85.78%。與U-Net 相比，本文提出的分割網(wǎng)絡(luò)的分割精度有明顯提升，Dice 分?jǐn)?shù)提升了4.88%，mIOU 值提升了8.34%。由此可以說明，本文提出的分割網(wǎng)絡(luò)對(duì)U-Net 基礎(chǔ)網(wǎng)絡(luò)做的改進(jìn)是十分有效的，另外，本文提出的3 個(gè)子網(wǎng)絡(luò)模塊的合理結(jié)合可以大幅度提升分割精度。本文方法可以有效增強(qiáng)分割網(wǎng)絡(luò)對(duì)于局部細(xì)節(jié)和全局上下文信息的提取能力。

表4 與其他先進(jìn)方法在Kvasir-instrument數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果Table 4 Comparison experimental results with other advanced methods on the Kvasir-instrument dataset /%

與Endovis2017數(shù)據(jù)集上的實(shí)驗(yàn)相同，在Kvasirinstrument 數(shù)據(jù)集上選取幾個(gè)樣本作為實(shí)驗(yàn)對(duì)象，將不同模型的對(duì)比實(shí)驗(yàn)的可視化結(jié)果展示在圖6 中，以便于更直觀地理解本文方法的優(yōu)越性。從圖6 中可以明顯觀察到所有對(duì)比實(shí)驗(yàn)中，本文方法的分割結(jié)果最趨近與真實(shí)值，基本能夠清晰地分割出手術(shù)器械的邊界和關(guān)節(jié)處的具體細(xì)節(jié)。而其他幾個(gè)對(duì)比實(shí)驗(yàn)對(duì)于邊界的分割十分模糊，且基本不能分割出手術(shù)器械關(guān)節(jié)處的小孔等細(xì)節(jié)特征。

圖6 Kvasir-instrument數(shù)據(jù)集上對(duì)比實(shí)驗(yàn)的可視化結(jié)果Fig.6 Visualization results of comparative experiments on the Kvasir-instrument dataset（（a）raw images；（b）ground truth；（c）ours；（d）U-Net；（e）U-Net++；（f）attention U-Net）

綜上所述，Kvasir-instrument 數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果與Endovis2017數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果一致，都有效證明了本文提出的分割網(wǎng)絡(luò)可以有效提升手術(shù)器械的分割精度。

4.2.2 消融實(shí)驗(yàn)

為了更進(jìn)一步驗(yàn)證本文應(yīng)用的3 個(gè)子網(wǎng)絡(luò)模塊各自對(duì)于提升分割精度的貢獻(xiàn)，在Kvasir-instrument數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，消融實(shí)驗(yàn)的設(shè)置與Endovis2017 數(shù)據(jù)集上一致。消融實(shí)驗(yàn)的定量分析結(jié)果如表5 所示。可以看出，整體的分割結(jié)果與Endovis2017 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果基本完全一致，同時(shí)應(yīng)用了3 個(gè)子網(wǎng)絡(luò)模塊的本文方法兩個(gè)評(píng)價(jià)指標(biāo)都是取得了最優(yōu)值。其他4 個(gè)消融實(shí)驗(yàn)的分割精度相比于本文方法都有一定程度的損失，其中，去掉雙編碼器結(jié)構(gòu)對(duì)于分割精度的影響最大，多尺度注意融合模塊次之，attention gate 模塊的影響最小。使用雙編碼器模塊可以將Dice分?jǐn)?shù)提高1.84%，mIOU值提高2.05%。

表5 在Kvasir-instrument數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Table 5 Ablation experiment results on the Kvasir-instrument dataset

為了更直接地顯示消融實(shí)驗(yàn)的效果，圖7 展示了Kvasir-instrument 測試集上4 幅示例圖像的消融實(shí)驗(yàn)可視化結(jié)果，與消融實(shí)驗(yàn)的定量結(jié)果相互印證，可以更直觀地展示出每個(gè)模塊對(duì)于提升最終分割精度的貢獻(xiàn)。從圖7中可以明顯觀察到，3個(gè)子網(wǎng)絡(luò)模塊對(duì)于分割精度的提升都有貢獻(xiàn)，只不過影響力不同。其中，雙編碼器結(jié)構(gòu)對(duì)于手術(shù)器械的提升影響最大。

圖7 Kvasir-instrument數(shù)據(jù)集上消融實(shí)驗(yàn)的可視化結(jié)果Fig.7 Visualization results of ablation experiments on the Kvasir-instrument dataset（（a）raw images；（b）ground truth；（c）ours；（d）w/o Transformer；（e）w/o muti-sacle attention fusion block；（f）w/o attention gate）

4.3 效率分析

對(duì)于手術(shù)器械分割任務(wù)，除了分割精度外，推理速度也是分割網(wǎng)絡(luò)性能評(píng)判的一個(gè)重要指標(biāo)。結(jié)合具有24 GB 內(nèi)存的NVIDIA Geforce RTX-3090 GPU平臺(tái)，在本文使用的2 個(gè)器械分割公開數(shù)據(jù)集Kvasir-instrument 和Endovis2017 數(shù)據(jù)集上，對(duì)本文分割網(wǎng)絡(luò)在手術(shù)器械圖像分割上的計(jì)算效率進(jìn)行測試。統(tǒng)計(jì)本文提出的分割網(wǎng)絡(luò)在這兩個(gè)數(shù)據(jù)集上平均推理時(shí)間，具體的效率分析的實(shí)驗(yàn)結(jié)果如表6所示。

表6 本文分割網(wǎng)絡(luò)的平均推理時(shí)間Table 6 Average inference time of proposed network

基于表6 中的實(shí)驗(yàn)結(jié)果，可以計(jì)算出本文提出的分割網(wǎng)絡(luò)在Kvasir-instrument 數(shù)據(jù)集的平均推理速度為59 幀/s，對(duì)于Endovis2017 數(shù)據(jù)集的平均推理速度為45 幀/s。結(jié)合精度分析和計(jì)算效率分析，本文提出的分割網(wǎng)絡(luò)在保證良好的分割精度的基礎(chǔ)上，取得了很好的分割效率。因此，本文分割網(wǎng)絡(luò)在手術(shù)器械分割任務(wù)上兼具分割效率和分割精度，可以實(shí)現(xiàn)手術(shù)器械的準(zhǔn)確、快速分割。

4.4 編碼器性能的影響

除上述實(shí)驗(yàn)之外，為了更充分地說明本文設(shè)計(jì)的雙編碼器結(jié)構(gòu)中Transformer分支對(duì)于提升分割精度的作用，在Kvasir-instrument 數(shù)據(jù)集上單獨(dú)對(duì)使用雙編碼器和使用CNN 單分支編碼器的網(wǎng)絡(luò)分割性能進(jìn)行測試。不同網(wǎng)絡(luò)配置的熱圖如圖8 所示。顏色越靠近紅色的像素點(diǎn)表示目標(biāo)像素點(diǎn)的概率越高。反之，顏色越靠近藍(lán)色的像素點(diǎn)表示背景像素點(diǎn)的概率越高。

圖8 Kvasir-instrument數(shù)據(jù)集上不同編碼器下的熱圖Fig.8 Heat maps for different encoders on Kvasir-instrument dataset（（a）raw images；（b）ground truth；（c）dual-encoder；（d）CNN encoder）

如圖8 所示，應(yīng)用雙編碼器的分割網(wǎng)絡(luò)完全將注意力集中在目標(biāo)像素，無論對(duì)于目標(biāo)的內(nèi)部像素還是邊界像素都具有優(yōu)秀的分割能力，與單分支CNN 編碼器相比，可以獲得更接近真實(shí)值的分割結(jié)果。圖8 直觀有效地表明了融合Transformer 和CNN的雙編碼器結(jié)構(gòu)可以很大程度地提高手術(shù)器械的分割精度，通過雙編碼器信息的融合，可以有效地獲取上下文信息提取，使手術(shù)器械分割網(wǎng)絡(luò)獲取更加清晰的邊界信息。

5 結(jié)論

為了提升手術(shù)器械分割的精度，以編碼器—解碼器為基礎(chǔ)架構(gòu)，本文提出了一種用于手術(shù)器械分割的端到端的基于CNN 和Transformer 的雙編碼器融合的手術(shù)器械分割網(wǎng)絡(luò)，實(shí)現(xiàn)手術(shù)器械的自動(dòng)準(zhǔn)確分割。為了實(shí)現(xiàn)內(nèi)窺鏡圖像的有效表征，提出了基于Transformer 和CNN 融合的雙編碼器模塊，以增強(qiáng)分割網(wǎng)絡(luò)對(duì)于局部特征和全局上下文語義信息的學(xué)習(xí)能力。同時(shí)，基于深度可分離空洞卷積，提出了多尺度注意融合模塊，在產(chǎn)生較少參數(shù)的前提下，實(shí)現(xiàn)多尺度語義信息的有效提取，增強(qiáng)網(wǎng)絡(luò)的特征表達(dá)。另外，引入全局注意力單元，以減少類不均衡問題對(duì)分割性能的影響。實(shí)驗(yàn)結(jié)果表明，本文提出的分割網(wǎng)絡(luò)在Endovis2017 和Kvasir-instrument 數(shù)據(jù)集上都獲得了優(yōu)異的分割性能，可以快速準(zhǔn)確地分割出手術(shù)器械，并獲得準(zhǔn)確清晰的邊界，分割精度遠(yuǎn)遠(yuǎn)超越了對(duì)比的手術(shù)器械分割方法。

雖然本文的工作已經(jīng)在很大程度上提升了手術(shù)器械分割的精度，但是仍有提升的空間，未來會(huì)仍然專注于手術(shù)器械分割，期望設(shè)計(jì)出更精確高效的手術(shù)器械分割方法。