基于共現(xiàn)流增強(qiáng)雙向金字塔卷積網(wǎng)絡(luò)的密集液滴識(shí)別

朱凌，王雅萍，廖麗敏

（1.鄭州大學(xué) 信息工程學(xué)院，鄭州 450001；2.廣東順德創(chuàng)新設(shè)計(jì)研究院，廣東 佛山 528311）

0 概述

數(shù)字聚合酶鏈?zhǔn)椒磻?yīng)（Polymerase Chain Reaction，PCR）［1］是一種用于放大擴(kuò)增特定DNA 片段的分子生物學(xué)技術(shù)，可將其看作是生物體外的特殊DNA 復(fù)制。精準(zhǔn)定量DNA 中核酸分子的方法是通過(guò)PCR液滴識(shí)別與統(tǒng)計(jì)而得到的，早期階段往往采用人工方式進(jìn)行液滴統(tǒng)計(jì)，進(jìn)而對(duì)核酸分子進(jìn)行定量評(píng)測(cè)，這不僅耗時(shí)耗力，而且受人工因素（人為主觀性）制約，識(shí)別精度較低。

目前，國(guó)內(nèi)外研究者已經(jīng)開發(fā)了多種PCR 液滴識(shí)別與統(tǒng)計(jì)算法。文獻(xiàn)［2］使用圖像增強(qiáng)、形態(tài)學(xué)、邊緣檢測(cè)算子等多種方法對(duì)PCR 液滴圖像進(jìn)行處理，實(shí)現(xiàn)了對(duì)液滴的準(zhǔn)確識(shí)別與統(tǒng)計(jì)。文獻(xiàn)［3］提出了一種液滴數(shù)字PCR 的自動(dòng)識(shí)別判讀方法，并將其嵌入芯片以實(shí)現(xiàn)成果應(yīng)用。文獻(xiàn)［4］為實(shí)現(xiàn)密集分布的PCR 液滴，對(duì)分水嶺分割算法進(jìn)行改進(jìn)，降低了目標(biāo)對(duì)圖像灰度信息的依賴，并改善了PCR 液滴的識(shí)別精度。文獻(xiàn)［5］研究一種用于膠質(zhì)瘤患者縱向監(jiān)測(cè)的microRNA 血清生物標(biāo)志物，利用液滴數(shù)字PCR 技術(shù)對(duì)候選miRNAs 進(jìn)行評(píng)估，并使用隨機(jī)森林方法探究miRNA 血清中的差異。雖然這些方法都能夠提高PCR 液滴的識(shí)別精度，并有效減少通過(guò)人工參與進(jìn)行篩選識(shí)別等造成的誤差，但當(dāng)數(shù)據(jù)規(guī)模較大時(shí)難以確保較高的識(shí)別精度。

隨著深度學(xué)習(xí)技術(shù)在自然語(yǔ)言處理、圖像分割、目標(biāo)檢測(cè)等諸多領(lǐng)域的成功應(yīng)用［6-8］，深度學(xué)習(xí)技術(shù)也被用于液滴數(shù)字PCR 圖像中以對(duì)液滴進(jìn)行識(shí)別與統(tǒng)計(jì)。文獻(xiàn)［9］考慮到PCR 圖像特征范圍較廣、結(jié)構(gòu)分布不規(guī)則等情況，提出一種基于Mask-RCNN 模型的微陣列和微滴dPCR 核酸定量方法，對(duì)PCR 圖像進(jìn)行了有效的處理，同時(shí)提高了目標(biāo)識(shí)別精度。文獻(xiàn)［10］采集了1 088 位RT-PCR 患者的胸片作為測(cè)試數(shù)據(jù)，提出一種Denoising Fully Connected Network（DFCN）深度學(xué)習(xí)框架用于檢測(cè)COVID-19。文獻(xiàn)［11］以RT-PCR 陽(yáng)性的圖像為數(shù)據(jù)樣本訓(xùn)練的深度學(xué)習(xí)框架，并對(duì)COVID-19 進(jìn)行了檢測(cè)。文獻(xiàn)［12］提出一種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)和跟蹤算法來(lái)研究稠密微流控乳劑中液滴的運(yùn)動(dòng)，與標(biāo)準(zhǔn)聚類算法相比，即使在存在顯著變形的情況下，深度學(xué)習(xí)算法也能正確預(yù)測(cè)液滴的形狀，并以競(jìng)爭(zhēng)性的速率跟蹤其運(yùn)動(dòng)。文獻(xiàn)［13］提出一種基于稀疏表示的圖像超分辨率方法，對(duì)低分辨率的液滴圖像運(yùn)用基于深度學(xué)習(xí)的方法進(jìn)行重建，并在重構(gòu)過(guò)程中加入了回歸算法，有效地克服了圖像含有不真實(shí)信息和邊緣毛刺多等問(wèn)題。文獻(xiàn)［14］提出一種弱監(jiān)督的深度學(xué)習(xí)策略用于從圖像中檢測(cè)和分類新冠病毒，該方法可以最大限度地減少手動(dòng)標(biāo)記圖像的要求。

雖然上述深度學(xué)習(xí)方法減少了人工參與特征設(shè)計(jì)和篩選帶來(lái)的誤差，對(duì)PCR 圖像中的目標(biāo)進(jìn)行了高階語(yǔ)義建模，但都忽略了目標(biāo)的低層物理結(jié)構(gòu)和幾何外觀細(xì)節(jié)信息，同時(shí)在特征建模的過(guò)程中重復(fù)使用了冗余信息，特征的表征能力有待改善。此外，這些方法只是用于識(shí)別或檢測(cè)PCR 圖像上的液滴目標(biāo)，并未對(duì)密集液滴進(jìn)行檢測(cè)識(shí)別以及統(tǒng)計(jì)。針對(duì)上述方法存在的不足，本文提出一種共現(xiàn)流增強(qiáng)雙向金字塔卷積網(wǎng)絡(luò)（Co-occurrence Flow enhanced Bidirectional Pyramid Convolution Network，CoF-BiPCN）框架，用于PCR 圖像中密集液滴的識(shí)別與統(tǒng)計(jì)。利用時(shí)空雙向金字塔卷積網(wǎng)絡(luò)對(duì)PCR 圖像中液滴的物理外觀和高階語(yǔ)義進(jìn)行建模，形成高低層語(yǔ)義互補(bǔ)，增強(qiáng)特征對(duì)液滴的描述能力。在此基礎(chǔ)上，利用切片的共現(xiàn)注意力（Slice Co-occurrence Attention，SCo-AN）對(duì)這些多尺度信息進(jìn)行交叉聚合，在2 個(gè)分支之間實(shí)現(xiàn)嵌入共享，避免使用冗余信息，同時(shí)提高液滴的識(shí)別精度。

1 CoF-BiPCN 液滴識(shí)別框架

PCR 圖像中液滴的物理結(jié)構(gòu)和幾何外觀變化相對(duì)較大，且分布較為密集，每個(gè)液滴的邊緣緊密相連，容易表現(xiàn)出類內(nèi)和類間多樣性，而傳統(tǒng)金字塔網(wǎng)絡(luò)在進(jìn)行多尺度特征捕獲時(shí)，并未考慮金字塔內(nèi)部和層間的相關(guān)性，難以有效區(qū)分這種類內(nèi)或類間多樣性。此外，該網(wǎng)絡(luò)僅僅從單一方向?qū)Χ喑叨忍卣鬟M(jìn)行融合，在特征的表征能力上受到限制。為了解決這些問(wèn)題，本文提出共現(xiàn)流增強(qiáng)雙向金字塔卷積網(wǎng)絡(luò)（CoF-BiPCN）液滴識(shí)別框架，從正反2 個(gè)方向?qū)σ旱蔚亩喑叨刃畔⑦M(jìn)行時(shí)空建模。在此基礎(chǔ)上，利用切片共現(xiàn)注意力（SCo-AN）對(duì)不同尺度的特征信息進(jìn)行交叉?zhèn)鬟f，實(shí)現(xiàn)不同層級(jí)的信息共享，從而增強(qiáng)模型對(duì)特征的描述能力，提高識(shí)別精度。

CoF-BiPCN 液滴識(shí)別框架主要由3 個(gè)模塊構(gòu)成，即雙向金字塔卷積網(wǎng)絡(luò)（BiPCN）的時(shí)序分支和空間分支，以及共現(xiàn)流增強(qiáng)模塊（切片的共現(xiàn)注意力）。下文將對(duì)這3 個(gè)重要模塊進(jìn)行詳細(xì)分析。CoF-BiPCN 液滴識(shí)別框架的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。其中：切片共現(xiàn)注意力的子空間用綠色標(biāo)出；pi=4，5，6，7表示金字塔卷積層；xte、xsp表示骨干網(wǎng)絡(luò)ResNet-101的輸出特征；α、β、λ分別表示可學(xué)習(xí)的權(quán)重因子；τsco、τsp、τte分別表示不同模塊的損失函數(shù)；fte、fsp分別表示時(shí)序分支和空間分支輸出的多層級(jí)特征信息；⊕表示簡(jiǎn)單拼接操作。在BiPCN 模塊中，向右指向箭頭表示自頂而下的正向建模過(guò)程，向左指向箭頭表示自底而上的反向建模過(guò)程。

圖1 CoF-BiPCN 液滴識(shí)別框架的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of CoF-BiPCN droplet recognition framework

1.1 BiPCN 模塊

金字塔卷積網(wǎng)絡(luò)（Pyramid Convolutional Network，PCN）［15］是一個(gè)跨尺度和空間維度的三維卷積網(wǎng)絡(luò)。假設(shè)圖1 的BiPCN 模塊中不同的點(diǎn)表示不同層的特征信息，則PCN 可以表示為N個(gè)不同的2-D 卷積核。由于不同級(jí)金字塔所產(chǎn)生的特征圖大小不匹配，金字塔級(jí)別與空間大小成反比，因此為確保不同級(jí)金字塔輸出的特征圖之間形成匹配，對(duì)k={1,2,…,N}個(gè)不同級(jí)金字塔卷積核設(shè)置不同的步長(zhǎng)。例如，當(dāng)PCN 中金字塔卷積核N=3 時(shí)，卷積內(nèi)核的步長(zhǎng)分別為2、1 和1/2，第l級(jí)金字塔卷積的正向輸出如式（1）所示：

其中：s=1 表示標(biāo)準(zhǔn)步長(zhǎng)；ws/2、ws、w2s表示不同步長(zhǎng)的二維卷積核。在特征信息在傳遞過(guò)程中，步長(zhǎng)為1/2 的金字塔卷積核將被一個(gè)標(biāo)準(zhǔn)步長(zhǎng)的卷積核和上采樣層替換，即表示為式（2）：

為了更好地對(duì)PCR 圖像中液滴的上下文語(yǔ)義和多尺度依賴關(guān)系進(jìn)行建模，本文設(shè)計(jì)了自底向上的反向策略（如圖1 中BiPCN 模塊向左指向箭頭），以進(jìn)一步強(qiáng)化多尺度信息的表征能力。假設(shè)第6 級(jí)金字塔卷積的正向輸出為自底向上的反向輸出則可定義為式（3）：

BiPCN 模塊不僅可以捕獲PCR 圖像中液滴的多層級(jí)、多尺度信息，而且能夠利用正反向融合策略有效地對(duì)上下文語(yǔ)義進(jìn)行建模，豐富多尺度特征的描述能力。此外，時(shí)空分支的BiPCN 模塊可以同時(shí)對(duì)液滴的物理結(jié)構(gòu)和高階語(yǔ)義進(jìn)行建模，突出特征的表征能力，并從金字塔的結(jié)構(gòu)內(nèi)部和層間2 個(gè)方面探索相關(guān)性，以加強(qiáng)PCR 圖像中液滴目標(biāo)的類間和類內(nèi)差異性，提高識(shí)別精度。

1.2 SCo-AN 模塊

BiPCN 模塊雖然能夠?qū)CR 圖像上液滴的多層級(jí)、多尺度時(shí)空語(yǔ)義進(jìn)行有效建模，但對(duì)輸入的多尺度特征xte、xsp進(jìn)行編碼時(shí)，往往會(huì)忽略這些語(yǔ)義的重要細(xì)節(jié)，并且會(huì)多次使用冗余信息，削弱特征對(duì)液滴的描述能力。為進(jìn)一步突破這些限制，本文使用切片的共現(xiàn)注意力（SCo-AN）［16-17］，對(duì)不同尺度的特征信息做精細(xì)化處理，進(jìn)行交叉聚合并跨尺度傳遞到BiPCN 模塊中，即把相對(duì)應(yīng)尺度的時(shí)空信息輸入到相應(yīng)的切片組中進(jìn)行信息聚合，實(shí)現(xiàn)信息流的共享。這種切片方式同時(shí)也有助于跨通道交互，強(qiáng)化不同尺度之間的依賴關(guān)系。

假設(shè)輸入SCo-AN 的初始特征為x∈RC×H×W，將通道隨機(jī)切片成?個(gè)子空間組，由于本文使用了時(shí)空分支的BiPCN，因此輸入特征滿足xφ∈RC/2φ×H×W。例如，輸入信息分別為時(shí)空分支的第4 級(jí)BiPCN 特征和則交叉聚合和傳遞輸出可以表示為式（4）：

其中：Co1、Co2表示切片注意力的子空間；Att(?)表示切片共現(xiàn)注意力；→表示傳遞過(guò)程。由此，第5 級(jí)BiPCN 的輸入如式（5）所示：

將不同尺度的高低層信息在不同切片子空間中進(jìn)行共享聚合，并交叉?zhèn)鬟f到不同分支的BiPCN 中，不僅能夠強(qiáng)化高低層特征信息在信道上的交互和依賴關(guān)系，同時(shí)也進(jìn)一步減少了冗余信息的使用，提高了液滴的識(shí)別精度。為了進(jìn)一步提高該識(shí)別框架的精度，使用加權(quán)的三重?fù)p失函數(shù)對(duì)其進(jìn)行優(yōu)化調(diào)整?？倱p失函數(shù)如式（6）所示：

其中：α、β、λ分別表示可學(xué)習(xí)的權(quán)重因子；τsco、τsp、τte分別表示不同模塊的損失函數(shù)。

2 實(shí)驗(yàn)

為驗(yàn)證CoF-BiPCN 液滴識(shí)別框架的有效性，下文進(jìn)行一系列實(shí)驗(yàn)測(cè)試。

2.1 數(shù)據(jù)準(zhǔn)備

實(shí)驗(yàn)數(shù)據(jù)集為75 張液滴PCR 圖像，大小均為1 120×720 像素。為確保訓(xùn)練過(guò)程的有效性同時(shí)增加訓(xùn)練樣本的數(shù)量，隨機(jī)挑選65 張作為訓(xùn)練樣本并進(jìn)行裁剪處理，即1 張PCR 液滴圖像沿x軸和y軸裁剪成6 張600×512 像素。為增加訓(xùn)練樣本的數(shù)量，對(duì)裁剪后的液滴圖像進(jìn)行增強(qiáng)處理，最終的訓(xùn)練樣本中數(shù)量為3 900，大小為600×512 像素。從訓(xùn)練樣本中隨機(jī)抽取10%作為驗(yàn)證樣本，即390 張。

使用準(zhǔn)確率、召回率和平均精度均值（mean Average Precision，mAP）作為評(píng)價(jià)指標(biāo)。其中，準(zhǔn)確率為測(cè)試樣本中識(shí)別到的液滴數(shù)量和總液滴數(shù)的比值。

2.2 實(shí)驗(yàn)參數(shù)與環(huán)境配置

訓(xùn)練中使用Stochastic Gradient Descen（tSGD）優(yōu)化器，其動(dòng)量值設(shè)置為0.9，衰減權(quán)重設(shè)置為4e?5，學(xué)習(xí)率設(shè)置為1e?4，批處理設(shè)置為32，迭代次數(shù)為200。為了防止過(guò)擬合現(xiàn)象的發(fā)生，設(shè)置了早停處理，即迭代到10 次時(shí)，如果損失不下降，則停止迭代。

實(shí)驗(yàn)在2 塊RTX-3080 的GPU 上進(jìn)行，其開發(fā)環(huán)境為python3.6.10、torch1.7.1+cu110。使用的其他深度學(xué)習(xí)庫(kù)有NumPy、OpenCV、torchvision0.8.2 等。

2.3 實(shí)驗(yàn)結(jié)果與分析

2.3.1 不同模塊對(duì)框架整體性能的影響

為驗(yàn)證CoF-BiPCN 液滴識(shí)別框架的有效性，對(duì)不同模塊進(jìn)行驗(yàn)證測(cè)試，實(shí)驗(yàn)結(jié)果如表1 所示，其中所有模塊均由時(shí)空分支構(gòu)成。ResNet-101［18］表示時(shí)空分支均由ResNet-101 構(gòu)成，其他模塊同理。

表1 不同模塊性能對(duì)比Table 1 Performance comparison of different modules %

由表1 可以得出以下結(jié)論：

1）CoF-BiPCN 液滴識(shí)別框架取得最優(yōu)表現(xiàn)，準(zhǔn)確率、召回率和mAP分別為85.30%、84.74%和45.09%，主要原因是BiPCN 對(duì)液滴的物理外觀和高階語(yǔ)義信息進(jìn)行了有效建模，并利用SCo-AN 實(shí)現(xiàn)信息共享，以及加強(qiáng)了不同尺度特征在信道之間的交互和依賴性。同時(shí)，多層級(jí)特征之間形成互補(bǔ)，有助于描述PCR 圖像中密集液滴之間的類內(nèi)和類間差異性，提高了液滴的辨識(shí)度。

2）PCN 系列模塊優(yōu)于FPN［19］和ResNet-101，其mAP 值分別提高了3.75 和5.39 個(gè)百分點(diǎn)。FPN雖然捕獲了液滴的多尺度金字塔結(jié)構(gòu)，但是在信息傳遞過(guò)程中使用了大量冗余信息，同時(shí)，因接受域的限制，并不能對(duì)全局上下文語(yǔ)義信息進(jìn)行有效建模。由于PCN 包含了大量不同尺度的濾波器，對(duì)低層物理外觀等重要細(xì)節(jié)信息進(jìn)行了建模，與高階語(yǔ)義形成了互補(bǔ)，改善了多尺度特征對(duì)液滴的描述能力，因此，在3 個(gè)評(píng)價(jià)指標(biāo)上均優(yōu)于FPN。

為了直觀表示CoF-BiPCN 識(shí)別框架的有效性，給出前10 次迭代的訓(xùn)練精度，結(jié)果如圖2 所示?？梢钥闯?，隨著迭代次數(shù)的增加，CoF-BiPCN 液滴識(shí)別框架訓(xùn)練精度的增長(zhǎng)速度和增長(zhǎng)率均為最優(yōu)。

圖2 前10 次訓(xùn)練精度Fig.2 Accuracy of the first ten trainings

2.3.2 訓(xùn)練樣本對(duì)框架整體性能的影響

為進(jìn)一步驗(yàn)證CoF-BiPCN 液滴識(shí)別框架在小規(guī)模數(shù)據(jù)上的表現(xiàn)，使用原始的75 張1 120×720 像素圖像中的65 張作為訓(xùn)練集，對(duì)該框架進(jìn)行測(cè)試驗(yàn)證，實(shí)驗(yàn)結(jié)果如圖3 所示。

圖3 小樣本的訓(xùn)練結(jié)果Fig.3 Training results for small samples

由圖3 可以得出以下結(jié)論：

1）CoF-BiPCN 液滴識(shí)別框架在少量樣本上也取得了具有競(jìng)爭(zhēng)性的表現(xiàn)，盡管其參數(shù)量較大，但精度卻有明顯改善，mAP 值為27.7%。主要原因可能是CoF-BiPCN 捕獲了重要的細(xì)節(jié)語(yǔ)義，而在信息傳遞過(guò)程中，使用SCo-AN 對(duì)整體的多層級(jí)、多尺度信息流進(jìn)行了增強(qiáng)，這些精細(xì)化處理減少了冗余信息的影響，進(jìn)一步突出了相關(guān)特征對(duì)液滴的描述。

2）CoF-BiPCN 中大量的卷積濾波器提高了該網(wǎng)絡(luò)的接受域，同時(shí)，正反2 個(gè)方向?qū)Χ鄬蛹?jí)信息進(jìn)行建模也使得特征信息更加豐富。

2.4 消融實(shí)驗(yàn)

為證明SCo-AN 模塊的有效性和對(duì)識(shí)別效果的影響，針對(duì)該模塊進(jìn)行消融實(shí)驗(yàn)測(cè)試，并給出可視化熱力圖，可視化效果如圖4 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）?？梢钥闯觯嚎臻g特征（圖4（b））更關(guān)注PCR 圖像中液滴的局部信息，對(duì)圖像中局部區(qū)域的表征能力更強(qiáng)，而時(shí)序特征（圖4（c））更關(guān)注全局語(yǔ)義，同時(shí)對(duì)液滴的物理結(jié)構(gòu)和幾何外觀的描述更清晰；在熱力圖（圖4（c））中，時(shí)空分支結(jié)合能形成信息互補(bǔ)，即該圖中液滴的物理外觀和高級(jí)語(yǔ)義均比較明顯，同時(shí)相比于圖4（b）和圖4（c）在特征的表征上更清晰，這也證明了該模塊對(duì)特征進(jìn)行了精細(xì)化處理。

圖4 SCo-AN 模塊的熱力圖Fig.4 Thermal diagrams of SCo-AN module

2.5 與其他方法的比較

為進(jìn)一步驗(yàn)證CoF-BiPCN 液滴識(shí)別框架的有效性和可靠性，將其與其他先進(jìn)模型進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表2 所示。

表2 CoF-BiPCN 與其他先進(jìn)模型的性能對(duì)比Table 2 Performance comparison of CoF-BiPCN with other advanced models

由表2 可以得出以下結(jié)論：

1）相比于YOLOv3［20］等單階段檢測(cè)模型，F(xiàn)aster-RCNN［21］、Mask RCNN［22］、Cascade RCNN［23］等雙階段檢測(cè)模型均取得了更好的識(shí)別精度。如Cascade RCNN 在3 個(gè)評(píng)價(jià)指標(biāo)上比YOLOv3 分別高出19.31、12.06 和19.01 個(gè)百分點(diǎn)，這是因?yàn)橄啾扔贒arknet53，ResNet-101+FPN 捕獲了更多的細(xì)節(jié)信息，提高了特征對(duì)液泡的表征能力。

2）CoF-BiPCN 比Cascade RCNN 框架精度更高，主要原因是BiPCN 更好地捕獲了PCR 圖像中液滴的上下文語(yǔ)義，并從正反2 個(gè)方向?qū)ξ锢硗庥^、高階語(yǔ)義等多層級(jí)信息進(jìn)行時(shí)空建模，從金字塔內(nèi)部和層間探索了特征信息的相關(guān)性，并利用SCo-AN 模塊對(duì)這些信息進(jìn)行了交叉聚合和傳遞，進(jìn)一步精細(xì)化了多層級(jí)信息，提高了特征的利用率。

3）相比于其他液滴識(shí)別方法，CoF-BiPCN 液滴識(shí)別框架在識(shí)別效率和空間復(fù)雜度上也取得了較好的結(jié)果，每識(shí)別5 張PCR 液滴圖像的時(shí)間為12.3 s。雖然比YOLOv3 和Faster-RCNN增加了7.6 s 和2.8 s，但識(shí)別精度卻有很大提升。

2.6 統(tǒng)計(jì)結(jié)果

為了后續(xù)應(yīng)用以及更直觀地展示CoF-BiPCN 液滴識(shí)別框架的有效性，給出了識(shí)別效果并統(tǒng)計(jì)每張圖像上液滴的數(shù)量，實(shí)驗(yàn)結(jié)果如圖5 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版），其中，從上到下液滴數(shù)量分別為454、514、521 個(gè)。

圖5 密集液滴識(shí)別效果Fig.5 Recognition effect of dense droplet

3 結(jié)束語(yǔ)

本文提出共現(xiàn)流增強(qiáng)雙向金字塔卷積網(wǎng)絡(luò)（CoF-BiPCN）液滴識(shí)別框架。采用雙向金字塔卷積網(wǎng)絡(luò)作為時(shí)空分支的主干，不僅對(duì)PCR 圖像中液滴的多層級(jí)（物理外觀和高階語(yǔ)義）信息進(jìn)行時(shí)空建模，同時(shí)也從金字塔內(nèi)部和層間探索特征信息的關(guān)聯(lián)性。為減小冗余信息的干擾，提高對(duì)多層級(jí)信息的表征能力，使用切片的共現(xiàn)注意力（SCo-AN）模塊從不同子空間對(duì)這些信息進(jìn)行聚合，并通過(guò)交叉?zhèn)鬟f做精細(xì)化處理，建立一種長(zhǎng)期依賴關(guān)系，突出類內(nèi)和類間差異性。實(shí)驗(yàn)結(jié)果表明，與YOLOv3、Faster-RCNN、Mask-RCNN 和Cascade RCNN 模型相比，CoF-BiPCN 具有較高的識(shí)別精度。后續(xù)將設(shè)計(jì)一種更簡(jiǎn)單、有效的語(yǔ)義引導(dǎo)框架，進(jìn)一步加強(qiáng)低層物理外觀與高階語(yǔ)義之間的交互，同時(shí)簡(jiǎn)化訓(xùn)練參數(shù)，提高邊界液滴的識(shí)別精度。