基于改進(jìn)U-Net 的水稻葉片細(xì)胞分割方法研究

韋鈣興，易文龍，劉昱成，趙應(yīng)丁，陳庭倬

（1.江西農(nóng)業(yè)大學(xué) 軟件學(xué)院，江西 南昌 330045；2.成都新朝陽作物科學(xué)股份有限公司 生物技術(shù)研究院，四川 成都 611630）

水稻是我國主要的糧食作物之一。位于水稻葉片上下表皮之間的葉肉細(xì)胞是水稻進(jìn)行光合作用的主要場所，研究水稻葉肉細(xì)胞的大小和形態(tài)可為水稻葉片光合作用以及相關(guān)生命活動研究提供重要的科學(xué)依據(jù)[1]。例如，水稻葉肉細(xì)胞排列規(guī)整，形態(tài)呈多邊形，其幾何形態(tài)可以為細(xì)胞的分析與建模提供關(guān)鍵的數(shù)據(jù)支撐[2]；通過觀察葉肉細(xì)胞的結(jié)構(gòu)可為水稻不同的葉片表型研究提供科學(xué)依據(jù)[3]。以往研究人員通過手動分割出葉肉細(xì)胞形狀，單純憑借肉眼對大量圖像進(jìn)行識別分割是一項(xiàng)耗時耗力的工作，而且在制作水稻葉片細(xì)胞顯微鏡圖像時易受到實(shí)驗(yàn)環(huán)境中的噪聲、設(shè)備、光線以及人為操作等因素的干擾，得到的顯微鏡圖像中存在細(xì)胞邊界模糊、低信噪比和葉肉細(xì)胞相互粘連堆疊等問題，導(dǎo)致人工分割水稻葉肉細(xì)胞耗時更長，且要求具備較高的專業(yè)知識，無疑加大了研究的成本。所以研究出一種水稻葉片細(xì)胞的自動化分割算法尤為重要。

在早期細(xì)胞圖像研究中，一些研究者使用基于閾值的分割方法[4-5]、基于邊緣檢測的分割方法[6-7]、基于區(qū)域的分割方法[8-9]、基于圖論的分割方法[10]實(shí)現(xiàn)了圖像的自動分割，然而該類方法主要是利用圖像的單一特征，例如灰度、形態(tài)以及紋理等信息進(jìn)行處理，但對于細(xì)胞邊界模糊、低信噪比和葉肉細(xì)胞相互粘連堆疊的水稻葉片細(xì)胞圖像很難實(shí)現(xiàn)精確分割，因此需要一種更加高效的方法對水稻葉片細(xì)胞圖像進(jìn)行精確分割。

近年來隨著人工智能的發(fā)展，許多學(xué)者使用深度學(xué)習(xí)方法解決細(xì)胞分割領(lǐng)域的問題，特別是2015年提出的具有解碼-編碼器結(jié)構(gòu)的U-Net[11]網(wǎng)絡(luò)，該算法在醫(yī)學(xué)細(xì)胞圖像分割上取得了較好的成績[12-13]，此后眾多學(xué)者在此算法基礎(chǔ)上進(jìn)行了改進(jìn)。例如，XIAO 等[14]提出一種加權(quán)Res-UNet 網(wǎng)絡(luò)，通過結(jié)合殘差網(wǎng)絡(luò)和U-Net網(wǎng)絡(luò)用于視網(wǎng)膜血管圖像分割，加強(qiáng)特征提取的能力，該方法在易受噪聲背景影響的視網(wǎng)膜血管圖像上實(shí)現(xiàn)較好的分割效果，對視盤區(qū)域識別能力低問題有很大的提升；ZHOU等[15]提出一種具有密集路徑連接的網(wǎng)絡(luò)Unet++，其通過使用一系列嵌套的密集路徑連接代替U-Net中原有的跳躍連接，將編碼層各層輸出連接到解碼器中，增加了編碼器與解碼器的聯(lián)系，在醫(yī)學(xué)圖像的分割效果上優(yōu)于U-Net；HUANG 等[16]提出一種具有深度監(jiān)督的U-Net+++網(wǎng)絡(luò)，其利用全尺寸跳躍連接將低級細(xì)節(jié)與不同尺度特征信息結(jié)合起來，再使用深度監(jiān)督從全尺寸聚合特征圖提取到層次語義信息，不僅減少網(wǎng)絡(luò)參數(shù)還提高了計(jì)算效率，在人體器官圖像分割中提升了分割精度。

以上方法雖然在一定程度上提高了細(xì)胞圖像的分割精度，但只局限于單一語義特征信息增強(qiáng)，沒有進(jìn)行全局信息串聯(lián)，缺乏上下文的信息聯(lián)系，無法降低編碼器與解碼器的歧義，導(dǎo)致后期細(xì)胞定位信息不準(zhǔn)確，分割出來的葉肉細(xì)胞邊界不清晰和精度不高。因此，提出一種基于改進(jìn)U-Net 的水稻葉片細(xì)胞分割方法。首先，在U-Net 網(wǎng)絡(luò)的編碼器上使用BAResNeXt 模塊，減少網(wǎng)絡(luò)計(jì)算參數(shù)，快速獲取精確的葉片細(xì)胞定位信息；其次，引入CCA 模塊降低編碼器與解碼器的語義歧義，增加信息融合的有效性；最后，加入SE 注意力機(jī)制對融合信息進(jìn)行過濾，增加細(xì)胞信息的權(quán)重，將網(wǎng)絡(luò)目標(biāo)聚焦到葉肉細(xì)胞，解決因葉肉細(xì)胞相互粘連堆疊而導(dǎo)致分割困難的問題，以得到精度較高、魯棒性好的分割模型，為水稻葉片細(xì)胞分析提供一種準(zhǔn)確的自動化分割思路。

1 材料和方法

1.1 材料

以長江中下游廣為種植的岡優(yōu)6366 品種水稻為試驗(yàn)材料，樣本獲取過程如圖1 所示，首先，將種子在水中浸泡10 min，篩選出100 顆飽滿的種子，均勻地放置于發(fā)芽箱中的雙層吸水紙上并注入水，待吸水紙完全飽和；其次，將發(fā)芽箱置于上海一恒MGC-250 Hp 人工氣候箱中進(jìn)行催芽，氣候箱環(huán)境參數(shù)設(shè)置為25 ℃溫度、50%濕度并進(jìn)行每天16 h的光照，經(jīng)過5 d，隨機(jī)選擇一片水稻葉片，對距離葉尖15 mm 處組織進(jìn)行脫色處理，使用MoticBA210數(shù)字顯微鏡對葉片材料的葉肉細(xì)胞進(jìn)行拍攝；最后，將得到的水稻葉片細(xì)胞圖像按6∶2∶2比例劃分為訓(xùn)練集、驗(yàn)證集和測試集。

圖1 水稻葉片細(xì)胞圖像采集過程Fig.1 Acquisition process of rice leaf cell images

1.2 方法

基于改進(jìn)U-Net的水稻葉片細(xì)胞分割方法模型如圖2所示，其主要由BAResNeXt模塊編碼器、CCA模塊特征拼接以及SE 注意力機(jī)制解碼器組成。首先，對輸入圖像使用雙層3×3 的卷積運(yùn)算得到通道數(shù)為64、圖像尺寸大小不變的初級特征，往下輸入到BAResNeXt 模塊構(gòu)成的編碼器中，BAResNeXt 模塊采用的成長率為32，各層循環(huán)迭代參數(shù)為3、4、6、3，采用2×2 的最大池化層，每層輸出圖像大小尺寸的1/2、1/4、1/8、1/16和通道數(shù)為128、256、512、512的特征圖，該模塊不僅能減少參數(shù)快速捕獲分割對象，還能增強(qiáng)每層分割對象特征；其次，編碼器的每層輸出在與解碼器進(jìn)行拼接之前，使用CCA 模塊對編碼器的特征信息進(jìn)行過濾，在編碼器與解碼器完成拼接后使用SE 注意力機(jī)制，降低干擾信息的影響；最后，進(jìn)行逐層的上采樣和卷積操作，恢復(fù)到原圖尺度大小，完成水稻葉片細(xì)胞圖像的分割工作。

圖2 改進(jìn)U-Net網(wǎng)絡(luò)模型Fig.2 Improved U-Net network model

1.2.1 BAResNeXt 模塊 在U-Net 主干網(wǎng)絡(luò)中，采用XIE 等[17]提出的ResNeXt 進(jìn)行下采樣效果比原始下采樣效果好，因?yàn)镽esNeXt 采用了ResNet[18]的殘差結(jié)構(gòu)和Inception[19]的分組卷積策略。

設(shè)輸入?yún)?shù)的張量為（B，H，W，C），其中B為batch，H為圖像長度，W為圖像寬度，C為圖像通道數(shù)，如圖3 所示，卷積核數(shù)量為N，分組為2，每組計(jì)算參數(shù)數(shù)量為B/2×H×W×C×N/2，2 組總量為B×H×W×C×N/2，由此可見其計(jì)算量相比未分組減少50%。

圖3 二分組策略Fig.3 Two-grouping policy

雖然ResNeXt采用殘差結(jié)構(gòu)和分組卷積方法加深網(wǎng)絡(luò)深度和減少參數(shù)，提高計(jì)算效率，但是在其Residual Block 仍使用層3×3 的卷積進(jìn)行疊加，導(dǎo)致各卷積層的信息難以串聯(lián)影響網(wǎng)絡(luò)性能，因此，本研究將BA[20]模塊連接ResNeXt 的Residual Block 各層卷積輸出，從而獲得更好的分割對象定位信息，改進(jìn)的Residual Block模塊如圖4所示。

改進(jìn)的Residual Block 模塊基本流程：首先，將各卷積層計(jì)算結(jié)果Fi分別輸入到全局平均池化（Global average pooling，GAP）中得到壓縮矩陣，然后進(jìn)行批處理歸一化，具體計(jì)算過程如式（1）[20]所示。

其中，Si為Fi經(jīng)過全局平均池化、注意力權(quán)重計(jì)算和批歸一化得到的壓縮特征矩陣，將所有壓縮矩陣進(jìn)行集成求出最終的權(quán)重ω，其計(jì)算過程如式（2）[20]所示。

1.2.2 CCA 模塊 在本研究編碼器中細(xì)胞圖像經(jīng)過BAResNeXt 模塊后增強(qiáng)了每層分割對象特征，為了實(shí)現(xiàn)解碼器與編碼器間更佳的信息融合，如圖5所示，引入CCA[21]模塊對編碼器的語義信息過濾，消除與解碼器之間的語義模糊性。

圖5 交叉注意特征融合結(jié)構(gòu)Fig.5 Cross attention feature fusion structure

通道交叉注意力模塊的計(jì)算如式（3）所示：首先，將第i級編碼器和解碼器的輸出經(jīng)過平均池化和Flatten運(yùn)算得到2個1×1×C的壓縮矩陣；其次，將壓縮矩陣相加求平均值后獲得解碼器和上采樣的全局空間信息，然后生成注意掩碼Mi，其計(jì)算過程如式（3）[21]所示。

其中，Oi和Di為第i級編碼器和解碼器的輸出，L1和L2為2 個線性層的權(quán)值和ReLU 函數(shù)，將得到的注意掩碼與解碼器的輸出相乘，再和上采樣的輸出拼接完成特征信息的連接。

1.2.3 SE 注意力機(jī)制 為了提升方法編碼器與解碼器的信息融合能力，采用SE注意力機(jī)制[22]過濾圖像的干擾因素，增加細(xì)胞信息的權(quán)重，從而提升網(wǎng)絡(luò)的分割能力，SE注意力機(jī)制結(jié)構(gòu)如圖6所示。

圖6 SE注意力機(jī)制Fig.6 SE attention mechanism

SE 注 意 力 模 塊 利 用Ftr映 射：X→U，X∈RH′×W′×C′，U∈RH×W×C；以 卷 積為 例，卷 積核V=[v1，v2，···，vc]，其中vc代表第c個卷積核，那么輸出U=[u1，u2，···，uc]，其計(jì)算過程如式（4）[22]所示：

其中，F(xiàn)sq為壓縮操作，i、j為特征圖在空間維的坐標(biāo)。為了利用在壓縮操作中聚合的信息，完全捕獲通道依賴性進(jìn)行激勵操作得到s，其計(jì)算過程如式（6）[22]所示。

其中，σ和δ 為Sigmoid 和ReLU 激活函數(shù)，W、W1和W2分別為全連接層中的權(quán)重。最后將s與u進(jìn)行加權(quán)操作得到最終結(jié)果，其計(jì)算過程如式（7）[22]所示。

其中，X′=[x′1，x′2，···，x′c]。

1.3 算法評價(jià)

為了客觀評價(jià)模型性能，采用查準(zhǔn)率（Precision)、召回率（Recall)、準(zhǔn)確率（Acc)、交并比（IoU)以及相似系數(shù)（Dice)作為評價(jià)指標(biāo)，計(jì)算公式為式（8）—（12）。

其中，TP、FP、FN和TN的含義如表1所示。

表1 評價(jià)指標(biāo)含義Tab.1 Meaning of evaluation indicators

2 結(jié)果與分析

試驗(yàn)環(huán)境使用Intel（R）Core（TM）i7-10750H CPU；NIVIDIA Tesla T4 型GPU，16 GB 顯存；32 GB內(nèi)存；操作系統(tǒng)為Linux 的硬件訓(xùn)練平臺。深度學(xué)習(xí)框架使用pytorch 1.5.0以及python 3.6，CUDA 10.2版本的計(jì)算框架，深度神經(jīng)網(wǎng)絡(luò)加速庫選擇CUDNN 10.2 版本。使用的優(yōu)化算法為RMsprop 算法，該算法和動量方法一樣都可以加快梯度下降速度，學(xué) 習(xí) 率lr 設(shè) 置 為0.001，weight_decay 和momentum為默認(rèn)值，batch為4，迭代次數(shù)為400。

2.1 改進(jìn)U-Net網(wǎng)絡(luò)與U-Net試驗(yàn)結(jié)果比較

為了驗(yàn)證改進(jìn)U-Net 網(wǎng)絡(luò)的分割性能，采用損失率、交并比和相似系數(shù)作為評價(jià)指標(biāo)。改進(jìn)UNet網(wǎng)絡(luò)與U-Net 網(wǎng)絡(luò)的訓(xùn)練結(jié)果如圖7 所示，紅色曲線為改進(jìn)U-Net網(wǎng)絡(luò)，灰色曲線為U-Net網(wǎng)絡(luò)，其中圖7a、b 和c 代表訓(xùn)練過程中訓(xùn)練集的損失率、交并比以及相似系數(shù)，而圖7d、e 和f 代表訓(xùn)練過程中驗(yàn)證集的損失率、交并比以及相似系數(shù)。從圖7 可知，隨著迭代次數(shù)的增加，2條曲線慢慢下降且趨于平緩（圖7a），當(dāng)?shù)螖?shù)到達(dá)400時將完成訓(xùn)練；改進(jìn)U-Net網(wǎng)絡(luò)的損失率比U-Net網(wǎng)絡(luò)低且更快達(dá)到收斂，交并比以及相似系數(shù)也比U-Net網(wǎng)絡(luò)更高，說明改進(jìn)U-Net網(wǎng)絡(luò)相比U-Net網(wǎng)絡(luò)具有收斂速度更快、分割精度更高的優(yōu)點(diǎn)。

圖7 改進(jìn)U-Net與U-Net網(wǎng)絡(luò)比較Fig.7 Comparison between the improved U-Net and U-Net network

2.2 U-Net不同改進(jìn)方案試驗(yàn)結(jié)果比較

為了驗(yàn)證本研究是否有效，對U-Net 不同改進(jìn)方案進(jìn)行比較，采用的評價(jià)指標(biāo)有交并比和相似系數(shù)，評價(jià)數(shù)據(jù)集使用測試集，結(jié)果如表2 所示。其中，方 案1 為U-Net 網(wǎng) 絡(luò)，方 案2、3 和4 分 別 為BAResNeXt 模塊、CCA 模塊和SE 模塊加入到U-Net中的改進(jìn)方案。方案2、3 和4 的交并比與相似系數(shù)都比方案1高，說明3種改進(jìn)模塊對U-Net網(wǎng)絡(luò)分割水稻葉片細(xì)胞都有增強(qiáng)效果，其中方案2 的精確度最高，交并比為93.36%，相似系數(shù)為96.50%，說明BAResNeXt模塊的增強(qiáng)效果最強(qiáng)。因此，方案5和6在方案2的基礎(chǔ)上加入CCA模塊和SE模塊，結(jié)果表明，方案5 和6 的交并比與相似系數(shù)都比方案2 高，說明了CCA 模塊、SE 模塊與BAResNeXt 模塊疊加能提升網(wǎng)絡(luò)對細(xì)胞分割的性能。最后方案7 將3 種改進(jìn)模塊進(jìn)行疊加，其交并比為93.96%，相似系數(shù)為96.78%，比其他方案都高，說明該方法的改進(jìn)策略有效。

表2 U-Net不同改進(jìn)方案比較Tab.2 Comparison of different improvement schemes of U-Net %

2.3 不同算法分割效果比較

改 進(jìn)U-Net、U-Net、Res-UNet、U-Net++ 和Deeplabv3+[23]網(wǎng)絡(luò)模型對水稻葉片細(xì)胞分割效果比較如表3 所示，改進(jìn)U-Net 網(wǎng)絡(luò)的查準(zhǔn)率、召回率、準(zhǔn)確率、交并比和相似系數(shù)分別為96.03%、97.67%、97.47%、93.96%、96.78%，均優(yōu)于其他網(wǎng)絡(luò)。

表3 不同算法的分割效果Tab.3 The segmentation effect of different algorithms %

為了更加直觀地看到改進(jìn)U-Net網(wǎng)絡(luò)的分割效果，隨機(jī)選取4 張水稻葉片細(xì)胞圖像Img-1、Img-2、Img-3 和Img-4，在不同網(wǎng)絡(luò)上的分割結(jié)果如圖8 所示，白色表示分割的細(xì)胞部分，黑色則表示背景和其他非細(xì)胞部分，紅色方框代表分割不清晰和錯誤的部分。

水稻葉片細(xì)胞分割難點(diǎn)在于細(xì)胞相鄰之間的細(xì)胞壁，因?yàn)樗救~片細(xì)胞間由于擠壓會導(dǎo)致細(xì)胞重疊，細(xì)胞壁和細(xì)胞部分混淆在一起使得分割難度提升。如圖8 中的Img-1c，為U-Net 網(wǎng)絡(luò)分割所得到的結(jié)果圖，該細(xì)胞分割效果較差，細(xì)胞之間的細(xì)胞壁無法精確分割導(dǎo)致多個細(xì)胞融為一體，無法識別出完整的細(xì)胞個體，因?yàn)閁-Net 過多地使用簡單雙層3×3 卷積進(jìn)行下采樣，無法提取豐富的語義信息且隨著深度加深容易造成梯度消失；Res-UNet使用殘差網(wǎng)絡(luò)進(jìn)行下采樣，能夠解決深層網(wǎng)絡(luò)梯度消失的問題，分割結(jié)果如圖8d 所示，相比于U-Net 會有少許提升，能夠初步分割出細(xì)胞形狀，但是殘差網(wǎng)絡(luò)會增加計(jì)算參數(shù)量，難以收斂；U-Net++使用密集連接代替跳躍連接融合多層語義信息，分割結(jié)果如圖8e 所示，分割結(jié)果相比U-Net 有所改善，但仍存在細(xì)胞壁分割遺漏現(xiàn)象；Deeplabv3+作為Deeplab最新的分割方法，通過空間金字塔模塊和空洞卷積，探索多尺度上下文信息提升分割性能，分割結(jié)果如圖8f 所示，Deeplabv3+能夠分割出細(xì)胞的大致輪廓，但缺乏編碼器和解碼器的聯(lián)系導(dǎo)致分割不連續(xù)。改進(jìn)U-Net 方法分割結(jié)果如圖8g 所示，分割出來的細(xì)胞比較完整，細(xì)胞之間的間隙比較清晰，相比其他網(wǎng)絡(luò)細(xì)胞邊界連續(xù)性較好，完整度較高。改進(jìn)U-Net 方法使用BAResNeXt 模塊進(jìn)行下采樣特征提取，不僅能減少參數(shù)還能快速捕獲分割對象，此外，CCA 模塊可以減少編碼器和解碼器的語義歧義，加強(qiáng)編碼器和解碼器的聯(lián)系，SE 注意力機(jī)制可以減少無用背景信息的干擾，因此對水稻葉片細(xì)胞分割取得了最佳的效果。

圖8 不同算法的分割結(jié)果對比Fig.8 Comparison of segmentation results of different algorithms

3 結(jié)論與討論

在水稻微觀結(jié)構(gòu)研究中，水稻葉片細(xì)胞的大小和形態(tài)是研究水稻葉片相關(guān)生命活動的基礎(chǔ)，也是推動細(xì)胞分析與建模的重要前提，對于進(jìn)一步推動我國水稻研究發(fā)展有著重大意義。針對在制作水稻葉片細(xì)胞顯微鏡圖像時存在細(xì)胞邊界模糊、信噪比低和葉肉細(xì)胞相互粘連堆疊等缺陷而導(dǎo)致分割精度不高的問題，傳統(tǒng)方法利用圖像的單一特征進(jìn)行識別[4，7]，其識別精度比較低；而前人在深度學(xué)習(xí)方面采用的方法大多對單一語義特征信息增強(qiáng)[14，16]，缺乏全局信息的聯(lián)系，分割效果不理想。本研究提出一種基于改進(jìn)U-Net的水稻葉片細(xì)胞分割方法。首先，解碼器中使用BAResNeXt 模塊下采樣，該模塊的分組卷積策略減少了網(wǎng)絡(luò)的計(jì)算參數(shù)，BA 模塊連接集成內(nèi)部卷積輸出，提高了網(wǎng)絡(luò)對有效細(xì)胞圖像信息的關(guān)注度；其次，在編碼器與解碼器之間加入通道交叉注意力機(jī)制，對編碼器的特征信息進(jìn)行過濾，消除與編碼器之間的語義歧義，增強(qiáng)分割圖像特征的信息融合；最后，引入SE 注意力機(jī)制到解碼器上采樣階段，對拼接信息進(jìn)行過濾，降低干擾信息權(quán)重，有效地學(xué)習(xí)到編碼器與解碼器融合信息。本試驗(yàn)結(jié)果表明，改進(jìn)U-Net 網(wǎng)絡(luò)相比其他網(wǎng)絡(luò)，各評價(jià)指標(biāo)均有不同程度的提升，分割出來的細(xì)胞比較完整，間隙清晰和連續(xù)性較好。但該算法在上采樣階段還是采用簡單的雙層卷積恢復(fù)圖像大小，會導(dǎo)致圖像邊緣特征的丟失，下一步工作將編碼器與解碼器的跳躍連接去除，單獨(dú)對上采樣恢復(fù)圖像導(dǎo)致邊緣特征丟失進(jìn)行研究，然后再將各個模塊串聯(lián)成完整的算法，探究模塊之間的聯(lián)系。