基于改進(jìn)ResNet-UNet的立木圖像分割方法

（浙江農(nóng)林大學(xué) a.信息工程學(xué)院；b.浙江省林業(yè)智能監(jiān)測(cè)與信息技術(shù)研究重點(diǎn)實(shí)驗(yàn)室；c.林業(yè)感知技術(shù)與智能裝備國(guó)家林業(yè)與草原局重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 311300）

立木圖像分割用于對(duì)圖像中的立木進(jìn)行像素級(jí)語(yǔ)義分割[1]，為后續(xù)的立木可視化三維重建[2]、測(cè)樹(shù)因子特征提取[3-4]等任務(wù)提供更有意義、更便于計(jì)算機(jī)識(shí)別的圖像信息。一些研究基于前景和背景的顏色特征和紋理的特征差異，利用K-means聚類[5-6]和超像素聚類[7-8]的方法分割植物病害圖像。由于待分割立木前景與雜草、灌木等背景的特征較為接近，使用該方法分割立木時(shí)極易受背景環(huán)境的干擾，導(dǎo)致分割出的圖像不準(zhǔn)確。一些研究基于圖論和數(shù)學(xué)形態(tài)學(xué)對(duì)圖像中的立木進(jìn)行了分割。鄂雪等[9]構(gòu)造像素?zé)o向帶權(quán)圖，利用權(quán)值矩陣進(jìn)行樹(shù)干圖像的歸一化分割，但不能分割立木的整體邊緣，存在欠分割的現(xiàn)象。馮靜靜等[10]提出基于影像灰度梯度圖像的樹(shù)冠分割方法，使用數(shù)學(xué)形態(tài)學(xué)快速分割單株樹(shù)冠并提取相應(yīng)信息，但存在視覺(jué)及投影分析誤差、無(wú)法解決遮擋問(wèn)題。楊婷婷等[11]提出了基于graph cut 算法的多株立木圖像分割方法，通過(guò)構(gòu)造s-t 網(wǎng)絡(luò)圖，尋找s-t 網(wǎng)絡(luò)的最小割，將圖像分割問(wèn)題轉(zhuǎn)化為能量函數(shù)最小化問(wèn)題，并輔之以腐蝕膨脹、開(kāi)閉等操作，提取立木輪廓邊緣。該方法采用人工交互的方式，解決了立木形態(tài)存在多樣性、樹(shù)干之間存在空洞、立木之間相互遮擋等問(wèn)題。

卷積神經(jīng)網(wǎng)絡(luò)是近年來(lái)興起的一種適用于圖像分析的深度學(xué)習(xí)模型[12-13]，解決了需半人工操作、分割精確度不高等問(wèn)題，憑借著全自動(dòng)化、一次性錄入、批量處理等優(yōu)勢(shì)受到廣泛的專家學(xué)者的青睞[14-17]。陳娟等[18]改進(jìn)了ResNet 殘差網(wǎng)絡(luò)，避免了因網(wǎng)絡(luò)加深而出現(xiàn)的梯度消失問(wèn)題，從而實(shí)現(xiàn)了園林害蟲(chóng)的圖像識(shí)別。一些研究通過(guò)融合多種神經(jīng)網(wǎng)絡(luò)，提高了圖像分割的準(zhǔn)確率[19-21]。董月等[20]融合了ResNeXt101 和U-Net 卷積神經(jīng)網(wǎng)絡(luò)，采用多路分支的ResNeXt 網(wǎng)絡(luò)，增大了廣度，減小了深度，使其效果與ResNet200 相當(dāng)，從而提高了訓(xùn)練的速度。丟棄ResNeXt101 網(wǎng)絡(luò)的最后3 層進(jìn)行特征提取，并利用U-Net 網(wǎng)絡(luò)的設(shè)計(jì)思路進(jìn)行特征還原。設(shè)計(jì)注意力生成模塊和注意力融合模塊，將陰影掩膜與權(quán)重圖對(duì)應(yīng)元素相乘，從而準(zhǔn)確地檢測(cè)出了圖像中的陰影。由于自然條件下立木的生長(zhǎng)環(huán)境復(fù)雜，樹(shù)冠之間相互遮擋，立木前景與雜草背景顏色相近，不同種類立木的顏色、紋理、形態(tài)存在較大差異，卷積神經(jīng)網(wǎng)絡(luò)還缺少在立木圖像分割中的廣泛運(yùn)用。

ResNet 網(wǎng)絡(luò)可以加速網(wǎng)絡(luò)收斂、有效解決梯度消失和因網(wǎng)絡(luò)結(jié)構(gòu)深而帶來(lái)的網(wǎng)絡(luò)退化問(wèn)題；U-Net 網(wǎng)絡(luò)采用特征拼接、多尺度融合的方式，更關(guān)注分割細(xì)節(jié)，結(jié)果更加精確。由于立木特征不明顯、不典型，需多次運(yùn)算來(lái)提升模型擬合的精確度，形成結(jié)構(gòu)較深的卷積神經(jīng)網(wǎng)絡(luò)。鑒于立木復(fù)雜的特征、實(shí)現(xiàn)立木圖像的精確分割，本研究以ResNet-34 網(wǎng)絡(luò)作為特征提取前端，并結(jié)合U-Net網(wǎng)絡(luò)上采樣的設(shè)計(jì)思路，形成立木分割模型，較精確地分割出圖像中的立木。同時(shí)，為避免預(yù)測(cè)結(jié)果可能出現(xiàn)過(guò)擬合等問(wèn)題導(dǎo)致分割結(jié)果不精確，構(gòu)造動(dòng)態(tài)閾值，設(shè)計(jì)懲罰-獎(jiǎng)勵(lì)機(jī)制，并輔之以腐蝕膨脹、開(kāi)閉操作，實(shí)現(xiàn)立木圖像的精準(zhǔn)分割。

1 材料與方法

1.1 數(shù)據(jù)采集與預(yù)處理

在白天不同光照條件下，使用iphone 6s plus手機(jī)相機(jī)采集試驗(yàn)圖像，包含背景立木、道路、土壤等自然環(huán)境噪聲，共采集了樟樹(shù)、楓樹(shù)、木蘭、銀杏等395 幅立木圖片，每幅圖像的分辨率均為1 920×1 080 像素。

對(duì)圖像進(jìn)行批量剪裁和雙線性內(nèi)插處理，為了提高分割的效率，將圖像尺寸統(tǒng)一為512×512像素并灰度化。為了提高分割的準(zhǔn)確性，本研究采用隨機(jī)旋轉(zhuǎn)、鏡像、按比例隨機(jī)縮放方法對(duì)樣本數(shù)據(jù)量進(jìn)行擴(kuò)充，并自動(dòng)從樣本中隨機(jī)分配60%的圖片作為訓(xùn)練集、20%作為驗(yàn)證集、20%作為測(cè)試集[19]。

1.2 改進(jìn)的ResNet-UNet 網(wǎng)絡(luò)架構(gòu)

ResNet-34 網(wǎng)絡(luò)是結(jié)構(gòu)為34 層的ResNet 殘差卷積神經(jīng)網(wǎng)絡(luò)，由獨(dú)立卷積結(jié)構(gòu)、卷積殘差結(jié)構(gòu)、平均池化及全連接結(jié)構(gòu)3 個(gè)部分組成。獨(dú)立卷積結(jié)構(gòu)采用尺寸為7×7、通道數(shù)為64 的卷積核對(duì)圖像進(jìn)行卷積處理，并采用3×3 的卷積核進(jìn)行最大池化操作。卷積殘差結(jié)構(gòu)由4 個(gè)不同的卷積殘差模塊組成，每個(gè)卷積殘差模塊的殘差分支由兩次卷積、批正則化、ReLu 組成。以殘差模塊為單位，對(duì)每個(gè)卷積殘差結(jié)構(gòu)分別做3 次、4 次、6 次、3 次不等次數(shù)的殘差模塊操作。最后扁平化特征向量，對(duì)網(wǎng)絡(luò)進(jìn)行平均池化和全連接處理，輸出分割圖，從而有效避免因網(wǎng)絡(luò)梯度消失而導(dǎo)致的網(wǎng)絡(luò)退化問(wèn)題[22]。

U-Net 網(wǎng)絡(luò)前半部分為特征提取，后半部分為上采樣。依據(jù)特征圖維度的不同由上至下可以劃分5 層。每層都采用3×3 的卷積和ReLu 修正性線性單元。特征提取部分對(duì)相鄰層之間進(jìn)行特征剪裁和下采樣，減小特征尺寸，增加特征維度；上采樣部分對(duì)相鄰層之間進(jìn)行特征插值和上采樣，增加特征尺寸、減小特征維度。對(duì)同一層的特征提取部分和上采樣部分使用特征復(fù)制拼接。最后對(duì)上采樣部分最后一步操作進(jìn)行一次1×1 的卷積和ReLu 處理得到分割圖，更關(guān)注分割細(xì)節(jié)、提升分割的精確度[23]。

本研究的ResNet-UNet 網(wǎng)絡(luò)使用ResNet-34 作為特征提取前端，同時(shí)利用UNet 網(wǎng)絡(luò)的設(shè)計(jì)思路，采用上采樣和特征復(fù)制拼接還原圖像分辨率。操作過(guò)程如下：在特征提取部分，將得到的尺寸為512×512 立木圖像輸入ResNet-34 網(wǎng)絡(luò)的特征提取模塊，使用獨(dú)立卷積結(jié)構(gòu)和卷積殘差結(jié)構(gòu)、去除ResNet-34 的平均池化和全連接層。為了將ResNet 與U-Net 網(wǎng)絡(luò)有機(jī)融合，ResNet-UNet 網(wǎng)絡(luò)特征提取的最后一個(gè)殘差模塊操作的卷積通道數(shù)與ResNet-34 的最后一層的卷積通道數(shù)保持一致。仿照U-Net 模型的設(shè)計(jì)思路，利用上采樣對(duì)圖像進(jìn)行插值，以還原圖像分辨率；使用特征復(fù)制拼接操作將特征提取部分和上采樣部分相同尺度的特征進(jìn)行拼接融合。每次特征復(fù)制拼接后都依次進(jìn)行3×3 的卷積、批正則化和ReLu 修正線性單元操作，重復(fù)兩次。上采樣部分的終層卷積使用Sigmoid 目標(biāo)分類函數(shù)，以提高學(xué)習(xí)效率，保證分類的準(zhǔn)確率。最后使用非局部操作引入全局信息，并使用1×1 的卷積層和上采樣操作得到初步的立木分割結(jié)果[20]。模型架構(gòu)如圖1所示。

圖1 ResNet-UNet 網(wǎng)絡(luò)體系結(jié)構(gòu)Fig.1 Network architecture of ResNet-UNet

1.3 網(wǎng)絡(luò)訓(xùn)練方法

隨機(jī)梯度下降法（SGD）是在批量梯度下降法（BGD）基礎(chǔ)上進(jìn)行改進(jìn)的算法，無(wú)需訓(xùn)練完所有的樣本即可獲得精確度較優(yōu)的模型，利于大樣本訓(xùn)練。但也存在著訓(xùn)練單個(gè)樣本噪音大，收斂速度會(huì)隨著訓(xùn)練次數(shù)的增加而減慢的問(wèn)題。本研究采用Adam 一階優(yōu)化算法代替隨機(jī)梯度下降法，能基于訓(xùn)練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡(luò)權(quán)重。其初始學(xué)習(xí)率設(shè)為0.001，學(xué)習(xí)率衰減因子通過(guò)計(jì)算梯度的一階矩估計(jì)和二階矩估計(jì)自適應(yīng)得到。

在訓(xùn)練時(shí)，由于立木圖像特征不明顯，目標(biāo)前景的特征面積不斷變化，本研究采用dice loss非線性損失函數(shù)與二進(jìn)制交叉熵?fù)p失函數(shù)（Binary cross entropy loss,bce loss）相結(jié)合的方法，代替了常用二進(jìn)制交叉熵?fù)p失函數(shù)，改善數(shù)據(jù)極度不平衡問(wèn)題，在關(guān)注整體圖像損失度的前提下，更注重目標(biāo)物損失度的變化，從而避免特征面積對(duì)分割精度的影響。

dice loss 損失函數(shù)損失率loss 的公式如下：

bce loss 損失函數(shù)損失率loss 的公式如下：

dice_bce_loss損失函數(shù)損失率loss的公式如下：

式（1）～（3）中：N為待分割圖片的所有像素點(diǎn)個(gè)數(shù)；p為模型預(yù)測(cè)訓(xùn)練集的前景像素點(diǎn)個(gè)數(shù)；r為訓(xùn)練集標(biāo)簽中真實(shí)的前景像素點(diǎn)個(gè)數(shù)；n表示每次訓(xùn)練的次數(shù)；xn表示損失函數(shù)訓(xùn)練的自變量；yn表示梯度變化的因變量。

1.4 后期處理方法

在一定范圍內(nèi)，訓(xùn)練次數(shù)越多，模型擬合效果越好，損失度越低；但超過(guò)該范圍模型會(huì)出現(xiàn)過(guò)擬合現(xiàn)象，增加訓(xùn)練次數(shù)可能導(dǎo)致?lián)p失度不變或上升。由于訓(xùn)練次數(shù)的范圍不易準(zhǔn)確地被人為界定，預(yù)測(cè)最終結(jié)果可能會(huì)產(chǎn)生過(guò)分割現(xiàn)象。為避免分割最終結(jié)果對(duì)預(yù)測(cè)最終結(jié)果的過(guò)分依賴，本研究的后期處理方法通過(guò)對(duì)訓(xùn)練N次的結(jié)果設(shè)定動(dòng)態(tài)閾值并給前景背景賦值，然后依據(jù)訓(xùn)練精度設(shè)定懲獎(jiǎng)權(quán)重，最后利用形態(tài)學(xué)的腐蝕膨脹開(kāi)閉操作平滑立木邊緣[13]，從而實(shí)現(xiàn)立木圖像的二值化分割。后期處理流程如圖2所示。

圖2 后期處理流程Fig.2 Post-processing flow chart

受光照環(huán)境等因素的影響，使用同一模型預(yù)測(cè)不同立木圖片時(shí)前景、背景顏色深淺不一，所以使用固定的閾值對(duì)立木圖像做二值化會(huì)導(dǎo)致分割不精確。依據(jù)預(yù)測(cè)的分割圖中前景為深色、背景為淺色的特性，依據(jù)前景和背景的色差，對(duì)預(yù)測(cè)的立木分割圖設(shè)定動(dòng)態(tài)閾值（表1）。

表1 設(shè)定動(dòng)態(tài)閾值Table 1 Set dynamic threshold

其中，fmax和fmin獲取方法如表2所示。

記錄為前景概率最大的像素值fmax和為前景概率最小的像素值fmin。

式（4）中：threshold 為動(dòng)態(tài)閾值，反映前景和背景像素值之間的差值；fmin為前景概率最小的像素值，像素值次大；fmax為前景概率最大的像素值，像素值最??；經(jīng)試驗(yàn)a設(shè)為2 最佳。

依據(jù)動(dòng)態(tài)閾值將圖像分為前景和背景兩類：大于閾值的像素統(tǒng)一為一個(gè)初始背景，將其作為懲罰值并賦值為-1；小于閾值的像素為初始前景，將其作為獎(jiǎng)勵(lì)值并賦值為1。

將訓(xùn)練的中間過(guò)程圖像及該訓(xùn)練次數(shù)下模型的損失度喂入懲罰-獎(jiǎng)勵(lì)機(jī)制中，公式為：

表2 獲取fmax、fmin 的偽代碼Table 2 Obtaining fmax and fmin pseudocode

式（5）中：y*為更新后的像素估計(jì)賦值；loss 為訓(xùn)練的損失度（介于0 到1 之間）；v為對(duì)應(yīng)像素的懲罰值或獎(jiǎng)勵(lì)值（取值-1 或1）；y為更新前的像素估計(jì)賦值，通過(guò)迭代得到，上一步的y*即下一步的初始像素估計(jì)賦值y。

由于模型的精確度與其損失度呈負(fù)相關(guān)，以訓(xùn)練損失度的倒數(shù)作為懲罰或獎(jiǎng)勵(lì)的權(quán)重，該權(quán)重則與模型的精確度呈正相關(guān)。權(quán)重較高的懲罰獎(jiǎng)勵(lì)值對(duì)懲罰-獎(jiǎng)勵(lì)機(jī)制的貢獻(xiàn)較大，但多個(gè)權(quán)重較小的懲罰獎(jiǎng)勵(lì)值對(duì)該機(jī)制也產(chǎn)生一定的影響。依據(jù)對(duì)應(yīng)像素的懲罰值或獎(jiǎng)勵(lì)值，將懲罰或獎(jiǎng)勵(lì)值與損失度權(quán)重對(duì)應(yīng)相乘并相加，迭代y得到更新后的像素估計(jì)賦值y*。將y*與0 作比較，大于0 的像素代表前景；小于0 的像素代表背景，并對(duì)立木圖像做二值化分割。最后使用腐蝕膨脹、開(kāi)閉運(yùn)算填充二值立木分割圖的孤立團(tuán)塊并平滑目標(biāo)立木的分割邊界[11]，得到最終的二值化立木分割圖。

2 結(jié)果與分析

2.1 立木分割過(guò)程與分割結(jié)果對(duì)比

為驗(yàn)證本研究方法的分割性能，硬件配置為：Intel Xeon E-2134 @ 3.50GHz，8GB RAM 配置計(jì)算機(jī)。軟件環(huán)境：在Windows 10 操作系統(tǒng)下，結(jié)合Anaconda 的Spyder 集成開(kāi)發(fā)環(huán)境，使用Python3.5 語(yǔ)言編寫(xiě)，采用Tensorflow 的Keras 接口作為框架，并集成Opencv3、PIL 模塊。

對(duì)立木圖像（圖3a）的人工分割標(biāo)準(zhǔn)結(jié)果如圖3b 所示。本研究使用ResNet-UNet 方法，記錄采用60%樣本訓(xùn)練集、20%驗(yàn)證集、20%測(cè)試集下訓(xùn)練不同次數(shù)時(shí)得到的分割圖（圖3c）。將其（圖3c）喂入懲罰-獎(jiǎng)勵(lì)機(jī)制，并利用腐蝕膨脹、開(kāi)閉運(yùn)算去除分割二值立木圖像的孔洞和噪聲，得到立木分割結(jié)果（圖3d）。由圖3可看出，最終分割結(jié)果（圖3d）與人工分割結(jié)果（圖3b）較為接近。

圖3 立木分割過(guò)程Fig.3 The process of tree segmentation

為了驗(yàn)證方法的有效性，本研究采用對(duì)比試驗(yàn)的方法。在不同的光照條件下，對(duì)不同樹(shù)種分別采用graph cut 圖像分割算法[11]和傳統(tǒng)的ResNet-UNet 卷積神經(jīng)網(wǎng)絡(luò)方法[21]分割立木圖像，與改進(jìn)的ResNet-UNet 卷積神經(jīng)網(wǎng)絡(luò)立木分割效果形成對(duì)比（圖4）。結(jié)果發(fā)現(xiàn)，使用graph cut 算法（圖4b）分割出的目標(biāo)立木形態(tài)不準(zhǔn)確，使用ResNet-UNet 模型預(yù)測(cè)的立木分割圖（圖4c）與人工分割的真實(shí)圖像（圖4e）相差較大，使用改進(jìn)的ResNet-UNet 模型分割的立木圖像（圖4d）與真實(shí)立木分割圖（圖4e）接近。

2.2 評(píng)價(jià)指標(biāo)分析

為了客觀評(píng)判分割效果，本研究采用統(tǒng)計(jì)像素的準(zhǔn)確率（Pixel accuracy,PA）以及比較試驗(yàn)分割圖與人工分割圖的前景形狀余弦相似度（Shape similarity,SS）兩個(gè)指標(biāo)共同評(píng)價(jià)。

像素的準(zhǔn)確率PA 與漏檢像素和錯(cuò)檢像素的概率有關(guān)，分別以假陰率RFN和假陽(yáng)率RFP表示，RFN和RFP越小表示分割精確度越高。RFN和RFP依據(jù)試驗(yàn)分割圖像的前景像素集合和人工分割圖像的前景像素集合，通過(guò)集合差上兩者的交集計(jì)算而得，公式如下：

試驗(yàn)分割結(jié)果與人工分割結(jié)果的形狀余弦相似反映二者在形狀上的接近程度。余弦值越接近于1 表明夾角越接近于0，形狀相似度越高。使用誤檢率Af衡量分割結(jié)果的形狀差異，Af值越小表示分割的精確度越高。

式（8）中：H為垂直分辨率；W為水平分辨率；G為人工分割圖像的前景像素；F為試驗(yàn)分割圖像的前景像素；P為人工分割圖和試驗(yàn)分割圖中的任意像素。

圖4 立木圖像分割結(jié)果試驗(yàn)對(duì)比Fig.4 Comparison of tree image segmentation results

分別選取不同光照條件下的立木圖像，由表3可以看出：本研究的誤分率Af、假陰率RFN、假陽(yáng)率RFP均值分別為3.87%、4.50%、3.13%，均低于graph cut 算法指標(biāo)（20.03%、29.55%、28.72%）。其中誤分率低于傳統(tǒng)的ResNet-UNet網(wǎng)絡(luò)的分割指標(biāo)的誤分率（7.33%）。結(jié)果表明，基于改進(jìn)后的ResNet-UNet 分割模型在不同復(fù)雜的光照條件下，具有較好的性能指標(biāo)。

表3 不同分割方法評(píng)價(jià)指標(biāo)統(tǒng)計(jì)?Table 3 valuation index statistics of different segmentation methods %

3 結(jié)論與討論

針對(duì)現(xiàn)有圖像分割方法分割立木圖像存在的問(wèn)題，提出了一種基于改進(jìn)ResNet-UNet 的立木圖像分割方法。采用改進(jìn)的ResNet-UNet 網(wǎng)絡(luò)模型訓(xùn)練立木圖像數(shù)據(jù)集。以ResNet-34 作為特征提取前端，通過(guò)使用不等次數(shù)的殘差模塊操作，實(shí)現(xiàn)立木圖像的特征提?。灰訳-Net 網(wǎng)絡(luò)作為編碼解碼框架，通過(guò)上采樣部分還原圖像分辨率。利用Adam 一階優(yōu)化算法方法和dice bce loss 損失函數(shù)訓(xùn)練網(wǎng)絡(luò)模型，提高了網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)確度。結(jié)合使用后期處理方法，設(shè)定動(dòng)態(tài)閾值，利用懲罰獎(jiǎng)勵(lì)機(jī)制，并輔以形態(tài)學(xué)圖像處理方法，實(shí)現(xiàn)立木圖像分割。

試驗(yàn)結(jié)果表明：較現(xiàn)有的graph cut 立木圖像分割方法[11]，本研究方法的準(zhǔn)確率提高20 個(gè)百分點(diǎn)；較傳統(tǒng)的ResNet-UNet 圖像分割方法[21]相比，本研究方法的準(zhǔn)確率提高3 個(gè)百分點(diǎn)。因此，本研究方法有效提高了立木分割的精確度。同時(shí)相較于傳統(tǒng)的圖像分割方法，本研究方法自動(dòng)化程度高，減少了人工干預(yù)，簡(jiǎn)化了操作流程，適用于立木圖像的批量分割[11]。

然而，本研究方法仍存在一定的局限性。由于目前的方法是在適當(dāng)光照條件下進(jìn)行，在光照條件過(guò)暗或者過(guò)亮情況下，采用該方法分割的立木圖像誤差較大。擬結(jié)合注意力生成機(jī)制聚焦立木圖像前景，避免由于圖像像素分辨率低導(dǎo)致分割圖像內(nèi)容不清晰[20]，降低立木圖像質(zhì)量對(duì)立木分割準(zhǔn)確率的影響。在今后的研究中將進(jìn)一步討論在復(fù)雜光照條件下立木圖像分割的問(wèn)題。