基于改進FCN-8s的靈武長棗圖像分割方法

薛君蕊，王昱潭，曲愛麗，張加欣，邢振偉，魏海巖，孫浩偉

基于改進FCN-8s的靈武長棗圖像分割方法

薛君蕊，王昱潭※，曲愛麗，張加欣，邢振偉，魏海巖，孫浩偉

（寧夏大學機械工程學院，銀川 750021）

針對不同成熟度靈武長棗圖像中多尺度長棗目標的分割問題，該研究提出了一種基于改進FCN-8s的靈武長棗圖像分割方法。首先，建立包含不同成熟度靈武長棗圖像的數(shù)據(jù)集。其次，提出一個多尺度特征提取模塊，該模塊以3×3卷積為主分支，增加1×1卷積和5×5深度可分離卷積作為輔助分支，以提取靈武長棗圖像中的多尺度特征。然后，用多尺度特征提取模塊替換FCN-8s中的3×3卷積，又對FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)做了一定的改進，得到了改進FCN-8s。最后，在靈武長棗數(shù)據(jù)集上進行試驗，結(jié)果表明，改進FCN-8s的棗類交并比、平均交并比、像素準確率、召回率和像素準確率、召回率的調(diào)和平均值1分數(shù)分別達到了93.50%、96.41%、98.44%、97.86%和98.15%，比原FCN-8s的各項評價指標分別高出了11.31、6.20、1.51、5.21和3.14個百分點。網(wǎng)絡(luò)參數(shù)量為5.37×106，分割速度為16.20幀/s。改進FCN-8s滿足了靈武長棗智能化采摘機器人對視覺識別系統(tǒng)的要求，為實現(xiàn)靈武長棗的智能化采摘提供了技術(shù)支持。

語義分割；圖像識別；圖像分類；FCN-8s；深度可分離卷積；靈武長棗圖像

0 引 言

靈武長棗是寧夏回族自治區(qū)重要的經(jīng)濟林果[1]，目前主要依靠人工進行采摘，存在采摘效率低、勞動強度大等問題[2]。為了更好地發(fā)展靈武長棗產(chǎn)業(yè)，自動化和智能化采摘成為當務(wù)之急。為解決這一問題，首先要解決的就是基于機器視覺的靈武長棗圖像分割問題。

針對靈武長棗圖像的分割問題，許多學者已經(jīng)進行了大量研究。文獻[3]根據(jù)靈武長棗顏色與背景的差異，通過提取靈武長棗圖像的色調(diào)信息，提出一種基于最大熵的靈武長棗圖像分割方法，分割準確率達到了89.60%，處理速度為1.313 2 s/幅。文獻[4]根據(jù)靈武長棗在不同環(huán)境下RGB顏色空間中顏色分量的不同，提出一種基于R分量的靈武長棗圖像色調(diào)信息提取模型，以增大靈武長棗與背景之間的差異，分割準確率達到了92.688 3%，處理速度為1.310 7 s/幅。文獻[5]針對傳統(tǒng)分水嶺算法的過分割問題，通過使用遺傳算法優(yōu)化閾值，提出一種基于分水嶺算法的靈武長棗圖像分割方法，分割準確率達到了89.99%。文獻[6]針對靈武長棗圖像中長棗目標存在粘連和遮擋等問題，根據(jù)靈武長棗的外形特征，提出一種基于幾何特征的靈武長棗圖像分割方法，分割準確率達到了92.31%。盡管以上靈武長棗圖像分割方法都取得了較好的分割效果，但仍存在一些問題。文獻[3-4]均通過使用長棗目標和背景的顏色差異進行圖像分割，但該方法只能分割出長棗目標中的紅色部分，對于綠色部分分割效果極差。文獻[5-6]提出的靈武長棗圖像分割方法也均是基于表面全紅的長棗目標而言的。根據(jù)文獻[7]中的靈武長棗成熟度演化模型可知，只有十成熟的靈武長棗表面才呈現(xiàn)全紅。為保證靈武長棗的儲存和運輸，八成熟時最適宜采摘，而此時長棗表面還存在較多的綠色部分，故以上研究有很大的局限性。如何針對不同成熟度靈武長棗圖像進行有效地分割是亟待解決的問題。

近年來，基于深度學習的語義分割方法被廣泛應(yīng)用到了多個領(lǐng)域之中[8-16]。在自然圖像分割方面也取得了較大進展[17-20]，尤其在植物果實分割方面，文獻[21]針對重疊蘋果的分割問題，提出一種基于優(yōu)化掩膜R-CNN的蘋果圖像分割方法，結(jié)合殘差網(wǎng)絡(luò)ResNet和稠密連接網(wǎng)絡(luò)DenseNet作為特征提取的骨干網(wǎng)絡(luò)，實現(xiàn)了對重疊蘋果目標的分割，平均準確率和召回率分別達到了97.31%和95.70%。文獻[22]針對復(fù)雜果園環(huán)境下的青蘋果分割問題，提出一種基于小樣本數(shù)據(jù)集的集成U-Net青蘋果分割方法，平均準確率和召回率分別達到了97.91%和96.23%。文獻[23]提出一種基于掩膜R-CNN的橙子分割方法，在RGB圖像中加入HSV數(shù)據(jù)作為網(wǎng)絡(luò)模型的輸入，準確率和召回率分別達到了97.54%和81.28%。盡管以上研究都取得了很好的分割效果，但都是針對蘋果和橙子等個體較大的果實而言，并不適用于靈武長棗小目標分割。且由于各個長棗生長位置不同，采集到的圖像中存在大小不同的長棗目標，如何提高網(wǎng)絡(luò)模型提取靈武長棗圖像中多尺度特征的能力，對于提升分割效果而言具有十分重要的意義。

考慮到靈武長棗智能化采摘機器人在實際作業(yè)時，工作環(huán)境復(fù)雜，采摘速度并不會很快，對視覺識別系統(tǒng)而言，分割圖像的網(wǎng)絡(luò)盡量小而淺，保證在一定的分割速度下，盡量有較高的分割精度，而全卷積網(wǎng)絡(luò)FCN-8s[24]恰好符合這一要求。因此，嘗試使用FCN-8s作為基礎(chǔ)網(wǎng)絡(luò)對不同成熟度靈武長棗圖像進行分割。但FCN-8s仍存在以下問題：1）網(wǎng)絡(luò)結(jié)構(gòu)中的3×3標準卷積只能提取單一尺度信息，無法滿足靈武長棗圖像中多尺度長棗目標分割任務(wù)的要求；2）網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量較多。針對以上2個問題，該研究對FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)進行了一定改進。

綜上，傳統(tǒng)的靈武長棗圖像分割方法無法滿足不同成熟度的靈武長棗圖像分割，且無法利用圖像中豐富的多尺度信息，因此該研究提出一種基于改進FCN-8s的靈武長棗圖像分割方法，保證在一定分割速度下，提高靈武長棗圖像的分割精度，以解決不同成熟度靈武長棗圖像中多尺度長棗目標的分割問題，為靈武長棗智能化采摘機器人中的視覺識別系統(tǒng)提供理論基礎(chǔ)和技術(shù)保證。

1 材料與方法

1.1 圖像采集與數(shù)據(jù)集構(gòu)建

圖像采集地點位于寧夏回族自治區(qū)靈武市紹偉農(nóng)牧專業(yè)合作社（106°20′E，38°8′N）。采集設(shè)備為FUJIFILM FinePix S1800。在晴天、陰天和雨天等不同天氣狀態(tài)下采集圖像。為滿足本研究中的圖像分割方法適用于不同成熟度靈武長棗圖像分割的要求，采集的圖像包括各個成熟度下的靈武長棗，共242張，初始分辨率為4 000像素×3 000像素，為提高網(wǎng)絡(luò)模型的訓(xùn)練效率，將圖像分辨率改為像素1 280像素×960像素，以JPG格式儲存。

靈武長棗圖像的標注使用Labelme軟件完成，通過人工標注靈武長棗邊界輪廓，如圖1所示，將標注好的圖像以JPG格式儲存在標簽文件夾下。從采集到的242張靈武長棗圖像中，隨機選取196張圖像作為訓(xùn)練集，剩余的46張圖像作為測試集。

圖1 標記后的靈武長棗圖像

1.2 改進FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)

1.2.1 多尺度特征提取模塊

由于單個3×3卷積只能提取3×3大小的特征，對于其他尺度的特征無法提取，而靈武長棗圖像中存在大小不同的長棗目標，單個3×3卷積無法滿足提取多尺度特征的要求，因此，為提高FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)提取靈武長棗圖像中多尺度特征的能力，提出了一個多尺度特征提取模塊。如圖2所示，該模塊以3×3標準卷積為主分支，分別增加1×1卷積和5×5卷積作為輔助分支。這樣一來，不僅能提取3×3大小尺度的特征，同樣也能提取到1×1和5×5大小尺度的特征，使得提取特征的能力增強，提高了對于圖像中信息的利用程度，在拓寬非線性層的同時，增強了非線性表達能力。又考慮到新增2條輔助分支后會引入大量參數(shù)，因此將5×5標準卷積改為深度可分離卷積[25]。其中，深度可分離卷積是指將卷積過程分為深度卷積和點卷積2步，針對每個通道使用單個濾波器進行濾波之后，又通過1×1點卷積實現(xiàn)了通道間的融合，以達到減少參數(shù)量的目的。最后，通過使用1×1卷積實現(xiàn)1×1卷積、3×3卷積和5×5深度可分離卷積3條分支輸出結(jié)果之間的融合。其中，圖2中的“BN”代表批量標準化[26]，“ReLU”代表激活函數(shù)為ReLU。

1.2.2 建立改進FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)

本研究中采用FCN-8s的網(wǎng)絡(luò)框架，將提出的多尺度特征提取模塊替代3×3標準卷積以提取靈武長棗圖像中的多尺度信息。如圖3所示，為改進FCN-8s的網(wǎng)絡(luò)框架。

改進FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)共采用了13個多尺度特征提取模塊來提取靈武長棗圖像中的特征。對于每一層網(wǎng)絡(luò)而言，多尺度特征提取模塊中3×3標準卷積作為主分支，1×1標準卷積和5×5深度可分離卷積作為輔助分支的方式，能夠加深非線性層，增強輸入與輸出之間的非線性關(guān)系，同時又能夠提高提取靈武長棗圖像中不同空間特征信息的能力。對于整個網(wǎng)絡(luò)結(jié)構(gòu)而言，提出的多尺度特征提取模塊能夠拓寬網(wǎng)絡(luò)寬度，增加下采樣過程中尺度特征的抽象性，使得整個網(wǎng)絡(luò)能夠提取到靈武長棗圖像中更多的語義信息。

與FCN-8s不同的是，為提高網(wǎng)絡(luò)模型的效率，降低網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)量，在不影響分割精度的前提下，改進FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)去掉了原FCN-8s中的第14和15個卷積層，在第5次下采樣后直接進行了上采樣。除此之外，考慮到上文中提出的多尺度特征提取模塊有3條分支，拓寬了整個網(wǎng)絡(luò)結(jié)構(gòu)的寬度，因此將改進FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)中每層輸出特征圖的通道數(shù)減為原始通道數(shù)的一半。

與FCN-8s相同的是，改進FCN-8s也采用了跳躍結(jié)構(gòu)。網(wǎng)絡(luò)結(jié)構(gòu)中第5次下采樣后產(chǎn)生的特征圖經(jīng)上采樣擴大2倍后得到了分辨率為80像素×60像素的特征圖，與第4次下采樣后產(chǎn)生的特征圖融合之后，又經(jīng)上采樣擴大2倍后得到了分辨率為160像素×120像素的特征圖，又與第3次下采樣后產(chǎn)生的特征圖融合之后，再經(jīng)上采樣擴大8倍后得到了分辨率為1 280像素×960像素的特征圖，從而恢復(fù)到與輸入圖像相同的分辨率，完成了整個輸出圖像的尺寸還原?？偠灾?，將由不同池化層得到的特征圖經(jīng)上采樣后的結(jié)果融合起來的方式有利于補充細節(jié)信息，使不同成熟靈武長棗圖像的分割結(jié)果更為精確。

2 試驗與結(jié)果分析

2.1 試驗設(shè)備

試驗時使用的工作站運行內(nèi)存為64 G，CPU型號為至強Xeon-金牌5118，配備Nvidia TitanX GPU，操作系統(tǒng)為Ubuntu16.04，CUDA版本為10.0.130，CUDNN版本為7.6.4。在PyTorch深度學習框架下使用Python編程語言實現(xiàn)。

2.2 模型評價指標

本研究中選用網(wǎng)絡(luò)參數(shù)量、棗類交并比IoU、平均交并比MIoU、像素準確率PA、召回率Recall、1分數(shù)和分割速度對網(wǎng)絡(luò)結(jié)構(gòu)的性能進行評價。在該研究中，棗類交并比IoU是指網(wǎng)絡(luò)結(jié)構(gòu)對棗類預(yù)測結(jié)果和真實值的交集與并集的比值，平均交并比MIoU是指棗類交并比和背景類交并比的平均值，像素準確率PA是指被正確分類的像素數(shù)占所有預(yù)測為該類別像素數(shù)的比例，召回率Recall是指被正確分類的像素數(shù)占所有實際為該類別像素數(shù)的比例，1分數(shù)是用來衡量二分類模型精確度的一個指標，它同時兼顧了準確率和召回率，分割速度是指網(wǎng)絡(luò)模型每秒計算的圖像幀數(shù)。各評價指標計算公式如下：

式中+1表示種類別及一種背景，T表示正確分割的像素數(shù)，F表示誤分割的像素數(shù)，F表示漏分割的像素數(shù)。

2.3 試驗參數(shù)設(shè)置及訓(xùn)練過程分析

網(wǎng)絡(luò)訓(xùn)練時學習率設(shè)置為0.002 5，批量設(shè)置為2，運行迭代次數(shù)為1 000次，使用Adam算法[27]優(yōu)化，訓(xùn)練過程中使用的損失函數(shù)為交叉熵損失函數(shù)loss，公式如下：

式中為訓(xùn)練過程中一個批量中像素數(shù)的總和，為類別數(shù)，本研究中將靈武長棗圖像分為棗類和背景類，故為2。y為像素點對類別的標注，若為棗類即為1，背景類即為0。?為像素點為類別的概率值。

改進FCN-8s訓(xùn)練損失和平均交并比曲線如圖4所示，隨著迭代次數(shù)的增加，損失值逐漸降低，平均交并比MIoU的值逐漸增大，變化量均逐漸減小。當?shù)螖?shù)達到800次左右時，損失值和平均交并比MIoU的值均基本趨于平穩(wěn)，表明此時模型較為穩(wěn)定，當?shù)螖?shù)達到1 000次時，損失值基本收斂，平均交并比MIoU的值較為穩(wěn)定，此時模型已經(jīng)獲得了較好的訓(xùn)練效果。

2.4 試驗結(jié)果分析

在靈武長棗數(shù)據(jù)集上進行試驗，F(xiàn)CN-8s、SegNet[28]、ENet[29]、PSPNet[30]和改進FCN-8s的分割結(jié)果如圖5所示，基于分水嶺算法、基于幾何特征算法、FCN-8s、SegNet、ENet、PSPNet和改進FCN-8s的各評價指標結(jié)果如表1所示。

表1 靈武長棗數(shù)據(jù)集測試結(jié)果

從圖5中可以看出，改進FCN-8s和其他的網(wǎng)絡(luò)模型都完成了對不同成熟度靈武長棗圖像的分割任務(wù)，無論是針對靈武長棗表面的紅色部分還是綠色部分，都能夠取得較好的分割效果。

FCN-8s對靈武長棗圖像中較大和較小長棗的分割效果較好，但是對中等尺度大小和極小長棗的分割效果較差，如圖5橙色方框框選內(nèi)容所示，F(xiàn)CN-8s并未將圖像1(圖5c)和圖像3(圖5c)中的中等尺度大小長棗分割出來，且對于圖像2(圖5c)中右上角極小長棗的分割效果較差，被分割出來的長棗邊界較為模糊。SegNet在FCN的基礎(chǔ)上做了一定的改進，解碼器使用對應(yīng)編碼器最大池化中的索引來進行非線性上采樣操作，但僅僅只是減少了網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)量，網(wǎng)絡(luò)分割效果并未提高很多，如圖5所示，SegNet對于中等尺度大小長棗的分割效果甚至不如FCN-8s，但對圖像2 (圖5d)中極小長棗的分割效果略好于FCN-8s，被分割出來的長棗邊界也較為模糊。ENet是一種輕量化圖像語義分割網(wǎng)絡(luò)，在模型大小和分割速度上都具有較大的優(yōu)勢。ENet整體分割效果要略優(yōu)于FCN-8s和SegNet，分割出來的長棗邊界輪廓較FCN-8s和SegNet而言更為清晰，分割出來的長棗表面也無黑斑存在，但是同樣未能很好地將中等尺度大小和極小長棗分割出來。由于以上網(wǎng)絡(luò)均未考慮對圖像中多尺度信息的利用，因此對靈武長棗圖像中多尺度長棗目標的分割效果均較差。PSPNet通過使用PSP模塊來獲取特征圖中豐富的多尺度信息，使得整個網(wǎng)絡(luò)結(jié)構(gòu)能夠獲得更為精確的分割結(jié)果。如圖5所示，PSPNet的分割效果明顯優(yōu)于FCN-8s、SegNet和ENet，對各個尺度大小的長棗目標都有較好的分割效果，被分割出來的長棗邊界輪廓也較為清晰。但是分割極小長棗的能力仍較差，并未將圖像2（圖5f）中右上角的極小長棗完全分割出來，且部分被分割出來的長棗表面仍有黑斑存在。改進FCN-8s利用多尺度特征提取模塊來提取靈武長棗圖像中豐富的多尺度信息，如圖5所示，無論是對較大還是較小的長棗目標，亦或是中等尺度大小和極小的長棗目標，均能夠表現(xiàn)出較好的分割效果，被分割出來的長棗邊界輪廓較為平滑且清晰。

總體來看，改進FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)對靈武長棗圖像中多尺度目標的分割效果較好，尤其是在細節(jié)處理方面，均強于其他網(wǎng)絡(luò)結(jié)構(gòu)。

由于傳統(tǒng)的靈武長棗圖像分割方法對長棗表面的綠色部分分割效果極差，具有很大的局限性，而基于深度學習的語義分割方法可以通過學習靈武長棗圖像中的不同特征信息來解決這一問題，因此如表1所示，F(xiàn)CN-8s、SegNet和ENet等基于深度學習的語義分割方法的各評價指標均優(yōu)于傳統(tǒng)的靈武長棗圖像分割方法。

針對FCN-8s提取靈武長棗圖像多尺度特征的能力較弱這一問題，利用以3×3卷積為主分支，1×1卷積和5×5深度可分離卷積為輔助分支的多尺度特征提取模塊來提取靈武長棗圖像中的多尺度特征，改進FCN-8s的網(wǎng)絡(luò)性能得到了很大提升，棗類交并比IoU、平均交并比MIoU、像素準確率PA、召回率Recall和1分數(shù)分別比FCN-8s高出了11.31%、6.20%、1.51%、5.21%和3.14%。對FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整和改進后，最終改進FCN-8s的參數(shù)量僅有5.37×106，分割速度為FCN-8s的4.75倍。

SegNet是基于FCN改進后得到的網(wǎng)絡(luò)模型，它使用最大池化中的索引來進行非線性上采樣操作，因此網(wǎng)絡(luò)參數(shù)量相比于FCN-8s而言大大降低。但是與改進FCN-8s相比，網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量仍然較多，而且棗類交并比IoU、平均交并比MIoU、像素準確率PA、召回率Recall和1分數(shù)分別比改進FCN-8s低5.97%、3.29%、2.08%、1.51%和1.80%，分割速度僅為改進FCN-8s的1/5左右。ENet是一個輕量型網(wǎng)絡(luò)，在網(wǎng)絡(luò)參數(shù)量和分割速度方面有較大優(yōu)勢。ENet的棗類交并比IoU、平均交并比MIoU、像素準確率PA、召回率Recall和1分數(shù)分別比改進FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)低4.98%、2.73%、1.74%、1.23%和1.49%，分割速度僅1.78幀/s。盡管ENet的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量較少且分割速度較快，達到了32.81幀/s，但是整體而言，改進FCN-8s的分割效果要優(yōu)于ENet的分割效果，更符合不同成熟度的靈武長棗圖像分割任務(wù)的要求。PSPNet引入PSP模塊提取靈武長棗圖像中的多尺度特征，分割效果優(yōu)于FCN-8s、SegNet和ENet，但除召回率Recall略高于改進FCN-8s以外，棗類交并比IoU、平均交并比MIoU、像素準確率PA和1分數(shù)均低于改進FCN-8s，且參數(shù)量為改進FCN-8s的12.23倍，分割速度過慢，僅為1.33幀/s。

綜上，無論是與傳統(tǒng)的靈武長棗圖像分割方法，還是FCN-8s、SegNet和ENet等基于深度學習的語義分割方法相比，改進FCN-8s在各評價指標上均具有較大優(yōu)勢，滿足了不同成熟度的靈武長棗圖像分割任務(wù)保持在小而淺的網(wǎng)絡(luò)結(jié)構(gòu)和一定的分割速度下，具有較高分割精度的要求。

3 結(jié) 論

1）針對傳統(tǒng)靈武長棗圖像分割方法對長棗表面綠色部分分割效果極差和FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)無法充分利用圖像中多尺度信息及參數(shù)量較多的問題，提出了一種基于改進FCN-8s的靈武長棗圖像分割方法，為靈武長棗智能化采摘提供了技術(shù)支持。

2）在靈武長棗數(shù)據(jù)集上的試驗結(jié)果表明，改進FCN-8s的棗類交并比IoU、平均交并比MIoU、像素準確率PA、召回率Recall和1分數(shù)分別達到了93.50%、96.41%、98.44%、97.86%和98.15%，網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量為5.37 M，分割速度為16.20幀/s，比原FCN-8s的棗類交并比IoU、平均交并比MIoU、像素準確率PA、召回率Recall和1分數(shù)分別高出了11.31、6.20、1.51、5.21和3.14個百分點，網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量降低了128.63M，分割速度提高了12.79幀/s。

本研究提出的基于改進FCN-8s的靈武長棗圖像分割方法解決了不同成熟度靈武長棗圖像中多尺度長棗目標的分割問題，改進FCN-8s的網(wǎng)絡(luò)結(jié)構(gòu)小而淺，能保證在一定的分割速度下，達到較高的分割精度，滿足了靈武長棗智能化采摘機器人對視覺識別系統(tǒng)的要求，為實現(xiàn)靈武長棗智能化采摘奠定了基礎(chǔ)。

[1]朱麗燕. 寧夏靈武長棗產(chǎn)業(yè)發(fā)展的對策建議[J]. 時代經(jīng)貿(mào)，2020(28)：36-37.

[2]王昱潭，朱超偉，趙琛，等. 基于Faster R-CNN的靈武長棗圖像檢測方法[J]. 計算機工程與應(yīng)用，2021，57(4)：216-224.

Wang Yutan, Zhu Chaowei, Zhao Chen, et al. Image detection method of Lingwu long jujube based on faster R-CNN[J]. Computer Engineering and Applications, 2021, 57(4): 216-224. (in Chinese with English abstract)

[3]Wang Yutan, Dai Yingpeng, Xue Junrui, et al. Research of segmentation method on color image of Lingwu long jujubes based on the maximum entropy[J]. Eurasip Journal on Image & Video Processing, 2017, 2017(1): 34.

[4]Dai Yingpeng, Wang Yutan, Xue Junrui, et al. Research of segmentation method on image of Lingwu long jujubes based on a new extraction model of hue[J]. IEEE Sensors Journal, 2017, 17(18): 6029-6036.

[5]劉向南，王昱潭，趙琛，等. 基于分水嶺算法的靈武長棗圖像分割方法研究[J]. 計算機工程與應(yīng)用，2018，910(15)：174-180.

Liu Xiangnan, Wang Yutan, Zhao Chen, et al. Research on image segmentation method of Lingwu long jujubes based on watershed[J]. Computer Engineering and Applications, 2018, 54(15): 169-175. (in Chinese with English abstract)

[6]趙琛，王昱潭，朱超偉. 基于幾何特征的靈武長棗圖像分割算法[J]. 計算機工程與應(yīng)用，2019，55(15)：204-212.

Zhao Chen, Wang Yutan, Zhu Chaowei. Lingwu long jujubes image segmentation algorithm based on geometric features[J]. Computer Engineering and Applications, 2019, 55(15): 204-212. (in Chinese with English abstract)

[7]王昱潭. 基于機器視覺的靈武長棗定位與成熟度判別方法研究[D]. 北京：北京林業(yè)大學，2014.

Wang Yutan. Research on Methods of Lingwu Long Jujubes’ Localization and Maturity Recognition Based on Machine Vision[D]. Beijing: Beijing Forestry University, 2014. (in Chinese with English abstract)

[8]Qi Yuankai, Zhang Shenping, Qin Lei, et al. Hedged deep tracking [C]// Computer Vision & Pattern Recognition. IEEE, 2016: 4303-4311.

[9]Zhang Shenping, Qi Yuankai, Jiang Feng, et al. Point-to-Set distance metric learning on deep representations for visual tracking[J]. Transactions on Intelligent Transportation Systems, 2017, 19(1): 187-198.

[10]Brossard Martin, Bonnabel Silvere. Learning wheel odometry and IMU Errors for localization[C]//2019 International Conference on Robotics and Automation (ICRA). Montreal: IEEE, 2019: 291-297.

[11]Bewley Alex, Rigley Jessica, Liu Yuxuan, et al. Learning to drive from Simulation without real world labels[C]//2019 International Conference on Robotics and Automation (ICRA). Montreal :IEEE, 2019: 4818-4824.

[12]Zhao Amy, Balakrishnan Guha, Durand Fredo, et al. Data augmentation using learned transformations for one-shot medical image segmentation[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2019: 8535-8545.

[13]陳進，韓夢娜，練毅，等. 基于 U-Net 模型的含雜水稻籽粒圖像分割[J]. 農(nóng)業(yè)工程學報，2020，36(10)：174-180.

Chen Jin, Han Mengna, Lian Yi, et al. Segmentation of impurity rice grain images based on U-Net model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(10): 174-180. (in Chinese with English abstract)

[14]楊阿慶，薛月菊，黃華盛，等. 基于全卷積網(wǎng)絡(luò)的哺乳母豬圖像分割[J]. 農(nóng)業(yè)工程學報，2017，33(23)：219-225.

Yang Aqing, Xue Yueju, Huang Huasheng, et al. Lactating sow image segmentation based on fully convolutional networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(23): 219-225. (in Chinese with English abstract)

[15]Gokay Karayegen, Mehmet Feyzi Aksahin. Brain tumor prediction on MR images with semantic segmentation by using deep learning network and 3D imaging of tumor region[J]. Biomedical Signal Processing and Control, 2021, 66(102458): 1746-8094.

[16]Nasser Alalwan, Amr Abozeid, AbdAllah A ElHabshy, et al. Efficient 3D deep learning model for medical image semantic segmentation[J]. Alexandria Engineering Journal, 2021, 60(1): 1231-1239.

[17]段凌鳳，熊雄，劉謙，等. 基于深度全卷積神經(jīng)網(wǎng)絡(luò)的大田稻穗分割[J]. 農(nóng)業(yè)工程學報，2018，34(12)：202-209.

Duan Lingfeng, Xiong Xiong, Liu Qian, et al. Field rice panicle segmentation based on deep full convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 202-209. (in Chinese with English abstract)

[18]劉立波，程曉龍，賴軍臣. 基于改進全卷積網(wǎng)絡(luò)的棉田冠層圖像分割方法[J]. 農(nóng)業(yè)工程學報，2018，34(12)：193-201.

Liu Libo, Cheng Xiaolong, Lai Junchen. Segmentation method for cotton canopy image based on improved fully convolutional network model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 193-201. (in Chinese with English abstract)

[19]張善文，王振，王祖良. 多尺度融合卷積神經(jīng)網(wǎng)絡(luò)的黃瓜病害葉片圖像分割方法[J]. 農(nóng)業(yè)工程學報，2020，36(16)：149-157.

Zhang Shanwen, Wang Zhen, Wang Zuliang. Method for image segmentation of cucumber disease leaves based on multi-scale fusion convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(16): 149-157. (in Chinese with English abstract)

[20]Ni Xueping, Li Changying, Jiang Huanyu, et al. Deep learning image segmentation and extraction of blueberry fruit traits associated with harvestability and yield[J]. Horticulture Research, 2020,7(1): 110-124.

[21]Jia Weikuan, Tian Yuyu, Luo Rong, et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot[J]. Computers and Electronics in Agriculture, 2020, 172: 105380.

[22]Li Qianwen, Jia Weikuan, Sun Meili, et al. A novel green apple segmentation algorithm based on ensemble U-Net under complex orchard environment[J]. Computers and Electronics in Agriculture, 2021, 180: 105900.

[23]Ganesh P, Volle K, Burks T F, et al. Deep orange: Mask R-CNN based orange detection and segmentation[J]. IFAC-PapersOnLine, 2019, 52(30): 70-75.

[24]Long Jonathan, Shelhamer Evan, Darrell Trevor. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(4): 640-651.

[25]Howard Andrew, Zhu Menglong, Chen Bo, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications. 2017.in arXiv preprint arXiv:1704.04861v1.

[26]Ioffe Sergey, Szegedy Christian. Batch normalization: Accelerating deep network training by reducing internal covariate shift[J]. JMLR.org, 2015. arXiv:1502.03167

[27]Kingma Diederik, Ba Jimmy. Adam: A method for stochastic optimization[J]. Computer Science, 2014. in arXiv preprint arXiv: 1412.6980.

[28]Badrinarayanan V, Kendall A, Cipolla R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2418-2495.

[29]Paszke Adam, Chaurasia Abhishek, Kim Sangpil, et al. ENet: A deep neural network architecture for real-time semantic segmentation. 2016. in arXiv preprint arXiv: 1606.02147v1.

[30]Zhao Hengshuang, Shi Jianping, Qi Xiaojuan, et al. Pyramid scene parsing network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Hawaii: IEEE, 2017: 6230-6239.

Image segmentation method for Lingwu long jujubes based on improved FCN-8s

Xue Junrui, Wang Yutan※, Qu Aili, Zhang Jiaxin, Xing Zhenwei, Wei Haiyan, Sun Haowei

(750021,)

Lingwu long jujube is commonly referred to as Chinese date, one of the special advantage fruits in Ningxia Hui Autonomous Region. Currently, image segmentation has widely been used to identify the ripeness of Lingwu long jujubes in modern agriculture. Traditional image segmentation can achieve better segmentation effects for the red part of Lingwu long jujubes, but not for the green part. Consequently, deep learning can contribute to multi-scale object segmentation for the jujubes with various ripeness. Besides, the improved network models can be expected to extract multi-scale features from the different sizes of objects in Lingwu long jujubes images. In the actual operation, a visual recognition system needs to meet the execution time of an actuator in a picking robot under a complex working environment. Correspondingly, the network model of image segmentation is required to be small, shallow, and high accuracy at a relatively low picking speed. In this study, an improved FCN-8s was selected as the basic network for the image segmentation of Lingwu long jujubes with different ripeness. Firstly, the image dataset of Lingwu long jujubes was established, including 196 training and 46 test images. Since the initial resolution of collected images was 4 000×3 000, the resolution of 1 280×960 was used for training, in order to improve the training efficiency. Then, a multi-scale feature extract module was proposed to extract features beyond 3×3 scale. Specifically, a 1×1 convolution and a 5×5 convolution were added into a single 3×3 standard convolution in FCN-8s. A depth-wise separable convolution was applied to the 5×5 convolution to reduce parameters, considering that numerous parameters were introduced after adding two auxiliary branches. As such, the 3×3 standard convolution in FCN-8s was replaced with the proposed module. Some improvements were made on FCN-8s to reduce the parameters of the network for high efficiency. The 14th and 15th convolution layers were removed from the original FCN-8s to maintain the segmentation accuracy, and then the up-sampling operation was directly performed after the 5th down sampling operation. In addition, the half channels were reduced in the output feature maps for each layer in the multi-scale feature extraction module with three branches, compared with the original one. Therefore, the improved FCN-8s was obtained to increase the width of the whole network. The experimental results on Lingwu long jujubes dataset showed that the intersection over union, mean intersection over union, precision accuracy, recall rate, and F1 score were 93.50%, 96.41%, 98.44%, 97.86%, and 98.15%, respectively, which were 11.31, 6.20, 1.51, 5.21, and 3.14 percentage points higher than the original FCN-8s. The network parameters of the improved FCN-8s were 5.37 million, and the segmentation speed was 16.20 frames/s. Compared with the SegNet, ENet, and PSPNet, the improved FCN-8s presented remarkable advantages for the high requirements of visual recognition in the picking robot for Lingwu long jujubes.

semantic segmentation; image recognition; image classification; FCN-8s; depthwise separable convolutions; Lingwu long jujubes images

薛君蕊，王昱潭，曲愛麗，等. 基于改進FCN-8s的靈武長棗圖像分割方法[J]. 農(nóng)業(yè)工程學報，2021，37(5)：191-197.doi：10.11975/j.issn.1002-6819.2021.05.022 http://www.tcsae.org

Xue Junrui, Wang Yutan, Qu Aili, et al. Image segmentation method for Lingwu long jujubes based on improved FCN-8s[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(5): 191-197. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.05.022 http://www.tcsae.org

2020-12-30

2021-02-28

國家自然科學基金（No.31660239）

薛君蕊，研究方向為圖像處理。Email：599265213@qq.com

王昱潭，教授，研究方向為圖像處理和農(nóng)業(yè)裝備自動化與智能化。Email：wang_yt1108@163.com

10.11975/j.issn.1002-6819.2021.05.022

TP391

A

1002-6819(2021)-05-0191-07