基于SE-ResNet網(wǎng)絡(luò)的油茶果果殼與茶籽分選模型

段宇飛 董庚 孫記委 王焱清

摘要：油茶果脫殼后果殼與茶籽混合在一起，采用傳統(tǒng)的機(jī)械分選仍會(huì)出現(xiàn)摻雜果殼的情況，清選率有待提高。比較ResNet不同層數(shù)模型，發(fā)現(xiàn)在當(dāng)前殼籽實(shí)驗(yàn)樣本下ResNet18與其他模型相比每次迭代的平均訓(xùn)練時(shí)間最少，并且驗(yàn)證集平均準(zhǔn)確率最高，同時(shí)均優(yōu)于其他CNN分類模型。為進(jìn)一步提升分選效率，在ResNet18網(wǎng)絡(luò)中引入注意力機(jī)制，結(jié)果表明，SE-ResNet18模型與改進(jìn)前的模型相比，訓(xùn)練過(guò)程中每次迭代的平均時(shí)間由1.31 s下降到1.13 s，縮短0.18 s，驗(yàn)證集平均準(zhǔn)確率為98.88%，提升1.4個(gè)百分點(diǎn)。經(jīng)過(guò)測(cè)試后得出，測(cè)試集整體準(zhǔn)確率為98.43%，與原模型相比提升1.3個(gè)百分點(diǎn)，說(shuō)明使用ResNet18模型結(jié)合注意力機(jī)制的方法在油茶果果殼與茶籽的分選上是可行的，為油茶果在分選方法提供一種新的理論基礎(chǔ)與思考方向。

關(guān)鍵詞：油茶果；深度學(xué)習(xí)；分選；SE-ResNet18模型；注意力機(jī)制

中圖分類號(hào)：S226.5： TP391.4

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-5553 （2023） 04-0089-07

Abstract： When the shell is mixed with the tea seed， the traditional mechanical separation will still be doped with the shell， and the cleaning rate needs to be improved. In this paper， by comparing different layers of ResNet， it is found that in the current shell seed experiment samples， ResNet18 has the lowest average training time of each iteration compared with other models， and the highest average accuracy of verification set， which is more superior to other CNN classification models. In order to further improve the sorting efficiency， the attention mechanism was introduced into the ResNet18 network and the results showed that the average time per iteration in the training process of SE-ResNet18 model decreased from 1.31 s to 1.13 s by shortening 0.18 s， and the average accuracy of the validation set was 98.88% by improving 1.4 percentage points， compared with the model before improvement， and the overall accuracy of the test set was 98.43%， which was 1.3 percentage points higher than that of the original model， indicating that the use of ResNet18 model combined with the attention mechanism was feasible for the sorting of oil tea fruit shells and tea seeds， providing a new theoretical basis and thinking direction for the sorting method of camellia fruit shells and seeds.

Keywords： camellia fruit; deep learning; sorting; SE-ResNet18 model; attention mechanism

0 引言

茶油的內(nèi)在經(jīng)濟(jì)價(jià)值與食用價(jià)值較高，能與橄欖油媲美［1-2］。近年來(lái)，隨著油茶果種植面積的不斷增大，油茶果的采摘、脫殼、分選和榨油等環(huán)節(jié)的產(chǎn)業(yè)化也在不斷提高［3］。在其產(chǎn)業(yè)化的過(guò)程中，機(jī)械化和自動(dòng)化［4-5］是縮短農(nóng)忙時(shí)間和提升經(jīng)濟(jì)效益的重點(diǎn)。而分選的機(jī)械化中，分選的準(zhǔn)確率是分選結(jié)果好壞的集中表現(xiàn)，較低的準(zhǔn)確率會(huì)影響茶籽篩選，給農(nóng)戶造成不必要的損失，因此油茶果分選準(zhǔn)確率的提高對(duì)于推動(dòng)油茶果產(chǎn)業(yè)化有著重大的意義。

近些年，深度學(xué)習(xí)在很多領(lǐng)域上有著突出表現(xiàn)，特別是在農(nóng)業(yè)應(yīng)用中，呂夢(mèng)棋等［6］將玉米種子按照玉米顆粒的面積大小分為大中小三類，通過(guò)對(duì)其他經(jīng)典模型的對(duì)比與ResNet的改進(jìn)，對(duì)這三類玉米進(jìn)行分類識(shí)別，有效地提升了玉米種子總體分類的準(zhǔn)確率，其準(zhǔn)確率由之前91.87%提升為94.01%。林麗惠等［7］利用不同的模型對(duì)9個(gè)品種的武夷巖茶葉進(jìn)行分類，最后發(fā)現(xiàn)ResNet50模型替代傳統(tǒng)人工提取特征的方法最有效，其武夷巖茶葉的分類準(zhǔn)確率達(dá)到了96.04%。蘇寶峰等［8］選取了12個(gè)種類的葡萄，并將注意力機(jī)制與ResNet50模型相結(jié)合，研究表明結(jié)合后的ResNet50-SE模型在復(fù)雜背景下具有較強(qiáng)的分類性能和魯棒性，最終模型測(cè)試集準(zhǔn)確率在88.75%，平均召回率為89.17%。

以上的研究表明深度學(xué)習(xí)應(yīng)用于農(nóng)業(yè)領(lǐng)域中能夠較好地完成分類任務(wù)。因此，本文通過(guò)對(duì)深度學(xué)習(xí)算法的研究和對(duì)比，探索深度學(xué)習(xí)模型與油茶果分選結(jié)合的可行性。

1 數(shù)據(jù)采集與處理

本試驗(yàn)使用的樣本均為油茶果破殼機(jī)破殼后晾曬2～5天的油茶果茶籽和果殼。將其使用9～18 mm 的篩網(wǎng)進(jìn)行篩選，剔除尺寸較小的破碎果皮與較大的未完全脫殼的油茶果。分選裝置上安裝毛刷與長(zhǎng)條通道以確保樣本可以在托盤內(nèi)單獨(dú)放置且不會(huì)發(fā)生重疊現(xiàn)象而影響分選。

油茶果果殼與茶籽圖像采集裝置如圖1所示，總共采集包含茶籽和果殼圖像26張，圖像分辨率為1 280像素×1 024像素（占用空間約為3.9 MB），如圖2所示。

由托盤將樣本圖片分為64個(gè)部分，使用matlab軟件將樣本圖片去除寬邊后按64等份進(jìn)行均勻的剪切，剪切后的圖像分辨率為128像素×128像素（占用空間約為8 KB），共獲得剪切后的圖像1 664張，所有的圖像可以分為4個(gè)種類，分別是茶籽、油茶果內(nèi)殼、油茶果外殼和空格托盤，如圖3所示，圖中發(fā)現(xiàn)外殼與茶籽顏色、形狀等特征較為相似，加大了區(qū)分的難度。

所獲茶籽圖像590張，外殼230張，內(nèi)殼234張，空格托盤610張?？紤]到果殼分為內(nèi)殼、外殼后的樣本數(shù)量較少，造成樣本不均衡，故在其中隨機(jī)選取茶籽圖像250張，空格托盤250張，外殼230張，內(nèi)殼234張，用作建模的數(shù)據(jù)集。同時(shí)考慮到樣本數(shù)量較少不利于模型的訓(xùn)練，對(duì)樣本圖像進(jìn)行一定的角度翻轉(zhuǎn)，分別是90°、180°和270°，數(shù)據(jù)擴(kuò)充至3 856張。

將數(shù)據(jù)集按照7∶2∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，即取2 700張圖像進(jìn)行標(biāo)注后作為訓(xùn)練集，取772張標(biāo)注后作為驗(yàn)證集，余下384張圖像用于最終測(cè)試。

2 模型結(jié)構(gòu)

2.1 ResNet

在深度學(xué)習(xí)圖像分類中，較為經(jīng)典的CNN模型有AlexNet［9］，VGGNet［10］以及ResNet［11］等。在模型應(yīng)用過(guò)程中發(fā)現(xiàn)增加模型深度會(huì)使模型效果變好，但是隨著模型深度繼續(xù)增加，簡(jiǎn)單的層數(shù)堆積并不會(huì)使模型準(zhǔn)確率得到進(jìn)一步提升，相反的是訓(xùn)練過(guò)程中產(chǎn)生了梯度消失［12］現(xiàn)象，導(dǎo)致梯度不斷趨近于零，權(quán)重不再更新。

殘差神經(jīng)網(wǎng)絡(luò)（Residual Neural Network， ResNet）是由He等［11］首次提出。它使數(shù)百甚至數(shù)千的訓(xùn)練強(qiáng)度成為可能。殘差塊的設(shè)計(jì)是ResNet中最為重要的部分，設(shè)定輸入的神經(jīng)網(wǎng)絡(luò)層為x，期望的輸出為H（x），殘差神經(jīng)的使用創(chuàng)造性解決了因?yàn)镠（x）難度較大而引起梯度消失的問(wèn)題，即學(xué)習(xí)兩者之間的殘差F（x）=H（x）-x。具體結(jié)構(gòu)如圖4所示的殘差結(jié)構(gòu)圖。

SE模塊是由擠壓（Squeeze，F(xiàn)sq） 和激發(fā)（Excitation，F(xiàn)ex）兩部分構(gòu)成。

擠壓的操作過(guò)程是將輸入尺寸為H×W×C的樣本圖片（H為圖片的長(zhǎng)度，W為圖片的寬度，C為圖片的特征通道數(shù)）用全局平均池化（Global average pooling）進(jìn)行計(jì)算，得到1×1×C的特征向量，便于模型對(duì)圖片的全局感受，之后進(jìn)入特征通道維度相同的全連接層，使用ReLu激活函數(shù)對(duì)全連接層進(jìn)行計(jì)算，最后使用Sigmoid激活函數(shù)［20］生成每個(gè)特征通道的權(quán)重，權(quán)重由Scale操作（Fscale）將輸出的特征向量與之前的輸出特征向量相乘，以此完成在特征圖上的重點(diǎn)特征標(biāo)注，獲得更具有指向性的特征，從而進(jìn)一步提升分類的準(zhǔn)確性。

2.3 融合注意力機(jī)制的ResNet18模型

本文采用ResNet18模型，并添加注意力機(jī)制進(jìn)一步提升整體模型分類準(zhǔn)確率，使模型在訓(xùn)練過(guò)程中對(duì)樣本圖片的通道信息更加關(guān)注。基礎(chǔ)網(wǎng)絡(luò)模型采用具有18層結(jié)構(gòu)的ResNet模型，將SE模塊與ResNet18相結(jié)合。改進(jìn)模型如圖6所示。

改進(jìn)的SE-ResNet18模型參數(shù)設(shè)置詳見(jiàn)表1。

SE-ResNet18中卷積層conv2_x，conv3_x，conv4_x， conv5_x的殘差塊均為2。殘差單元共有16層，加上conv1的卷積層和全連接層共18層。將SE模塊與ResNet18相結(jié)合如圖6所示。圖6中ResNet18的網(wǎng)絡(luò)結(jié)構(gòu)保持不變，但是殘差模塊需要在進(jìn)行加法計(jì)算之前對(duì)樣本圖片的特征進(jìn)行了重新標(biāo)定，其原因是sigmoid函數(shù)存在歸一化的權(quán)重計(jì)算，當(dāng)卷積網(wǎng)絡(luò)較深時(shí)，模型的輸入層部分會(huì)出現(xiàn)梯度消散現(xiàn)象，使模型的優(yōu)化變得更為困難。

3 試驗(yàn)部分

3.1 訓(xùn)練環(huán)境的搭建

本文試驗(yàn)搭建的訓(xùn)練環(huán)境為Win11操作系統(tǒng)，Intel（R） Core（TM） i7-11800H處理器，使用CPU進(jìn)行模型訓(xùn)練，Python版本為3.9.7，Pytorch版本為1.11.0。

3.2 試驗(yàn)結(jié)果與分析

考慮到分類的類別數(shù)量較少，無(wú)需使用太多層ResNet來(lái)進(jìn)行模型訓(xùn)練，因此僅分別對(duì)18層、34層和50層的模型進(jìn)行50個(gè)epochs試驗(yàn)，訓(xùn)練結(jié)果如表2所示。

由表2得出，ResNet18在訓(xùn)練過(guò)程中每次迭代平均訓(xùn)練時(shí)間為1.31 s，ResNet50的訓(xùn)練時(shí)間最長(zhǎng)，平均時(shí)間為2.44 s，可見(jiàn)隨著層數(shù)的增加，訓(xùn)練時(shí)間不斷提高，但是平均準(zhǔn)確率卻在下降。

不同層次ResNet驗(yàn)證集準(zhǔn)確率與損失值的變化曲線如圖7所示。

從圖7可以發(fā)現(xiàn)ResNet18曲線比較平滑，曲線波動(dòng)幅度較小，ResNet18的損失值最低，驗(yàn)證集準(zhǔn)確率與其他兩個(gè)模型相比更高。分析原因可能是圖片復(fù)雜程度較低，用ResNet18可以在較少的層數(shù)下完成較高的識(shí)別分類，考慮到同樣的模型之間差距可能較少，ResNet18在同種模型中做到了最優(yōu)。再將ResNet18與AlexNet、VGG-16這兩個(gè)經(jīng)典模型作對(duì)比，結(jié)果如表3所示。

由表3可以看出，AlexNet模型在油茶果分選中驗(yàn)證集平均準(zhǔn)確率高于VGG-16模型，但是與ResNet18相比仍然有一定的差距，不同模型驗(yàn)證集準(zhǔn)確率與損失值的變化曲線如圖8所示。

從圖8得出，AlexNet模型和VGG-16模型在驗(yàn)證集準(zhǔn)確率和訓(xùn)練損失值方面與ResNet18相比曲線波動(dòng)較大，收斂速度較慢，模型不夠理想?？紤]到ResNet34與ResNet18差距較小，可能存在誤差，在模型的進(jìn)一步改進(jìn)中，同時(shí)將兩個(gè)模型改進(jìn)，驗(yàn)證改進(jìn)后的SE-ResNet18與SE-ResNet34相比是否仍然具有優(yōu)勢(shì)，其結(jié)果如表4所示。

從表4可以看出，SE-ResNet18與未改進(jìn)之前相比在訓(xùn)練時(shí)間上有了明顯的變化，每次迭代訓(xùn)練平均時(shí)間由之前的1.31 s降低為現(xiàn)在的1.13 s，縮短了0.18 s，與此同時(shí)驗(yàn)證集平均準(zhǔn)確率提升了1.4%，有了較小的提升，但是SE-ResNet34改進(jìn)后效果仍然沒(méi)有達(dá)到較好的效果，如圖9所示。

改進(jìn)后的SE-ResNet18模型具有更好的穩(wěn)定性，訓(xùn)練損失函數(shù)和驗(yàn)證集準(zhǔn)確率的浮動(dòng)較少，將改進(jìn)前的模型與改進(jìn)后的模型使用預(yù)留的384張測(cè)試集圖片進(jìn)行測(cè)試，結(jié)果如表5所示。

測(cè)試結(jié)果說(shuō)明， SE-ResNet18對(duì)油茶果茶籽和果殼的分選具有較高的識(shí)別率，能夠很好地進(jìn)行區(qū)分，相比于改進(jìn)前的ResNet18在內(nèi)殼、外殼與茶籽的錯(cuò)誤判別數(shù)上均有下降。試驗(yàn)表明，SE-ResNet18模型應(yīng)用于油茶果分選能夠滿足實(shí)際的需求。

4 結(jié)論

1） 為提高油茶果的分選準(zhǔn)確率，提出了一種基于SE-ResNet的分選方法，能夠很好地對(duì)油茶果混合體進(jìn)行識(shí)別，注意力機(jī)制加深了ResNet對(duì)圖片特征的提取能力，提升了分選準(zhǔn)確率。

2） 以ResNet模型為主體進(jìn)行研究，考慮到不同層數(shù)的ResNet模型，ResNet18模型以1.31 s的最短訓(xùn)練平均時(shí)間和97.48%的驗(yàn)證集平均準(zhǔn)確率在層數(shù)方面領(lǐng)先于其他模型。

3） ResNet18模型與其他經(jīng)典模型比較如AlexNet和VGG-16，通過(guò)對(duì)比發(fā)現(xiàn)，其 ResNet18無(wú)論是時(shí)間和平均準(zhǔn)確率均是最優(yōu)，以其作為最佳模型并與注意力機(jī)制進(jìn)行結(jié)合。結(jié)果表明，其驗(yàn)證集的平均訓(xùn)練時(shí)間減少了0.18 s，平均準(zhǔn)確率由之前的97.48%提升為當(dāng)前的98.88%提升了1.4%。

4） 將測(cè)試集在訓(xùn)練好的模型中進(jìn)行測(cè)試，其最終平均準(zhǔn)確率由之前的97.13%提升為當(dāng)前的98.43%，提高了1.3%，特別是在外殼與茶籽的判別正確數(shù)量上有了一定的提升，可較好的應(yīng)用于實(shí)際生產(chǎn)。深度學(xué)習(xí)模型與油茶果分選結(jié)合是可行的。

SE-ResNet18雖然提升了部分準(zhǔn)確率，但是仍有提升空間，接下來(lái)可以考慮如何在此基礎(chǔ)上進(jìn)一步提升準(zhǔn)確率，也可以考慮對(duì)其他卷積神經(jīng)網(wǎng)絡(luò)模型改進(jìn)來(lái)提升模型的性能。

參 考 文 獻(xiàn)

［1］ 柏云愛(ài)， 宋大海， 張富強(qiáng)， 等. 油茶籽油與橄欖油營(yíng)養(yǎng)價(jià)值的比較［J］. 中國(guó)油脂， 2008， 33（3）： 39-41.

［2］ 段宇飛， 皇甫思思， 王焱清， 等. 基于機(jī)器視覺(jué)的油茶果果殼與茶籽分選方法研究［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2020， 41（6）： 171-178.

Duan Yufei， Huangfu Sisi， Wang Yanqing， et al. Sorting method of seeds and shells of the camellia oleifera fruit based on machine vision ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（6）： 171-178.

［3］ 徐克生， 杜鵬東， 湯晶宇， 等. 油茶果預(yù)處理裝備及發(fā)展趨勢(shì)［J］. 林業(yè)機(jī)械與木工設(shè)備， 2021， 49（4）： 8-14.

Xu Kesheng， Du Pengdong， Tang Jingyu， et al. Pretreatment equipment and development trend of camellia oleifera fruit ［J］. Forestry Machinery & Woodworking Equipment， 2021， 49（4）： 8-14.

［4］ 周敬東， 李敏慧， 周明剛， 等. 油茶果的模糊聚類色選算法［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2015， 36（4）： 94-99.

Zhou Jingdong， Li Minhui， Zhou Minggang， et al. Color sorting algorithm for camellia oleosa seed recognition based on fuzzy c-means clustering ［J］. Journal of Chinese Agricultural Mechanization， 2015， 36（4）： 94-99.

［5］ 周敬東， 黃云朋， 李敏慧， 等. 一種基于CCD相機(jī)的通道式油茶果色選機(jī)系統(tǒng)［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2015， 36（5）： 128-133.

Zhou Jingdong， Huang Yunpeng， Li Minhui， et al. Channel color sorter of camellia oleifera fruit based on CCD camera ［J］. Journal of Chinese Agricultural Mechanization， 2015， 36（5）： 128-133.

［6］ 呂夢(mèng)棋， 張芮祥， 賈浩， 等. 基于改進(jìn)ResNet玉米種子分類方法研究［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2021， 42（4）： 92-98.

Lü Mengqi， Zhang Ruixiang， Jia Hao， et al. Research on seed classification based on improved ResNet ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（4）： 92-98.

［7］ 林麗惠， 魏毅， 潘俊虹. 基于卷積神經(jīng)網(wǎng)絡(luò)的武夷巖茶葉片分類方法［J］. 寧德師范學(xué)院學(xué)報(bào)（自然科學(xué)版）， 2021， 33（4）： 363-369.

Lin Lihui， Wei Yi， Pan Junhong. Classification of Wuyi rock tealeaves based on convolutional neural network ［J］. Journal of Ningde Normal University （Natural Science）， 2021， 33（4）： 363-369.

［8］ 蘇寶峰， 沈磊， 陳山， 等. 基于注意力機(jī)制的葡萄品種多特征分類方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2021， 52（11）： 226-233， 252.

Su Baofeng， Shen Lei， Chen Shan， et al. Multi-features identification of grape cultivars based on attention mechanism ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（11）： 226-233， 252.

［9］ Krizhevsky A， Sutskever I， Hinton G E. ImageNet classification with deep convolutional neural networks ［J］. Communications of the ACM， 2017， 60（6）： 84-90.

［10］ Simonyan K， Zisserman A. Very deep convolutional networks for large-scale image recognition ［J］. Arxiv Preprint Arxiv： 1409.1556， 2014.

［11］ He K， Zhang X， Ren S， et al. Deep residual learning for image recognition ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

［12］ Ioffe S， Szegedy C. Batch normalization： Accelerating deep network training by reducing internal covariate shift ［C］. International Conference on Machine Learning. PMLR， 2015： 448-456.

［13］ Zhu X， Cheng D， Zhang Z， et al. An empirical study of spatial attention mechanisms in deep networks ［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 6688-6697.

［14］ 王凱誠(chéng)， 魯華祥， 龔國(guó)良， 等. 基于注意力機(jī)制的顯著性目標(biāo)檢測(cè)方法［J］. 智能系統(tǒng)學(xué)報(bào)， 2020， 15（5）： 956-963.

Wang Kaicheng， Lu Huaxiang， Gong Guoliang， et al. Salient object detection method based on the attention mechanism ［J］. CAAI Transactions on Intelligent Systems， 2020， 15（5）： 956-963.

［15］ 任歡， 王旭光. 注意力機(jī)制綜述［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（S1）： 1-6.

Ren Huan， Wang Xuguang. Review of attention mechanism ［J］. Journal of Computer Applications， 2021， 41（S1）： 1-6.

［16］ 黎萬(wàn)義， 王鵬， 喬紅. 引入視覺(jué)注意機(jī)制的目標(biāo)跟蹤方法綜述［J］. 自動(dòng)化學(xué)報(bào)， 2014， 40（4）： 561-576.

Li Wanyi， Wang Peng， Qiao Hong. A survey of visual attention based methods for object tracking ［J］. Acta Automatica Sinica， 2014， 40（4）： 561-576.

［17］ Choi H， Cho K， Bengio Y. Fine-grained attention mechanism for neural machine translation［J］. Neurocomputing， 2018， 284： 171-176.

［18］ 張夢(mèng)雨. 基于ResNet和注意力機(jī)制的花卉識(shí)別［J］. 計(jì)算機(jī)與現(xiàn)代化， 2021（4）： 61-67.

Zhang Mengyu. Flower recognition based on ResNet and attention mechanism ［J］. Computer and Modernization， 2021（4）： 61-67.

［19］ Jia Deng， Wei Dong， Socher， et al. ImageNet： A large-scale hierarchical image database［C］. 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR 2009）， 248-255.

［20］ 黃毅， 段修生， 孫世宇， 等. 基于改進(jìn)sigmoid激活函數(shù)的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法研究［J］. 計(jì)算機(jī)測(cè)量與控制， 2017， 25（2）： 126-129.

Huang Yi， Duan Xiusheng， Sun Shiyu， et al. A study of training algorithm in deep neural networks based on sigmoid activation function ［J］. Computer Measurement & Control， 2017， 25（2）： 126-129.