基于遷移學(xué)習(xí)的PSO-ShuffleNet魚(yú)類(lèi)識(shí)別方法

張溟晨,趙 倫,施 杰,林 森,王海波,Md Shafiqul Islam

(1 云南農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院,云南 昆明 650201;2 深圳職業(yè)技術(shù)學(xué)院智能制造技術(shù)研究院,廣東 深圳 518055;3 瑞典布京理工大學(xué)機(jī)械工程學(xué)院,瑞典 卡爾斯克魯納 37179)

在中國(guó)魚(yú)類(lèi)多樣性資源保護(hù)及現(xiàn)代漁業(yè)生產(chǎn)中,魚(yú)類(lèi)種群信息采集技術(shù)相對(duì)落后,通過(guò)機(jī)器視覺(jué)采集種群信息可提升中國(guó)魚(yú)類(lèi)生物多樣性保護(hù)能力,推動(dòng)漁業(yè)現(xiàn)代化發(fā)展進(jìn)程[1-2]。國(guó)外針對(duì)魚(yú)類(lèi)識(shí)別問(wèn)題的研究相對(duì)較早,技術(shù)較為成熟,Alsmadi等[3]采用BP神經(jīng)網(wǎng)絡(luò)與決策樹(shù)算法構(gòu)建了魚(yú)類(lèi)識(shí)別模型,并將其運(yùn)用于全球魚(yú)類(lèi)信息系統(tǒng)的圖像識(shí)別中,達(dá)到了84%的準(zhǔn)確率,解決了早期魚(yú)類(lèi)識(shí)別研究中未將特征選擇、圖像分割和幾何參數(shù)相結(jié)合的問(wèn)題,實(shí)現(xiàn)了監(jiān)督學(xué)習(xí)在魚(yú)類(lèi)識(shí)別中的應(yīng)用。Schulein等[4]提出了一種基于神經(jīng)網(wǎng)絡(luò)的三維積分成像水中目標(biāo)識(shí)別方法,該方法解決了以往神經(jīng)網(wǎng)絡(luò)僅能夠?qū)崿F(xiàn)二維目標(biāo)識(shí)別的問(wèn)題,首次實(shí)現(xiàn)了水下全息三維物體識(shí)別。Salman等[5]采用CNN對(duì)層次特征組合進(jìn)行設(shè)置,提高了無(wú)約束魚(yú)類(lèi)識(shí)別網(wǎng)絡(luò)的性能,該網(wǎng)絡(luò)在LifeCLEF15數(shù)據(jù)集上的識(shí)別正確率高達(dá)90%。lqbal等[6]通過(guò)改變AlexNet網(wǎng)絡(luò)中的卷積層數(shù)和全連接層數(shù),對(duì)原始網(wǎng)絡(luò)進(jìn)行改進(jìn),并將其運(yùn)用于魚(yú)類(lèi)識(shí)別問(wèn)題中,測(cè)試精度高達(dá)90.48%,解決了原AlexNet訓(xùn)練過(guò)程中內(nèi)存占用大,計(jì)算復(fù)雜的問(wèn)題,實(shí)現(xiàn)了魚(yú)類(lèi)識(shí)別網(wǎng)絡(luò)的輕量化。國(guó)內(nèi)針對(duì)魚(yú)類(lèi)識(shí)別問(wèn)題的研究起步較晚,技術(shù)相對(duì)落后。杜偉東等[7]提出了基于SVM的決策融合魚(yú)類(lèi)識(shí)別方法,該方法以魚(yú)類(lèi)聲學(xué)散射數(shù)據(jù)作為研究樣本,利用小波變換和離散余弦變換對(duì)數(shù)據(jù)進(jìn)行特征提取,通過(guò)SVM分類(lèi)器輸出最終結(jié)果。李海濤等[8]提出了基于VGG-16的海水養(yǎng)殖病害診斷模型,針對(duì)對(duì)蝦的6種常見(jiàn)病害進(jìn)行識(shí)別研究,網(wǎng)絡(luò)的平均準(zhǔn)確率為90.66%。該診斷模型的提出解決了原VGG-16網(wǎng)絡(luò)在對(duì)蝦病害診斷過(guò)程中識(shí)別精度較低的問(wèn)題,提高了網(wǎng)絡(luò)的魯棒性和泛化能力。張勝茂等[9]基于TensorFlow平臺(tái)采用SSD_MobileNet_v1模型開(kāi)發(fā)了水族館魚(yú)類(lèi)目標(biāo)檢測(cè)APP,在華為MHA-AL00手機(jī)的平均檢測(cè)時(shí)間為40 ms,解決了魚(yú)類(lèi)識(shí)別檢測(cè)模型在手機(jī)移動(dòng)設(shè)備的部署問(wèn)題,實(shí)現(xiàn)了手機(jī)移動(dòng)端的實(shí)時(shí)魚(yú)類(lèi)識(shí)別功能。楊文靜等[10]提出了一種面向渾濁水域的魚(yú)類(lèi)識(shí)別方法,該方法采用改進(jìn)Retinex算法對(duì)水下魚(yú)類(lèi)圖像進(jìn)行增強(qiáng)處理,利用YOLOv4網(wǎng)絡(luò)進(jìn)行目標(biāo)識(shí)別,網(wǎng)絡(luò)的mAP為89.59%,解決了常規(guī)魚(yú)類(lèi)識(shí)別算法的識(shí)別效果受水域渾濁程度影響較大的問(wèn)題,實(shí)現(xiàn)了圖像增強(qiáng)方法與魚(yú)類(lèi)識(shí)別技術(shù)的融合應(yīng)用。

近年來(lái),國(guó)內(nèi)外對(duì)魚(yú)類(lèi)識(shí)別技術(shù)的研究較為廣泛,采用卷積神經(jīng)網(wǎng)絡(luò)、無(wú)監(jiān)督學(xué)習(xí)、圖像增強(qiáng)等多種方法從不同角度進(jìn)行了試驗(yàn)。雖然魚(yú)類(lèi)識(shí)別技術(shù)有所提升,但模型訓(xùn)練過(guò)程中的超參數(shù)均采用人為設(shè)定的方式,不具備自適應(yīng)能力。為了解決上述問(wèn)題,本研究針對(duì)算法訓(xùn)練過(guò)程中超參數(shù)不能夠自適應(yīng)確定的問(wèn)題,并結(jié)合粒子群優(yōu)化原理,提出了基于遷移學(xué)習(xí)的PSO-ShuffleNet魚(yú)類(lèi)識(shí)別方法,實(shí)現(xiàn)了模型參數(shù)的自適應(yīng)設(shè)定和較高的識(shí)別正確率。

1 ShuffleNet改進(jìn)模型

1.1 ShuffleNet模型

ShuffleNet是一種輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò),采用分組逐點(diǎn)卷積(Pointwise Group Convolution)與通道混洗(Channel Shuffle)結(jié)構(gòu),在保證識(shí)別正確率的同時(shí)減少了權(quán)重參數(shù)[11-14]。該模型通過(guò)打亂組卷積之間的輸出結(jié)果,以解決特征提取過(guò)程中缺乏信息融合的問(wèn)題,提升了不同組卷積之間的關(guān)聯(lián)性。ShuffleNet相較與AlexNet、MobileNet等傳統(tǒng)模型提升了特征提取能力,在識(shí)別精度和速度上取得較好的平衡,因此本研究以ShuffleNet模型為基礎(chǔ),研究魚(yú)類(lèi)識(shí)別方法。

1.2 粒子群算法

粒子群算法(Particle Swarm Optimization,PSO)的尋優(yōu)思想來(lái)自大自然鳥(niǎo)類(lèi)等生物的覓食行為,通過(guò)模擬鳥(niǎo)類(lèi)覓食中存在的競(jìng)爭(zhēng)合作和信息共享等現(xiàn)象,實(shí)現(xiàn)對(duì)目標(biāo)函數(shù)最優(yōu)解的尋找[15-17],其更新過(guò)程如式(1)～(4)所示:

V′i=M+N

(1)

M=ω×Vi+c1×r×[pbest(i)-Xi]

(2)

N=c2×r×[gbest(i)-Xi]

(3)

X′i=Xi+V′i

(4)

式中:Xi表示第i個(gè)粒子;Vi表示速度;pbest(i)表示尋優(yōu)過(guò)程中出現(xiàn)的最佳位置;gbest(i)為粒子最佳位置;X′i和V′i為更新后的結(jié)果;c1,c2為常量;r為0～1的隨機(jī)數(shù);ω為慣性權(quán)值。

1.3 基于粒子群優(yōu)化的ShuffleNet模型

卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中,模型參數(shù)的選擇對(duì)于網(wǎng)絡(luò)性能有著重要影響,批處理大小影響模型梯度的下降過(guò)程,學(xué)習(xí)率影響模型的收斂性能[18-20]。由于ShuffleNet相較于AlexNet、MobileNet等具有特征提取部分信息融合能力更強(qiáng),正向傳播過(guò)程復(fù)雜程度高的特點(diǎn),因此對(duì)于批處理大小和學(xué)習(xí)率參數(shù)的選擇十分重要。針對(duì)ShuffleNet模型訓(xùn)練過(guò)程中參數(shù)設(shè)定不具備自適應(yīng)性的問(wèn)題,采用粒子群算法對(duì)上述ShuffleNet模型進(jìn)行改進(jìn)。選擇交叉熵作為模型的損失函數(shù),如式5所示:

(5)

PSO-ShuffleNet算法流程如圖1所示。

圖1 PSO-ShuffleNet算法流程Fig.1 PSO-ShuffleNet algorithm flow

將網(wǎng)絡(luò)訓(xùn)練中的損失函數(shù)作為粒子群算法的適應(yīng)度函數(shù),以求得最小損失函數(shù)值為目標(biāo),對(duì)模型訓(xùn)練過(guò)程中批處理大小和學(xué)習(xí)率兩個(gè)參數(shù)進(jìn)行優(yōu)化。首先,程序根據(jù)模型批處理大小和學(xué)習(xí)率的預(yù)設(shè)范圍隨機(jī)初始化粒子種群并設(shè)置速度和位置,并對(duì)ShuffleNet的交叉熵?fù)p失函數(shù)進(jìn)行計(jì)算以獲得每個(gè)粒子對(duì)應(yīng)的適應(yīng)度函數(shù)值。然后,根據(jù)適應(yīng)度函數(shù)的計(jì)算結(jié)果更新粒子歷史最優(yōu)位置與全局最優(yōu)位置,判斷是否滿足算法結(jié)束條件。若滿足則停止計(jì)算,輸出批處理大小和學(xué)習(xí)率的最優(yōu)組合,若不滿足則循環(huán)上述粒子更新過(guò)程,直至算法收斂。最后,采用粒子群算法獲得的最佳參數(shù)組合對(duì)ShuffleNet進(jìn)行訓(xùn)練,得到最終模型。

2 PSO-ShuffleNet結(jié)合遷移學(xué)習(xí)

2.1 遷移學(xué)習(xí)

傳統(tǒng)深度學(xué)習(xí)總是采用特定訓(xùn)練樣本,從原始階段開(kāi)始學(xué)習(xí),這種方法在訓(xùn)練樣本足夠,計(jì)算資源充沛的前提下是可行的。但是當(dāng)訓(xùn)練樣本較少,計(jì)算資源匱乏時(shí),傳統(tǒng)深度學(xué)習(xí)方法無(wú)法滿足分類(lèi)識(shí)別的精度要求,為了解決這一問(wèn)題,研究者提出了遷移學(xué)習(xí)的方法[21-22]。卷積神經(jīng)網(wǎng)絡(luò)提取特征過(guò)程中,淺層卷積層主要用于提取表層局部信息,深層卷積層可提取整體抽象信息。由于淺層網(wǎng)絡(luò)所提取的特征信息具有一定共性,因此可利用其他相關(guān)數(shù)據(jù)集對(duì)原始模型進(jìn)行預(yù)訓(xùn)練,得到初始權(quán)重參數(shù)[23-25]。此時(shí)的模型已具備較強(qiáng)局部特征提取能力,保留預(yù)訓(xùn)練模型參數(shù)作為新模型的初始權(quán)重,采用特定小樣本數(shù)據(jù)集對(duì)模型進(jìn)行再訓(xùn)練,從而能夠達(dá)到更佳的識(shí)別效果[26]。

2.2 基于遷移學(xué)習(xí)的PSO-ShuffleNet模型

在PSO-ShuffleNet模型基礎(chǔ)上,采用遷移學(xué)習(xí)的方式進(jìn)行訓(xùn)練,首先利用ImageNet全部數(shù)據(jù)集對(duì)原網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,保留權(quán)重參數(shù)。然后,設(shè)定模型所需識(shí)別的類(lèi)別數(shù)目,并將預(yù)訓(xùn)練得到的權(quán)重載入至新模型中,使用特定數(shù)據(jù)集對(duì)其再訓(xùn)練。最后,對(duì)模型進(jìn)行微調(diào)處理,得到最終結(jié)果。

3 基于TL-PSO-ShuffleNet模型的魚(yú)類(lèi)識(shí)別方法

將粒子群優(yōu)化原理、遷移學(xué)習(xí)和ShuffleNet模型相結(jié)合以實(shí)現(xiàn)魚(yú)類(lèi)種類(lèi)識(shí)別。首先,采用粒子群算法對(duì)ShuffleNet的批處理大小和學(xué)習(xí)率進(jìn)行尋優(yōu)以獲取最佳超參數(shù)組合;然后,利用ImageNet全部數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練,將訓(xùn)練后的權(quán)重參數(shù)遷移至新模型中,采用魚(yú)類(lèi)數(shù)據(jù)集對(duì)其進(jìn)行再訓(xùn)練,從而獲得最終識(shí)別模型。基于TL-PSO-ShuffleNet模型的魚(yú)類(lèi)識(shí)別方法具體步驟如下:

1)采集魚(yú)類(lèi)數(shù)據(jù)圖像。

2)將ShuffleNet模型的分類(lèi)損失函數(shù)設(shè)定為粒子群算法的適應(yīng)度函數(shù),并以獲取最小損失函數(shù)值為尋優(yōu)目標(biāo)。設(shè)定模型批處理大小和學(xué)習(xí)率的超參數(shù)組合為粒子狀態(tài)信息。

3)粒子群算法參數(shù)設(shè)置:設(shè)置種群數(shù)量、慣性因子、加速度因子和種群迭代次數(shù)。

4)初始化粒子種群,進(jìn)行適應(yīng)度函數(shù)的計(jì)算。

5)更新粒子的最優(yōu)位置,判斷是否滿足算法結(jié)束條件。

6)輸出最佳批處理大小和學(xué)習(xí)率的超參數(shù)組合,將其運(yùn)用在后續(xù)模型訓(xùn)練中。

7)采用ImageNet全部數(shù)據(jù)集對(duì)最佳超參數(shù)設(shè)定的ShuffleNet進(jìn)行預(yù)訓(xùn)練,并將權(quán)重參數(shù)遷移至新模型中。

8)采用魚(yú)類(lèi)數(shù)據(jù)集對(duì)遷移后的模型進(jìn)行再訓(xùn)練以得到最終識(shí)別模型。

9)輸入測(cè)試魚(yú)類(lèi)圖像,模型輸出識(shí)別結(jié)果。

4 魚(yú)類(lèi)識(shí)別試驗(yàn)

4.1 試驗(yàn)平臺(tái)與試驗(yàn)數(shù)據(jù)

研究采用ImageNet數(shù)據(jù)集中的20種魚(yú)類(lèi)圖像作為試驗(yàn)樣本,單個(gè)種類(lèi)圖片1 300張,共26 000張圖片。隨機(jī)選取數(shù)據(jù)集的70%作為訓(xùn)練樣本,其余30%作為測(cè)試樣本,圖2為部分魚(yú)類(lèi)訓(xùn)練樣本。

圖2 部分魚(yú)類(lèi)訓(xùn)練樣本Fig.2 Partial fish training samples

本試驗(yàn)均采用的運(yùn)行環(huán)境為Python 3.7、Miniconda 3、Pytorch1 9.0,采用PyCharm 2021.3.2(Community Edition)作為集成開(kāi)發(fā)環(huán)境,計(jì)算機(jī)配置為Intel(R)Core(TM)i7-10875H CPU @ 2.30GHz,16.0 GB內(nèi)存,NVIDIA GeForce RTX 2070 GPU,8.0 GB顯存,CUDA11.6。

4.2 基于TL-PSO-ShuffleNet模型的魚(yú)類(lèi)識(shí)別試驗(yàn)

TL-PSO-ShuffleNet魚(yú)類(lèi)識(shí)別模型試驗(yàn)首先采用粒子群算法對(duì)批處理大小、學(xué)習(xí)率進(jìn)行尋優(yōu)以得到最佳超參數(shù)組合。然后,利用ImageNet全部數(shù)據(jù)集對(duì)POS-ShuffleNet進(jìn)行訓(xùn)練,將權(quán)重參數(shù)遷移至新模型并采用魚(yú)類(lèi)圖像樣本進(jìn)行再訓(xùn)練。根據(jù)文獻(xiàn)[27-28]提供的粒子群和ShuffleNet參數(shù)設(shè)定方法作為參考,本研究設(shè)置粒子群算法的種群大小為20,慣性權(quán)重為0.8,加速因數(shù)為0.5,種群迭代次數(shù)為50,神經(jīng)網(wǎng)絡(luò)訓(xùn)練的迭代次數(shù)為500。試驗(yàn)將魚(yú)類(lèi)訓(xùn)練樣本剪裁成224×224大小,然后隨機(jī)翻轉(zhuǎn),采用批量歸一化(Batch Normalization,BN)處理加快模型的收斂速度,提高網(wǎng)絡(luò)訓(xùn)練的魯棒性。其計(jì)算過(guò)程如式(6)所示:

(6)

4.3 結(jié)果與分析

訓(xùn)練TL-PSO-ShuffleNet網(wǎng)絡(luò),并對(duì)該模型進(jìn)行測(cè)試。粒子群算法進(jìn)化過(guò)程如圖3所示。

圖3 粒子群算法進(jìn)化過(guò)程Fig.3 Particle swarm algorithm evolution process

ShuffleNet網(wǎng)絡(luò)的訓(xùn)練損失函數(shù)值在50次迭代過(guò)程中得到降低,說(shuō)明采用粒子群算法對(duì)ShuffleNet的優(yōu)化是有效的。網(wǎng)絡(luò)的最小損失函數(shù)值為0.298 7,對(duì)應(yīng)的最佳批處理大小為57,最佳學(xué)習(xí)率為0.000 1。圖4為基于遷移學(xué)習(xí)的魚(yú)類(lèi)識(shí)別PSO-ShuffleNet模型訓(xùn)練過(guò)程,網(wǎng)絡(luò)在前20次迭代過(guò)程中快速收斂,最終正確率為0.90。

圖4 TL-PSO-ShuffleNet模型訓(xùn)練過(guò)程Fig.4 TL-PSO-ShuffleNet model training process

該網(wǎng)絡(luò)模型的混淆矩陣如圖5所示。由該矩陣可以看出,每種魚(yú)類(lèi)圖像測(cè)試樣本均為51,goldfish、lionfish和rock_beauty_fish的正確識(shí)別個(gè)數(shù)為51,正確率為1.0,gar_fish的正確識(shí)別個(gè)數(shù)為39,正確率為0.76。所有類(lèi)別的平均檢測(cè)正確率為0.91。試驗(yàn)表明,該模型對(duì)goldfish、lionfish和rock_beauty_fish的識(shí)別效果較好,對(duì)gar_fish的識(shí)別效果較差。

圖5 TL-PSO-ShuffleNet模型混淆矩陣Fig.5 TL-PSO-ShuffleNet model confusion matrix

表1為部分TL-PSO-ShuffleNet模型的測(cè)試結(jié)果,其反映了識(shí)別不同魚(yú)類(lèi)的精確率、召回率和特異度。

表1 TL-PSO-ShuffleNet模型部分測(cè)試結(jié)果Tab.1 Partial test results of TL-PSO-ShuffleNet model

在所檢測(cè)的20種魚(yú)類(lèi)別中,anemone_fish的精確率最高為1.0,hammerhead_fish的精確率最低為0.825,所有類(lèi)別的平均精確率為0.91。goldfish、lionfish和rock_beauty的召回率最高為1.0,gar_fish的召回率最低為0.765,所有類(lèi)別的平均召回率為0.91。anemone_fish的特異度最高為1.0,gar_fish的特異度最低為0.985,所有類(lèi)別的平均特異度為0.990。由此可見(jiàn),該模型泛化能力較強(qiáng),對(duì)anemone_fish的識(shí)別精度較高,對(duì)hammerhead_fish的識(shí)別精度較低。

4.4 模型對(duì)比分析

為了驗(yàn)證TL-PSO-ShuffleNet魚(yú)類(lèi)識(shí)別方法的有效性,與AlexNet[29]、MobileNet[30]、ShuffleNet和PSO-ShuffleNet模型進(jìn)行對(duì)比試驗(yàn),結(jié)果如圖6所示。

圖6 5種模型正確率對(duì)比Fig.6 Comparison of the five models' correct rates

AlexNet模型的正確率為0.57,MobileNet模型的正確率為0.69,ShuffleNet模型的正確率為0.73,PSO-ShuffleNet模型的正確率為0.81,TL-PSO-ShuffleNet模型的正確率為0.90。由此可見(jiàn),利用粒子群算法對(duì)模型訓(xùn)練中的超參數(shù)進(jìn)行尋優(yōu)可有效改善模型性能;采用遷移學(xué)習(xí)的方法能夠提高網(wǎng)絡(luò)的正確率和收斂性能。試驗(yàn)表明,TL-PSO-ShuffleNet模型性能最佳。

5 結(jié)論

本研究針對(duì)ShuffleNet模型訓(xùn)練過(guò)程中參數(shù)不能夠自適應(yīng)確定的問(wèn)題,采用粒子群算法將模型的損失函數(shù)作為適應(yīng)度函數(shù),對(duì)批處理大小和學(xué)習(xí)率兩個(gè)參數(shù)進(jìn)行優(yōu)化,建立了基于TL的PSO-ShuffleNet模型。研究表明,AlexNet的正確率為0.57,MobileNet的正確率為0.69,ShuffleNet的正確率為0.73,PSO-ShuffleNet的正確率為0.81,TL-PSO-ShuffleNet的正確率為0.90,該模型性能最優(yōu)。研究表明,基于TL-PSO-ShuffleNet識(shí)別方法能夠?qū)崿F(xiàn)較高準(zhǔn)確率的魚(yú)類(lèi)識(shí)別。