基于注意力機(jī)制和深度神經(jīng)網(wǎng)絡(luò)的中華絨螯蟹品級快速鑒定方法研究

摘要 提出一種基于注意力機(jī)制和深度神經(jīng)網(wǎng)絡(luò)（YOLO-v7）的中華絨螯蟹品質(zhì)快速預(yù)測的新方法。首先，蟹在自然環(huán)境中生長會形成背部花紋特征，根據(jù)形態(tài)測量學(xué)將其劃分為側(cè)齒、龍骨脊、額突、疣突、頸溝、復(fù)眼6種特征，提出基于對稱度的特征定量計算方法，并根據(jù)視覺注意力機(jī)制可視化YOLO-v7模型中對分類精準(zhǔn)度較高的區(qū)域，采用LabelImg圖像標(biāo)記軟件分別對差異較大的前5種組合特征進(jìn)行活力品級標(biāo)記，然后基于YOLO-v7模型對標(biāo)記好的數(shù)據(jù)進(jìn)行訓(xùn)練和推理，得到最優(yōu)中華絨螯蟹品級鑒定和預(yù)測模型。結(jié)果顯示，疣突+頸溝的蟹背紋理組合特征可實現(xiàn)中華絨螯蟹品級的快速識別，總體訓(xùn)練準(zhǔn)確率可以達(dá)到95.0%，總體推理準(zhǔn)確率可以達(dá)到96.2%，且每只河蟹活力品級的推理時間不超過0.5 s。該方法具有較大的應(yīng)用前景和市場價值，為開發(fā)大規(guī)模中華絨螯蟹在線品質(zhì)的無損檢測裝備提供關(guān)鍵技術(shù)。

關(guān)鍵詞 中華絨螯蟹；快速鑒別；外觀品級；YOLO-v7模型；組合特征

中圖分類號 TS254.7 文獻(xiàn)標(biāo)識碼 A 文章編號 0517-6611（2024）14-0191-09

doi：10.3969/j.issn.0517-6611.2024.14.041

Rapid Identification Method of Chinese Mitten Crab Based on Attention Mechanism and Deep Neural Network

SUN Shu-yuan1，LIU Zi-hao2，CHEN Wei-jie2 et al

（1.Changxing County Agricultural Technology Extension Service Station，Huzhou，Zhejiang 313199;2.School of Information Science and Engineering，Jiaxing University，Jiaxing，Zhejiang 314001）

Abstract We established a mathematical model for predicting the health status of Chinese mitten crab based on deep inference model （YOLO-v7）.Firstly，crabs grew in the natural environment form the back pattern characteristics，which could be divided into six features of lateral teeth，keel ridge，frontal gibbosity，verruca process，neck groove，compound eye according to morphometrics.Based on the human visual attention mechanism，the effective feature characterizations were visualized with higher classification accuracy in the YOLO-v7 model.Moreover，according to the calculation results，the image labeling software-LabelImg was used to mark the vitality grade of the first five different feature combination modes，respectively.Then，the YOLO-v7 model was used to train and reason the marked data，and the optimal Chinese mitten crab freshness identification model was obtained.The experimental results showed that the proposed texture feature combination algorithm of verruca process + cervical groove could basically realize the recognition of the health status of Chinese mitten crab.The overall training accuracy could reach 95%，the reasoning accuracy could reach 96.20%.Moreover，the reasoning time of each vitality grade of Chinese mitten crab was less than one second.This method had great application prospect and market value，which provided key technology for developing nondestructive testing equipment for large-scale online quality of Chinese mitten crab.

Key words Chinese mitten crab;Rapid identification;Health status;YOLO-v7;Combination feature

基金項目 國家自然科學(xué)基金面上項目（62374074）；浙江省“尖兵領(lǐng)雁”研發(fā)攻關(guān)計劃 （2024C04028）；浙江省農(nóng)業(yè)科學(xué)院科技合作項目（00522228，00523051）；嘉興市公益性研究計劃項目（SQGY202400009）；嘉興大學(xué)人才項目（CD70623008）；海鹽縣民生及農(nóng)業(yè)領(lǐng)域科研項目（2022ND03）；浙江省大學(xué)生科技創(chuàng)新訓(xùn)練計劃項目（851923030Z）。

作者簡介 孫淑媛（1988—），女，浙江長興人，工程師，從事食品質(zhì)量安全檢測研究。 *通信作者，副教授，博士，從事農(nóng)產(chǎn)品在線無損檢測技術(shù)研究。

收稿日期 2023-07-24

中華絨螯蟹又被稱為河蟹、大閘蟹，其養(yǎng)殖和捕撈量很大，是海洋和淡水養(yǎng)殖的主要蟹類經(jīng)濟(jì)水產(chǎn)品種之一。然而，近幾年來，存在一種被稱為“水癟子病”的河蟹養(yǎng)殖?。?-2］，在全國某些重要的河蟹養(yǎng)殖地區(qū)逐漸蔓延，患了水癟子病的河蟹雖然沒有傳染性，但是一旦被感染，蟹甲殼變軟，活力下降，攝食能力逐漸減弱，甲殼內(nèi)的血淋巴液量增多，肝胰腺量減少、萎縮，肝胰腺顏色逐漸變淡，肌肉、心臟和鰓組織細(xì)胞壞死，且細(xì)胞壞死的過程不可逆，這些給河蟹養(yǎng)殖戶帶來了較大的養(yǎng)殖災(zāi)難，眾多學(xué)者從病理性和生理性方面對水癟子病進(jìn)行了相關(guān)研究［3-5］，但是直到現(xiàn)在都沒有得到統(tǒng)一的結(jié)論。中華絨螯蟹背部的顏色深淺和花紋的錯綜復(fù)雜程度與其健康狀態(tài)、活力差別、養(yǎng)殖方式、水質(zhì)污染、生活習(xí)性、進(jìn)食等有較大關(guān)聯(lián)［6-7］，傳統(tǒng)河蟹活力判別方法往往通過訓(xùn)練有素的“挑蟹工”來完成，這項工作只有長期在“挑蟹”一線工作的員工才可勝任，對工種的要求很高，這種方式費(fèi)時費(fèi)力、效率低下，隨著勞動力的短缺，對河蟹品級的傳統(tǒng)人工識別法必將被淘汰。近年來隨著人工智能技術(shù)的發(fā)展，對中華絨螯蟹的健康狀態(tài)品級快速鑒定實現(xiàn)自動化、智能化已成為一種必然趨勢。在中華絨螯蟹的相關(guān)國標(biāo)中，雖然有對河蟹的外觀、感官、滋氣味的評價方法，但是只能依靠人工經(jīng)驗判斷河蟹的品級好壞，適合于靜態(tài)分析和研究，無法定量快速、高通量地實現(xiàn)中華絨螯蟹外觀品質(zhì)的鑒別，因此該研究具有一定的研究價值和意義。

近年來，國內(nèi)外研究學(xué)者們在中華絨螯蟹的水下個數(shù)統(tǒng)計、品級判別、實時檢測等方面進(jìn)行了許多相關(guān)的研究工作。例如，周志強(qiáng)等［8］提出了一種新穎的河蟹分揀方法，通過圖像預(yù)處理、雌雄判別以及河蟹肥滿度的計算公式得到超過97%的識別結(jié)果。趙德安等［9］提出采用YOLO-v3網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)河蟹的目標(biāo)檢測。曹碩［10-11］均針對河蟹養(yǎng)殖過程中飼料無法精準(zhǔn)投喂的問題，提出采用深度學(xué)習(xí)模型對傳統(tǒng)的河蟹識別檢測模型進(jìn)行參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整，提高模型的檢測精度。石海軍［12］采用光譜技術(shù)實現(xiàn)河蟹外觀品質(zhì)的等級劃分。在國外，Cui等［13］提出采用深度卷積神經(jīng)網(wǎng)絡(luò)對河蟹的雌雄進(jìn)行判別，可取得98.9%的檢測精準(zhǔn)度。Lu等［14-15］針對深海生物缺乏訓(xùn)練樣本的問題，采用YOLO算法開展自動跟蹤研究，對深海水生生物實現(xiàn)自動跟蹤。以上文獻(xiàn)中的方法主要聚焦在河蟹雌雄判別、計數(shù)、肥滿度計算以及采用類似近紅外光譜、電子鼻和電子舌實現(xiàn)河蟹品級的自動分析和判別，雖然現(xiàn)有研究已存在采用新興技術(shù)（光譜技術(shù)、電子鼻和電子舌）實現(xiàn)河蟹的品級鑒定，但是這類研究的數(shù)據(jù)采集和分析過程較為復(fù)雜，往往需要把一只只河蟹手工放入實驗儀器中，通過大型的陣列式傳感器和商業(yè)化的光譜波段提取分析軟件對采集到的數(shù)據(jù)進(jìn)行特征提取和分類，算法時間復(fù)雜度和空間復(fù)雜度較高，無法高效根據(jù)蟹外觀特征實現(xiàn)其品級的快速判別。

鑒于此，針對以上問題，該研究引入YOLO-v7（You Only Look Once第七代模型）發(fā)掘隱藏于中華絨螯蟹背部花紋中的密碼，探索其與中華絨螯蟹健康狀態(tài)之間的相關(guān)關(guān)系，基于中華絨螯蟹背部花紋中隱含的側(cè)齒、龍骨脊、額突、疣突、頸溝、復(fù)眼6大細(xì)節(jié)特征，采用YOLO-v7模型分別對這6種單獨(dú)和組合特征進(jìn)行標(biāo)記和模型訓(xùn)練，通過建立多因素試驗測試推理得到最優(yōu)的模型，實現(xiàn)中華絨螯蟹的健康狀態(tài)活力品級鑒別。

1 材料與方法

1.1 試驗材料

試驗選取的中華絨螯蟹樣本于2023年5—6月購自江蘇省南通多瑞鮮電子商務(wù)有限公司，樣本量總共有800只，雌雄個體各占50%，雄蟹和雌蟹的去繩后的重量為503 g，其中活力好的蟹500只，活力差的蟹150只，由于各種原因?qū)е滤劳龅男?50只，其中活力判別依據(jù)參考江蘇省地方標(biāo)準(zhǔn)［16］。

1.2 試驗圖像獲取

為了獲取試驗用的大批量河蟹圖像，該研究搭建了一套完整的機(jī)器視覺實時采圖系統(tǒng)，如圖1所示，其中包括圖像采集裝置主要由高分辨率的CCD工業(yè)相機(jī)、鏡頭、鋁型材支架、魚缸、增氧棒組成，工業(yè)相機(jī)采用?？低? 000萬高分辨率相機(jī)，型號為MV-CE200-11UMUC，匹配的鏡頭焦距為16 mm，型號為 MVL-KF5024M-25MP。

為了增強(qiáng)算法的魯棒性和適應(yīng)性，樣本圖像的獲取是在不同光照、不同位置下拍攝的，該研究將試驗室內(nèi)白熾燈作為圖像采集系統(tǒng)的照明光源，相機(jī)可以覆蓋到魚缸全表面信息，對出現(xiàn)在相機(jī)視場內(nèi)的河蟹進(jìn)行在線自動視頻錄制，對獲取到的視頻離線按照每隔20幀提取1張圖像，圖2展示了視頻轉(zhuǎn)幀后的部分河蟹圖像。

1.3 中華絨螯蟹背部花紋特征定量描述方法

從中華絨螯蟹背部的外觀來看，存在6種較為明顯的凹陷和凸包特征，分別為側(cè)齒、龍骨脊、額突、疣突、頸溝、復(fù)眼，這些特征結(jié)構(gòu)在蟹甲殼上的分布如圖3所示。這些特征在不同個體之間存在微小的差異，而且每只蟹背上的花紋具有唯一性，這也被研究者們用于鑒定蟹的真?zhèn)危?］。然而，針對這六大特征以何種方式組合才能最大限度地表征不同個體之間的健康狀態(tài)和活力品級，該研究采用組合法對這6個特征進(jìn)行自由組合，發(fā)現(xiàn)共有63種組合方式，把這些特征進(jìn)行標(biāo)記后導(dǎo)入YOLO-v7，先讓模型學(xué)習(xí)隱藏在這6種特征中最能表達(dá)中華絨螯蟹的品級鑒定目標(biāo)的最優(yōu)組合，這既避免了傳統(tǒng)人工鑒別的局限，又能提升了水產(chǎn)行業(yè)的智能化水平。表1展示了中華絨螯蟹背部花紋的不同組合方式。

深度學(xué)習(xí)理論來自監(jiān)督學(xué)習(xí)，這表明要從經(jīng)驗中學(xué)習(xí)先驗知識，即需要預(yù)先訓(xùn)練大批量的目標(biāo)才可完成蟹品級的鑒別目標(biāo)，因此需要先對訓(xùn)練數(shù)據(jù)進(jìn)行打標(biāo)簽。從表1可以看出，中華絨螯蟹背部的6種特征的組合方式共有63種，若將如此多組合方式逐一打標(biāo)簽導(dǎo)入深度學(xué)習(xí)模型是一項巨大的工程，因此該研究構(gòu)建了一種特征優(yōu)選方法，實現(xiàn)定量計算這63種組合特征的最優(yōu)模式，篩選出最后對蟹的品級鑒別貢獻(xiàn)最大的組合特征，該研究首次提出采用對稱度算法對中華絨螯蟹進(jìn)行特征組合的優(yōu)選。

對稱度在機(jī)械工程領(lǐng)域是指加工的兩個目標(biāo)表面中心平面偏離基準(zhǔn)面的程度［17］，即判斷計算的對稱中心與實際對稱中心保持在同一平面內(nèi)的程度。該研究把對稱度引入中華絨螯蟹組合特征的計算中，是衡量以蟹背殼中線為基準(zhǔn)線、中線兩側(cè)的特征是否完全對稱的一種方法，基于對稱度的特征定量描述方法見圖4。

中華絨螯蟹背部的花紋特征基本上都是左右對稱的，這

里以側(cè)齒特征為例對提出的對稱度方法的實現(xiàn)過程進(jìn)行闡述：①側(cè)齒特征在每一側(cè)有4個部分，選取其中單個側(cè)齒區(qū)

域，其形狀類似于三角形，該局部區(qū)域的三角特征可以通過

前期研究中提出的閾值融合分割算法［18］結(jié)合側(cè)齒處于邊緣的位置信息獲取得到，然后計算該特征的質(zhì)心點(diǎn)，標(biāo)記為X1，以蟹背中間的對稱軸為基準(zhǔn)把計算得到的左邊特征的質(zhì)心點(diǎn)映射到右側(cè)，形成質(zhì)心點(diǎn)標(biāo)記為X2。

②采用同樣的閾值分割算法提取右則對應(yīng)位置的局部側(cè)齒特征，計算獲取該三角特征的質(zhì)心點(diǎn)，標(biāo)記為X3，基于兩點(diǎn)之間的距離公式獲取質(zhì)心點(diǎn)X2和X3的距離d，將數(shù)值d作為最后判別兩端的特征是否對稱的指標(biāo)。如果是多個特征模塊的對稱度計算，則以多個特征模塊的標(biāo)記框為計算基準(zhǔn)。③對其他特征，即疣突、龍骨脊、額突、復(fù)眼等特征重復(fù)以上的計算步驟分別獲取定量描述的距離值，然后把這些值在區(qū)間0～1進(jìn)行歸一化處理，得到最終的數(shù)值，最后根據(jù)數(shù)值從大到小的順序，選出最大值對應(yīng)的組合特征，作為判定特征是否對稱的最優(yōu)值。

1.4 視覺注意力機(jī)制可視化蟹背部有效特征方法

基于圖像特征的注意力機(jī)制（attention mechanism）源于認(rèn)知科學(xué)［19］，由于信息處理的瓶頸，人類會選擇性地關(guān)注所有信息的一部分，同時忽略其他可見的信息，這種視覺過程被稱為注意力機(jī)制。近年來，注意力機(jī)制通過“聚焦式”注意力和“顯著性”注意力被用于改進(jìn)已有的深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）和深度循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），并取得了一些實質(zhì)性的進(jìn)展和成果［20-24］。

為了進(jìn)一步探明中華絨螯蟹背部花紋特征進(jìn)行有效組合，并在“1.3”的基礎(chǔ)上進(jìn)一步提煉組合特征，基于視覺注意力機(jī)制和類激活圖（class activation mapping，CAM）對YOLO-v7檢測結(jié)果進(jìn)行特征可視化，以便蟹圖像在YOLO-v7中經(jīng)過backbone層和head層之后，推理得出圖像的某種特征區(qū)域?qū)ψ罱K的蟹品級鑒定作出了較大貢獻(xiàn)，并對該特征區(qū)域進(jìn)行識別定位和目標(biāo)關(guān)注，可視化步驟如下：①在初始化的神經(jīng)網(wǎng)絡(luò)進(jìn)行前向傳播時，計算出中華絨螯蟹不同品級的3種類別，給出目標(biāo)層特征圖的輸出結(jié)果，然后在每一輪反向傳播迭代中，通過計算獲取3個目標(biāo)類相對于目標(biāo)層各特征圖的梯度，對無效梯度清零，保留有效梯度。②中華絨螯蟹背部花紋特征可視化方法在對目標(biāo)層的梯度進(jìn)行全局平均池化處理，然后將處理后的梯度值與目標(biāo)層的輸出值逐點(diǎn)相乘，得到初始化的熱力圖。③熱力圖是灰度圖像，其灰度值的范圍在0～255，由于灰度圖在人眼中表達(dá)的層次差異感不強(qiáng)烈，為了增強(qiáng)對比度，添加不同特征在顏色上的表現(xiàn)力，借助偽彩色圖像處理算法［25-26］對梯度圖求均值，得到一個標(biāo)量，再把結(jié)果放到原圖中進(jìn)行不同色彩顏色的添加，即可形成對應(yīng)不同特征區(qū)域宣示權(quán)重的彩色圖。

1.5 中華絨螯蟹背部花紋特征的標(biāo)定方法 采用的YOLO-v7深度推理模型包含訓(xùn)練和推理過程，訓(xùn)練過程中需要把在蟹殼上標(biāo)記完成的批量圖像投入網(wǎng)絡(luò)中進(jìn)行特征提取和參數(shù)優(yōu)化校正，因此對圖像中蟹背上的紋理特征進(jìn)行標(biāo)記就變得尤為重要。對中華絨螯蟹背部花紋特征采用LabelImg軟件標(biāo)注，標(biāo)注過程是在某一個或某幾個組合特征上用一個矩形框來表示，并在矩形框左上角位置處標(biāo)記相應(yīng)的類別，這里的類別規(guī)定標(biāo)記“huo”“hlc”“si”3類，分別表示活力好的蟹、活力差的蟹以及死蟹。然而，考慮到蟹殼上花紋特征結(jié)構(gòu)的連續(xù)性問題，在標(biāo)記某些結(jié)構(gòu)不連續(xù)的特征上，該任務(wù)就變得很困難，如無法對側(cè)齒+復(fù)眼的組合特征進(jìn)行標(biāo)記，因為用一個最小的矩形框包含這兩者必定會把其他特征一同包含進(jìn)來，導(dǎo)致特征混亂，因此在結(jié)構(gòu)上不連續(xù)的特征，需要對此類組合特征進(jìn)行篩選過濾，剩下的特征則采用“1.2”和“1.3”介紹的方法進(jìn)行優(yōu)選。

1.6 基于YOLO-v7中華絨螯蟹健康品級預(yù)測方法 研究主要采用YOLO-v7模型對中華絨螯蟹健康品級進(jìn)行鑒定，YOLO-v7是深度神經(jīng)網(wǎng)絡(luò)的代表，近年來在多個研究領(lǐng)域的超高識別率，逐漸取代之前的YOLO系列算法成為深度學(xué)習(xí)領(lǐng)域中的主流網(wǎng)絡(luò)，被廣泛用于眾多智能化的檢測領(lǐng)域，包括多目標(biāo)追蹤領(lǐng)域［27］、無人駕駛［28］、醫(yī)學(xué)圖像分析［29］、農(nóng)業(yè)工程領(lǐng)域［30］等，具有較多的應(yīng)用場景。YOLO-v7的網(wǎng)絡(luò)結(jié)構(gòu)是Alexey Bochkovskiy在2022年提出的一種全新網(wǎng)絡(luò)結(jié)構(gòu)，主要由4個部分組成：輸入層、卷積網(wǎng)絡(luò)backbone特征層、head推理層、輸出層，其中輸入層用于接收圖像的導(dǎo)入，backbone卷積網(wǎng)絡(luò)層主要用于提取圖像的特征，并且該層也包含了3種子特征提取模塊：梯度多樣性模塊（ELANB）、空間金字塔池化模塊（SPPCSPC）、最大池化卷積模塊（MPConv），這3種模塊在特征提取層中可以有效地發(fā)現(xiàn)隱藏在中華絨螯蟹背部花紋中細(xì)節(jié)的紋理特征，在獲取輸入圖像的多尺度、高噪聲、特異性不明顯的情況下可以最大限度提高特征提取的效率，這為揭示中華絨螯蟹背部中藏匿的密碼提供積極作用。而且，隨著層數(shù)的深入迭代生成形態(tài)和輪廓更為完整的高層特征，head推理層主要用于預(yù)測圖像的類別，從而得到最終的每幅推理圖像的標(biāo)簽信息，基于YOLO-v7中華絨螯蟹的健康狀態(tài)預(yù)測的訓(xùn)練和推理過程見圖5。

該研究采用YOLO官方網(wǎng)站公布的YOLO-v7代碼（網(wǎng)址參見https：//github.com/Wong KinYiu/yolov7），其中包含2個部分：采用自己數(shù)據(jù)集從頭開始訓(xùn)練、基于官網(wǎng)生成的權(quán)重。用數(shù)據(jù)集對網(wǎng)絡(luò)head模塊的最后一個分類層進(jìn)行參數(shù)微調(diào)，因為該研究采集了大批量的中華絨螯蟹圖像，構(gòu)成了一個包含活力好、活力差以及死蟹的數(shù)據(jù)集，因此該研究采用本地數(shù)據(jù)集從頭開始訓(xùn)練YOLO-v7模型。該研究使用的YOLO-v7網(wǎng)絡(luò)采用3×3卷積層，使用該種卷積層可增加網(wǎng)絡(luò)backbone特征提取層中函數(shù)的非線性表達(dá)能力，對生成的權(quán)重參數(shù)進(jìn)行壓縮，對每個池化層后的通道數(shù)進(jìn)行擴(kuò)增，同時為了增強(qiáng)河蟹細(xì)微特征的表達(dá)能力，對其中的backbone層中3×3卷積層每前進(jìn)一個步長替換為1×1的卷積層，這樣可以最大限度使得訓(xùn)練好的模型傾向于表達(dá)河蟹背部花紋的細(xì)節(jié)信息，有利于提高模型的推理準(zhǔn)確率。該研究使用的檢測網(wǎng)絡(luò)的backbone特征提取層數(shù)總體為54層，其中ELANB疊層特征結(jié)構(gòu)包含7層，MpConv疊層卷積層包含4層，SPPCSPC疊層卷積層包含11層，其他普通卷積層為4層；head推理層數(shù)總體為51層，其中ELANN疊層特征結(jié)構(gòu)包含7層，MpConv疊層卷積層包含4層，其他普通卷積層為11層。最后一個類別輸出層的層數(shù)與該研究對應(yīng)的分類目標(biāo)一致，有3層，負(fù)責(zé)輸出中華絨螯蟹3種不同活力品級的目標(biāo)層。該研究使用的YOLO-v7的模型結(jié)構(gòu)見圖6。

2 結(jié)果與分析

2.1 數(shù)據(jù)來源 該研究采用的深度學(xué)習(xí)硬件平臺為 DELL P5820臺式電腦（美國 Dell 公司），Intel（R） Core（TM） i9-10900X CPU@ 2.40 GHz 處理器，顯卡型號為RTX3090 Ti 24 G顯存，內(nèi)存為32 GB，算法是基于PyTorch深度學(xué)習(xí)架構(gòu)在Pycharm軟件平臺上實現(xiàn)的程序功能。中華絨螯蟹總圖像數(shù)量總共有1.15萬張圖像，打標(biāo)簽先以視頻轉(zhuǎn)幀，再采用LabelImg軟件進(jìn)行標(biāo)注，訓(xùn)練樣本在實驗室條件下拍攝獲取，驗證集和測試集的部分樣本通過網(wǎng)絡(luò)爬蟲采集的河蟹圖像，其中訓(xùn)練集包含8 000張圖像，驗證集包含2 000張圖像，測試集包含1 500張圖像。

2.2 中華絨螯蟹背部花紋組合特征優(yōu)選試驗結(jié)果與分析

在該試驗中，分別對3種蟹的健康品級進(jìn)行特征優(yōu)選試驗，在總共1.15萬張圖像中，8 500張是活蟹圖像，1 500張是活力差的蟹圖像，1 500張是死蟹圖像，基于“1.2”中華絨螯蟹背部花紋組合特征定量計算方法，通過在Python中編程實現(xiàn)，得到表2的結(jié)果，表中數(shù)值為對應(yīng)類別樣本對稱度的平均值。

由表2可知，活力好的蟹和活力差的蟹在2種特征組合模式中表現(xiàn)較優(yōu)，而對于死蟹來說單特征模式具有更好的結(jié)果。從組合特征的對稱度來看，2種特征的組合形式的對稱度相比于其他組合模式具有較好對稱形式，而且2種特征的組合可以形成穩(wěn)固聯(lián)結(jié)，組合的特征越多，其聯(lián)結(jié)形式越復(fù)雜，越可能導(dǎo)致對稱結(jié)構(gòu)失穩(wěn)，也是解釋2種特征組合可以獲取較好對稱度的原因，這也為后面特征篩選提供了強(qiáng)有力的證據(jù)?；诖耍挛年P(guān)于中華絨螯蟹外觀品級的預(yù)測試驗主要采用單獨(dú)特征和2種特征的組合形式進(jìn)行。

2.3 中華絨螯蟹背部花紋可視化結(jié)果與分析

從構(gòu)建的中華絨螯蟹圖像數(shù)據(jù)集中任意挑選9張圖像，按照“1.4”中介紹的可視化方法進(jìn)行展示，結(jié)果見圖7，其中越接近紅色區(qū)域表明其覆蓋的組合特征可最優(yōu)地識別出該樣本對應(yīng)的品級信息，越接近黃綠色區(qū)域表明其覆蓋的組合特征可較優(yōu)地識別出該樣本對應(yīng)的品級信息，其他顏色區(qū)域?qū)χ腥A絨螯蟹的品級識別起到負(fù)向作用。

從圖7可以看出，該試驗的可視化區(qū)域中紅、黃、綠色區(qū)域大部分集中于蟹背部的中心區(qū)域，其中包含了疣突、額齒、龍骨脊、頸溝4種特征，尤其在疣突和頸溝區(qū)域中，紅色占了大部分，這表明該2種區(qū)域特征的組合模式可以較好地表達(dá)中華絨螯蟹背部花紋特征對其品級鑒定準(zhǔn)確率的貢獻(xiàn)，這與表2的試驗結(jié)果是一致的，從而為組合特征的試驗開展進(jìn)行了優(yōu)化，提高了效率。

2.3 中華絨螯蟹健康品級預(yù)測實驗結(jié)果與分析

為了建立中華絨螯蟹背部花紋與健康狀態(tài)活力品級之間的關(guān)系，基于YOLO-v7深度推理模型發(fā)掘兩者之間深層次關(guān)聯(lián)，并根據(jù)“2.2”中試驗結(jié)果選擇特征組合形式，YOLO-v7模型中采用網(wǎng)絡(luò)超參數(shù)以0.10為初始學(xué)習(xí)率、以0.98為震蕩率、基準(zhǔn)深度模型采用ResNet具有101層的網(wǎng)絡(luò)結(jié)構(gòu)在傳統(tǒng)的ImageNet圖像庫上訓(xùn)練100個周期，衰減方式為多項式衰減。訓(xùn)練階段中，選擇每批次導(dǎo)入網(wǎng)絡(luò)8張圖像樣本，輸入圖像尺寸歸一化到640×640，訓(xùn)練總共進(jìn)行100輪循環(huán)迭代。在推理階段，目標(biāo)置信度閾值設(shè)置為0.25，非極大值抑制閾值（NMS）目標(biāo)為0.45，推理輸入輸出的圖像尺寸為640×640，YOLO-v7的中華絨螯蟹的訓(xùn)練和推理統(tǒng)計結(jié)果如圖8所示。

從圖8可以看出，訓(xùn)練和推理階段中的目標(biāo)損失函數(shù)（圖8a和8c）的下降速度先快后慢，隨著網(wǎng)絡(luò)訓(xùn)練輪數(shù)的增加，目標(biāo)函數(shù)與損失函數(shù)之間的差距不斷縮小，預(yù)測值不斷向目標(biāo)精度逼近，迭代速率不斷減小，并逐漸趨向于0。在目標(biāo)識別精度方面，訓(xùn)練和推理階段中的目標(biāo)預(yù)測精度從第1輪到第10輪期間內(nèi)快速上升，然后逐漸趨于平緩，在訓(xùn)練階段的圖8b中，目標(biāo)預(yù)測精度曲線存在一定的震蕩，在訓(xùn)練至5輪左右時，模型出現(xiàn)較大的波動趨勢，表層原因在于模型網(wǎng)絡(luò)深度較大的情況下，選擇了較小的batch-size。深層原因在于圖像樣本在標(biāo)記中出現(xiàn)特征混亂的情況，即在中華絨螯蟹背部花紋中有些特征比較鄰近，在用矩形框框選的時候，把不是該特征的一些局部區(qū)域也囊括進(jìn)來，造成特征混亂的問題，因此出現(xiàn)局部震蕩，而且模型在30輪左右也出現(xiàn)了該問題，但是在推理階段中這種現(xiàn)象逐漸消失，也體現(xiàn)出該研究構(gòu)建模型的有效性。在推理階段的圖8d中，前20輪曲線上升較為迅速，當(dāng)輪數(shù)進(jìn)行到80輪時，模型預(yù)測精度值基本保持在0.96以上，而且隨著網(wǎng)絡(luò)訓(xùn)練輪數(shù)不斷增加，模型預(yù)測精度也不斷增加，與損失函數(shù)的下降趨勢剛好相反。結(jié)果表明，該研究構(gòu)建的深度推理模型具有較好的圖像泛化能力，在訓(xùn)練階段出現(xiàn)精度曲線震蕩的情況下，推理中依然可以保持較高的識別準(zhǔn)度，具有一定的應(yīng)用前景和價值。

為了對中華絨螯蟹的健康狀態(tài)進(jìn)行預(yù)測，該研究開展了由表2得出較優(yōu)的單特征和雙特征組合試驗，從識別率、識別時間、模型權(quán)重占比3方面對比特征的優(yōu)劣，結(jié)果見表3。其中，特征組合1為側(cè)齒+龍骨脊；特征組合2為額齒+疣突；特征組合3為疣突+頸溝。加粗?jǐn)?shù)字表示當(dāng)前列中最好的表現(xiàn)結(jié)果。

表3對以頸溝和疣突為代表的2個單獨(dú)特征以及對側(cè)齒+龍骨脊、額齒+疣突、疣突+頸溝3個特征組合模式訓(xùn)練和推理的結(jié)果進(jìn)行統(tǒng)計，這些特征的篩選結(jié)果是基于“2.1”和“2.2”節(jié)的試驗結(jié)果進(jìn)行的。進(jìn)一步來說，單特征表現(xiàn)的結(jié)果沒有兩兩特征組合的結(jié)果好，但是針對頸溝特征而言，其在模型的訓(xùn)練總時長（87.1 min）以及訓(xùn)練模型參數(shù)占內(nèi)存比重（71.27 M）方面是較優(yōu)的，原因可能在于用于訓(xùn)練頸溝圖像的樣本量較少，以數(shù)量上的成本換取時間上的優(yōu)勢，而且單特征的訓(xùn)練過程中損失函數(shù)的收斂速度較快。在兩兩特征組合方面，疣突+頸溝的訓(xùn)練成功率和推理成功率分別可以達(dá)到95.0%和96.2%，高于其他組合特征的結(jié)果，因為這2種特征集中在蟹背的正中央以及上側(cè)部分，在中華絨螯蟹的長期進(jìn)化和生長發(fā)育過程中，疣突和頸溝在結(jié)構(gòu)和紋理上的不斷變化塑造了其在不同的生長環(huán)境、健康狀態(tài)以及活力表征的最重要的指標(biāo)［7］。其他2組組合特征以額齒、側(cè)齒以及龍骨脊為基礎(chǔ)構(gòu)建，這3種特征集中在蟹背的邊緣或者側(cè)邊。在生物學(xué)上，額齒和側(cè)齒的結(jié)構(gòu)進(jìn)化往往與蟹的防御性、守衛(wèi)等方面具有較大的關(guān)聯(lián)性，其活力健康狀態(tài)的好壞主要集中于蟹背的3個特征疣突、頸溝、龍骨脊中，這也在試驗中得以證實。從時間效率上來看，單特征的識別效率較高，可在增加較多樣本的情況下考慮對以上3種單特征進(jìn)行權(quán)重的重新訓(xùn)練，這樣可以在增加推理成功率的基礎(chǔ)上盡可能地減少推理時間，增加了程序的執(zhí)行效率，為把所提算法應(yīng)用于河蟹的在線自動化檢測設(shè)備中打下基礎(chǔ)。

為了展示YOLO-v7推理階段的識別準(zhǔn)確度，表4給出了基于疣突+頸溝特征關(guān)于中華絨螯蟹3類分級結(jié)果的混淆矩陣圖，其中推理階段的圖像樣本數(shù)量為1 500張，其中活力好的蟹900張，活力差的蟹300張，死蟹300張。

為了把表3中較優(yōu)的組合進(jìn)行可視化，采用最優(yōu)特征組合模式（疣突+頸溝）進(jìn)行試驗，可視化結(jié)果如圖9所示，綜合考慮表4列出的混淆矩陣，其中大部分活力好和活力差的河蟹樣本都可以被正確推理，但在死蟹方面，存在個別樣本出現(xiàn)標(biāo)記框推理異常的情況，例如圖7死蟹的右圖中，推理形成的矩形框只包含部分疣突，并且把蟹背最下面冗余的背景也包含進(jìn)來了，屬于框選錯誤樣本，該原因從表2中可看出，基于對稱度的特征優(yōu)選結(jié)果顯示，死蟹在單特征方面表現(xiàn)較優(yōu)，而活力好的蟹和活力差的蟹在兩兩組合特征的表現(xiàn)較優(yōu)，由于YOLO-v7在模型訓(xùn)練的時候需要采用LabelImg軟件對圖像進(jìn)行標(biāo)記，而且每輪訓(xùn)練只能標(biāo)記一種組合特征或者單特征，因此模型在推理死蟹的過程中識別錯誤率較高，如把4只死蟹誤判為活力好的蟹，把17只死蟹誤判為活力差的蟹，這也進(jìn)一步證實了死蟹的單特征最優(yōu)屬性。

為了驗證該研究所提方法的新穎性和有效性，也為了論證深度卷積神經(jīng)網(wǎng)絡(luò)方法用于鑒別蟹品質(zhì)的可行性，將所提方法與其他方法進(jìn)行對比，從識別準(zhǔn)確率、研究對象、采用技術(shù)方面呈現(xiàn)試驗結(jié)果（表5）。

從表5可以看出，所提方法在中華絨螯蟹的外觀品級識別的準(zhǔn)確度較高，而且其他文獻(xiàn)中僅針對如何快速提高蟹的品級的識別精度設(shè)計了較為復(fù)雜的機(jī)器視覺算法，如邰偉鵬等［32］提出基于SURF特征點(diǎn)匹配+FLANN優(yōu)化方法提取蟹背部花紋點(diǎn)狀特征，實現(xiàn)中華絨

螯蟹的防偽目標(biāo)，然而該算法的空間和時間復(fù)雜度較高，僅在試驗室狀態(tài)下可以獲得較高精度，在實際應(yīng)用中存在一定的時間效率問題；張云等［34］提出采用RGB+HSI顏色空間對中華絨螯蟹的品級狀態(tài)進(jìn)行定量描述，這種方法在特定的機(jī)器視覺系統(tǒng)中可以取得較好的識別結(jié)果，但是一旦脫離該環(huán)境，把該過程遷移至室外，河蟹樣本就會受到自然光照的影響，該算法就會失效，因此在考慮算法魯棒性的問題中，只要給YOLO-v7喂入足夠量各種實際場景下的訓(xùn)練圖像，該模型可以適應(yīng)在不同場景下、不同光照下以及不同位置中的識別效果，具有較高的魯棒性，也為后面開發(fā)大規(guī)模中華絨螯蟹在線快速品級鑒定生產(chǎn)線打下基礎(chǔ)。

3 結(jié)論

針對傳統(tǒng)中華絨螯蟹品級鑒定方法的局限性，引入深度推理模型發(fā)掘隱藏于中華絨螯蟹背部花紋中的密碼，探索其與中華絨螯蟹健康狀態(tài)以及活力之間的相關(guān)關(guān)系，基于中華絨螯蟹背部花紋中隱藏的側(cè)齒、龍骨脊、額突、疣突、頸溝、復(fù)眼6個細(xì)節(jié)特征，提出對稱度和視覺注意力機(jī)制對6種特征進(jìn)行定量描述，根據(jù)定量描述結(jié)果采用LabelImg軟件分別對差異較大的前5種特征組合模式進(jìn)行活力品級標(biāo)記，基于 YOLO-v7深度推理模型對標(biāo)記好的數(shù)據(jù)進(jìn)行訓(xùn)練和推理，得到最優(yōu)模型。未來可從以下2點(diǎn)開展進(jìn)一步研究：①基于蟹背花紋隱藏的模式進(jìn)行中華絨螯蟹的肥厚度研究。基于蟹背花紋隱藏的模式探索了對蟹的健康狀態(tài)的研究，然而從本團(tuán)隊開展的預(yù)試驗發(fā)現(xiàn)，蟹背部紋理中隱藏的信息不僅局限于鑒別蟹的健康狀態(tài)，而且還可以探索其在判別蟹殼內(nèi)部的品質(zhì)的功能，如判別公蟹含膏量的多少、識別母蟹含黃量的多少，這兩者可進(jìn)一步代替工人在池塘邊篩選的過程，節(jié)省大量人工成本。

②所提算法融入在線自動化河蟹品質(zhì)檢測裝備。

對所提算法可融入河蟹活力品級的在線自動化檢測裝備中，對標(biāo)記好的特征進(jìn)行離線訓(xùn)練，檢測活力品級采用在線推理的方式進(jìn)行，可以嵌入多種河蟹的自動化檢測生產(chǎn)線中，提升河蟹水產(chǎn)品的檢測效率，提高水產(chǎn)行業(yè)的裝備自動化和智能化的檢測水平。

參考文獻(xiàn)

［1］ 食用大閘蟹安全么？［EB/OL］.（2021-09-22）［2023-04-17］.http：//www.jgs.moa.gov.cn/kptd/202107/t20210721_6372512.htm.

［2］ 馮楊，黃小麗，汪開毓，等.中華絨螯蟹“水癟子”病的主要體征指標(biāo)［J］.水產(chǎn)學(xué)報，2020，44（5）：858-869.

［3］ 陸宏達(dá)，田全全，賈相相，等.中華絨螯蟹水癟子病不同發(fā)病階段的病理變化特點(diǎn)［J］.水生生物學(xué)報，2017，41（6）：1242-1250.

［4］ 楊宗英.中華絨螯蟹肝胰腺壞死綜合癥發(fā)病原因及致病機(jī)理初步研究［D］.上海：上海海洋大學(xué)，2018.

［5］ 葛家春，馬行空.應(yīng)對河蟹水癟子病的建議［J］.水產(chǎn)養(yǎng)殖，2020，41（10）：76-77.

［6］ 李浩.基于圖像局部特征的中華絨螯蟹防偽算法研究［D］.馬鞍山：安徽工業(yè)大學(xué)，2019.

［7］ 李春波.中華絨螯蟹對生境因子的喜好性研究［D］.上海：上海海洋大學(xué)，2022.

［8］ 周志強(qiáng)，曹倩，朱虹，等.基于圖像處理的河蟹分級系統(tǒng)設(shè)計［J］.南方農(nóng)機(jī)，2023，54（10）：8-10，18.

［9］ 趙德安，劉曉洋，孫月平，等.基于機(jī)器視覺的水下河蟹識別方法［J］.農(nóng)業(yè)機(jī)械學(xué)報，2019，50（3）：151-158.

［10］ 曹碩.基于水下機(jī)器視覺的池塘河蟹實時檢測分割研究［D］.鎮(zhèn)江：江蘇大學(xué)，2021.

［11］ 賀帆.基于水下機(jī)器視覺的河蟹養(yǎng)殖精準(zhǔn)投飼技術(shù)研究［D］.鎮(zhèn)江：江蘇大學(xué)，2020.

［12］ 石海軍.基于光譜圖像技術(shù)的中華絨螯蟹品質(zhì)鑒別研究［D］.鎮(zhèn)江：江蘇大學(xué)，2019.

［13］ CUI Y H，PAN T H，CHEN S，et al.A gender classification method for Chinese mitten crab using deep convolutional neural network［J］.Multimedia tools and applications，2020，79（11）：7669-7684.

［14］ LU H M，UEMURA T，WANG D，et al.Deep-sea organisms tracking using dehazing and deep learning［J］.Mobile networks and applications，2020，25（3）：1008-1015.

［15］ HOW M J，CHRISTY J H，TEMPLE S E，et al.Target detection is enhanced by polarization vision in a fiddler crab［J］.Current biology，2015，25（23）：3069-3073.

［16］ 江蘇省市場監(jiān)督管理局.中華絨螯蟹“諾亞1號”：DB 32/T 3719—2020［S］.江蘇省市場監(jiān)督管理局，2020.

［17］ 賈婧瑜，沈云波，曹建鋒.人字齒輪對稱度偏差對系統(tǒng)振動特性的影響分析［J］.西安工業(yè)大學(xué)學(xué)報，2022，42（3）：230-237.

［18］ LIU Z H，JIA X J，XU X S.Study of shrimp recognition methods using smart networks［J］.Computers and electronics in agriculture，2019，165：1-10.

［19］ DONG H，YUAN M，WANG S，et al.PHAM-YOLO：A parallel hybrid attention mechanism network for defect detection of meter in substation［J］.Sensors （Basel），2023，2023，23（13）：1-18.

［20］ ZHANGY，ZHU Y S，LIU X，et al.In-field tobacco leaf maturity detection with an enhanced mobileNetV1：Incorporating a feature pyramid network and attention mechanism［J］.Sensors （Basel），2023，23（13）：1-21.

［21］ LAWAL O M，ZHU S Y，CHENG K.An improved YOLOv5s model using feature concatenation with attention mechanism for real-time fruit detection and counting［J］.Frontiers in plant science，2023，14：1-11.

［22］ AKTER M，ANSARY S，KHAN M A，et al.Human activity recognition using attention-mechanism-based deep learning feature combination［J］.Sensors （Basel），2023：23（12）：1-15.

［23］ NKABITI K P，CHEN Y Y.Device-free tracking through self-attention mechanism and unscented kalman filter with commodity Wi-Fi［J］.Sensors （Basel），2023，23（12）：1-24.

［24］ Computational Intelligence and Neuroscience.Retracted：Identification of navel orange diseases and pests based on the fusion of DenseNet and self-attention mechanism［J］.Computational intelligence and neuroscience，2023，2023：1.

［25］ DE ROSA I，OHAYON A，SEMOUN O，et al.Real-color versus pseudo-color imaging of fibrotic scars in exudative age-related macular degeneration［J］.Retina，2020，40（12）：2277-2284.

［26］ LI H，CHEN C B，F(xiàn)ANG S R，et al.Brain MR image segmentation using NAMS in pseudo-color［J］.Computer assisted surgery，2017，22（S1）：170-175.

［27］ 王承梅，杜豫川.基于YOLO算法的復(fù)雜交通環(huán)境中車輛目標(biāo)檢測方法［J］.交通與運(yùn)輸，2023，39（2）：20-24.

［28］ 王小瑀.無人駕駛環(huán)境中視覺感知關(guān)鍵技術(shù)研究［D］.長春：長春工業(yè)大學(xué)，2022.

［29］ 梁爽.基于深度神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像特征學(xué)習(xí)與分析［D］.北京：北京科技大學(xué)，2022.

［30］ 趙春江，梁雪文，于合龍，等.基于改進(jìn)YOLO v7-tiny的籠養(yǎng)雞/蛋自動識別與計數(shù)方法研究［J/OL］.農(nóng)業(yè)機(jī)械學(xué)報，2023-05-11［2023-04-21］.https：//kns.cnki.net/kcms/detail/11.1964.S.20230511.1322.014.html.

［31］ 姜曉東，成永旭，潘建林，等.中華絨螯蟹背殼特征識別及其算法研究［J］.中國水產(chǎn)科學(xué)，2019，26（6）：1116-1125.

［32］ 邰偉鵬，李浩，張炳良，等.中華絨螯蟹背殼特征識別及其算法研究［J］.中國海洋大學(xué)學(xué)報（自然科學(xué)版），2021，51（1）：138-146.

［33］ 盧少坤，李榮華，施歐文，等.基于圖像識別技術(shù)研究不同海區(qū)三疣梭子蟹甲殼白色斑紋特征及蛻殼前后斑紋特征的變化［J］.水產(chǎn)學(xué)報，2018，42（2）：257-266.

［34］ 張云，楊宏偉，羅克勇.中華絨螯蟹蟹殼顏色的識別量化研究［J］.江蘇農(nóng)業(yè)科學(xué)，2005，33（6）：115-117.

［35］ 顧賽麒，王錫昌，張晶晶，等.電子鼻在中華絨螯蟹產(chǎn)地鑒別及等級評定上的應(yīng)用［J］.中國水產(chǎn)科學(xué)，2014，21（1）：108-117.

［36］ 張晶晶，顧賽麒，丁玉庭，等.電子舌在中華絨螯蟹產(chǎn)地鑒別及等級評定的應(yīng)用［J］.食品科學(xué)，2015，36（4）：141-146.