劉朝陽, 王永強, 周聰玲, 強斯祺
(天津科技大學機械工程學院,天津市輕工與食品工程機械裝備集成設計與在線監(jiān)控實驗室,天津 300222)
室外池塘養(yǎng)殖是我國水產(chǎn)養(yǎng)殖的主要模式之一,2021年全國池塘養(yǎng)殖面積超過300萬 hm2,產(chǎn)量突破2500萬t,占養(yǎng)殖總產(chǎn)量的49%[1]。目前傳統(tǒng)的投餌方法是人工投餌或者投餌機投餌,均存在諸多弊端。其中,人工投餌主要依靠養(yǎng)殖人員的經(jīng)驗,缺少有效的監(jiān)督管理,且隨意性較大,容易造成飼料浪費、水質(zhì)環(huán)境污染以及養(yǎng)殖魚群生長不均等問題。而目前的自動投餌機只能做到定時、定量投放,無法根據(jù)魚群的攝食狀態(tài)實時調(diào)控投喂時間和投喂強度,極易發(fā)生餌料投喂不足或者投喂過剩的情況。因此,智能化投餌控制技術(shù)顯得尤為重要。吳強澤[2]設計了一種以PLC為控制單元的智能上料機,其以溫度為輸入?yún)?shù),時間為輸出參數(shù),實現(xiàn)定時投料,喂食時間由前1 d的平均水溫決定,結(jié)果表明魚類生長對水溫有很高的要求,在最適合的水溫環(huán)境下,攝食效果最高。Bórquez-Lopez等[3]研究了水產(chǎn)養(yǎng)殖環(huán)境中溶解氧和溫度對飼料消耗的影響,利用模糊邏輯(fuzzy logic,F(xiàn)L)和成員函數(shù)(member functions, MF)對飼養(yǎng)方法進行評價,開發(fā)了基于FL的專家系統(tǒng)指導飼養(yǎng)工作的系統(tǒng)。
機器視覺技術(shù)以檢測速度快、精度高、成本效率高的優(yōu)點,為水產(chǎn)養(yǎng)殖領域中的智能化投喂提供了可能。趙建等[4]提出了一種基于改進動能模型的魚類攝食活動強度評價方法。在HSV色彩空間下對水面的反射區(qū)域進行分割和提取,利用Lucas-Kanade光流、統(tǒng)計方法和信息熵計算分析反射面積變化的不規(guī)則程度,根據(jù)反射區(qū)的變化幅度評價魚的攝食活動強度。該方法能較好地描述不同胃腸飽脹指數(shù)羅非魚在單輪多次投喂中的攝食活動強度。陳彩文等[5]提出了一種通過分析魚群的紋理來評估魚群攝食活動強度的方法。首先,利用均值背景建模重建無魚的背景圖片,提取目標魚群;然后使用灰度共生矩陣對目標魚群進行紋理特征分析,得到魚群的攝食強度,結(jié)果表明,魚群紋理特征中的對比度參數(shù)與傳統(tǒng)面積法評估得出的魚群攝食強度線性決定系數(shù)可達0.8942。 Zhou等[6]提出了一種基于卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)和機器視覺的魚食強度自動分類方法,該方法的分類準確率達到90%。但由于室外池塘養(yǎng)殖環(huán)境的復雜性,目前針對室外池塘養(yǎng)殖投餌系統(tǒng)的智能控制研究較少。因此,本文選用室外池塘養(yǎng)殖中的鯉魚(Cyprinus carpio)作為研究對象,利用紋理特征中熵、能量、相關性、對比度4個參數(shù)分析魚群攝食強度,同時采用獨立性權(quán)系數(shù)法確定4個參數(shù)的最佳權(quán)重,建立數(shù)學模型,并由支持向量機對魚群攝食狀態(tài)進行分析識別。本研究可為室外池塘養(yǎng)殖投餌系統(tǒng)的智能控制提供一種有效的解決方法。
試驗區(qū)位于天津市東麗區(qū)寬達水產(chǎn)3號養(yǎng)殖池塘,該養(yǎng)殖池塘占地0.4 hm2,2021年5月10日在市場選購一批鯉魚苗投放至該池塘。試驗時間為2021年8月1—2日,此時池塘養(yǎng)殖密度為鯉魚5.0萬~5.5萬尾·hm-2,魚體長度10~13 cm,體質(zhì)量規(guī)格在400~600 g。養(yǎng)殖期間對池塘水質(zhì)進行監(jiān)測,保證魚群生長環(huán)境健康。其中溶解氧在連續(xù)24 h內(nèi),有16 h以上大于5 mg·L-1;水溫保持在最為適宜的20~32 ℃;pH在6.5~8.5。
圖像采集設備為大恒圖像MER-504-10GM/C彩色工業(yè)相機,分辨率為2448×2048,鏡頭型號為HN-1624-20M-C1/1X。采集狀態(tài)包含魚群未攝食(T0)、弱攝食強度(T1)、強攝食強度(T2)3種;采集速度為30 f·min-1。
在MATLAB 2017b軟件提取魚群未攝食(T0)、弱攝食強度(T1)、強攝食強度(T2)3種狀態(tài)的圖像紋理特征。在進行紋理特征提取時首先將彩色圖像進行灰度化,然后選取灰度共生矩陣中熵(entropy,ENT)、能量(energy,ASM)、相關性(correlation,COR)、對比度(contrast,CON)4個二次統(tǒng)計量來表示魚群的紋理特征信息,計算公式如式(4)。熵表示圖像中紋理的非均勻程度或復雜程度;能量表示圖像灰度分布均勻程度和紋理粗細度;相關性表示灰度共生矩陣元素在行或列方向上的相似程度;對比度表示圖像的清晰度和紋理溝紋深淺的程度。
式中,L表示圖像灰度級,i和j表示灰度值,d表示相隔距離,θ表示方向,P表示在θ方向上,相隔距離d的1對像素分別具有灰度值i和j出現(xiàn)的概率。
為提高灰度共生矩陣的計算效率,將灰度等級L設置為16級,像素距離d設置為1[7]。方向θ取0°、45°、90°、135°,其中θ取0°,即0°掃描,像素對是水平的;θ取45°,像素對是右對角線的;θ取90°,像素對是垂直的;θ取135°,像素對是左對角線的;不同θ表征的紋理信息不同,為了綜合性描述圖像紋理特征,將4個方向求取均值作為特征值。
鑒于特征融合可以在多個原始特征集中獲得最具差異性的信息,同時能夠消除不同特征集之間因相關性而產(chǎn)生的冗余信息。本文提出了一種基于熵、能量、相關性、對比度4個參數(shù)特征加權(quán)融合模型。首先利用灰度共生矩陣提取圖像熵、能量、相關性、對比度的特征值作為數(shù)據(jù)樣本;然后利用獨立性權(quán)重法計算參數(shù)特征值間的復相關系數(shù)(R)[8],將得到的復相關系數(shù)R取倒數(shù)并進行歸一化即得到參數(shù)間的權(quán)重;最后按照魚群攝食規(guī)律對4個參數(shù)特征值擬合,根據(jù)4個參數(shù)在1個完整攝食周期的曲線走勢建立數(shù)學模型并賦上權(quán)重。
式中,Ri為復相關系數(shù),m為指標個數(shù),xˉ為x的平均值,x?為x中除去xi后剩余m-1個變量的線性組合,i=1, 2, 3...m。任意指標xi的R越大表明該指標與其他指標間的共線性越強,即信息重疊越大,權(quán)重分配越小。
魚群攝食狀態(tài)作為調(diào)控投餌機投餌參數(shù)的重要依據(jù),所以需要對整個投餌過程中魚群的攝食狀態(tài)進行實時識別。本文只針對魚群未攝食(T0)、弱攝食強度(T1)、強攝食強度(T2)3個狀態(tài)的分類識別,并通過構(gòu)建SVM分類器實現(xiàn)對輸入圖像的快速識別,判斷出魚群所處的攝食狀態(tài)。在SVM分類器構(gòu)建中核函數(shù)的選取以及參數(shù)的尋優(yōu)對分類準確率有直接影響。如式(6)和(7),本文選取RBF核函數(shù)并通過libsvm對核函數(shù)參數(shù)g與懲罰因子c自動尋優(yōu)[9]。
式中,g表征支持向量個數(shù),g越大支持向量越少,g越小支持向量越多,支持向量的個數(shù)會影響分類器的訓練速度與預測速度;SVM模型中的懲罰因子c,表征對誤差的寬容度。c越高,越容易過擬合,反之容易欠擬合。
由圖1可以看出,魚群在不同攝食強度下的水面狀態(tài)不同。其中,魚群在未攝食狀態(tài)下水面趨于平靜;在弱攝食強度下水面產(chǎn)生波動;在強攝食強度下水面變化劇烈。同時對比2021年8月1日(東北風3~4級)與2日(東北風1~3級)采集的圖像可以看出,風力等級為3~4級時魚群在未攝食狀態(tài)下水面波紋明顯,但風力等級為1~3級時魚群在未攝食狀態(tài)下水面趨于平靜,且風力等級為3~4級時魚群弱攝食強度和強攝食強度狀態(tài)下的水面變化比風力等級為1~3級時更明顯。因此,將水面狀態(tài)的變化理解為水面紋理變化,通過對水面紋理變化的分析可對魚群攝食狀態(tài)進行監(jiān)測和評估。
圖1 魚群圖像樣本Fig. 1 Sample of fish image
對魚群未攝食、弱攝食強度、強攝食強度3種狀態(tài)的圖像各抽取1000幀圖像的紋理特征進行提取。通過表1可以看出,4個參數(shù)在每種攝食狀態(tài)下的特征值都有一個區(qū)間,且同一參數(shù)不同攝食狀態(tài)下的特征值均值不同。由此分析,熵、能量、相關性、對比度4個參數(shù)均能有效地表征魚群攝食狀態(tài),通過設置不同的閾值范圍可對魚群攝食狀態(tài)進行分類識別,同時對4個參數(shù)特征值的統(tǒng)計能夠為閾值范圍的確定提供基礎依據(jù)。
表1 圖像樣本參數(shù)特征值統(tǒng)計Table 1 Statistics of eigenvalues of parameters of the image sample
隨機選取650幀圖像,其中未攝食(T0)200幀、弱攝食強度(T1)200幀、強攝食強度(T2)250幀。如表2所示,采用獨立性權(quán)重法計算這650幀圖像中熵、能量、相關性、對比度的權(quán)重,結(jié)果顯示,熵的權(quán)重最高,達到47.04%,表明熵與能量、相關性、對比度之間的共線性關系最弱,信息重疊最??;相關性的權(quán)重最低,為12.70%,表明相關性與熵、能量、對比度之間的共線性關系最強,信息重疊最大。同時將650幀圖像熵、能量、相關性、對比度的特征值按周期特性進行數(shù)據(jù)擬合。如圖2所示,1~100幀為T0,魚群未攝食,水面平靜;101~200幀為T1,魚群開始攝食,水面的波動量開始增大; 201~450幀為T2,魚群攝食強烈,水面變化劇烈; 451~550幀為T1,部分魚群吃飽,魚群整體攝食強度變?nèi)?,水面的波動量開始減??;551~650幀為T0,魚群攝食完畢,水面恢復平靜。從擬合結(jié)果可以看出熵、能量、相關性、對比度在T0、T1、T2狀態(tài)間的特征值有交集且相鄰狀態(tài)間的特征幅值比較相近,存在交集表明魚群的攝食狀態(tài)會出現(xiàn)誤判,相鄰狀態(tài)間特征幅值相近表明易出現(xiàn)交集。由此可知,魚群攝食狀態(tài)識別的難易程度與T0、T1、T2之間特征幅值的間隔有關,間隔越大越不容易出現(xiàn)交集與誤判,魚群攝食狀態(tài)識別的難度也就越小。同時通過這4個參數(shù)在1個完整周期的曲線走勢可以發(fā)現(xiàn)能量與相關性的走勢呈“凹”型,熵與對比度的走勢呈“凸”型。由此可以構(gòu)造數(shù)學模型來突顯T0、T1、T23種狀態(tài)間的變化趨勢,數(shù)學模型如下。
表2 獨立性權(quán)重法計算結(jié)果Table 2 Calculation results of independence weight method
圖2 特征值擬合曲線Fig. 2 Eigenvalue fitting curve
式中,y為量化特征值,x1為對比度,x2為能量,x3為熵,x4為相關性。
為驗證參數(shù)加權(quán)融合模型的有效性,將650組原始樣本數(shù)據(jù)代入?yún)?shù)加權(quán)融合模型并進行數(shù)據(jù)擬合。由圖2數(shù)學模型擬合曲線可以看出,參數(shù)加權(quán)融合模型中T0、T1、T2之間不存在交集,且特征幅值的間隔更為明顯,這為后續(xù)魚群攝食狀態(tài)的識別進行了優(yōu)化。
SVM模型中核函數(shù)參數(shù)g與懲罰因子c自動尋優(yōu)結(jié)果為4和11.3137。利用650幀圖像作為訓練集對SVM模型進行訓練,訓練完畢后在不同攝食狀態(tài)下每個區(qū)間內(nèi)重新選取1000幀圖像作為測試樣本進行攝食狀態(tài)識別。由表3可知,經(jīng)參數(shù)加權(quán)融合模型處理后魚群攝食狀態(tài)識別準確率達到99.77%,單幀圖像處理時間為0.48 s。其中T1區(qū)間共有7幀樣本圖像識別錯誤,將錯誤識別樣本與正確識別樣本進行對比分析。從圖3可以看出,相較于正確識別樣本,錯誤樣本紋理變化更為劇烈,但大部分紋理變化是水面波紋產(chǎn)生的。由表4可知,正確識別樣本在參數(shù)模型中的計算結(jié)果為0.7371,屬于T1樣本閾值范圍內(nèi)。7個識別錯誤樣本的計算結(jié)果分別為1.3814、1.4242、1.2873、1.3357、1.2925、1.2834、1.3553,均超出了T1狀態(tài)下的閾值上限,且在T2樣本閾值范圍內(nèi),但靠近T2閾值下限。由此分析,魚群攝食狀態(tài)出現(xiàn)識別錯誤的原因是魚群在攝食強度較弱的狀態(tài)下風力變大引起的水面紋理波動劇烈,與魚群強攝食狀態(tài)下的紋理特征較為相似,導致結(jié)果出現(xiàn)錯誤。雖然風力等級對魚群攝食狀態(tài)的識別有一定影響,但本文提出的方法在整體識別準確率與效率上展現(xiàn)出了優(yōu)越性。
表3 魚群攝食狀態(tài)識別結(jié)果統(tǒng)計Table 3 Statistics of experimental results
表4 誤差結(jié)果統(tǒng)計Table 4 Error result statistics
圖3 樣本對比Fig. 3 Sample identify comparison
參數(shù)加權(quán)融合模型是基于統(tǒng)計方法得出,前文已經(jīng)驗證了模型的有效性。為了驗證模型的可靠性,重新對1個周期內(nèi)的T0、T1、T2各抽取1500幀圖像,隨機分成各500幀的3組樣本進行紋理特征提取?;谶@3組特征值,用獨立性權(quán)重法對參數(shù)加權(quán)融合模型進行權(quán)重賦值,并對2.4中的測試樣本重新識別。由表5可知,由于統(tǒng)計數(shù)據(jù)的不唯一性,權(quán)重系數(shù)賦值會存在小范圍波動,但不會對魚群攝食狀態(tài)的識別準確率產(chǎn)生影響??傊?,參數(shù)加權(quán)融合模型在魚群攝食狀態(tài)的識別中具有一定的可靠性,但在以后的工作中仍需要進一步的完善。
表5 權(quán)重波動試驗統(tǒng)計Table 5 Experimental statistics of weight fluctuation
本文利用機器視覺、圖像處理技術(shù)將魚群攝食狀態(tài)提取紋理特征參數(shù)熵、能量、相關性和對比度表征;利用獨立性權(quán)重法確定4個參數(shù)最佳權(quán)重并建立參數(shù)加權(quán)融合模型,可提高魚群攝食狀態(tài)的識別準確率。該方法可為養(yǎng)殖過程中的精準投餌提供技術(shù)支撐,具有較強的實用性。
陳彩文等[5]通過分析魚群紋理評估魚群攝食活動強度,其依靠單一特征參數(shù)進行分析,本文選取熵、能量、相關性和對比度4個參數(shù)重,通過建立參數(shù)加權(quán)融合模型提高魚群攝食狀態(tài)的識別準確率。楊朦朦[10]研發(fā)了一種能進行精準化投喂作業(yè)的智能投飼裝備,基本結(jié)構(gòu)由送料裝置、稱重裝置和拋料裝置組成,根據(jù)水溫和溶氧量設計了二維模糊控制器,將水溫和溶氧量輸入模糊控制器后得到精準的投喂量。其方法主要基于魚群生活的水質(zhì)參數(shù),沒有對魚群的攝食行為進行分析和識別,本文在保證魚群生活環(huán)境健康的情況下,利用機器視覺實時監(jiān)測魚群攝食強度,以此控制投餌機投餌,為智能化投餌提供了一種有效的解決方法。喬峰等[11]通過圖像處理技術(shù)提取魚群位置、數(shù)量特征值,分析魚群攝食規(guī)律。鑒于魚群搶食時密度過大產(chǎn)生堆疊,此方法不能有效地計算魚群數(shù)量,本文通過魚群攝食過程中池塘的水面紋理變化監(jiān)測魚群攝食情況,可減少程序的復雜程度,消除因計算魚群位置與數(shù)量產(chǎn)生的誤差,同時發(fā)現(xiàn)風力等級對魚群攝食狀態(tài)的識別有一定影響,為下一步的研究提供了思路。