基于無人機圖像的中華絨螯蟹質(zhì)量估算研究

宦 娟，李明寶，徐憲根，曾一鳴，史 兵，張勤蘭

（1.常州大學(xué)計算機與人工智能學(xué)院，江蘇常州 213164；2.常州市環(huán)境科學(xué)研究院，江蘇常州 213022；3.溧陽市水鄉(xiāng)特種水產(chǎn)養(yǎng)殖專業(yè)合作社，江蘇常州 213300）

中華絨螯蟹（Eriocheir sinensis），俗稱河蟹、毛蟹、大閘蟹等，是我國特有的水產(chǎn)珍品，具有極高的經(jīng)濟及醫(yī)用價值［1］。近年來，隨著水產(chǎn)養(yǎng)殖技術(shù)的不斷發(fā)展，中華絨螯蟹養(yǎng)殖和集約化程度得到不斷提高。精準(zhǔn)的質(zhì)量測量可為養(yǎng)殖者生產(chǎn)調(diào)控和養(yǎng)殖產(chǎn)業(yè)結(jié)構(gòu)調(diào)整提供科學(xué)依據(jù)，但由于中華絨螯蟹養(yǎng)殖的特殊性，在質(zhì)量估算方面存在著一定的困難。傳統(tǒng)的質(zhì)量測量方法是定期捕獲部分中華絨螯蟹進(jìn)行人工測量，此過程易造成應(yīng)激反應(yīng)［2］，導(dǎo)致部分蟹爪脫落，損傷中華絨螯蟹，影響中華絨螯蟹生長［1］。

近年來，由于無人機速度快、效率高，且具有圖像實時傳輸、姿態(tài)實時監(jiān)控等優(yōu)點，被廣泛地應(yīng)用于農(nóng)業(yè)研究中。劉家歡等［3］利用無人機拍攝大面積種植的小麥冠層對小麥莖葉快速診斷。ZHANG等［4］利用無人機采集的視覺與光譜圖像對棉花產(chǎn)量進(jìn)行預(yù)測。喬浪等［5］利用無人機拍攝玉米冠層圖像并結(jié)合BP神經(jīng)網(wǎng)絡(luò)對玉米冠層葉綠素含量進(jìn)行檢測，為田間作物長勢評價和精細(xì)化管理提供了技術(shù)支撐。研究者們運用計算機視覺圖像技術(shù)對圖像信息進(jìn)行分析，提取圖像特征，獲取相關(guān)信息。張超等［6］與唐楊捷等［7］利用計算機視覺技術(shù)結(jié)合傳統(tǒng)的產(chǎn)量預(yù)測方法對三疣梭子蟹（Portunus trituberculatus）質(zhì)量進(jìn)行了預(yù)測。

綜合無人機的優(yōu)勢和中華絨螯蟹無應(yīng)激質(zhì)量測量需求，本文提出了基于無人機圖像的中華絨螯蟹質(zhì)量估算方法。利用無人機獲取中華絨螯蟹圖像，運用計算機視覺技術(shù)，對圖像進(jìn)行清晰化、輪廓及其特征提取，選取中華絨螯蟹甲殼的寬與長作為參數(shù)，計算甲殼面積，建立質(zhì)量估算模型。

1 材料與方法

1.1 實驗材料

實驗數(shù)據(jù)樣本采集自江蘇省常州市漁業(yè)科技示范基地，基地占地約10 hm2。位于江蘇省南部（119°08′～120°12′E、31°09′～32°04′N），隸屬長江下游平原，所在的氣候為亞熱帶季風(fēng)氣候。選取基地內(nèi)的養(yǎng)殖池作為實驗場所，每個養(yǎng)殖池占地0.1 hm2，水深0.8 m，，每個養(yǎng)殖池配備水質(zhì)自動監(jiān)測儀，實時獲取溫度、pH和溶解氧等水質(zhì)信息。養(yǎng)殖池中溶解氧≥5 mg·L-1，透明度≥40 cm，pH 7.5±0.3。常州漁業(yè)示范基地主要養(yǎng)殖的中華絨螯蟹品種為“諾亞一號”與“諾亞二號”，每個養(yǎng)殖池里養(yǎng)殖2000只中華絨螯蟹。本次實驗針對品種“諾亞一號”進(jìn)行研究。

1.2 實驗方法

1.2.1 實驗裝置

實驗數(shù)據(jù)采集時間為2018年7月1日至12月31日，實驗采集中華絨螯蟹質(zhì)量、甲寬、甲長及圖像。獲取圖像的裝置為大疆無人機“御”MavicAir。無人機具體參數(shù)如下：4翼機身凈重430 g，展開時長、寬、高為168 mm、184 mm、64 mm，對焦軸距213 mm，飛行速度25 km·h-1，續(xù)航時間為21 min，搭載3軸云臺，可控轉(zhuǎn)動范圍俯仰-90°～＋17°（可擴展），橫滾-30°～＋30°，角度抖動量±0.005。相機鏡頭FOV85°（24mm格式等效），原始圖像分辨率3840×2160。

1.2.2 實驗方案

中華絨螯蟹質(zhì)量估算實驗分為3個步驟，步驟一：用游標(biāo)卡尺測量中華絨螯蟹的甲長與甲寬，測量后在甲殼部貼上序號標(biāo)注；步驟二：將標(biāo)注后的中華絨螯蟹放入電子秤中，稱其體質(zhì)量；步驟三：將稱重后的中華絨螯蟹放在養(yǎng)殖池斜坡上，操作無人機進(jìn)行拍攝，獲取單個中華絨螯蟹圖像。為避免風(fēng)速對無人機飛行穩(wěn)定度的影響，本實驗選擇的時間均為天氣晴朗、風(fēng)速較小或無風(fēng)的時間段。實驗時，無人機飛行的高度為3 m，該無人機噪聲較小且無人機底部搭載3軸云臺，配置的攝像頭可對運動的物體抓拍。為使實驗獲取的圖像為正射影像，即云臺攝像頭與養(yǎng)殖池斜坡成垂直角度，拍攝時調(diào)制云臺攝像頭角度至俯角63°，操控?zé)o人機沿著養(yǎng)殖池斜坡飛行并對中華絨螯蟹進(jìn)行抓拍。本實驗共采集120張圖像，其中84張圖像用于質(zhì)量估算模型研究，36張圖像用于質(zhì)量估算模型驗證。拍攝的中華絨螯蟹圖像如圖1所示。

圖1 無人機拍攝中華絨螯蟹圖像Fig.1 Image of Eriocheir sinensis taken by UAV

1.3 中華絨螯蟹圖像處理與特征提取

1.3.1 中華絨螯蟹圖像處理流程

圖像處理過程主要分為圖像預(yù)處理、目標(biāo)清晰化、圖像更新和邊緣檢測提取4個部分。中華絨螯蟹目標(biāo)圖像清晰化為整個過程的核心，它為后續(xù)的圖像特征提取提供良好的支撐。圖像處理過程在python開發(fā)環(huán)境下結(jié)合OpenCV庫編寫完成，具體過程如下：

1）圖像預(yù)處理分為3個步驟：幾何校正、圖像模糊化和目標(biāo)區(qū)域提取。

2）提取出目標(biāo)區(qū)域后，采用維納濾波對目標(biāo)區(qū)域進(jìn)行清晰化處理。

3）進(jìn)行圖像更新處理，將圖像模糊化后的目標(biāo)區(qū)域與清晰化處理后的目標(biāo)區(qū)域替換。

4）應(yīng)用Canny邊緣檢測算子進(jìn)行中華絨螯蟹輪廓提取。

1.3.2 中華絨螯蟹圖像預(yù)處理

由于現(xiàn)實中的光照條件以及無人機在飛行過程中存在許多不可抗力因素的影響，在進(jìn)行圖像處理前需要對圖像進(jìn)行幾何校正、圖像模糊化、目標(biāo)區(qū)域提取等預(yù)處理操作［8-10］。

無人機體積較小，超低空拍攝時，由于風(fēng)力或操作抖動等因素影響，會產(chǎn)生圖像傾斜等問題，因此，在圖像處理前需對圖像進(jìn)行幾何校正［11-12］。幾何校正主要有基于控制點和基于影響特征的校正。本實驗地點主要為中華絨螯蟹養(yǎng)殖池，范圍較小，且易尋找控制點，因此，本文選擇基于控制點的幾何校正法。養(yǎng)殖池斜坡可看做一個矩形，選擇矩形的左上、右上、左下以及右下4個頂點為控制點。

中值濾波是一種非典型濾波，其基本思想是用像素點鄰域灰度值的中值來代替該像素點的灰度值，讓該點周圍的像素點值接近真實的值，從而消除孤立的噪聲點［13-14］。圖像模糊化算法關(guān)鍵在于確定濾波模板，一般濾波模板均為二維模板。本文經(jīng)過實驗最終確定濾波模板大小為19×19個像素點。

中華絨螯蟹目標(biāo)區(qū)域提取過程利用GrabCut算法進(jìn)行交互式前景提取。GrabCut算法首先需要用一個矩形框?qū)D像中前景框住，然后進(jìn)行迭代式分割，直至達(dá)到分割效果為止［15-16］。由于本實驗采集的圖像中中華絨螯蟹形狀各不相同，無法統(tǒng)一確定目標(biāo)區(qū)域，所以本文利用交互式程序確定前景區(qū)域，即利用人為操作框取目標(biāo)前景。

1.3.3 目標(biāo)清晰化

利用圖像復(fù)原技術(shù)，對提取出的目標(biāo)區(qū)域圖像進(jìn)行復(fù)原，從而將目標(biāo)圖像清晰化。圖像復(fù)原是利用退化過程的先驗知識恢復(fù)圖像本來面目的方法，其過程可以看作為圖像退化的逆向過程［17-18］。圖像復(fù)原首先對圖像退化過程進(jìn)行適當(dāng)?shù)墓烙?，在此估計基礎(chǔ)上得出退化模型，根據(jù)退化模型對圖像進(jìn)行擬合，直至達(dá)到最優(yōu)結(jié)果。圖像復(fù)原的基本過程如流程圖2所示。逆濾波與維納濾波是應(yīng)用于圖像復(fù)原技術(shù)中最廣泛的復(fù)原濾波，本實驗分別采用逆濾波與維納濾波對中華絨螯蟹目標(biāo)進(jìn)行復(fù)原，結(jié)果分別如圖3、圖4所示。對比兩幅圖的復(fù)原效果，維納濾波比逆濾波對目標(biāo)圖像的復(fù)原效果更好，因此，本實驗選擇使用維納濾波作為復(fù)原濾波。

圖2 圖像復(fù)原流程圖Fig.2 Image restoration flow chart

圖3 逆濾波復(fù)原圖像Fig.3 Image restoration by inverse filtering

圖4 維納濾波復(fù)原圖像Fig.4 Image restoration by Wiener filter

1.3.4 中華絨螯蟹圖像更新

本過程將利用圖4對目標(biāo)中華絨螯蟹區(qū)域進(jìn)行更新。首先，利用python中OpenCv庫的copyMakeBorder邊緣填充函數(shù)，對圖4上下左右分別進(jìn)行填充，填充后的圖像大小為800×600。其次，確定圖像中目標(biāo)區(qū)域所在位置，可由步驟1.3.2得知。最后將模糊化圖像中目標(biāo)中華絨螯蟹區(qū)域RGB值與填充圖像中目標(biāo)區(qū)域RGB值替換。

1.3.5 Canny邊緣檢測

Canny邊緣檢測算法是邊緣檢測的一種標(biāo)準(zhǔn)算法，利用Canny邊緣檢測算法可有效地提取出中華絨螯蟹的邊緣輪廓［19］。Canny邊緣檢測的步驟分為：灰度化、高斯檢測、調(diào)用Canny函數(shù)尋找強度梯度、邊界清晰化、設(shè)置雙闕值［20-21］。

2 結(jié)果與分析

2.1 中華絨螯蟹輪廓提取

利用OpenCV庫中封裝好的Canny函數(shù)，編寫程序時需設(shè)置Canny函數(shù)雙闕值。本文經(jīng)多次實驗，最終確定闕值threshold1為200像素梯度值，threshold2為300像素梯度值。根據(jù)Canny邊緣檢測的結(jié)果，提取出的中華絨螯蟹邊緣特征由甲長與甲寬組成的矩形區(qū)域，經(jīng)膨脹算法［22］處理后，如圖5所示。

圖5 中華絨螯蟹邊緣特征Fig.5 Edge characteristics of Eriocheir sinensis

2.2 中華絨螯蟹參數(shù)獲取

2.1提取出的中華絨螯蟹邊緣特征是由甲長與甲寬組成的矩形區(qū)域。利用公式L＝l×V計算圖測甲寬和甲長。式中，L為圖測甲長甲寬，l為甲長甲寬像素點，V為中華絨螯蟹圖像中單個像素點長度。經(jīng)過計算，V＝0.034 cm·像素點-1。部分圖測甲長甲寬計算結(jié)果如表1所示，筆者選擇相對誤差作為衡量圖測參數(shù)與實測參數(shù)之間的誤差。

從表1中可以看出，圖測甲長與實測甲長的相對誤差最大值為6.8%，最小值為0.4%，這說明，圖測甲長接近中華絨螯蟹的實測甲長，計算較為精準(zhǔn)。圖測甲寬與實測甲寬的相對誤差最大值為11.0%，最小值為0.2%，圖測甲寬計算結(jié)果誤差較大，但仍在可接受的誤差范圍內(nèi)。為進(jìn)一步確定圖像計算結(jié)果的精確度，隨機抽取30張中華絨螯蟹圖像，經(jīng)過計算得出甲長與甲寬，圖6為部分中華絨螯蟹的無人機圖像計算結(jié)果與實際人工測量對比。

表1 中華絨螯蟹的無人機圖像計算結(jié)果與實際人工測量值Tab.1 UAV image calculation results and actual manual measurement of Eriocheir sinensis

從圖6可以看出，無人機中華絨螯蟹圖像計算結(jié)果與人工實際測量數(shù)據(jù)擬合程度較高。經(jīng)過計算，圖測甲長與實測甲長的相對誤差平均值為2.93%，圖測甲寬與實測甲寬的相對誤差平均值為5.40%，誤差較小。利用公式S＝L×W最后計算出中華絨螯蟹甲殼的像素點面積。式中，S表示甲殼的像素點面積（cm2），L表示甲殼的圖測長度，W表示甲殼的圖測寬度。

圖6 中華絨螯蟹圖像計算結(jié)果與人工實際測量數(shù)據(jù)對比Fig.6 Comparison between calculation results of Eriocheir sinensis image and actual manual measurement

2.3 中華絨螯蟹質(zhì)量估算

利用本文提及的算法對84張圖像進(jìn)行處理并經(jīng)過計算得出甲殼像素點面積，將甲殼像素點面積與實測體質(zhì)量作為參數(shù)，分別利用線性回歸、二次多項式回歸、對數(shù)回歸、冪函數(shù)回歸以及指數(shù)回歸這5種回歸模型，得出甲殼像素點面積與中華絨螯蟹質(zhì)量的關(guān)系。

為了比較線性回歸、二次多項式回歸、對數(shù)回歸、冪函數(shù)回歸以及指數(shù)回歸等5種回歸模型的建模效果，本文選擇以決定系數(shù)R2和自相關(guān)系數(shù)P值作為衡量模型的標(biāo)準(zhǔn)。各模型計算結(jié)果如表2所示。由于計算出的各模型自相關(guān)系數(shù)P值均大于0.01，所以為了進(jìn)一步確定每一個模型的預(yù)測精度，隨機抽取30條數(shù)據(jù)，將數(shù)據(jù)中的甲殼面積S作為未知參數(shù)x代入表2中的各個模型，對預(yù)估結(jié)果y和實測數(shù)據(jù)M進(jìn)行對比，取絕對誤差和相對誤差作為衡量各個回歸模型預(yù)測精準(zhǔn)度的標(biāo)準(zhǔn)，對比結(jié)果如表3所示。

表2 5種中華絨螯蟹質(zhì)量回歸模型及評定系數(shù)Tab.2 Five regression models and evaluation coefficients of Eriocheir sinensis mass

表3 中華絨螯蟹質(zhì)量回歸模型精度分析Tab.3 Accuracy analysis of regression model for Eriocheir sinensis mass

對表2進(jìn)行分析發(fā)現(xiàn)，線性回歸模型、二次多項式回歸模型以及冪函數(shù)回歸模型的擬合程度較高，決定系數(shù)均大于0.9。對數(shù)回歸模型和指數(shù)回歸模型的決定系數(shù)相對較低，其決定系數(shù)均小于0.9。表3中，筆者主要以絕對誤差的平均值和相對誤差的平均值來比較5種回歸模型的預(yù)測效果。對表3進(jìn)行數(shù)值分析發(fā)現(xiàn)，指數(shù)回歸模型的絕對誤差平均值為16.0，遠(yuǎn)遠(yuǎn)大于其他模型，這說明指數(shù)回歸模型的預(yù)測精度最差。對數(shù)回歸模型的相對誤差平均值為9.1，大于其他模型，這說明對數(shù)回歸模型的預(yù)測精度較差。線性回歸模型、二次多項式回歸模型和冪函數(shù)回歸模型的絕對誤差平均值和相對誤差平均值較為接近。但是，冪函數(shù)回歸模型的絕對誤差最大值和相對誤差最大值分別為16.1和12.4，分別比線性回歸模型小4.1和7.2，說明線性回歸模型與冪函數(shù)回歸模型相比，冪函數(shù)回歸模型的預(yù)測精度更高。表2中冪函數(shù)回歸模型和二次多項式回歸模型的決定系數(shù)，冪函數(shù)回歸模型的決定系數(shù)為0.9678，遠(yuǎn)大于二次多項式回歸模型的決定系數(shù)。綜上對表2與表3的分析，發(fā)現(xiàn)冪函數(shù)回歸模型的決定系數(shù)和預(yù)測精度均優(yōu)于其他模型。因此，本文選擇冪函數(shù)作為中華絨螯蟹質(zhì)量估算模型。

2.4 中華絨螯蟹質(zhì)量估算模型分析

由2.3中華絨螯蟹質(zhì)量估算可知，冪函數(shù)回歸模型的估算效果最好。為了進(jìn)一步確定冪函數(shù)回歸模型的估算精度。將用于驗證中華絨螯蟹質(zhì)量估算模型的36張圖像經(jīng)過本文提及的算法處理后，計算出甲殼的圖像面積S，將甲殼圖像面積S作為未知數(shù)x代入冪函數(shù)回歸模型中。本文選擇平均絕對誤差（MAE）、均方根誤差（RMSE）以及相關(guān)系數(shù)（R）作為模型評價標(biāo)準(zhǔn)。MAE可以反映估算值誤差的實際情況，RMSE可以用來衡量實際值與估算值之間的偏差，R可以衡量實際值與估算值之間的總體相關(guān)性，R越接近于1說明實際值與估算值之間的相關(guān)性越高，整體的估算精度也越高。

冪函數(shù)模型中華絨螯蟹質(zhì)量估算結(jié)果如圖7所示。圖中藍(lán)色曲線為中華絨螯蟹質(zhì)量實際測量值，黃色曲線為冪函數(shù)模型預(yù)估結(jié)果值，從圖7中可以看出，冪函數(shù)模型預(yù)估結(jié)果值大部分接近于中華絨螯蟹質(zhì)量的實際測量值。經(jīng)過計算，冪函數(shù)模型預(yù)估結(jié)果的平均絕對誤差（MAE）、均方根誤差（RMSE）以及相關(guān)系數(shù)（R）分別為14.4722、17.6186、0.9465，從相關(guān)系數(shù)R可以看出模型整體的預(yù)測精度較高，而MAE與RMSE誤差均較大，說明部分中華絨螯蟹質(zhì)量預(yù)估結(jié)果與實際質(zhì)量偏差較大。原因在于，本文實驗時間為6月至12月，中華絨螯蟹質(zhì)量分布不統(tǒng)一，后續(xù)研究可增加實驗樣本容量。結(jié)合圖7與模型函數(shù)評價標(biāo)準(zhǔn)，冪函數(shù)可作為中華絨螯蟹質(zhì)量估算模型，可滿足中華絨螯蟹質(zhì)量測量的需要。

圖7 冪函數(shù)模型中華絨螯蟹質(zhì)量估算結(jié)果Fig.7 Predicted results of Eriocheir sinensis mass by power function model

3 小結(jié)

針對傳統(tǒng)中華絨螯蟹質(zhì)量測量方法對檢測人員造成誤傷、對中華絨螯蟹造成應(yīng)激反應(yīng)、估測精度不高等問題，本文提出了基于無人機圖像的中華絨螯蟹質(zhì)量預(yù)估的方法。

利用無人機獲取中華絨螯蟹圖像，運用計算機視覺技術(shù)提取中華絨螯蟹特征作為參數(shù)估算中華絨螯蟹質(zhì)量的方法具備一定的可行性。針對中華絨螯蟹質(zhì)量預(yù)估的問題，本研究提出單個冪函數(shù)中華絨螯蟹質(zhì)量估算模型，其擬合決定系數(shù)R2為0.9678，自相關(guān)系數(shù)P＜0.01，在測試樣本中的相關(guān)系數(shù)R為0.9465。估算結(jié)果表明，該模型對中華絨螯蟹質(zhì)量估算具有一定的適用性，可為中華絨螯蟹質(zhì)量測量提供參考。由于中華絨螯蟹在養(yǎng)殖池岸邊的高密度移動，在無人機采集到的圖像中會出現(xiàn)重疊問題，使得圖像分割過程較為復(fù)雜。后續(xù)將進(jìn)一步研究高精度圖像分割，從而提高高密度養(yǎng)殖情況下中華絨螯蟹質(zhì)量預(yù)估精度。