基于多輪廓模型的紅棗體積和表面積在線測量方法

吳明清，弋曉康，羅華平，李傳峰，唐曉燕，陳坤杰

(1.南京農(nóng)業(yè)大學(xué)工學(xué)院，南京210031；2.塔里木大學(xué)機械電氣化工程學(xué)院，阿拉爾843300；3.江蘇省農(nóng)業(yè)農(nóng)村廳綠色食品辦公室，南京210036)

0 引 言

新疆因光照豐富，降雨量少，晝夜溫差大的獨特環(huán)境而出產(chǎn)優(yōu)質(zhì)紅棗[1]。近年來，新疆紅棗產(chǎn)量隨種植面積逐年擴大，紅棗已經(jīng)成為新疆特色農(nóng)業(yè)經(jīng)濟的支柱產(chǎn)業(yè)，紅棗產(chǎn)業(yè)的快速發(fā)展對紅棗采后加工的技術(shù)和設(shè)備提出了更高的要求[2]。分級是紅棗采收后貯藏、加工及銷售過程中的重要環(huán)節(jié)，同時也是提高紅棗質(zhì)量和商品化價值的重要手段。目前紅棗主要的分級方法有人工、機械和機器視覺技術(shù)。人工分級的效率和精度都比較低；機械分級克服了人工分級缺點，極大的提高了分級效率和質(zhì)量，但機械分級只能根據(jù)紅棗的長短徑進(jìn)行分級，分級指標(biāo)比較單一，不能夠真實反映紅棗的形狀[3]。形狀是影響紅棗等級和價格的重要因素。機器視覺技術(shù)利用圖像傳感器，獲取紅棗的大小、形狀、顏色、紋理和表面缺陷等信息，實現(xiàn)紅棗的分級[4-15]。新疆干制紅棗的品種有駿棗和灰棗，其中駿棗長徑、短徑和長度各不相同。由于二維圖像只能提供紅棗的兩維信息，而且還因視角變化，造成幾何形狀和投影面積的差異[16]，會降低紅棗的分級精度。

體積和表面積都是農(nóng)產(chǎn)品重要的物理特征，準(zhǔn)確獲取體積和表面積對農(nóng)產(chǎn)品的大小分級有重要的意義[17]。但傳統(tǒng)類球體體積的測量多采用排水法測量，表面積采用削皮或切片的方法進(jìn)行測量[18]。效率低、無法實現(xiàn)實時測量，無法用于農(nóng)產(chǎn)品的在線分級。近年來，已有不少文獻(xiàn)研究不規(guī)則農(nóng)產(chǎn)品的體積和表面積的測量方法。李景彬等[10]將紅棗近似成類圓柱體，提取紅棗二維圖像特征參數(shù)得出類圓柱體體積，建立圖像體積與質(zhì)量的線性回歸方程。Clayton等[19]分別以球體和橢球體為模型估算4種蘋果的表面積，采用削皮測量蘋果的表面積，兩種模型分別低估了實際表面積15%和18%。Uyar 等[20]通過三維激光掃描儀獲取農(nóng)產(chǎn)品三維數(shù)字圖像的體積和表面積，分別計算雞蛋和球體的體積和表面積，其中球體體積和表面積的計算誤差小于1%，雞蛋測體積計算誤差在1%～3.15%，雞蛋測表面積計算誤差小于1%。熊妮娜等[21]應(yīng)用三維激光掃描儀系統(tǒng)，通過掃描獲取單株樹木的三維空間的點云數(shù)據(jù)，將樹冠近似為多個圓臺體，求他們的體積之和來計算樹冠體積。龔愛平等[22]利用三維線框模型圖像處理方法測量不規(guī)則球類形狀的農(nóng)產(chǎn)品的體積和表面積，用所提及方法、排水法和掃描圖像處理法對不規(guī)則的柑橘、蘋果和梨進(jìn)行體積和表面積測量，結(jié)果顯示3 種方法的相關(guān)系數(shù)大于0.98；在測量精度方面，當(dāng)圖像數(shù)量大于10幅時，測量精度大于98%，測量數(shù)量小于7幅時則精度下降明顯，測量系統(tǒng)能在5 s內(nèi)完成被測物體的體積和表面積的測量。但是，目前國內(nèi)針對紅棗體積和表面積檢測的研究幾乎處于空白，根據(jù)體積進(jìn)行紅棗分級的研究還沒有相關(guān)報道。

本文搭建紅棗圖像采集的簡易裝置，利用圖像處理技術(shù)進(jìn)行紅棗圖像的實時采集和特征提取，再通過特征參數(shù)構(gòu)建紅棗的三維模型并計算模型的體積和表面積，為將來開發(fā)基于圖像技術(shù)和體積參數(shù)的紅棗分級設(shè)備提供理論和技術(shù)基礎(chǔ)。

1 測量原理

1.1 二維輪廓與三維輪廓空間的映射推導(dǎo)

三維輪廓模型是表示物體幾何形體的模型，是計算機中對物體的形狀可視化表現(xiàn)的一種方式，模型由對象輪廓的邊緣點按映射關(guān)系轉(zhuǎn)換得到，其特點是存儲量小、速度快、操作靈活和處理時間較短[22]。要建立被測物體的三維輪廓模型，需要對旋轉(zhuǎn)過程的物體規(guī)定時間內(nèi)按等時間間隔測量采集N 副圖像，完成等間隔角度圖像的采集，對采集的到圖像進(jìn)行處理，提取圖像邊緣輪廓點的坐標(biāo)，按以下原理進(jìn)行映射轉(zhuǎn)換。

在二維空間，假設(shè)向量p，q 圍繞原點旋轉(zhuǎn)，角度為θ，順時針為正，逆時針為負(fù)。圖1 展示向量p，q 繞原點旋轉(zhuǎn)，得到新向量p'，q'，構(gòu)造矩陣如式(1)所示：

圖1二維向量原點旋轉(zhuǎn)圖Fig.1 Two-dimensional vector origin rotation diagram

圖像輪廓點的坐標(biāo)點圍繞著坐標(biāo)系z 軸進(jìn)行旋轉(zhuǎn)，同一點旋轉(zhuǎn)前后的關(guān)系式如(2)所示：

式中（x，y）為旋轉(zhuǎn)前圖像坐標(biāo)的位置；θ 為圖像的旋轉(zhuǎn)角，(°)；（x'，y'）為旋轉(zhuǎn)后圖像坐標(biāo)的位置。設(shè)坐標(biāo)系(xoy)內(nèi)建立空間直角坐標(biāo)系xyz，空間直角坐標(biāo)系xyz 轉(zhuǎn)動后形成新的直角坐標(biāo)系x'y'z'，如圖2 所示，轉(zhuǎn)換公式如(3)所示。

圖2 三維旋轉(zhuǎn)坐標(biāo)系Fig.2 Three-dimensional rotational coordinates

式中（x，y，z）T為空間直角坐標(biāo)系中任意一點；（x'，y'，z'）T為空間直角坐標(biāo)系x'y'z'中的坐標(biāo)，(△x，△y，△z)T為空間直角坐標(biāo)系xyz 到空間直角坐標(biāo)系x'y'z'的平移參數(shù)。其中Rx(φ)，Ry(α)，Rz(θ)為空間直角坐標(biāo)系xyz到空間直角坐標(biāo)系x'y'z'的旋轉(zhuǎn)矩陣，φ,α,θ 表示紅棗輪廓將其圍繞x,y,z,軸旋轉(zhuǎn)角度(°)，如(4)、(5)、(6)所示：

在公式(4)中，假設(shè)當(dāng)坐標(biāo)點圍繞x 軸進(jìn)行旋轉(zhuǎn)，物體不發(fā)生位移，(△x，△y，△z)T=(0，0，0)T，其中(x，y，z)T表示坐標(biāo)點在平面直角坐標(biāo)系zoy 上的坐標(biāo)，(x'，y'，z')T表示輪廓上的像素點在平面直角坐標(biāo)系z'o'y'上的坐標(biāo)。

1.2 多輪廓體積和表面積的測量原理

多輪廓三維點云模型如圖3 所示，兩個相鄰輪廓的間角為△θ，輪廓個數(shù)用N，輪廓的個數(shù)N=180°/△θ，假設(shè)輪廓個數(shù)N=20，則輪廓在z軸x心上的投影如圖3a、b所示，ri和ri+1為投影面輪廓邊緣點和輪廓軸心點之間的距離，投影面輪廓邊緣相鄰兩點A，P 和軸心點Z0構(gòu)成三角形A=△Z0PA，相鄰輪廓點和軸心點Z0形成的投影面積可以用式(7)表示：

式中S 為輪廓點的投影面積，cm2，Ai，Ai+1，Ai+2…，Ai+n為投影面輪廓邊緣相鄰兩點和軸心Z0點組成三角形的面積，cm2；n 為輪廓點形成三角的個數(shù)。在圖3c 中，在Z 軸方向，相鄰輪廓投影面形成一個橢圓臺，多輪廓模型的體積可以用式(8)表示。

式中V 為多輪廓模型的近似體積，cm3；ab 為多輪廓模型縱軸的長度，cm；Si，Si+1為第i，i+1 層投影面的面積,cm2；△h為相鄰?fù)队懊娴母叨?，cm。

在圖3b中，輪廓投影面的邊緣點的周長可以用式(9)表示。

式中C為投影面積的周長；Li，Li+1，Li+2…，Li+n為輪廓邊緣相鄰兩點的距離，cm，n 為邊緣輪廓點的個數(shù)。在圖3c 中，在z 軸方向，相鄰輪廓投影面形成一個橢圓臺，多輪廓模型的近似表面積可以用式(10)表示。

式中P為多輪廓模型的近似表面積，cm2；Ci，Ci+1為第i，i+1層投影面輪廓周長，cm，△h 為相鄰?fù)队懊娴母叨?，近似等于橢圓臺的母線的長度，cm。

圖3體積和表面積計算示意圖Fig.3 Schematic diagram of volume and surface area calculation

1.3 圖像的分割和點云處理

本文在VS2010 開發(fā)平臺下采用VC++編程語言，結(jié)合PCL(Point Cloud Library1.6 )點云庫和OpenCV 跨平臺計算機視覺函數(shù)庫(Open Source Computer Vision Library3.0)對圖像進(jìn)行處理。圖像分割的目是將目標(biāo)從圖像中精確的分割出來，對提取的結(jié)果進(jìn)行濾波去噪，提高測量的精度[23]。原始圖像如4a 所示。相機拍攝過程受到白色背景，燈光的影響，圖像存在噪音，需要對灰度化圖像進(jìn)行濾波處理，本文應(yīng)用加權(quán)平均法將彩色圖像轉(zhuǎn)換為單色圖像方法進(jìn)行灰度化[24]，計算公式為Gray=0.299R+0.587G+0.114B，式中R、G、B 分別代表彩色圖像3 個基本單色光紅色、綠色、藍(lán)色的強度等級，其取值范圍均為0～255，灰度化效果如圖4b 所示。均值濾波法[25]是一種把相鄰像素的相應(yīng)分量值的平均值作為中心點像素相應(yīng)分量值的方法，本文采用均值濾波(5×5算子)的方法對紅棗圖像進(jìn)行濾波操作，濾波效果如圖4c 所示。圖像的二值化就是將圖像的像素點灰度值設(shè)置為0 或255，將整幅圖呈現(xiàn)出明顯的黑白效果，本文采用Otsu 算法，該算法進(jìn)行二值化具有簡單，時效性高，能夠兼顧邊緣細(xì)節(jié)和分割效果的優(yōu)點[26]，二值化效果如圖4d 所示。二值化分割后，圖像的邊緣存在不連續(xù)現(xiàn)象，影響邊緣輪廓的提取，應(yīng)用開運算法使圖像邊緣光滑，應(yīng)用腐蝕算法增加連通區(qū)域，效果如圖4e f 所示。輪廓邊緣坐標(biāo)的提取方法分為兩步：1)首先應(yīng)用Opencv 中的findContours()函數(shù)對圖像輪廓進(jìn)行檢查，檢索模式為RETR_EXTERNAL，該模式只檢索最外層輪廓；模式標(biāo)識符選CHAIN_APP_ROX_NONE，其作用獲取輪廓邊緣每一個像素的坐標(biāo)位置；2)應(yīng)用Opencv中的drawContours()函數(shù)繪制外輪廓，函數(shù)中參數(shù)thickness 來控制輪廓線的粗細(xì)，一般設(shè)置為1，效果如圖4g所示。輪廓邊緣像素點是二維坐標(biāo)，需要將二維坐標(biāo)轉(zhuǎn)換為三維坐標(biāo)[26]；具體操作如下，構(gòu)建一個三維結(jié)構(gòu)體CvPoint3D32f(float x，float y，float z)，將二維坐標(biāo)存儲到三維結(jié)構(gòu)體中；再將三維結(jié)構(gòu)體CvPoint3D32f 的數(shù)據(jù)類型轉(zhuǎn)化為PointXYZ 點云類型，存儲為.pcd 文件格式[27]，效果如圖4h 所示。由于圖像采集過程，不同間隔角度的輪廓坐標(biāo)都有一定的差異，點云的坐標(biāo)系不同，需要對點云進(jìn)行平移到統(tǒng)一的坐標(biāo)系中，即采用getMin-Max3D 最小包圍盒函數(shù)計算輪廓坐標(biāo)中心(x，y，z)，輪廓點坐標(biāo)中心(x，y，z)與原點坐標(biāo)(0，0，0)位置相減就實現(xiàn)輪廓平移，效果如圖4i 所示。輪廓以Z 軸為旋轉(zhuǎn)中心按二維輪廓與三維輪廓空間的映射關(guān)系轉(zhuǎn)換為多輪廓模型[28]，效果如圖4j 所示，模型中點云十分密集，存在冗余，無法有效運算，降低了輪廓模型體積和表面積的計算速度，需要對多輪廓點云模型進(jìn)行下采樣操作。本文采用體素柵格[29]的點云下采樣方法，設(shè)置素網(wǎng)格立方體的大小為0.1 cm×0.1 cm×0.1 cm，如圖4k 所示。

圖4圖像分割和處理過程Fig.4 Image segmentation and processing

2 試驗材料與裝置

2.1 試驗樣品

試驗樣本為阿克蘇駿棗，購買于2018年10月，采用排水法測量紅棗的體積，將紅棗按體積大小劃分成5 個等級，如表1 所示，每個等級取20 個紅棗，共計100 個紅棗樣本備用。

2.2 試驗儀器和設(shè)備

電子數(shù)顯游標(biāo)卡尺（中國桂林量具刃具有限責(zé)任公司，精度：0.01mm），直嘴溢水燒杯，量筒（量程：100 mL，精度：1 mL），錫紙，剪刀，記號筆，密封袋，標(biāo)簽紙，鑷子等。

2.3 試驗平臺的設(shè)計

自主開發(fā)一套機器視覺圖像采集裝置，如圖5 所示，試驗裝置由工業(yè)相機，計算機，旋轉(zhuǎn)臺，光源，暗箱等組成。相機采用維視MV-EM510C 型工業(yè)相機及4.0 mm 焦距鏡頭，像素尺寸3.45μm×2.2 μm，幀率15 幀/s，曝光時間為30～5 000 000 μs，以太網(wǎng)與計算機相連，相機通過云臺夾固定在暗箱邊框，水平朝向旋轉(zhuǎn)臺中心，距離被測物體約300 mm；照明光源采用兩個LED 燈；旋轉(zhuǎn)臺采用寶康隆NA250 電動旋轉(zhuǎn)臺，轉(zhuǎn)速60 s/圈，旋轉(zhuǎn)角度360°，旋轉(zhuǎn)臺半徑為125 mm，在旋轉(zhuǎn)臺的中心固定一根長度為160 mm 的鋼針，鋼針表面涂為白色。

圖5圖像采集裝置Fig.5 Image acquisition device

2.4 紅棗圖像的采集方法

用戶界面用MFC(Microsoft Foundation Class)進(jìn)行界面設(shè)計，該用戶操作采用軟觸發(fā)，定時器控制，在紅棗的背后放置白板，減少復(fù)雜環(huán)境的干擾。鏡頭到紅棗的距離150 mm，主光軸高度300 mm，在圖像采集時，首先將紅棗樣本果蒂部位刺插在針尖上，啟動旋轉(zhuǎn)按鈕，調(diào)試光源和焦距，當(dāng)樣本清晰呈現(xiàn)在相機鏡頭正前方，觸發(fā)相機。30 s內(nèi)分別得到樣本的圖像的幀數(shù)為12，15，20，30，45；間隔角度分別為15°，12°，9°，6°，4°；采集角度范圍為0°～180°，連續(xù)采集圖像，圖像的存儲格式為JPG。

3 結(jié)果與分析

3.1 排水法和圖像法的實際值測量及標(biāo)定

本文采用排水法測量紅棗體積，操作過程如下：將蒸餾水倒入直嘴溢口燒杯，直至直口嘴溢口燒杯不漏水為止；用鑷子夾住紅棗浸入燒杯中使水溢出到100 mL量筒中，讀出量筒中水的體積，即紅棗的體積，每個樣本測量3 次，取平均值；再用平均值減去鑷子的體積即為紅棗的體積。本文圖像的處理的方法是用錫紙包裹紅棗表面，用剪刀剪切錫紙包裹的多余部分，將錫紙剝離壓平放置相機鏡頭的黑色A4 紙上，采集俯視圖如圖6所示，圖中白色區(qū)域為紅棗表面錫紙圖像。在圖像采集過程中，相機實際成像與理想成像之間存在非線性光學(xué)變形，為了減少系統(tǒng)誤差，提高系統(tǒng)測量的精度，需要對系統(tǒng)進(jìn)行標(biāo)定。本文參照[30-31]提出的標(biāo)定方法，提取圖像的特征向量為像素單位，將其轉(zhuǎn)換為圖像的實際值。在系統(tǒng)硬件參數(shù)、物距確定的情況下，圖像的物理尺寸和像素尺寸比值固定不變[32]，如式(11)所示。

圖6紅棗表面錫紙圖像采集Fig.6 Tin paper on red jujube surface image acquisition

式中A為比例系數(shù)，Lr為物理尺寸，Lp為像素尺寸；實際面積=0.005 6×像素尺寸，實際體積=0.000 42×像素尺寸，應(yīng)用Matlab中的bwarea函數(shù)統(tǒng)計白色區(qū)域面積。

3.2 不同等級紅棗的體積和表面積統(tǒng)計分析

將紅棗按體積大小劃分為5 個等級，每個等級20 個紅棗，計算各等級的最小值、平均值、最大值、標(biāo)準(zhǔn)偏差和變異系數(shù)。不同等級紅棗的實際體積和表面積統(tǒng)計分析結(jié)果如表1所示，體積的標(biāo)準(zhǔn)偏差在1.09～2.05之間，變異系數(shù)在6%～12%之間；表面積的標(biāo)準(zhǔn)偏差在2.56～2.88 之間，變異系數(shù)在4%～10%之間。

表1 不同等級紅棗實際值統(tǒng)計分析Table 1 Different grades of red jujube actual value statistical analysis

3.3 球體體積與表面積測量

球體的圖像如圖7a所示；提取球體的邊緣輪廓如圖7b所示；將邊緣輪廓像素點坐標(biāo)位置轉(zhuǎn)換為三維點云，如圖7c所示；將球體邊緣輪廓的中心偏移到原點位置，如圖7d所示；按映射關(guān)系轉(zhuǎn)換為多輪廓模型，如圖7e所示；將多輪廓模型進(jìn)行下采樣，圖7f 所示；對多輪廓模型進(jìn)行垂直Z軸中心點進(jìn)行投影，如圖7g所示；提取投影面的邊緣點，如圖7h所示。

圖7 球體圖像和點云處理過程Fig.7 Process processing of spherical image and point cloud

球體樣本的的直徑為4.2，3.4，3.0，2.8和2.4 cm，按等間隔角度采集圖像，間隔角度設(shè)置為15°、12°、9°、6°和4°，對應(yīng)采樣圖像幀數(shù)12、15、20、30和45，采集范圍為0°～180°。

3.4 球體投影面高度、間角和直徑的誤差分析

在表2 中，設(shè)球體直徑為3.4 cm 固定值，輪廓間隔角度為15°、12°、9°、6°和4°和投影高度為0.1，0.2，0.3，0.4和0.5 cm。為分析投影高度和輪廓間角度對多輪廓球體模型體積和表面積的計算結(jié)果有影響。根據(jù)表2，找出多輪廓模型實際值和測量值之間相對誤差的最大值和最小值，來設(shè)定合適的投影高度和輪廓間角度，當(dāng)輪廓間角度為4°，投影高度為0.1 cm 時，體積的最小的相對誤差為6.0%；當(dāng)輪廓間角為15°時，表面積最小相對誤差為1.0%。在本試驗中，多輪廓球體模型的體積隨輪廓間角和投影高度的相對誤差的增大而增大，表面積的相對誤差隨輪廓間角和投影高度的增大而減小；隨球體模型輪廓間角的增大，耗時和內(nèi)存隨之減少，間隔角度4°、6°、9°、12°和15°相對應(yīng)的消耗時間為180，120，100，60和30 s。

表2 不同投影高度和間隔角度對球體模型的測量誤差Table 2 Measurement error of spherical model with different projection height and contour angle

為分析不同直徑對球體模型體積和表面積的計算結(jié)果的影響，在表3 中，輪廓間角和投影高度為固定值，分別為9°和0.1、0.4 cm，直徑為4.2，3.4，3.0，2.8和2.4 cm。觀察表3，多輪廓體積模型體積和表面積的相對誤差隨直徑增大變化不明顯，但球體直徑越小，誤差越大；計算多輪廓球體模型體積和表面積實際值和測量值之間相對誤差的均值，分別為9.1%和4.34%。

3.5 不同等級紅棗的誤差分析

通過對多輪廓球體模型的分析，分別確定紅棗模型的投影高度分別為0.1 cm 和0.5 cm，輪廓間角為9°，每個等級紅棗數(shù)量為20 個。計算不同等級紅棗模型的體積和表面積。通過觀察表4，多輪廓紅棗模型體積和表面積的均方根誤差隨著等級變化不明顯；體積平均相對誤差隨等級增大而增大，表面積的平均相對誤差隨著等級變化不明顯；不同等級紅棗體積模型的均方根誤差和平均相對誤差的均值分別為2.45 cm3和10.02%；表面積均方根誤差和平均相對誤差的均值為3.65 cm2和7.09%。

表3 不同直徑球體的測量誤差Table 3 Measurement errors of spheres with different diameter

表4 不同等級紅棗體積和表面積的測量誤差Table 4 Measurement error of volume and surface area of different grades of red jujube

4 結(jié)論

本文搭建圖像采集的簡易裝置，按不同角度采集紅棗的圖像，編寫圖像處理軟件，提取紅棗二維圖像輪廓構(gòu)建多輪廓三維模型，分析在不同輪廓角度，不同投影高度和不同直徑下球體和紅棗三維模型的體積和表面積。

1）當(dāng)球體直徑為3.4 cm 時，球體的輪廓間角和輪廓投影高度分別為15°，12°，9°，6°，4°和0.1，0.2，0.3，0.4，0.5 cm 時，球體體積的測量值隨輪廓間角和投影高度增大增大，而表面積的測量值輪廓間角和投影高度增大減小，體積和表面積的最大相對誤差分別為6.0%和1.0%。

2）當(dāng)球體輪廓間角為9°，球體體積和表面積的投影高度為0.1 cm 和0.4 cm，直徑為4.2，3.4，3.0，2.8，24 cm時，不同球體的體積和表面積隨直徑變化不明顯，但直徑越小，體積和表面積的誤差越大，體積和表面積的相對誤差的均值為9.1%和4.34%。

3）當(dāng)紅棗輪廓間角為9°，體積和表面積的投影高度為0.1 cm和0.5 cm時，紅棗的體積測量平均相對誤差隨等級的增大而增大，表面積隨等級變化不明顯，體積的均方根誤差和平均相對誤差的均值為2.45 cm3和10.2%；表面積的的均方根誤差和平均相對誤差的均值為3.65 cm2和7.09%。

本文采用多輪廓模型測量紅棗的體積和表面積，判斷紅棗過程有一定偏差，需要改進(jìn)算法來提高測量的精度。上述結(jié)論對測量紅棗的體積的表面積的測量提供一種無損的測量方法，為紅棗三維特征的分級裝備開發(fā)提供技術(shù)參考。