球形果蔬表面面積比例不變的投影展開算法研究

王 偉 趙澤群 李 雷 郭樹丹 魏超杰 焦艷娜

(1.中國農(nóng)業(yè)大學(xué)工學(xué)院， 北京 100083； 2.成武縣張樓鎮(zhèn)政府， 菏澤 274205；3.長沙海關(guān)技術(shù)中心， 長沙 410004)

0 引言

針對以蘋果為主的球形果蔬品質(zhì)檢測主要以外部特征衡量為主，其優(yōu)劣將直接影響消費(fèi)者利益，近年來對果蔬外觀檢測以視覺方式為主[1-2]。通過彩色、深度、紅外增強(qiáng)等多類型相機(jī)獲取表面顏色[3]、紋理[4]、缺陷[5-7]等特征，檢測時通常拍攝果蔬表面多幅圖像進(jìn)行區(qū)域識別與缺陷檢測[8]，取得了較好效果[9-11]。但用于分析的圖像往往拍攝角度不全，果蔬表面區(qū)域存在遺漏或重復(fù)的問題[9-12]，造成表面各處面積識別不準(zhǔn)，與面積相關(guān)的特征識別準(zhǔn)確率較低。

從外觀特征來看，這是由于球形果蔬外表面為曲面，各處高斯曲率均為正，無法被平面展開[13-15]，相機(jī)無論以何種角度拍攝圖像，都會將曲面的球形果蔬外表投影至平面，造成面積變形，影響各處面積占比的衡量效果[16-17]。故為獲取符合真實面積比例的果蔬外表面圖像，需按照符合面積變換規(guī)則的投影方法將球體表面點(diǎn)投影至二維平面，文獻(xiàn)[18]利用像素點(diǎn)變換法，根據(jù)三維物體的二維陰影由水果圖像恢復(fù)符合表面真實面積占比的投影圖，取得了一定效果，但其僅能針對靜態(tài)水果。文獻(xiàn)[19]提出一種球形果蔬表面積的球帶計算法，通過球帶面積累加得到球體外表面積，應(yīng)用于柑橘檢測的最大誤差為1.32%，但僅使用單一相機(jī)，獲取的圖像覆蓋范圍較小。文獻(xiàn)[20]通過建立圖像上點(diǎn)與被測水果上點(diǎn)之間的定量關(guān)系，利用像素點(diǎn)變換法實現(xiàn)由三維物體的二維投影圖像恢復(fù)表面真實幾何面積的修正方法，但仍存在檢測效率低的問題。

針對現(xiàn)有定面積比例投影方法存在的適用面窄，檢測效率低，不能適用于在線檢測的問題，本文提出一種適用于在線檢測的球形果蔬外表面面積比例不變投影展開算法。首先，在果蔬樣品滾動過程中獲取多組圖像進(jìn)行拼接展開，隨后通過幾何變換計算展開圖中每一行的理論長度并進(jìn)行縮放，得到各處面積比例符合真實值的投影圖像，并采用標(biāo)準(zhǔn)球進(jìn)行投影算法準(zhǔn)確率驗證及最優(yōu)參數(shù)確定，隨后選擇蘋果、臍橙和番茄3種球形果蔬樣品以最優(yōu)參數(shù)進(jìn)行試驗，并探索不同樣品角度對投影準(zhǔn)確率的影響，驗證算法可行性。

1 算法實現(xiàn)平臺及樣品準(zhǔn)備

本算法的設(shè)計以自主研發(fā)的球形果蔬旋轉(zhuǎn)輸送裝置為平臺，針對多種球形果蔬進(jìn)行檢測，由于多種類球形果蔬在近球形外觀的基礎(chǔ)上仍具有各自特點(diǎn)，且表面顏色分布不均勻，不利于準(zhǔn)確計算表面各處面積以衡量算法準(zhǔn)確性[21]，故以具有規(guī)則顏色分布的標(biāo)準(zhǔn)球為例簡化算法，并同步以常見球形果蔬中的蘋果為例進(jìn)行驗證算法設(shè)計。

1.1 輸送機(jī)構(gòu)工作原理

輸送機(jī)構(gòu)借助多組旋轉(zhuǎn)式果杯[21]使由前部落入其上的球形果蔬能夠以恒定速度滾動前進(jìn)并被以固定幀速拍攝，獲取完整外表面圖像，輸送機(jī)構(gòu)整體如圖1所示，其工作流程為：啟動電機(jī)令多組果杯沿鏈條牽引方向往復(fù)運(yùn)動；球形果蔬落入傳輸機(jī)構(gòu)前部任意兩相鄰果杯之間，由兩側(cè)果杯提供支撐力與摩擦力，隨果杯滾動前進(jìn)；果蔬滾動進(jìn)入圖像采集暗箱內(nèi)部，觸發(fā)內(nèi)部安裝的工業(yè)相機(jī)以固定幀速拍攝果蔬滾動過程中的圖像，完成對多幅不同角度的果蔬全表面外觀圖像獲?。还呃^續(xù)滾動離開采集暗箱，隨果杯運(yùn)動至傳送機(jī)構(gòu)后部的下落滑槽并離開該平臺。

圖1 輸送機(jī)構(gòu)工作原理圖與樣機(jī)實物圖Fig.1 Working principle and prototype of conveying mechanism

1.2 樣品準(zhǔn)備

用于算法說明的標(biāo)準(zhǔn)球體如圖2所示，直徑75 mm，表面規(guī)則分布紅黃相間的條紋，其中黃色色環(huán)寬13 mm，占球體表面總面積的35%，剩余紅色區(qū)域占球體總表面積的65%。用于同步進(jìn)行算法驗證的蘋果采用購自北京某商場的紅富士蘋果。

圖2 標(biāo)準(zhǔn)球樣品Fig.2 Standard ball sample

2 圖像預(yù)處理

為實現(xiàn)對球形果蔬外表面各處面積比例不變的完整投影展開，首先需要獲取其多角度外表面圖像，并對多角度圖像中的關(guān)鍵區(qū)域進(jìn)行裁剪和拼接，得到包含其全部外表面信息的展開圖，完成圖像的預(yù)處理[22]。

2.1 多角度圖像獲取

樣品以固定速度滾動前進(jìn)時，被圖像采集暗箱內(nèi)置的雙側(cè)相機(jī)以固定幀速同步拍攝獲取外觀圖像。為保證對樣品外部圖像的完整獲取，雙相機(jī)采用如圖3所示的布置方式，每個相機(jī)負(fù)責(zé)一側(cè)樣品圖像的獲取。

由于相機(jī)獲取的圖像中包含待測樣品和檢測區(qū)域背景，故需對樣品區(qū)域進(jìn)行提取。如圖4所示，根據(jù)顏色差異進(jìn)行色彩空間變換和閾值分割提取輪廓，并裁剪周邊像素，只保留包含樣品的矩形區(qū)域，完成待測樣品區(qū)域的提取[23]，并以樣品輪廓區(qū)域最小外接圓直徑作為樣品直徑。

圖3 雙相機(jī)獲取圖像示意圖Fig.3 Image acquisition by dual cameras

圖4 樣品區(qū)域提取步驟Fig.4 Extraction steps of sample area

2.2 多角度圖像裁剪與拼接展開

完成不同角度圖像中樣品區(qū)域的提取后，將其拼接以獲得外表面的展開圖，以標(biāo)準(zhǔn)球和蘋果樣品為例，拼接的實現(xiàn)流程如圖5所示，分別以旋轉(zhuǎn)至不同角度的標(biāo)準(zhǔn)球和蘋果圖像中的輪廓區(qū)域中心點(diǎn)作為基準(zhǔn)點(diǎn)[24]，裁剪左右兩側(cè)一定寬度的圖像為裁剪區(qū)域列，該寬度由相機(jī)幀速、果杯速度和檢測區(qū)域長度進(jìn)行速度匹配得到，公式為

(1)

其中

式中l(wèi)d——檢測區(qū)域長度,m

v——樣品速度,m/s

D——樣品直徑,mm

n——相機(jī)拍攝幀速，f/s

d——裁剪寬度,mm

裁剪區(qū)域反映不同角度下正對相機(jī)的樣品中心列表面信息，由于相機(jī)幀速高，裁剪列窄，故可認(rèn)為裁剪區(qū)域內(nèi)樣品表面為平面，將多列圖像按拍攝順序拼接，得到如圖5所示的標(biāo)準(zhǔn)球和蘋果外表面展開圖，其中蘋果外表面粘貼標(biāo)志色區(qū)域用于衡量拼接效果。由于展開圖反映樣品外表面圖像信息不能遺漏或重復(fù)，故其寬度應(yīng)與樣品外表面赤道面周長一致，由樣品直徑?jīng)Q定，此種展開圖獲取方法保證了樣品外表面圖像被完整拍攝，其公式為

Cequ=πD

(2)

式中Cequ——樣品赤道面周長,mm

圖5 多角度圖像拼接流程Fig.5 Multi-angle images mosaic process

3 面積比例不變的投影變換

對外表面展開圖分析發(fā)現(xiàn)，由于展開圖中每行像素反映樣品垂直于旋轉(zhuǎn)軸的一個窄環(huán)形區(qū)域圖像，圖6以標(biāo)準(zhǔn)球滾動過程為例，球體表面垂直于旋轉(zhuǎn)軸的藍(lán)色環(huán)形區(qū)域被展開為圖上的一行像素，且球體表面各處與旋轉(zhuǎn)軸的垂直距離不同，從球體兩極點(diǎn)到赤道位置的環(huán)區(qū)域長度逐漸增大，故圖上像素行的寬度也應(yīng)從上下兩邊界到中心逐漸增大，但當(dāng)前展開圖中所有像素行的寬度均相同，這使得兩極區(qū)域面積放大，面積變形明顯，因此需要根據(jù)每個環(huán)形區(qū)域長度計算展開圖上每個像素行的理論寬度，并對其進(jìn)行長度縮放以得到無面積變形的投影圖。

圖6 環(huán)形表面區(qū)域?qū)?yīng)展開圖Fig.6 Expanded view corresponding to annular area

3.1 投影行寬計算

如圖7所示，在獲取樣品圖像時相機(jī)與樣品的垂直距離為h，水平距離為l，相機(jī)方向為圖中CO所在直線方向，與水平面夾角為β，點(diǎn)A是相機(jī)視野最高點(diǎn)，點(diǎn)B是旋轉(zhuǎn)樣品赤道上的點(diǎn)，點(diǎn)C是相機(jī)視野中心對應(yīng)表面點(diǎn)，點(diǎn)D是旋轉(zhuǎn)軸上的點(diǎn)，點(diǎn)E是相機(jī)視野內(nèi)最低點(diǎn)。

圖7 相機(jī)拍攝樣品方式Fig.7 Camera shooting mode

根據(jù)相機(jī)獲取圖像的角度和樣品旋轉(zhuǎn)方式，將樣品上每一點(diǎn)在展開圖中的坐標(biāo)轉(zhuǎn)換為在樣品表面的實際位置。設(shè)其表面有一點(diǎn)M，樣品滾動時，點(diǎn)M旋轉(zhuǎn)一周經(jīng)過的距離即為展開圖中該點(diǎn)所在行的理論寬度。故通過確定點(diǎn)M的位置，得到其與CO的垂直距離lMM2以及與旋轉(zhuǎn)軸的垂直距離lMM1，即可求得點(diǎn)M所在環(huán)形區(qū)域長度，即展開圖該行圖像理論寬度，lMM2計算式為

(3)

其中

式中s——相機(jī)與樣品間距,mm

ym——點(diǎn)M與中心行坐標(biāo)像素差,像素

f——相機(jī)焦距,mm

H——相機(jī)與點(diǎn)M的垂直距離,mm

L——相機(jī)與點(diǎn)M的水平距離,mm

在已知lMM2的基礎(chǔ)上，確定該樣品半徑R、相機(jī)安裝角度β和MO連線與CO夾角α，公式為

(4)

當(dāng)點(diǎn)M位于樣品表面不同位置時，由△MM2O和△MM1O確定的幾何關(guān)系不同，故lMM1的計算方式不同，具體公式為

(5)

3.2 逐行投影變換

使用已得到的lMM1計算該點(diǎn)所在環(huán)形區(qū)域的周長，并與前述樣品赤道面周長求比，即為該像素行的縮放系數(shù)，基于此便可求得該像素行符合真實長度比例的理論投影變換長度Wth，計算式為

Wth=WN

(6)

其中

式中C——切面圓周長,mm

N——像素行縮放系數(shù)

W——像素行長度，像素

Wth——像素行理論長度，像素

由計算可知，當(dāng)點(diǎn)M位于旋轉(zhuǎn)樣品赤道表面時，所在垂直于旋轉(zhuǎn)軸的環(huán)區(qū)域周長最大，即圖7中點(diǎn)B對應(yīng)的展開圖中部像素行理論長度最大。而當(dāng)點(diǎn)M位于旋轉(zhuǎn)樣品旋轉(zhuǎn)軸經(jīng)過的表面時，所在環(huán)區(qū)域周長最小，即圖7中點(diǎn)D對應(yīng)的展開圖上下兩邊界理論長度最小。圖8為投影變換過程，對標(biāo)準(zhǔn)球和蘋果樣品展開圖逐像素行按前述計算的理論長度比例縮放，可保證該行圖像中各區(qū)域面積占比與真實比例相同，隨后對展開圖所有行進(jìn)行此計算并縮放長度，得到一幅與樣品外表面各處真實面積比例相同的投影圖，可用以衡量果蔬表面顏色占比、缺陷程度等品質(zhì)。

圖8 投影變換過程示意圖Fig.8 Projection transformation process

4 圖像采集投影試驗與結(jié)果分析

為驗證采集設(shè)備和算法的可行性，并求得最優(yōu)參數(shù)，首先依照正交試驗原理對標(biāo)準(zhǔn)球進(jìn)行外表面面積比例不變的投影試驗，檢測算法準(zhǔn)確率并確定最優(yōu)參數(shù)，再以此進(jìn)行多種果蔬樣品的投影試驗，衡量裝置和算法對不同種果蔬的面積比例不變投影效果。

4.1 標(biāo)準(zhǔn)球試驗與分析

由前述投影算法計算流程可知，影響標(biāo)準(zhǔn)球投影效果的主要因素包括：果杯速度、裁剪寬度和相機(jī)高度，同時由于樣品為均勻球體，進(jìn)入圖像采集裝置的滾動方向不會影響圖像獲取與投影變換精度，故不考慮樣品角度對標(biāo)準(zhǔn)球檢測準(zhǔn)確率的影響，設(shè)置試驗因素如表1所示。

表1 標(biāo)準(zhǔn)球試驗因素水平Tab.1 Experiment factors and levels

試驗以投影圖中樣品紅黃兩色區(qū)域面積比與真實面積比的接近程度作為算法準(zhǔn)確率的衡量標(biāo)準(zhǔn)，準(zhǔn)確率公式為

(7)

式中SY——黃色區(qū)域真實面積,mm2

SR——紅色區(qū)域真實面積,mm2

SYt——圖像中黃色區(qū)域面積，像素

SRt——圖像中紅色區(qū)域面積，像素

根據(jù)各因素水平，利用Design-Expert 8.0軟件進(jìn)行Taguchi OA設(shè)計[25-26]，選擇L16(34)設(shè)計表，探究主要影響因素、優(yōu)水平和優(yōu)組合，并使用方差分析驗證各因素對試驗指標(biāo)影響的顯著性，擬合一般線性模型的回歸方程[23]。

表2中A、B、C分別表示果杯速度、裁剪寬度、相機(jī)高度水平值，由表2確定試驗各單因素水平與檢測準(zhǔn)確率關(guān)系，其中檢測準(zhǔn)確率隨果杯速度和裁剪寬度增加時先上升后下降，隨相機(jī)高度增加時持續(xù)下降，控制三因素的最優(yōu)水平分別為0.4 m/s、9像素、255 mm。

對Taguchi OA試驗結(jié)果方差分析如表3所示，

表2 Taguchi OA試驗設(shè)計與結(jié)果Tab.2 Taguchi OA design and results

表3 試驗結(jié)果方差分析Tab.3 Analysis of variance and experimental results

三因素中最大和最小特征平均數(shù)差由大到小依次為A、B、C，即各因素影響主次為A、B、C。方差分析并擬合一般線性模型的回歸方程可知，因素A和B對試驗指標(biāo)的影響都達(dá)到極顯著水平(P<0.01),因素C對試驗指標(biāo)的影響達(dá)到顯著水平(0.01

Yglobal=90.25+0.492A+0.684B-0.554C

(8)

4.2 基于球形果蔬的算法適用性驗證

4.2.1試驗設(shè)計與方法

為驗證算法針對真實球形果蔬表面投影的準(zhǔn)確率，以蘋果、臍橙和番茄3種球形果蔬作為試驗對象，基于已得出的標(biāo)準(zhǔn)球因素最優(yōu)組合進(jìn)行試驗，由于果蔬種類和成熟度不同，無法在多種樣品中找到一種通用的面積區(qū)域衡量標(biāo)準(zhǔn)，故在樣品表面人工涂抹兩塊與果蔬主體顏色區(qū)分明顯的矩形標(biāo)志區(qū)域A和B作為參照，面積之比為1∶1.5，如圖9所示。分別計算兩兩標(biāo)志色區(qū)域之間的面積比與真實值的接近程度以衡量算法的準(zhǔn)確率，計算公式為

(9)

式中SA——測得樣品表面A區(qū)域面積

SB——測得樣品表面B區(qū)域面積

SAt——樣品表面A區(qū)域理論面積

SBt——樣品表面B區(qū)域理論面積

圖9 果蔬樣品粘貼標(biāo)志色示例Fig.9 Example of sticking logo color for samples

同時考慮到果蔬球形外觀的不規(guī)則性，設(shè)定果?；ㄝ喾较蚱叫杏诠D(zhuǎn)軸為0°，垂直于果杯旋轉(zhuǎn)軸為90°，使待測果蔬樣品以0°、45°和90°進(jìn)入圖像采集設(shè)備進(jìn)行檢測，如圖10所示，探究滾動過程中采集圖像的角度對果蔬樣品投影準(zhǔn)確率的影響。

圖10 不同樣品角度滾動示意圖Fig.10 Different sample rolling angles

4.2.2試驗結(jié)果與分析

對蘋果、臍橙和番茄樣品以3種不同角度分別進(jìn)行30次檢測，投影變換結(jié)果如圖11所示，總體檢測準(zhǔn)確率平均值如表4所示。

圖11 3種樣品投影圖Fig.11 Projections of three sample

分析發(fā)現(xiàn)對3種果蔬的表面面積比例不變投影展開的平均準(zhǔn)確率分別達(dá)到84.0%、92.2%和87.6%，臍橙檢測準(zhǔn)確率最高，達(dá)到92.2%，蘋果檢測準(zhǔn)確率最低，為84.0%，算法針對不同種球形果蔬的適用效果不同，現(xiàn)以球形度反映樣品外形與正球形的接近程度，從果蔬外觀特點(diǎn)來看，臍橙多為球形或橢球形，且表面光潔，僅在果梗部位稍有突起，外形球形度最好，故其檢測準(zhǔn)確率最高。番茄則多為扁球形，僅在果梗位置出現(xiàn)凹陷，整體球形度也較好，其檢測準(zhǔn)確率稍低。而蘋果外形多為花萼處較窄、果梗處稍寬的橢球形，且兩端有隆起，花萼下陷，球形度最差，故其檢測準(zhǔn)確率最低，表明算法能夠滿足對球形果蔬外表面展開面積比例不變的要求，但檢測效果與果蔬外形相關(guān)性高，在檢測時外形球形度越好的果蔬品種準(zhǔn)確率越高。

表4 3種樣品檢測準(zhǔn)確率平均值Tab.4 Average of detection accuracy of three samples

同時，同種樣品在不同滾動角度檢測準(zhǔn)確率也不同，由表4可得，蘋果、臍橙和番茄均以樣品角度0°檢測時的準(zhǔn)確率最高，90°時最低，故以樣品角度0°為檢測結(jié)果的最佳指標(biāo)，將3種樣品45°與90°的各30次檢測結(jié)果與之對比，建立如圖12所示的誤差箱線圖。

圖12 與最優(yōu)指標(biāo)對比誤差箱線Fig.12 Error boxplot compared with optimal indicator

從圖12發(fā)現(xiàn)，3種樣品中臍橙的檢測誤差最小，且樣品角度45°與90°檢測差異不大，穩(wěn)定性較好。而蘋果和番茄對比0°最優(yōu)指標(biāo)時，在45°與90°分別出現(xiàn)了明顯差異，均表現(xiàn)為45°所對應(yīng)的誤差和誤差的分布范圍明顯小于90°，即樣品沿45°滾動時檢測準(zhǔn)確率和穩(wěn)定性都高于90°，這是由于樣品的滾動角度越接近以果?；ㄝ嗨谥本€為旋轉(zhuǎn)軸時，側(cè)向安裝的相機(jī)拍攝的圖像為蘋果的果梗和花萼面，具有更接近正圓形的輪廓，由于所利用的外部品質(zhì)檢測算法是以正球形樣品為基礎(chǔ)建立的，故此輪廓更適合于中心區(qū)域的提取與拼接投影，檢測準(zhǔn)確率較高，而蘋果以更接近垂直于果梗花萼直線的軸為旋轉(zhuǎn)軸時，則相機(jī)拍攝為蘋果側(cè)面區(qū)域，輪廓接近橢圓，導(dǎo)致投影算法準(zhǔn)確率降低。

5 結(jié)論

(1)利用球形果蔬便于旋轉(zhuǎn)的特性，設(shè)計圖像裁剪與拼接實現(xiàn)果蔬外表面的二維展開，依照旋轉(zhuǎn)過程中的圖像獲取方式設(shè)計一種保證果蔬外表面展開圖各處面積比例與真實值一致的投影變換方法，用于顏色、缺陷區(qū)域的面積識別。

(2)通過具有規(guī)則顏色分布的標(biāo)準(zhǔn)球樣品進(jìn)行投影算法準(zhǔn)確率的衡量和最優(yōu)參數(shù)的確定，以裁剪寬度、果杯速度和相機(jī)高度作為三因素進(jìn)行正交試驗，建立回歸模型，結(jié)果表明，三因素對投影算法準(zhǔn)確度影響均達(dá)到顯著水平，當(dāng)果杯速度0.40 m/s、裁剪寬度9像素、相機(jī)高度255 mm時試驗結(jié)果最好，準(zhǔn)確率為95.64%，以此參數(shù)進(jìn)行蘋果、臍橙和番茄3種果蔬的檢測，其檢測準(zhǔn)確率分別達(dá)到84.0%、92.2%和87.6%，驗證了整機(jī)和算法設(shè)計的合理性，并引入樣品不同角度對檢測的影響，發(fā)現(xiàn)被相機(jī)獲取的輪廓越接近圓形，越便于準(zhǔn)確拼接圖像的獲取和檢測準(zhǔn)確率的提高。