球形水果表面斑塊成像失真度控制與實(shí)驗(yàn)

劉 婷 芮成杰 李海濤 張紹英

(中國農(nóng)業(yè)大學(xué)工學(xué)院， 北京 100083)

0 引言

水果的表面形態(tài)一定程度上反映其內(nèi)部品質(zhì)和商品價(jià)值。通過相機(jī)成像采集水果表面信息進(jìn)行逐個(gè)甄別是一種常用的機(jī)器視覺在線分選方法。表面缺陷斑塊形狀、尺寸作為傷殘和病變特征常被視為機(jī)器視覺分選的重要依據(jù)，因此，機(jī)器視覺分選過程實(shí)質(zhì)上是利用特定成像條件準(zhǔn)確評判缺陷斑塊的過程。依據(jù)水果表面缺陷為特征參數(shù)進(jìn)行分選的相關(guān)研究[1-5]大多集中在圖像處理算法和數(shù)據(jù)-指標(biāo)關(guān)系建模算法[6]，即通過對采集到的圖像進(jìn)行分析、處理來提高基于圖像信息分級的精度，缺乏對于原始圖像精度的研究。

理論上，獲取水果表面的三維信息更能真實(shí)、全面地反映水果的表面品質(zhì)。目前，利用深度相機(jī)、雙目立體視覺技術(shù)或柱鏡板三維成像技術(shù)來重構(gòu)水果表面三維圖像的方法，已嘗試應(yīng)用在靜態(tài)目標(biāo)的識別和定位上[7-8]。但三維圖像重構(gòu)擁有的表面信息量大，采集時(shí)間長，重建過程涉及到大量密集的點(diǎn)云數(shù)據(jù)處理，對于海量單體進(jìn)行在線、動態(tài)、逐個(gè)甄別時(shí)數(shù)據(jù)運(yùn)算量大、效率低、系統(tǒng)配置性價(jià)比低。可見，利用二維圖像作為分選依據(jù)仍然是水果分選的重要手段。

以水果表面的二維圖像信息為機(jī)器視覺分選依據(jù)，獲取水果表面圖像時(shí)，常采用單相機(jī)固定成像[9-12]、多相機(jī)固定成像[13]、變換姿態(tài)多次單(多)相機(jī)固定成像[14-18]以及面鏡反射單(多)相機(jī)固定成像[19-21]等方法，利用多幅平面圖像實(shí)現(xiàn)對水果表面的全部覆蓋。受水果表面形狀及幾何成像規(guī)律的制約和相機(jī)球形失真的影響，水果平面成像時(shí)，位于不同位置的斑塊在圖像中的失真度各異，且不同的幾何、光學(xué)參數(shù)的配置也對失真度產(chǎn)生不同的影響，從而直接影響分級的準(zhǔn)確性。

用二維圖像反映球面信息，目前常用多幅不同角度的圖像進(jìn)行拼合的方法。每幅反映部分球面的二維圖像在不同區(qū)域的失真度也不相同。當(dāng)需要通過控制失真度來保證分選精度時(shí)，則需對每幅二維圖像中滿足失真度要求的有效區(qū)域進(jìn)行分割、界定。另外，在線分選時(shí)定機(jī)位圖像采集對每幅圖像的失真度進(jìn)行關(guān)聯(lián)物料位置、姿態(tài)的多因素分析，運(yùn)算數(shù)據(jù)量過大。

為此，提出了一種以面積失真度——在成像區(qū)域內(nèi)的球形物料表面任意位置的缺陷斑塊覆蓋CCD像素點(diǎn)數(shù)與球形物料球心和缺陷斑塊中心均位于光軸上時(shí)(正成像)缺陷斑塊覆蓋CCD像素點(diǎn)數(shù)的比值，來衡量二維圖像不同區(qū)域圖像失真的評判方法。其中，缺陷斑塊正成像覆蓋CCD像素點(diǎn)數(shù)記作基準(zhǔn)斑塊成像面積。與通常圖像的比例、位置失真包含的復(fù)雜關(guān)系不同，由于幾何、光學(xué)參數(shù)及缺陷斑塊尺寸閾值確定后，基準(zhǔn)斑塊成像面積即可確定，僅需判定缺陷斑塊像素?cái)?shù)即可獲得面積失真度，從而劃定滿足分選精度的二維圖像的有效采像區(qū)域。

不同成像參數(shù)配置下，球形物料圖像中的有效采像區(qū)域尺寸和形狀不同，為了簡化計(jì)算，將各CCD有效采像區(qū)域?qū)?yīng)轉(zhuǎn)換為球面上的有效采像區(qū)域后，再在球面有效采像區(qū)域內(nèi)分割出可進(jìn)行數(shù)學(xué)表達(dá)、形狀規(guī)則的球冠區(qū)域作為覆蓋單元，即可保證位于覆蓋單元內(nèi)的缺陷斑塊的面積失真度滿足要求。進(jìn)一步將多個(gè)覆蓋單元對球面進(jìn)行冗余包覆，并通過物料位置、姿態(tài)調(diào)整對各覆蓋單元采像，即獲得滿足分選精度要求的球形物料表面信息。由此可見，成像系統(tǒng)各參數(shù)配置完成后，覆蓋單元的確定是實(shí)現(xiàn)球形物料表面信息真實(shí)、全面采集的前提。

本文基于水果在線機(jī)器視覺分選的成像方法，利用射影幾何原理，通過建立位于采像區(qū)域內(nèi)球形物料成像側(cè)面上任一缺陷斑塊在CCD圖像中的面積函數(shù)，確定滿足特定面積失真度的有效采集區(qū)域的簡化劃定方法，為信號采集時(shí)確定物料位置區(qū)間、相機(jī)空間布局以及多次、動態(tài)采像過程的物料姿態(tài)調(diào)整提供理論依據(jù)，從而減少在線動態(tài)成像的數(shù)據(jù)采集量和運(yùn)算處理量，提供一種可降低成本的高速運(yùn)算的成像系統(tǒng)配置方法。

1 成像系統(tǒng)幾何模型建立

水果在線分選時(shí)，旁置相機(jī)對一定行程內(nèi)做直線運(yùn)動的水果進(jìn)行多幅成像是主要的圖像采集方式。球形水果表面上不規(guī)則的(單個(gè)或散點(diǎn)狀)缺陷斑塊常以等效外接圓直徑標(biāo)定(圖1)。據(jù)此建立的成像系統(tǒng)幾何模型(圖2)包含物料及缺陷斑塊尺寸、缺陷斑塊在物料表面位置、相機(jī)光學(xué)參數(shù)、物料與相機(jī)相對位置等多重幾何關(guān)系，利用此模型，通過計(jì)算圖像中位于球形物料表面上圓形區(qū)域面積，可獲得不同參數(shù)組合時(shí)缺陷斑塊面積的失真程度。

圖1 缺陷表現(xiàn)形式及等效外接圓Fig.1 Forms of fruit surface defects and equivalent circumscribed circle

圖2 成像幾何模型示意圖Fig.2 Diagram of imaging geometry model

為便于分析，設(shè)相機(jī)光軸和物料球心運(yùn)動方向位于同一平面內(nèi)。圖2中，O為相機(jī)光心，Π為CCD成像面，f為光心到成像面的距離(焦距，mm)，L為相機(jī)光心到球心運(yùn)動軌跡的垂直距離(物距，mm)，ω為球心和相機(jī)光心的連線與光軸的夾角(偏心角，(°))，H為球心到光軸的距離(偏心距，mm)，D為球形物料直徑(球徑，mm)，d為缺陷斑塊等效外接圓直徑(斑徑，mm)。

1.1 面積失真度及有效采像區(qū)域定義

獲取缺陷斑塊真實(shí)的圖像是機(jī)器視覺分選的重要前提。

缺陷斑塊簡化的等效外接圓，在旁置的固定CCD上所成圖像存在不同程度的變形。根據(jù)幾何光學(xué)原理可知，當(dāng)相機(jī)光學(xué)參數(shù)及物料與相機(jī)相對位置確定后，僅當(dāng)?shù)刃饨訄A垂直于光軸時(shí)其所成的圖像(面積最大、像素點(diǎn)占用最多)為圓形，此圓直徑d0與d存在可知的比例關(guān)系。視d0為理想值，可定義任意等效外接圓圖像的面積失真度為

(1)

(2)

S=πd2/4

(3)

式中S0——基準(zhǔn)斑塊成像面積

S——任意缺陷斑塊成像面積

d0隨著等效外接圓在物料表面位置、相機(jī)光學(xué)參數(shù)、物料與相機(jī)相對位置的變化而變化。當(dāng)δ過大時(shí)，以S0為指標(biāo)進(jìn)行缺陷判斷的準(zhǔn)確率降低。

針對不同的分級要求，確定面積失真度閾值A(chǔ)后，在δ≤A前提下，等效外接圓在球形物料表面上所處區(qū)域即為有效采像區(qū)域。

1.2 缺陷斑塊成像面積通用算法

依據(jù)缺陷斑塊圖像與成像系統(tǒng)幾何、光學(xué)參數(shù)的關(guān)聯(lián)關(guān)系，建立了如圖3所示的固定坐標(biāo)系σ、球形物料運(yùn)動軌跡位置坐標(biāo)系σ1、球形物料球心位置坐標(biāo)系σ2、缺陷斑塊等效外接圓形心位置坐標(biāo)系σ3、缺陷斑塊等效外接圓邊界點(diǎn)位置坐標(biāo)系σ4。

圖3 斑塊成像的坐標(biāo)變換圖Fig.3 Coordinate transformation diagram of plaque imaging

所有坐標(biāo)系為右手笛卡爾坐標(biāo)系，其中：

(1)σ(O;i,j,k)中，O與相機(jī)光心重合，j與光軸重合，k與物料運(yùn)動軌跡平行。

(2)σ1(O1;i1,j1,k1)中，O1與物料運(yùn)動軌跡和光軸的交點(diǎn)重合，k1與物料運(yùn)動軌跡重合，j1與j重合。

(3)σ2(O2;i2,j2,k2)中，O2與球心重合，k2與物料運(yùn)動軌跡重合，j2平行于j。

(4)σ3(O3;i3,j3,k3)中，O3與O2重合，i3與i2夾角及j3與j2夾角均為α，k3與k1重合。

(5)σ4(O4;i4,j4,k4)中，O4與缺陷斑塊等效外接圓圓心重合，k4為與O4重合的球徑方向(O2O4方向)，i4同時(shí)垂直于k1和k4，k4與k1的夾角為β，缺陷斑塊等效外接圓邊界上任意一點(diǎn)與i4的夾角為θ。

Π′是CCD鏡像等效投影面。

球心O2在坐標(biāo)系σ中的位置向量

lOO2=-Lj+Hk

(4)

缺陷斑塊等效外接圓圓心O4在坐標(biāo)系σ中的位置向量

lOO4=lOO2+lO2O4

(5)

(6)

式中m(α,β)——旋轉(zhuǎn)矩陣

式中α和β的取值范圍由球形物料在運(yùn)動軌跡方向上任意位置時(shí)，CCD能感應(yīng)到的采像區(qū)域的邊界決定。

缺陷斑塊等效外接圓邊界上任意一點(diǎn)P在坐標(biāo)系σ中的位置向量

lOP=lOO4+lO4P

(7)

(8)

e(θ)=cosθi+cosθj(θ∈(0,2π))

(9)

式中R[k,α]、R[j,-β]——旋轉(zhuǎn)矩陣

lOP的單位向量lop為

(10)

OP與等效成像面Π′相交，投影關(guān)系為

-u(lopj)=f

(11)

式中u——OP與成像面相交的條件系數(shù)

缺陷斑塊上的任意一點(diǎn)P與成像面上的交點(diǎn)P0的位置向量

lOP0=ulop

(12)

在固定坐標(biāo)系σ下坐標(biāo)為

(13)

由式(4)～(13)可得，物料位于采像區(qū)間任意位置時(shí)，其采像區(qū)域邊界內(nèi)任意缺陷斑塊等效外接圓成像面積S的表達(dá)式為

(14)

式中n——正整數(shù)

1.3 特定面積失真度下有效采像區(qū)域計(jì)算及選定

由相機(jī)光學(xué)參數(shù)、物料和缺陷斑塊的幾何尺寸，利用相似三角形可得

(15)

則基準(zhǔn)斑塊成像面積

(16)

由式(14)、(16)可得到滿足δ設(shè)定值的等效外接圓心在CCD上平面閉合邊界曲線，進(jìn)而可得到與平面閉合邊界曲線對應(yīng)的球面閉合邊界曲線，球面閉合邊界曲線外偏移d/2后形成的擴(kuò)展閉合曲線包圍的面積即為有效采像區(qū)域(圖4)。

圖4 有效采像區(qū)域的選定Fig.4 Selection of effective image region

為了規(guī)范表達(dá)和冗余覆蓋，以交于擴(kuò)展閉合曲線、且與OO2間夾角最小的球徑為母線，以O(shè)O2回轉(zhuǎn)軸分割得到的球冠(球心角λ0)區(qū)域即為有效采像區(qū)域。

(17)

為了直觀顯現(xiàn)有效采像區(qū)域預(yù)測規(guī)律，以球形水果(D=80 mm)缺陷斑塊(d=10 mm)檢測為例，設(shè)定面積失真度閾值A(chǔ)=20%，f=50 mm，L=500～1 000 mm、H=-1 000～1 000 mm，利用Matlab建模，通過控制變量法分別繪制有效采像區(qū)域球心角λ0與幾何參數(shù)的函數(shù)關(guān)系曲面圖(圖5)。

圖5 λ0與幾何參數(shù)函數(shù)關(guān)系曲面Fig.5 Function relational surface diagram

由圖5a可知，在選定采像條件下，當(dāng)L確定后，λ0的變化規(guī)律呈對稱于H=0平面的“M”雙脊峰形。隨著偏心距H的增大，λ0逐漸增大并出現(xiàn)最高值，隨后下降。表明以面積失真度作為評判指標(biāo)時(shí)，在其他參數(shù)確定后，視場寬度存在最佳值，且球心與光軸重合處λ0最小。而隨L的增大，λ0呈現(xiàn)起伏上升，對有效采像區(qū)域的提升有利，但缺陷斑塊占有的像素?cái)?shù)和CCD的利用率減少。L應(yīng)與CCD分辨率一并考慮后選定，以保證缺陷斑塊占有一定的像素?cái)?shù)。

當(dāng)L確定后，在采像區(qū)域范圍內(nèi)，隨著球心角λ0的增大，缺陷斑塊的失真度呈上升趨勢。

利用上述理論預(yù)測方法進(jìn)行成像系統(tǒng)配置及有效成像區(qū)域確定時(shí)，對特定的球形物料、面積失真度以及可用的物距范圍，可利用多變量非線性函數(shù)λ0極值求解，并以缺陷斑塊占有足夠的像素?cái)?shù)且使視場寬度接近λ0雙脊峰距為原則，確定L、H具體值后，最終計(jì)算得到λ0。

2 有效采像區(qū)域預(yù)測結(jié)果的成像驗(yàn)證

受特定相機(jī)、鏡頭光學(xué)特性的影響，實(shí)際成像時(shí)會存在不同程度的圖像失真。為考證預(yù)測方法的有效性，根據(jù)機(jī)器視覺分級時(shí)常見的系統(tǒng)布局，搭建了成像系統(tǒng)，如圖6、7所示。

圖6 成像系統(tǒng)示意圖Fig.6 Image system diagram1.支架 2.載物臺 3.載物臺調(diào)平鈕 4.CCD相機(jī) 5.調(diào)姿塊 6.半球體 7.缺陷斑塊標(biāo)識片 8.有效采像區(qū)域邊界

圖7 成像系統(tǒng)實(shí)物圖Fig.7 Image system

成像系統(tǒng)配置為：工業(yè)相機(jī)(DFK 33GP1300型，分辨率1 280像素×1 024像素，CCD 6.4 mm×4.8 mm)。2/3″靶面手動光圈定焦鏡頭(0814M3M型，8 mm)[22]。幾何參數(shù)為D=80 mm，d=10 mm，λ0min=79.32°。成像系統(tǒng)中，光軸垂直交于矩形載物臺中心。

為了檢驗(yàn)預(yù)測效果，在工業(yè)相機(jī)視場寬度的邊緣、光軸和兩者之間的中位分別放置5個(gè)半球體并為各半球體配置相應(yīng)的調(diào)姿塊，可保證OO2垂直于半球體底面。

位于不同成像位置的半球體表面上對應(yīng)標(biāo)識有效采像區(qū)域邊界。以最小球心角λ0min標(biāo)記有效采像區(qū)域，驗(yàn)證半球體位于各采像工位時(shí)有效采像區(qū)域內(nèi)各缺陷斑塊是否滿足失真度要求。根據(jù)選取的L值及對應(yīng)的相機(jī)視場寬度，得到相應(yīng)的中位和邊緣處對應(yīng)的放置位置參數(shù)，由三角關(guān)系可求得偏心角ω，各位置的偏心距、物距、調(diào)姿塊傾角及所標(biāo)記的最小球心角λ0min見表1。

表1 邊緣、光軸和中位半球塊的標(biāo)識參數(shù)Tab.1 Identification parameters of hemispheric blocks at edges, optical axes and median

由圖5可知，缺陷斑塊位于球形物料表面上的覆蓋單元邊界時(shí)δ最大，故缺陷斑塊標(biāo)識片放置在半球體表面有效采像區(qū)域周邊，并使缺陷斑塊標(biāo)識片邊緣與有效采像區(qū)域邊界內(nèi)切。

對采集到的彩色圖像(圖8)，利用NI Vision Assistant圖像處理軟件，依次進(jìn)行掩膜處理、灰度圖像提取、二值化處理和粒子分析(選擇面積分析)，其運(yùn)算結(jié)果(自動對缺陷斑塊編號)見圖9，分別將各缺陷斑塊面積及失真度計(jì)算結(jié)果記錄在表2中。

圖8 不同采像距離下獲取的圖像Fig.8 Images obtained at different distances

圖9 粒子分析運(yùn)算結(jié)果Fig.9 Particle analysis operation results

由表2可見，位于有效采像區(qū)域內(nèi)缺陷斑塊的面積失真度均小于預(yù)設(shè)值20%，表明面積失真度理論預(yù)測算法可滿足以工業(yè)相機(jī)為核心的成像系統(tǒng)對分選精度的控制要求。

盡管物距增加時(shí)有效采像區(qū)域內(nèi)缺陷斑塊的面積失真度減小，但缺陷斑塊所占用的CCD像素?cái)?shù)減少，CCD的像素利用率降低，同時(shí)系統(tǒng)占用空間增加。實(shí)際生產(chǎn)中，在線、動態(tài)成像易出現(xiàn)圖像拖尾，缺陷斑塊在圖像上邊界模糊，有效區(qū)域分割誤差大，缺陷斑塊所占像素?cái)?shù)越少，分選誤差率越高，因此，物距的選定應(yīng)保證缺陷斑塊所占像素?cái)?shù)量。

由于球形水果的形狀不規(guī)則，為評價(jià)水果形狀變化對缺陷斑塊失真度的影響，選取類球形水果——埃及甜橙進(jìn)行圖像采集實(shí)驗(yàn)。依照GB/T 12947—2008中的鮮柑桔分級標(biāo)準(zhǔn)差值，選取直徑為(80±2.5) mm的埃及甜橙作為實(shí)驗(yàn)對象(表3)，直徑相差5 mm以內(nèi)視為同一成像條件配置組，樣本數(shù)為5。

根據(jù)埃及甜橙的結(jié)構(gòu)特點(diǎn)，分別選取果軸與光軸重合、果徑與光軸重合、介于果軸與果徑間的半徑與光軸重合(中間姿態(tài))3種姿態(tài)對有效采像區(qū)域進(jìn)行標(biāo)定(圖10)。

有效采像區(qū)域劃定方法、有效采像區(qū)域內(nèi)缺陷斑塊的標(biāo)記方法、物距參數(shù)、采像位置參數(shù)均與理論驗(yàn)證實(shí)驗(yàn)相同。

每個(gè)甜橙采集27幅圖像。分別計(jì)算各幅圖像中每個(gè)缺陷斑塊面積失真度，統(tǒng)計(jì)滿足失真度要求的缺陷斑塊所占比例，結(jié)果如圖11所示。

實(shí)驗(yàn)結(jié)果可得，所采集5個(gè)樣本中位于采像有效區(qū)域內(nèi)的1 080個(gè)缺陷斑塊成像面積失真度，滿足失真度要求的缺陷斑塊比例分別為：97.38%、97.33%、94.22%、96.44%、97.78%。其中，δ>20%的缺陷斑塊數(shù)目分別為L=600 mm時(shí)為7個(gè)，L=800 mm時(shí)為20個(gè)，L=1 000 mm時(shí)為11個(gè)；5個(gè)樣本中，缺陷斑塊成像面積與基準(zhǔn)斑塊面積比，L=600 mm時(shí)為0.79～1.19，L=800 mm時(shí)為0.70～1.15，L=1 000 mm時(shí)為0.74～1.20。

表2 標(biāo)記缺陷斑塊的成像面積Tab.2 Image area of labeled defect plaque

表3 樣本幾何尺寸Tab.3 Geometry of sample

圖10 3種姿態(tài)對應(yīng)的有效采像區(qū)域Fig.10 Effective image region corresponding to three postures

由圖11可知，5個(gè)水果不同標(biāo)記部位處滿足失真度要求的缺陷斑塊所占比例分布特征一致，表現(xiàn)為當(dāng)果軸、果徑與光軸重合時(shí)有效采像區(qū)域內(nèi)缺陷斑塊的失真度明顯小于中間姿態(tài)。

圖11 埃及甜橙有效采像區(qū)域內(nèi)滿足失真度要求的缺陷斑塊比例Fig.11 Proportion of defective plaques in effective image area of Egyptian sweet orange that met requirements of distortion

結(jié)合本實(shí)驗(yàn)的樣本特點(diǎn)，斑塊失真度大于設(shè)定值20%主要受水果形狀不規(guī)則、局部曲率半徑變化的影響。

3 結(jié)論

(1)在視場寬度方向有效采像區(qū)域隨著偏心距的變化規(guī)律呈對稱于光軸的“M”雙脊峰形，視場寬度選取宜接近“M”雙脊峰跨距。

(2)提出了一種以面積失真度控制機(jī)器視覺分選精度的有效采像區(qū)域的界定方法，有助于減少在線檢測的運(yùn)算量。研究結(jié)果表明，特定采像條件下，當(dāng)失真度閾值A(chǔ)為20%，求得最小球心角λ0min為79.32°來劃定有效采像區(qū)域，采集到的5個(gè)半球塊位于不同采像工位及其對應(yīng)的采像姿態(tài)下的圖像，有效采像區(qū)域內(nèi)各缺陷斑塊面積失真度均小于20%，滿足失真度控制要求；同樣地，5個(gè)埃及甜橙樣本中，滿足失真度要求的缺陷斑塊比例分別可達(dá)：97.38%、97.33%、94.22%、96.44%、97.78%。

(3)研究結(jié)果可為特定分選精度下成像系統(tǒng)的幾何、光學(xué)參數(shù)配置提供理論依據(jù)，并為在線動態(tài)成像時(shí)物料運(yùn)動和姿態(tài)調(diào)控以及成像次數(shù)預(yù)測提供參數(shù)支持。