基于投影輪廓的紙箱尺寸單目測量

劉 昶,王玉晗,張 鑫,劉麗萍

(沈陽理工大學 信息科學與工程學院,沈陽 110159)

長方體紙箱是一種主要的包裝制品,對于郵政、海關、倉儲、物流及某些加工企業(yè),為進行貨物的自動分揀和體積估算,需要對傳送線上的長方體紙箱的三維尺寸進行自動化測量。一般的測量方法是采用三組光幕進行測量,當前光幕的分辨率可達1mm,每組光幕用于測量一維尺寸,這種方法結(jié)構(gòu)比較簡單,但在測長寬時要求箱體在傳送帶上的擺放不能歪斜;另一種是采用機器視覺的方法[1-3],具有非接觸、速度快的特點。文獻[4]采用單相機和兩組線結(jié)構(gòu)光構(gòu)成視覺系統(tǒng),利用三維重建的原理測量卷煙包裝盒的三維尺寸,該系統(tǒng)測量精度較高,但使用的設備較多。文獻[5]利用單相機與2組點結(jié)構(gòu)光組成測量裝置,具有靈活、便攜的優(yōu)點,但要求2組點結(jié)構(gòu)光與相機的像平面垂直,且已知兩條平行光束間的距離,對設備安裝要求高。文獻[6]證明,利用長方體本身具有的幾何特性,使用一個已標定相機,只需知道在長方體某一個平面上的兩個特征點間的實際距離,便可利用長方體頂點的圖像坐標獲得其三維尺寸。文獻[7]實現(xiàn)了一個長方體表面的三維重建,但事先需要人為指定長方體一個頂點的深度值。文獻[8]采用了雙目視覺的方法,但需要人工選擇特征點。

在應用機器視覺的方法中,首先需要從圖像中提取出長方體可見的邊線或頂點特征,再通過計算特征間距離實現(xiàn)測量。對于長方體邊線的提取,典型方法是采用Hough變換從原始圖像或原始圖像的校正圖像中獲取直線方程[9],受相機透視投影的影響,長方體邊線間的平行和垂直關系在原始圖像的校正圖像中都不成立,一般是利用消失點和消失線確定直線間的平行關系[1-3,10-11],因此直線間固有的約束不易被利用,容易導致特征提取出現(xiàn)偏差,影響測量精度。

本文提出一種基于投影輪廓的長方體紙箱測量方法,通過一臺已標定的相機拍攝的一幅圖像實現(xiàn)對目標的三維測量。采用虛擬像平面相機模型,利用相機標定結(jié)果生成紙箱在支撐平面上的投影圖像,本文稱其為虛擬圖像,相比于目標在真實像平面的成像,在該虛擬圖像上長方體的邊線保持了其固有的垂直和平行特性;利用這些特性,通過提取目標的輪廓點構(gòu)造邊線點集,采用最小二乘方法得到虛擬圖像上的六條邊緣的直線方程;進而獲得目標的三維尺寸。

1 長方體透視投影模型

1.1 傳統(tǒng)相機模型

理想的相機模型是一個針孔模型,若以齊次坐標的形式表達,世界坐標系中的點(x,y,z,1)與圖像中的無畸變對應點(u,v,1)間存在以下關系

(1)

(2)

式中：k1、k2為鏡頭徑向畸變參數(shù)；p1、p2為切向畸變參數(shù)。采用主流的相機標定方法[12],可獲得相機的內(nèi)外參數(shù)及鏡頭畸變參數(shù)。

1.2 長方體投影的基本性質(zhì)

以相機光心為透視中心,以長方體的支撐面為投影平面,一個三視面的長方體的投影效果如圖1所示。

圖1中投影平面上的六邊形A′B′C′DEF構(gòu)成長方體的投影輪廓,其中點A′、B′、C′、G′分別是長方體頂點A、B、C、G的投影點,S為相機光心OC在該平面上的垂直投影點。

在投影平面上建立世界坐標系,長方體的投影輪廓線滿足以下性質(zhì):

性質(zhì)1.A′B′//DE//C′G′;

性質(zhì)2.B′C′//EF//A′G′;

性質(zhì)3.∠A′B′C′=∠DEF=90°;

性質(zhì)4.A′C′//DF;

性質(zhì)5.A′F、G′E、C′D相交于S;

性質(zhì)6.記V為輪廓的內(nèi)點集合,則

SE=min{SP|P∈V},SB′=max{SP|P∈V}。

圖1 三視面長方體的投影示意圖

1.3 投影圖像生成

本文利用長方體在支撐平面上的投影圖像實現(xiàn)目標的三維尺寸測量,為生成目標在該投影平面的投影圖像,首先標定出相機的內(nèi)參數(shù)、相對于所定義的世界坐標系的外參數(shù)、鏡頭畸變參數(shù);再根據(jù)視場區(qū)域,在投影平面上劃分若干等間距網(wǎng)格,若能估計出每個網(wǎng)格點的像素值,則這些網(wǎng)格點構(gòu)成一幅虛擬圖像;由于每個網(wǎng)格點的世界坐標是已知的,可利用公式(1)計算其在真實像平面上的無畸變投影點,再利用公式(2)計算其有畸變圖像點,再利用雙線性插值方法或雙三次插值方法對該網(wǎng)格點的像素值進行估計。

由相機外參數(shù)的標定結(jié)果也可得到相機光心在世界坐標系下的坐標

(xCyCzC)T=-RT

(3)

由相機光心和虛擬圖像構(gòu)成相機的新的透視模型,本文稱其為相機的虛擬像平面模型,該模型中的虛擬主點坐標為(xC,yC),虛擬焦距為zC,虛擬圖像的像素距為人為劃分的網(wǎng)格間距。由于虛擬圖像在生成過程中消除了鏡頭畸變的影響,因此虛擬圖像是一個無鏡頭畸變的圖像,該模型是一個理想的透視模型,針對長方體測量,使用該模型的優(yōu)點是投影圖像中的輪廓邊緣直線具有1.2節(jié)中描述的便于利用的幾何性質(zhì)。

2 長方體三維尺寸測量

2.1 投影輪廓提取

本文采用機器學習的方法[13-15]從投影圖像中提取紙箱的輪廓,將不同種類的紙箱置于場景中,拍攝若干樣本圖像,對紙箱區(qū)域進行人工劃分,得到紙箱前景、背景的樣本點集,應用具有高斯核函數(shù)的支持向量機(Support Vector Machine,SVM)方法[16],獲得前、背景分割的分類器,用于提取目標圖像中的紙箱區(qū)域,再利用中值濾波對前景圖像進行濾波,進行邊緣提取后得到紙箱的輪廓點,構(gòu)成輪廓點集U。

從工程應用的角度考慮,為便于紙箱區(qū)域提取,可以將測量系統(tǒng)的背景設計得比較簡單,并且與紙箱顏色有較大差別,但由于紙箱上有印字等原因,容易導致紙箱輪廓內(nèi)部區(qū)域出現(xiàn)誤分割,并導致邊緣提取后部分內(nèi)部點被誤劃入輪廓點集,因此在輪廓線段樣本點集構(gòu)造過程中應避免這些錯誤點的影響。

2.2 輪廓線段樣本點集構(gòu)造

為精確提取每條輪廓線段的直線方程,需首先從U中分離構(gòu)造出各線段的樣本點集。本文利用長方體的投影輪廓是一個凸六邊形的性質(zhì),首先判別某個頂點的位置,再從該頂點出發(fā),利用一維Hough變換的方法構(gòu)造兩個鄰邊的樣本點集。下面以線段DE和EF為例說明構(gòu)造其對應的點集SDE和SEF的過程。

(5)分別以兩個候選區(qū)間中的輪廓點作為樣本點,估算DE和EF的直線方程y=kDEx+bDE和y=kEFx+bEF;

(6)分別對兩個候選區(qū)間中的每個輪廓點P(xP,yP),計算其到相應直線的距離;

從以上構(gòu)造過程看,輪廓點集中長方體內(nèi)部的錯誤點,并不會對邊線點集的構(gòu)造結(jié)果有太大的影響。

2.3 長方體尺寸測量

由性質(zhì)1、性質(zhì)2、性質(zhì)3,受平行與垂直約束,A′B′、B′C′、DE、EF的直線方程可分別表示為

(4)

式中k、bAB、bBC、bDE、bEF為未知參數(shù)。

利用采樣點集SAB、SBC、SDE、SEF,對公式(4)應用最小二乘法,可獲得k、bAB、bBC、bDE、bEF的估計值,得到以上4條直線在世界坐標系中的直線方程。

根據(jù)k的估計值對原世界坐標系進行變換,使光心在底面的投影點S為新坐標系的原點,坐標軸分別與ED和EF平行,新坐標系下的輪廓如圖2所示。

圖2中bA、bD、bF、bC均可通過坐標變換獲得,xA、yC的值待定。由性質(zhì)4和性質(zhì)5容易得到

(5)

(6)

于是直線SA′在新坐標系下的直線方程為

bAx′-xAy′=0

(7)

直線SC′在新坐標系下的直線方程為

(8)

直線方程(7)和(8)構(gòu)成對參數(shù)xA的線性約束。將點集SFA和SCD內(nèi)點的坐標轉(zhuǎn)換成新坐標系下的坐標,為簡化符號,在不引起歧義的情況下,這里仍用(xP,yP)表示點集內(nèi)的P點在新坐標系下的坐標。

圖2 坐標變換后的三視面投影輪廓

利用點集SFA和直線SA′的直線方程(7),應用最小二乘法,可得到xA的近似值

(9)

將SA′和SC′兩條直線的方程(7)和(8)表達為近似歸一化形式

(10)

此時若將樣本點代入公式(10)的約束方程,則約束產(chǎn)生的誤差的絕對值近似為樣本點到相應直線的距離。利用點集SFA和SCD對公式(10)的約束方程應用最小二乘法可得到xA的估計生的誤差的絕對值近似為樣本點到相應直線的距離。利用點集SFA和SCD對公式(10)的約束方程應用最小二乘法可得到xA的估計值。

(11)

3 實驗研究

3.1 長方體尺寸測量仿真實驗

設某長方體的三維尺寸為200mm×150mm×100mm,將長方體底面看作是虛擬像平面,并在該平面上根據(jù)長方體的底邊建立世界坐標系,假設在長方體前方放置相機,相機坐標系相對于世界坐標系x、y、z三個坐標軸的旋轉(zhuǎn)角分別為225°、30°、90°;平移向量為(-150,180,1200)(單位:mm);設相機的內(nèi)參數(shù)為fu=fv=2000,u0=800,v0=600。在長方體可見的6條輪廓線上進行采樣,每1mm設置一個采樣點,根據(jù)采樣點在世界坐標系中的空間坐標計算其對應的圖像坐標(ui,vi),并計算其投影到虛擬像平面上的坐標(xi,yi)作為長方體輪廓的采樣點,圖3是這些采樣點在虛擬圖像上的分布情況。虛擬圖像的尺寸為1000×1000像素,像素距為0.5mm。仿真實驗中對虛擬圖像中的采樣點施加服從均勻分布U[-λ,λ]的干擾,這里λ(單位:像素)為干擾強度。利用被干擾后的采樣點坐標通過本文的方法提取直線并進行長方體的三維尺寸計算。針對某個干擾強度λ,進行500次仿真實驗,對測量結(jié)果相對于真實值的誤差進行統(tǒng)計,圖4是測量平均誤差隨λ的變化情況,圖5是最大誤差隨λ的變化情況。

從仿真結(jié)果看,當λ=0時,算法可準確得到長方體的三維尺寸,說明了本文算法的正確性;誤差總體上隨著干擾強度的增大而增加,當邊緣點提取誤差最大達到5個像素時測量最大誤差仍能保持在1mm以內(nèi),平均誤差在0.3mm以內(nèi),說明算法具備較好的魯棒性。

圖3 虛擬圖像上的采樣點

圖4 仿真實驗中平均誤差變化曲線

圖5 仿真實驗中最大誤差變化曲線

3.2 真實紙箱測量實驗

本實驗選擇三個不同規(guī)格的紙箱樣品,針對每個樣品拍攝其在不同位置姿態(tài)下的照片各15幅,并利用本文方法進行測量。圖6顯示了其中三組的實驗圖像,其中左側(cè)第一列為紙箱原始圖像,實驗中相機采用Basler acA1600-20gc彩色相機,配12mm工業(yè)鏡頭,目標距相機距離約1m,原始圖像的尺寸為1624×1234像素;第二列為對應的虛擬圖像,虛擬圖像的尺寸為1400×1400像素,像素距為0.5mm;第三列為利用SVM方法分割出的紙箱區(qū)域;第四列為利用本文方法最終提取出的六條邊緣直線。從圖像上看,三種樣品在區(qū)域分割過程中受標簽、膠帶反光影響,在紙箱中間和邊緣處都出現(xiàn)了誤分割;受桌面紋理和陰影的影響,在背景區(qū)域也存在誤分割,但均未對最終的直線提取產(chǎn)生很大的影響,說明了本文方法具有一定的魯棒性。

圖6 三種紙箱樣品的實驗圖像

表1是針對每個樣品測量的誤差統(tǒng)計結(jié)果。

表1 實際紙箱樣品的測量結(jié)果 mm

從表1可以看出,實驗中對紙箱的三維測量誤差在毫米量級,平均相對誤差在2%以內(nèi),最大相對誤差在5%以內(nèi),本文算法針對實際紙箱的測量也取得了較好的結(jié)果。

將實驗結(jié)果與現(xiàn)有方法的結(jié)果進行對比,根據(jù)文獻[5-6，8]中的數(shù)據(jù),文獻[5]采用單目視覺和2組點結(jié)構(gòu)光的方法實現(xiàn)了紙箱三維尺寸的自動化測量,對真實紙箱的測量相對誤差在0.20%到11.20%之間;文獻[6]采用精確標定的單相機對長方體標準塊的測量相對誤差在2%以內(nèi),但要求手工確定特征點,沒有達到本文自動化處理的水平;文獻[8] 采用雙目視覺并手工選擇特征點的方法,對紙箱的測量相對誤差在1.5%到11.7%之間。綜合以上對比結(jié)果,本文方法的測量精度不低于現(xiàn)有最好的方法,在測量系統(tǒng)結(jié)構(gòu)的簡單性、自動化程度、魯棒性等方面都具有優(yōu)勢。

4 結(jié)束語

本文提出一種利用長方體紙箱本身具有的幾何約束,通過單相機對其進行三維尺寸測量的方法,該方法建立了目標在支撐平面上的投影圖像,不僅實現(xiàn)了鏡頭畸變校正,還保持了長方體輪廓線間固有的平行和垂直約束關系,通過合理運用這些約束進行邊緣直線特征提取,有利于提高測量精度。仿真和真實實驗都證明該方法具有一定的魯棒性。該方法僅需一臺已標定相機完成測量,視覺系統(tǒng)結(jié)構(gòu)簡單,適用于對傳送帶上的長方體紙箱進行三維尺寸測量。