基于雙目視覺的智能送餐機(jī)器人系統(tǒng)設(shè)計

裴漢華，秦會斌

(杭州電子科技大學(xué) 新型電子器件與應(yīng)用研究所，浙江 杭州 310018)

0 引言

隨著老齡化問題不斷加劇，社會對于服務(wù)型機(jī)器人的需求進(jìn)一步增加，在我國餐飲業(yè)中，顧客點餐和送餐等服務(wù)是最繁雜的工作[1]。餐飲業(yè)勞動力的成本越來越高。再加上社會老齡化的問題日益加劇，傳統(tǒng)的以人為勞動力的運營方式已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足社會的需求，同時面對全球的經(jīng)濟(jì)壓力，如何縮減成本也是各行各業(yè)都在考慮的問題。

送餐機(jī)器人的導(dǎo)航方式的設(shè)計直接決定送餐的效率，常用的方案有以下幾種：(1)使用反射式紅外光電管[2]；(2)使用激 光掃 描[3]；(3)使用磁導(dǎo)引傳感器[4]；(4)使 用GPS導(dǎo)航[5]。使用反射式紅外光電管，信號處理的速度較快，電路結(jié)構(gòu)也比較簡單，但是感知前方道路的距離有限，容易受外界環(huán)境的干擾，精度低；使用激光掃描來導(dǎo)航，對環(huán)境無明顯要求，通過反光帶更改路線，但是成本太高；磁導(dǎo)引傳感器通過鋪設(shè)磁帶更改路線，柔性較好，但一般磁導(dǎo)航傳感器只能檢測磁條上方100 Gauss以下的微弱磁場，容易受到周圍金屬物質(zhì)的干擾，檢測的結(jié)果容易產(chǎn)生偏差；使用GPS導(dǎo)航，環(huán)境的影響較小，穩(wěn)定性和精度都很高，只是成本太高。除了以上的幾種導(dǎo)航方式外，視覺導(dǎo)航的應(yīng)用也很廣泛。視覺識別導(dǎo)航通過采用CCD攝像機(jī)構(gòu)建視覺導(dǎo)引系統(tǒng)，是實現(xiàn)智能導(dǎo)航的最佳方式之一，也是項具有潛力的實用技術(shù)[6]。使用CCD的最大優(yōu)勢在于能夠準(zhǔn)確地判斷出機(jī)器人前方較長的一段距離上路面的走向，可以給機(jī)器人的控制提供更多的信息，能夠很好地彌補上述導(dǎo)航方案的缺陷。

本文采用雙目視覺系統(tǒng)來為智能送餐機(jī)器人提供路徑規(guī)劃，與傳統(tǒng)的路徑規(guī)劃相比成本較低，并且能夠?qū)崟r地采集和存儲圖像信息，方便以后的分析。系統(tǒng)中使用的立體匹配算法，能夠減小信息獲取處理過程中的計算量，緩解微處理器處理數(shù)據(jù)的壓力，使得整個系統(tǒng)具有處理速度快、穩(wěn)定性好、準(zhǔn)確度高等特點。

1 智能送餐機(jī)器人整體結(jié)構(gòu)

系統(tǒng)在工作時，首先，圖像采集模塊通過左右兩個CCD攝像機(jī)來采集路徑上的圖像信息，同時利用視頻解碼器將模擬圖像轉(zhuǎn)換為數(shù)字圖像。然后對處理得到的數(shù)字圖像進(jìn)行預(yù)處理，包括特征提取、模式識別、匹配等步驟，其中最重要的環(huán)節(jié)就是三維重建。雙目視覺技術(shù)是實現(xiàn)三維重建的常用方法，一套完整的雙目視覺系統(tǒng)包含攝像機(jī)標(biāo)定、雙目校正、立體匹配、三維重建等過程[7]。三維重建后可以獲取目標(biāo)在世界坐標(biāo)系下的具體坐標(biāo)，從而為智能機(jī)器人建立運動模型提供必要的參數(shù)信息。機(jī)器人的寄存器中存儲有室內(nèi)環(huán)境的坐標(biāo)信息，將獲取的路徑坐標(biāo)信息與室內(nèi)環(huán)境坐標(biāo)信息對比，分析數(shù)據(jù)差值得出結(jié)果，機(jī)器人將結(jié)果信息發(fā)送給主控模塊，由主控模塊控制機(jī)器人的各種運動。系統(tǒng)整體方案如圖1所示。

圖1 系統(tǒng)整體方案設(shè)計

2 系統(tǒng)硬件設(shè)計

基于上述原理，實現(xiàn)智能送餐機(jī)器人的自主識徑，其基本模塊組成如圖2所示。

電源模塊：電源模塊的功能為為系統(tǒng)的其他模塊提供所需的電源。兩個12 V串聯(lián)的蓄電池構(gòu)成外接電源，通過LM2596電壓調(diào)節(jié)器，將24 V的電壓分別轉(zhuǎn)換成5 V。

圖2 系統(tǒng)框圖

(1)信號采集模塊：通過CCD攝像機(jī)獲取道路的圖像信息，并經(jīng)過信息處理得到道路的相關(guān)參數(shù)。

(2)電機(jī)驅(qū)動模塊：從微處理器的I/O端口輸出的電流無法直接驅(qū)動電機(jī)，因此需要另外加一個驅(qū)動模塊。通過MC33886來控制驅(qū)動電機(jī)兩端的電壓能夠靈活地實現(xiàn)機(jī)器人的加減速運行。

(3)舵機(jī)驅(qū)動模塊：利用PWM波來控制舵機(jī)輸出轉(zhuǎn)角。

3 系統(tǒng)軟件設(shè)計

3.1 整體方案設(shè)計

通過CCD攝像機(jī)采集到的圖像信息，經(jīng)過攝像機(jī)標(biāo)定、雙目校正、立體匹配、三維重建等過程，得到路徑的坐標(biāo)信息，將信息處理過后交給主控模塊，從而控制機(jī)器人的運動。

3.2 雙目立體視覺系統(tǒng)

雙目立體視覺系統(tǒng)以人的眼睛為出發(fā)點，用兩個攝像頭代替人的雙眼，以此來還原人類通過眼睛識別目標(biāo)的過程。一個完整的雙目立體視覺系統(tǒng)主要包括以下幾部分：雙目視覺系統(tǒng)標(biāo)定、圖像獲取、雙目校正、立體匹配和三維重建[10]。

3.2.1 雙目視覺系統(tǒng)標(biāo)定

攝像機(jī)參數(shù)分為內(nèi)、外參數(shù)，雙目視覺系統(tǒng)標(biāo)定就是求取攝像機(jī)內(nèi)外參數(shù)的過程。

因為成像儀幾何中心和光軸間存在誤差，在獲取攝像頭的內(nèi)部參數(shù)時，需要引入兩個參數(shù)cx與cy。另一方面，考慮到成像儀是矩形，而非理想的正方形，因此設(shè)x、y方向的焦距分別為fx和fy。三維的空間坐標(biāo)使用x、y、z來表示，q里的 x與y表示二維投影空間，w用于限制任意兩個點的交比不變化。利用投影變換，把世界坐標(biāo)下的Q點映射進(jìn)投影平面q中，如式(1)所示。

求取攝像頭的外部參數(shù)，要考慮雙目視覺系統(tǒng)中左右兩個攝像頭的相對位置關(guān)系，主要由平移向量T和旋轉(zhuǎn)矩陣R共同表征。T和R就是要求的攝像頭的外部參數(shù)，其關(guān)系如式(2)和式(3)所示。

其中，Rl和Rr分別表示的是左右攝像頭的旋轉(zhuǎn)矩陣，Tl和Tr則分別代表左右攝像頭的平移向量。

3.2.2 雙目校正

雙目標(biāo)定之后，為了使兩個圖像完全行對準(zhǔn)，將上述的標(biāo)定結(jié)果通過Bouguet算法得到旋轉(zhuǎn)矩陣和平移向量來進(jìn)行雙目校正。該方法是為了使攝像頭獲取的左右兩幅圖像中的任意一幅的重投影次數(shù)最小，也就是為了使觀測的面積最大化。根據(jù)雙目標(biāo)定的結(jié)果得到的各參數(shù)將二維的點重投影到三維坐標(biāo)里，重投影矩陣M如式(4)所示。

其中(ax，ay)為主點在左側(cè)攝像機(jī)拍攝圖像里的坐標(biāo)是主點在右側(cè)攝像機(jī)拍攝圖像的x坐標(biāo)，Tx是雙目間距，f是攝像機(jī)的焦距。經(jīng)過雙目校正后，可以很好地校正兩幅圖像中的桶形畸變，使得兩幅圖像實現(xiàn)行對準(zhǔn)。

3.2.3 立體匹配

在整個系統(tǒng)中，立體匹配是最為重要的一個環(huán)節(jié)。其原理是通過尋找校正后兩幅圖像間的對應(yīng)點，然后計算該點的視覺差，以此來獲取三維信息。

立體匹配要考慮選擇匹配基元、選擇匹配準(zhǔn)則等諸多問題，其中最重要的是確定立體匹配算法[11]。目前，主流的立體匹配算法主要指的是SGBM(Semi-Global Block Matching)算法。

SGBM算法的流程如下：首先選取所有圖像中每個像素點的 disparity，將其組成一個 disparity map，然后，設(shè)置一個全局的能量函數(shù)，使其與disparity map相關(guān)，計算這個能量函數(shù)得到的最小值，得出的結(jié)果就是對應(yīng)的disparity的最優(yōu)解。能量函數(shù)的表達(dá)式如式(5)所示：

其中，D表示的是上面提到的disparity map。E(D)表示的是disparity map對應(yīng)的能量函數(shù)。p和q都指的是圖像中的某個像素，Np指的是像素p相鄰像素點，P1和P2指的是懲罰系數(shù)。C(p，Dp)指的是當(dāng)前的像素點的disparity是Dp時，該像素點的cost。當(dāng)函數(shù)條件為真，I函數(shù)返回1，為假則返回0?？紤]到在二維圖像中獲得最優(yōu)解的復(fù)雜性，可以將問題分解為多個一維問題。考慮下面的函數(shù)：

其中，R指的是指向當(dāng)前的像素p的某一個方向，Lr(p，d)指沿著當(dāng)前方向，目前像素的p的disparity取值為d時，其最小的cost值。因為Lr(p，d)會隨著像素移動而不斷增長，所以為了防止數(shù)值溢出，當(dāng)前像素的cost值需要減去前面像素取不同的disparity時最小的cost值。然后將不同方向上的所有cost值相加，選擇累加的cost值最小的disparity作為像素最終的disparity。

通過對每個對象進(jìn)行上述操作后，得到了整個圖像的disparity map。具體的公式如式(7)所示：

3.2.4 三維重建

三維重建指的是將從不同角度拍攝的獨幅圖像恢復(fù)物體在空間里的坐標(biāo)[12]。三維重建的原理如圖3所示，其中，p為世界坐標(biāo)系下物體上某一點，P1、P2為攝像機(jī) C1、C2所成圖像平面上的投影，O1、O2為 C1、C2的光心，點 p正好位于 O1P1和O2P2的連線上，即兩直線的交點，所以點p的三維空間位置唯一確定。

圖3 三維重建原理模型

正常情況下，若雙目攝像機(jī)C1和C2已經(jīng)標(biāo)定，其各自的投影矩陣為M1、M2，點p在世界坐標(biāo)下的坐標(biāo)為t=[X，Y，Z，1]T，P1、P2在圖像坐標(biāo)系下的坐標(biāo)分別為[u1，v1，1]T、[u2，v2，1]T，可得：

聯(lián)立式(10)和式(11)可求出(X，Y，Z)的值。

4 實驗結(jié)果分析

由于智能送餐機(jī)器人是在室內(nèi)工作，考慮到室內(nèi)的面積，因此實驗只模擬了30 m長，5 m寬的范圍內(nèi)機(jī)器人的運行軌跡，同時和實際的運行軌跡進(jìn)行對比。實驗結(jié)果如圖4所示。從圖中可以看出，仿真軌跡和機(jī)器人的實際軌跡大致相符。

圖4 軌跡擬合結(jié)果

為了更好地驗證送餐機(jī)器人系統(tǒng)的穩(wěn)定性，對上述數(shù)據(jù)進(jìn)行進(jìn)一步處理。取不同的X值時，計算對應(yīng)的Y方向上模擬路徑與實際路徑的差值，得出的誤差曲線如圖5所示。

圖5 測距誤差曲線

圖中的曲線表明，模擬路徑與實際路徑的差值，即：Y1-Y2的值主要集中在±0.2的范圍內(nèi)，其最大誤差(Y1-Y2)max≈0.32 m，整體的平均誤差，基本能夠滿足智能送餐的要求。