方東君,蔣 林,2
(1.武漢科技大學(xué)冶金裝備及其控制教育部重點(diǎn)實(shí)驗(yàn)室,湖北 武漢,430081;2.武漢科技大學(xué)機(jī)器人與智能系統(tǒng)研究院,湖北 武漢,430081)
障礙物檢測(cè)算法是移動(dòng)機(jī)器人感知環(huán)境的重要手段,對(duì)機(jī)器人的安全及穩(wěn)定作業(yè)至關(guān)重要,其主要分為識(shí)別和測(cè)量?jī)蓚€(gè)部分。目前障礙物識(shí)別方面的研究成果非常豐富,如常見的YOLO[1]、Fast RCNN[2]、SSD[3]等,這些算法各有優(yōu)勢(shì),其中,SSD融合了YOLO和Faster RCNN的Anchor理念,并結(jié)合不同卷積層的特征作出預(yù)測(cè),在識(shí)別精度和識(shí)別速度上得到很好的平衡。障礙物測(cè)量方法可以根據(jù)傳感器對(duì)障礙物深度值的獲取方式不同加以區(qū)分,常用的儀器設(shè)備有激光雷達(dá)、單目相機(jī)、雙目相機(jī)和深度相機(jī)等,它們均可以通過直接或間接的方法獲得目標(biāo)深度信息。基于單目視覺的障礙物測(cè)量方法[4-5]是根據(jù)對(duì)極幾何原理進(jìn)行計(jì)算,但由于存在尺度等問題,其測(cè)量效果有待于進(jìn)一步提高?;陔p目視覺的障礙物測(cè)量方法簡(jiǎn)便且深度不受限,因此得到大量關(guān)注。Eppenberger等[6]在雙目視差圖上進(jìn)行DBSCAN聚類和三維跟蹤,結(jié)合了三維點(diǎn)云與二維占用柵格地圖,能很好地識(shí)別和跟蹤動(dòng)態(tài)對(duì)象,該算法側(cè)重于跟蹤,而在目標(biāo)分割和測(cè)量方面的精度較低。仇旭陽等[7]利用DenseNet網(wǎng)絡(luò)改進(jìn)YOLOv3模型以提升障礙物識(shí)別率,并采用立體匹配模型PSMNet得到雙目圖像的視差圖,然后進(jìn)行被測(cè)目標(biāo)深度估計(jì),其方法主要針對(duì)交通場(chǎng)景中的障礙物檢測(cè)。劉中等[8]以區(qū)域?yàn)閱挝环謩e計(jì)算顏色對(duì)比度和深度對(duì)比度,根據(jù)得到的區(qū)域顯著性值來分割目標(biāo),但這種方法在顯著性區(qū)域邊緣的精度會(huì)降低,導(dǎo)致測(cè)量誤差增大。曹騰等[9]引入場(chǎng)景的坡度信息作為障礙物的判斷指標(biāo)以實(shí)現(xiàn)目標(biāo)分割,但是當(dāng)環(huán)境的紋理信息較弱時(shí),視差圖缺失嚴(yán)重,從而影響分割效果。另外,隨著對(duì)檢測(cè)精度要求的提高,基于雙目視覺的障礙物測(cè)量方法所需配置和計(jì)算量也逐漸增大。深度相機(jī)雖然有測(cè)量距離限制,但基本能滿足室內(nèi)移動(dòng)機(jī)器人的應(yīng)用需求,而且可以主動(dòng)獲取物體的深度信息,其應(yīng)用成本也更低。李彥玥等[10]提出了一種基于RGBD 深度相機(jī)的障礙物檢測(cè)方法,在幀差法中加入閾值處理并采用最小矩形匹配法提取目標(biāo)輪廓,檢測(cè)成功率達(dá)到91%,但部分輪廓不清晰導(dǎo)致距離較遠(yuǎn)的物體檢測(cè)效果變差。
根據(jù)上述分析,本文提出一種基于深度相機(jī)的障礙物檢測(cè)算法,在識(shí)別障礙物的同時(shí)完成對(duì)障礙物的測(cè)量。該算法首先通過SSD網(wǎng)絡(luò)模型得到包含障礙物的檢測(cè)框,然后采用融合深度信息的目標(biāo)分割策略,在保證實(shí)時(shí)性的同時(shí)從復(fù)雜的環(huán)境中分割出目標(biāo)障礙物的形狀并獲得深度信息,然后提取出適合測(cè)量的障礙物表面最優(yōu)區(qū)域進(jìn)行尺寸計(jì)算。本文最后通過對(duì)比實(shí)驗(yàn)來檢驗(yàn)所提算法的測(cè)量精度以及抗噪性和穩(wěn)定性。
基于深度相機(jī)的常規(guī)測(cè)量方法一般是通過傳統(tǒng)圖像分割處理得到目標(biāo)輪廓,再提取輪廓像素點(diǎn)對(duì)應(yīng)的深度值進(jìn)行計(jì)算。常用的圖像處理方法有背景差分法[11]、GrabCut算法[12]和語義分割法[13]等,其中,背景差分法不適用于單個(gè)檢測(cè)框的情形,GrabCut運(yùn)算資源損耗大且不滿足實(shí)時(shí)性要求,語義分割法重在區(qū)分對(duì)象而在輪廓邊緣處的分割精度較低。另外,傳統(tǒng)圖像處理方法易受光照等影響,從而造成誤提取,而且由于深度相機(jī)自身的缺陷,所得到的物體輪廓邊緣處的深度值不一定精準(zhǔn)。因此,本文將HSI顏色模型與深度信息融合到算法中,以期在滿足實(shí)時(shí)性要求的同時(shí)實(shí)現(xiàn)更精確的目標(biāo)分割。
1.1.1 圖像預(yù)分割
攝像頭獲取的圖像RGB信息經(jīng)過SSD模型檢測(cè),在每一幀圖像上皆可得到一個(gè)包含實(shí)際障礙物在成像平面上的投影信息的檢測(cè)框。為了實(shí)現(xiàn)精確測(cè)量,需要對(duì)物體具有明顯幾何特征的邊緣如棱邊等進(jìn)行檢測(cè),故在得到檢測(cè)框后還要將框內(nèi)的障礙物獨(dú)立分割出來。
HSI顏色模型[14]建立在人類對(duì)顏色的感知系統(tǒng)基礎(chǔ)之上,更符合人類的視覺規(guī)律。在HSI顏色空間進(jìn)行圖像分割可有效緩解光照等噪聲帶來的不利影響,提高分割的準(zhǔn)確性與魯棒性。
通過對(duì)多個(gè)檢測(cè)框進(jìn)行分析可以得知,無論背景有多復(fù)雜,檢測(cè)框內(nèi)的主要信息始終是目標(biāo)主體。針對(duì)該特點(diǎn),本文采用K-Means聚類方法[15]對(duì)目標(biāo)進(jìn)行預(yù)分割,主要分為兩個(gè)步驟:
(1)將檢測(cè)框內(nèi)的RGB圖像轉(zhuǎn)換到HSI顏色空間中,為兼顧實(shí)時(shí)性與轉(zhuǎn)換均勻性,采用下式計(jì)算:
(1)
S=Max-Min
(2)
(3)
式中:R、G、B分別為紅、綠、藍(lán)三種顏色通道值;Max和Min分別為圖像單個(gè)像素點(diǎn)的R、G、B值中的最大值和最小值;H代表色調(diào);S代表飽和度;I代表亮度。
障礙物圖像經(jīng)過顏色空間轉(zhuǎn)換后的效果如圖1所示。從圖1(通道-S和通道-I)可以明顯看出,柜子與背景中的凳子和門框的表示完全不同,與地面和墻壁也存在差別。
圖1 轉(zhuǎn)換到HSI顏色空間的障礙物圖像
(2)將飽和度和亮度作為主要特征信息,采用K-Means算法進(jìn)行聚類,最大類群即為檢測(cè)框中的目標(biāo)障礙物。
通過上述步驟處理后的效果如圖2所示,可以看出,雖然對(duì)目標(biāo)邊緣部分的提取不夠精細(xì),但整體上還是概括出了目標(biāo)障礙物的特征。
(a) 檢測(cè)框 (b) 預(yù)分割圖
1.1.2 融合深度信息進(jìn)行精分割
下面借助深度圖中含有的幾何信息對(duì)目標(biāo)障礙物進(jìn)行更細(xì)致的分割。從經(jīng)過K-Means算法處理后的預(yù)分割圖中可以得到目標(biāo)障礙物大概的像素范圍,以該范圍內(nèi)的最近點(diǎn)為中心,用八鄰域搜索法[16]進(jìn)行區(qū)域生長(zhǎng)搜索,將相鄰深度差值符合一定梯度的連通區(qū)域分割出來,從而得到更精細(xì)的分割圖像。
對(duì)于一個(gè)連貫的物體,無論是在RGB圖還是在深度圖中,屬于該物體表面的相鄰像素一定存在著聯(lián)系,因此這里假設(shè)同一物體表面投影在成像平面上的相鄰像素點(diǎn)對(duì)應(yīng)的深度值一定是在梯度內(nèi)連續(xù)變化而不是跳躍式變化的,若出現(xiàn)較大突變則表明圖像中該處對(duì)應(yīng)著實(shí)際障礙物的邊緣或是該障礙物與其他物體的分界處。
如圖3所示,用長(zhǎng)方體表示通過深度相機(jī)獲取的障礙物深度信息,任取一個(gè)截面進(jìn)行數(shù)據(jù)分析。圖3(a)和圖3 (b)分別展示了同一障礙物在不同姿態(tài)下的深度值與對(duì)應(yīng)像素點(diǎn)的關(guān)系,圖中粗線代表深度值被投影到像素平面u軸的部分,將該部分各點(diǎn)深度值d與對(duì)應(yīng)像素平面的u坐標(biāo)逐一投影得到d-u(深度-像素)圖,其中,dmax表示墻體的最大深度值,dn和d0分別表示相機(jī)視場(chǎng)內(nèi)障礙物最遠(yuǎn)和最近點(diǎn)的深度值。
(a) 姿態(tài)一 (b) 姿態(tài)二
對(duì)比圖3(a)和圖3(b)中的兩種d-u函數(shù)關(guān)系可以看出,雖然由于視角不同,兩個(gè)姿態(tài)下的深度值與像素的映射關(guān)系發(fā)生了變化,但相同點(diǎn)在于,兩個(gè)姿態(tài)下dmax與dn對(duì)應(yīng)點(diǎn)之間有明顯的跳躍,而d0到dn之間深度變化連貫,即便在長(zhǎng)方體不同側(cè)面的變化梯度不同,但深度值始終是連續(xù)的。從數(shù)學(xué)層面可理解為,該線段內(nèi)部處處可導(dǎo),且各段直線函數(shù)滿足式(4)。
y=ax+b
(4)
式中:y為深度值;x為像素平面u值;a、b分別為直線對(duì)應(yīng)的斜率和截距。
經(jīng)過K-Means處理可得到與實(shí)際情況相近的目標(biāo)障礙物像素范圍,但其邊緣精度并不高,此時(shí)通過篩選可以得到目標(biāo)區(qū)域深度最小值,也即障礙物距離相機(jī)最近點(diǎn)。結(jié)合上述思路,對(duì)于該區(qū)域,以最近點(diǎn)為中心進(jìn)行八鄰域搜索,若相鄰像素的深度差值超過閾值t則視為離開目標(biāo)區(qū)域。該環(huán)節(jié)主要分為3個(gè)步驟:
(1)將最近點(diǎn)作為當(dāng)前點(diǎn),以該點(diǎn)為中心,搜索八個(gè)方向相鄰的未標(biāo)記且在有效區(qū)域內(nèi)的子像素點(diǎn)。
(2)檢測(cè)子像素點(diǎn)與當(dāng)前點(diǎn)的深度值之差是否大于閾值t,是則將子像素點(diǎn)標(biāo)記為0,否則標(biāo)記為1,表示該點(diǎn)與當(dāng)前點(diǎn)連貫。
(3)將連貫的子像素點(diǎn)加入新的中心點(diǎn)搜索隊(duì)列,重復(fù)步驟(1)和步驟(2),直到有效區(qū)域內(nèi)全部像素點(diǎn)標(biāo)記為0或1。
經(jīng)過以上步驟可以得到更為細(xì)致的目標(biāo)區(qū)域,將其作為掩碼與檢測(cè)框圖像進(jìn)行融合,可以更清晰地觀察其效果,如圖4所示。經(jīng)過對(duì)比可以看出:圖4(b)雖然對(duì)障礙物的細(xì)節(jié)保留較好,如縫隙、紋理等,但對(duì)象的最外圍邊緣由于與部分背景高度相似導(dǎo)致分割不夠精細(xì),若僅據(jù)此進(jìn)行測(cè)量會(huì)導(dǎo)致極大的誤差;通過對(duì)深度值進(jìn)行區(qū)域生長(zhǎng)搜索得到的圖4(c)不僅保留了圖4(b)具有的細(xì)節(jié)優(yōu)勢(shì),還對(duì)物體的輪廓保留得較好,而且與背景相似的外圍部分也能被精細(xì)分割。
(a) 檢測(cè)框 (b) 預(yù)分割圖 (c) 精分割圖
由上述分析可知,將基于飽和度和亮度的K-Means分割與基于深度值進(jìn)行區(qū)域生長(zhǎng)搜索相結(jié)合,可以在復(fù)雜背景下較好地分割出障礙物投影在像素平面上的有效像素點(diǎn)集合,該方法不僅對(duì)圖像噪聲的抵抗性強(qiáng),而且能得到較為完整的目標(biāo)邊緣輪廓與內(nèi)部特征。
在室內(nèi)移動(dòng)機(jī)器人作業(yè)環(huán)境中,機(jī)器人所處的二維平面地圖中障礙物的尺寸對(duì)機(jī)器人的作業(yè)有重大影響,而垂直于該平面的軸向尺寸(即物體的高度)對(duì)于室內(nèi)作業(yè)影響不大,故本文著重測(cè)量障礙物在二維投影平面上的各表面寬度。
通過前面的目標(biāo)分割算法可以得到檢測(cè)框內(nèi)障礙物投影的有效像素集合,為測(cè)量出該障礙物的最大尺寸,對(duì)目標(biāo)分割圖逐行進(jìn)行像素統(tǒng)計(jì),選擇像素最多的一行進(jìn)行測(cè)量,若最后測(cè)量無效則根據(jù)像素排列第二的行次進(jìn)行測(cè)量,以此類推。
為更直觀地表達(dá)上述方法,統(tǒng)計(jì)了一張椅子經(jīng)目標(biāo)分割后(圖5(a))的像素分布,如圖5(b)所示。從圖5(b)可以看出,第273行的有效長(zhǎng)度最長(zhǎng),后續(xù)將主要針對(duì)該行進(jìn)行特征點(diǎn)的提取和轉(zhuǎn)換,若轉(zhuǎn)換出的中間點(diǎn)超出該圖的有效范圍,則根據(jù)有效長(zhǎng)度下降原則選擇另一行進(jìn)行測(cè)量。
(a)目標(biāo)分割圖 (b)像素統(tǒng)計(jì)
圖3中的d-u函數(shù)圖不僅體現(xiàn)了相鄰像素點(diǎn)的深度值關(guān)系,還可以從函數(shù)曲線中得出該行中的拐點(diǎn),即在所對(duì)應(yīng)的深度值曲線中除起點(diǎn)和終點(diǎn)之外的極值點(diǎn),該點(diǎn)可對(duì)應(yīng)到實(shí)際障礙物表面的棱邊特征。
根據(jù)上述極值點(diǎn)將該線段劃分為多個(gè)子線段,每個(gè)子線段皆代表一個(gè)平面。至此得到適合測(cè)量的參考線,可以根據(jù)該線段集合測(cè)量出障礙物出現(xiàn)在相機(jī)視場(chǎng)內(nèi)的各個(gè)面的寬度。
在實(shí)際應(yīng)用中,即便是與機(jī)器人平行的平面,經(jīng)深度相機(jī)采集到的有可能是參差不齊的點(diǎn)集。在得到的各個(gè)子線段中,起點(diǎn)和終點(diǎn)的深度值對(duì)最終的測(cè)量精度有很大的影響,故本文對(duì)各子線段對(duì)應(yīng)的深度數(shù)據(jù)利用最小二乘法進(jìn)行線性擬合,根據(jù)深度數(shù)據(jù)的規(guī)律找到合適的函數(shù)表達(dá)式來預(yù)測(cè)各像素點(diǎn)對(duì)應(yīng)的真實(shí)深度值,并根據(jù)得到的函數(shù)關(guān)系計(jì)算出該線段起點(diǎn)和終點(diǎn)的深度值。
以障礙物深度投影圖中的某一子線段對(duì)應(yīng)的d-u數(shù)據(jù)分布為例展示線性擬合的效果,如圖6所示,其中,虛線為數(shù)據(jù)點(diǎn)分布,直線為線性擬合后得到的函數(shù)關(guān)系。從圖6可以看出,起點(diǎn)到終點(diǎn)之間的深度值分布并不均勻,且無固定規(guī)律,但整體變化趨勢(shì)依然與該線段對(duì)應(yīng)的障礙物表面特征相符合,擬合后的函數(shù)直線到每個(gè)數(shù)據(jù)點(diǎn)的距離和最小。在已知投影點(diǎn)像素坐標(biāo)的情況下,根據(jù)該函數(shù)可得到對(duì)應(yīng)的深度值。
圖6 d-u函數(shù)關(guān)系擬合結(jié)果
由上述步驟得到符合障礙物表面特征的測(cè)量線段,計(jì)算出線段起點(diǎn)和終點(diǎn)的像素坐標(biāo)及深度值。通過坐標(biāo)轉(zhuǎn)換,借助起點(diǎn)求出三維坐標(biāo)下與終點(diǎn)等高的中間點(diǎn),若該中間點(diǎn)在像素平面的坐標(biāo)依舊在目標(biāo)分割得到的有效區(qū)域內(nèi),則該中間點(diǎn)與終點(diǎn)的歐氏距離即為障礙物對(duì)應(yīng)表面的實(shí)際寬度,否則選擇其它區(qū)域?yàn)闇y(cè)量線段。
綜上所述,本文所提出的障礙物檢測(cè)算法的整體流程如圖7所示。
圖7 本文算法流程圖
本文實(shí)驗(yàn)在長(zhǎng)10 m、寬5 m的室內(nèi)環(huán)境中進(jìn)行,如圖8(a)所示,內(nèi)部設(shè)置有靠墻、正、斜等多姿態(tài)放置的Cabinet、Chair、Container以及Door等多個(gè)目標(biāo),且在不同視角下會(huì)得到不同的圖像,符合室內(nèi)移動(dòng)機(jī)器人作業(yè)環(huán)境。使用的輪式差分機(jī)器人由實(shí)驗(yàn)室自主搭建,如圖8(b)所示,其寬為0.33 m、高為0.45 m,主要由Kinect v2深度相機(jī)、激光雷達(dá)等組件構(gòu)成,相機(jī)最大幀率為30 fps,可以滿足移動(dòng)機(jī)器人的常規(guī)導(dǎo)航要求。為驗(yàn)證所提算法的真實(shí)效果,本文實(shí)驗(yàn)中并未啟動(dòng)激光雷達(dá)功能。
實(shí)驗(yàn)步驟為:①將本文算法程序燒錄至機(jī)器人,使其能在實(shí)驗(yàn)環(huán)境中移動(dòng),在不同位置實(shí)現(xiàn)檢測(cè);②根據(jù)SSD算法得到目標(biāo)檢測(cè)框,然后進(jìn)行
(a)實(shí)驗(yàn)環(huán)境 (b)實(shí)驗(yàn)設(shè)備
圖像分割,并將本文目標(biāo)分割算法與GrabCut算法在耗時(shí)和分割效果上進(jìn)行對(duì)比;③制造遮擋和強(qiáng)光照射的環(huán)境,驗(yàn)證本文目標(biāo)分割算法的抗噪性;④對(duì)障礙物進(jìn)行實(shí)際測(cè)量,展示效果并計(jì)算誤差。
2.1.1 本文算法的分割效果
本文提出的融合深度信息的目標(biāo)分割算法會(huì)對(duì)深度相機(jī)捕捉到的每一幀圖像進(jìn)行處理,用SSD網(wǎng)絡(luò)模型處理后在全圖中會(huì)得到多個(gè)障礙物的檢測(cè)框。此環(huán)節(jié)為驗(yàn)證融合深度信息的分割算法效果,故選擇Cabinet和Chair兩個(gè)障礙物作為對(duì)象,從多個(gè)角度進(jìn)行分割,結(jié)果如表1和表2所示。每個(gè)對(duì)象均選擇了3個(gè)不同的角度,每個(gè)角度的背景不同,如光照條件、陰影等,從而提供了較為豐富的驗(yàn)證環(huán)境。
從表1和表2可以看出,多角度下的目標(biāo)分割均較為完整,對(duì)陰影部分的區(qū)分效果良好,這是因?yàn)殛幱安糠峙c目標(biāo)本體在HSI顏色空間下的飽和度和亮度存在較大區(qū)別,所以在邊緣處理上的整體效果較好。但是,在部分受光照影響較大的區(qū)域分割效果略差,如表1中角度3的Cabinet頂部,這是由于強(qiáng)光過度干擾了HSI模型中的亮度信息,并且強(qiáng)光還會(huì)影響本文使用的Kinect v2相機(jī)的深度估計(jì),而圖像上的一般噪聲對(duì)分割效果影響不大,如該圖右側(cè)??偟膩碚f,本文融合深度信息的目標(biāo)分割算法在不同背景下對(duì)不同對(duì)象都能進(jìn)行較為完整的分割,且能克服一定程度的噪聲影響。
表1 Cabinet多角度分割結(jié)果
表2 Chair多角度分割結(jié)果
2.1.2 本文算法與GrabCut算法的分割效果對(duì)比
本文目標(biāo)分割算法主要是在單幀圖像中分割出對(duì)象,而目前單幀分割算法中最常見的是GrabCut算法[17],它使用高斯混合模型對(duì)前景和背景建模,利用了圖像中的紋理(顏色)信息和邊界(反差)信息,只需要少量的用戶交互操作即可得到比較好的分割結(jié)果,故將其作為檢驗(yàn)本文算法計(jì)算速度和分割效果的對(duì)比算法。
在良好的實(shí)驗(yàn)環(huán)境下不能充分體現(xiàn)分割算法的性能差異,因此為了更直觀地展現(xiàn)分割效果,直接挑選出有噪聲干擾的多個(gè)目標(biāo)圖像進(jìn)行實(shí)驗(yàn)。經(jīng)過SSD網(wǎng)絡(luò)模型對(duì)圖像處理后,機(jī)器人可以得到各障礙物的檢測(cè)框,然后分別用GrabCut算法和本文算法進(jìn)行處理,單獨(dú)提取出4種對(duì)象的分割效果,如表3所示,其中Door有close和open兩個(gè)狀態(tài),雖是同一物體,但不同狀態(tài)內(nèi)部的顏色和深度值均有變化,對(duì)分割效果的衡量有重要意義,同時(shí),表3中Container與其他棱形對(duì)象不同,擴(kuò)展了算法驗(yàn)證中目標(biāo)分割的對(duì)象范圍。
由表3可以看出:Cabinet對(duì)象原圖的頂部和底部分別與墻壁及地面顏色接近,在GrabCut算法分割得到的圖像中,這兩處均未與背景分割開來,且右上方與背景產(chǎn)生了誤分割,由于本文算法是基于飽和度和亮度的聚類分割,而Cabinet頂部背景和對(duì)象的深度值有明顯差別,因此盡管邊緣處分割略粗糙,但整體分割效果較好;Chair目標(biāo)存在鏤空部分,GrabCut處理時(shí)將背景中與Chair顏色相近的踢腳線部分也認(rèn)為是同一對(duì)象,且對(duì)地面也出現(xiàn)了誤分割,而本文算法中的聚類分割可以較好地將Chair與地面分割開來,同時(shí)踢腳線部分的深度值與對(duì)象表面的深度值之間的差值能進(jìn)一步提高本文的分割效果;Door_close整體深度值較為連續(xù),沒有出現(xiàn)跳躍性變動(dòng),檢測(cè)框也未包含整個(gè)對(duì)象,GrabCut算法處理時(shí)在對(duì)象左側(cè)和地面處產(chǎn)生了誤分割,本文算法中的K-Means聚類則較好地將對(duì)象分割出來;Door_open中部屬于走廊部分,深度值變化明顯,此時(shí)GrabCut算法將對(duì)象外側(cè)部分分割得較好,但對(duì)象內(nèi)部的非相關(guān)環(huán)境未能區(qū)分,而本文算法則將外部和內(nèi)部都進(jìn)行了較好的分割,能得到完整的對(duì)象信息;Container雖無棱邊信息,但物體表面深度值更連續(xù),無明顯突變,而目標(biāo)與背景之間的深度差值在圓的象限點(diǎn)處十分明顯,故本文引入的深度信息可以將其與相似背景處分割開來。
表3 本文算法與GrabCut的分割效果對(duì)比
本文算法與GrabCut算法處理上述對(duì)象耗費(fèi)的時(shí)間統(tǒng)計(jì)如表4所示,當(dāng)對(duì)象環(huán)境復(fù)雜度增加時(shí),兩個(gè)算法運(yùn)行耗費(fèi)的時(shí)間都會(huì)增加,但整體上本文算法的運(yùn)行時(shí)間更短,均在0.5 s以內(nèi),而GrabCut算法耗時(shí)變化較大,且均在1.7 s以上。
表4 本文算法與GrabCut的運(yùn)行時(shí)間對(duì)比
綜上所述,與常見的GrabCut算法相比,本文融合深度信息的目標(biāo)分割算法的分割效果更好、耗時(shí)更短,其在目標(biāo)圖像鏤空等復(fù)雜情況下也能較清晰地分割出對(duì)象輪廓,并且隨著環(huán)境復(fù)雜程度的改變,其運(yùn)算時(shí)間變化較小,即算法的穩(wěn)定性較好。
為進(jìn)一步檢驗(yàn)本文目標(biāo)分割算法的抗噪性能,針對(duì)前文中Cabinet對(duì)象,制造遮擋和強(qiáng)光照射的環(huán)境,以此對(duì)目標(biāo)分割進(jìn)行干擾。不同條件下采用本文算法的分割效果列于表5,其中,普通條件是正常環(huán)境下無遮擋且光照影響較低的環(huán)境;遮擋條件是將另一障礙物置于檢測(cè)對(duì)象和相機(jī)之間,以掩蓋對(duì)象在像平面的部分投影;強(qiáng)光照射條件則是從相機(jī)一側(cè)往對(duì)象一側(cè)施加照度為6000 lx的強(qiáng)光源,以干擾對(duì)象在像平面上對(duì)應(yīng)投影點(diǎn)的值。
從表5可以看出:在遮擋條件下,由于K-Means聚類處理可以將遮擋物中與對(duì)象飽和度明顯不同的部分進(jìn)行分割,并且對(duì)象與背景和遮擋物之間存在深度差值,故本文分割算法在此條件下分割效果較好;在強(qiáng)光照射條件下,對(duì)象無論是在RGB顏色空間還是在HSI顏色空間都受到了干擾,故而影響了本文算法中的聚類分割效果,雖然結(jié)合深度信息后能大致分割出對(duì)象輪廓,但邊緣部分線條十分粗糙。
通過上述分析以及前面與GrabCut算法的對(duì)比可知,本文提出的結(jié)合深度信息的目標(biāo)分割算法在一般情況下分割效果很好,對(duì)陰影、相似色彩的背景等噪聲有較強(qiáng)的抵抗能力,但是當(dāng)噪聲過強(qiáng)時(shí)其分割效果仍會(huì)受到影響,即不能完全抵消噪聲干擾。
表5 本文算法的抗噪性能測(cè)試結(jié)果
經(jīng)過目標(biāo)分割可以得到僅含對(duì)象信息的圖像,據(jù)此進(jìn)行測(cè)量。本實(shí)驗(yàn)提取了3個(gè)對(duì)象的測(cè)量效果圖和測(cè)量值,如表6所示,其中,將根據(jù)測(cè)量線段起點(diǎn)求解得到的三維坐標(biāo)下與終點(diǎn)等高的中間點(diǎn)用小圓表示,代表實(shí)際測(cè)量起始點(diǎn),將測(cè)量線段末尾點(diǎn)用大圓表示,代表實(shí)際測(cè)量終點(diǎn),兩點(diǎn)之間用細(xì)線連接,表示所測(cè)量部分在實(shí)際障礙物表面上的真實(shí)距離,線段上的數(shù)字代表該段距離的測(cè)量值,真值是用儀器對(duì)障礙物尺寸進(jìn)行實(shí)際測(cè)量后得到的數(shù)值。
下面將機(jī)器人圍繞障礙物轉(zhuǎn)動(dòng),從多個(gè)角度對(duì)同一障礙物進(jìn)行測(cè)量,隨機(jī)取10次測(cè)量結(jié)果,如圖9所示,圖中還給出了對(duì)應(yīng)的真實(shí)值。經(jīng)計(jì)算得到圖9(a)~圖9 (c)中3個(gè)對(duì)象的綜合測(cè)量精度分別為98.65%、98.84%和98.47%。結(jié)合表6和圖9可以看出,本文方法可以適應(yīng)多種條件下的障礙物檢測(cè),算法獲取的測(cè)量點(diǎn)在有效區(qū)域以內(nèi),測(cè)量線段符合障礙物表面的實(shí)際特征分布,測(cè)量精度較高且較穩(wěn)定。
表6 障礙物測(cè)量結(jié)果一
(a)Cabinet
(b)Chair
(c)Door
本文提出了融合深度信息的目標(biāo)分割算法和基于該算法的室內(nèi)障礙物測(cè)量方法,其中,目標(biāo)分割算法利用了HSI顏色空間更符合人類視覺規(guī)律的特性,并采用K-Means聚類算法基于飽和度和亮度兩個(gè)信息進(jìn)行預(yù)分割,再將深度信息與像素坐標(biāo)進(jìn)行整合,模擬出物體幾何信息進(jìn)行區(qū)域生長(zhǎng)搜索,在通過SSD模型處理得到的檢測(cè)框中實(shí)現(xiàn)了對(duì)目標(biāo)的精確分割,分割效果好,且算法具有較強(qiáng)的抗噪能力;在障礙物測(cè)量過程中,首先對(duì)目標(biāo)分割結(jié)果進(jìn)行最優(yōu)區(qū)域劃分,并用線性擬合提高精度,然后根據(jù)適合于測(cè)量的最優(yōu)線段的起點(diǎn)、終點(diǎn)以及等高點(diǎn)在三維坐標(biāo)下的歐氏距離得到目標(biāo)尺寸,綜合測(cè)量精度達(dá)到98.4%以上且性能比較穩(wěn)定。