基于單幅深度圖像遮擋信息的下一最佳觀測(cè)方位確定方法

張世輝，張鈺程

(1．燕山大學(xué)信息科學(xué)與工程學(xué)院，河北秦皇島066004; 2．河北省計(jì)算機(jī)虛擬技術(shù)與系統(tǒng)集成重點(diǎn)實(shí)驗(yàn)室，河北秦皇島066004)

?

基于單幅深度圖像遮擋信息的下一最佳觀測(cè)方位確定方法

張世輝1，2，張鈺程1

(1．燕山大學(xué)信息科學(xué)與工程學(xué)院，河北秦皇島066004; 2．河北省計(jì)算機(jī)虛擬技術(shù)與系統(tǒng)集成重點(diǎn)實(shí)驗(yàn)室，河北秦皇島066004)

摘要:如何根據(jù)當(dāng)前觀測(cè)到的信息確定攝像機(jī)的下一最佳觀測(cè)方位是視覺(jué)領(lǐng)域一個(gè)具有挑戰(zhàn)性的問(wèn)題．本文提出一種基于單幅深度圖像利用遮擋信息求解下一最佳觀測(cè)方位的方法．該方法首先利用當(dāng)前觀測(cè)方位下獲得的深度圖像中的遮擋信息對(duì)遮擋區(qū)域外接表面進(jìn)行四邊形剖分，從而建立遮擋區(qū)域外接表面模型;然后通過(guò)綜合考慮下一觀測(cè)過(guò)程中的可見(jiàn)四邊形信息以及觀測(cè)損失信息構(gòu)造下一最佳觀測(cè)方位模型;最后采用梯度下降法求解所建模型得到下一最佳觀測(cè)方位．與已有方法相比，所提方法無(wú)需將攝像機(jī)位置固定于某一表面，也無(wú)需獲取視覺(jué)目標(biāo)的先驗(yàn)知識(shí)．實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的可行性和有效性．

關(guān)鍵詞:下一最佳觀測(cè)方位;深度圖像;遮擋信息;遮擋區(qū)域外接表面;梯度下降法

1　引言

下一最佳觀測(cè)方位(Next Best View，NBV)的確定一直是場(chǎng)景探測(cè)、三維重建、目標(biāo)識(shí)別等領(lǐng)域重要研究問(wèn)題之一，它是基于當(dāng)前觀測(cè)方位下攝像機(jī)獲取的信息，確定出攝像機(jī)的下一觀測(cè)方位，使攝像機(jī)能夠在下一次觀測(cè)中最大量地獲取到當(dāng)前觀測(cè)方位下未知的信息．

目前，下一最佳觀測(cè)方位問(wèn)題的研究主要基于兩種圖像:彩色圖像和深度圖像．基于彩色圖像的下一最佳觀測(cè)方位確定算法相對(duì)較少，并且存在一些局限性，算法效率有待提高．代表性的方法有: Bottino［1］提出一種交互式重建方法確定下一最佳觀測(cè)方位，其基于最優(yōu)重建條件判斷是否需要繼續(xù)觀測(cè)，但該方法不適用于復(fù)雜表面物體．Haner［2］基于協(xié)方差傳播理論估計(jì)不確定性從而確定下一最佳觀測(cè)方位，但計(jì)算耗時(shí)較大．

與彩色圖像不同，深度圖像中的像素值表示場(chǎng)景中某一點(diǎn)到攝像機(jī)成像平面的距離，這意味著基于深度圖像更易獲取場(chǎng)景的三維信息，故現(xiàn)有的下一最佳觀測(cè)方位確定算法大多基于深度圖像實(shí)現(xiàn)．代表性的成果有: Connolly［3］采用八叉樹(shù)模型描述視覺(jué)目標(biāo)，對(duì)每個(gè)節(jié)點(diǎn)進(jìn)行標(biāo)記從而確定出下一最佳觀測(cè)方位，但該方法未考慮遮擋因素，所以遮擋現(xiàn)象越嚴(yán)重，越無(wú)法保證方法的正確性．Maver［4］提出一種利用遮擋信息確定下一最佳觀測(cè)方位的方法，用多邊形近似遮擋區(qū)域，但該方法基于特定設(shè)備，不具有良好的普適性．Pito［5］基于PS(Positional Space)算法從大量潛在觀測(cè)方位中確定出下一最佳觀測(cè)方位，但攝像機(jī)位置被限制在固定表面，且PS算法在觀測(cè)光線的投影過(guò)程中會(huì)花費(fèi)大量的時(shí)間．Banta［6］提出一種基于體素塊的不同標(biāo)記以及整體觀測(cè)策略確定下一最佳觀測(cè)位置的方法，該方法中攝像機(jī)的位置同樣被限制在固定表面，并且需要預(yù)先獲取場(chǎng)景的先驗(yàn)知識(shí)．Chen［7］提出一種基于模型的利用HG(Hierarchical Genetic)算法和Christofides算法解決視點(diǎn)規(guī)劃問(wèn)題的方法，該方法不僅需要獲取場(chǎng)景的先驗(yàn)知識(shí)，而且計(jì)算耗時(shí)也較大．Li［8］提出一種基于B樣條計(jì)算信息熵的視點(diǎn)規(guī)劃方法，把攝像機(jī)能夠獲得模型最大信息熵的方位作為下一最佳觀測(cè)方位，但該方法計(jì)算出的攝像機(jī)位置同文獻(xiàn)［5，6］一樣也被限定在一個(gè)固定表面，且方法耗時(shí)受已觀測(cè)點(diǎn)云數(shù)量的影響較大．Scott［9］提出一種基于模型的3M (Modified Measurability Matrix)算法解決視點(diǎn)規(guī)劃問(wèn)題，該方法同樣需要獲取場(chǎng)景的先驗(yàn)知識(shí)．Vasquez-Gomez［10］通過(guò)效用函數(shù)(Utility Function)對(duì)生成的候選觀測(cè)方位進(jìn)行排序求得下一最佳觀測(cè)方位，但其視點(diǎn)評(píng)價(jià)過(guò)程需要花費(fèi)大量的時(shí)間．

綜上分析可知，現(xiàn)有下一最佳觀測(cè)方位確定方法普遍存在攝像機(jī)位置受限、需要先驗(yàn)知識(shí)或耗時(shí)較大等方面的不足．鑒于此，本文提出一種基于深度圖像利用遮擋信息確定下一最佳觀測(cè)方位的方法．該方法首先從當(dāng)前觀測(cè)方位下獲取一幅深度圖像，然后基于遮擋信息構(gòu)造下一最佳觀測(cè)方位模型，最后利用梯度下降法求解所建模型得到下一最佳觀測(cè)方位．實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的可行性和有效性．

2　方法概述

2．1下一最佳觀測(cè)方位問(wèn)題分析

觀測(cè)方位是指攝像機(jī)觀測(cè)視覺(jué)目標(biāo)時(shí)的方向和位置．在觀測(cè)過(guò)程中，遮擋現(xiàn)象幾乎無(wú)處不在．圖1為攝像機(jī)觀測(cè)一個(gè)由矩形ABCD和矩形GHIJ構(gòu)成的理想視覺(jué)模型的示意圖．在當(dāng)前觀測(cè)方位下產(chǎn)生了遮擋現(xiàn)象，AB、AD和BC為遮擋邊界，五面體ABCFED內(nèi)的空間區(qū)域?yàn)檎趽鯀^(qū)域，面ADE、面BCF和面ABFE構(gòu)成遮擋區(qū)域的外接表面．為了獲取視覺(jué)目標(biāo)遮擋區(qū)域內(nèi)的信息則需要調(diào)整攝像機(jī)的觀測(cè)方位進(jìn)行進(jìn)一步觀測(cè)．在所有可能的下一觀測(cè)方位中，能夠最大量觀測(cè)遮擋區(qū)域內(nèi)未知信息的觀測(cè)方位即為下一最佳觀測(cè)方位．

分析可知，攝像機(jī)和遮擋區(qū)域是下一最佳觀測(cè)方位問(wèn)題所涉及的兩個(gè)主要研究對(duì)象．如果以攝像機(jī)為研究對(duì)象求解下一最佳觀測(cè)方位問(wèn)題，則需要預(yù)先給出攝像機(jī)所有可能的觀測(cè)方位，因此，為了獲取有窮的觀測(cè)方位集合就需要對(duì)攝像機(jī)的觀測(cè)位置加以限制．同時(shí)，由于攝像機(jī)可能的觀測(cè)方位一般都比較多，因此在大量可能的觀測(cè)方位中確定下一最佳觀測(cè)方位的過(guò)程通常耗時(shí)較大．但是，如果以遮擋區(qū)域?yàn)檠芯繉?duì)象求解下一最佳觀測(cè)方位問(wèn)題，則所需信息主要為當(dāng)前觀測(cè)方位下視覺(jué)目標(biāo)的遮擋信息，因此在確定下一最佳觀測(cè)方位的過(guò)程中可以避免上述問(wèn)題．

由于遮擋區(qū)域內(nèi)的信息在當(dāng)前觀測(cè)方位下是未知的，因此需要利用遮擋區(qū)域的外接表面信息近似地代表遮擋區(qū)域內(nèi)的信息［4］，根據(jù)下一最佳觀測(cè)方位問(wèn)題的描述，則求解觀測(cè)遮擋區(qū)域內(nèi)未知信息的最佳觀測(cè)方位問(wèn)題可以近似地轉(zhuǎn)化為求解觀測(cè)遮擋區(qū)域外接表面的最佳觀測(cè)方位問(wèn)題．

2.2方法總體思想

基于上述對(duì)下一最佳觀測(cè)方位問(wèn)題的分析，本文提出一種基于單幅深度圖像利用遮擋信息求解下一最佳觀測(cè)方位的方法．方法總體思想如下:首先，在當(dāng)前觀測(cè)方位下獲取視覺(jué)目標(biāo)的深度圖像．其次，檢測(cè)和計(jì)算深度圖像中遮擋信息，并對(duì)遮擋區(qū)域外接表面進(jìn)行四邊形剖分，同時(shí)計(jì)算得到各四邊形的中心點(diǎn)、法向量和面積．然后，基于四邊形信息構(gòu)造下一最佳觀測(cè)方位模型．最后，求解所建模型得到下一最佳觀測(cè)方位．所提方法總體流程如圖2所示．

3　基于遮擋信息確定下一最佳觀測(cè)方位

3.1遮擋區(qū)域建模

3.1.1獲取與遮擋邊界對(duì)應(yīng)的下鄰接邊界

本文利用深度圖像中的遮擋信息確定下一最佳觀測(cè)方位，由于獲取深度圖像中遮擋信息的方法已有文獻(xiàn)可借鑒［11～13］，故本文不再對(duì)獲取遮擋信息的遮擋檢測(cè)過(guò)程進(jìn)行論述，而是重點(diǎn)論述基于遮擋信息的下一最佳觀測(cè)方位確定過(guò)程．獲取深度圖像中的遮擋邊界后，為了確定下一最佳觀測(cè)方位，下一步需要計(jì)算與遮擋邊界對(duì)應(yīng)的下鄰接邊界．以圖1中理想視覺(jué)模型的遮擋邊界AB為例進(jìn)行分析，AB對(duì)應(yīng)的下鄰接邊界應(yīng)為EF，但在真實(shí)的三維空間中EF在當(dāng)前觀測(cè)方位下并不可見(jiàn)，所以本文選取與EF相鄰的可見(jiàn)邊界近似作為AB對(duì)應(yīng)的下鄰接邊界．圖3為圖1中攝像機(jī)獲取的深度圖像，網(wǎng)狀線條為遮擋邊界，點(diǎn)狀線條為遮擋邊界對(duì)應(yīng)的下鄰接邊界，其中，點(diǎn)A與點(diǎn)E重合，點(diǎn)B與點(diǎn)F重合．

計(jì)算深度圖像中遮擋邊界對(duì)應(yīng)的下鄰接邊界的具體方法如下．

首先為每一個(gè)遮擋邊界像素點(diǎn)尋找到一個(gè)下鄰接邊界像素點(diǎn)與之對(duì)應(yīng)．記遮擋邊界像素點(diǎn)集合為{ P}O，記下鄰接邊界像素點(diǎn)集合為{ P}D．在{ P}O中任取一點(diǎn)記為PO，其深度值記為dO，在PO的八鄰域內(nèi)尋找與PO對(duì)應(yīng)的點(diǎn)PD，其深度值記為dD．為了保證集合{ P}O與集合{ P}D中的元素一一對(duì)應(yīng)，需要滿(mǎn)足PD既不是遮擋邊界像素點(diǎn)，也不與其他遮擋邊界像素點(diǎn)對(duì)應(yīng)．同時(shí)，考慮到為了確定出最優(yōu)的下鄰接邊界，本文定義PO的下鄰接邊界像素點(diǎn)PD的深度值dD滿(mǎn)足dO)．通過(guò)上述方法即可求得每一個(gè)遮擋邊界像素點(diǎn)對(duì)應(yīng)的下鄰接邊界像素點(diǎn)．所有遮擋邊界像素點(diǎn)對(duì)應(yīng)的下鄰接邊界像素點(diǎn)形成的邊界即為遮擋邊界對(duì)應(yīng)的下鄰接邊界．在三維空間中，遮擋邊界與其對(duì)應(yīng)的下鄰接邊界沿?cái)z像機(jī)觀測(cè)方向形成的曲面則為遮擋區(qū)域外接表面．

3.1.2基于邊界信息建立遮擋區(qū)域外接表面模型

為了建立遮擋區(qū)域外接表面模型，基于遮擋邊界和下鄰接邊界信息，依次從遮擋邊界中取出第i對(duì)相鄰的兩個(gè)遮擋邊界點(diǎn)POLi、PORi，同時(shí)取出兩個(gè)分別與之對(duì)應(yīng)的下鄰接邊界點(diǎn)PDLi、PDRi，上述四個(gè)點(diǎn)所圍成的空間四邊形Patchi即為剖分遮擋區(qū)域外接表面得到的四邊形之一．基于此思想，即可實(shí)現(xiàn)對(duì)遮擋區(qū)域外接表面的四邊形剖分．圖4給出了對(duì)遮擋區(qū)域外接表面進(jìn)行分析的示意圖．其中，圖4(a)為對(duì)遮擋區(qū)域外接表面進(jìn)行四邊形剖分后的結(jié)果，圖4(b)為四邊形對(duì)應(yīng)的三維空間結(jié)構(gòu)，圖4(c)為四邊形對(duì)應(yīng)的深度圖像中的結(jié)構(gòu)．

記四邊形Patchi的四個(gè)頂點(diǎn)的三維坐標(biāo)分別為，則四邊形Patchi的中心點(diǎn)坐標(biāo)的計(jì)算公式定義為

由于空間四邊形的四個(gè)頂點(diǎn)不一定共面，并且本文前述將深度圖像中與遮擋邊界相鄰的可見(jiàn)邊界近似作為與其對(duì)應(yīng)的下鄰接邊界，故為了減小遮擋區(qū)域外接表面建模的誤差，本文選取PDLi與PDRi的中點(diǎn)與兩個(gè)遮擋邊界點(diǎn)POLi和PORi組成的三角形的法向量作為四邊形Patchi的法向量(見(jiàn)圖4(b) )，則四邊形法向量vi的計(jì)算公式定義為

基于四邊形法向量vi的計(jì)算公式(2)，則四邊形面積Si的計(jì)算公式可定義為

則在當(dāng)前觀測(cè)方位下遮擋區(qū)域外接表面總面積SΣ的計(jì)算公式可定義為

式中，n為剖分遮擋區(qū)域外接表面所得四邊形的個(gè)數(shù)．

3.2基于遮擋區(qū)域外接表面信息構(gòu)造下一最佳觀測(cè)方位模型

對(duì)遮擋區(qū)域外接表面建模后，為了構(gòu)造下一最佳觀測(cè)方位模型，需要判斷在下一最佳觀測(cè)方位下剖分所得n個(gè)四邊形中哪些四邊形是可見(jiàn)的，且期望可以最大量地觀測(cè)到四邊形的信息．

記XNV(xNV，yNV，zNV)為下一觀測(cè)方位下攝像機(jī)的位置，向量uNV= (pNV，qNV，tNV)為下一觀測(cè)方位下攝像機(jī)的觀測(cè)方向，則第i個(gè)四邊形的中點(diǎn)指向下一觀測(cè)位置的向量為．若向量ri與第i個(gè)四邊形的法向量vi的夾角θi，則表明第i個(gè)四邊形在下一觀測(cè)方位下是不可見(jiàn)的，故本文定義當(dāng)向量ri與第i個(gè)四邊形的法向量vi的夾角時(shí)，該四邊形在下一觀測(cè)方位下是可見(jiàn)的．

在觀測(cè)過(guò)程中，若可見(jiàn)的第i個(gè)四邊形的中點(diǎn)到下一觀測(cè)方位下攝像機(jī)平面的距離遠(yuǎn)大于或遠(yuǎn)小于其到當(dāng)前觀測(cè)方位下攝像機(jī)平面的距離，則意味著在當(dāng)前觀測(cè)方位下與下一觀測(cè)方位下觀測(cè)到的像素點(diǎn)所代表的三維空間中的真實(shí)信息相差較大，如果不加考慮則會(huì)導(dǎo)致對(duì)兩次觀測(cè)所得像素點(diǎn)進(jìn)行三維匹配時(shí)產(chǎn)生較大的誤差．因此，本文首先通過(guò)將可見(jiàn)的第i個(gè)四邊形的中點(diǎn)到下一觀測(cè)方位下攝像機(jī)平面的距離d2i的平方與該點(diǎn)到當(dāng)前觀測(cè)方位下攝像機(jī)平面的距離d1i的平方的比值減去單位1再求平方的方式衡量?jī)纱斡^測(cè)距離的差異．然后利用指數(shù)函數(shù)的性質(zhì)對(duì)兩次觀測(cè)距離的差異進(jìn)行歸一化，歸一化計(jì)算公式定義為

由于在相同觀測(cè)距離下，只有當(dāng)攝像機(jī)觀測(cè)方向與四邊形法向量平行時(shí)，攝像機(jī)獲取的四邊形面積最大．若記第i個(gè)四邊形Patchi的面積為Si，則攝像機(jī)在下一觀測(cè)方位下觀測(cè)到Patchi的面積可定義為

式中，vi為第i個(gè)四邊形的法向量為下一觀測(cè)方位下第i個(gè)四邊形中點(diǎn)指向下一觀測(cè)位置的向量，θi為向量ri與第i個(gè)四邊形的法向量vi的夾角．

結(jié)合上述分析，若同時(shí)考慮攝像機(jī)在下一觀測(cè)方位下能夠最大量地觀測(cè)到遮擋區(qū)域外接表面剖分所得四邊形且能夠最大量地降低觀測(cè)誤差兩方面因素，則可以把公式(5)中歸一化的結(jié)果作為公式(6)中面積的權(quán)值，也就是說(shuō)，將攝像機(jī)觀測(cè)方位信息作為其獲取到的第i個(gè)四邊形面積的權(quán)值．基于此思想，本文最終構(gòu)造出的下一最佳觀測(cè)方位模型為

式中，X(xNBV，yNBV，zNBV)為下一最佳觀測(cè)方位下攝像機(jī)的位置，向量u = (pNBV，qNBV，tNBV)為下一最佳觀測(cè)方位下攝像機(jī)的觀測(cè)方向．

3.3下一最佳觀測(cè)方位模型求解

分析式(7)模型可知其并非一個(gè)凸模型，故很難直接利用凸優(yōu)化方法得到其全局最優(yōu)解．可行的解法有隨機(jī)法、填充函數(shù)法、積分水平集法、區(qū)域分割法、遺傳算法、梯度下降法等．這些方法中，有的理論上就不能得到真正的全局最優(yōu)解，如隨機(jī)法、填充函數(shù)法、遺傳算法和梯度下降法;有的雖然在理論上可得到全局最優(yōu)解，但需要非常大的計(jì)算量，如積分水平集法和區(qū)域分割法．就已有方法而言，除了某些特殊的非凸問(wèn)題能夠求得全局最優(yōu)解外，對(duì)于一般的非凸問(wèn)題，尚無(wú)求解全局最優(yōu)的有效手段．考慮到該模型較易計(jì)算梯度，且梯度下降法在迭代過(guò)程中需要的存儲(chǔ)單元相對(duì)較少，在很大程度上可減少算法的空間復(fù)雜度，故綜合考慮方法的可行性和時(shí)間消耗，本文采用梯度下降法求解式(7)的下一最佳觀測(cè)方位模型．

為了采用梯度下降法求解式(7)模型，首先需要選取較好的初始迭代方位．在不考慮攝像機(jī)視角場(chǎng)和物體型面的理想情況下，遮擋區(qū)域外接表面剖分所得所有四邊形法向量之和的反方向應(yīng)為最優(yōu)的初始迭代方向．相應(yīng)地，初始迭代位置也應(yīng)在此方向上選?。疄榱舜_定初始迭代位置，以當(dāng)前觀測(cè)方位下所有已觀測(cè)點(diǎn)的重心為起點(diǎn)，在初始迭代方向u0上求得一點(diǎn)，使點(diǎn)X0到已觀測(cè)點(diǎn)重心的距離與當(dāng)前觀測(cè)位置到已觀測(cè)點(diǎn)重心的距離相等．基于上述思路即可得到初始迭代方位(X0，u0)．

初始迭代方位(X0，u0)確定后，即可基于式(7)模型對(duì)其六個(gè)變量分別求梯度．若記迭代次數(shù)為k，迭代步長(zhǎng)為λ，則其六個(gè)變量沿梯度方向的更新迭代公式為

3.4下一最佳觀測(cè)方位確定算法

4　實(shí)驗(yàn)及分析

4.1實(shí)驗(yàn)環(huán)境

為了驗(yàn)證本文方法的效果，我們基于http: / /range．informatik．uni-stuttgart．de/htdocs/html上Stuttgart Range Image Database(簡(jiǎn)稱(chēng)SRID)中提供的三維物體模型進(jìn)行了實(shí)驗(yàn)．實(shí)驗(yàn)硬件環(huán)境為CPU Intel(R) Core(TM) i7-3770 3.40GHz，內(nèi)存8.00GB．采用C + +實(shí)現(xiàn)下一最佳觀測(cè)方位確定程序，并結(jié)合OpenGL實(shí)現(xiàn)攝像機(jī)觀測(cè)物體模型獲取深度圖像的過(guò)程．獲取深度圖像過(guò)程中，設(shè)置OpenGL投影矩陣的參數(shù)為(60，1，200，600)，窗口大小為400×400.

4.2實(shí)驗(yàn)及分析

基于本文所提方法，我們對(duì)SRID中不同的三維物體模型進(jìn)行了實(shí)驗(yàn)．實(shí)驗(yàn)過(guò)程中，遮擋邊界檢測(cè)采用文獻(xiàn)［13］中所提方法實(shí)現(xiàn)，設(shè)定攝像機(jī)相對(duì)于觀測(cè)中心點(diǎn)的距離為250mm，步長(zhǎng)λ采用固定步長(zhǎng)0.1，迭代過(guò)程中當(dāng)?shù)牟钪敌∮?.01或迭代次數(shù)大于2000則終止(步長(zhǎng)0.1、差值0.01和迭代次數(shù)2000均為經(jīng)驗(yàn)值)．圖5給出了部分實(shí)驗(yàn)結(jié)果．其中，圖5(a)為視覺(jué)目標(biāo)名稱(chēng)，圖5(b)為當(dāng)前觀測(cè)方位下視覺(jué)目標(biāo)的深度圖像，圖5(c)為遮擋邊界(白色線條)及下鄰接邊界(黑色線條)，圖5(d)為遮擋區(qū)域外接表面各四邊形對(duì)應(yīng)的法向量(白色線條)，圖5(e)為下一最佳觀測(cè)方位下可見(jiàn)的四邊形集合(白色區(qū)域)，圖5(f)為所求下一最佳觀測(cè)方位下視覺(jué)目標(biāo)的深度圖像．

分析圖5的實(shí)驗(yàn)結(jié)果可知，對(duì)視覺(jué)目標(biāo)Duck而言，由于其遮擋現(xiàn)象并不明顯，故在所求下一最佳觀測(cè)方位下觀測(cè)到的可見(jiàn)四邊形區(qū)域并不是很大，即在所求下一最佳觀測(cè)方位下會(huì)觀測(cè)到較多的已觀測(cè)點(diǎn)．但對(duì)視覺(jué)目標(biāo)Rocker、Mole、Bunny和Dragon而言，由于其遮擋現(xiàn)象比較明顯且越來(lái)越嚴(yán)重，故在所求下一最佳觀測(cè)方位下觀測(cè)到的可見(jiàn)四邊形區(qū)域越來(lái)越大，也就是說(shuō)，遮擋現(xiàn)象越嚴(yán)重，本文方法效果越好．同時(shí)，對(duì)照?qǐng)D5(b)和圖5(f)中各視覺(jué)目標(biāo)的深度圖像可知，本文方法求得的下一最佳觀測(cè)方位符合人類(lèi)視覺(jué)的觀測(cè)習(xí)慣．

由于目前并不存在下一最佳觀測(cè)方位評(píng)測(cè)方面的標(biāo)準(zhǔn)對(duì)照?qǐng)D(Ground Truth)，又由于不同方法各有特點(diǎn)，所以很難設(shè)定統(tǒng)一的標(biāo)準(zhǔn)對(duì)比分析不同下一最佳觀測(cè)方位算法的優(yōu)劣．為了進(jìn)一步驗(yàn)證本文方法的可行性和有效性，我們僅基于本文方法特點(diǎn)對(duì)圖5的實(shí)驗(yàn)結(jié)果進(jìn)行了量化分析．分析結(jié)果如表1所示．

表1中，NCV為當(dāng)前觀測(cè)方位下獲取到的視覺(jué)目標(biāo)表面點(diǎn)的個(gè)數(shù)，NNBV為所求下一最佳觀測(cè)方位下獲取到的視覺(jué)目表面點(diǎn)個(gè)數(shù)，NOVERLAP為兩次觀測(cè)中重復(fù)觀測(cè)到的視覺(jué)目標(biāo)表面點(diǎn)個(gè)數(shù)，RNEW為新增率，計(jì)算公式為1－NOVERLAP/NNBV，SΣ為公式(4)計(jì)算結(jié)果，表示當(dāng)前觀測(cè)方位下視覺(jué)目標(biāo)遮擋區(qū)域外接表面的總面積，SNBV為基于梯度下降法求解公式(7)所得結(jié)果，表示在所求下一最佳觀測(cè)方位下可見(jiàn)的四邊形面積加權(quán)求和的結(jié)果，T為求解下一最佳觀測(cè)方位所需的時(shí)間消耗．每個(gè)視覺(jué)目標(biāo)對(duì)應(yīng)的時(shí)間消耗為10次實(shí)驗(yàn)結(jié)果的平均值．

表1　下一最佳觀測(cè)方位實(shí)驗(yàn)結(jié)果量化評(píng)估

由表1可以看出，攝像機(jī)在下一最佳觀測(cè)方位下獲取到的視覺(jué)目標(biāo)上的點(diǎn)具有較高的新增率，并且當(dāng)遮擋現(xiàn)象越嚴(yán)重，即遮擋區(qū)域外接表面面積和SΣ越大時(shí)，本文所求下一最佳觀測(cè)方位下獲取到的視覺(jué)目標(biāo)點(diǎn)的新增率越高．結(jié)合圖5與表1進(jìn)一步分析可知，對(duì)于四邊形法向量分布相對(duì)分散的視覺(jué)目標(biāo)如Duck、Mole、Bunny和Dragon而言，當(dāng)遮擋現(xiàn)象越嚴(yán)重時(shí)，本文所建模型計(jì)算出的SNBV的值也越大，說(shuō)明攝像機(jī)在所求下一觀測(cè)方位下的確可以獲取到大量的當(dāng)前觀測(cè)方位下獲取不到的信息．同時(shí)，對(duì)于四邊形法向量分布相對(duì)集中的視覺(jué)目標(biāo)Rocker而言，雖然其遮擋區(qū)域外接表面面積小于視覺(jué)目標(biāo)Mole的遮擋區(qū)域外接表面面積，但本文所建模型計(jì)算出的Rocker的SNBV的值卻比Mole 的SNBV的值大，這一現(xiàn)象反映了本文所建模型對(duì)遮擋區(qū)域分布較為集中的視覺(jué)目標(biāo)具有更好的響應(yīng)．

此外，為了評(píng)估本文方法的時(shí)間消耗，我們將其與同樣基于深度圖像且考慮了遮擋因素的文獻(xiàn)［6］和文獻(xiàn)［8］中的方法在相同環(huán)境下做了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示．

表2　不同方法確定下一最佳觀測(cè)方位的時(shí)間消耗

由表2的時(shí)間消耗可知，圖5中所有視覺(jué)目標(biāo)計(jì)算下一最佳觀測(cè)方位的平均耗時(shí)為58.30ms，而本文采用文獻(xiàn)［13］方法檢測(cè)遮擋過(guò)程的平均耗時(shí)為47.41ms，故即使將檢測(cè)遮擋的耗時(shí)也考慮在內(nèi)，本文方法求解下一最佳觀測(cè)方位的平均耗時(shí)也僅為105.71ms，與文獻(xiàn)［6］、文獻(xiàn)［8］方法求解下一最佳觀測(cè)方位的耗時(shí)8213.38ms、3236.59ms相比，本文方法明顯具有較好的實(shí)時(shí)性．

5　結(jié)論

本文提出一種基于單幅深度圖像利用遮擋信息確定下一最佳觀測(cè)方位的方法．主要貢獻(xiàn)在于: (1)提出一種對(duì)遮擋區(qū)域外接表面進(jìn)行四邊形剖分的遮擋區(qū)域建模方法，該方法提供了一種基于可靠的已觀測(cè)點(diǎn)對(duì)未知區(qū)域進(jìn)行建模的思路; (2)提出一種基于四邊形法向量和面積信息構(gòu)造下一最佳觀測(cè)方位模型的方法，該方法提供了一種根據(jù)攝像機(jī)觀測(cè)距離量化觀測(cè)損失的思路，從而更利于獲得合理的候選觀測(cè)方位; (3)針對(duì)發(fā)生遮擋現(xiàn)象的視覺(jué)目標(biāo)，給出了一種高效的下一最佳觀測(cè)方位確定方法，該方法采用梯度下降法求解下一最佳觀測(cè)方位模型，避免了尋求非凸模型全局最優(yōu)解的復(fù)雜問(wèn)題．本文方法適用于不同型面的視覺(jué)目標(biāo)，具有較好的通用性和實(shí)時(shí)性，且遮擋現(xiàn)象越嚴(yán)重，本文方法效果越好．未來(lái)我們將對(duì)如何自適應(yīng)地計(jì)算遮擋現(xiàn)象的嚴(yán)重性進(jìn)行進(jìn)一步研究．

參考文獻(xiàn)

［1］Bottino A，Laurentini A．What＇s NEXT? An interactive next best view approach［J］．Pattern Recognition，2006，39(1) : 126－132．

［2］Haner S，Heyden A．Covariance propagation and next best view planning for 3D reconstruction［A］．Proceedings of the 12th European Conference on Computer Vision［C］．Heidelberg，Germany: Springer Verlag，2012．545－556．

［3］Connolly C．The determination of next best views［A］．Proceedings of the IEEE International Conference on Robotics and Automation［C］．Washington，DC，USA: IEEE，1985．432－435．

［4］Maver J，Bajcsy R．Occlusion as a guide for planning the next view［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1993，15(5) : 417－432．

［5］Pito R．Solution to the next best view problem for automated surface acquisition［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21 (10) : 1016 －1030．

［6］Banta J E，Wong L M，Dumont C，et al．Next-best-view system for autonomous 3-D object reconstruction［J］．IEEE Transactions on Systems，Man，and Cybernetics，Part A: Systems and Humans，2000，30(5) : 589－598．

［7］Chen S Y，Li Y F．Automatic sensor placement for modelbased robot vision［J］．IEEE Transactions on Systems，Man，and Cybernetics，Part B: Cybernetics，2004，34(1) : 393－408．

［8］Li Y F，Liu Z G．Information entropy-based viewpoint planning for 3-D object reconstruction［J］．IEEE Transactions on Robotics，2005，21(3) : 324－337．

［9］Scott W R．Model-based view planning［J］．Machine Vision and Applications，2009，20(1) : 47－69．

［10］Vasquez-Gomez J I，Sucar L E，Murrieta-Cid R．Hierarchical ray tracing for fast volumetric next-best-view plan-ning［A］．Proceedings of the International Conference on Computer and Robot Vision［C］．Washington，DC，USA: IEEE，2013．181－187．

［11］Zhang S，Gao F，Kong L．A self-occlusion detection approach based on range image of vision object［J］．ICIC Express Letters，2011，5(6) : 2041－2046．

［12］Zhang S，Yan S．Depth estimation and occlusion boundary recovery from a single outdoor image［J］．Optical Engineering，2012，51(8) : 087003: 1－11．

［13］Zhang S，Liu J．A self-occlusion detection approach based on depth image using SVM［J］．International Journal of Advanced Robotic Systems，2012，9(12) : 230: 1－8．

張世輝男，1973年生于河北贊皇，燕山大學(xué)信息科學(xué)與工程學(xué)院教授、博士生導(dǎo)師．主要研究方向?yàn)橐曈X(jué)信息處理、模式識(shí)別，人工智能．

E-mail: sshhzz@ ysu．edu．cn

張鈺程男，1990年生于河北廊坊，燕山大學(xué)碩士研究生．主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)和模式識(shí)別．

E-mail: zycysucv@ gmail．com

Determining Next Best View Based on Occlusion Information of a Single Depth Image

ZHANG Shi-hui1，2，ZHANG Yu-cheng1
(1．School of Information Science and Technology，Yanshan University，Qinhuangdao，Hebei 066004，China; 2．The Key Laboratory for Computer Virtual Technology and System Integration of Hebei Province，Qinhuangdao，Hebei 066004，China)

Abstract:How to determine camera＇s next best view based on current information is a challenging problem in visual field．A next best view approach was proposed based on the occlusion information of a single depth image．Firstly，to establish the model for occlusion region external surface，the quadrilateral meshes for occlusion region external surface were obtained according to the occlusion information of a depth image in initial view．Secondly，the model for next best view was constructed by considering both the visible quadrangle and the loss information in next view．Finally，the next best view was achieved by solving the model with gradient descent method．Compared with the existing methods，the proposed approach does not limit the camera position on a fixed surface or need the priori knowledge of visual object．Experimental results demonstrate its feasibility and effectiveness．

Key words:next best view; depth image; occlusion information; external surface of occlusion region; gradient descent method

作者簡(jiǎn)介

基金項(xiàng)目:國(guó)家自然科學(xué)基金(No．61379065) ;河北省自然科學(xué)基金(No．F2014203119)

收稿日期:2014-08-08;修回日期: 2014-11-21;責(zé)任編輯:馬蘭英

DOI:電子學(xué)報(bào)URL: http: / /www．ejournal．org．cn10．3969/j．issn．0372-2112．2016．02．028

中圖分類(lèi)號(hào):TP391

文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):0372-2112 (2016) 02-0445-08