賈小軍
(嘉興學(xué)院 數(shù)理與信息工程學(xué)院,浙江嘉興314001)
三維信息獲取技術(shù)是計(jì)算機(jī)視覺技術(shù)的一個(gè)重要分支,其主要任務(wù)是通過信息獲取方法和設(shè)備,將場景物面轉(zhuǎn)換成離散的三維信息.[1]根據(jù)獲取方式的不同,又分為接觸式和非接觸式兩種.非接觸式的光學(xué)獲取方法以其高效率、高準(zhǔn)確度和易于實(shí)現(xiàn)自動(dòng)化的特點(diǎn)成為其中的研究熱點(diǎn),通常又分為被動(dòng)式和主動(dòng)式兩大類.被動(dòng)式三維信息獲取技術(shù)直接從一個(gè)或多個(gè)攝像系統(tǒng)獲取的二維圖像中提取目標(biāo)的三維信息.主動(dòng)式光學(xué)通過向被測目標(biāo)投射特制光源,獲取目標(biāo)的精確定位測量信息,主要有飛行時(shí)間法、激光掃描法、相位法、光干涉法、結(jié)構(gòu)光法等.[2-3]結(jié)構(gòu)光法用光源代替立體視覺中的一臺(tái)攝像機(jī),投射一幅或幾幅由點(diǎn)、線或復(fù)雜結(jié)構(gòu)基元構(gòu)成的模式,由攝像機(jī)獲取變形的模式圖像,通過分析圖像中的畸變模式,利用三角原理,根據(jù)圖像解碼算法計(jì)算場景目標(biāo)的深度信息,有效解決了立體視覺法中的匹配難題.由于投射到場景的光線已被編碼,又稱為編碼結(jié)構(gòu)光,具有快速、高精度、高分辨率、低成本、大視場及實(shí)現(xiàn)容易等特點(diǎn),近年來得到了廣泛應(yīng)用.[4-7]可應(yīng)用于機(jī)器人導(dǎo)航、逆向工程、物體識(shí)別、工業(yè)自動(dòng)化、運(yùn)動(dòng)跟蹤、文化遺產(chǎn)保護(hù)和計(jì)算機(jī)輔助醫(yī)學(xué)等方面.[8-9]
結(jié)構(gòu)光法根據(jù)投射生成的檢測點(diǎn)多少可分為單點(diǎn)法、單線法和面結(jié)構(gòu)光法.單點(diǎn)法由投射器每次向待測物體表面投射一個(gè)點(diǎn).具有準(zhǔn)確度高、可靠性強(qiáng)的優(yōu)點(diǎn),但需要二維掃描且速度慢、裝置復(fù)雜,已不太適用;單線法每次向待測物表面投射一個(gè)條紋,精度較高,而且比單點(diǎn)法獲取速度及效率有所提高,為目前最為成熟的結(jié)構(gòu)光技術(shù);面結(jié)構(gòu)光法 (分為單幀和多幀模式)通過投射編碼圖案勿需掃描便可一次投射獲取視場中的全部數(shù)據(jù),優(yōu)點(diǎn)明顯,為目前結(jié)構(gòu)光三維獲取技術(shù)的研究熱點(diǎn).[10]單幀模式只向場景目標(biāo)投射一幅圖像,可用于動(dòng)態(tài)場景.
本文根據(jù)單幀編碼模式設(shè)計(jì)原理的不同,提出了一種新的分類方法,并分析了他們的技術(shù)特點(diǎn)和發(fā)展趨勢.基于單幀符號(hào)的結(jié)構(gòu)光模式因其幀數(shù)少、檢測點(diǎn)多、分辨率高等特點(diǎn)成為研究的熱點(diǎn).其中,M陣列編碼是單幀模式的典型,根據(jù)M陣列的特點(diǎn),設(shè)計(jì)了一種新穎的單幀符號(hào)黑白結(jié)構(gòu)光模式,應(yīng)用于目標(biāo)三維重建.重建目標(biāo)實(shí)驗(yàn)表明,利用制定的編碼結(jié)構(gòu)光模式,可以獲得物體較為光滑、完整的三維形廓,豐富、拓展了單幀結(jié)構(gòu)光技術(shù)的應(yīng)用.
圖1 結(jié)構(gòu)光系統(tǒng)檢測原理
面結(jié)構(gòu)光相對于點(diǎn)結(jié)構(gòu)光和單線結(jié)構(gòu)光具有明顯的優(yōu)勢,根據(jù)構(gòu)成投射模式圖案的不同,面結(jié)構(gòu)光可分為時(shí)間、直接和空間編碼方法.時(shí)間編碼的解碼速度慢,不適用于動(dòng)態(tài)環(huán)境.直接編碼的抗干擾小,但解碼定位準(zhǔn)確度低.空間編碼利用編碼圖像與所用編碼方式進(jìn)行匹配實(shí)現(xiàn)解碼,投射圖案少,解碼容易,測量速度快,適合于動(dòng)態(tài)場景.編碼光技術(shù)逐漸向投射圖像少,追求最短檢測時(shí)間及實(shí)時(shí)動(dòng)態(tài)獲取方向,無疑空間編碼的單幀結(jié)構(gòu)光獲取方法是目前的研究熱點(diǎn)和重點(diǎn).圖1顯示了單幀彩色網(wǎng)格結(jié)構(gòu)光系統(tǒng)的檢測原理,用一種彩色編碼網(wǎng)格投射到場景,其畸變模式被CCD獲取.
目前,對于面結(jié)構(gòu)光應(yīng)用非常廣泛,但對于其分類方法的研究還顯不足.上述3種分類方法是根據(jù)碼字分布、連續(xù)情況、模式數(shù)量、彩色有無等特征來劃分的,模式相互之間有交叉,未能反映出不同模式之間的生成機(jī)理.通過對投射的單幀面結(jié)構(gòu)光模式進(jìn)行研究,可以從生成模式的機(jī)理方面對這種結(jié)構(gòu)的光模式重新進(jìn)行分類,從中探索該種結(jié)構(gòu)光模式的發(fā)展方向.這種分類方法使這種模式更加簡單、直觀、生成原理更加清晰,方便大家熟悉及選擇.根據(jù)模式生成方法的不同,基于單幀模式的結(jié)構(gòu)光技術(shù)主要分為5類.
偽隨機(jī)序列或De Br uij n序列具有良好的可確定性和重復(fù)性,而且具有良好的窗口特性.即一定長度的子序列在總序列中具有唯一性.假設(shè)構(gòu)成序列的基本元素有n個(gè),為了保證每一個(gè)長度為m的子序列在序列中僅出現(xiàn)一次,則該序列可能的最大長度為nm(偽隨機(jī)序列長為nm-1).只要在一維空域范圍內(nèi)取出子序列組成元素的屬性及其排列順序,即可確定其在總序列中的位置.根據(jù)這個(gè)性質(zhì),可以生成基于偽隨機(jī)序列或De Bruij n序列的單幀編碼模式.Zhang提出了一種基于De Br uij n的彩色編碼條紋模式,條紋數(shù)為125,使用了8種不同的顏色,子窗口尺寸為3,其編碼圖案如圖2(a).[11]Pagès生成了一種由128個(gè)條紋構(gòu)成的彩色條紋,子窗體為3,在RGB色彩空間及亮度空間特征明顯,其編碼圖案如圖2(b).[12]另外,一些研究者還提出了其他的基于偽隨機(jī)序列或De Br uijn序列的編碼模式,其編碼圖案如圖2(c).[13]
圖2 基于偽隨機(jī)序列或De Br uijn序列的結(jié)構(gòu)光編碼模式
陣列是偽隨機(jī)序列或De Br uij n序列方式的二維擴(kuò)展,在結(jié)構(gòu)光編碼模式中,常用偽隨機(jī)陣列或M陣列進(jìn)行構(gòu)造,這些陣列具有子窗體特性.假設(shè)陣列是由k個(gè)基本元素構(gòu)成的尺寸為r×v的矩陣,該矩陣具有子窗體特性,即每一個(gè)m×n(m≤r,n≤v)的子矩陣在整個(gè)陣列中具有唯一性,那么該矩陣就稱為偽隨機(jī)陣列或M陣列,或者完美映射.如果能正確提取子窗體中元素的排列特性就能獲取其位置編碼,并且全局唯一,可用各種便于識(shí)別的基本元素.例如,不同顏色的細(xì)線、方格、圓點(diǎn)或自制的簡單幾何形狀等,構(gòu)建偽隨機(jī)陣列或M陣列,形成空域編碼圖案.該種基于窗口特性的空域編碼方法通常都只需投影單幅圖案,滿足動(dòng)態(tài)場景的需求.Salvi等提出一種由彩色細(xì)線構(gòu)成的編碼網(wǎng)格模式,水平線和垂直線分別由3種顏色按De Br uijn序列生成,子窗口為3,共29×29條網(wǎng)格線,如圖3(a).[4]Chen等設(shè)計(jì)了一種由彩色矩形構(gòu)成的編碼模式如圖3(b)[14]Maurice等使用四個(gè)楔形形狀構(gòu)成一個(gè)大小為100×100的偽隨機(jī)陣列模式,陣列具有3×3的子窗體,符號(hào)間的海明間距最小為3個(gè)像素,如圖3(c).[15]
圖3 基于偽隨機(jī)陣列或M-arrays陣列的結(jié)構(gòu)光編碼模式
將有一定相位差的多幅柵線圖合成一幅光柵圖案,投射到待測物體表面,光柵圖像受到物面高度的調(diào)制而發(fā)生畸變,通過解調(diào)出包含深度信息的相位變化,借助三角原理完成相位與深度信息之間的轉(zhuǎn)換.這種編碼方式只需一幀光柵圖案就能夠重建待測物體表面的三維信息,可用于動(dòng)態(tài)目標(biāo),精度較高.文獻(xiàn) [16]和 [17]將幾幅 (分別三幅和二幅)具有固定相位差的柵線圖在與相位變化垂直的方向上,分別用不同頻率的黑白條紋圖案進(jìn)行信號(hào)調(diào)制,融合成單幅復(fù)雜編碼圖案,如圖4所示.采用濾波算法從合成的光柵圖像中解調(diào)分離出各個(gè)柵線圖,再通過相移法解相.光柵合成編碼方式雖然精度較高,但操作性較低,光柵解碼復(fù)雜,處理時(shí)間長,不適合實(shí)時(shí)環(huán)境的情況.
直接空間編碼方法也是向待測物體表面投射一幅編碼圖案,但圖案中每個(gè)像素的編碼可直接定義.在彩色直接空間編碼中可用色彩值代表任意一個(gè)像素的碼值,為了提高采樣密度需要應(yīng)用大量的顏色值,這會(huì)增加大量噪聲.同時(shí),彩色圖像不僅依賴投射設(shè)備,還受到待測物體色彩干擾.Taji ma等提出了一種向被測物體表面投射彩虹編碼圖案的方法,該圖案由白光穿過一個(gè)晶體棱鏡來實(shí)現(xiàn).[18]
圖4 光柵合成編碼模式
圖5 其他單幀空間編碼模式
Tho mas等提出了一種單幀空間編碼模式,由豎直的黑白條紋加上傾斜的彩色條紋組成.黑白條紋與彩色條紋相交點(diǎn)構(gòu)成特征點(diǎn),用于匹配,作者還提出了一種自適應(yīng)匹配方法來提高匹配準(zhǔn)確度,如圖5(a)所示.[19]Mario提出一種陣列的單幀模式.生成的陣列由5個(gè)字母組成,分別為A、B、C、D和E.以字母A為中心,其余4個(gè)字母組合形成一個(gè)3×3的子陣列構(gòu)成整個(gè)符號(hào)陣列,陣列尺寸為54×36,共18×12個(gè)子陣列.利用每個(gè)模式符號(hào) (3×3子陣列)的全局唯一性進(jìn)行定位及解碼,符號(hào)的拐角成為三維信息的檢測點(diǎn),如圖5(b)所示.[20]Xu設(shè)計(jì)了一種單幀模式,由X形狀的符號(hào)構(gòu)成,其方向及形狀變化組成了四個(gè)符號(hào),符號(hào)的交叉點(diǎn)作為檢測點(diǎn),如圖5(c)所示.[21]國內(nèi)關(guān)于單幀面結(jié)構(gòu)光編碼三維信息獲取技術(shù)的研究主要集中在高等院校,包括北京航空航天大學(xué)、天津大學(xué)、哈爾濱理工大學(xué)、清華大學(xué)等多所大學(xué)的研究小組.北京航空航天大學(xué)的張廣軍、周富強(qiáng)、魏振忠等集中研究了多條紋彩色編碼結(jié)構(gòu)光模式的檢測技術(shù)及圓結(jié)構(gòu)光模式的檢測方法,對光條紋中心或邊界檢測方法進(jìn)行了深入的研究,并對結(jié)構(gòu)光系統(tǒng)及系統(tǒng)標(biāo)定方法作了全面、細(xì)致、深入的探索和研究,在他們發(fā)表的一系列研究論文中進(jìn)行了詳細(xì)地介紹.[22-24]研究成果可應(yīng)用于細(xì)小物件的質(zhì)量檢測、物件內(nèi)側(cè)壁的重構(gòu)以及昆蟲仿生.天津大學(xué)葉聲華院士領(lǐng)導(dǎo)的研究團(tuán)隊(duì)對彩色條紋結(jié)構(gòu)光的原理,系統(tǒng)標(biāo)定方法及應(yīng)用也作了深入的研究,取得了大量的研究成果.[25]哈爾濱理工大學(xué)的于曉洋、吳海濱等對彩色條紋結(jié)構(gòu)光的光條檢測技術(shù)提出了新的檢測方法,提高了檢測精度.[26]中國海洋大學(xué)的解則曉研究了水下線結(jié)構(gòu)光的應(yīng)用,為結(jié)構(gòu)光檢測技術(shù)提供了新的應(yīng)用領(lǐng)域.[27]清華大學(xué)韋爭亮等研究了單幅彩色條紋編碼光技術(shù),將6色3次偽隨機(jī)條紋序列的色彩信息溶入亮度呈余弦周期變化的數(shù)字柵線圖中,構(gòu)成彩色柵線空域編碼圖案,在單幅圖案內(nèi)實(shí)現(xiàn)了高分辨率的像素級(jí)唯一編碼,可用于動(dòng)態(tài)場景中的物體三維重建.[28]
編碼結(jié)構(gòu)光檢測技術(shù)的效率取決于模式的設(shè)計(jì),它對于解碼的分辨率、速度起著決定性的作用.M陣列編碼模式是單幀結(jié)構(gòu)光模式設(shè)計(jì)中的典型,根據(jù)M陣列生成原理,結(jié)合模式設(shè)計(jì)原則,我們設(shè)計(jì)了一個(gè)基于M陣列的單幀黑白符號(hào)編碼模式,作為單幀符號(hào)結(jié)構(gòu)光模式的典型應(yīng)用.[29]其模式基元由一個(gè)個(gè)具有特定檢測點(diǎn)的符號(hào)構(gòu)成,每個(gè)符號(hào)包含6個(gè)檢測點(diǎn),由符號(hào)輪廓的交叉點(diǎn)構(gòu)成.整個(gè)模式大小為39×29個(gè)基元,子窗體尺寸為2×2,如圖6所示.
圖6 子窗體為2×2的39×29符號(hào)陣結(jié)構(gòu)光模式
為了驗(yàn)證設(shè)計(jì)的單幀編碼結(jié)構(gòu)光模式的可行性,搭建了結(jié)構(gòu)光檢測系統(tǒng),由EPSON EMP-821 LED投影儀和Cool SNAP cf CCD攝像機(jī)組成結(jié)構(gòu)光測量系統(tǒng),其中攝像機(jī)和投影儀的分辨率分別為1 040×1 392 pixel(像素尺寸為4.65μm×4.65μm)和1 024×768,系統(tǒng)參數(shù)及標(biāo)定方法見文獻(xiàn) [29-30].測量距離在2 000 mm內(nèi),測量范圍為50 c m×40 c m×30 c m.利用搭建的系統(tǒng),由投影儀向場景目標(biāo)投射結(jié)構(gòu)光模式,由CCD抓拍圖像,然后對采集的圖像進(jìn)行解碼處理,并在Borland C++Builder 6.0平臺(tái)下進(jìn)行了測試.檢測對象為石膏頭像及嘴唇,如圖7 A1、B1所示,具有復(fù)雜自由表面的物體,其幾何尺寸范圍小于300 mm×160 mm×150 mm.它的特點(diǎn)是表面多為復(fù)雜無規(guī)則的曲面構(gòu)成,含有大量的紋理細(xì)節(jié),三維信息獲取過程中容易受到紋理干擾.因此,在物體條紋圖像中含有局部不連續(xù)區(qū)域和暗背景等.圖7 A2、B2為獲取的畸變模式圖像,圖7 A3、B3為提取的三維點(diǎn)云數(shù)據(jù).
從實(shí)驗(yàn)結(jié)果分析可以發(fā)現(xiàn),由于受符號(hào)陣模式檢測點(diǎn)分辨率低的影響,頭像的紋理細(xì)節(jié)信息有些丟失,眉部細(xì)節(jié)信息丟失,眼部只有大致輪廓,下巴輪廓不明顯.但整體三維形廓還保持良好.嘴唇部分由于表面光滑連續(xù),重建效果較為理想.
圖7 頭像及嘴唇三維信息獲取及重建實(shí)驗(yàn)
基于單幀結(jié)構(gòu)的編碼結(jié)構(gòu)光檢測技術(shù)近年來得到了快速發(fā)展,并應(yīng)用于多個(gè)領(lǐng)域.本文對現(xiàn)有的單幀結(jié)構(gòu)光編碼技術(shù)進(jìn)行了重新分類,并闡述了單幀結(jié)構(gòu)光的發(fā)展趨勢.今后,結(jié)構(gòu)光的發(fā)展趨勢為:設(shè)計(jì)的模式能夠應(yīng)用于動(dòng)態(tài)場景、模式單一、幀數(shù)少、檢測點(diǎn)足夠多、受環(huán)境光影響少且解碼迅速,無疑,M陣列編碼模式具備這方面的優(yōu)勢.根據(jù)模式設(shè)計(jì)原則及單幀結(jié)構(gòu)光模式的生成原則,設(shè)計(jì)一種基于符號(hào)M陣列的子窗體為2×2的黑白單幀結(jié)構(gòu)光模式,將其應(yīng)用于目標(biāo)檢測環(huán)境,可以重建光滑、清晰的目標(biāo)對象.但目前該模式的檢測點(diǎn)不夠多,以致重建目標(biāo)分辨率較低,今后將研究構(gòu)建足夠多檢測點(diǎn)的符號(hào)M陣列模式,以改善重建質(zhì)量.
[1]LEOPOLD J,GUNT HER H,LEOPOLD R.New develop ments in fast 3 D-surface quality contr ol[J].Measurement,2003,33(2):179-187.
[2]CHEN F,BROWN G M,SONG M.Overview of three-di mensional shape measurement using optical methods.Opt.Eng.2000,39(1):10-22.
[3]BLAIS F.Review of 20 years of range sensor develop ment[J].J.Electr on Imaging 2004,13(1),231-243.
[4]SALVI J,FERNANDEZ S,PRIBANIC T,et al.A state of the art in str uctured light patter ns f or surface profilo metr y[J].Patter n Recogn.2010(43):2666-2680.
[5]霍金城,吳慶陽,曾祥軍,鄧麗.部分編碼結(jié)構(gòu)光三維測量技術(shù)的研究.光電工程,2012,39(5):57-62
[6]RIBO M,BRANDNER M.State of t he art on vision-based str uctured light syste ms f or 3d measure ments[C].In IEEE Inter national Wor kshop on Robotic and Sensors Environ ments Ottawa,Canada,2005,2-6.
[7]YOUNG M,BEESON E,DAVIS J,et al.Viewpoint-Coded structured light[C].IEEE Conf.on Comp,Vision and Patter n Recognition(CVPR),2007.
[8]MCPHERRON S P,GERNAT T,HUBLINJJ.Structured light scanning f or high-resolution docu mentation of in situ archaeological finds[J].J.Archaeol.Sci.2009(36):19-24.
[9]NIVEN L,STEELE T E,FINKE H,et al.Virt ual skelet ons:using a str uctured light scanner to create a 3 Dfaunal co mparative collection[J].J.Archaeol.Sci.2009(36):2018-2023.
[10]FERNANDEZ S,SALVI J.One-shot absolute pattern f or dense reconstr uction using De Br uijn coding and Windowed Fourier Transfor m.Optics Co mmunications,2013(291):70-78.
[11]ZHANG L,CURLESS B,SEITZ S M.Rapid shape acquisition using color structured light and multi-pass dynamic programming[C].In:International Sy mposiu m on 3D Data Processing Visualization and Transmission,Padova,Italy,2002:24-36.
[12]PAGE’SJ,SALVI J,COLLEWETB C,et al.Opti mised De Bruijn patterns f or one-shot shape acquisition[J].Image Vision Co mput.2005(23):707-720.
[13]HU Z Z,GUAN Q,LIU S,et al.Robust 3D Shape Reconstruction fro m a Single Image Based on Color Str uctured Light[C].In:Inter national Conference on Artificial Intelligence and Co mputational Intelligence,2009:168-172.
[14]CHEN S Y,LI Y F,ZHANG J W.Vision pr ocessing f or realti me 3-d data acquisition based on coded str uctured light[J].IEEE T.Image Process.2008,17(2):167-176.
[15]Maurice X,Graebling P,Doignon C.Real-ti me str uct ured light coding f or adaptive patter ns[J].J.Real-Ti me Image Proc.2011(3):1-10.
[16]HE Y H,CAO Y P.A composite-structured-light 3D measurement method based on fringe parameter calibration[J].Opt.Lasers in Eng.2011(49):773-779.
[17]YUE H M,SU X Y,LIU Y Z.Fourier transf or m profilo metry based on composite structured light pattern[J].Opt.Laser Technol.2007(39):1170-1175.
[18]TAJI MA J,I WAKA WA M.3-D data acquisition by rainbow range finder[C].In:Inter national Conference on Patter n Recognition,1990(12):309-313.
[19]THOMAS K P,GOOL L V.Real-ti me range acquisition by adaptive str uct ured light[J].IEEE T.Patter n Anal.2006,28(3):432-445.
[20]MARIO L R,ANTONIO T G.A low-cost 3D reconstr uction syste m using a single-shot pr ojection of a patter n matrix[J].Photogra m.Rec.2011,26(113):91-110.
[21]XU J,XI N,ZHANG C,et al.Real-ti me 3D shape inspection system of automotive parts based on structured light patter n[J]Opt.Laser Technol.2011(43):1-8.
[22]張廣軍,賀俊吉.基于圓結(jié)構(gòu)光的內(nèi)表面三維視覺檢測模型 [J].儀器儀表學(xué)報(bào),2004,25(4):481-484.
[23]周富強(qiáng),陳強(qiáng),張廣軍.結(jié)構(gòu)光光條提取的混合圖像處理方法 [J].光電子·激光,2008,19(11):1534-1537.
[24]WEI Z Z,CAO L J,ZHANG G J.A novel 1Dtarget-based calibration met hod wit h unknown orientation f or str uctured light vision sensor[J].Opt.Laser Technol.2010(42):570-574.
[25]任永杰,鄭繼貴,楊學(xué)友,等.機(jī)器人柔性視覺檢測系統(tǒng)現(xiàn)場標(biāo)定技術(shù) [J].機(jī)器人,2009,31(1):82-87.
[26]于曉洋,關(guān)叢榮,曹沈楠,等.彩色編碼結(jié)構(gòu)光條紋邊緣亞像素檢測研究 [J].光電子·激光,2010,21(5):714-717.
[27]解則曉,李緒勇.辛少輝,等.水下線結(jié)構(gòu)光自掃描三維測量技術(shù) [J].中國激光,2010,37(8):2010-2014.
[28]韋爭亮,鐘約先,袁朝龍.彩色柵線動(dòng)態(tài)三維測量中自適應(yīng)相關(guān)匹配技術(shù) [J].光學(xué)學(xué)報(bào),2009,29(4):949-954.
[29]JIA X J,ZHANG Z J,CAO F,et al.Model and error analysis for coded structured light measurement system[J].Optical Engineering 2010,49(12),123603:1-9.
[30]賈小軍,張之江,曹芳,等.編碼結(jié)構(gòu)光系統(tǒng)的模型及誤差分析 [J].光學(xué)·精密工程,2011,19(4):717-727.