基于多特征的實(shí)時(shí)立體視覺檢測方法

劉 博，陳 劍，周 平，譚治英

（中國科學(xué)院 合肥物質(zhì)科學(xué)研究院 先進(jìn)制造技術(shù)研究所，江蘇 常州213164）

0 引 言

當(dāng)前機(jī)器人、智能移動(dòng)平臺已經(jīng)取得了較好的發(fā)展和應(yīng)用，但是在一些需要精密裝配和微細(xì)操作的稍高技術(shù)場合的應(yīng)用中卻遇到了很大的障礙，尤其在一些工序復(fù)雜，檢測精度要求高，工作效率很高的場合，傳統(tǒng)機(jī)器人、智能移動(dòng)設(shè)備幾乎不可用或是很難應(yīng)用，或是成本代價(jià)很高［1，2］。為解決上述問題，需要解決的關(guān)鍵技術(shù)就是滿足實(shí)時(shí)性的高精度立體視覺檢測。近年來，在機(jī)器人導(dǎo)航、車輛自動(dòng)駕駛及基于視覺導(dǎo)航的移動(dòng)平臺等領(lǐng)域，國外對于立體視覺檢測技術(shù)開展了大量研究工作，但大部分研究工作集中在道路、室外等大場景下目標(biāo)感興趣區(qū)域的識別［3，4］或者場景分割［5，6］。國內(nèi)學(xué)者在立體視覺檢測領(lǐng)域也開展了大量研究工作，目前已經(jīng)取得了一系列的研究成果。有學(xué)者提出一種頻率域和空間域相結(jié)合的方法進(jìn)行3D 特征匹配［7］；有學(xué)者在三維重建技術(shù)研究中，提出了一種通過硬件的并行計(jì)算解決3D 場景重建中的大規(guī)模數(shù)據(jù)處理的方法［8］；吳曉軍等提出一種基于可見外殼與多視圖三維點(diǎn)云有機(jī)融合的多視圖立體三維重建孔洞修復(fù)算法，用于增加三維重建算法的魯棒性［9］；李懷澤等提出了一種基于旋轉(zhuǎn)多視角的立體視覺圖像特征匹配方法［10］；劉海濤等提出了一種基于流形學(xué)習(xí)的三維步態(tài)識別方法［11］。

然而，上述國內(nèi)外研究中所提到的方法，多側(cè)重于目標(biāo)識別準(zhǔn)確率提升方面的研究，使立體視覺檢測能夠達(dá)高精度，并能同時(shí)滿足實(shí)時(shí)性要求的方法還比較少。本文通過使用兩個(gè)低分辨率的雙目立視覺相機(jī)獲取目標(biāo)在立體視覺下的圖像，使用Harris進(jìn)行角點(diǎn)特征提取時(shí)融合激光器特征，增加特征提取準(zhǔn)確率，并采用基于圖像輪廓方向向量的圖像金字塔特征結(jié)合線激光特征的方法進(jìn)行目標(biāo)初步檢測，然后結(jié)合立體視覺圖像特征及激光位移傳感器所提供的精確位移信息，控制高分辨率單目相機(jī)結(jié)合感興趣區(qū)域的元件圖像先驗(yàn)知識特征進(jìn)行精確檢測。通過分析多種不同的視覺、激光傳感器的特征信息特點(diǎn)，提出了一種基于多特征的實(shí)時(shí)立體視覺檢測方法，從而在保證較小時(shí)耗的情況下實(shí)現(xiàn)了立體視覺系統(tǒng)的精確檢測。最后通過實(shí)驗(yàn)分析了該方法的可行性。

1 基于雙目視覺及激光特征的粗略檢測

基于立體視覺的檢測主要包括場景3D 坐標(biāo)云數(shù)據(jù)的獲得以及場景的檢測兩部分，通過場景檢測獲取目標(biāo)的圖像位置信息，結(jié)合場景的3D 坐標(biāo)云數(shù)據(jù)從而實(shí)現(xiàn)目標(biāo)在3D空間中的立體檢測。本文在檢測算法不同的階段采用了相應(yīng)的特征融合方法，從而使最終的檢測算法同時(shí)滿足較小的時(shí)耗性和較高的檢測精度。

1.1 雙目立體視覺3D云數(shù)據(jù)的獲取

雙目立體視覺3D 信息獲取是基于視差原理［12］，如圖1和式 （1）所示。

圖1 雙目立體成像原理

式中：ZC——物體表面特征點(diǎn)到左、右攝像機(jī)光心平面的垂直距離；（Xw，Yw，Zw）——特征點(diǎn)的世界坐標(biāo)系坐標(biāo)；（U0，V0）——圖像中心的像素坐標(biāo)；（U，V）——被測點(diǎn)的圖像坐標(biāo)系坐標(biāo)；dx、dy——在水平和垂直方向上相鄰像素之間的物理距離；R——一個(gè)3＊3 的旋轉(zhuǎn)矩陣；T——一個(gè)平移向量。

雙目立體視覺3D 云數(shù)據(jù)獲取過程如圖2所示。

圖2 雙目立體視覺3D 云數(shù)據(jù)獲取流程

本文采用了一種融合了激光器特征的Harris角點(diǎn)檢測算法進(jìn)行特征提取，其中Harris角點(diǎn)提取實(shí)現(xiàn)原理如下［13］

式中：Ex，y——窗口 內(nèi) 的 灰 度 變 化 度 量；wx，y——窗 口 函數(shù)，一般定義為wx，y＝e（x2＋y2）／σ2；I——圖像灰度函數(shù)。可見角點(diǎn)的獲取主要是通過窗口內(nèi)的灰度值變化獲得，而像素灰度值容易受到外界環(huán)境變化的影響，從而影響角點(diǎn)特征提取的準(zhǔn)確性。考慮到進(jìn)行相機(jī)標(biāo)定特征提取時(shí)，標(biāo)定板的圖像區(qū)域是黑白相間的網(wǎng)格圖，如圖3所示。

圖3 雙目立體視覺系統(tǒng)平臺及相機(jī)標(biāo)定設(shè)備

本文采取的方法是控制點(diǎn)激光器在標(biāo)定板上成像，其中激光器成像在圖像中有如下顯著特征：在顏色特征方面，激光器在圖像中的產(chǎn)生的標(biāo)志點(diǎn)對于函數(shù)

有較強(qiáng)響應(yīng) （其中，R、G、B 分別為圖像中的顏色分量）。再結(jié)合激光標(biāo)志點(diǎn)的形狀特征，從而能夠獲取激光標(biāo)志點(diǎn)在圖像中位置。統(tǒng)計(jì)以標(biāo)志點(diǎn)為中心的矩形框內(nèi)的灰度直方圖信息，如圖4所示。

圖4 基于激光器特征的直方圖統(tǒng)計(jì)模型

由于標(biāo)定板的網(wǎng)格特性，矩形框被分為多個(gè) （圖4 模型中為P1－P4這4個(gè)）黑白區(qū)域，進(jìn)行區(qū)域內(nèi)的直方圖統(tǒng)計(jì)，則統(tǒng)計(jì)特性會(huì)出現(xiàn)兩個(gè)明顯的峰值，分別對應(yīng)灰度值Imin和Imax，利用上述灰度值取Imin＋μ，Imax－μ為閾值將圖像進(jìn)行分段二值化后再代入式 （2）進(jìn)行角點(diǎn)檢測，從而增加了顏色特征明顯的像素權(quán)重，從而抑制了灰度變化的過渡區(qū)域像素對于角點(diǎn)位置的影響，提高角點(diǎn)檢測的準(zhǔn)確性。

經(jīng)過相機(jī)標(biāo)定后就可以獲得相機(jī)的內(nèi)參以及兩個(gè)攝像機(jī)之間的相對位姿關(guān)系，代入式 （1）便可得到場景的3D云數(shù)據(jù)。

1.2 3D目標(biāo)的識別

考慮到在一般場合下待識別的元件與背景之間存在比較明顯的輪廓特征，所以本文采用了一種基于輪廓方向向量的圖像金字塔特征結(jié)合線激光特征的方法進(jìn)行3D 目標(biāo)識別。

在目標(biāo)模板創(chuàng)建和檢測過程中，首先使用圖像預(yù)處理及雙邊濾波的方法獲取模板點(diǎn)與帶匹配點(diǎn)的邊緣方向向量，然后計(jì)算模板中所有點(diǎn)的歸一化方向向量和搜索圖像相應(yīng)區(qū)域的歸一化方向向量的點(diǎn)積的總和，并以此作為匹配度量值，計(jì)算公式如下所示

其中，d′＝ （ti，ui）T，ex，y＝ （vx，y，wx，y）T分別為模板和搜索區(qū)域所對應(yīng)的方向向量，為匹配度量值。方法中使用了歸一化處理，從而很大程度上減小線性的光照變化等外界干擾因素。

傳統(tǒng)的圖像金字塔是將圖像與模板多次縮小2倍建立起來的數(shù)據(jù)結(jié)構(gòu)，如圖5所示。首先在圖像金字塔最高層上搜索，得到模板的所有實(shí)例都將追蹤到圖像金子塔的最底層［14］。

圖5 圖像金字塔數(shù)據(jù)結(jié)構(gòu)

雖然這種做法對于較大模板的搜索區(qū)域非常小，跟蹤匹配到金字塔最底層能夠大大減小耗時(shí)，但對于金字塔頂層搜索時(shí)由于分辨率較低，誤匹配率較高，如果所有的誤匹配都跟蹤到金字塔的最底層，對于匹配耗時(shí)和準(zhǔn)確率都會(huì)產(chǎn)生不利影響。本文采用了圖像金字塔特征與線激光特征相結(jié)合的方法，同樣首先在圖像金字塔的最高層進(jìn)行搜索，一旦搜索到候選區(qū)域，則啟動(dòng)線掃描激光特征檢測，如圖6所示。

圖6 圖像金字塔搜索過程

上述A、B、C這3個(gè)候選區(qū)域包含兩個(gè)誤檢測區(qū)域，通過線激光的特征運(yùn)用形態(tài)學(xué)處理，可以排除誤檢測區(qū)域，如圖7，圖8所示。

圖7 線激光特征檢測平臺

根據(jù)線激光在物體表面形狀特征的變化，運(yùn)用形態(tài)學(xué)等圖像處理算法可以實(shí)現(xiàn)對于候選區(qū)域的檢測，從而為后續(xù)模板檢測提供更精確的候選區(qū)域及降低時(shí)耗性，3D 目標(biāo)檢測結(jié)果如圖9所示。

圖8 線激光特征檢測結(jié)果

圖9 雙目立體視覺的3D 目標(biāo)檢測

其中，“Image＿Left”、“Image＿Right”分別為雙目立體視覺系統(tǒng)中左、右兩相機(jī)采集到的圖像，”Image＿Result”為在深度信息圖中的3D 目標(biāo)檢測結(jié)果，“參數(shù)信息”中為感知過程中的參數(shù)信息及場景目標(biāo)的最終坐標(biāo)信息（以左相機(jī)的相機(jī)坐標(biāo)系原點(diǎn)作為世界坐標(biāo)系的原點(diǎn)）。

2 基于感興趣區(qū)域的精確檢測

本文使用的機(jī)器人機(jī)械控制平臺如圖10所示。

機(jī)器人控制系統(tǒng)按照粗略檢測信息將固定在機(jī)器人手臂上的高分辨率單目相機(jī)移動(dòng)到場景目標(biāo)感興趣區(qū)域的預(yù)設(shè)相對位置處，通過激光位移傳感器提供的位移信息，從而實(shí)現(xiàn)目標(biāo)的精確檢測。

通過目標(biāo)的粗略檢測，可以獲取目標(biāo)檢測元件相對小范圍的感興趣區(qū)，感興趣區(qū)域形狀結(jié)構(gòu)比較單一，所以使用單目相機(jī)進(jìn)行感興趣區(qū)域檢測時(shí)，根據(jù)元件形狀的先驗(yàn)知識采用針對規(guī)則圖形的特征檢測算法，從而減小整個(gè)過程的時(shí)耗，例如針對前面圖9中的3D 檢測目標(biāo)，其左側(cè)部位有一個(gè)形狀規(guī)則的元件孔，本文采用了根據(jù)元件先驗(yàn)知識限定參數(shù)區(qū)間的Hough圓檢測方法進(jìn)行感興趣區(qū)域的檢測，從而提高Hough圓檢測算法精度并減少耗時(shí)。

圖10 雙臂機(jī)器人機(jī)械控制平臺

3 實(shí)驗(yàn)及結(jié)果分析

進(jìn)行目標(biāo)初步檢測的雙目立體視覺系統(tǒng)使用兩個(gè)德國AVT 公司Prosilica GC660工業(yè)相機(jī)組成，相機(jī)的分辨率為659×493，幀率119fps，像元尺寸5.6μm。鏡頭采用日本KOWA 工 業(yè) 千 萬 分 辨 率 高 清 鏡 頭LM12JC10M：2／3″12mm／F1.8，10Megapixel。感興趣區(qū)域精確感知的單目相機(jī)使用的是德國AVT 公司Prosilica GC2450工業(yè)相機(jī)，相機(jī)分辨率為2448×2050，幀率15fps，像元尺寸3.45μm。鏡頭使用日本 KOWA 工業(yè)千萬分辨率高清鏡頭LM50JC10M：2／3″50mm／F2.8，10Megapixel。機(jī)器人手臂末端的激光位移傳感器采用是德國SICK OD5－350W100：解析度5μm，測量范圍：350±100mm，重復(fù)精度：15 μm。實(shí)驗(yàn)使用的工控機(jī)是研華IPC－610：Intel（R）Core i7 2600CPU，4G／500G，2千兆網(wǎng)口 （單目相機(jī)使用千兆網(wǎng)卡進(jìn)行圖像采集）。軟件開發(fā)環(huán)境使用VS2010。

首先采用本文提出的融合了激光器特征的Harris角點(diǎn)檢測算法進(jìn)行相機(jī)參數(shù)標(biāo)定，根據(jù)標(biāo)定參數(shù)使用圖像金字塔特征與線激光特征相結(jié)合的方法進(jìn)行目標(biāo)的快速粗略檢測，根據(jù)檢測信息及激光位移傳感器提供的位移信息和元件的先驗(yàn)知識，通過感興趣區(qū)域的檢測從而實(shí)現(xiàn)對于待檢測元件的實(shí)時(shí)精確檢測。最后，與傳統(tǒng)的雙目相機(jī)與單目相機(jī)組合的立體檢測方法進(jìn)行實(shí)驗(yàn)對比，驗(yàn)證了本方法在檢測精度及時(shí)耗性方面都有較大的優(yōu)勢。實(shí)驗(yàn)采用NDI Optotrak Certus動(dòng)作捕捉系統(tǒng)進(jìn)行檢測目標(biāo)的實(shí)際位姿測量，該系統(tǒng)的分辨率可以達(dá)到0.01 mm。系統(tǒng)的時(shí)耗情況通過計(jì)算軟件代碼運(yùn)行的時(shí)鐘周期數(shù)獲得。

立體視覺目標(biāo)檢測精度及時(shí)耗見表1。

表1 立體視覺目標(biāo)檢測精度及時(shí)耗

4 結(jié)束語

本文通過分析多種不同的視覺、激光傳感器的特征信息，在立體目標(biāo)檢測算法中進(jìn)行多特征信息的融合，首先在Harris角點(diǎn)特征提取時(shí)融合了激光傳感器特征，提高了角點(diǎn)檢測的精確度，然后使用基于圖像輪廓方向向量的圖像金字塔特征結(jié)合激光線成像特征的方法進(jìn)行目標(biāo)粗略檢測，最后通過激光位移傳感器提供位移信息結(jié)合元件感興趣區(qū)域的先驗(yàn)知識特征控制高分辨率的單目相機(jī)實(shí)現(xiàn)立體目標(biāo)的高精度實(shí)時(shí)檢測。實(shí)驗(yàn)結(jié)果表明，所提出的方法具有較高的計(jì)算效率和準(zhǔn)確性，能夠?qū)崿F(xiàn)較為理想的實(shí)時(shí)立體視覺檢測。

［1］Flores－Abad A，Ma O，Pham K，et al.A review of space robotics technologies for on－orbit servicing ［J］.Progress in Aerospace Sciences，2014，68：1－26.

［2］Peng J，Xu W，Wang Z，et al.Dynamic analysis of the compounded system formed by dual－arm space robot and the captured target［C］／／IEEE International Conference on Robotics and Biomimetics，2013：1532－1537.

［3］Zhang Y，Song S，Tan P，et al.PanoContext：A whole－room 3Dcontext model for panoramic scene understanding ［G］.LNCS 8694：Springer International Publishing Computer Vision－ECCV，2014：668－686.

［4］Wojek C，Roth S，Schindler K，et al.Monocular 3dscene modeling and inference：Understanding multi－object traffic scenes［G］.LNCS 6314：Computer Vision－ECCV.Springer Berlin Heidelberg，2010：467－481.

［5］Ess A，Mueller T，Grabner H，et al.Segmentation－based urban traffic scene understanding ［C］／／Proceedings British Machine Vision Conference，2009.

［6］Gupta S，Girshick R，Arbelaez P，et al.Learning rich features from RGB－D images for object detection and segmentation［G］.LNCS 8695：Computer Vision－ECCV.Springer Interna－tional Publishing，2014：345－360.

［7］Zhao Z S，F(xiàn)eng X，Teng S H，et al.Multiscale point correspondence using feature distribution and frequency domain alignment［J］.Mathematical Problems in Engineering，2012，17（2）：632－646.

［8］Liu X，Gao W，Hu Z Y.Hybrid parallel bundle adjustment for 3Dscene reconstruction with massive points［J］.Journal of Computer Science and Technology，2012，27 （6）：1269－1280.

［9］WU Xiaojun，WEN Fei，WEN Peizhi.Hole－filling algorithm in multi－view stereo reconstruction ［J］.Journal of Computer－Aided Design ＆ Computer Graphics，2013，24 （12）：1606－1613 （in Chinese）. ［吳曉軍，文飛，溫佩芝.多視圖立體三維重建中的孔洞修復(fù)算法 ［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，24 （12）：1606－1613.］

［10］LI Huaize，SHEN Huiliang，CHENG Yue.3Dreconstruction method based on turntable multiple－view registration ［J］.Journal of Computer Applications，2013，32 （12）：3365－3368 （in Chinese）.［李懷澤，沈會(huì)良，程岳.基于旋轉(zhuǎn)多視角深度配準(zhǔn)的三維重建方法 ［J］.計(jì)算機(jī)應(yīng)用，2013，32（12）：3365－3368.］

［11］LIU Haitao，WANG Zengfu，CAO Yang.3D robust gait recognition based on manifold learning ［J］.Pattern Recognition and Artificial Intelligence，2011，24 （4）：464－472 （in Chinese）.［劉海濤，汪增福，曹洋.基于流形學(xué)習(xí)的三維步態(tài)魯棒識別方法 ［J］.模式識別與人工智能2011，24 （4）：464－472.］

［12］YING Zai’en，LI Zhengyang，PING Xueliang，et al.Robot calibration based on binocular vision dynamic tracking ［J］.Application Research of Computers，2014，31 （5）：1424－1427 （in Chinese）.［應(yīng)再恩，李正洋，平雪良，等.基于雙目視覺動(dòng)態(tài)跟蹤的機(jī)器人標(biāo)定 ［J］.計(jì)算機(jī)應(yīng)用研究，2014，31 （5）：1424－1427.］

［13］TAO Zhijiang，HUANG Hua.Fundus images mosaic based on improved Harris and SIFT algorithm ［J］.Computer Engineering and Design，2012，33 （9）：3507－3511 （in Chinese）.［陶治江，黃華.基于改進(jìn)的Harris和SIFT 算法的眼底圖像拼合 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2012，33 （9）：3507－3511.］

［14］LUO Gui’e.Some issues of depth perception and three dimention reconstruction from binocular stereo vision ［D］.Changsha：Central South University，2012 （in Chinese）. ［羅 桂娥.雙目立體視覺深度感知與三維重建若干問題研究［D］.長沙：中南大學(xué)，2012.］