采用雙目十字激光的立體視覺檢測與三維重建

梁明輝+王得偉+陳嘉卿+何宇+鶴喜

摘要：本文采用十字激光作為標(biāo)識(shí)，應(yīng)用圖像處理技術(shù)和雙目測距原理，實(shí)現(xiàn)了三維物體表面坐標(biāo)的視覺檢測，并利用測量的坐標(biāo)點(diǎn)云，采用OpenGL的Delaunay三角法進(jìn)行了三維重建。該方法的突出優(yōu)點(diǎn)是它不需要復(fù)雜的視覺匹配計(jì)算，僅根據(jù)左右圖像中的十字激光標(biāo)識(shí)而快速確定同名點(diǎn)，從而實(shí)現(xiàn)了三維表面的快速檢測與重建，是一種成本低效率高的三維物體掃描重建方法。

關(guān)鍵詞：激光標(biāo)識(shí)；圖像處理；雙目測距；三維重建

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）11-0069-04

立體視覺是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要研究課題[1]，它的開創(chuàng)性工作始于上個(gè)世紀(jì)的六十年代中期，主要研究重構(gòu)場景三維幾何信息的獲取。立體視覺仿照人眼采用雙目攝像頭，通過將同一空間物理坐標(biāo)點(diǎn)在不同攝像機(jī)畫面上的映射點(diǎn)對應(yīng)起來，進(jìn)而獲得獲取到場景中每個(gè)位置的深度。一般處理過程如圖1所示。

其中難點(diǎn)是左右圖像中同名點(diǎn)的匹配，常用的有基于區(qū)域特征的和基于全局約束的相似準(zhǔn)則[2]，但都比較耗時(shí)，效率低，一種變通的方法是在物體表面人為的打上標(biāo)記便于識(shí)別，這就是基于激光的結(jié)構(gòu)光測量方法[3]，大多采用線狀激光掃描，將匹配點(diǎn)縮減到一條直線上，還是要匹配計(jì)算，本文采用十字激光標(biāo)識(shí)，利用激光交叉點(diǎn)的唯一性，一次完成匹配點(diǎn)確定，不需要任何匹配計(jì)算，效率高。但在激光圖像進(jìn)行預(yù)處理時(shí)也存在偽交叉的奇異點(diǎn)干擾，要進(jìn)行坐標(biāo)點(diǎn)的統(tǒng)計(jì)分析，去除奇異點(diǎn)，然后再通過OpenGL對坐標(biāo)點(diǎn)云數(shù)據(jù)進(jìn)行重建。

1 雙目立體視覺模型

雙目立體視覺統(tǒng)通過采用兩臺(tái)位置相對固定的攝像機(jī)，從不同的角度去拍攝同一物體或者環(huán)境，通過計(jì)算兩個(gè)攝像機(jī)成像畫面中的對應(yīng)點(diǎn)的視差，進(jìn)而得到物體或者環(huán)境的三維信息。雙目立體視覺模型如圖2所示。

當(dāng)左右兩個(gè)攝像機(jī)的光軸平行且處于同一水平面的時(shí)候，空間目標(biāo)點(diǎn)P（X，Y，Z）在左右兩臺(tái)攝像機(jī)上形成的圖像坐標(biāo)分別為（ul，vl）與（ur，vr），橫坐標(biāo)ul與ur存在明顯的位差（即視差）。通過三角形相似，可以得到如下關(guān)系：

2 圖像的預(yù)處理和十字中心的定位

激光投射到物體表面，可以采用自動(dòng)或手動(dòng)掃描，對于左右攝像機(jī)采集到的圖像，需要進(jìn)行圖像的預(yù)處理。圖像的預(yù)處理對于十字激光中心點(diǎn)的檢測以及雙目測距的準(zhǔn)確性都有很大的影響，圖像預(yù)處理得不好，將直接導(dǎo)致誤差點(diǎn)的引入，從而引發(fā)三維重建模型的錯(cuò)誤。本文對圖像的預(yù)處理過程包括圖像的二值化、圖像的閉運(yùn)算（先膨脹后腐蝕）、圖像的細(xì)化處理等部分。對于預(yù)處理后的圖像，還要進(jìn)行十字中心的定位。這一過程包括圖像的線性濾波、圖像的輪廓檢測等。

2.1 圖像的二值化處理

圖像的二值化是為了去除圖像中大多數(shù)干擾部分，只保留十字激光照射物體所留下的十字交叉圖像。在本文中采用的是紅色十字激光進(jìn)行定位坐標(biāo)，因此，在RGB三通道圖像中，十字激光照射部分中R通道將會(huì)是高亮顯示。傳統(tǒng)方法中，通過設(shè)定某個(gè)固定閾值，當(dāng)R通道中的值大于此閾值時(shí)，將相應(yīng)像素點(diǎn)值置1，反之置0。然而在實(shí)際試驗(yàn)中發(fā)現(xiàn)，此方法受環(huán)境亮度影響較大，不能很好地適應(yīng)實(shí)際環(huán)境的變化。本文提出一種改進(jìn)方法，引入一個(gè)比例因子r，將原始圖像中的像素點(diǎn)按R通道值大小進(jìn)行排序，取前r%的像素點(diǎn)值置1，其余置0。實(shí)驗(yàn)表明，當(dāng)r取值0.5時(shí)效果最好。原圖像和二值化后的圖像分別如圖3和圖4所示。

2.2 圖像的閉運(yùn)算處理

從攝像機(jī)上獲取到的圖像可能會(huì)因?yàn)榧す狻h(huán)境亮度、二值化算法、物體的反光度等因素，造成二值化后的圖像線段呈現(xiàn)鋸齒狀，有些線段的內(nèi)部還存在著孔洞。而這些問題，將會(huì)影響后續(xù)的處理過程。因此，需要對圖像進(jìn)行閉運(yùn)算處理，即先膨脹后腐蝕。

膨脹，是圖像與任意形狀的內(nèi)核進(jìn)行卷積[4]，當(dāng)內(nèi)核在圖像中移動(dòng)的時(shí)候，圖像中的點(diǎn)將會(huì)取內(nèi)核所覆蓋區(qū)域的最大像素值，這一操作，將會(huì)導(dǎo)致圖像中高亮的區(qū)域擴(kuò)張；而腐蝕，則與膨脹正好相反，當(dāng)內(nèi)核在圖像中移動(dòng)的時(shí)候，圖像中的點(diǎn)將會(huì)取內(nèi)核所覆蓋區(qū)域的最小像素值，因此，這將導(dǎo)致圖像中高亮的區(qū)域收縮。

在對二值化圖像膨脹時(shí)，能將二值化圖像中的孔洞進(jìn)行填充，以及遇到當(dāng)圖像因?yàn)楣庹盏纫蛩貙?dǎo)致線段不連續(xù)的時(shí)候，能將斷開的圖像重新連接上。但膨脹并不是只對孔洞等位置有影響，對圖像成像較好的位置同樣會(huì)照成影響。因此，在膨脹后，還需要對圖像進(jìn)行腐蝕操作，使得圖像整體變回膨脹前的大小。

在本文中，閉運(yùn)算采用的是尺寸為5*5，值全為1的矩陣。閉運(yùn)算處理前后的圖像分別如圖5與圖6所示。

2.3 圖像的細(xì)化處理

圖像的細(xì)化，又稱為骨架提取，它指的是將原本臃腫的像素塊簡化為單個(gè)像素相連接的二值圖像，這里采用文獻(xiàn)[5]中所提到的細(xì)化二值區(qū)域的算法[5]。設(shè)圍繞處理點(diǎn)p1的周圍像素點(diǎn)為p2-p9，分布如下：

p9 p2 p3

p8 p1 p4

p7 p6 p5

該算法由兩個(gè)基本的操作組成：

（1）對于滿足下列a、b、c、d四個(gè)條件的邊界點(diǎn)作標(biāo)記，待遍歷完圖像后，進(jìn)行刪除。

（a）2≤N（p1）≤6 （b）S（p1）==1

（c）p2*p4*p6==0 （d）p4*p6*p8==0

其中N（p1）=p2+p3+p4+…+p9，點(diǎn)p1領(lǐng)域中1的個(gè)數(shù)

S（p1）是按p2，p3，…p9，p2的順序，0-1轉(zhuǎn)換的個(gè)數(shù)。

（2）與（1）中的操作基本相同，只是條件（c）、（d）改為：

（c）p2*p4*p8==0 （d）p2*p6*p8==0。

讓圖像循環(huán)做上述的操作（即輸出圖像作為輸入圖像），直到不存在可以刪除的點(diǎn)，即可以結(jié)束循環(huán)。細(xì)化處理前和細(xì)化處理后的圖像分別如圖7圖8所示。endprint

2.4 十字中心的定位

從前面的預(yù)處理后的圖像可以看出，當(dāng)十字激光照射的物體為一個(gè)平面時(shí)，十字中心的交點(diǎn)即為兩條直線的交點(diǎn)。從這一點(diǎn)出發(fā)，可以很直觀地想到利用霍夫直線檢測，計(jì)算出兩條相交直線的方程，進(jìn)而得到十字中心的坐標(biāo)。然而，當(dāng)照射物體的平面變得不規(guī)則，比如曲面的時(shí)候，此時(shí)攝像機(jī)獲取到的圖像中，十字中心點(diǎn)則變成了兩條曲線段的交點(diǎn)，若采用多項(xiàng)式曲線擬合，不僅難度較大，而且還面臨精度不高等問題。

為此，本文提出一種新型的十字中心定位算法，該算法主要分成兩個(gè)步驟：第一步，使用特殊設(shè)計(jì)的濾波算子對預(yù)處理后的圖像進(jìn)行線性濾波處理，初步確定十字中心的坐標(biāo)；第二步，在前一步初步確定的坐標(biāo)上使用輪廓檢測，確定十字中心的準(zhǔn)確坐標(biāo)。以下做詳細(xì)介紹。

線性濾波可以說是圖像處理中最基本的方法，通過設(shè)計(jì)不同的濾波器矩陣，可以得到很多不同的效果。例如Sobel算子的邊緣檢測，中值濾波等。而在本文中，為了初步確定十字中心的交點(diǎn)，設(shè)計(jì)的濾波算子s如圖9（a）所示。

圖9（a）是一個(gè)尺寸為5*5，中心值為-24，其余全為1的濾波算子。使用此算子對圖像進(jìn)行濾波處理，圖像中大于預(yù)期閾值且小于0像素點(diǎn)的坐標(biāo)，就是可能存在十字中心的坐標(biāo)。而此閾值的大小，則是與濾波算子緊密相關(guān)。

在觀察預(yù)處理后的圖像可以發(fā)現(xiàn)，十字激光在圖像中對應(yīng)的交叉結(jié)構(gòu)，應(yīng)該是類似于圖9（b）結(jié)構(gòu)（即一個(gè)節(jié)點(diǎn)有4個(gè)分支）。但是，考慮到細(xì)化后的圖像，圖像交點(diǎn)部分可能穿在部分變形，如圖9（c）的情形。

雖然我們不可能窮盡所有情形，但可以假設(shè)，當(dāng)結(jié)構(gòu)內(nèi)具有三個(gè)或三個(gè)以上分支的時(shí)候，則判斷可能為十字交點(diǎn)。根據(jù)上文的濾波算子，可以計(jì)算出相應(yīng)的閾值為s[2][2]+s.size/2*3，即為-24+5/2*3=-18，同時(shí)，像素點(diǎn)的值之所以小于0，這是因?yàn)闉V波算子s的中心設(shè)置為1-s.size * s.size，即-24，通過這種設(shè)定，使得當(dāng)像素點(diǎn)為高亮的時(shí)候，濾波后的圖像相應(yīng)點(diǎn)為負(fù)值。

經(jīng)過線性濾波后的圖像可能存在多個(gè)符合條件的坐標(biāo)點(diǎn)，但是這并不意味著已經(jīng)找到十字中心的坐標(biāo)。這些符合條件的坐標(biāo)點(diǎn)中可能存在一個(gè)或不存在十字中心的坐標(biāo)，需要進(jìn)一步的處理。將符合條件的坐標(biāo)點(diǎn)的值按從大到小進(jìn)行排序，排序的目的在于，坐標(biāo)點(diǎn)的值越大，說明其周圍的分支較多，越有可能是所找的十字中心。按照排序過后的順序，一一判斷是否是十字中心的坐標(biāo)，直至找到或找不到。判斷的依據(jù)主要依靠圖像的輪廓檢測。

根據(jù)圖像中的十字交點(diǎn)，可以很容易看出，當(dāng)在某個(gè)邊長為b的矩形區(qū)域中存在4個(gè)空白區(qū)域的時(shí)候，則十字交點(diǎn)的坐標(biāo)就在這個(gè)矩形中。根據(jù)上文，線性濾波后的圖像中符合條件的坐標(biāo)點(diǎn)很有可能就是十字中心，因此，以此坐標(biāo)為中心周圍邊長為b的矩形區(qū)域即是感興趣區(qū)域（ROI，region of interest）。但因?yàn)閳D像細(xì)化后，形狀會(huì)有少許變形，因此本文中使用的是閉運(yùn)算處理后的圖像設(shè)置ROI。在此矩形區(qū)域內(nèi)，尋找輪廓，若找不到4個(gè)空白區(qū)域的輪廓，拋棄該點(diǎn)，并進(jìn)行下一個(gè)可能的坐標(biāo)點(diǎn)的判斷，直到找到一個(gè)符合條件的矩形區(qū)域，執(zhí)行下一步操作。

在得到4個(gè)空白區(qū)域的輪廓點(diǎn)集后，可以得出四個(gè)輪廓的相對位置，分別計(jì)算對角區(qū)域之間的最短距離，取得最短距離的兩個(gè)點(diǎn)，求出兩點(diǎn)的中點(diǎn)，把該點(diǎn)坐標(biāo)看作十字中心的坐標(biāo)。

3 實(shí)驗(yàn)結(jié)果與分析

物體的形狀可由三維點(diǎn)云通過delaunay三角算法進(jìn)行拼接來表示[6]。本文以一個(gè)長方形紙箱作為實(shí)驗(yàn)?zāi)繕?biāo)，利用圖像處理庫OpenCV和OpenGL編寫軟件對文中提出的三維重建系統(tǒng)與算法進(jìn)行驗(yàn)證。使用的物理設(shè)備為用三腳架固定的小型雙目攝像頭，輸出幀率為15幀/秒，單攝像頭分辨率為640*480，如圖10所示。

由人手持十字激光發(fā)射器對實(shí)驗(yàn)物體從上到下，從左到右進(jìn)行照射掃描，攝像機(jī)采集到的圖像經(jīng)由USB串口傳輸?shù)缴衔粰C(jī)，由上位機(jī)程序進(jìn)行分析。由圖11可以看到，程序窗口上方顯示的是原圖像，下方顯示的圖像為原圖經(jīng)過了二值化處理、閉運(yùn)算之后的結(jié)果。當(dāng)程序成功檢測到十字激光交點(diǎn)時(shí)，程序會(huì)在檢測出坐標(biāo)的位置作矩形，以方便比較。程序會(huì)將檢測出的十字中心坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系的三維坐標(biāo)，并進(jìn)行記錄。在采集到足夠數(shù)量的三維點(diǎn)云信息后，利用OpenGL進(jìn)行三維重建，圖12和圖13顯示了三維重建后的結(jié)果。

由圖片可以看出，激光掃描的實(shí)驗(yàn)物體的輪廓已經(jīng)能夠較為準(zhǔn)確地獲取，并且能夠反映紙箱兩個(gè)側(cè)面與棱緣的細(xì)微變化，取得較好的重建效果，精度較高。

4 結(jié)語

本文提出一種基于十字激光立體視覺檢測的三維重建方案，能夠較為準(zhǔn)確地采集到目標(biāo)物體表面的點(diǎn)云并拼接合成以完成三維重建過程。其中，針對圖像二值化處理受環(huán)境光照影響較大的問題提出了一種按比例進(jìn)行劃分的方法。對于圖像十字中心的定位問題提出了一種新的算法，通過線性濾波、輪廓檢測等操作，能夠很有效率地完成十字中心的檢測，保證了匹配精度，獲得了較好的重建效果。

參考文獻(xiàn)

[1]周星，高志軍.立體視覺技術(shù)的應(yīng)用與發(fā)展[J].工程圖學(xué)學(xué)報(bào)，2010，31（4）：50-55.

[2]肖艷青，劉黨輝，孫朋.圖像立體匹配研究進(jìn)展[J].測控技術(shù)，2009，28（8）：1-5.

[3]韓建棟，呂乃光，董明利，等.線結(jié)構(gòu)光傳感系統(tǒng)的快速標(biāo)定方法.光學(xué)精密工程，2009，17（5）：958-962.

[4]姚敏.數(shù)字圖像處理[M].機(jī)械工業(yè)出版社2012.

[5]何斌，馬天予，王運(yùn)堅(jiān)，等.Visual C++數(shù)字圖像處理[M].機(jī)械工業(yè)出版社，2002.

[6]余杰，呂品，鄭昌文.Delaunay三角網(wǎng)構(gòu)建方法比較研究.中國圖象圖形學(xué)報(bào)，2010，15（8）：1158-1164.

Abstract：In this paper， image processing technology and binocular ranging principle are used to realize the visual detection of 3D object surface coordinates using cross laser marking. The 3D reconstruction of the coordinate point cloud is carried out by OpenGL's Delaunay triangulation. The advantage of this method is quickly to determine the corresponding point in left and right images based only on cross laser marking without complex visual matching calculation， so as to realize the rapid detection and reconstruction of 3D surface， it is a scanning and reconstructing method of 3D object with high efficiency and low cost.

Key Words：laser marking； image processing； binocular ranging； 3D reconstructionendprint