基于數(shù)字光處理的結構光三維掃描系統(tǒng)的設計

樓永堅 黃晗騁 林斌

摘要：結合結構光投影三維掃描的原理，設計了數(shù)字微鏡器件（DMD）作為結構光的發(fā)生裝置，主控芯片為FPGA，實現(xiàn)了高速的DMD的控制和相機的同步采集。搭建了一個嵌入式三維掃描光學平臺，并應用四步相移法完成實驗。首先指定不同方向和周期的正弦條紋結構光，同步采集圖像；然后通過軟件設計完成對采集圖像的預處理、相位的解調(diào)、相位的展開、相位 高度映射還原得到三維的深度信息并建模；最終獲得最高464.8幀/s不同方向和周期的正弦條紋結構光顯示，達到194幀/s的相機觸發(fā)采集，三維掃描效果圖清晰，還原和重建效果理想。

關鍵詞：三維掃描； 數(shù)字微鏡器件（DMD）； PWM調(diào)制； 四步相移法

中圖分類號： TN 247 文獻標志碼： A doi： 10.3969/j.issn.1005 5630.2018.03.012

Abstract： According to the principle of the 3D scanning structured light projection，we design the DMD（digital micromirror device） as a generator of the structured light and use FPGA as the master chip of the device to achieve high speed DMD camera control and synchronization acquisition.We build an embedded 3D scanning optical platform and apply the four step phase shift method to complete the experiments.First，we project different directions and periods of the sinusoidal fringe structure light and acquire image synchronously.Then，we design a software to complete the pre processing of the captured images，phase demodulation，expansion of the phase，and phase height mapping to give a 3D depth information and modeling.Finally we obtain 464 . 8 frames per second in the different directions and periods of the sinusoidal fringe structure light and realize the camera trigger acquisition with 194 frames per second.The 3D scanning image is clear and the restored and reconstructed images are good.

Keywords：

3D scanning； digital micromirror device（DMD）； PWM modulation； four steps phase shift method

引 言

光學三維掃描技術是以計算機為基礎，融合現(xiàn)代光學、計算機圖形學、電子學、信號處理學等多學科的專業(yè)技術，通常包含圖像投影設備和圖像采集設備。隨著國內(nèi)外學者對光學三維掃描技術的研究不斷深入，基于各種測量原理提出了多種測量方法，其中投影結構光法具有結構簡單、分辨率高、精度高、速度快和價格便宜等優(yōu)點，20世紀90年代后期該方法與數(shù)字投影技術、數(shù)碼相機技術和計算機技術相結合，使相位編碼、結構光投影到圖像記錄、信息處理與顯示等完全數(shù)字化處理，因此在三維輪廓測量領域的應用越來越廣泛[1]。

在結構光三維掃描系統(tǒng)中，商用投影儀的傳輸和顯示速度慢，會引入Gamma誤差，同時物理光柵響應速度慢，控制結構復雜，成本高，局限性大，這些因素直接影響了三維掃描效果。所以通過提升結構光投影的速度和質量，就能提升三維掃描系統(tǒng)的性能。數(shù)字光處理（digital light processing，DLP）技術具有質量高、高速和高穩(wěn)定性等特點，由美國德州儀器公司（TI）壟斷的數(shù)字微鏡器件（DMD）芯片是DLP技術的核心。DMD光能利用率高，亮度、對比度都很好，所有微鏡同步，調(diào)制的線性度高，并且響應速度快，每秒可達到上萬次的翻轉。而現(xiàn)場可編程門陣列（field programmable gate array，F(xiàn)PGA）的開發(fā)技術的發(fā)展使三維掃描系統(tǒng)進一步達到了高質量、低成本，小體積和便攜性[2 4]。

本文結合數(shù)字投影結構光三維測量的原理，設計了一種嵌入式結構光三維掃描系統(tǒng)，利用DLP快速和高分辨率、FPGA超強的并行操作特性和高速相機的同步采集觸發(fā)能力，達到快速三維掃描，顯示和重建效果好。

1 系統(tǒng)設計原理

1.1 結構光三維掃描的原理

結構光三維掃描基本原理：通過光柵發(fā)生器向被測物體表面投射系列光柵條紋，這些條紋分別被被測物體表面的形狀所調(diào)制；利用攝像機攝取這些被調(diào)制的光柵圖像，根據(jù)各圖像的灰度特征，計算其各像點的相位值，然后根據(jù)左、右相機對應像點的相位值相等的特性，再結合外極線理論，確定彼此的立體匹配點；最后通過整個系統(tǒng)模型的定標演算得到被測物體的實際三維信息。

式中：d為結構光投射點與攝像機采集點之間的距離；L0為測試點相對于參考平面的高度。

這樣，物體的深度信息就可通過相位差分布來求得，從而進一步獲得物體的三維分布。

1.2 結構光三維掃描的流程

結構光三維掃描的一般流程如圖2所示。

1.3 DMD的工作原理及灰度調(diào)制顯示[5]

目前所有投影機產(chǎn)品中的核心部分是美國TI公司（德州儀器）研發(fā)的DMD芯片，DMD器件是DLP的基礎和核心，它相當于一個半導體光開關，有50～130萬個微鏡片聚集在CMOS硅基片上。一片微鏡片表示一個象素，這種微小鏡片的構造的動態(tài)圖像切換速度非?？欤ㄊ且话鉙i TFT的1 000倍），而且這種特殊的單板式構造相對成本較低。

DMD的工作原理：借助微鏡裝置反射需要的光，同時通過光吸收器吸收不需要的光來實現(xiàn)影像的投影，而其光照方向則是借助靜電作用，通過控制微鏡片角度來實現(xiàn)的；通過數(shù)據(jù)加載、塊操作、塊清零、塊的分階段等操作來完成DMD的工作。

DMD微鏡器件的快速開關功能與雙脈沖寬度調(diào)制的一種精確的圖像顏色和灰度復制技術相結合，使圖像可以隨著窗口的刷新而更加清晰，通過增強對比度，達到最佳邊界線。系統(tǒng)設計中采用了一種改進的PWM（plus width modulation）的調(diào)制方法用于灰度復制，使8位灰度圖的幀率可以達到464.8 Hz，相比于傳統(tǒng)的PWM的調(diào)制方法實現(xiàn)了高幀率高分辨的投影。

2 三維掃描系統(tǒng)的設計

基于DLP的嵌入式三維掃描的硬件系統(tǒng)，主要包括由DLP芯片組搭建的結構光投射平臺、FPGA最小系統(tǒng)模塊和圖像采集處理模塊。硬件系統(tǒng)的總體設計框架如圖3所示。

2.1 結構光發(fā)生器的設計[6]

如圖3所示，虛線框內(nèi)是TI公司的DLP Discovery 4100套件（包括0.7XGA 2x LVDS A類DMD、Xilinx公司Virtex系列XC5VLX50的FPGA、DMD微鏡驅動器（DLPA200）、DMD控制器（DLPC410）、DLP配置PROM DLPR410，以及一些常用接口如DDR2 SODIMM DRAM接口、USB 2.0接口、多用途I/O等），作為結構光發(fā)生器，結構光正弦條紋的生成和投影實現(xiàn)過程如下：由控制功能選擇開關來設置條紋的方向、周期以及一些DMD的控制參數(shù)；FPGA讀取單口ROM內(nèi)的LUT列表，產(chǎn)生所需的結構光PWM灰度調(diào)制的數(shù)據(jù)，存入DDR2中；讀取DDR2數(shù)據(jù)，控制DLPC410，對DMD加載數(shù)據(jù)，同時控制其脈沖復位信號。

DMD在PWM調(diào)制下的灰度顯示可以達到464.8 Hz，為了配合相機200 Hz的采集速度，重新選擇PWM的調(diào)制基數(shù)為20 μs，這樣加載一幀8位灰度圖的時間是5 145 μs，刷新幀率就為194 Hz，符合設計要求。

2.2 圖像采集模塊設計[7]

圖像采集模塊的主要功能是實時地采集和處理被測物體的圖像數(shù)據(jù)，采用黑白CCD高速相機（JAI的RM 6740CL），分辨率為640×480，逐行掃描，配有CameraLink接口、8 mm的定焦鏡頭、DALSA的Xcelera CL LXl和相應的Software Development Kit軟件開發(fā)工具包。

相機的同步觸發(fā)是高速采集過程中的關鍵因素，相機的曝光時間、“頻閃”現(xiàn)象和灰度圖像投影的時間不匹配等都是相機實現(xiàn)同步觸發(fā)的主要問題，我們采取對GPIO口信號的放大實現(xiàn)了穩(wěn)定的相機同步觸發(fā)和采集。實驗證明，電壓放大前后的脈沖觸發(fā)信號周期和寬度并沒有改變，實際測得的觸發(fā)信號頻率為194.20 Hz，理論計算值為194.36 Hz，誤差僅為0.082%，達到了觸發(fā)信號實時同步的要求。

采集模塊的流程圖如圖4所示。

在采集、保存條紋圖像以及圖像預處理后，進行四步相移，通過實現(xiàn)相位解調(diào)算法、空域的相位展開算法，由相位 高度映射關系還原出三維信息，最后對三維數(shù)據(jù)進行分析和儲存。系統(tǒng)結合相機的SDK，采用C/C+ +語言，并用OpenCV庫輔助顯示和預處理圖像。

2.3 三維掃描系統(tǒng)的軟件系統(tǒng)設計

系統(tǒng)的軟件流程圖如圖5所示。上位機主要在FPGA內(nèi)實現(xiàn)，按2.1描述實現(xiàn)結構光正弦條紋的生成和投影。下位機按2.2描述實現(xiàn)圖像采集與處理。

對上位機FPGA進行設計，實現(xiàn)結構光投射模塊的功能，并進行信號仿真。對下位機調(diào)用OpenCV庫進行相機設計與圖像預處理，用C/C+ +語言編寫三維數(shù)據(jù)處理等算法。最后用MATLAB進行數(shù)據(jù)分析以及輪廓圖顯示。

3 實驗結果與分析

根據(jù)圖3的系統(tǒng)框架和設計思路，搭建了基于DLP的嵌入式結構光三維掃描光學平臺，CCD相機和DLP投影儀由FPGA控制，PC上位機對采集的圖像進行處理，并根據(jù)圖5完成了軟件系統(tǒng)的開發(fā)。實測時采用四步相移法，保證目標物體位于CCD相機的正前方中心位置，設置不同條紋周期、不同條紋方向的結構光進行三維掃描實驗。實驗結果顯示，各周期、各方向的實驗結果均有所不同，但總體效果較好，下面選取兩個具有代表性的實驗結果進行討論。

如圖6所示的結構光為正弦橫條紋，64行條紋為一個周期。

如圖7所示的結構光為正弦豎條紋，16個像素為一個條紋周期。

圖6和圖7中（a）～（d）分別為四步相移中四個相差π/2相位的條紋圖疊加在目標物體上的效果圖，圖像已經(jīng)過3×3的高斯模糊去噪，（e）為相位解調(diào)后得到的包裹相位圖，（f）為解包裹相位得到真實連續(xù)相位的分布，（g）為相位 高度映射的還原圖。無論豎條紋和橫條紋，三維掃描的結果都清晰，細節(jié)完整。

實驗結果表明：

（1） 如果適當提高采集速度，或者采用三步相移以及其他單幀或少幀的實驗方案，掃描速度可以進一步提升；

（2） 采用豎條紋比橫條紋會得到更好的三維掃描效果，因為實驗效果圖顯示豎條紋相比于橫條紋要更密集一點；

（3） 為取得更好效果的包裹相位圖，在圖像采集后，光用3×3的高斯模糊去噪再進行相位解調(diào)，能獲得更精確的三維深度信息。

4 結 論

本文分析和研究了結構光三維掃描技術，利用DLP的快速和高分辨率、FPGA超強的并行操作特性和高速相機的同步采集觸發(fā)能力，實現(xiàn)了基于DMD的結構光發(fā)生器的研制和控制系統(tǒng)軟件的設計。在基于DLP的嵌入式三維掃描光學平臺上完成了四步相移法三維結構光掃描。

所設計的三維掃描系統(tǒng)根據(jù)需求指定不同方向和周期的正弦條紋結構光，同步采集圖像，然后通過軟件完成對采集圖像的預處理、相位的解調(diào)、相位的展開、相位 高度映射關系還原，最終獲得三維深度信息并建模。該系統(tǒng)獲得最高464.8幀/s不同方向和周期的正弦條紋結構光顯示，達到194幀/s的相機觸發(fā)采集，三維掃描效果圖清晰，還原和建模效果好。

參考文獻：

[1] SALVI J，PAGES J，BATLLE J.Pattern codification strategies in structured light systems[J].Pattern Recognition，2004，37（4）：827 849.

[2] 李如斌.高速光柵投影實時三維測量系統(tǒng)硬件設計與研究[D].南京：南京理工大學，2014.

[3] 許琦欣，侯文玫，盛世杰，等.基于數(shù)字微鏡器件的三維輪廓測量及其性能分析[J].儀器儀表學報，2011，32（5）：1138 1144.

[4] 陳坦，賴建軍，趙悅.DMD芯片在光柵投影三維輪廓測量技術中的應用[J].紅外，2006，27（9）：24 28.

[5] 田文超，賈建援.DMD及DLP顯示技術[J].儀器儀表學報，2005，26（z2）：358 359.

[6] 楊盛亞，謝捷如，崔海華.基于FPGA的存儲空間可擴展的高速微型投射器研究[J].機械設計與制造工程，2016，45（2）：27 32.

[7] 曹健，焦海，王源，等.基于FPGA與DLP的體三維顯示系統(tǒng)設計方法與研究[J].北京大學學報（自然科學版），2014，50（4）：605 610.

（編輯：劉鐵英）