基于FPGA的三維重建系統(tǒng)設(shè)計(jì)

吳銳 龔云鑫

摘要：在線結(jié)構(gòu)光測(cè)量基礎(chǔ)上，設(shè)計(jì)了一種三維重建系統(tǒng)。該重建系統(tǒng)涉及的關(guān)鍵技術(shù)有4點(diǎn)：將FPGA采集的標(biāo)定照片通過(guò)網(wǎng)口傳輸至上位機(jī)進(jìn)行相機(jī)標(biāo)定;對(duì)FPGA采集的重建圖像進(jìn)行圖像分割;對(duì)分割的目標(biāo)區(qū)域求取中心坐標(biāo);結(jié)合相機(jī)標(biāo)定參數(shù)與中心坐標(biāo)進(jìn)行模型面積求取及三維重建。

關(guān)鍵詞：FPGA;線結(jié)構(gòu)光;三維重建;單目視覺測(cè)量

1 概述

1.1 ? ?設(shè)計(jì)背景

隨著我國(guó)制造業(yè)迅速發(fā)展，工業(yè)界在加工控制和質(zhì)量檢測(cè)方面都迫切需要高精度、速度快、方便、經(jīng)濟(jì)的三維表面形貌測(cè)量及建模設(shè)備。研究復(fù)雜曲面的三維表面形貌精密測(cè)量技術(shù)一直是現(xiàn)代工業(yè)檢測(cè)的難題之一，也是工程界亟需解決的問(wèn)題之一[1]。在計(jì)算機(jī)視覺和逆向工程技術(shù)迅猛發(fā)展的大背景下，提升計(jì)算機(jī)視覺和三維光學(xué)測(cè)量系統(tǒng)的效率和性能，對(duì)于高效快速地獲取點(diǎn)云數(shù)據(jù)有著重要的研究意義，其應(yīng)用前景廣闊，具有重大的實(shí)用價(jià)值。

1.2 ? ?設(shè)計(jì)研究現(xiàn)狀

從20世紀(jì)80年代初到80年代中期，計(jì)算機(jī)視覺技術(shù)迎來(lái)了全球性的研究熱潮，計(jì)算機(jī)視覺技術(shù)得到了快速發(fā)展，基于視覺的三維重建技術(shù)是以Marr的視覺理論框架為基礎(chǔ)，形成了各種各樣的理論方法，新概念、新方法、新理論不斷涌現(xiàn)。目前，計(jì)算機(jī)立體視覺已經(jīng)廣泛運(yùn)用于文物保護(hù)、工業(yè)探傷、城鎮(zhèn)建模、醫(yī)療等各個(gè)方面[2]。

運(yùn)用FPGA實(shí)現(xiàn)三維建模近年來(lái)發(fā)展迅猛。Altera公司的吳繼華[3]探討了將低成本FPGA用于視頻和圖像處理的可能性。Brian J.Jentz結(jié)合Altera公司FPGA特點(diǎn)對(duì)高分辨率、高清晰度、高壓縮率的圖像傳輸和處理進(jìn)行了研究，介紹了FPGA在圖像處理領(lǐng)域的不同應(yīng)用情況，分析了以FPGA作為獨(dú)立處理器的優(yōu)點(diǎn)[4]。林品武[5]等人設(shè)計(jì)了基于FPGA的三維顯示系統(tǒng)，可對(duì)采集的三維信息進(jìn)行實(shí)時(shí)顯示。曹健[6]等設(shè)計(jì)了一種基于FPGA和DLP的旋轉(zhuǎn)三維圖像生成系統(tǒng)，通過(guò)高速旋轉(zhuǎn)屏顯示視頻流，實(shí)現(xiàn)了視覺上的假三維。錢峰[7]等實(shí)現(xiàn)了基于FPGA的醫(yī)學(xué)圖像三維重建系統(tǒng)設(shè)計(jì)。段勇[8]等人提出使用多臺(tái)攝像機(jī)搭建動(dòng)態(tài)場(chǎng)景實(shí)時(shí)三維重建系統(tǒng)。

1.3 ? ?本設(shè)計(jì)主要內(nèi)容

本設(shè)計(jì)主要工作有搭建三維重建硬件平臺(tái)，測(cè)量攝像機(jī)內(nèi)參數(shù)，求取激光平面方程，采集圖像，并將圖像轉(zhuǎn)化為灰度圖，再進(jìn)行圖像預(yù)處理，完成線結(jié)構(gòu)光與背景圖片的分割，提取出線結(jié)構(gòu)光的中心坐標(biāo)，最后結(jié)合相機(jī)標(biāo)定的參數(shù)將三維坐標(biāo)恢復(fù)，實(shí)現(xiàn)三維場(chǎng)景的重建。

2 系統(tǒng)方案設(shè)計(jì)

2.1 ? ?系統(tǒng)原理

基于FPGA的線結(jié)構(gòu)光三維重建系統(tǒng)由結(jié)構(gòu)光投射器、相機(jī)及FPGA電路系統(tǒng)板等組成，其理論依據(jù)是激光三角測(cè)量原理，如圖1所示。首先，結(jié)構(gòu)光發(fā)射器將結(jié)構(gòu)光光條紋垂直投射到被測(cè)物體表面上，在物體表面上形成有形變的光條紋圖像，此時(shí)在空間另一位置固定一臺(tái)攝像機(jī)，以采集帶有光條紋的被測(cè)物體的圖像。激光器和相機(jī)之間的夾角和被測(cè)物體表面復(fù)雜度是影響光條紋圖像畸變程度的主要因素。其次，通過(guò)相機(jī)標(biāo)定求解出相機(jī)內(nèi)外參數(shù)、光平面與攝像機(jī)坐標(biāo)系的相互變換矩陣。最后，利用空間幾何關(guān)系最終求得圖像中光條紋的三維信息。

本設(shè)計(jì)采用線結(jié)構(gòu)光法，如圖2所示，激光器投射出的光束在空間中形成一個(gè)窄的激光平面，當(dāng)與被測(cè)物體相交時(shí)在物體表面產(chǎn)生一光條，該光條因?yàn)槲矬w表面深度的變化以及可能的間隙而受到調(diào)制，表現(xiàn)在圖像中是光條發(fā)生畸變和不連續(xù)，畸變程度與深度成正比，不連續(xù)則顯示出物體表面的物理間隙。線結(jié)構(gòu)光法測(cè)量就是從畸變的光條圖像信息中獲得物體表面的三維信息。

目前主流設(shè)計(jì)是將攝像頭采集到的圖像信息傳送至上位機(jī)，利用CPU或者GPU完成相關(guān)算法的處理，而本設(shè)計(jì)利用FPGA芯片現(xiàn)場(chǎng)可編程、并行高速運(yùn)算的優(yōu)點(diǎn)，直接完成相關(guān)算法，圖像數(shù)據(jù)幾乎可實(shí)時(shí)處理。

2.2 ? ?系統(tǒng)總結(jié)構(gòu)設(shè)計(jì)

基于FPGA的線結(jié)構(gòu)光三維重建系統(tǒng)結(jié)構(gòu)如圖3所示。

基于FPGA的線結(jié)構(gòu)光三維重建系統(tǒng)設(shè)計(jì)主體由圖像采集部分、FPGA算法運(yùn)算部分及PC顯示屏顯示部分組成。

（1）圖像采集部分?jǐn)M將激光筆發(fā)射的線激光呈一定角度照射到模型之上，同時(shí)利用攝像頭采集合適的圖像數(shù)據(jù)，送入FPGA處理器進(jìn)行存儲(chǔ)和相關(guān)運(yùn)算。

（2）FPGA算法運(yùn)算部分主要分為兩大步驟：

步驟一：完成攝像頭標(biāo)定工作，搭建好系統(tǒng)，通過(guò)FPGA算法實(shí)現(xiàn)圖像采集，以太網(wǎng)傳輸圖片至上位機(jī)，最后在上位機(jī)軟件完成攝像頭的內(nèi)外參數(shù)及激光平面的參數(shù)確定，為圖像像素坐標(biāo)轉(zhuǎn)三維坐標(biāo)提供支持。

步驟二：完成三維建模工作，該步驟首先通過(guò)搭建好的系統(tǒng)完成模型圖像的采集和存儲(chǔ)，然后進(jìn)行圖像灰度化及降噪處理;其次進(jìn)行圖像分割，去除掉與線激光帶無(wú)關(guān)的背景部分;最后對(duì)線激光帶進(jìn)行中心特征點(diǎn)的求取，利用步驟一中的攝像頭標(biāo)定參數(shù)求取線激光中心特征點(diǎn)對(duì)應(yīng)的三維坐標(biāo)。已知三維坐標(biāo)后，便可算出相應(yīng)模型的截面面積，同時(shí)將處理過(guò)程及結(jié)果顯示于PC顯示屏上。系統(tǒng)FPGA算法設(shè)計(jì)框圖如圖4所示。

（3）PC顯示屏實(shí)時(shí)顯示出該系統(tǒng)的視頻信息及模型截面積計(jì)算結(jié)果。

3 結(jié)語(yǔ)

該設(shè)計(jì)將圖像處理相關(guān)算法通過(guò)具有并行運(yùn)算能力的FPGA器件實(shí)現(xiàn)，大大減少算法處理的時(shí)間，可以達(dá)到實(shí)時(shí)檢測(cè)計(jì)算模型截面積的效果。同時(shí)，該系統(tǒng)采用的FPGA運(yùn)算處理器件，相比于同等性能的CPU、GPU處理器更加廉價(jià)，可以實(shí)現(xiàn)系統(tǒng)的小型化，擴(kuò)大應(yīng)用場(chǎng)景。因此，該系統(tǒng)設(shè)計(jì)具備以下創(chuàng)新點(diǎn)：

（1）實(shí)時(shí)性高?；贔PGA器件，對(duì)采集到的視頻圖像數(shù)據(jù)進(jìn)行并行高速運(yùn)算處理，相比于軟件處理能達(dá)到實(shí)時(shí)處理的效果。

（2）通用性良好，修改升級(jí)方便。該系統(tǒng)設(shè)計(jì)設(shè)想為設(shè)計(jì)一款通用系統(tǒng)，除了可以用于三維建模，還可以用于焊縫檢測(cè)、工件表面裂紋檢測(cè)、輪胎合格檢測(cè)等領(lǐng)域。

[參考文獻(xiàn)]

[1] 張洪龍.基于結(jié)構(gòu)光的室內(nèi)場(chǎng)景精確三維重建技術(shù)研究[D].北京：中國(guó)科學(xué)院大學(xué)，2018.

[2] 張劍飛.基于冗余過(guò)濾的多面體Minkowski和計(jì)算方法研究[D].秦皇島：燕山大學(xué)，2015.

[3] 吳繼華.將低成本FPGA用于視頻和圖像處理[J].電子設(shè)計(jì)應(yīng)用，2007，24（1）：26-30.

[4] JENTZ B J.采用FPGA實(shí)現(xiàn)視頻和圖像處理設(shè)計(jì)[J].今日電子，2008，37（10）：64-67.

[5] 林品武.LED體三維顯示研究[D].江門：五邑大學(xué)，2014.

[6] 曹健，焦海，王源，等.基于FPGA與DLP的體三維顯示系統(tǒng)設(shè)計(jì)方法與研究[J].北京大學(xué)學(xué)報(bào)（自然科學(xué)版），2014，50（4）：605-610.

[7] 錢峰，馬秀麗，萬(wàn)旺根.基于FPGA的醫(yī)學(xué)圖像三維重建系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（7）：211-214.

[8] 段勇，裴明濤.基于多RGBD攝像機(jī)的動(dòng)態(tài)場(chǎng)景實(shí)時(shí)三維重建系統(tǒng)[J].北京理工大學(xué)學(xué)報(bào)，2014，34（11）：1157-1162.

收稿日期：2020-05-07

作者簡(jiǎn)介：吳銳（1999—），男，四川閬中人，研究方向：數(shù)字圖像處理。