虛擬現(xiàn)實(shí)中圖像合成信息同步采集方法研究

李 闖

(吉林建筑大學(xué)，吉林 長(zhǎng)春 130000)

1 引言

虛擬現(xiàn)實(shí)技術(shù)(人工智能、傳感器技術(shù)、實(shí)時(shí)計(jì)算等)能夠提供更真實(shí)逼真的用戶體驗(yàn)，為人類在探索和觀察世界方面提供了極大的方便[1-2]。而隨著虛擬現(xiàn)實(shí)技術(shù)的不斷發(fā)展，用戶對(duì)成像效果要求也越來越高，因此在虛擬現(xiàn)實(shí)中圖像信息采集也變得尤為重要[3]。

近幾年，有專家學(xué)者提出了一些相對(duì)成熟的圖像采集方法，如文獻(xiàn)[4]中的多幀圖像信息采集處理方法和文獻(xiàn)[5]中的圖像信息數(shù)據(jù)高速采集方法。然而上述方法采集到的圖像雖能夠反映出目標(biāo)個(gè)體的外觀和品質(zhì)，但是存在信息采集延遲的現(xiàn)象，導(dǎo)致采集的同步性較差。

為此，本研究研究了一種虛擬現(xiàn)實(shí)中圖像合成信息同步采集方法。在拍攝運(yùn)動(dòng)物體時(shí)，采用多CCD攝像機(jī)在不同角度、不同空間位置進(jìn)行拍攝，并分析相機(jī)的高度及光軸大小。通過對(duì)虛擬現(xiàn)實(shí)的具體情況研究得出，使用四個(gè)攝像機(jī)能夠有效的對(duì)圖像進(jìn)行同步采集。同時(shí)，為提高攝像機(jī)與采集端之間的傳輸速度，以FPGA技術(shù)為圖像采集的控制電路，通過PCI總線建立圖像采集系統(tǒng)和上位機(jī)之間的通信連接，并用PCI9054橋芯片實(shí)現(xiàn)PIC與采集端的鏈接。為增強(qiáng)圖像合成的最終效果，對(duì)通過遺傳算法和Powell算法相結(jié)合對(duì)采集后的圖像信息參數(shù)進(jìn)行優(yōu)化，完成配準(zhǔn)處理。經(jīng)對(duì)比分析可知，與傳統(tǒng)方法相比，本文方法的信息采集延遲較短，圖像呈現(xiàn)效果更清晰，說明該方法具有較高的應(yīng)用價(jià)值。

2 采集方法設(shè)計(jì)

本研究采用多CCD同步采集方式，通過將面陣CCD攝相機(jī)采集到的圖像實(shí)時(shí)傳輸?shù)娇蛻舳藖韺?shí)現(xiàn)圖像傳輸。在虛擬現(xiàn)實(shí)中圖像合成信息同步采集過程中，每個(gè)單獨(dú)攝像機(jī)具體安裝方法如圖1所示。

圖1 測(cè)量系統(tǒng)平面圖

然而，隨著實(shí)際應(yīng)用對(duì)圖像同步采集要求的逐步提高，使用傳統(tǒng)的單一攝影機(jī)已難以滿足現(xiàn)實(shí)采集需求。為解決這一問題，分別使用多個(gè)攝像機(jī)在不同空間尺度、不同方位對(duì)拍攝目標(biāo)進(jìn)行拍攝，然后整理匹配各個(gè)不同攝像機(jī)的拍攝信息，從而獲得全面且完整的視場(chǎng)信息。

CCD攝像機(jī)是由彩色和黑白相機(jī)兩部分組成，彩色攝像模式能夠完整的還原拍攝目標(biāo)的顏色及細(xì)節(jié)信息，而黑白攝像機(jī)則主要用來拍攝色彩信息較簡(jiǎn)單的目標(biāo)[6]。分析相機(jī)的高度及光軸大小后，本研究決定使用視場(chǎng)角為40度的CCD攝像頭。通過對(duì)虛擬現(xiàn)實(shí)的具體情況研究得出，使用四個(gè)攝像機(jī)能夠有效的對(duì)圖像進(jìn)行同步采集，其平面圖如圖2。

圖2 攝像機(jī)平面圖

圖中

(1)

(2)

CB=4×AB=36m

(3)

CCD是一種半導(dǎo)體成像器材，也是一種大規(guī)模的集成電路光學(xué)器件，核心原件為CCD傳感器，工作原理是通過鏡頭將拍攝目標(biāo)聚焦在電耦合器上，經(jīng)過一系列的處理過程進(jìn)行成像顯示，其具體工作過程如圖3所示。

圖3 CDD工作原理示意圖

從圖3中可以看出，光線在通過攝像機(jī)鏡頭時(shí)發(fā)生散射，光經(jīng)過散射后聚焦在CCD傳感器上形成模擬圖像信號(hào)[7]，模擬信號(hào)經(jīng)模數(shù)轉(zhuǎn)換器處理后，獲得數(shù)字圖像信號(hào)，最后利用圖像處理器呈現(xiàn)出完整的圖像信息并且進(jìn)行儲(chǔ)存。圖中的感光傳感器是通過電荷進(jìn)行存儲(chǔ)轉(zhuǎn)移的，該方法對(duì)于人眼識(shí)別更為適合。

一般來說，CCD可以分為線陣CCD和面陣CCD，面陣CCD能夠精準(zhǔn)的拍攝二維圖像，并且可以快速成像，顯示出拍攝目標(biāo)；線陣CCD是拍攝一維圖像的，通過對(duì)圖像的掃描，做三次曝光。結(jié)合虛擬現(xiàn)實(shí)圖像合成采集的具體需要，本研究選擇面陣CCD。

CCD攝像機(jī)由色彩矩陣、水平垂直移位器、輸出放大器和A/D轉(zhuǎn)換器幾部分組成。各個(gè)色彩矩陣中存在紅、綠、藍(lán)慮片，當(dāng)拍攝目標(biāo)經(jīng)過這些慮片時(shí)會(huì)形成像素點(diǎn)，與此同時(shí)也會(huì)產(chǎn)生相對(duì)應(yīng)的電荷，鄰近的移位寄存器就會(huì)將形成的電荷儲(chǔ)存，然后經(jīng)輸出放大器和A/D轉(zhuǎn)換器輸輸出圖像。而CCD內(nèi)部像素點(diǎn)的多少會(huì)直接影響輸出圖像的最終效果[8]，也就是說像素點(diǎn)越多，寄存器儲(chǔ)存的電荷就越多，那么最終獲得的物體影像就越清晰，更接近物體真實(shí)狀態(tài)。

為了保證四臺(tái)CCD攝像機(jī)能夠?qū)崿F(xiàn)同步采集，需要保證四臺(tái)機(jī)器同時(shí)觸發(fā)[9]。因此，構(gòu)建同步信號(hào)電路為攝像機(jī)提供同步信號(hào)。現(xiàn)階段大部分CCD攝像機(jī)都有內(nèi)、外同步兩種功能，更先進(jìn)的一些的不僅擁有輸出端口還存在外同步輸入端口來實(shí)現(xiàn)攝像機(jī)的同步觸發(fā)。

當(dāng)對(duì)靜態(tài)物體進(jìn)行拍攝時(shí)，只需要一臺(tái)攝像機(jī)，所以不需要輸入同步觸發(fā)信號(hào)，只要將輸出線和對(duì)應(yīng)的采集系統(tǒng)直接連接即可獲得既定圖像。而當(dāng)對(duì)運(yùn)動(dòng)物體進(jìn)行拍攝時(shí)，由于需要使用多個(gè)攝像機(jī)來確保夠能夠準(zhǔn)確捕捉到運(yùn)動(dòng)物體完整的運(yùn)動(dòng)狀態(tài)，攝像機(jī)沒有同步啟動(dòng)就會(huì)導(dǎo)致畫面獨(dú)立。因此，在這種情況下就要通過攝像機(jī)的外同步端口進(jìn)行連接，通過同步觸發(fā)信號(hào)對(duì)攝像機(jī)進(jìn)行控制以達(dá)到精準(zhǔn)的同步拍攝。外同步連接示意圖如圖4所示。

圖4 外同步方式連接示意圖

傳統(tǒng)的圖像采集控制電路有以PC為核心、以DSP信號(hào)為核心、以FPGA為核心等。近幾年，隨著人們對(duì)FPGA的不斷深入研究，F(xiàn)PGA技術(shù)[10]成為了較為常用的圖像采集系統(tǒng)的解決方案。其較為典型的系統(tǒng)框圖如圖5所示。

圖5 典型的FPGA采集系統(tǒng)框圖

圖像緩存的主要過程如下：首先兩片SDRAM通過雙時(shí)鐘FIFO有效的實(shí)現(xiàn)數(shù)據(jù)接收，為使采集更具有效性，使用乒乓操作[11]對(duì)兩片SDRAM進(jìn)行處理。圖像緩存結(jié)構(gòu)如圖6所示。

圖6 圖像緩存處理模塊結(jié)構(gòu)

采用PCI總線建立圖像采集系統(tǒng)和上位機(jī)之間的通信連接，該方法可以同時(shí)控制多個(gè)外圍設(shè)備，數(shù)據(jù)傳輸能力較強(qiáng)，反應(yīng)較快，適合數(shù)據(jù)量較大數(shù)據(jù)傳輸，同時(shí)通過PCI9054橋芯片實(shí)現(xiàn)PIC與采集端的鏈接。則系統(tǒng)的總體結(jié)構(gòu)如圖7所示。

圖7 圖像合成信息同步采集系統(tǒng)框架

3 虛擬現(xiàn)實(shí)圖像信息配準(zhǔn)

為能夠更好地實(shí)現(xiàn)圖像合成，對(duì)采集到的虛擬現(xiàn)實(shí)圖像進(jìn)行圖像配準(zhǔn)，其流程如下：

1)對(duì)圖像進(jìn)行特征提取獲得特征點(diǎn)，找到提取后的特征點(diǎn)對(duì)；

2)對(duì)特征點(diǎn)對(duì)進(jìn)行匹配，獲得與之相應(yīng)的圖像空間坐標(biāo)參數(shù)；

3)通過圖像參數(shù)進(jìn)行圖像配準(zhǔn)。

在虛擬現(xiàn)實(shí)圖像中，SURF特征點(diǎn)[12]包含位置、方向、尺度等圖像信息，具有較高的獨(dú)立性和魯棒性，所以本研究將SURF作為特征提取目標(biāo)。設(shè)圖像I(X)中的任意特征點(diǎn)為X=(x，y)，則積分圖像I∑(X)為

(4)

則尺度為σ的圖像信息矩陣H(X，σ)為

(5)

式(5)中，Lxx(X，σ)、Lxy(X，σ)、Lyy(X，σ)是對(duì)二階導(dǎo)數(shù)和圖像卷積的描述。

以此為基礎(chǔ)建立圖像金字塔，在各個(gè)尺度上對(duì)特征點(diǎn)進(jìn)行定位，即可獲得較為穩(wěn)定的特征點(diǎn)。

若聯(lián)合概率使用聯(lián)合直方圖來表示，則圖像A、B的歸一化信息可以表示為

(6)

式(6)中，H(A)、H(B)為圖像A、B的熵，H(A，B)為聯(lián)合熵，則H(A)、H(B)可以定義為

(7)

(8)

式中，PA(i)為A的概率分布，PB(j)為B的概率分布，若PA，B(i，j)表示A、B的聯(lián)合概率，N表示直方圖級(jí)數(shù)，則通過聯(lián)合概率PA，B(i，j)可求得

(9)

圖像信息配準(zhǔn)需要使用多參數(shù)優(yōu)化算法在多維數(shù)空間搜索到最優(yōu)的多個(gè)配準(zhǔn)參數(shù)，目前基于圖像配準(zhǔn)的優(yōu)化算法有很多，考慮到虛擬現(xiàn)實(shí)對(duì)算法的需求，模擬圖像亞像素精度平移，對(duì)PV和HPV差值在x、y軸方向的合成信息曲線進(jìn)行考察如圖8所示。

圖8 圖像合成信息平移量曲線

遺傳算法的核心是隨機(jī)產(chǎn)生不同個(gè)體并將其組成不同種群，然后按照自然淘汰、基因變異等順序不停優(yōu)化，最終獲得最優(yōu)參數(shù)值。該方法能夠在全局范圍內(nèi)搜索極值，但是不能進(jìn)一步細(xì)化搜索，所以其局部?jī)?yōu)化能力較弱。Powell算法能夠進(jìn)行多尺度、多方向的搜索，其局部尋優(yōu)性能較強(qiáng)，但是該方法依賴于起始點(diǎn)的選擇，如果沒有準(zhǔn)確的選擇起始點(diǎn)，則會(huì)造成搜索結(jié)果存在誤差等問題。

綜上所述，將兩種方法結(jié)合既能夠更好的進(jìn)行全局化搜索又能在極值點(diǎn)范圍內(nèi)進(jìn)行更完善的細(xì)化搜索。在尋找全局極值點(diǎn)的過程中，使用較為簡(jiǎn)易的PV差值法進(jìn)行搜索，在細(xì)化搜索的過程中使用HPV差值法對(duì)搜索到的全局信息進(jìn)行優(yōu)化。使用結(jié)合算法的具體配準(zhǔn)過程如下：

a)用PV差值算法計(jì)算虛擬現(xiàn)實(shí)圖像合成信息，利用遺傳算法初步搜索優(yōu)化參數(shù)。

b)將優(yōu)化的參數(shù)作為Powell算法的起始點(diǎn)，使用HPV差值算法對(duì)合成信息進(jìn)行計(jì)算，并且進(jìn)行細(xì)化搜索。

c)獲得配準(zhǔn)的最優(yōu)參數(shù)。

d)完成信息配準(zhǔn)合成全過程。

4 實(shí)驗(yàn)與結(jié)果分析

為證明所提的虛擬現(xiàn)實(shí)中圖像合成信息同步采集方法的有效性，設(shè)計(jì)對(duì)比實(shí)驗(yàn)加以驗(yàn)證。所用的對(duì)比方法分別為文獻(xiàn)[4]中的多幀圖像信息采集處理方法和文獻(xiàn)[5]中的圖像信息數(shù)據(jù)高速采集方法。

首先，為判斷本文方法的時(shí)效性，以圖像采集延遲為檢驗(yàn)指標(biāo)，在不同的采集間隔時(shí)間下，對(duì)分辨率不同的單幅/多幅畫面進(jìn)行采集，統(tǒng)計(jì)本文方法的采集延遲時(shí)間，結(jié)果如表1所示。

表1 圖像采集延遲測(cè)試

根據(jù)表1數(shù)據(jù)可以看出，圖像采集過程的延遲量除了受分辨率和畫面數(shù)影響之外，還收到采集間隔時(shí)間的影響。當(dāng)間隔時(shí)間為1秒時(shí)，圖像采集過程最多會(huì)有179毫秒的延遲；當(dāng)時(shí)間間隔為5秒時(shí)，圖像采集過程最多會(huì)有54毫秒的延遲；當(dāng)時(shí)間間隔大于10秒時(shí),,圖像采集過程最多會(huì)有0.14毫秒的延遲，此時(shí)，延遲時(shí)間可以忽略不計(jì)。

此外，不論是單幅畫面圖像還是多幅畫面圖像，盡管圖像分辨率和采集間隔時(shí)間不斷發(fā)生變化，但應(yīng)用本文方法后， 圖像采集延遲始終較小，均處于200毫秒以下。這是因?yàn)楸疚姆椒ㄒ訤PGA技術(shù)為控制電路，通過攝像機(jī)連接接口將圖像數(shù)據(jù)傳輸至FPGA緩存模塊中，再通過PCI接口傳輸?shù)接?jì)算機(jī)內(nèi)，簡(jiǎn)化了以往復(fù)雜的傳輸步驟，從而有效減少了圖像信息采集過程的延遲。

為進(jìn)一步驗(yàn)證本文方法的圖像采集性能，將本文方法與2種對(duì)比方法進(jìn)行性能對(duì)比分析。

實(shí)驗(yàn)的硬件環(huán)境如下：Intel(R)Core(TM)2Duo 2.20GHz處理器，內(nèi)存為512MB，硬盤空間為10GB。軟件環(huán)境如下：Windows XP操作系統(tǒng)，網(wǎng)絡(luò)協(xié)議為TCP/IP。利用不同方法采集同一場(chǎng)景中的信息，得到對(duì)比結(jié)果如圖9所示。

圖9 不同方法采集結(jié)果

根據(jù)圖9可以看出，利用文獻(xiàn)[4]方法采集到的圖像噪點(diǎn)信息明顯，而文獻(xiàn)[5]方法采集到的圖像對(duì)比度偏低。而利用本文方法采集到的圖像清晰度明顯，且圖像平滑度較高。綜上可知，本文方法有效提高了圖像信息的采集效果，也充分證明了本文方法的可行性和有效性。

5 結(jié)束語(yǔ)

為更有效地采集圖像合成信息，本文提出虛擬現(xiàn)實(shí)中圖像合成信息同步采集方法。并通過實(shí)驗(yàn)結(jié)果表明了該方法的適時(shí)性能較高，采集效果更好，具有較高的應(yīng)用價(jià)值。