基于數(shù)字化全息的虛實混合場景動態(tài)三維顯示

李 勇，何良波，詹建東，黃 凱

（1. 浙江師范大學(xué) 信息光學(xué)研究所，浙江 金華321004；2. 浙江省光信息檢測與顯示技術(shù)研究重點實驗室，浙江 金華321004）

1 引 言

全息三維顯示是一種理想的三維顯示技術(shù)，自全息術(shù)［1］提出以來就受到研究者的關(guān)注［2-3］。隨著技術(shù)的發(fā)展，全息術(shù)也由模擬走向數(shù)字。數(shù)字化全息的出現(xiàn)為全息圖的存儲、傳輸及復(fù)制提供了便利，它在虛擬現(xiàn)實（VR）、增強(qiáng)現(xiàn)實（AR）、混合現(xiàn)實（MR）中有廣闊的應(yīng)用前景［4-6］。目前主要有計算機(jī)制全息與數(shù)字全息這兩種數(shù)字化全息。前者由Kozma 等［7］最早提出，Lohmann 等［8］首先實現(xiàn)。它使得由利用計算機(jī)創(chuàng)作的虛擬三維場景直接制作全息圖成為現(xiàn)實，實現(xiàn)了三維場景全息圖的全數(shù)字化制作。后者由Goodman 等［9］提出，采用光導(dǎo)攝像管探測器進(jìn)行無透鏡傅里葉變換全息圖的數(shù)字化并利用快速傅里葉變換（FFT）實現(xiàn)了全息圖數(shù)字再現(xiàn)。Schnars 等［10］利 用CCD 進(jìn) 行 了 光 學(xué) 全 息 圖 的 數(shù)字化。數(shù)字全息提供了一種真實場景三維信息數(shù)字化手段。

在MR、元宇宙等應(yīng)用中常常需要將真實三維場景和虛擬三維場景混合顯示。常用的方法有先采用三維成像方法將真實場景數(shù)字化［11-12］，再與虛擬場景混合，然后制作CGH。這種方法在場景級別進(jìn)行虛實混合，場景的幾何變換比較靈活，采集的三維場景尺度從厘米到百米級別甚至更大。三維數(shù)據(jù)采集及全息圖制作對計算能力的要求較高。另一種方法是光波復(fù)振幅或全息圖級別的虛實場景混合。用DH 記錄真實三維場景，然后與虛擬場景的CGH 混合。目前這種方法記錄的真實場景尺度從亞微米到10 cm 級別。由于是全息圖混合，對計算能力的要求低。Arima等［13］采用合成孔徑無透鏡傅里葉變換數(shù)字全息圖記錄，利用三步相移法從DH 中獲得包含真實物體三維信息的物光波復(fù)振幅并與虛擬建模物體的物光波復(fù)振幅在計算機(jī)中計算得到全息圖，實現(xiàn)了靜態(tài)單色場景的虛實混合全息三維顯示。Matsushims 等［14］利用相同的方法實現(xiàn)了彩色場景的虛實混合三維顯示。該方法在復(fù)振幅級別進(jìn)行虛實場景混合，由于采用了相移法獲取物光波復(fù)振幅，不適合動態(tài)三維場景的采集。胡等［15］在混合場景的動態(tài)全息三維顯示方面進(jìn)行了初步的探索。搭建再現(xiàn)像混合光學(xué)系統(tǒng)，將DH 和CGH 分別輸入不同的空間光調(diào)制器中，實現(xiàn)混合場景動態(tài)全息三維顯示。該方法利用光學(xué)系統(tǒng)混合再現(xiàn)像，對計算機(jī)運(yùn)算能力要求低，但是存在未充分利用空間光調(diào)制器能力的問題。本文提出全息圖級別虛實場景混合方法，首先對獲取的數(shù)字全息圖根據(jù)設(shè)計需求進(jìn)行處理，然后將處理后的DH 與CGH 進(jìn)行混合，利用彩色全息三維顯示系統(tǒng)實現(xiàn)了彩色動態(tài)三維場景的虛實混合顯示。給出了理論分析和實驗驗證。

2 原 理

2.1 全息記錄及融合

設(shè)全息面上的物光復(fù)振幅分布為O（x，y），參考光復(fù)振幅分布為R（x，y），根據(jù)光學(xué)全息原理，全息面上的干涉光強(qiáng)為：

I(x，y)=|O(x，y)+R(x，y)|2=|O(x，y)|2+|R(x，y)|2+O(x，y)R*(x，y)+O*(x，y)R(x，y)=|O(x，y)|2+|R(x，y)|2+2O'(x，y)R'(x，y)·cos[φo(x，y)-φr(x，y)]. （1）

式中φo（x，y）與φr（x，y）分別為物光與參考光的相位，O'（x，y）與R'（x，y）分別為全息面上物光和參考光的振幅。式（1）的前兩項分別為物光與參考光的自相干項，屬于低頻成分，在再現(xiàn)時表現(xiàn)為再現(xiàn)像的零級。第3 項包含了物體的再現(xiàn)像與共軛像。實際中只需要記錄第3 項就能夠正確再現(xiàn)記錄的物體。對于再現(xiàn)像，零級為噪音。在DH 中可以通過濾波的方法濾除零級。而在CGH 中只需要計算第3 項，再加上直流偏置，保證最后的干涉光強(qiáng)非負(fù)。

采用點元法計算CGH 時，物光O（x，y）表示為：

式中Ai（xo，yo）為（xo，yo）處物點發(fā)出光波的幅為物點到全息面上（x，y）點的距離，k=2π/λ為波數(shù)，N為物點數(shù)。采用點光源作為參考光時：度，

式中A（xr，yr）為點光源的幅度，rr為點光源到全息面上（x，y）點的距離。將式（2）、（3）代入式（1）的第3、4 項得：

I′CGH（x，y）取值范圍為實數(shù)，也稱為雙極強(qiáng)度［16］全息圖。式（4）表明，物體的雙極強(qiáng)度CGH由組成物體各點源的雙極強(qiáng)度CGH 疊加而成。在DH 中只要將其做高通濾波，濾除零級，得到的就是雙極強(qiáng)度DH。將雙極強(qiáng)度DH 與CGH 相加再加直流偏置即可實現(xiàn)DH 與CGH 融合。

式中Im（x，y）為融合后的全息圖，Ioffset為偏置。

2.2 全息圖采樣率變換

實際中，采集全息圖的圖像傳感器像素間隔與顯示全息圖的空間光調(diào)制器（SLM）像素間隔難以做到一致。采用與參考光共軛的再現(xiàn)光照明，忽略積分項前的因子，無透鏡傅里葉變換全息圖的再現(xiàn)像復(fù)振幅表示為：

設(shè)圖像傳感器的像素間隔為Δ，SLM 的像素間隔為Δ′，則縮放因子α=Δ'/Δ。根據(jù)傅里葉變換的縮放性質(zhì)，此時全息圖再現(xiàn)像復(fù)振幅為：

當(dāng)α≠1 時，再現(xiàn)像將發(fā)生縮放。需要對DH進(jìn)行重采樣，將DH 的采樣率變換到與SLM 的一致。根據(jù)采樣定理，采樣后全息圖的頻譜表示為：

式中G（jξ，jη）表示采樣前全息圖的頻譜。在不發(fā)生混疊時，采樣后全息圖的有效頻譜范圍為1/Δ。設(shè)以Δ′對全息圖進(jìn)行重采樣，則其有效頻譜范圍變?yōu)?/Δ′。因此全息圖采樣率變換實際上是其有效頻譜范圍的變換。先將DH 做FFT，再在頻域補(bǔ)零（采樣周期變?。┗虿眉簦ú蓸又芷谧兇螅?，使頻域大小變?yōu)樵瓉淼?/Δ′，然后再做IFFT 就可以實現(xiàn)DH 采樣率的變換。

2.3 再現(xiàn)像幾何變換

在虛實混合三維顯示中，尤其是涉及到人機(jī)交互時，常常需要對場景中的物體進(jìn)行縮放、旋轉(zhuǎn)及平移等幾何變換操作。由于采用了無透鏡傅里葉變換全息圖，再現(xiàn)像在其譜面附近。在全息圖的譜面進(jìn)行幾何變換能夠?qū)崿F(xiàn)全息圖再現(xiàn)像的縮放、面內(nèi)旋轉(zhuǎn)與平移等操作。譜面的幾何變換表示為：

式（9）中（ξ′，η′）為變換后的坐標(biāo)，s為縮放因子，θ為旋轉(zhuǎn)角度，Tξ與Tη分別為水平與垂直方向的平移量。譜面縮放后新的樣點值采用雙線性插值得到。

在2.2 節(jié)中的采樣率變換也是在頻域操作，需要注意的是采樣率變換通過在頻域補(bǔ)零或裁剪將頻域尺寸（頻域二維方向上的點數(shù)）進(jìn)行變換；而再現(xiàn)像的縮放只改變像部分的尺寸，不能改變頻域尺寸。

3 實驗及結(jié)果分析

為驗證提出方法的正確性，對一臺索尼4K投影儀（像素間隔Δ'=4.06 μ m，像素數(shù)為4 096×2 160）進(jìn)行了改造，拆除原來的光學(xué)系統(tǒng)，利用其3 片4K 的LCOS 搭建了彩色動態(tài)全息三維顯示系統(tǒng)。采用像素間隔Δ=3.5 μm，采樣點數(shù)為2 000×2 000 的CMOS 攝像機(jī)記錄真實場景的DH。

3.1 全息三維顯示系統(tǒng)

圖1 為彩色動態(tài)全息三維顯示系統(tǒng)結(jié)構(gòu)示意圖，圖中Laser-R、Laser-G 及Laser-B 分別是波長為632，532，473 nm 的固態(tài)激光器，BE1～BE3 為帶空間濾波的擴(kuò)束器，L1～L6是焦距為30 cm 的凸透鏡，BS1～BS3 是分束棱鏡，SLM 為空間光調(diào)制器，XBOX 為合色棱鏡。顯示系統(tǒng)由R、G、B三路再現(xiàn)子系統(tǒng)構(gòu)成，每路激光器發(fā)出的光經(jīng)過擴(kuò)束、濾波再通過由兩個凸透鏡構(gòu)成的變換裝置，將再現(xiàn)光變換到與記錄參考光共軛，然后通過分束棱鏡照射到SLM 上。顯示在SLM 上的全息圖將光調(diào)制后，反射光再通過分束棱鏡到達(dá)XBOX。通過XBOX 將三色再現(xiàn)像合成彩色像。顯示系統(tǒng)通過HDMI 接口與計算機(jī)連接，通過計算機(jī)將彩色全息圖序列送入SLM 實現(xiàn)彩色動態(tài)全息三維顯示。顯示系統(tǒng)的刷新率為30 Hz。

圖1 彩色動態(tài)全息三維顯示系統(tǒng)結(jié)構(gòu)示意圖Fig.1 Structure diagram of color dynamic holographic three-dimensional display system

在搭建的系統(tǒng)中，拆除了LCOS 前的偏振片，使其成為相位型SLM。根據(jù)光學(xué)全息原理［17］，在其上顯示振幅型全息圖相當(dāng)于將全息圖漂白成為相位型全息圖，大幅提高了全息圖的衍射效率。

3.2 實驗及結(jié)果分析

利用搭建的系統(tǒng)進(jìn)行了虛實場景全息圖的融合、幾何變換實驗。將場景按R、G、B 三色分為3 個通道，每個通道分別處理。全息圖具體融合步驟如下：

（1）將采集到的DH 做FFT；

（2）設(shè)計濾波器掩模在頻域做高通濾波，濾除零級；

（3）由于α＞1，將頻域的數(shù)據(jù)水平與垂直方向分別裁剪到原來的1/α；

（4）對選中的物體進(jìn)行幾何變換；

（5）對處理后的頻譜做IFFT，得到雙極強(qiáng)度DH；

（6）以雙極強(qiáng)度DH 為初值，進(jìn)行雙極強(qiáng)度CGH 計算，實現(xiàn)DH 與CGH 融合；

（7）對融合后的全息圖歸一化得到最終的數(shù)字化全息圖。

首先采用CMOS 攝像機(jī)拍攝了實際物體的無透鏡傅里葉變換全息圖，拍攝參數(shù)如下：記錄波長為632 nm，物體尺寸約為7 mm×10 mm，記錄距離為350 mm。圖2（a）為制作數(shù)字全息圖的瓢蟲模型，圖2（b）為DH 局部放大圖。然后制作了由紅色與藍(lán)色數(shù)據(jù)組成的3D 人像、棋盤格及綠色的漢字“光”構(gòu)成的CGH。棋盤格位于人像后方，為場景中深度最大的物體，尺寸為15 mm×15 mm。利用三維數(shù)據(jù)及顏色通道分別計算對應(yīng)的R、G、B 三色CGH，再將預(yù)處理后的DH 與紅色通道的CGH 融合，將制作的彩色全息圖送入顯示系統(tǒng)進(jìn)行光學(xué)再現(xiàn)。以毛玻璃承接再現(xiàn)像，采用單反相機(jī)拍攝。圖3（a）是融合后的數(shù)字化全息圖局部，圖3（b）是光學(xué)再現(xiàn)像。對再現(xiàn)像進(jìn)行了尺寸測量，真實物體的再現(xiàn)像與實際尺寸符合，虛擬物體再現(xiàn)像與設(shè)計尺寸符合。DH 與CGH 融合操作（不包括CGH 計算）的時間為0.34 s。

圖2 實際物體（a）及其局部DH（b）Fig.2 Real object（a）and its partial DH（b）

圖3 混合場景彩色全息局部（a）及再現(xiàn)像（b）Fig.3 Partial hybrid color hologram（a）and the recon structed image（b）

接著進(jìn)行了再現(xiàn)像的縮放實驗。在頻域分別將DH 記錄的物體及CGH 記錄的物體進(jìn)行放大。圖4（a）是瓢蟲模型放大2 倍，圖4（b）是棋盤格與人像模型放大1.5 倍的再現(xiàn)結(jié)果。再現(xiàn)像未發(fā)現(xiàn)明顯失真。

圖4 再現(xiàn)像放大實驗結(jié)果。（a）瓢蟲模型放大2 倍；（b）棋盤格與人像模型放大1.5 倍。Fig.4 Experimental results of magnifying reconstructed image.（a）Ladybug model magnified by 2×；（b）Chessboard and portrait model magnified by 1.5×.

然后進(jìn)行了場景中物體平移實驗。在頻域?qū)⒅付ǖ奈矬w進(jìn)行了移動。圖5（a）是漢字“光”水平向右移動5 mm 的光學(xué)再現(xiàn)像；圖5（b）是瓢蟲水平向右移動2.5 mm，豎直向下移動5 mm 的光學(xué)再現(xiàn)結(jié)果。移動位置達(dá)到設(shè)計要求。

圖5 物體平移實驗結(jié)果。（a）漢字“光”右移5 mm；（b）瓢蟲右移2.5 mm，下移5 mm。Fig.5 Experimental results of translating objects.（a）Chinese character "light" shifted 5 mm to the right；（b）Ladybug model shifted 2.5 mm to the right and 5 mm down.

最后進(jìn)行了場景中物體隱藏面消除實現(xiàn)遮擋效果實驗。首先根據(jù)物體前后關(guān)系制作頻域二元掩模，透光為1，被遮擋部分為0。在頻域進(jìn)行處理時，被遮擋物體的頻譜乘以被遮擋部分輪廓相對應(yīng)的二元掩模，實現(xiàn)隱藏面消除。圖6 是物體有重疊場景的對比實驗結(jié)果。其中圖6（a）是未經(jīng)掩模遮擋處理的光學(xué)再現(xiàn)結(jié)果，圖6（b）是經(jīng)過掩模遮擋處理的光學(xué)再現(xiàn)結(jié)果。在實驗結(jié)果中可以清楚看到，未經(jīng)掩模遮擋處理時，重疊部分處在后面的物體透過了處在前面的物體，導(dǎo)致重疊部分出現(xiàn)了不應(yīng)存在的像。而圖6（b）中經(jīng)過掩模處理的物體重疊場景，再現(xiàn)結(jié)果符合實際情況。

圖6 遮擋效果實驗結(jié)果。（a）無遮擋處理；（b）遮擋處理。Fig.6 Experimental results of occlusion.（a）Result without occlusion processing；（b）Result with occlusion processing.

4 結(jié) 論

虛實場景混合三維顯示是三維顯示技術(shù)發(fā)展的趨勢。本文提出了一種全息三維顯示中虛實場景混合及再現(xiàn)像面內(nèi)幾何變換方法。初步的實驗結(jié)果驗證了該方法的有效性。在所提出的方法中，場景融合、再現(xiàn)像的幾何變換只需在全息圖中進(jìn)行操作，大幅降低了全息圖重新制作的時間，在實時交互中有潛在的應(yīng)用前景。目前的全息圖融合與處理是離線進(jìn)行的，今后將設(shè)計算法，實現(xiàn)實時融合。