基于深度學(xué)習(xí)的離軸數(shù)字全息成像技術(shù)

單明廣，管學(xué)亮，劉 磊，鐘 志

（哈爾濱工程大學(xué)a.信息與通信工程學(xué)院；b.先進(jìn)船舶通信與信息技術(shù)工信部重點(diǎn)實(shí)驗(yàn)室，哈爾濱 150001）

0 引言

離軸數(shù)字全息技術(shù)由于參考光與物體光之間存在一定角度，可在頻譜空間分離全息的實(shí)像、共軛像和零級像，能夠有效地解決零級像和共軛像難以去除的問題，因此可以通過一次曝光采集完成全場定量成像測量，具有速度快、實(shí)驗(yàn)結(jié)構(gòu)簡單等特點(diǎn)。Dashdavaa等［1］提出了一種利用時分復(fù)用技術(shù)和頻譜偏移技術(shù)重建離軸數(shù)字全息圖的方法，該方法通過數(shù)字時分復(fù)用技術(shù)和一張額外的旋轉(zhuǎn)90°的全息圖去除零級像，再通過頻譜偏移技術(shù)提取實(shí)像，進(jìn)而獲得高質(zhì)量的再現(xiàn)像；Liu等［2］提出了一種利用克羅內(nèi)克積插值法提高離軸數(shù)字全息圖質(zhì)量的方法，該方法通過克羅內(nèi)克積對全息圖進(jìn)行插值操作，從而在原始空間產(chǎn)生混疊頻譜，進(jìn)而抑制零級像，增加再現(xiàn)像的質(zhì)量。但是這兩種傳統(tǒng)數(shù)字全息重建算法除了需要采集或生成額外全息圖外，還需要精確的先驗(yàn)信息，如：入射光波長以及物距；或者復(fù)雜的硬件結(jié)構(gòu)，如：馬赫曾德爾干涉儀結(jié)構(gòu)［3］。因此，如何針對離軸數(shù)字全息系統(tǒng)實(shí)現(xiàn)端到端［4］的重建具有重要的研究價值。

現(xiàn)階段的重建算法中，Holo-UNet［5］通過優(yōu)化U-Net網(wǎng)絡(luò)結(jié)構(gòu)，修改了不同維度的卷積核大小，提升了重建性能；但是檢測速度和檢測精度依然存在很大的提升空間。本文提出了一種基于HRU-Net（Holographic Reconstruction U-shaped Network）的離軸數(shù)字全息重建算法。該算法首先輸入單張全息圖；然后通過非對稱殘差卷積塊［6］獲得不同尺度的底層特征；接著通過堆疊多個殘差塊［7］進(jìn)行全息特征的深度提?。蛔詈笸ㄟ^轉(zhuǎn)置卷積與特征拼接［8］輸出高質(zhì)量的重建圖像。

1 離軸數(shù)字全息術(shù)

本算法的數(shù)據(jù)集分為兩部分，其中，實(shí)驗(yàn)振幅全息圖通過馬赫曾德爾干涉儀結(jié)構(gòu)采集，結(jié)構(gòu)如圖1（a）所示；實(shí)驗(yàn)相位全息圖通過白光衍射顯微系統(tǒng)［9］采集，結(jié)構(gòu)如圖1（b）所示；最終采集到的兩種離軸數(shù)字全息圖都是通過計算機(jī)進(jìn)行傳輸與存儲的。

圖1 離散數(shù)字全息術(shù)光路結(jié)構(gòu)

實(shí)驗(yàn)中使用的振幅樣本和相位樣本如圖2 所示，通過對這些樣品的不同區(qū)域進(jìn)行全息圖像采集，得到CCD相機(jī)大?。? 024 ×1 280）的全息圖，裁剪并制作成分辨率為512 ×512 的全息數(shù)據(jù)集。

圖2 振幅樣本和相位樣本示意圖

2 實(shí)驗(yàn)原理

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

整個網(wǎng)絡(luò)結(jié)構(gòu)共4 部分（全部由紅色虛線框標(biāo)注），HRU-Net的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，分別是輸入全息圖、特征提取、特征輸出以及輸出重建圖。

圖3 HRU-Net的網(wǎng)絡(luò)結(jié)構(gòu)示意圖

為了增加不同尺度的底層特征信息，更好地重建全息圖，本算法引入了非對稱卷積結(jié)構(gòu)，通過與殘差卷積結(jié)合，可以在減少參數(shù)和計算量的同時增加非線性因素［10］，提高網(wǎng)絡(luò)結(jié)構(gòu)的表達(dá)能力。

由于全息圖是16 位整型數(shù)據(jù)，而重建圖是32 位浮點(diǎn)型數(shù)據(jù)，建立兩者之間的像素級映射關(guān)系相較于普通數(shù)據(jù)［11］更復(fù)雜，因此網(wǎng)絡(luò)深度對于全息圖像重建任務(wù)至關(guān)重要。同時為了避免傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)（CNN）［12］的梯度消失/爆炸問題，使用殘差卷積塊［13］對特征提取部分進(jìn)行改進(jìn)，通過融合輸入特征與輸出特征，加快網(wǎng)絡(luò)計算速度，增加特征提取效率。殘差卷積的公式如下：

考慮到訓(xùn)練時間與實(shí)驗(yàn)環(huán)境的限制，第1 次降采樣采用池化層［14］實(shí)現(xiàn)，但是由于池化層只會保留一些主要的特征，如平均值或最大值，以及該主要特征與其他特征之間的相對位置關(guān)系，所以會丟失部分特征信息（默認(rèn)特征圖邊長減少1/2，特征信息丟失3/4）。因此本算法在后續(xù)的降采樣中使用殘差卷積塊1 替代池化層，盡可能地保留輸入特征信息。

針對全息圖數(shù)據(jù)較復(fù)雜的特性，為了建立像素級映射關(guān)系，增加全息圖的重建質(zhì)量，本算法共使用4 次殘差卷積塊1 和5 次殘差卷積塊2，整個網(wǎng)絡(luò)結(jié)構(gòu)總計36 個卷積層［15］，極大地增加了網(wǎng)絡(luò)深度和參數(shù)量，提高了網(wǎng)絡(luò)的泛化能力。

激活函數(shù)層有兩種實(shí)現(xiàn)方式，其中，實(shí)驗(yàn)振幅全息圖選擇ReLU激活函數(shù)，其定義為

而實(shí)驗(yàn)相位全息圖由于重建相位值可能為負(fù)，因此選擇Leaky ReLU激活函數(shù)，其定義為

特征輸出主要由轉(zhuǎn)置卷積以及特征拼接兩部分構(gòu)成。其中，為了實(shí)現(xiàn)輸入輸出等分辨率要求，上采樣次數(shù)應(yīng)該與降采樣次數(shù)相同，即5 次，而為了增加轉(zhuǎn)置卷積的穩(wěn)定性，在每一層轉(zhuǎn)置卷積后增加一層3 ×3 卷積層；為了增加特征的利用率，增加網(wǎng)絡(luò)重建性能，將降采樣的特征圖與對稱位置上采樣的特征圖進(jìn)行特征拼接，增加重建圖的分辨率。

2.2 實(shí)驗(yàn)環(huán)境

本算法的實(shí)驗(yàn)環(huán)境為Windows 7 旗艦版，電腦配置為CPU（i7-6800K @ 3.40 GHz），GPU（Geforce GTX 1 080，8 GB顯存），32 GB 內(nèi)存；采集到的全息圖按照80∶10∶10 的比例隨機(jī)分成訓(xùn)練集、驗(yàn)證集和測試集；網(wǎng)絡(luò)的權(quán)重和偏置采用Xavier 初始化器進(jìn)行初始化；考慮到訓(xùn)練時間和實(shí)驗(yàn)環(huán)境的限制，每次迭代的批大小設(shè)置為2；學(xué)習(xí)率設(shè)置為固定學(xué)習(xí)率0.000 1；網(wǎng)絡(luò)結(jié)構(gòu)采用TensorFlow 框架實(shí)現(xiàn)；優(yōu)化算法是Adam 優(yōu)化器；損失函數(shù)為MSE，指網(wǎng)絡(luò)輸出和對應(yīng)標(biāo)簽的均方誤差，定義為

式中：U1代表預(yù)測結(jié)果；U2表示標(biāo)簽。分辨率為m×n。

2.3 評價指標(biāo)

用于評估圖像重建質(zhì)量的指標(biāo)分別是PSNR以及SSIM，其中，PSNR指峰值信噪比，其典型值一般在30～40 dB之間；SSIM 是結(jié)構(gòu)相似度，其典型值一般在-1～+1 之間，

式中：x和是實(shí)像和重建圖像；C1和C2是常數(shù)。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)振幅全息數(shù)據(jù)

本算法使用的振幅實(shí)驗(yàn)數(shù)據(jù)樣本是USAF1951 分辨率板的不同區(qū)域。使用角譜法和余弦分值自動聚焦算法來重建和聚焦全息圖，使用聚焦重建圖像直接作為準(zhǔn)確的標(biāo)簽。部分測試結(jié)果如圖4 所示。圖中，（a）～（d）為全息圖；（e）～（h）為對應(yīng)的標(biāo)簽；（i）～（l）為Holo-UNet網(wǎng)絡(luò)輸出；（m）～（p）為本算法的網(wǎng)絡(luò)輸出。結(jié)合主觀評價和評價指標(biāo)?？梢钥吹剑舅惴ňW(wǎng)絡(luò)輸出的重建質(zhì)量較好，擁有清晰的邊緣和更多細(xì)節(jié)（見表1）。

圖4 振幅實(shí)驗(yàn)全息數(shù)據(jù)測試結(jié)果

3.2 實(shí)驗(yàn)相位全息數(shù)據(jù)

本算法使用的相位實(shí)驗(yàn)數(shù)據(jù)樣本是不同區(qū)域的血紅細(xì)胞、相位板、HeLa細(xì)胞和相位分辨率板。同樣地，使用聚焦重建圖像直接作為準(zhǔn)確的標(biāo)簽。與振幅實(shí)驗(yàn)數(shù)據(jù)不同的是，由于相位實(shí)驗(yàn)數(shù)據(jù)的相位值可能是負(fù)值，Leaky ReLU 激活函數(shù)比ReLU 激活函數(shù)更有效。部分測試結(jié)果如圖5 所示。圖中：（a）～（d）為全息圖；（e）～（h）為對應(yīng)的標(biāo)簽；（i）～（l）為Holo-UNet網(wǎng)絡(luò)輸出；（m）～（p）為本算法的網(wǎng)絡(luò)輸出。結(jié)合主觀評價和評價指標(biāo)，可以看到本算法網(wǎng)絡(luò)輸出的重建質(zhì)量較好，擁有清晰的邊緣和更多的細(xì)節(jié)（見表1）。

圖5 相位實(shí)驗(yàn)全息數(shù)據(jù)測試結(jié)果

表1 不同樣本的測試集性能指標(biāo)

為了深入分析相位恢復(fù)的準(zhǔn)確性以及全息重建的質(zhì)量，從測試集中任選一張圖對其標(biāo)有紅色虛線的部分進(jìn)行剖線對比，結(jié)果如圖6 所示。結(jié)合剖線對比圖可以再次看出，輸出結(jié)果與標(biāo)簽結(jié)果完全一致，具有較低的相位恢復(fù)噪聲。圖中：（a）為全息圖；（b）為對應(yīng)的標(biāo)簽；（c）為Holo-UNet 網(wǎng)絡(luò)輸出；（d）為本算法的網(wǎng)絡(luò)輸出；（e）和（g）是（b）分別與（c）和（d）在坐標(biāo)248 的剖線擬合圖，（f）和（h）是（b）分別與（c）和（d）的相位誤差圖。結(jié)合主觀評價和評價指標(biāo)，可以看到本算法網(wǎng)絡(luò)輸出的重建質(zhì)量較好，擁有清晰的邊緣和更多的細(xì)節(jié)。

圖6 相位實(shí)驗(yàn)全息數(shù)據(jù)剖線對比圖

4 結(jié)論

本文提出了一種端到端（輸入單張全息圖，輸出單張重建圖）的深度神經(jīng)網(wǎng)絡(luò)重建框架HRU-Net，用于實(shí)現(xiàn)離軸數(shù)字全息的圖像重建。通過實(shí)驗(yàn)振幅圖像與實(shí)驗(yàn)相位圖像對算法進(jìn)行驗(yàn)證，并引入了優(yōu)化模塊進(jìn)一步提升算法在圖像重建方面的有效性。同時，本算法解決了全息圖的分辨率受硬件限制的問題，且在沒有先驗(yàn)知識和額外全息圖的情況下完成了高質(zhì)量的圖像重建，使得三維測量變得更加方便。除此之外，本算法與Holo-UNet相比，峰值信噪比和結(jié)構(gòu)相似度度更高，有望應(yīng)用在粒子追蹤、超分辨率和無損壓縮等多個領(lǐng)域。

辦好期刊，用好期刊，提升理念，推進(jìn)實(shí)驗(yàn)室的創(chuàng)新與發(fā)展！