基于偏振圖像與粗糙深度圖的形狀重建*

周夢(mèng)園，楊?yuàn)^林

(吉首大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，湖南 吉首 416000)

偏振重建是X光線恢復(fù)形狀的重要方法，其因不依賴光照、對(duì)目標(biāo)物材料要求低且有實(shí)現(xiàn)高精度重建潛力等，廣泛應(yīng)用于醫(yī)學(xué)和文物數(shù)字化復(fù)原等領(lǐng)域.然而，偏振重建過(guò)程中存在的方位角歧義，會(huì)導(dǎo)致重建的形狀翻轉(zhuǎn)，使得重建結(jié)果的準(zhǔn)確性不高[1-2].深度相機(jī)問(wèn)世后，其深度質(zhì)量的提升成為研究熱點(diǎn).目前，深度相機(jī)所生成的粗糙深度圖的幾何形狀雖較精準(zhǔn)，但仍存在一定的噪聲和高頻模糊[3]，致使重建表面粗糙，缺乏細(xì)節(jié).因此，偏振或粗糙深度單一模態(tài)下很難滿足高精度重建要求.于是，眾多學(xué)者探究了粗糙深度圖與偏振圖像的融合重建[4-7]，開(kāi)啟了新思路.

不同于文獻(xiàn)[5-7]中的深度相機(jī)，本研究選用Realsensed435i深度相機(jī)獲取粗糙深度圖，選用尼康相機(jī)外加偏振鏡來(lái)獲取偏振圖像.由于偏振重建物體部分表面法向量的方位角存在π歧義，因此可利用深度圖在低頻較準(zhǔn)確的特點(diǎn)對(duì)偏振法線進(jìn)行校正[5].筆者擬計(jì)算粗糙深度圖法線與偏振法線，使用閾值分割法將偏振法線的歧義部分進(jìn)行分離并校正;為了增強(qiáng)深度質(zhì)量，采用以深度約束為擬合項(xiàng)、偏振法線約束為光滑項(xiàng)的罰函數(shù)法進(jìn)行融合重建.

1 法線計(jì)算

1.1 深度圖計(jì)算法線

選用Realsensed435i深度相機(jī)獲取M×N像素大小的粗糙深度圖D∈RM×N.首先，將粗糙深度圖的像素坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)，即在(x，y)坐標(biāo)處的深度值可寫成一個(gè)真實(shí)世界坐標(biāo)的點(diǎn)云:

(1)

Q=(Px，y，Px1，y1，…，Pxk，yk)T.

(2)

1.2 偏振圖像計(jì)算法線

根據(jù)偏振成像原理，偏振強(qiáng)度圖像I可以寫成

其中：αp為偏振鏡旋轉(zhuǎn)的角度，是已知變量;Imax，Imin和φp分別為最大亮度值、最小亮度值及方位角，是未知變量.對(duì)圖像I進(jìn)行正弦波分解時(shí)，可用方位角φp、偏振度ρ及天頂角θp對(duì)圖像作參數(shù)化，其中

(3)

(4)

這里S0，S1，S2為Stockes向量的分量.求解參數(shù)ρ和φp需要3個(gè)或3個(gè)以上偏振角度的光強(qiáng)信息，因此筆者選取0°，45°，90°，135°這4個(gè)角度的偏振圖[11]進(jìn)行求解.若只考慮漫反射，則(x，y)位置的偏振度ρx，y、天頂角θpx，y及折射率n有如下關(guān)系:

(5)

其中折射率n=1.5，天頂角θp可通過(guò)分步式方法[5]計(jì)算.由(3)～(5)式最終可得偏振法線Npol=(cosφpsinθp，sinφpsinθp，cosθp)T.需要注意的是，由(4)式求解出的方位角會(huì)有π歧義，這會(huì)導(dǎo)致部分位置偏振法線的方向發(fā)生旋轉(zhuǎn).在產(chǎn)生π歧義的部分，因粗糙深度計(jì)算的法線方向更接近準(zhǔn)確值，故需要用粗糙深度計(jì)算的法線Nd對(duì)偏振法線Npol進(jìn)行校正.

1.3 深度校正偏振法線

眾所周知，偏振獲取的法線方向具模糊性，即方位角有2個(gè)取值，從而計(jì)算的法線也對(duì)應(yīng)2個(gè)值:

其中φp2與φp1對(duì)應(yīng)像素的值相減等于π.為了獲取高質(zhì)量的偏振法線，需要以深度信息作為先驗(yàn)來(lái)校正偏振法線，校正模型如下:

(6)

(7)

2 融合重建

采用中深度約束作擬合項(xiàng)、偏振法線約束作光滑項(xiàng)的罰函數(shù)方法實(shí)現(xiàn)融合重建[12]，該方法的離散模型如下:

(8)

其中：λ>0，為調(diào)節(jié)擬合項(xiàng)和光滑項(xiàng)的正則化參數(shù)；u為(x，y)處像素點(diǎn)位置；光滑后的深度Db(u)是P(u)的第3個(gè)分量；D(u)為未知深度；Nc(u)為偏振校正后的法線.光滑項(xiàng)是由切向量與修正后的偏振法線的垂直關(guān)系而得到的，這些切向量可以根據(jù)深度寫成線性的：

(9)

Dx，Dy∈RM×N分別為D在x和y方向上的導(dǎo)數(shù)的有限差分近似.考慮到獲取的深度圖為均勻離散采樣，在選取差分格式近似時(shí)，若6鄰域均存在，則盡可能使用平滑的中心差分近似:

有鄰域不可用的情況下，選用中心差分或向前/后差分近似計(jì)算，沒(méi)有鄰域的點(diǎn)將會(huì)被剔除.由此，差分近似得到的Dx，Dy每行最多有6個(gè)非零值，離散后構(gòu)建成一個(gè)非常稀疏的矩陣.由方程組(9)可知，切向量Tx，Ty與D是線性關(guān)系，整幅圖像的切向量可以根據(jù)深度寫成

(10)

(11)

(12)

其中I是MN×MN大小的單位矩陣，O是與I相同大小的零矩陣.

(13)

其中D左邊的向量大小為3MN×MN，Db為光滑后的粗糙深度圖.對(duì)于大型稀疏線性方程組(13)，可用QR求解器有效地求解D.

3 數(shù)值實(shí)驗(yàn)

本實(shí)驗(yàn)選用Intel的Realsensed435i深度相機(jī)獲取原始粗糙深度圖，選用尼康相機(jī)外加偏振鏡獲取偏振圖像.使用雙邊濾波對(duì)粗糙深度圖進(jìn)行平滑、雙三次插值放大處理，再與高斯濾波后的偏振圖像配準(zhǔn)，得到的預(yù)處理后的圖像大小均為256×256(圖1).

圖1 預(yù)處理后的圖像

分別用粗糙深度圖、偏振計(jì)算法線，再用閾值分割法對(duì)偏振法線進(jìn)行校正，結(jié)果如圖2所示.

圖2 法線校正過(guò)程

圖2(a)為深度計(jì)算出的法線，邊緣部分有部分空洞，這是由深度相機(jī)設(shè)備的限制造成的；偏振計(jì)算出的法線見(jiàn)圖2(b)；圖2(c)為深度校正偏振法線時(shí)產(chǎn)生的二值算子，圖中白色位置對(duì)應(yīng)需要校正的像素點(diǎn)位置，校正后的法線見(jiàn)圖2(d).為了對(duì)比偏振法線校正前后效果，基于傅里葉變換梯度重建方法[14]對(duì)圖2(b)和(d)進(jìn)行重建，抽取Y=150處重建表面的信號(hào)線進(jìn)行對(duì)比，結(jié)果如圖3所示.

圖3 法線校正前后對(duì)比

由圖3可見(jiàn)，校正前物體的重建形狀發(fā)生了嚴(yán)重扭曲，而經(jīng)過(guò)深度先驗(yàn)校正后，物體表面呈弧形走勢(shì)，這說(shuō)明校正后的重建形狀接近實(shí)驗(yàn)?zāi)繕?biāo)物，解決了偏振重建形狀翻轉(zhuǎn)的問(wèn)題.理想狀態(tài)下，本實(shí)驗(yàn)重建結(jié)果信號(hào)線應(yīng)為規(guī)正圓弧，而實(shí)際校正后信號(hào)線發(fā)生了一定程度的扭曲，其原因是偏振求解法線時(shí)僅考慮漫反射分量，未考慮鏡面反射分量，導(dǎo)致小范圍誤差.

通過(guò)閾值分割法得到校正后的法線，再將深度與校正后的法線進(jìn)行融合重建.深度圖重建結(jié)果如圖4(a)所示，從中可以看出，目標(biāo)物重建后整體幾何效果好，但表面粗糙缺乏細(xì)節(jié)；融合重建結(jié)果如圖4(b)所示，從中可以看出，目標(biāo)物融合重建后表面光滑，幾何形狀較好.

圖4 融合前后重建對(duì)比

為了比較融合效果，分別抽取深度重建、偏振重建及融合重建在Y=150處的信號(hào)線，如圖5所示.圖5中：實(shí)線表示深度重建，其表面高頻部分波動(dòng)頻率大且無(wú)規(guī)則，恢復(fù)的細(xì)節(jié)不明顯;點(diǎn)線表示偏振重建，其表面相對(duì)于深度重建較光滑，但幾何形狀效果不好;短橫線表示融合重建，其與深度重建相比表面較光滑，與偏振重建相比幾何形狀更接近目標(biāo)物.

圖5 融合前后信號(hào)線對(duì)比

由圖4，5可見(jiàn)：深度重建的幾何形狀接近目標(biāo)形狀，但表面粗糙；偏振重建的幾何形狀扭曲程度大，但表面光滑度高于深度重建；融合重建的幾何形狀更加符合圓弧趨勢(shì)，且表面光滑度優(yōu)于深度和偏振重建.本研究通過(guò)罰函數(shù)優(yōu)化方法構(gòu)造大型過(guò)約束稀疏線性方程組，并利用最小二乘求解解決了深度重建在高頻細(xì)節(jié)上表現(xiàn)不足及偏振重建在幾何上扭曲的問(wèn)題.

4 結(jié)語(yǔ)

多傳感器圖像間融合的難點(diǎn)之一是視場(chǎng)的統(tǒng)一，需要將對(duì)應(yīng)點(diǎn)的像素對(duì)齊，這就需要進(jìn)行插值或放縮操作.針對(duì)粗糙深度圖的噪聲，筆者選取的是雙邊濾波器，它既可以保持圖像光滑，又不損壞邊緣信息.針對(duì)偏振圖像低頻區(qū)域方位角不準(zhǔn)確的問(wèn)題，利用粗糙深度圖的法線進(jìn)行校正.在校正法線時(shí)，采用圖像分割中的閾值分割法，對(duì)每個(gè)像素點(diǎn)的偏振法線與深度法線之間的夾角關(guān)系設(shè)定閾值，并糾正前景對(duì)應(yīng)像素的值.最后構(gòu)建含深度、偏振約束的能量泛函，用最小二乘法求解，實(shí)現(xiàn)偏振與深度信息融合重建，有效地結(jié)合了粗糙深度圖的幾何優(yōu)勢(shì)與偏振圖像的細(xì)節(jié)優(yōu)勢(shì).

本研究是在自然光下而不是特定光源下實(shí)現(xiàn)融合重建，雖然只考慮漫反射下的偏振信息，使得校正法線后的偏振重建形狀仍有一定的偏差，但是該偏差對(duì)融合結(jié)果影響較小.未來(lái)將設(shè)計(jì)鏡面/漫反射混合情況下的融合模型，同時(shí)考慮優(yōu)化最小二乘形式，以進(jìn)一步提高精度.