基于光度立體的三維重建方法綜述

鄧學(xué)良，何揚(yáng)波，周建豐

（廣東工業(yè)大學(xué)機(jī)電工程學(xué)院，廣州510000）

0 引言

三維重建可分為接觸式測量和非接觸式測量，經(jīng)典的接觸式測量工具如三坐標(biāo)測量機(jī)[1]是利用工具探頭等獲取物體的表面三維結(jié)構(gòu)。這種測量精度高成本高，而且容易劃傷物體表面，會對物體表面造成破壞，導(dǎo)致非剛性物體變形，甚至?xí)ξ矬w表面造成破壞。對于一些比較重要物體，例如文物等，這樣的方式是不可以接受的。于是非接觸式測量應(yīng)運(yùn)而生。非接觸測量顧名思義是要在不接觸物體的前提下測量物體的三維空間結(jié)構(gòu)。非接觸測量依據(jù)測量信號源不同可以分為主動式和被動式，主動式有激光測距法，結(jié)構(gòu)光法等，被動式主要是基于圖像的三維重建方法，如單目視覺法、立體視覺法、光度立體法等，其中光度立體是利用圖像光度信息獲取物體法向信息，成本較低，效果相對精確。

圖像的三維信息可以從輪廓[2]、亮度[3]、運(yùn)動[4]、明暗[5]等信息中進(jìn)行恢復(fù)，這些方法通稱Shade From X，且對光源要求不高，操作簡單。光度立體法則來源于陰影恢復(fù)法，Horn[6]在1970年提出該方法，在物體表面反射系數(shù)已知的情況下，把單張圖像各點對應(yīng)的亮度值代入預(yù)先設(shè)計的色度模型中，結(jié)合表面可微分性、曲率約束和光滑度約束等，求解各點深度信息。其優(yōu)勢主要在于利用單幅圖像即可恢復(fù)表面模型，缺點是單純的陰影恢復(fù)是病態(tài)問題，無唯一解，需要引入其他約束條件，例如表面可微分性等約束，而且純依賴數(shù)學(xué)運(yùn)算，效果不佳。

針對陰影恢復(fù)法的不足，Woodham[7]首次提出了光度立體法進(jìn)行改進(jìn)，在相機(jī)視場不動的情況下，引入不同方向光源的照射，增加了光源的約束條件，從而使得上述問題有唯一解。光度立體法基于以下三個條件：①入射光線為平行光或者無線遠(yuǎn)處點光源，②假設(shè)物體表面反射模型為朗伯體反射模型，入射光均勻散射到各個方向，觀察者從任何一個角度觀察都是一樣。③相機(jī)模型為正交投影模型。假設(shè)圖像亮度為I，物體表面法向量為n，表面反射率（漫反射系數(shù)）的ρ，s為光源的法向方向，根據(jù)朗伯體反射模型可以得到以下公式[7]：

反射率ρ是一個常數(shù)，因此把ρn看成一個整體N，N=ρn，上式就變成：

由于n是單位向量，所以其范數(shù)為1，故：

得：

求得法向量之后可以進(jìn)一步得到梯度信息。光度立體三維重建的一般步驟是：①光源標(biāo)定；②圖像矯正或者去除高光陰影等；③利用經(jīng)典方法求解反射率、法向量和梯度圖信息；④利用梯度信息等進(jìn)行獲得深度信息，從而進(jìn)行三維重建。

圖1 光度立體流程示意圖

傳統(tǒng)光度立體已經(jīng)取得較好的效果，大多數(shù)是在近似理想假設(shè)條件下取得的，如果采用真實模型進(jìn)行計算仍然面臨計算量大，計算過程復(fù)雜等問題，例如確定針對具體材料的具體反射模型函數(shù)，反射過程復(fù)雜，影響因素多，計算復(fù)雜。同時，物體距離光源過近導(dǎo)致的近光源影響和相機(jī)透視投影問題、變動相機(jī)視角[8]、室外場景重建[9]等仍然值得深入研究，為了提高精度，有人將主動式的方法和光度立立體方法結(jié)合取得更高的精度，近年來也有人開始探索將深度學(xué)習(xí)應(yīng)用到光度立領(lǐng)域。

1 光源標(biāo)定問題

光源的標(biāo)定是指放置標(biāo)定物等輔助物體估計光源的信息，包括光源的方向和強(qiáng)度等，光源信息的準(zhǔn)確性極大影響重建的效果。光度立體的前提假設(shè)入射光為平行光，現(xiàn)實往往難以制造大面積平行光，所以通常的做法是點光源與物體的距離十倍于物體最大寬度時所發(fā)出的光可近似看成平行光。Pentland[10]最早提出計算光源方向，指出光源標(biāo)定的線索更多地包含在圖像的亮度梯度而不是圖像的絕對亮度中。傳統(tǒng)的標(biāo)定中一般利用高光黑球來做標(biāo)定物，通過點光源在黑球反射的高光信息與黑球的幾何關(guān)系，求解光源方向。如圖2，光源方向是L，N是球體的表面法向量，視角方向為V[0，0，1]，則其關(guān)系為L=2(N?V)N-V，V已知，只要知道N即可求出L，N則可以通過高光黑球的已知半徑R和光源照射在其表面的幾何關(guān)系確定，r可以通過圖像處理的方法求得，z可通過r和R求得。

圖2 光源標(biāo)定示意圖

光源標(biāo)定的目的是為了確定光源方向或強(qiáng)度，一般利用物體表面的明暗信息[11]、陰影信息或者反射特性三類信息中的其中一種即可，也可以將三種信息結(jié)合。采用不同標(biāo)定物，是利用不同標(biāo)定物的反射特性獲取更加精確的光源信息，2001年，Wallace等人[12]以正方體為標(biāo)定物，通過對比實際光源得到圖像和估計光源得到的圖像的誤差來標(biāo)定光源的方向。2009年，Takai等人[13]則利用差分球獲取了光源信息。2012年，Aoto等人[14]使用中空透明玻璃球作為標(biāo)定物，利用玻璃球透明特性以及內(nèi)反射和外反射的三角關(guān)系確定光源位置。2013年，程岳[15]使用鏡面作為標(biāo)定靶，通過鏡面反射原理的方法來估計光源參數(shù)，得到光源方向最大角度誤差0.6度，平均誤差0.23度?？偨Y(jié)如圖3。

圖3 光源標(biāo)定方法分類

將漫反射信息和高光信息結(jié)合起來[16]也是一種常見的做法。特定的復(fù)雜標(biāo)定物和反射特性，操作過程復(fù)雜，不容易應(yīng)用，在滿足精度要求的條件下，實際應(yīng)用中一般利用的高光黑球或者平面鏡作為標(biāo)定物為主。

1.1 近場光源

光源分為近場光源和無窮點光源兩類，無線點光源照射在物體表面可以近似為平行光。近場光源由于光源過近，例如醫(yī)學(xué)的內(nèi)窺鏡[17]，難以將光線看成平行光，如果依舊按照平行光處理，會導(dǎo)致重建效果不準(zhǔn)確。圖4位光源的分類。

圖4 光源分類

謝利民等人[18]研究了不同光照條件下的三維重建算法指出，在光源距離物體表面較近時，近點光源下的重建結(jié)果比無限遠(yuǎn)點光源更接近實際物體真實形狀，遠(yuǎn)光源對于點光源的設(shè)定是基于理想光源的，理想點光源發(fā)射的光線在每一個方向上光強(qiáng)一樣，近場光源則應(yīng)該假設(shè)真實光源，即每條光線方向光強(qiáng)都不同，需要新的光源模型或者光源強(qiáng)度進(jìn)行校正。

圖5 平行光和近場光源模型

近場光源會導(dǎo)致光照分布不均，可以利用帶有朗伯反射特性的白紙作為標(biāo)定物來補(bǔ)償[19]不同光源的強(qiáng)度分布，假設(shè)在標(biāo)定物中心區(qū)域內(nèi)，各點亮度值與該區(qū)域內(nèi)的最大亮度值比值對任意目標(biāo)物而言保持不變，進(jìn)而利用該比值對目標(biāo)物體表面圖像亮度的進(jìn)行了校正，并將校正后的圖像作為光度立體重建算法的輸入?；蛘呃盟惴ㄟM(jìn)行校正，Jian等人[20]則基于光源強(qiáng)度逆平方定理提出了一個快速自適應(yīng)算法，實現(xiàn)光照的均勻性。對于光源位置確定，2013年，謝利民等人[21]將LED點光源的發(fā)光特性引入標(biāo)定過程，利用新的光源模型結(jié)合物體表面信息，利用算法優(yōu)化得到特定點光源的位置。

湘西苗族創(chuàng)造了 3種苗文〔1〕，“板塘苗文”“老寨苗文”和“古丈苗文”〔2〕。方塊苗文是一種借源文字，與漢字的結(jié)構(gòu)和造字法上基本一致，造字法主要有形聲和會意，雙音符的不多，象形成分極少，大量地借用漢字標(biāo)音。方塊苗文用來記錄和創(chuàng)作苗歌，苗歌主要是表達(dá)苗族人們在生產(chǎn)、生活、農(nóng)耕、風(fēng)俗傳統(tǒng)等各方面的情懷，留存下來的苗歌手稿有十幾萬字，為我們研究苗族的民族歷史、民族風(fēng)俗和民族文學(xué)提供了寶貴的文字資料。

近場光源需要校正光源的光強(qiáng)和平行光模型，需要考慮實際光源的發(fā)光模型，增加了標(biāo)定復(fù)雜性，可將不同標(biāo)定物放在一起利用信息互補(bǔ)進(jìn)行優(yōu)化。近場光源問題和未標(biāo)定光度立體領(lǐng)域有一定的交叉，由于近場光源不好標(biāo)定，可直接采用未標(biāo)定光度立體進(jìn)行重建。

1.2 未標(biāo)定光源問題

光源的標(biāo)定通常需要單獨的標(biāo)定實驗的，給光度立體的應(yīng)用增加難度，限制了光度立體的應(yīng)用。如何簡化或者省略這一步驟變成光源自標(biāo)定[22]是一個十分有價值的問題，奇異值分解是其中一個應(yīng)用方向。圖像的奇異值分解（Singular Value Decomposition，SVD）可以提取主成分，去除噪聲并降維，將其應(yīng)用在光度立體法中，得到法向量值和實際值差一個線性變換，再引入物體表面可積約束，兩者誤差則縮小到一個通用淺浮雕（Generalized Bas-Relief，GBR）矩陣變換。1999年，Belhumeur等人[23]討論了在未知光源條件下，不同的形狀輪廓也有可能有相同的亮度信息，此時光度立體算法得到的深度信息具有淺浮雕模糊性。提取主成分之后的奇異值分解：

其中S'和L'與真實的S和L自相差一個矩陣變換，S'和L'具有符號模糊性，因此，GBR參數(shù)的確定是未標(biāo)定光度立體問題的一般解決方向，通過引入Freeman的視點約束條件[24]或者通過四個鏡面反射點和一致的視點約束條件與可積約束條件結(jié)合[25]進(jìn)行求解。在未知光源條件下，使用正交投影會產(chǎn)生GBR問題，在透視投影假設(shè)下卻不存在[26]，因此透視投影模型也可以解決GBR模糊性問題，但是這樣的模型也比原先遠(yuǎn)光的正交投影模型復(fù)雜，計算復(fù)雜。2018年，Z Mo等人[27]研究自然光照下的未標(biāo)定光度立體，提出對緩慢變化的法線組成的小曲面使用等效光照模型，解決每個小曲面的任意旋轉(zhuǎn)模糊，將產(chǎn)生的小曲面連接起來，通過在整個表面上定義的角距離傳播將局部模糊統(tǒng)一到全局旋轉(zhuǎn)，應(yīng)用可積性約束后，最終得到只包含一個二元模糊問題。2018年，Sengupta等人[28]提出了一種新的低秩約束優(yōu)化方法，通過交替方向乘子法（Alternate Direction Method of Multipliers，AD?MM）優(yōu)化秩約束和可積約束結(jié)合的問題，相比于SVD方法，使用了更少圖像。2019年，Haefner等人[29]提出基于變分法的無標(biāo)定光度立體，用球面諧波的展開來近似朗伯反射模型，將光度立體問題轉(zhuǎn)化為單一變分問題，取得良好的法向重建效果。

自標(biāo)定光度立體算法大大提高光度立體的可操作性。2018年，陳思遠(yuǎn)[30]研究基于智能終端的光度立體算法，利用單光源單攝像頭和為未標(biāo)定光度立體技術(shù)將光度立體搬上移動端。2020年，Ali ABzal[31]另辟蹊徑地利用淺浮雕自動畫圖。

2 非朗伯體光度立體

朗伯體模型理想散射模型，入射光線在各個方向均勻散射，與其相對的是鏡面反射模型。除此之外，其他較為常見的光照模型包括Phong模型[32]、Tor?rance-sparrow模型[33]、Ward模型[34]、Cook-Torrance模型[35]，以及Bi-polynomial模型[36]等。

圖6 從左到右分別是鏡面反射、漫反射、Torrance-Sparrow反射模型

Phong模型簡單將光照分為以下幾個光分量：漫反射、鏡面反射、和環(huán)境光，不同材質(zhì)物體表面各個分量的比重不同。Blinn則在Phong模型的基礎(chǔ)上進(jìn)行改進(jìn)，在高光分量上采用半角向量和法向量數(shù)量積替代原來觀察向量和反射向量的積，提出著名的Blinn-Phong模型[37]。Torrance-Sparrow模型是從輻射度學(xué)和微表面理論推導(dǎo)出粗糙表面的高光反射模型。Cook-Torrance模型綜合考慮了Torrance-sparrow模型和Blinn模型，用于渲染高光和金屬質(zhì)感，目前計算機(jī)圖形學(xué)多使用Cook-Torrance模型。Ward模型[38]是帶有高斯分布的快速各項異性的模型，Bi-polynomial模型利用雙多項式對低頻各向同性BRDF進(jìn)行建模。

這些模型在描述特定的物體表面擬合情況會比較好，而對于一些更廣泛更普遍的表面則有一些不足，為此有學(xué)者提出了無模型的光度立體算法，即僅利用雙向反射分布函數(shù)BRDF的特性得到物體表面梯度信息。以上模型針對的是剛性物體，而針對玻璃、塑料等透明或者衣物、液態(tài)物體等非剛性物體[39]研究較少。

2.1 高光陰影處理

非朗伯體模型影響之一就是會產(chǎn)生高光和陰影信息，高光在光源標(biāo)定時是有用信息，在重建時則是噪聲，這些信息會影響重建效果甚至導(dǎo)致重建錯誤。1981年，Ikeuchi[40]較早針對純高光表面提出了解決辦法。理論上只要三張不同方向光源的圖像，即可有唯一解，實際上現(xiàn)實中常用4個或者更多個光源，數(shù)據(jù)的冗余可以一定程度上解決高光問題或者陰影問題，思路為將高光陰影視為異常點進(jìn)行剔除，采用多個光源照射作為初始輸入像素，去掉被假定為高光和陰影的最亮和最暗的像素，剩下的三個最為最終輸入像素[41]。2003年，Barsky等人[42]基于雙色反射模型，假定物體放射率由漫反射分量和高光分量組成，利用四光源彩色光度立體技術(shù)，在存在高光和陰影的情況下，檢出物體高光的同時計算出物體表面的法向。2007年，Chandraker等人[43]基于圖割（Graph Cuts）的方法發(fā)展出了陰影割（Shadow Cuts），通過陰影的能量函數(shù)，用圖割法快速算出圖像陰影區(qū)域，區(qū)分光度區(qū)域和陰影區(qū)域，分離出陰影區(qū)域同時求解物體表面的法向。2008年，Verbiest等人[44]利用最大似然估計算法將將陰影等剔除。2010年，Yu等人[45]基于朗伯反射模型假設(shè)，使用pixel wise優(yōu)化方法從輸入中獲得滿足朗伯體約束的最大子集進(jìn)行全局優(yōu)化，而非依賴概率估計的方法求解法向。2017年，Shen等人[46]通過leave one out交叉驗證法自動確定最佳核參數(shù)，實驗表明這類優(yōu)化方法可以很好地剔除圖像中的由于陰影產(chǎn)生的異常值。2020年，許麗[47]使用了聚類算法去除高光。

高光和陰影是干擾圖像質(zhì)量的異常值，利用算法對其進(jìn)行剔除處理獲得高質(zhì)量輸入圖像，以減少噪聲對重建效果的影響。此外，消除高光的影響還可以用圖像包含的額外信息例如有效利用重影現(xiàn)象[48]等。

2.2 互反射與自然光

在實驗室環(huán)境中為了避免環(huán)境光的干擾，一般在暗房或者在封閉環(huán)境進(jìn)行實驗。在封閉的環(huán)境中，容易產(chǎn)生互反射問題，為了解決該問題，2011年，Liao等人[49]提出分離m次反射光和消除相互反射的方法，通過投影儀向場景投射不同顏色的光，部分地解決了互反射問題，通過改變物體表面的反射系數(shù)，從而實現(xiàn)了m次反射的分離。在現(xiàn)實環(huán)境中環(huán)境光的影響是避免不了的，可通過關(guān)閉光源得到環(huán)境光的亮度，然后在后續(xù)的光度圖像中減去環(huán)境光分量。暗室限制了光度立體的發(fā)展，如何將光度立體重暗室搬到自然光下進(jìn)行室外場景重建是未來的一個挑戰(zhàn)。

3 彩色光度立體

經(jīng)典光度立體圖像輸入的對象是灰度圖，如果使用彩色相機(jī)獲得圖像，需要將其轉(zhuǎn)為灰度圖，這個過程會損失一些信息，如果使用彩色圖像作為輸入對象，稱為彩色光度立體，也稱為多光譜光度立體。1994，Kontsevich等人[50]首先闡述了多光譜光度立體法。由于彩色空間的信息比灰度空間的豐富，在高光或者異常點處理方面會有意想不到的效果。2005年，Mallick等人[51]將其應(yīng)用到高光分離，通過RGB空間旋轉(zhuǎn)獨立于鏡面反射率的光度重建，但是其對曲面的要求比較嚴(yán)格。2006年，Zickler等人[52]則對非朗伯表面利用顏色信息從RGB空間中分離出子空間，有效去除高光和陰影等異常點，再依據(jù)子空間信息求解物體表面法向。彩色光度立體另一種形式是利用捕捉到的彩色圖像的三個通道來代替原始的三個灰度圖像，進(jìn)而通過一張彩色圖像即可實現(xiàn)表面重建，避免了由于分時所帶來的位置變動的影響[53]，以實現(xiàn)快速甚至實時重建。與利用LED作為光源，控制光源與相機(jī)高速同步，使其響應(yīng)速度遠(yuǎn)快于物體的運(yùn)動速度[54]的方式相比，分通道彩色光度立體成本更低、更便捷、更適合實時動態(tài)三維重建[39]。

4 重建方法

光度立體的重建方法最直接的方式是直接積分的形式，此法要求梯度場數(shù)據(jù)的旋度為零或者梯度可積，但是由于噪聲的因素實際表面并不可積，需要加入限制條件使得梯度強(qiáng)制可積。Horn[55]用數(shù)學(xué)方程表示表面高度和梯度的強(qiáng)制可積。路徑積分法簡單，但是依賴于積分路徑，面對復(fù)雜的表面會有比較大的形變。而采用最小二乘法思想擬合物體表面可以讓在整體形變程度降到最低，但是會丟失局部信息。1988年，F(xiàn)rankot和Chellappa[56]使用基于傅里葉基函數(shù)的方法將不可積梯度場投影到可積的傅立葉基函數(shù)上來實現(xiàn)可積，從而重建物體表面。1990年，Sim?chony等人[57]提出經(jīng)典的泊松方程的方法，首次把梯度積分的問題轉(zhuǎn)化成泊松方程，原始數(shù)據(jù)進(jìn)行離散余弦變換或者離散正弦變換，用直接分析法來求解矩形域上的泊松方程，得到積分后的曲面形式。將求最小函數(shù)的問題轉(zhuǎn)換為求解泊松方程，求解泊松方程求解有很多種解法，可以直接用偏微分直接求解泊松方程，雅克比迭代法或者高斯-賽德爾迭代求解。變分法則是利用迭代的方法求解泊松方程，會有誤差的累積[58]。針對局部誤差累積，金字塔法[59]通過基于高度空間的全局優(yōu)化迭代，通過多尺度金字塔逼近，拼接子表面最后得到完整表面。代數(shù)法重點在優(yōu)化梯度可積的方面上，確保梯度可積最后通過泊松方程泊松重建。奇異值分解法[23]多應(yīng)用于未標(biāo)定的光度立。表1總結(jié)了常用的重建方法有點和缺點和原理。

表1 常用重建方法比較

2006年Agrawal[61]對當(dāng)前基于可積函數(shù)的投影方法做出對比分析，總結(jié)出一般的框架，并提出了基于空間各向異性的梯度場投影策略及仿射變換方法。2010年，Wu和Tang[62]利用最大期望方法對原始梯度場進(jìn)行優(yōu)化，改善梯度的可積性，進(jìn)而能夠重建突變的表面。2012年，Cheng和Shen[63]在傳統(tǒng)泊松方程的基礎(chǔ)上加入核函數(shù)方法，提出了核化的泊松方程，提高了重建的魯棒性。2013年謝武媛等人[64]提出利用離散集合處理算法來解決重建問題，在保持表面的尖銳特征方面得到了顯著提升。2018年，李健[65]基于通過原始彩色圖像的光度構(gòu)建的偏微分方程進(jìn)行重建。2020年，許麗[47]基于生成對抗網(wǎng)絡(luò)的估計法向量信息。李敏[66]使用l-1范數(shù)優(yōu)化函函數(shù)，將原優(yōu)化問題轉(zhuǎn)化為凸優(yōu)化問題。

5 研究熱點

光度立體算法在朝著約束條件更少，適用的對象更寬泛的方向發(fā)展。相比于光源已知的朗伯體反射模型，近場光源、非朗伯體表面、自標(biāo)定光度立體一直是往年研究的重難點，針對非剛性物體、透明半透明物體和透視投影模型的研究比較少，在光照模型方面則致力于尋找適合所有材質(zhì)的通用的BRDF模型。在未來，研究透明物體、消除互反射和投影陰影現(xiàn)象、自標(biāo)定光度立體、自然光條件下室外場景重建以及和其他三維重建結(jié)合是值得深入研究的方向。當(dāng)前，將光度立體和其他主動式方法結(jié)合、深度學(xué)習(xí)和光度立體結(jié)合是最為熱門的兩個方向，尤其是深度學(xué)習(xí)最新研究方向。

5.1 和其他主動式方法結(jié)合

光度立體可以獲得比較連續(xù)的表面，而主動式的方式可以得到離散但是比較精確的表面，利用兩種方法的優(yōu)勢互補(bǔ)，提高精度。比較經(jīng)典的是Nehab等人[67]提出的利用立體視覺獲取低頻信息，光度立體算法獲取高頻信息，通過法向優(yōu)化初始幾何信息同時又反過來使用幾何信息優(yōu)化法向信息的優(yōu)化方法，最終獲取的深度信息。2008年，Aliaga[68]將結(jié)構(gòu)光和自標(biāo)定光度立體算法相結(jié)合。2011年，Sabzevari等人[69]將運(yùn)動恢復(fù)結(jié)構(gòu)法和未標(biāo)定光度立體結(jié)合，獲得可靠的特征點信息，從而消除了光度立體未標(biāo)定問題的淺浮雕模糊性。McGunnigle[70]將光度立算法和激光切片相結(jié)合。2012年，Zhang等人[71]提出主動立體和光度立體結(jié)合，利用Kinect相機(jī)提供的深度信息建模不連續(xù)和陰影部分，有效的融合深度與法向信息從而提高重建質(zhì)量；2014年，Haque等人[72]首次使用深度相機(jī)中的紅外相機(jī)直接求出高分辨率光度信息，不用另外使用RGB相機(jī)，簡化了設(shè)備規(guī)模。2012年，Okatani等人[73]則證明在反射率和光源信息不精確的情況下，深度信息與法向信息也可有效融合。

圖7 融合算法框架[73]

上述方法只在低頻信息與高頻法向信息的分辨率接近時可以取得較好的重建結(jié)果，故無法大幅度提高重建結(jié)果的精度。為此，2013年Lu[74]首次提出通過融合不同數(shù)量級分辨率的低頻幾何信息與高頻法向信息而進(jìn)行超高分辨率三維重建的方法，重建精度高但是對異常值很敏感。為了消除這種情況下的三維坐標(biāo)異常點，2020年李敏[74]提出了一種基于凸優(yōu)化的高精度三維重建框架，將非線性優(yōu)化方程被映射到高維空間，將問題轉(zhuǎn)換為可求解全局最優(yōu)解的凸優(yōu)化問題，得到更稠密重建結(jié)果。

圖8 深度光度立體網(wǎng)絡(luò)（DPSN）[81]

5.2 深度學(xué)習(xí)

隨著深度學(xué)習(xí)技術(shù)的高速發(fā)展，已經(jīng)有學(xué)者嘗試使用深度學(xué)習(xí)的方法應(yīng)用到光度立體領(lǐng)域，其網(wǎng)絡(luò)稱之為深度光度立體網(wǎng)絡(luò)（Deep Photometric Stereo Net?work，DPSN）。深度學(xué)習(xí)方法具有自主學(xué)習(xí)的性質(zhì)，可以擺脫光度立體對光源模型和反射模型的苛刻假設(shè)，2018年，Chen等人[75]全卷積網(wǎng)絡(luò)應(yīng)用到非朗伯體表面，不要求訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的光源信息一致，靈活性高。后來他又在此基礎(chǔ)上引入了一種新的卷積網(wǎng)絡(luò)LCNet對PS-FCN模型進(jìn)行改進(jìn)[76]，將其應(yīng)用到未標(biāo)定光度立體問題。Ikehataf[77]針對非凸表面使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)物體光度圖像與法向之間的關(guān)系。Lu等人[78]使用卷積神經(jīng)網(wǎng)絡(luò)與多光譜光度立體結(jié)合。2019年，Chen等人[79]將深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用到光源標(biāo)定，提出分兩階段的基于深度學(xué)習(xí)的自標(biāo)定光度立體網(wǎng)絡(luò)模型。2020年，Yu Chanki[80]針對未標(biāo)定光度立體進(jìn)行多尺度融合的方法進(jìn)行表面方向估計。Santo等人[81]提出深度光度立體網(wǎng)絡(luò)，在己知光源方向的前提下學(xué)習(xí)反射率和法向之間的映射關(guān)系。Wang[82]則基于非朗伯體利用有監(jiān)督的深度學(xué)習(xí)技術(shù)來增強(qiáng)陰影抑制能力和反射率模型的靈活性，達(dá)到一個比較好的精度。

理論上深度學(xué)習(xí)可以應(yīng)用到光度立體每一個流程中，學(xué)習(xí)原始圖像估計表面法向和光源信息，也可以學(xué)習(xí)法向量和重建高度的關(guān)系，目前這是最新的研究熱點，采用何種網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用到光度立體能夠達(dá)到最好效果是探索的難點。

6 結(jié)語

光度立體利用光度信息即可無接觸測量重建三維模型，本文從光度立體的原理、光源標(biāo)定、非朗伯體的高光和陰影去除、彩色光度立體、重建方法、目前研究熱點等進(jìn)行了詳細(xì)的介紹，總結(jié)了光源的種類和光源標(biāo)定方法的分類，以及常用的幾種重建方法。近場光源和非朗伯體是以往的研究重點，在此基礎(chǔ)上展望未來，自標(biāo)定光度立體大大提高光度立體的可操作性，非剛性物體和透明物體是由于考慮折射和散射和互反射問題是研究的難點。為了擺脫嚴(yán)苛的光照條件，能在自然光下轉(zhuǎn)換為不同光照方向下的圖像，自然光下室外重建是研究的趨勢，目前和其他三維重建方法結(jié)合仍是熱點，最新的熱點是與深度學(xué)習(xí)結(jié)合形成深度光度立體網(wǎng)絡(luò)，利用新的方式提高重建的精度和魯棒性。