基于智能布光的可移動(dòng)文物原真采集系統(tǒng)

錢德宇，侯小剛，王琰，趙海英*

（1.北京郵電大學(xué)計(jì)算機(jī)學(xué)院，北京 100876；2.北京郵電大學(xué)人工智能學(xué)院，北京 100876）

1 引言

在文物攝影測(cè)量三維數(shù)字化采集數(shù)十年的工程實(shí)踐中，燈光布設(shè)是首要任務(wù)也是最大難點(diǎn)。文物數(shù)字化原真采集需要使用各種光線突出文物的形態(tài)，表現(xiàn)文物的質(zhì)感，展現(xiàn)表面細(xì)致的圖案。因此，合理控制光的強(qiáng)、弱、剛、柔性格，更好的表現(xiàn)文物造型色彩和質(zhì)地是文物攝影中燈光布設(shè)的任務(wù)[1]。其次，均勻一致的照明環(huán)境與柔和的光線能夠盡量確保多視角圖像之間的光度一致性，降低圖像和立體匹配中的誤差，提升模型精度和采集效率。

但是，由于可移動(dòng)文物種類繁多、器型和質(zhì)地不一，往往只有經(jīng)驗(yàn)豐富的文物數(shù)字化采集專家具備高質(zhì)量燈光布設(shè)的能力。因此，如何將燈光布設(shè)的工程經(jīng)驗(yàn)學(xué)術(shù)化、智能化，構(gòu)建智能布光的數(shù)字化采集設(shè)備、并在保證原真性的前提下，降低文物攝影測(cè)量三維數(shù)字化采集圖像數(shù)量，提升采集效率成為一大挑戰(zhàn)且具有重大的現(xiàn)實(shí)意義。

基于對(duì)現(xiàn)有的文物采集系統(tǒng)的分析，本文提出了一種基于智能布光的可移動(dòng)文物原真采集系統(tǒng)，可以為文物攝影測(cè)量數(shù)字化采集提供原真采集光照環(huán)境。首先將采集布光的問題轉(zhuǎn)化為光源在球面的均勻分布問題。采用模擬退火算法求解給定數(shù)量的光源下，點(diǎn)在球面均勻分布的坐標(biāo)。其次，提出光照均勻度評(píng)估的方法和指標(biāo)，并給出不同球體構(gòu)型下光照均勻度性能表現(xiàn)。最后，搭建了智能布光硬件系統(tǒng)，并進(jìn)行了采集建模測(cè)試。

2 相關(guān)工作

在文化遺產(chǎn)領(lǐng)域，對(duì)歷史遺產(chǎn)進(jìn)行快速、高效的三維數(shù)字化的需求日益增長。IGD文化遺產(chǎn)數(shù)字化能力中心開發(fā)了CultLab3D[2]，它是世界上首臺(tái)全自動(dòng)的大規(guī)模三維數(shù)字化設(shè)施。該系統(tǒng)由兩個(gè)掃描單元CultArc3D、CultArm3D組成，通過托盤輸送系統(tǒng)連接，可以實(shí)現(xiàn)高效和高精度的三維采集。但是其價(jià)格十分昂貴，且不能自由移動(dòng)，易受采集物體大小以及采集地點(diǎn)的限制。美國DT Heritage開發(fā)的DT BC100是一款快速圖書采集系統(tǒng)，針對(duì)圖書、膠片等二維文化遺產(chǎn)，開發(fā)了對(duì)應(yīng)的相機(jī)、燈光以及相應(yīng)的采集平臺(tái)。

在攝影測(cè)量三維重建數(shù)據(jù)采集方面，Wellens 等人[3]針對(duì)面部三維重建定制了攝影測(cè)量裝置（SF3D）并評(píng)估了它在系統(tǒng)內(nèi)部之間的準(zhǔn)確性；Boe 等人[4]使用由21 臺(tái)相機(jī)組成的采集設(shè)備進(jìn)行人體攝影測(cè)量數(shù)字化工作。另一種是采用特定的光照模式[5-6]，在給定的球形照明條件（光臺(tái)[7]）下，進(jìn)行反射率的捕捉和計(jì)算，從而進(jìn)行反射率和幾何結(jié)構(gòu)的同時(shí)恢復(fù)。

基于攝影測(cè)量的三維重建方法通常假設(shè)目標(biāo)物體為朗伯物體，此時(shí)高光會(huì)被視為噪聲。為了解決這個(gè)問題，MVPS 方法使用Light Ring 的等深度約束來傳播SFM 的初始估計(jì)[9]。當(dāng)目標(biāo)物體為朗伯物體時(shí)，可以通過將形狀陰影與經(jīng)典的多視圖三維重建進(jìn)行融合來重建表面細(xì)節(jié)。然而，MVPS 方法通常需要大量的視圖輸入。

相比之下，同軸光度立體法使用一個(gè)帶有嚴(yán)格附加點(diǎn)光源的相機(jī)進(jìn)行數(shù)據(jù)采集，將多視圖立體問題定義為一個(gè)單一且統(tǒng)一的目標(biāo)能量優(yōu)化問題，從而聯(lián)合重建BRDF信息和幾何結(jié)構(gòu)[9-11]。這種方法能夠更準(zhǔn)確地重建目標(biāo)物體的表面細(xì)節(jié)，同時(shí)避免了使用大量視圖的問題。

3 基于智能布光的照明均勻度仿真計(jì)算

3.1 球形構(gòu)型

常用的多面體球形有兩種，經(jīng)緯球（UV Sphere）和測(cè)地線多面體（Geodesic Polyhedron）。標(biāo)準(zhǔn)的經(jīng)緯球由四邊形面、頂部和底部的三角形面片組成，如圖1所示。經(jīng)緯球具有垂直段和水平環(huán)兩種屬性，垂直段連接頂部和底部的極點(diǎn)，水平環(huán)為平行于球體的緯線。

圖1 本文球形框架構(gòu)型圖

測(cè)地線多面體是由三角形面片構(gòu)成的多面體，通常測(cè)地線多面體以正二十面體為基礎(chǔ)，通過細(xì)分三角形以及球面映射（頂點(diǎn)），增加復(fù)雜度，使多面體更接近球體。正二十面體由20 個(gè)等邊三角形組成，30 條邊，12 個(gè)頂點(diǎn)位于同一球面上，各個(gè)面都是全等的三角形，且正二十面體非常穩(wěn)定。細(xì)分頻率為2v就是將正二十面體三角形的一條邊分成兩條邊，一個(gè)三角形細(xì)分成四個(gè)，如圖1所示。

細(xì)分頻率為2v的正二十面（以下簡稱2v測(cè)地線球體）共有42個(gè)頂點(diǎn)，80個(gè)面，1220條邊。細(xì)分頻率為3v的正二十面體（以下簡稱3v測(cè)地線球體）共有92個(gè)頂點(diǎn)，180個(gè)面，270條邊。對(duì)于經(jīng)緯球，本文選擇經(jīng)線數(shù)為12，緯線數(shù)為8的經(jīng)緯球作為候選球形架構(gòu)，選用2v和3v測(cè)地線球體作為另一種球形方案，因此本文共有3種球形構(gòu)型。

3.2 光源位置計(jì)算

為研究何種構(gòu)型能產(chǎn)生最佳光照環(huán)境，本文將光照均勻度作為光照環(huán)境優(yōu)化的指標(biāo)。在上述三種框架中，需要明確光源數(shù)量和光源位置對(duì)光照均勻度的影響，并選出最優(yōu)的光源數(shù)量和位置的組合。

光源具有發(fā)射方向和角度，因此問題可以描述為在給定光源數(shù)量N 的前提下，將N 個(gè)光源均勻固定在球面框架上，從而轉(zhuǎn)化為球面點(diǎn)均勻分布問題。球面點(diǎn)均勻分布問題重點(diǎn)關(guān)注如何在歐式空間R3中構(gòu)建球面S2的點(diǎn)集[12]，即：

對(duì)于N點(diǎn)構(gòu)型，使所有歐式距離的乘積最大化：

為方便計(jì)算，將上述公式等效為最小化離散對(duì)數(shù)能量函數(shù)：

由上式可知，若使N 個(gè)點(diǎn)在球面上均勻分布，在所有可能的位置集合中，均勻分布于球面的位置集合其對(duì)數(shù)能量最小。因?yàn)樵诒疚牡膽?yīng)用中，點(diǎn)的數(shù)量相對(duì)較小，且是離散點(diǎn)，因此可以采用模擬退火算法進(jìn)行優(yōu)化求解。在迭代求解中，模擬退火算法將退火冷卻過程和Metropolis 準(zhǔn)則相結(jié)合。假設(shè)目標(biāo)函數(shù)為f(x)，n個(gè)點(diǎn)的參數(shù)集為{x1,x2,…,xn}，如果f(xi+1)r，仍然選擇xi+1作為新的解，否則需要回到上一步并生成新的隨機(jī)數(shù)r。

3.3 光照均勻度評(píng)估

為測(cè)試上述球形框架在中心位置的光照均勻度，使用細(xì)分頻率為4v 的測(cè)地線球體作為光照測(cè)量的目標(biāo)物體，該球形多面體共有642個(gè)頂點(diǎn)，1280個(gè)面。

物理世界中，使用光照度（Illuminance）描述單位面積上的光通量，用來衡量物體表面上接受到的光照大小，光照度直接反映光源的作用，屏蔽了物體反射率的干擾，相較于亮度更適合作為光照評(píng)估方法。在仿真計(jì)算中，使用輻照度（Irradiance）代替光照度作為目標(biāo)物體表面光照的計(jì)量方法，與光照度類似，輻照度表示入射到物體表面單位面積上的輻射通量Φ，與光源距離A有關(guān)，計(jì)算公式為：

構(gòu)建與現(xiàn)實(shí)場(chǎng)景類似的球形照明框架，將光源放置在球形框架頂點(diǎn)或邊上，并將所有光源設(shè)置成相同的光照強(qiáng)度。為計(jì)算被測(cè)物體表面的光照情況，以球體表面三角形面片為基本單位，計(jì)算到達(dá)目標(biāo)球體上每個(gè)三角形面片的輻照度。為解決自遮擋問題，將三角形三個(gè)頂點(diǎn)的均值作為三角形的位置坐標(biāo)，如果光源到三角形面片中點(diǎn)的視線是不可見的，則將該面片從計(jì)算中去除。根據(jù)朗伯余弦定律，物體表面輻照度與光方向和表面法線夾角的余弦值成正比：

將該面片接收到的所有光源的輻照度累加，得到表面輻照度總和，作為光照分?jǐn)?shù)。在仿真實(shí)驗(yàn)中，為了解決在不同光源數(shù)量下，目標(biāo)球體接受到的輻照度之間無法比較的問題，將目標(biāo)球面上的光照對(duì)光源數(shù)量進(jìn)行歸一化。計(jì)算每個(gè)三角面片的照度s，計(jì)算其方差并對(duì)光源數(shù)量n歸一化，得到光照均勻度分?jǐn)?shù)：

4 實(shí)現(xiàn)及結(jié)果

4.1 軟件仿真結(jié)果

本節(jié)對(duì)細(xì)分頻率為2v和3v測(cè)地線球體以及經(jīng)緯球進(jìn)行光照均勻度性能實(shí)驗(yàn)。對(duì)于細(xì)分頻率為2v的測(cè)地線球體，光源數(shù)目范圍是[4,158]；細(xì)分頻率為3v的測(cè)地線球體光源數(shù)量為[4,168]；經(jīng)緯球的光源數(shù)量為[4,168]。使用光源位置優(yōu)化算法，首先得到不同光源數(shù)量下最優(yōu)化的位置集合，此集合在本節(jié)稱為原始位置；然后將原始位置映射到不同球體框架上的光源放置點(diǎn)位，得到映射位置，即光源在球體上真正放置的位置。

由圖2 可以看出，對(duì)于細(xì)分頻率為3v 的測(cè)地線球體，當(dāng)光源數(shù)量達(dá)到100左右時(shí)，無論是原始位置還是映射位置，光照均勻度分?jǐn)?shù)不發(fā)生明顯變化。且由圖中可以看出，當(dāng)光源數(shù)量為48 左右時(shí)，光照均勻度與120個(gè)光源相同。

圖2 細(xì)分頻率為3v的測(cè)地線球體在不同光源數(shù)量下光照均勻度的表現(xiàn)

由圖3 可以看出，對(duì)于細(xì)分頻率為2v 的測(cè)地線球體，當(dāng)光源數(shù)量達(dá)到42 左右時(shí)，原始位置的光照均勻度分?jǐn)?shù)基本達(dá)到了0.001 左右的水平，隨著光源數(shù)量的增加，光照均勻度變化趨緩。映射位置的均勻度分?jǐn)?shù)隨著光源數(shù)量的增加，光照均勻度分?jǐn)?shù)先降低，然后升高，說明光源數(shù)量增加與均勻度分?jǐn)?shù)之間并不是線性相關(guān)的，對(duì)于實(shí)際的光源放置點(diǎn)位，在光源數(shù)量為42、60和70的情況下，光照均勻度的表現(xiàn)最好。對(duì)比圖4中經(jīng)緯球的均勻度表現(xiàn)，總體而言，經(jīng)緯球的光照均勻度差于細(xì)分頻率為2v 的測(cè)地線球體。對(duì)于三種球形框架，頂點(diǎn)以及邊中點(diǎn)可以放置光源的情況下，光照均勻度的表現(xiàn)為：細(xì)分頻率為3v 的測(cè)地線球體>細(xì)分頻率為2v的測(cè)地線球體>經(jīng)緯球。

圖3 細(xì)分頻率為2v的測(cè)地線球體在不同光源數(shù)量下光照均勻度的表現(xiàn)

圖4 經(jīng)緯球在不同光源數(shù)量下光照均勻度的表現(xiàn)

考慮一種特殊情況，對(duì)于細(xì)分頻率為2v 和3v 的測(cè)地線球體，將光源放置在頂點(diǎn)位置，得到二者的光照均勻度分?jǐn)?shù)如表1 所示。雖然細(xì)分頻率為3v 的球體光照均勻度表現(xiàn)優(yōu)于細(xì)分頻率為2v的球體，但其構(gòu)型復(fù)雜度提升了近一倍，復(fù)雜度較大。因此，考慮到構(gòu)型的復(fù)雜程度，本文最終選擇了細(xì)分頻率為2v的測(cè)地線球體作為照明框架，光源放置在頂點(diǎn)上，在光照表現(xiàn)和復(fù)雜度之間獲得相對(duì)較好的平衡。

表1 兩種細(xì)分頻率測(cè)地線球光照均勻度和構(gòu)型復(fù)雜度對(duì)比

4.2 基于智能布光的原真采集硬件系統(tǒng)構(gòu)建

4.2.1 球形框架搭建

球形框架設(shè)計(jì)尺寸直徑為1.40m，為了保證框架穩(wěn)固，底面五邊形每個(gè)頂點(diǎn)加裝一條支撐桿，桿件之間相連，移除底面頂點(diǎn)及與其相連的五條邊，設(shè)計(jì)圖如圖5 左圖所示?？蚣芙Y(jié)構(gòu)強(qiáng)度設(shè)計(jì)能夠掛載20kg左右物品，可以在框架上固定多個(gè)相機(jī)。主體結(jié)構(gòu)使用22mm 的鋁合金管材，使用連接件固定，便于拆卸?？蚣苷w包括120 條邊，41 個(gè)連接件，底部支撐結(jié)構(gòu)共10條邊，如圖5右圖所示。

圖5 球形框架設(shè)計(jì)圖與搭建圖（左圖為設(shè)計(jì)圖，右圖為搭建圖）

4.2.2 光源

共采用41 個(gè)漫反射LED 作為光源，固定在球形框架的頂點(diǎn)上，底部頂點(diǎn)移除不放置光源。采用方形LED 燈板，共有四個(gè)LED 燈珠，功率為4瓦，全功率運(yùn)行亮度為320流明。

LED發(fā)出的是連續(xù)電磁光，在可見光譜（波長范圍在360-830NM）的范圍內(nèi)，光譜中不同的波長有不同的顏色和強(qiáng)度。色溫，作為光線中包含顏色成分的計(jì)量單位，在數(shù)字化采集中是需要控制的光源屬性，本文使用的LED光源色溫為6000K，顏色接近于正白。

4.3 硬件系統(tǒng)仿真測(cè)試

本文對(duì)兩種不同質(zhì)地與紋理的文物在不同光照環(huán)境下進(jìn)行數(shù)字化采集，分別為低紋理的兵馬俑和豐富紋理的瓷瓶。

為充分對(duì)比驗(yàn)證原真采集硬件系統(tǒng)的性能，分別在LED 平板攝影燈照明條件和原真采集系統(tǒng)照明條件下對(duì)幾種不同的物品進(jìn)行采集和重建實(shí)驗(yàn)。LED平板攝影燈為Mettle VL-50 40W 光源，色溫為5500K。共采用三臺(tái)Mettle 攝影燈以頂光、兩側(cè)輔助光的方式布設(shè)。原真采集硬件系統(tǒng)的光源固定在照明框架的頂點(diǎn)上，每個(gè)光源功率為4W，色溫約6000K，41個(gè)光源均勻分布于直徑1.4米的球面上，總功率約為164W。

使用Agisoft Metashape[13]攝影測(cè)量三維重建軟件進(jìn)行數(shù)據(jù)處理。在本文實(shí)驗(yàn)中，重建質(zhì)量設(shè)置為“中”，其他參數(shù)采用默認(rèn)值，經(jīng)過“圖像對(duì)齊”、“稠密點(diǎn)云重建”、“網(wǎng)格重建”和“紋理重建”四個(gè)步驟獲得最終的紋理模型。

兵馬俑數(shù)據(jù)使用佳能EOS 5D Mark III單反相機(jī)進(jìn)行采集，鏡頭焦距設(shè)置為70mm，圖像分辨率為1920 ×2880像素。在LED攝影燈環(huán)境中，ISO為400，曝光時(shí)間1/40秒，光圈值為f/7。在原真采集硬件系統(tǒng)照明環(huán)境中，ISO為200，曝光時(shí)間1/40秒，光圈值為f/4.5。在普通照明條件下，原真采集硬件系統(tǒng)對(duì)兵馬俑采集數(shù)據(jù)進(jìn)行稀疏重建和稠密重建的結(jié)果如表2和表3所示：

表2 兵馬俑稀疏重建對(duì)比實(shí)驗(yàn)

表3 兵馬俑稠密重建對(duì)比實(shí)驗(yàn)

由表2 可得，在原真采集硬件系統(tǒng)下采集的兵馬俑數(shù)據(jù)，在圖像數(shù)量遠(yuǎn)小于普通照明環(huán)境的條件下，獲得了更精確的重建結(jié)果，雖然點(diǎn)云數(shù)目略小于普通照明環(huán)境采集重建結(jié)果，但使用了更少的內(nèi)存和時(shí)間，內(nèi)存節(jié)省了25%，速度提升了59%。由表3 可知，由于原真采集硬件系統(tǒng)下使用更少的圖像進(jìn)行重建，并能確保相機(jī)位姿的精度，因此重建用時(shí)和內(nèi)存占用更小，對(duì)電腦性能要求更低，可以提高采集重建效率。

重建結(jié)果如圖6 所示。由于普通照明模式下，需要采集更多的圖像，因此在稠密重建中視差變化較小，點(diǎn)云中離群點(diǎn)較少。受益于原真采集硬件系統(tǒng)的均勻照明環(huán)境，采集了較少的圖像（65 張），但由于視角變化較大，因此稠密點(diǎn)云中離群點(diǎn)較多（圖6 左1）。此外，在兩種照明模式下，均未發(fā)現(xiàn)點(diǎn)云中存在明顯孔洞，重建完整性上無明顯區(qū)別。

圖6 兩種光照環(huán)境下兵馬俑重建結(jié)果

對(duì)于紋理模型而言，由于普通照明下光照均勻度難以把控，因此在紋理貼圖上，圖6左4中人物的肩部和腿部存在亮度差異；但在圖6 左2 中，從主觀上判斷，未發(fā)現(xiàn)明顯光照差異。

瓷瓶數(shù)據(jù)使用索尼ILCE-7RM4 相機(jī)進(jìn)行采集，鏡頭焦距為24mm，圖像分辨率為9504 × 6336 像素。在LED 攝影燈環(huán)境中，ISO 為400，曝光時(shí)間1/40 秒，光圈值為f/9。在原真采集硬件系統(tǒng)照明環(huán)境中，ISO為320，曝光時(shí)間1/40秒，光圈值為f/9。

在普通照明條件下，原真采集硬件系統(tǒng)對(duì)瓷瓶采集數(shù)據(jù)進(jìn)行稀疏重建和稠密重建結(jié)果如表4和表5所示。瓷瓶材質(zhì)屬于高反光材料，且由于該瓷瓶中部向外凸起，因此該物品表面反射情況十分復(fù)雜。在采集中，文物表面出現(xiàn)大塊白色反光區(qū)域，給重建算法引入了大量噪聲。其次，瓷瓶的瓶口部分幾何變化大，采集時(shí)需要小心控制圖像視差變化在合理的范圍內(nèi)，以防止劇烈的視差變化產(chǎn)生點(diǎn)云噪聲。由于瓷瓶反光材質(zhì)以及幾何外形存在變化劇烈的區(qū)域，因此，在兩種光照環(huán)境中，均采集了大量圖像。在攝影燈光照環(huán)境下，平板攝影燈面積大，在物體表面產(chǎn)生更大塊的光斑，對(duì)物體表面的紋理遮擋嚴(yán)重，因此采集了更多的圖像（222張）。

表4 瓷瓶稀疏重建對(duì)比實(shí)驗(yàn)結(jié)果

表5 瓷瓶稠密重建對(duì)比實(shí)驗(yàn)結(jié)果

由表4 中可以得出，雖然瓷瓶的高反光性質(zhì)給采集重建帶來較大的困擾，但是在原真采集硬件系統(tǒng)照明條件下，依然可以用較少的圖像數(shù)據(jù)完成重建，并且在重建質(zhì)量上并未造成重大的損失。在攝影燈環(huán)境下，重投影誤差為2.99（由222 張圖像參數(shù)計(jì)算獲得）。在本文的環(huán)境下，155張圖像重建的重投影誤差為3.08，二者在誤差方面表現(xiàn)相近。其次，與表2中的結(jié)果對(duì)比發(fā)現(xiàn)，由于物體表面存在鏡面反射，對(duì)紋理產(chǎn)生了遮擋作用，直接導(dǎo)致誤差成倍增加。因此，文物采集重建結(jié)果與文物本身的材質(zhì)屬性有關(guān)。

由表5 可以看出，稠密重建中由于光照環(huán)境的優(yōu)勢(shì)，采集時(shí)降低了圖像數(shù)量，可以極大降低內(nèi)存占用。在減少67 張圖像的情況下，節(jié)省了3GB 的內(nèi)存占用，重建用時(shí)減少了7 分鐘。結(jié)合表3 的結(jié)果，說明在原真采集系統(tǒng)照明條件下，采集人員可以將采集重點(diǎn)放在文物精彩和關(guān)鍵區(qū)域，從而在不增加采集用時(shí)和圖像數(shù)量的前提下，提升采集效果。

在攝影燈與原真采集硬件系統(tǒng)照明條件下，瓷瓶的三維點(diǎn)云和紋理模型如圖7 所示。由于在兩種不同的光照環(huán)境下相機(jī)的曝光參數(shù)設(shè)置不同，所以兩個(gè)紋理模型表面亮度有所差異，在色彩表現(xiàn)上也有所差異。圖7 左2 紋理模型亮度更高，但與左4 的紋理模型對(duì)比，色彩飽和度有所降低；但從三維點(diǎn)云和模型結(jié)果上看，不同的曝光參數(shù)僅在紋理模型的觀感上造成些許差異，對(duì)模型的精度和重建完整度影響較小。

圖7 兩種照明環(huán)境下瓷瓶重建結(jié)果

5 結(jié)論

為解決基于攝影測(cè)量文物三維數(shù)字化采集中存在的布光難的問題，本文將數(shù)字化采集中的布光問題抽象為球面點(diǎn)分布問題，以優(yōu)化文物放置位置（即球心）處的光照均勻度。系統(tǒng)論證了不同照明框架以及不同數(shù)量光源下，光照均勻度的表現(xiàn)。在仿真計(jì)算的基礎(chǔ)上構(gòu)建了現(xiàn)實(shí)場(chǎng)景下硬件采集平臺(tái)和控制系統(tǒng)，并結(jié)合文物三維數(shù)字化的要求和特點(diǎn)對(duì)硬件設(shè)備進(jìn)行了設(shè)置，從初始照明條件保證了采集的原真性。對(duì)兵馬俑模型和瓷瓶進(jìn)行的仿真實(shí)驗(yàn)結(jié)果表明，本文的方法是有效的，能在降低采集圖像數(shù)量的同時(shí)保證模型的完整度和精度不受損失。