面向虛實融合的臥室箱體建模與布局算法*

王　超，王冬青，賈金原

同濟大學(xué) 軟件學(xué)院，上海 201804

1　引言

近年來，隨著人們生活水平的逐漸提高，以及計算機圖形學(xué)技術(shù)的大力發(fā)展，利用計算機高度模擬室內(nèi)家居DIY布局設(shè)計，為用戶提供室內(nèi)裝潢預(yù)體驗已經(jīng)成為一種潮流。采用虛擬現(xiàn)實的理念對房間和室內(nèi)家居進行圖形建模，將室內(nèi)家居進行數(shù)字化和可視化的重要性不言而喻。

而隨著“互聯(lián)網(wǎng)+”的發(fā)展，以及信息通信技術(shù)和互聯(lián)網(wǎng)平臺的不斷推動，互聯(lián)網(wǎng)與家居DIY布局設(shè)計行業(yè)深度融合，基于虛擬現(xiàn)實理念實現(xiàn)的在線室內(nèi)家居DIY布局設(shè)計平臺也應(yīng)運而生1）http://www.homestyler.com；http://www.kujiale.com/。。借助于新的設(shè)計平臺提供的室內(nèi)模型和家具模型，讓DIY家居布局設(shè)計效率大幅提高，再加上X3D、Unity3D、WebGL等層出不窮的網(wǎng)頁3D技術(shù)，使得網(wǎng)頁三維展示的瓶頸效應(yīng)驟然下降。網(wǎng)頁在線室內(nèi)家居DIY設(shè)計平臺能讓用戶免于龐大設(shè)計軟件的安裝，比較輕松地實現(xiàn)室內(nèi)家居布局設(shè)計，在三維虛擬環(huán)境中獲得室內(nèi)裝潢預(yù)體驗。

然而科研永無止境，當(dāng)前許多家居設(shè)計平臺仍然面臨以下問題。

（1）房間模型真實性較差。雖然當(dāng)前家居平臺采用三維家居模型能反映室內(nèi)的家具，但對用戶各自真實的室內(nèi)場景僅限于統(tǒng)一的建模，不能反映用戶自身室內(nèi)場景的特點。

（2）家居布局設(shè)計人工干預(yù)量大。當(dāng)前許多家居設(shè)計平臺還是停留在用戶簡單地拖放家居等功能上，不能自動為用戶計算擺放布局，使得用戶的設(shè)計工作量較大。

除此之外，即便將室內(nèi)場景建模的工作交給用戶DIY完成，以反映室內(nèi)真實情況，但對用戶操作要求太高，如何提供一個操作便捷簡單的建模方式也是不可回避的問題。同時，如何在3D環(huán)境中，在運算量可以接受的范圍內(nèi)，尤其是手機、平板這種小型移動端承受的計算范圍內(nèi)，實現(xiàn)家居的自動布局，還有待進一步研究。

2　相關(guān)工作

2.1　虛實融合

采用虛擬現(xiàn)實技術(shù)模擬室內(nèi)家居布局設(shè)計同時需要室內(nèi)場景模型和家具模型，家具模型由于其自身的共性，可以由家具廠商或家居設(shè)計平臺統(tǒng)一定制，但用戶的室內(nèi)場景由于各有特點，統(tǒng)一制定不能真實反映室內(nèi)的情況，需要熟悉自己室內(nèi)特點的用戶自行建模。

模擬室內(nèi)家居布局設(shè)計目前流行三種方式：（1）三維室內(nèi)模型和三維家具模型；（2）二維室內(nèi)背景圖像和二維家具圖像；（3）二維室內(nèi)背景圖和三維家具模型。這三種技術(shù)方式各有特點，具體對比見表1。

Table 1　Comparison of three ways表1　三種方式對比

三維室內(nèi)模型和三維家具模型能帶來很高的易用性和真實性，但由于室內(nèi)場景三維模型要反映用戶各自的真實情況而沒有統(tǒng)一的建模，使得用戶必須自行進行室內(nèi)場景的三維建模，人工干預(yù)量較大。

二維室內(nèi)背景圖像和二維家具圖像，不需要用戶進行室內(nèi)場景三維建模，拍攝一張室內(nèi)照片即可，干預(yù)量較小，但由于家具和室內(nèi)場景都是二維圖像，缺少大量必要的視覺信息，使得視覺上缺乏真實性，同時也限制了用戶操作性。

對于二維室內(nèi)背景圖像和三維家具模型，首先室內(nèi)家居布局設(shè)計中，家具的操作空間大于已經(jīng)定型的室內(nèi)場景，而家具的三維模型提供的完整視覺信息和效果足夠滿足家具的操作空間。因此，采用二維室內(nèi)背景圖像建立的室內(nèi)場景模型，雖然使得室內(nèi)場景的視覺信息減少，但室內(nèi)場景已經(jīng)設(shè)計定型，操作空間相對較小，缺少的視覺信息均不影響真實性和操作性，反而免除了用戶自行進行室內(nèi)場景建模的工作量。本文采用這種方式。

由于二維室內(nèi)背景圖像取自于用戶拍攝的真實室內(nèi)照片，而三維家具模型是利用計算機圖形技術(shù)虛擬制定，本文通過虛實融合的方式將兩者結(jié)合，對二維真實室內(nèi)背景圖像進行一定的計算，合成新視覺圖像以生成逼真的三維虛擬環(huán)境，實現(xiàn)二維圖像到三維環(huán)境的過渡，使其與三維家具模型兼容并最終完成家具自動布局。

2.2　基于圖像的渲染技術(shù)

基于圖像的渲染技術(shù)（image-based rendering，IBR）是實現(xiàn)虛擬現(xiàn)實方式的一種，是輸入一組真實場景的圖像，按照透視原理處理后合成新視點圖像，以實現(xiàn)二維室內(nèi)背景圖像到三維箱體模型的過渡。

IBR技術(shù)中，畫中游（tour into picture，TIP）技術(shù)頗受歡迎，文獻[1]對此提出了一套使用TIP進行箱體建模的方法，通過對圖像滅點檢測和墻線識別的方式進行圖片理解，根據(jù)室內(nèi)二維圖片建立箱體模型。滅點檢測是IBR技術(shù)的核心環(huán)節(jié)，文獻[2]針對單目圖像序列的標(biāo)定提出了一種新的滅點檢測算法，并結(jié)合高斯域上的滅點提取，提出了基于概率占用域的多目標(biāo)跟蹤的新理念，有一定的理論價值。文獻[3]針對人工環(huán)境，提出了探測水平滅點和天花板滅點的新方法，創(chuàng)造性地先利用正交性去除異常點產(chǎn)生滅點候選集，再結(jié)合全局圖像上下文和深層卷積網(wǎng)絡(luò)提取的方法約束正在考慮的滅點候選集。文獻[4]基于單張圖像，根據(jù)室內(nèi)墻線的標(biāo)識，提出了相對深度的概念和基于相對深度計算的TIP技術(shù)，提出了模型到平面的距離，并在單滅點的場景中建立蜘蛛網(wǎng)格以提取坐標(biāo)信息，由此進行建模。

除此之外，文獻[5]提出了一種新的全景漫游建模方案，同樣使用一種新的類蜘蛛網(wǎng)建模方案，通過重建球面全景圖的場景三維模型來恢復(fù)場景的深度信息，以提供更好的漫游體驗。文獻[6]在虛擬柱面全景模型及相關(guān)技術(shù)的基礎(chǔ)上，設(shè)計了一種增強圖像匹配效果、消除黑洞現(xiàn)象的建模方法。該方法利用基于特征線段的匹配算法對圖像進行匹配，然后用漸入漸出的方法進行平滑無縫拼接，再用反投影算法生成全景圖像，正投影算法生成各視線方向的視圖，最終在瀏覽器中實現(xiàn)柱面全景圖像的漫游。

基于球面全景圖和柱面全景圖的方法需要的前期拍攝工作相對于普通二維圖片更加復(fù)雜，不符合操作輕量化的要求。因此本文將采用單張二維室內(nèi)圖片的方式進行箱體建模。

2.3　室內(nèi)家居自動布局

家居自動布局是利用計算機圖形學(xué)技術(shù)，通過對室內(nèi)場景和家具進行三維建模，在建模后的室內(nèi)場景運用自動布局算法，確定家具模型在室內(nèi)場景中的位置，進而模擬真實室內(nèi)場景中的家居布局情況，最終得到反映用戶布局需求的室內(nèi)虛擬場景。家居自動布局利用計算機在視覺上模擬場景布局，有效減少人工布局設(shè)計工作量，提高工作效率。

目前家居自動布局算法受到了大量學(xué)者的關(guān)注[7-18]。主要有兩種思路，即基于案例學(xué)習(xí)的布局方法和基于現(xiàn)代優(yōu)化算法的布局方法。

（1）基于案例學(xué)習(xí)的布局方法[7-11]。該方法對大規(guī)模場景布局進行學(xué)習(xí)和訓(xùn)練，然后將訓(xùn)練結(jié)果用于待布局的家居場景中。例如：文獻[7]對大規(guī)模場景數(shù)據(jù)庫的布局結(jié)果進行學(xué)習(xí)，同時將案例學(xué)習(xí)生成的多種布局結(jié)果加入到數(shù)據(jù)庫中，進一步豐富場景數(shù)據(jù)庫。文獻[9]將存儲在語義數(shù)據(jù)庫中的先驗信息和用戶偏好進行優(yōu)化，并建立對應(yīng)的基因表達式，提出了采用交互式方式進行計算的自動優(yōu)化方法。文獻[10]為了在復(fù)雜的室內(nèi)場景中自動生成合理的家居布局，提出了一種基于數(shù)據(jù)驅(qū)動的室內(nèi)空間布局計算方法。結(jié)合已合理布置的室內(nèi)場景案例，首先將布局信息提取為先驗信息，然后對布局約束模型進行訓(xùn)練，并將布局約束模型與硬布局約束相結(jié)合，構(gòu)造了一個描述室內(nèi)功能區(qū)布局合理性的能量函數(shù)，最后通過隨機優(yōu)化對能量函數(shù)進行求解。文獻[11]提出了一種用于計算機圖形應(yīng)用的建筑物布局自動生成方法，將真實建筑的布局數(shù)據(jù)化，并訓(xùn)練成貝葉斯網(wǎng)絡(luò)以合成一個布局體系結(jié)構(gòu)，再通過隨機優(yōu)化的方式得到布局后的平面圖，這樣的思想也可以遷移應(yīng)用到室內(nèi)的家居布局中。

基于案例學(xué)習(xí)的布局算法需要事先在數(shù)據(jù)庫中準(zhǔn)備大量案例，對服務(wù)器的重量級存儲是一個考驗。同時，布局計算的時候?qū)Π咐臋z索也需要花費巨大的開銷。

（2）基于現(xiàn)代優(yōu)化算法的布局方法[12-14]。該方法使用量化函數(shù)描述家居布局合理程度，通過對該函數(shù)最優(yōu)求解從而確定布局方案。例如：文獻[12]從合理布局中抽取出層次和空間關(guān)系等布局特征，結(jié)合訪問性和可視性等特征，為布局賦予代價函數(shù)以衡量布局結(jié)果的優(yōu)劣，并通過模擬退火算法對函數(shù)進行最優(yōu)求解。文獻[13]提出了一個交互式家居布局系統(tǒng)，采用硬件加速蒙特卡洛采樣器快速采樣密度函數(shù)和布局準(zhǔn)則結(jié)合的方式，為用戶產(chǎn)生布局建議。文獻[14]提出了基于距離場能量分布函數(shù)的布局算法，該算法通過在基于地面能量分布函數(shù)的距離場中，搜索能量最大的位置，以此為依據(jù)進行家居布局。

此外，文獻[15]將家居之間位置上的約束關(guān)系作為家居自動布局的出發(fā)點，將家居彼此的約束關(guān)系用層次樹的方式加以結(jié)構(gòu)化組織，再把粒子群優(yōu)化算法應(yīng)用在層次樹中，避免了約束沖突帶來的局部最優(yōu)，提高了算法的準(zhǔn)確性，加快了算法的收斂速度，實現(xiàn)了實時最優(yōu)布局。至于對約束關(guān)系的處理，文獻[16]針對物體在三維環(huán)境中的運動軌跡，引入了一個新的約束系統(tǒng)來進行相關(guān)的限制。對運動軌跡的限制也可以應(yīng)用到對最終位置的限制上，使得家居約束關(guān)系更直觀。

文獻[17]提出了一種稱為墻網(wǎng)格結(jié)構(gòu)的新型分析結(jié)構(gòu)，將3D模型的位置和類別結(jié)合起來。通過對位置和類別關(guān)系的歸納過程對3D模型進行位置檢索，以最終自動合成出一套具有語義有效性和布局良好性的室內(nèi)場景。至于語義描述和自動布局的對應(yīng)，文獻[18]提到的wordseye系統(tǒng)可以將文本描述自動轉(zhuǎn)換為其代表的三維場景，用語言分析和一定的描述技術(shù)，使得抽象通用的布局概念和策略具有更直觀的描述性。

約束系統(tǒng)和分析結(jié)構(gòu)固然有其自身的優(yōu)點，但約束系統(tǒng)與分析結(jié)構(gòu)的設(shè)計需要大量的人工經(jīng)驗，缺乏一定靈活性和兼容性，稍有不慎會帶來算法的收斂問題。

總體來說，對應(yīng)于上述思路的各種算法在具體實現(xiàn)中，還存在諸多問題，例如布局過程中人工干涉量較高，布局算法運行時間較長等。

2.4　本文工作的主要貢獻

針對家居布局前，室內(nèi)場景模型建立操作復(fù)雜，需要較大人工干預(yù)的問題，本文采用了TIP技術(shù)，根據(jù)用戶拍攝的單張室內(nèi)場景圖片以及標(biāo)定的墻線，自動生成三維室內(nèi)場景箱體模型，完成二維圖像到三維空間的過渡，減去了用戶大量手工構(gòu)建室內(nèi)墻壁、地板、窗戶等構(gòu)件的工作量。

同時，在室內(nèi)箱體模型中，引入了基于地面能量分布的放置場輕量級智能算法，通過輕量級算法，在較快時間內(nèi)為用戶進行自動布局，使得用戶免于大量的家具模型拖拽、旋轉(zhuǎn)等操作。

本文貢獻在于自動布局算法，并在此基礎(chǔ)上，通過自動漫游規(guī)劃進行了算法上的應(yīng)用創(chuàng)新，結(jié)合發(fā)展成熟的TIP箱體建模技術(shù)進行了組合創(chuàng)新，在虛實融合的箱體中實現(xiàn)自動布局。

將虛實融合理念用于家居設(shè)計中，結(jié)合TIP箱體模型和室內(nèi)布局算法是本文的核心，為了更簡潔又不失一般性地說明問題，本文采用最具有代表性的臥室布局案例進行展開說明。

3　技術(shù)路線

本文首先根據(jù)單張臥室圖片進行箱體建模，然后加入三維家具模型，打下虛實融合的基礎(chǔ)，再應(yīng)用基于能量分布函數(shù)的自動布局算法，完成箱體中的家居自動布局。

3.1　基于TIP技術(shù)的箱體重建

在獲得用戶拍攝的臥室圖像后，首先對墻線進行標(biāo)識，并采用貼片的方式建立三維箱體模型；然后，對于原始圖片中缺失的圖片映射信息，通過智能推算的方式進行補缺，實現(xiàn)箱體模型的完整性；接著，根據(jù)標(biāo)識的墻線計算滅點，并結(jié)合假定的室內(nèi)場景高度獲取箱體模型的深度，從而獲取在世界坐標(biāo)中的三維箱體模型的尺寸；最后，如果原始室內(nèi)場景圖片中存在家具，則在箱體的三維坐標(biāo)中，對原始存在的家具信息也進行標(biāo)識，為后續(xù)參與的布局做準(zhǔn)備。

3.2　基于地面能量分布的放置場布局

在獲得臥室的箱體模型后，同文獻[14]一樣首先根據(jù)門窗位置對地面的能量分布進行初始化；然后按文獻[15]類似的方式，根據(jù)臥室家具功能進行主次關(guān)系的指定，并由此建立層次關(guān)系圖，通過對關(guān)系圖的廣度優(yōu)先搜索，形成家具的布局順序；最后根據(jù)布局順序依次確定家具各自的位置并動態(tài)引起相應(yīng)的能量變化，為后續(xù)待布局的家具做準(zhǔn)備。在全部家具位置得以確定后，再根據(jù)最后的能量分布規(guī)劃箱體漫游行為。

3.3　整體技術(shù)路線

綜上所述：本文整體技術(shù)路線圖如圖1所示。

Fig.1　Technology roadmap圖1　整體技術(shù)路線圖

4　箱體模型臥室場景建模

用戶在建立室內(nèi)場景模型時，若采用家居DIY設(shè)計平臺提供的現(xiàn)存臥室場景模型，干預(yù)量小，但真實度太低，只能反映是一個臥室，而不能反映是用戶自己的臥室。若將臥室建模工作，交給用戶自己完成，用戶可以根據(jù)自己熟悉的臥室特點建立非常真實的室內(nèi)場景模型，但手工操作量太多，干預(yù)量大。而TIP技術(shù)在本文中的應(yīng)用正是兩者劣勢的規(guī)避，兩者強勢的結(jié)合（如圖2）。

Fig.2　Advantage of modeling by using TIP圖2　TIP建模的優(yōu)勢

4.1　箱體模型初始建立

從工程開發(fā)和用戶體驗設(shè)計的角度講，對拍攝的臥室圖片，采用文獻[1]識別和手工描繪結(jié)合的方式標(biāo)識墻線，使得用戶在拍照和墻線自動識別的基礎(chǔ)上，只需手工略微調(diào)整即可彌補自動識別的精度問題，人工干預(yù)量小。

根據(jù)二維臥室照片重建三維室內(nèi)箱體模型的過程包括兩步：

（1）根據(jù)墻線分片。

（2）分片貼在初始的箱體模型上。

根據(jù)標(biāo)識的墻線，可以將原始的圖片進行切割，形成5個面的切片，并分別貼在初始箱體模型的5個面上形成初始箱體模型，如圖3所示。

Fig.3　Initial cuboid model of indoor scene圖3　室內(nèi)場景初始箱體模型

這種利用圖形學(xué)以使用少量信息生成新圖像并粗略恢復(fù)場景的方式，避開了復(fù)雜的幾何問題，用簡單、直接的方式建立圖像和箱體模型之間的聯(lián)系，讓二維臥室照片完成三維箱體模型的過渡，為虛實融合打下基礎(chǔ)。

4.2　箱體模型切片信息補缺

從圖3（a）可以看出，4條墻線的端點E、F、G、H分別與圖片的4個頂點重合，使得比如為地面貼圖的平面圖形BFGC剛好為梯形，是最理想的切割分片的情況，但實際操作中，用戶拍得不一定很精確理想，通常會出現(xiàn)圖4的情況。

Fig.4　Non-ideal case for wall line marking圖4　非理想情況墻線標(biāo)識

可以看出，作為箱體地面貼圖的平面圖形BFB′C′GC不是標(biāo)準(zhǔn)梯形，是多出了兩條邊的六邊形。這樣因為缺少顏色數(shù)據(jù)的映射，建立的箱體模型會在地面出現(xiàn)信息的缺失，如圖5所示。

Fig.5　Information missing region cuboid model圖5　箱體模型信息缺失區(qū)域

若將圖4中的CG邊向下延長，與B′C′的右延線交于G′點，則構(gòu)成的三角形GC′G′分別對應(yīng)了圖5中的信息缺失區(qū)域，如圖6所示。

針對該種情況，本文采用智能算法，自動推算信息缺失區(qū)域里的像素信息，實現(xiàn)色彩上的平滑過渡。這里以缺失區(qū)域GC′G′舉例說明。

對圖7，設(shè)color(G)、color(C′)、color(G′)分別為缺失區(qū)域三角形3個頂點的顏色值，color(x)為缺失區(qū)域內(nèi)待推算的點x的顏色值。x′為G′x與GC′的交點，其顏色由color(x′)表示，則可以通過以下公式進行計算：

其中u、v為上述公式的兩個參數(shù)，取值0到1。而G′在地面上，本身屬于缺失區(qū)域的點，其color(G′)可以用鄰面墻壁的頂點代替。從圖4中可以看出，鄰面墻壁的頂點即為G點，因此這里可以用color(G)代替color(G′)。

遍歷缺失區(qū)域內(nèi)待推算點x并按式（1）進行顏色的智能推算，可完成箱體模型信息補缺。

Fig.6　Information missing region圖6　信息缺失區(qū)域

Fig.7　Fixing information missing regionGCG′圖7　缺失區(qū)域GCG′補缺

4.3　獲取箱體模型三維信息

將二維圖像轉(zhuǎn)換為三維箱體模型，還需要獲知箱體的三維尺寸，由于拍照使用的相機參數(shù)和性能各有不同，根據(jù)照片還原室內(nèi)場景的精確尺寸，難度太大，計算也復(fù)雜。這里采用基于深度[1-4]的方式進行粗略計算。

首先，從平面角度看，墻線在平面上延伸會交于一點，從三維立體的視覺看，墻線會向內(nèi)交于一點，這樣的點稱為滅點，如圖8所示。

Fig.8　Vanishing point圖8　滅點

模型的高寬可由圖片的高寬信息表示，即：

對于箱體的深度depth(box)，需要結(jié)合三維視覺的信息進行確定。如圖8（b），三維空間中的墻線將交于P點，而二維視覺的滅點V正是P點在平面ABCD（箱體背面）上的投影，而VU的長度正是箱體模型的深度。將平面CBFG沿著直線AB平移，使得其包含直線VU，如圖9所示。

Fig.9　Fetching depth of cuboid圖9　箱體深度獲取

根據(jù)相似三角形原理以及文獻[1]的方法，可以得出以下比例線段公式：

由此可以解得：

len(VU)就是箱體的深度depth(cuboid)。

這樣方式計算出的初步深度只能反映房間內(nèi)墻到拍攝者的距離，房間原始真實的深度需要用戶稍加調(diào)整。

5　基于動態(tài)能量分布的放置場布局

本文在距離場思想上[14]，提出了放置場的概念，將地面看作一個能量分布場。當(dāng)確定了k個家具擺放位置后，地面每一位置(x,y)對應(yīng)一個能量值家具擺放位置合理程度通過其占據(jù)區(qū)域Areafur里點位的能量和進行量化。

但和距離場相比，在家具布局順序、地面能量分布計算方式以及布局過程中地面能量分布變化三方面做了相關(guān)的改進。

5.1　家具布局順序規(guī)則

當(dāng)前布局算法之所以會有計算不收斂或計算時間過長的潛在可能，是因為無序?qū)е铝巳哂喾爆嵉乃阉鞴ぷ鳌Ｒ虼吮疚耐嚯x場思想[14]一樣，是按照一定的排序順序sorted_furnitures，利用貪心求解的思想，分次搜索各個家具能量和最大的位置。但在放置場中，家具布局順序不單是根據(jù)家具高度和占地面積，而是根據(jù)人體工程學(xué)理論，以及布局目標(biāo)房間的種類和家具主從關(guān)系，從而確定布局順序。

以臥室為例，家具布局順序規(guī)則為：（1）確定主要家具位置。主要家具布局確定后，再去確定從屬家具。（2）針對同一層次從屬家具，優(yōu)先布局貼墻放置的家具。（3）針對若干個貼墻家具，優(yōu)先布局與床有特定關(guān)系的家具。如床頭柜與電視，都和床之間具有特定關(guān)系，必須分別在床的兩側(cè)和相對的位置。此外，優(yōu)先布局有從屬家具的家具，最后才考慮家具尺寸的因素。

例如：待布局的臥室里有若干個地面家具等待位置確定。既然是臥室，床是主要家具，其他家具為從屬家具，椅子是寫字臺和梳妝臺的從屬家具，如圖10所示的主從結(jié)構(gòu)。對主從結(jié)構(gòu)進行廣度優(yōu)先搜索可以得出一個序列：床→床頭柜→電視→書桌→衣柜→梳妝臺→椅子。

5.2　初始放置場地面能量分布函數(shù)

Fig.10　Master-slave structure of furniture in bedroom圖10　臥室家具主從結(jié)構(gòu)

文獻[14]提出的能量值是單純由位置(x,y)到門窗和中心距離帶權(quán)均值Dmean(x,y)決定，本文在此基礎(chǔ)上，引入了各個距離相差程度因子，即距離相差越小，能量值越高。距離相差程度由Dvar(x,y)表示，計算方式和數(shù)理統(tǒng)計中均方差類似。最初的家具個數(shù)為0，位置(x,y)的能量用以下公式加以量化：

這里Dmean(x,y)和Dvar(x,y)的計算公式為：

其中，d1、d2、d3分別表示點到門、地面中心、窗的距離；w1、w2、w3表示計算3個距離各自的權(quán)重，根據(jù)大量實驗和調(diào)整，本文分別設(shè)置為0.1、0.3、0.6，計算出的地面能量分布如圖11所示。

Fig.11　Initial ground energy distribution圖11　初始地面能量分布

地面能量分布最高的地方即為圖中紅色最亮的地方，離門窗和中心有一段合理的距離，后期的布局中，也更好地滿足和其他家具的位置關(guān)系，能很好地符合人體工程學(xué)理念和人為經(jīng)驗的布局規(guī)則，如圖12所示。

Fig.12　Bed is placed at reasonable location圖12　床布局在合理位置

5.3　地面能量動態(tài)變化

文獻[14]提出的基于距離場布局方法中，當(dāng)一個家具確定位置后，單是將其占據(jù)區(qū)域Areafur里的點位能量值設(shè)為0，以不讓其他家具與其發(fā)生碰撞。

本文提出的放置場布局方法中，還需要考慮其引起的地面能量分布的動態(tài)變化，進而使后續(xù)家具布局位置能更好得到反映。引起的地面能量分布變化主要包含如下3類：

（1）能量分布通用變化；

（2）能量分布特殊變化；

（3）能量分布附加變化。

其中，能量通用變化和特殊變化適用于所有待布局的家具，兩者間的不同在于能量更新方式不同。而附加變化是針對某一類家具，如在床的位置確定后，附加變化在床的正對面附加一層能量分布，該層能量分布只適用于床前的電視桌。

特殊變化和附加變化沒有通用公式，這是因為這兩種變化的產(chǎn)生是由特定家具引起的。例如：當(dāng)床的位置確定后，接下來通常是需要有兩個家具位于床頭兩端以滿足對稱的幾何特性。因此，在該情況下，地面上(x,y)位置的能量值計算如下：

通用變化的能量計算方式和初始時的計算方式類似，也用式（5）的計算方式，區(qū)別在于計算Dmean(x,y)和Dvar(x,y)時，除了考慮門窗和地面中心外，還要考慮已經(jīng)布置好的家具，同時采用單位權(quán)值，因此地面上(x,y)位置的Dmean(x,y)、Dvar(x,y)計算修改如下：

Fig.13　Special energy change caused by bed圖13　床產(chǎn)生的特殊能量變化

這里d1、d2、d3到dk+3表示到門、地面中心、窗以及當(dāng)前存在的k個家具的距離。

比如當(dāng)床頭柜借助特殊能量變化布置在了床頭兩端，以及電視桌借助附加能量變化布置在了床對面，將一并引發(fā)通用能量變化，按上述公式計算后，能量如圖14所示。

Fig.14　General energy change圖14　通用能量變化

可以看出，能量開始往左邊集中，那里正是適合放置其他比如桌子、平柜的地方。

綜上所述，第i個家具fur的擺放位置的求解可以按以下形式表述。

按先前確定的布局順序，依次為家具在能量分布場中搜索占據(jù)能量最大的位置，并在位置確定后動態(tài)更新地面能量的變化，為后續(xù)家具的位置搜索做準(zhǔn)備，直到布局完成。

6　漫游向量場的生成

在所有家具位置確定后，使得地面的能量分布如圖14所示，而如何根據(jù)地面的能量分布確定漫游區(qū)域以及區(qū)域上各個位置的視覺朝向是以下要解決的問題。

6.1　自動漫游區(qū)域生成

地面能量高低量化了家具位置的合理度，將在箱體模型中漫游的人看作是特殊的家具，是可以不用貼墻放置且可以在不同時刻處于不同位置的家具。因此人在漫游過程中所處的位置的合理程度也可以用地面的能量加以量化。漫游區(qū)域能量越高越好（如圖15圈定范圍）。

此外對著開口方向，逐行掃描能量最高的點再擬合為一條漫游曲線（圖15綠色標(biāo)記），可以此作為漫游區(qū)域代表路徑，并將視覺朝向初始化為從開口正視箱體內(nèi)墻的方向。如圖15所示。

Fig.15　Best area for traveling圖15　最佳漫游區(qū)域

6.2　自動漫游區(qū)域位置視覺朝向計算

在漫游區(qū)域確定后，接下來需要為區(qū)域上每一個位置確定朝向，這主要考慮兩個因素。

（1）最多家具包含在當(dāng)前朝向視覺范圍內(nèi)。

（2）箱體缺少的墻面不進入視覺范圍。

人有一定的焦點視覺角度，讓更多家具包含在當(dāng)前朝向的焦點視覺范圍內(nèi)會帶來好的漫游體驗，針對該問題考慮如下：

以漫游區(qū)域代表路徑上的一個位置O為例，如圖16所示，方向OC決定當(dāng)前焦點視野范圍為∠AOB；然后將O與n件家具中心位置Fi連線，得到n條向量OFi，此時需要尋找一個OC使得其決定的∠AOB能包含最多的OFi。

Fig.16　Vision orientation in routing area圖16　漫游區(qū)域視覺朝向

設(shè)人的焦點視野范圍為 2θ，即 ∠AOC=∠COB=θ，∠AOB=2θ；通過對向量OC的搜索，使得以下函數(shù)值達到最大。

其中angle用于計算兩個向量的夾角。

OC方向決定的∠AOB范圍包含了F1、F2、F3 3個家具，可作為該點的朝向。

對于在位置O對OC的搜索結(jié)果，有可能發(fā)生開口處的缺失墻面出現(xiàn)在視野中的情況，這是因為位置O和開口墻的左墻角B2的向量OB2被當(dāng)前視覺范圍∠AOB所包含，所以在對OC搜索過程中，要防止以下兩個情況：

（1）∠AOB不能包含向量OB2或OB1。

（2）∠AOB不能包含于范圍∠B2OB1。

故在對式（11）求解最大值時要加入兩個約束，得到以下模型：

可以在漫游路徑上對每個位置O，在范圍[-π,π]內(nèi)對決策變量OC進行搜索，以確定帶有最佳視覺方向的漫游路徑如圖17所示。

Fig.17　Routing area with vision orientation圖17　帶視覺朝向的漫游區(qū)域

對漫游區(qū)域內(nèi)其他位置的朝向搜索，也可以采用這樣的方式。

7　實驗結(jié)果

本文使用VS2010與Web STORM實現(xiàn)布局邏輯，借助同濟大學(xué)smart3D團隊開發(fā)的在線家居平臺（http://smart3d.#edu.cn/vrfusion），將箱體建模的實驗集成其中，利用其中的3D家具模型進行布局算法的實驗。實驗計算機為普通惠普PC，處理器為Intel?CoreTMi5-5200U CPU@2.2 GHz，內(nèi)存4 GB，操作系統(tǒng)為Windows10 64 bit，瀏覽器為Chrome，采用的技術(shù)為WEBGL。

基于同濟大學(xué)smart3D團隊開發(fā)的在線家居平臺,選擇一些臥室圖片，用以建立箱體模型。并將三維家具模型拖入箱體場景中，應(yīng)用本文提出的自動布局算法得到自動布局結(jié)果，并和真實布局案例進行對比以驗證算法的準(zhǔn)確性。

由表2可知，根據(jù)原始二維圖片構(gòu)建的三維箱體模型，在尺寸和圖像上面均能很精確地進行模擬。而作為對比的真實案例來自于真實平面布局設(shè)計圖（或真實臥室照片）2）http://www.xmhouse.com；http://www.fang.com；http://www.lianjia.com；http://www.nipic.com/。，可以看出本文提出的自動布局算法的實驗結(jié)果和真實布局案例的相符程度高，對實際布局有參考意義。此外，實驗結(jié)果也表明，該算法針對不同長寬的臥室、不同家具組合和數(shù)量具有較強的適應(yīng)性和兼容性。

除了表2給出的典型布局實驗外，為了驗證計算時間輕量化，本文針對8個不同臥室大小和家具組合的布局輸入進行布局時間測算，如表3所示。

可以看出，針對不同大小的臥室和家具組合，均可在毫秒級的時間內(nèi)計算出布局結(jié)果，并且隨著家具個數(shù)以及房間大小的增加，計算時間增長平穩(wěn)緩慢。

除此之外，表2展示的前5個實驗結(jié)果是針對空房間的箱體建模和自動布局，建模的效果較好，失真度小，結(jié)合自動布局的結(jié)果能很好地說明虛實融合。為了對虛實融合進行增強性說明，在后3個案例使用了本身就包含少量家具的原始圖片，由于這樣的圖片素材較少，這里采用的是自己制作的素材圖片。從后3個的實驗結(jié)果中可以看出，由于本身包含的家具會使得箱體模型效果略遜于空臥室的情況，但箱體理念仍然能得以充分表達。此外布局結(jié)果并沒有受到原始家具的影響，圖片本身包含的家具能和新加入的家具一起參與自動布局并得出正確結(jié)果，更好地說明了虛實融合的理念。

除此之外在布局后的臥室箱體中進行漫游，漫游區(qū)域和朝向也能得到充分和正確的限制。

8　結(jié)論

本文針對當(dāng)前房間建模的操作繁瑣性，以及室內(nèi)自動布局平臺和算法中存在的人工干預(yù)，同時布局響應(yīng)速度不理想等問題進行了研究，采用一種基于圖像渲染的畫中游技術(shù)來生成臥室場景三維箱體模型，并在箱體中應(yīng)用基于能量分布函數(shù)的放置場自動布局算法自動計算家具位置。本文在Web3D環(huán)境中的實驗結(jié)果表明，該設(shè)計使得用戶能快速根據(jù)自己的臥室場景建立三維模型，并在三維環(huán)境中實現(xiàn)較好較快的布局，同時生成箱體漫游策略，最終實現(xiàn)虛實融合。

Table 2　Experimential results表2　實驗結(jié)果

Table 3　Running duration of automatic arrangement表3　布局運行時間

本文提出的設(shè)計思想，不僅可以用于臥室布局中，也可擴展到其他類型房間布局中，如客廳、廚房等，同時建模的方式也可以擴展到柱面全景或球面全景等場景建模中。

[1]Wang Haifei,Jia Jinyuan,Xie Ning.Vanishing point detection and scene reconstruction of cluttered room[J].Journal of Frontiers of Computer Science and Technology,2016,10(5):678-687.

[2]Kroeger T,Dai Dengxin,Gool L J V.Joint vanishing point extraction and tracking[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition,Boston,Jun 7-12,2015.Washington:IEEE Computer Society,2015:2449-2457.

[3]Zhai Menghua,Workman S,Jacobs N.Detecting vanishing points using global image context in a non-manhattan world[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,Jun 27-30,2016.Washington:IEEE Computer Society,2016:5657-5665.

[4]Kang H W,Pyo S H,Anjyo K,et al.Tour into the picture using a vanishing line and its extension to panoramic images[J].Computer Graphics Forum,2010,20(3):132-141.

[5]Li Zhi.Research and realization of spherical panorama navigation system based on TIP[D].Kunming:Yunan University,2014.

[6]Yang Ji,Chen Xiaowei.Research and implementation of VR model based on panorama[J].Application Research of Computers,2004,21(1):249-250.

[7]Fisher M,Ritchie D,Savva M,et al.Example-based synthesis of 3D object arrangements[J].ACM Transactions on Graphics,2012,31(6):135.

[8]Hays J,EfrosAA.Scene completion using millions of photographs[C]//Proceedings of the 34th International Conference on Computer Graphics and Interactive Techniques,San Diego,Aug 5-9,2007.New York:ACM,2007:4.

[9]Akase R,Okada Y.Automatic 3D furniture layout based on interactive evolutionary computation[C]//Proceedings of the 7th International Conference on Complex,Intelligent,and Software Intensive Systems,Taichung,China,Jul 3-5,2013.Washington:IEEE Computer Society,2013:726-731.

[10]Liu Milan,Jiang Hao,Xu Weiwei,et al.Automatic indoor areas layout for indoor scenes based on example database[J].Journal of Computer-Aided Design and Computer Graphics,2017,29(1):90-100.

[11]Merrell P,Schkufza E,Koltun V.Computer-generated residential building layouts[C]//Proceedings of ACM SIGGRAPH Asia 2010,Seoul,Dec 15-18,2010.New York:ACM,2010:181.

[12]Yu L F,Yeung S K,Tang C K,et al.Make it home:automatic optimization of furniture arrangement[J].ACM Transactions on Graphics,2011,30(4):86.

[13]Merrell P,Schkufza E,Li Z,et al.Interactive furniture layout using interior design guidelines[C]//Proceedings of ACM SIGGRAPH 2011,Vancouver,Aug 7-11,2011.New York:ACM,2011:87.

[14]Song Peihua,Jia Jinyuan.Online furniture layout method based on case-based reasoning and distance fields[J].Journal of System Simulation,2016,28(10):2438-2447.

[15]Chen Guangming,Li Guiqing,Liu Pei,et al.Hierarchical constraints with particles swarm optimization for furniture arrangement[J].Journal of Computer-Aided Design and Computer Graphics,2014,26(10):1603-1612.

[16]Smith G,Salzman T,Stürzlinger W.3D scene manipulation with 2D devices and constraints[C]//Proceedings of Graphics Interface,Ottawa,Jun 7-9,2001.Toronto:Canadian Information Processing Society,2001:135-142.

[17]Xu Wenzhuo,Wang Bin,Yan Dongming.Wall grid structure for interior scene synthesis[J].Computers&Graphics,2015,46(1):231-243.

[18]Coyne R,Sproat R.WordsEye:an automatic text-to-scene conversion system[C]//Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques,Los Angeles,Aug 12-17,2001.New York:ACM,2001:487-496.

附中文參考文獻：

[1]王海菲,賈金原,謝寧.復(fù)雜室內(nèi)圖像的滅點檢測與箱體重建方法[J].計算機科學(xué)與探索,2016,10(5):678-687.

[5]李智.基于TIP的球面全景圖漫游系統(tǒng)的研究和實現(xiàn)[D].昆明:云南大學(xué),2014.

[6]楊記,陳孝威.基于全景圖像的VR建模研究及實現(xiàn)[J].計算機應(yīng)用研究,2004,21(1):249-250.

[10]劉米蘭,蔣浩,許威威,等.基于案例庫的室內(nèi)區(qū)域自動布局方法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2017,29(1):90-100.

[14]宋佩華,賈金原.基于案例推理及距離場的家居在線布局方法[J].系統(tǒng)仿真學(xué)報,2016,28(10):2438-2447.

[15]陳光明,李桂清,劉培,等.家居布局的層次化約束及其粒子群優(yōu)化[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2014,26(10):1603-1612.