視覺優(yōu)化的移動三維圖形自適應(yīng)重構(gòu)技術(shù)研究

溫 穎，劉思遠(yuǎn)，張 玲

（1.杭州職業(yè)技術(shù)學(xué)院 信息電子系，浙江 杭州310018；2.浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州310023；3.浙江省可視媒體智能處理技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，浙江 杭州310012）

0 引 言

漸進(jìn)編碼傳輸技術(shù)［1］、可視掩碼計(jì)算算法［2］、適用于移動設(shè)備的模型簡化和漸進(jìn)傳輸方法［3，4］以及文獻(xiàn) ［5］提出在服務(wù)端完成并刪除耗時(shí)的本地重組計(jì)算，極大減少三維模型在客戶端的繪制等待時(shí)間的方法，上述這些面向移動終端的模型簡化、傳輸和繪制技術(shù)，能較好地實(shí)現(xiàn)三維圖形在移動終端上的可視化，但這些方法沒有考慮移動終端的跨平臺特性［6，7］，沒有綜合考慮視覺感知、圖形本身復(fù)雜度的動態(tài)性、移動終端系統(tǒng)資源及占用可能性，使得生成圖形的時(shí)間不均衡，視覺感知效果比較差。因此在三維圖形的信息動態(tài)重組與自適應(yīng)可視化技術(shù)方面，系統(tǒng)應(yīng)綜合考慮當(dāng)前的資源狀況和計(jì)算能力，采用簡略的計(jì)算方法和數(shù)據(jù)降低對計(jì)算質(zhì)量的要求，保證計(jì)算在指定時(shí)間內(nèi)完成，才能獲得良好的視覺效果。本文通過對象重要性計(jì)算，對不同級別細(xì)節(jié)層次模型的分布比例進(jìn)行跨平臺自動調(diào)整，從而生成視覺效果較為滿意的三維場景，為移動圖形繪制成本和視覺效果尋求一種折中方案。

1 視覺優(yōu)化的移動三維圖形自適應(yīng)重構(gòu)系統(tǒng)的架構(gòu)

由于移動終端屏幕尺寸較小，存儲量有限，若所有對象都采用精度高的場景模型顯示將對移動終端存儲的占用量和網(wǎng)絡(luò)傳輸帶來巨大壓力，但若全部采用精度低的場景模型，視覺效果又無法得到保證。因此要采取分層次模型顯示策略。

一個物體有了不同的細(xì)節(jié)層次后，選擇該物體的一個用于繪制的細(xì)節(jié)層次的方法就是LOD （level of detail）選擇方法。選取LOD常用的兩種方法是根據(jù)視距來選擇合適的模型［8］和基于投影面積的LOD選取方法。但是，對象重要程度除了和視點(diǎn)位置、對象大小等影響視覺重要度的因素有關(guān)外還應(yīng)考慮觀測者的感興趣程度、對象的顏色等因素，因此要建立對象視覺重要度、對象顏色、對象大小、視點(diǎn)位置等綜合因素的對象重要度模型。此外，由于移動終端軟硬件環(huán)境不盡相同，采取固定的顯示策略無法適應(yīng)所有移動終端，因而需要根據(jù)不同終端對顯示策略進(jìn)行調(diào)整，按照新的顯示策略進(jìn)行圖形重構(gòu)。

本文提出的視覺優(yōu)化的移動三維圖形自適應(yīng)重構(gòu)技術(shù)主要實(shí)現(xiàn)不同移動終端上的自適應(yīng)繪制，即自動適應(yīng)不同用戶要求和軟硬件環(huán)境生成滿意的可視化結(jié)果。該技術(shù)主要完成3個步驟：①結(jié)合對象的運(yùn)動過程，估算對象的重要度；②根據(jù)對象重要度來選擇合適的可視化模型，確定哪些級別的LOD模型被用來進(jìn)行繪制；③根據(jù)移動終端的平臺類型、移動終端的配置參數(shù)和性能等，對選擇的層次細(xì)節(jié)模型再進(jìn)行適當(dāng)調(diào)整，使場景生成時(shí)間滿足限時(shí)要求，且較為均衡，達(dá)到最佳視覺效果。如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)

2 對象視覺重要性的計(jì)算方法研究

對象重要性的計(jì)算是實(shí)現(xiàn)自適應(yīng)重構(gòu)的一個關(guān)鍵問題，它是是否可以降低模型精度的重要依據(jù)。文獻(xiàn)［9］對視覺顯著度和視覺重要度進(jìn)行了量化分析，得到如下結(jié)論：當(dāng)觀測者在觀察感興趣的目標(biāo)時(shí)，他們的視線并不會分布于該目標(biāo)的所有區(qū)域，僅僅是目標(biāo)中特定的某幾個區(qū)域吸引了絕大多數(shù)的視覺注視點(diǎn)。這些區(qū)域定義為視覺重要度區(qū)域，且該區(qū)域和區(qū)域內(nèi)的對象大小、面積無關(guān)。對視覺顯著圖的計(jì)算，文獻(xiàn)［9］是基于這樣的假設(shè)：當(dāng)人類的視線落在某一點(diǎn)上時(shí)，該區(qū)域受到的視覺的強(qiáng)度，是以該點(diǎn)為中心的高斯分布。文獻(xiàn)［9］假設(shè)觀察者眼球距離屏幕的距離為1575像素 （約41厘米），而人類視網(wǎng)膜中央凹的寬度大約在1°左右，如圖2所示。

圖2 計(jì)算點(diǎn)擴(kuò)散函數(shù)

通過三角函數(shù)R＝1575像素×tan0.5°≈14pixels，便可以算出，所需使用的高斯函數(shù)，其寬度約為28個像素，得到直徑為28像素的圓形區(qū)域，即為1個注視點(diǎn)下的視覺重要度區(qū)域。

此外，在日常生活中，人們常常可以體驗(yàn)到在視距相等的情況下，有些顏色顯得比實(shí)際距離近，而有些顏色顯得比實(shí)際距離遠(yuǎn)［10］，色彩的不同會造成空間遠(yuǎn)近感不同［11］。

基于以上研究成果，本文綜合考慮視覺重要度區(qū)域、視線方向、對象顏色及大小對視覺效果的影響，如圖3所示，把圓心作為視點(diǎn)，垂直視線方向上距離圓心最遠(yuǎn)的對象作為基準(zhǔn)對象，引入一個與視線方向相關(guān)的因子factor，取factor＝tanθ，d表示某對象到圓心的實(shí)際距離，s表示對象的投影面積，c表示對象的顏色，得到改進(jìn)后的重要度度量公式為

式中：α1，α2——權(quán)重系數(shù)，B——重要度基準(zhǔn)值，它的值由處于重要度臨界位置的某對象 （稱作基準(zhǔn)對象）計(jì)算得到，則，其中，θ0表示該基準(zhǔn)對象的視角，d0表示基準(zhǔn)對象到視點(diǎn)的距離，s0表示基準(zhǔn)對象的對象大小，c0表示基準(zhǔn)對象的顏色。I的值越大，表示某對象的重要度值越大。顏色按照紅、橙、黃、綠、青、藍(lán)、紫分別賦值7、6、5、4、3、2、1。圖3中，P1、P3、P6處的對象為綠色，P2處的對象為黃色，P4、P5、P7處的對象為紅色，P8處的對象為紫色。

以上對象重要性判斷主要針對視覺重要度區(qū)域之內(nèi)的對象，對于重要度區(qū)域之外的部分，隨著圓半徑的逐漸擴(kuò)大，根據(jù)對象和圓心之間的距離，可以利用線性關(guān)系逐步降低對象重要性，在此不再展開論述。

圖3 對象重要度

表1 重要度信息表，α1＝0.6，α2＝0.4

3 基于視覺優(yōu)化的移動三維圖形重構(gòu)策略研究

按需動態(tài)分配LOD模型適合于資源有限條件下的三維模型重構(gòu)?，F(xiàn)有方法多數(shù)以虛擬對象的幾何屬性作為模型等級選擇的重要依據(jù)［12］，未考慮繪制時(shí)間限制，對虛擬對象在環(huán)境中所具有的其他屬性也極少考慮。

在自然圖形繪制過程中，由于時(shí)間限制不能將所有的模型都按照最高細(xì)節(jié)層次繪制，尤其是移動終端，全部按照每個對象的LOD最高層次來傳輸，將對網(wǎng)絡(luò)造成較大壓力，且會增加移動終端的能耗，因此需要對各個對象的繪制層次作出選擇。以LOD模型為數(shù)據(jù)源，對所需模型按照對象重要性進(jìn)行層次選取和繪制，從而降低數(shù)據(jù)量來滿足視覺的實(shí)時(shí)性要求，適合于移動終端的計(jì)算環(huán)境。

假設(shè)場景中每個對象有n個模型，模型按細(xì)節(jié)層次從高到低依次為LOD1，LOD2，…LODn。為滿足限時(shí)計(jì)算和視覺優(yōu)化的需要，將對象重要度從高到低排序，重要度越高，就選取層次越高的模型來顯示，設(shè)置不同層次模型的分布比例參數(shù)K。假設(shè)視覺重要度區(qū)域中有m個對象，num （LODi）表示第i層次模型的總數(shù) （i＝1，2，……，n），LOD模型的相應(yīng)級別所占的百分比依次為K1，K2，…Kn，Ki＝num （LODi）／m，Ki＞＝0 （i＝1，2，……，n），且K0＋K1＋K2＋…＋Kn＝1。

根據(jù)限時(shí)要求，按照對象重要性在場景數(shù)據(jù)庫中重新選取對象的細(xì)節(jié)層次。重構(gòu)策略的關(guān)鍵就是根據(jù)移動終端的性能，不斷調(diào)整不同層次模型的分布比例參數(shù)K，以滿足限時(shí)要求。

重構(gòu)包括3個步驟：

首先識別終端類型，根據(jù)終端類型選擇不同層次模型分布比例參數(shù)K＝ ｛K1，K2，…Kn｝；

然后根據(jù)對象重要性選取待可視化對象。在視覺重要度區(qū)域內(nèi)形成可視化對象集Soi＝ ｛Oi；i＝1，2，…，n｝，然后計(jì)算每個對象的重要性Ioi，并根據(jù)對象重要性從高到低排序，得到有序可視化對象集：So＇i＝ ｛Oj；Ioj＞Ioj＋1，j＝1，2，…，n－1｝；

最后，計(jì)算So＇i中的LOD層次，并進(jìn)行調(diào)整。根據(jù)不同層次模型分布比例參數(shù)K，確定LOD級別計(jì)其數(shù)量，使重要度性的對象選取高層次的LOD模型。此時(shí)待可視化對象對應(yīng)的層次模型集合為：

Loi＝Oi ∈ So＇i，l＝ 1，2，3，…，n，num（li）＝m＊Ki，i＝1，2，3，…，n｝，其中L為LOD模型，l為對象的LOD層次，num （li）為第i層次模型的數(shù)量，m為對象個數(shù)，n為層次模型個數(shù)。

計(jì)算完成后，要根據(jù)繪制時(shí)間自適應(yīng)地調(diào)整可視化模型，保證在限定的時(shí)間內(nèi)將數(shù)據(jù)繪制完成，一般采用降低LOD級別的方法，對已選取的LOD層次要進(jìn)行調(diào)整，通過減少高層次的數(shù)據(jù)傳輸量來降低移動終端能耗。若繪制時(shí)間在限定時(shí)間的合理范圍內(nèi)時(shí)，則直接進(jìn)行繪制；若估算的繪制時(shí)間小于限定時(shí)間的合理范圍，則按照對象重要性由大到小的排列，增加對象的模型級別，直到在估算的繪制時(shí)間接近限定時(shí)間或者所有對象的LOD級別已經(jīng)達(dá)到最高等級為止；反之，則依次降低當(dāng)前對象的模型級別，直到不能降低模型級別為止。

考慮到移動終端資源有限，可以從比較低的分辨率的模型開始選擇，通過逐步增加高層次模型來提高視覺顯示效果。

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文提出的方法，進(jìn)行了3個實(shí)驗(yàn)，實(shí)驗(yàn)環(huán)境為：CPU為Intel（R）Core （TM）i3CPU 550＠3.20GHz 3.19GHz，內(nèi)存為2048MB（DDR2SDRAM），顯卡為ATI Radeon HD 4550的PC機(jī)一臺、分辨率為640×480像素的HP iPAQ hx4700型PDA一臺、iphone手機(jī)一臺。實(shí)驗(yàn)前在PC建立場景數(shù)據(jù)庫，并采用層次樹的方式為場景中每個對象組織各自的層次模型。在PAD端初始時(shí)采用二維圖片方式展示場景和對象，操作者通過點(diǎn)擊某處作為當(dāng)前注視點(diǎn)，并將此作為視覺重要度區(qū)域的圓心，把直徑為28像素的圓形區(qū)域作為視覺重要度區(qū)域。通過使用PAD進(jìn)行漫游，在運(yùn)行中，PC機(jī)根據(jù)視覺重要度區(qū)域傳輸不同的層次模型供操作者進(jìn)行交互。

圖4為本文實(shí)驗(yàn)所用到對象的10個級別的LOD模型，其中標(biāo)題顯示的是對應(yīng)LOD模型的面片數(shù)量。圖4（a）的LOD模型最為精細(xì)，面片數(shù)量為5840個；圖4（j）的LOD模型最粗糙，面片數(shù)量僅為60個。

圖4 不同細(xì)節(jié)層次的LOD模型

實(shí)驗(yàn)1 對使用區(qū)分優(yōu)先層次策略和未使用區(qū)分優(yōu)先層次策略兩者的仿真時(shí)間對比。

圖5為兩者的仿真時(shí)間的變化情況。顯示同一個場景，采用相同的路徑進(jìn)行漫游，漫游路程為100幀，每隔5幀采樣一點(diǎn)，期望響應(yīng)時(shí)間為0.068s。藍(lán)色曲線表示使用區(qū)分優(yōu)先層次優(yōu)化策略前的仿真時(shí)間變化，紅色曲線表示使用區(qū)分優(yōu)先層次優(yōu)化策略后的仿真時(shí)間變化。可以發(fā)現(xiàn)，使用區(qū)分優(yōu)先層次策略后，場景的仿真時(shí)間降低，且場景的仿真時(shí)間更加穩(wěn)定且接近于預(yù)先設(shè)定的期望響應(yīng)時(shí)間。

圖5 使用區(qū)分優(yōu)先層次策略前后的仿真時(shí)間比較

實(shí)驗(yàn)2 使用自適應(yīng)優(yōu)化方法和未使用自適應(yīng)優(yōu)化方法的LOD分布對比。

表2為使用自適應(yīng)方法優(yōu)化前和優(yōu)化后的LOD分布，T1～T5為5個不同的時(shí)刻，視覺重要區(qū)域內(nèi)平均有36個對象。如在T1時(shí)刻，在使用自適應(yīng)優(yōu)化方法前，LOD1和LOD2的數(shù)量較多，因而造成仿真時(shí)間過長；在使用自適應(yīng)優(yōu)化方法后，LOD1和LOD2的數(shù)量減少，且LOD4（紋理貼圖）的數(shù)量增加，該優(yōu)化方法降低了那些重要性相對較低的對象的模型級別，所以仿真速率也相應(yīng)提高了。

表2 使用區(qū)分優(yōu)先層次策略前后的LOD分布

實(shí)驗(yàn)3 不同網(wǎng)絡(luò)帶寬采取同一個分層策略的仿真時(shí)間對比。

圖6顯示了不同網(wǎng)絡(luò)帶寬采取同一個分層策略的仿真時(shí)間。實(shí)驗(yàn)場景中共30個對象，每個對象的LOD取4個層次，分別是LOD1，LOD2，LOD3和LOD4（采用紋理貼圖），分 別 設(shè) 置 分 布 比 例 參 數(shù) K1＝ ｛0.4，0.2，0.2，0.2｝，K2＝ ｛0.3，0.2，0.2，0.3｝，K3＝ ｛0.1，0.2，0.3，0.4｝。從圖中可以看出，由于平臺不同，導(dǎo)致性能不同，采取同樣的分層策略無法取得一致滿意的結(jié)果。在網(wǎng)絡(luò)帶寬較為滿意的情況下，按分布比例參數(shù)K3繪制時(shí)，能取得較滿意的結(jié)果。

圖6 同一分層策略在不同網(wǎng)絡(luò)帶寬下的仿真時(shí)間

我們分別在iPhone和iPad上進(jìn)行了自適應(yīng)可視化的應(yīng)用，仿真場景實(shí)例如圖7所示。通過應(yīng)用表明，該方法能根據(jù)移動終端的類型和網(wǎng)絡(luò)環(huán)境進(jìn)行模型不同層次的分布比例參數(shù)的調(diào)整，實(shí)現(xiàn)三維場景的自適應(yīng)可視化。

5 結(jié)束語

圖7 仿真場景實(shí)例

為了自動適應(yīng)不同平臺移動終端的軟硬件環(huán)境，保證虛擬圖形可視化真實(shí)感的同時(shí)，保持三維交互虛擬圖形繪制時(shí)間的恒定性，本文研究了一種視覺優(yōu)化的移動三維圖形自適應(yīng)重構(gòu)方法。該方法能根據(jù)不同移動終端的特點(diǎn)，通過對復(fù)雜圖形中對象視覺重要性的評估，采用區(qū)分優(yōu)先層次的策略生成可視化效果較為滿意的虛擬圖形。進(jìn)一步的工作包括為不同計(jì)算能力的移動終端提供合理的初始層次分布比例，以縮短自適應(yīng)調(diào)整時(shí)間，提高顯示效率。此外還需進(jìn)一步研究當(dāng)移動終端在大范圍漫游時(shí)，如何保證對象顯示的仿真時(shí)間較為穩(wěn)定。

［1］FU Xin，TANG Yan.3Dmodel transmission technology ［C］／／Chongqin：Computer Application Technology Exchange，2008：78－83（in Chinese）.［付鑫，唐雁.三維模型傳輸技術(shù) ［C］／／重慶：計(jì)算機(jī)應(yīng)用技術(shù)交流會，2008：78－83.］

［2］Qu L J，Meyer G W.Perceptually guided polygon reduction［J］.IEEE Transactions on Visualization and Computer Graphics，2008，14 （5）：1015－1029.

［3］LUO Xiaonan，LIN Mouguang，JI Changbo，et al.A progressive geometry simplification method for mobile computing terminal ［J］.Journal of Computer Research and Development，2007，44 （6）：1038－1043 （in Chinese）.［羅笑南，林謀廣，姬長波，等.面向移動計(jì)算終端的漸進(jìn)幾何簡化方法 ［J］.計(jì)算機(jī)研究與發(fā)展，2007，44 （6）：1038－1043.］

［4］MA Jianping，LUO Xiaonan，CHEN Bo，et al.A geometry simplification method for mobile 3Dgraphics ［J］.Journal of Computer Research and Development，2008，45 （8）：1395－1401（in Chinese）.［馬建平，羅笑南，陳渤，等.一種面向移動3D圖形的幾何簡化方法 ［J］.計(jì)算機(jī)研究與發(fā)展，2008，45 （8）：1395－1401.］

［5］YANG Bailin，WANG Xun，PAN Zhigeng.Perceptually optimized model transmission and realtime rendering among wireless network ［J］.Journal on Communications，2011，32 （2）：77－85（in Chinese）.［楊柏林，王勛，潘志庚.無線網(wǎng)絡(luò)中基于視覺優(yōu)化的三維模型傳輸與實(shí)時(shí)繪制方法 ［J］.通信學(xué)報(bào)，2011，32 （2）：77－85.］

［6］Johannes Behr，Yvonne Jung，Tobias Franke，et al.Using images and explicit binary container for efficient and incremental delivery of declarative 3Dscenes on the web ［C］／／Los Angeles，USA：Proceedings of the 17th International Conference on 3DWeb Technology，2012：17－25.

［7］Jingshu Huang，Brian Bue，Avin Pattath，et al.Interactive illustrative rendering on mobile devices ［J］.IEEE Computer Graphics and Applications，2007：48－56.

［8］Bao G B，Li H J，Zhang X P，et al.Realistic real－time rendering for large－scale forest scenes ［C］／／Singapore：Proceedings of IEEE International Symposium on Virtual Reality Innovation，2011：217－223.

［9］WANG Junle.The research of visual attention and quantifying the relationship between visual saliency and visual importance［D］.Guangzhou：South China University of Technology，2010：1－67 （in Chinese）.［王君樂.視覺注意機(jī)制相關(guān)研究及其中視覺顯著度與重要度間關(guān)系的量化分析 ［D］.廣州：華南理工大學(xué)，2010：1－67.］

［10］MA Aimei.Color based on color psychology，urban planning and design ［D］.Tianjin：Tianjin University of Science and Technology，2010：1－65 （in Chinese）.［麻愛美.基于色彩心理學(xué)的城市色彩規(guī)劃設(shè)計(jì) ［D］.天津：天津科技大學(xué)，2010：1－65.］

［11］YANG Zhen.Research on technology of retinal projection display ［D］.Xian：Northwestern Polytechnical University，2011：1－59 （in Chinese）.［楊震.視網(wǎng)膜投影顯示技術(shù)研究［D］.西安：西北工業(yè)大學(xué)，2011：1－59.］

［12］LIANG Xiaohui，ZHAO Qinping，HE Zhiying，et al.Mobile terminal－oriented real－time interaction point model drawing method ［J］.Science China Press，2009，39 （8）：822－832（in Chinese）.［梁曉輝，趙沁平，何志熒，等.一種面向移動終端實(shí)時(shí)交互的點(diǎn)模型繪制方法 ［J］.中國科學(xué)，2009，39（8）：822－832.］