擴(kuò)展現(xiàn)實(shí)（XR）：空天影像制作的創(chuàng)新應(yīng)用

趙靖東 李 悅 馬瑞青 /文

空天影像及其傳統(tǒng)制作應(yīng)用方法

空天影像可以泛指航空航天領(lǐng)域的一切圖形與影像內(nèi)容。狹義上講，空天影像主要指基于空基平臺的航拍影像，以及來自天基平臺的衛(wèi)星數(shù)據(jù)等。廣義上看，可將空天影像定義為涵蓋“地理空間”和“宇宙空間”的地?？仗觳煌N類的相關(guān)影像。

空天影像的應(yīng)用領(lǐng)域非常廣泛，包括航空航天和大多數(shù)地球科學(xué)學(xué)科（例如水文學(xué)、生態(tài)學(xué)、氣象學(xué)、海洋學(xué)、冰川學(xué)、地質(zhì)學(xué)等），以及與之相關(guān)的數(shù)據(jù)測繪、科學(xué)工程、教育科普等。

實(shí)景拍攝

實(shí)景拍攝是最為常見的空天影像制作應(yīng)用方法之一，往往利用各種空天攝影平臺，直接對真實(shí)景物進(jìn)行影像的拍攝工作。從氣球、風(fēng)箏甚至鴿子，到火箭、飛艇、各式飛機(jī)，再到衛(wèi)星、飛船和空間站，可以通過利用這些攝影平臺表現(xiàn)出清晰的地理形態(tài)和太空影像，運(yùn)用于國防軍事、交通建設(shè)、水利工程、生態(tài)研究、城市規(guī)劃、天體觀測等業(yè)務(wù)，還成為了攝影藝術(shù)的一個(gè)類別。

現(xiàn)場擴(kuò)展拍攝場景

在影視作品創(chuàng)作中，也會采用地球上的現(xiàn)實(shí)場景模擬空天影像。例如空天題材科幻電影《火星救援》（2015）中，攝制組選擇了約旦玫瑰沙漠作為火星室外場景的拍攝地；該沙漠景色開闊、荒蕪壯麗，非常接近火星表面的形態(tài)。但地球上天空是藍(lán)色，與火星實(shí)際情況不符，還需要結(jié)合計(jì)算機(jī)成像技術(shù)進(jìn)行后期處理。

搭景拍攝

搭景拍攝是指先在攝影棚等場景內(nèi)搭建布景、再進(jìn)行影像的拍攝工作，常應(yīng)用于各類場景再現(xiàn)、影視創(chuàng)作等。例如空天影像制作中會涉及到的火箭、飛船、空間站等場景，難以通過實(shí)景拍攝來自由地實(shí)現(xiàn)拍攝角度、鏡頭運(yùn)動等畫面控制；同時(shí)，在攝影棚中的物理空間中搭建出可觸摸、感知的布景，能夠?qū)崿F(xiàn)一些計(jì)算機(jī)成像難以達(dá)到的擬真質(zhì)感。

計(jì)算機(jī)成像（Computer-Generated Imagery）

計(jì)算機(jī)成像或計(jì)算機(jī)圖像（Computer Graphics）可以指通過計(jì)算機(jī)軟件所繪制的一切圖形圖像的總稱，包括計(jì)算機(jī)圖形設(shè)計(jì)、二維動畫、三維動畫，以及通常所說的電影視效（Visual Effects,VFX）等。

在電影《流浪地球》（2019）中，大量絢麗宏偉的太空景觀，都是依靠計(jì)算機(jī)成像技術(shù)、通過數(shù)字繪景工作完成的。例如影片中的行星發(fā)動機(jī)，首先由電影美術(shù)設(shè)計(jì)人員繪制了其整體輪廓，再結(jié)合計(jì)算機(jī)繪圖軟件對部分細(xì)節(jié)進(jìn)行完善，但并不需要在攝影棚中將其搭建出來。

實(shí)拍與計(jì)算機(jī)成像相結(jié)合

實(shí)拍與計(jì)算機(jī)成像相結(jié)合，就是指將實(shí)景拍攝、搭景拍攝等與計(jì)算機(jī)成像技術(shù)相結(jié)合的綜合性制作方法。一般而言，其影像制作的主要步驟為真人、實(shí)景在綠幕前進(jìn)行拍攝，再在后期制作階段對人物進(jìn)行摳像，進(jìn)而與計(jì)算機(jī)成像獲得的虛擬場景進(jìn)行結(jié)合，從而完成實(shí)拍難以實(shí)現(xiàn)的畫面，為創(chuàng)作者提供更廣泛的拍攝思路、拓寬了特效電影制作的道路。

擴(kuò)展現(xiàn)實(shí)技術(shù)及其應(yīng)用領(lǐng)域

擴(kuò)展現(xiàn)實(shí)技術(shù)（Extended Reality，XR）泛指通過計(jì)算機(jī)制作、顯示與交互技術(shù)等軟硬件條件，所創(chuàng)作的一個(gè)真實(shí)與虛擬結(jié)合、可人機(jī)交互的環(huán)境。

有觀點(diǎn)認(rèn)為，擴(kuò)展現(xiàn)實(shí)技術(shù)是對此前的虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)等技術(shù)的統(tǒng)稱；也有觀點(diǎn)將其視為對這些技術(shù)的高度整合與創(chuàng)造性應(yīng)用，通過將這些沉浸式交互技術(shù)融合在一起，對人的感知系統(tǒng)進(jìn)行延展。

虛擬現(xiàn)實(shí)（Virtual Reality，VR）

虛擬現(xiàn)實(shí)技術(shù)是一種創(chuàng)建和體驗(yàn)交互式三維虛擬環(huán)境的計(jì)算機(jī)仿真技術(shù)，它能為用戶提供視覺、聽覺、觸覺等多重感官刺激，用戶可以通過頭盔顯示器、數(shù)據(jù)手套、體感控制器等傳感設(shè)備在虛擬環(huán)境中實(shí)現(xiàn)交互。

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）

增強(qiáng)現(xiàn)實(shí)是由虛擬現(xiàn)實(shí)技術(shù)發(fā)展而來的新型技術(shù)，通過攝像設(shè)備和角度位置判別，來呈現(xiàn)相應(yīng)的文字、圖像、3D 對象等多媒體信息，從而將虛擬空間圖像與真實(shí)世界共同呈現(xiàn)在同一屏幕上，實(shí)現(xiàn)虛擬世界和真實(shí)世界的無縫連接。

混合現(xiàn)實(shí)（Mixed Reality，MR）

混合現(xiàn)實(shí)是基于計(jì)算機(jī)技術(shù)、可視化設(shè)計(jì)以及傳感技術(shù)等為用戶打通虛擬和現(xiàn)實(shí)通道的新一代信息技術(shù)，通過對現(xiàn)實(shí)世界與虛擬物體進(jìn)行二次計(jì)算，將虛擬情景與現(xiàn)實(shí)融為一體，利用計(jì)算機(jī)構(gòu)造出全新的三維空間，讓用戶在混合現(xiàn)實(shí)創(chuàng)建的畫面中能夠進(jìn)行實(shí)時(shí)的交互。

擴(kuò)展現(xiàn)實(shí)技術(shù)在航空航天與國防等領(lǐng)域的應(yīng)用

虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)技術(shù)，已被廣泛運(yùn)用于許多國家的航空航天與國防軍事領(lǐng)域，包括飛行員飛行模擬與訓(xùn)練、任務(wù)規(guī)劃與預(yù)演及單兵情景意識共享等。例如美國國家試飛員學(xué)院開發(fā)的融合現(xiàn)實(shí)（Fused Reality）創(chuàng)新性虛擬與增強(qiáng)現(xiàn)實(shí)綜合系統(tǒng)，可通過外部攝像頭，捕捉飛行環(huán)境信息，并置入顯示單元的慣性測量單元來檢測用戶頭部方向，再結(jié)合航空總線提供的飛行移動數(shù)據(jù)生成精確的圖像，為飛行員提供虛實(shí)融合的飛行環(huán)境，實(shí)現(xiàn)在航線上生成虛擬空中加油機(jī)、模擬危險(xiǎn)的空中加油動作等。

擴(kuò)展現(xiàn)實(shí)影像制作工作流程示意

擴(kuò)展現(xiàn)實(shí)影像制作系統(tǒng)架構(gòu)示意

歐洲宇航員中心（EAC） 于2015 年創(chuàng)建了XR 實(shí)驗(yàn)室，EAC的XR 活動以多種方式涵蓋了國際空間站的任務(wù)。例如，XR 實(shí)驗(yàn)室開發(fā)了一款虛擬現(xiàn)實(shí)應(yīng)用程序，以訓(xùn)練宇航員操作國際空間站17 米長的機(jī)械臂，并讓他們熟悉空間站的布局；XR 實(shí)驗(yàn)室的虛擬環(huán)境允許訓(xùn)練宇航員在軌道或行星表面進(jìn)行太空行走；XR 實(shí)驗(yàn)室的“月球門戶”設(shè)計(jì)通過虛擬現(xiàn)實(shí)技術(shù)對失重狀態(tài)的高質(zhì)量模擬，為訓(xùn)練宇航員探索月球提供了條件。

擴(kuò)展現(xiàn)實(shí)技術(shù)在國防軍事領(lǐng)域上最重要的應(yīng)用特性是消除時(shí)空障礙，使士兵能夠?qū)崿F(xiàn)高效的情景模擬，或者提高人與其他軍事資源調(diào)動等協(xié)同作戰(zhàn)的效率。例如，美國軍方研制的PARASIM 傘兵指揮官系統(tǒng)，能夠?qū)崿F(xiàn)與其他系統(tǒng)的無限聯(lián)網(wǎng)，使傘兵指揮官能夠在跳傘過程中實(shí)時(shí)掌握其他成員的位置、狀態(tài)信息，提高作戰(zhàn)指揮素養(yǎng)；又如美國軍方研制的Nett Warrior集成化步兵情景意識系統(tǒng)，利用頭戴式光學(xué)顯示器，通過聯(lián)網(wǎng)平視設(shè)備增強(qiáng)士兵的情景意識，使他們能夠準(zhǔn)確辨別戰(zhàn)場情況，從而提高生存概率。

擴(kuò)展現(xiàn)實(shí)技術(shù)在影像制作領(lǐng)域的應(yīng)用

擴(kuò)展現(xiàn)實(shí)技術(shù)應(yīng)用于影像制作領(lǐng)域，可以看作是對“電影虛擬化制作”體系的延伸，在實(shí)時(shí)交互預(yù)演與基于LED 背景墻的電影虛擬化制作技術(shù)等電影虛擬化制作的分支基礎(chǔ)上更進(jìn)一步，使影像在現(xiàn)場拍攝與制作過程中實(shí)現(xiàn)了對虛擬背景的無限拓展、虛擬前景、甚至是部分虛實(shí)交互能力。這一技術(shù)不論是對當(dāng)前影視制作領(lǐng)域的發(fā)展，還是對空天影像制作的發(fā)展，均有著開拓性的重要意義。

擴(kuò)展現(xiàn)實(shí)影像制作的工作流程也可以參考傳統(tǒng)影像制作流程，劃分為前期籌備、現(xiàn)場拍攝、后期制作、顯示與放映等四個(gè)階段。但它與傳統(tǒng)影像制作流程的重要區(qū)別在于，強(qiáng)調(diào)虛擬場景的前期制作，以及現(xiàn)場拍攝制作環(huán)節(jié)的統(tǒng)籌協(xié)調(diào)；整個(gè)影像制作周期相較傳統(tǒng)制作周期更短、部門協(xié)作性更強(qiáng)，對于創(chuàng)作者的技術(shù)能力要求更高。

擴(kuò)展現(xiàn)實(shí)技術(shù)在空天影像制作中的應(yīng)用實(shí)例

結(jié)合空天影像傳統(tǒng)制作應(yīng)用方法與擴(kuò)展現(xiàn)實(shí)技術(shù)的創(chuàng)新特點(diǎn)，本項(xiàng)目選取了航天器分離、降落與宇航員出艙、行走作為示例影片內(nèi)容，用以探索擴(kuò)展現(xiàn)實(shí)技術(shù)在空天影像制作中的實(shí)際應(yīng)用。在這一示例影片中，需要保持與真實(shí)空天環(huán)境的一致性，要能夠精確描述地月軌道的運(yùn)行速度、地球月球自轉(zhuǎn)公轉(zhuǎn)速度、空間站距地月距離、月球環(huán)境光照情況、月球環(huán)境造成可改變的物理狀態(tài)等，具有一定的內(nèi)容典型性與技術(shù)挑戰(zhàn)性。

在這一示例影片中，計(jì)算機(jī)成像場景面積占比較大、高光反射現(xiàn)象普遍、動態(tài)范圍和色彩范圍大、拍攝幀率要求較高，其空天影像制作系統(tǒng)的整體架構(gòu)如圖2 所示。

該制作系統(tǒng)需要分為三部分：首先是實(shí)拍場景，包括人物對象表演與物理置景部分；第二是與實(shí)景在鏡頭運(yùn)動、焦點(diǎn)、透視、畸變等方面都匹配一致的虛擬背景，包括由現(xiàn)場LED 立屏顯示的部分以及通過引擎實(shí)時(shí)擴(kuò)展合成的部分；第三是虛擬前景（圖2 中藍(lán)色部分），前景元素可以分為三種類型，一種是不跟隨實(shí)景運(yùn)動的前景效果，如風(fēng)霜雨雪、云層或外太空的星際塵埃等粒子效果，一種是跟隨實(shí)景運(yùn)動但無交互的虛擬前景，還有一種是既跟隨實(shí)景運(yùn)動又與演員有交互效果的虛擬前景。與傳統(tǒng)空天影像制作不同的是，為了體現(xiàn)太空的縱深感，需要系統(tǒng)三個(gè)部分同時(shí)協(xié)調(diào)，完成對空間感的塑造。

啟示與建議

示例影片《探月模擬》呈現(xiàn)出了擴(kuò)展現(xiàn)實(shí)技術(shù)在空天影像制作應(yīng)用領(lǐng)域的廣闊發(fā)展前景?？仗煊跋竦膫鹘y(tǒng)制作應(yīng)用方法如實(shí)景拍攝等，已經(jīng)愈發(fā)難以滿足當(dāng)下用戶對于直觀呈現(xiàn)、沉浸與交互式體驗(yàn)的需求；而實(shí)拍與計(jì)算機(jī)成像等傳統(tǒng)的綜合性制作應(yīng)用方法，不僅制作周期長、成本高，同時(shí)在通過其所生產(chǎn)的空天影像科學(xué)性、準(zhǔn)確性上還有進(jìn)一步提升的空間。

現(xiàn)場擴(kuò)展拍攝場景

而在利用擴(kuò)展現(xiàn)實(shí)技術(shù)完成的示例影片《探月模擬》中，航天器、宇航員等影像元素在拍攝過程中實(shí)時(shí)協(xié)調(diào)、共同完成對空間感的塑造，不僅能夠在教育科普、文化娛樂等領(lǐng)域進(jìn)一步提升空天影像的科學(xué)性、準(zhǔn)確性，增強(qiáng)大眾對于空天科學(xué)的認(rèn)知；同時(shí)在航空航天、國防軍事等領(lǐng)域，還體現(xiàn)出軍民應(yīng)用場景轉(zhuǎn)化與融合的發(fā)展可能。

隨著擴(kuò)展現(xiàn)實(shí)技術(shù)的持續(xù)發(fā)展以及在空天影像制作中的深入應(yīng)用，還應(yīng)該重視以下關(guān)鍵問題。

規(guī)范影像制作標(biāo)準(zhǔn)

擴(kuò)展現(xiàn)實(shí)技術(shù)是對空天影像制作傳統(tǒng)應(yīng)用方法的轉(zhuǎn)型和升級，其拍攝周期有所縮短、在影像制作和呈現(xiàn)方面的形式更為新穎，但影像制作難度仍然較大，需要使用更多的專業(yè)設(shè)備。因此，有必要將示例影片制作過程中所探索出的空天影像制作應(yīng)用規(guī)范、標(biāo)準(zhǔn)，進(jìn)一步總結(jié)、推廣，實(shí)現(xiàn)基于擴(kuò)展現(xiàn)實(shí)技術(shù)空天影像制作應(yīng)用的標(biāo)準(zhǔn)化。

控制影像制作成本

雖然擴(kuò)展現(xiàn)實(shí)技術(shù)在進(jìn)行空天影像制作時(shí)縮短了拍攝周期、有利于成本控制，但是仍然涉及到大量的拍攝與顯示設(shè)備投入、軟件調(diào)試、人員培訓(xùn)等費(fèi)用支出。隨著擴(kuò)展現(xiàn)實(shí)技術(shù)應(yīng)用的進(jìn)一步普及化、標(biāo)準(zhǔn)化，以及在空天影像領(lǐng)域數(shù)字資產(chǎn)的逐漸累積，有利于控制影像制作成本。

提升個(gè)體學(xué)習(xí)效能

擴(kuò)展現(xiàn)實(shí)技術(shù)是全新的影像制作應(yīng)用技術(shù)，有許多設(shè)施設(shè)備、配套軟件、操作流程等仍在實(shí)驗(yàn)狀態(tài)，除價(jià)格因素外，還需要投入一定的學(xué)習(xí)成本。在規(guī)范影像制作標(biāo)準(zhǔn)、控制影像制作成本的基礎(chǔ)上，應(yīng)當(dāng)逐步推進(jìn)相關(guān)影像的應(yīng)用與制作技術(shù)的普及工作，在航空航天教育和文化發(fā)展方面也有著重大意義。（國家國防科工局新聞宣傳中心）