北京冬奧大規(guī)?；顒臃抡婕夹g(shù)的應(yīng)用實(shí)踐

丁剛毅 李鵬 黃天羽 陳宇婷

摘 ?要：針對北京2022冬奧會、冬殘奧會開閉幕式籌備需求，在國家重點(diǎn)研發(fā)計劃“科技冬奧”專項(xiàng)項(xiàng)目研發(fā)計劃等資助下，北京理工大學(xué)數(shù)字表演與仿真技術(shù)團(tuán)隊(duì)突破了大規(guī)?；顒咏M織管控系統(tǒng)的仿真難題，完成了北京2022冬奧會開閉幕式大型表演智能化創(chuàng)編排演一體化服務(wù)平臺等關(guān)鍵技術(shù)攻關(guān)，為在世界舞臺上的精彩表演提供了高效可靠的技術(shù)支撐。

關(guān)鍵詞：仿真技術(shù);大規(guī)?；顒?集群渲染

中圖分類號：G86;TP-9 文獻(xiàn)標(biāo)識碼：A DOI：10.19881/j.cnki.1006-3676.2022.05.03

大規(guī)模活動的組織舉行既是傳播中華文明、展示中國形象的主要平臺，也是展現(xiàn)國家綜合國力的重要窗口。據(jù)統(tǒng)計，我國萬人級大規(guī)模活動每年600～800次，活動的組織、人力、指揮、保障等是世界各國都存在的難題。大規(guī)模活動組織實(shí)施一般要經(jīng)歷策劃創(chuàng)意、編排實(shí)施、彩排演練、正式運(yùn)行4個階段，該過程簡稱為“創(chuàng)編排演”。經(jīng)調(diào)研發(fā)現(xiàn)，近20年來全世界奧運(yùn)開幕式創(chuàng)編排演的制作成本為2億～8億人民幣，耗時2～3年，參加人員5萬～10萬，大多都采用傳統(tǒng)工作方式。傳統(tǒng)創(chuàng)編排演流程存在著成本高、效率低、風(fēng)險大、安全差的問題，技術(shù)手段面臨著“創(chuàng)意實(shí)施拙、過程認(rèn)知盲、核心平臺缺”三大痛點(diǎn)。

北京理工大學(xué)數(shù)字表演與仿真技術(shù)團(tuán)隊(duì)在“科技冬奧”專項(xiàng)項(xiàng)目研發(fā)計劃的支持下，研發(fā)了“北京2022冬奧會、冬殘奧會開閉幕式仿真系統(tǒng)”，搭建了基于國產(chǎn)硬件的“超大分辨率、超高幀率應(yīng)急渲染集群”，提高了創(chuàng)編排演4個階段的高效性和智能性，在服務(wù)北京冬奧會的同時有力推動了大規(guī)?；顒臃抡婕夹g(shù)體系的發(fā)展。

一、數(shù)字化訓(xùn)練彩排方案生成系統(tǒng)

數(shù)字化訓(xùn)練彩排方案生成系統(tǒng)能根據(jù)導(dǎo)演創(chuàng)意自動生成排練方案（參見圖1），輸出排練點(diǎn)位圖、動態(tài)推演、演員排練手冊、合練手冊等，生成大型表演訓(xùn)練彩排方案。在大型表演設(shè)計過程中構(gòu)建基于平行仿真的表演創(chuàng)意與編排協(xié)同實(shí)施框架。整個創(chuàng)編排融合過程，遵循基于模型的系統(tǒng)工程經(jīng)典“V”字形模型?；谄叫蟹抡娴谋硌輨?chuàng)意與編排協(xié)同實(shí)施框架，構(gòu)建訓(xùn)練彩排方案生成系統(tǒng)。該系統(tǒng)可以將創(chuàng)意文案、效果圖、視頻等創(chuàng)意素材拆解、細(xì)化、提取為創(chuàng)意數(shù)據(jù)。通過表演要素快速建模與系統(tǒng)計算，對創(chuàng)意數(shù)據(jù)進(jìn)行評估校驗(yàn)。大規(guī)模群組行為編排技術(shù)可以將創(chuàng)意數(shù)據(jù)轉(zhuǎn)化為群組路線規(guī)劃與調(diào)度方案，智能化分解提煉形成個體化排練手冊（參見圖2），指導(dǎo)演員、仿生設(shè)備、道具等表演要素訓(xùn)練，保證各要素在空間、時間上的一致性和準(zhǔn)確性。

數(shù)字化訓(xùn)練彩排方案生成系統(tǒng)全面服務(wù)于北京2022冬奧會開閉幕式訓(xùn)練彩排。針對開幕式重要表演環(huán)節(jié)，優(yōu)化生成表演和排練方案百余個，其中《立春》120個、《構(gòu)建一朵雪花》19個、《雪花》42個（參見圖3）、《致敬人民》25個以及其他表演及排練方案20個。針對閉幕式重要表演環(huán)節(jié)，生成演員排練素材3588份，優(yōu)化生成表演方案《點(diǎn)亮》24個、《運(yùn)動員入場》87個、《緬懷》33個、《熄火》15個（參見圖4）以及其他表演方案14個。針對冬殘奧會的開閉幕式主要儀式環(huán)節(jié)，測算國旗和會旗入場、運(yùn)動員入場式、領(lǐng)導(dǎo)致辭等環(huán)節(jié)的備場、退場時間，規(guī)劃人員場內(nèi)運(yùn)行流線，解決包括殘疾人運(yùn)動員入場與落座最優(yōu)化方案仿真測算。系統(tǒng)使得排練效果更加真實(shí)，表演數(shù)據(jù)更加準(zhǔn)確，演員排練更加高效。

圖1 《雪花》導(dǎo)演在仿真系統(tǒng)上研討創(chuàng)排方案（鳥巢）

圖2 ?國家體育場根據(jù)動態(tài)點(diǎn)位圖排練《折柳送別》表演

圖3 ?開幕式《雪花》表演預(yù)演可視化

圖4 ?閉幕式《熄火》表演預(yù)演可視化

二、基于虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)的表演預(yù)演系統(tǒng)

基于虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)的表演預(yù)演系統(tǒng)，以數(shù)據(jù)驅(qū)動方式對表演預(yù)演過程實(shí)施仿真推演和三維呈現(xiàn)，實(shí)現(xiàn)對表演環(huán)境和要素進(jìn)行物理和行為建模;對表演內(nèi)容進(jìn)行可視化編排，并融合交互式預(yù)演技術(shù)，實(shí)現(xiàn)多窗口多機(jī)位同步渲染，同時支持多機(jī)位轉(zhuǎn)播仿真。表演預(yù)演系統(tǒng)為導(dǎo)演、演員和轉(zhuǎn)播團(tuán)隊(duì)提供了全新交互式表演預(yù)演方法，保證了從表演創(chuàng)意到現(xiàn)場演出的系統(tǒng)轉(zhuǎn)化與有效實(shí)施。

表演預(yù)演系統(tǒng)全面服務(wù)于北京2022冬奧會開閉幕式籌備，針對儀式環(huán)節(jié)，對領(lǐng)導(dǎo)入場、致辭、會旗入場、傳遞國旗、宣誓、火炬?zhèn)鬟f、運(yùn)動員入場等環(huán)節(jié)測算入場時間，系統(tǒng)規(guī)劃人員流線，優(yōu)化流程方案。集成燈光、機(jī)械、道具、舞美、音樂、視頻、服裝、演員、煙花、轉(zhuǎn)播機(jī)位等要素，實(shí)現(xiàn)從熱場到火炬?zhèn)鬟f全流程、全要素、全方位的內(nèi)容可視化仿真（參見圖5）。開幕式仿真系統(tǒng)迭代41版，制作美術(shù)資源11231個，粒子特效20種;閉幕式仿真系統(tǒng)迭代21版仿真要素10581個，實(shí)現(xiàn)特效12種;冬殘奧開幕式仿真系統(tǒng)迭代14版，冬殘奧閉幕式仿真系統(tǒng)迭代7版。表演預(yù)演系統(tǒng)使得排練效果更加真實(shí)，方案調(diào)整更加快速。

圖5 ?冬殘奧開幕式運(yùn)動員入場仿真預(yù)演

三、集群渲染與視頻映射關(guān)鍵技術(shù)

面向2022北京冬奧會閉幕式入場聯(lián)排時間緊、任務(wù)重的需求，團(tuán)隊(duì)搭建了16K應(yīng)急渲染集群，應(yīng)用基于國產(chǎn)芯片架構(gòu)的渲染流水線、協(xié)同集群計算、快速視頻裁切等技術(shù)，自主研發(fā)渲染集群協(xié)同，解決50幀超高分辨率視頻渲染難題，應(yīng)急渲染集群包含管理節(jié)點(diǎn)1臺、存儲節(jié)點(diǎn)1臺、GPU節(jié)點(diǎn)15臺（60個圖形節(jié)點(diǎn)）、國產(chǎn)CPU節(jié)點(diǎn)20臺，支撐視頻渲染效率達(dá)到5倍以上。2022年1月10日，應(yīng)急渲染集群在北京國家體育場搭建完成并上線運(yùn)行。

截至2022年3月13日冬殘奧會閉幕式結(jié)束，應(yīng)急渲染集群運(yùn)行時間1512小時，共完成渲染任務(wù)105項(xiàng)，共計渲染16K超高分辨率素材472428幀。其中，包含3DMAX任務(wù)33項(xiàng)，MAYA任務(wù)11項(xiàng)，AE任務(wù)56項(xiàng)，Houdini任務(wù)5項(xiàng)，各項(xiàng)任務(wù)中最長用時19小時9分鐘，最短用時13分鐘，平均用時2小時53分鐘。

針對非標(biāo)準(zhǔn)分辨率、空間結(jié)構(gòu)、運(yùn)動軌跡的LED屏幕視頻映射問題，團(tuán)隊(duì)引入了幀內(nèi)-幀間映射的視頻播放映射技術(shù)。團(tuán)隊(duì)為鳥巢國家體育場地面LED屏幕16K高幀率視頻制作技術(shù)規(guī)范、撰寫《視頻播控技術(shù)手冊》，服務(wù)近百名視覺設(shè)計和視頻制作師。針對異形結(jié)構(gòu)視頻映射問題，團(tuán)隊(duì)突破了非標(biāo)準(zhǔn)空間視頻映射和播控問題，研發(fā)計算系統(tǒng)和視頻制作手冊，解決了開幕式發(fā)光五環(huán)異形視頻映射問題。針對16K超大分辨率50幀率視頻的播放問題，團(tuán)隊(duì)研發(fā)了基于H265編碼的快速視頻裁切渲染系統(tǒng)，使得單機(jī)視頻裁切上屏效率提升了10倍以上，為冬奧會、冬殘奧會意大利米蘭8分鐘表演視頻上屏提供了高效的技術(shù)服務(wù)。

四、轉(zhuǎn)播仿真關(guān)鍵技術(shù)

轉(zhuǎn)播仿真關(guān)鍵技術(shù)對全型號攝像機(jī)進(jìn)行物理建模，可在仿真系統(tǒng)上設(shè)定機(jī)位方案、轉(zhuǎn)播方案，以預(yù)演為視覺內(nèi)容，輸出多套轉(zhuǎn)播方案和預(yù)案，為國際奧林匹克轉(zhuǎn)播公司提供拍攝和轉(zhuǎn)播技術(shù)方案。

針對冬殘奧會開閉幕式的轉(zhuǎn)播需求，團(tuán)隊(duì)模擬轉(zhuǎn)播機(jī)位23個，輔助《會徽展示》等環(huán)節(jié)轉(zhuǎn)播方案構(gòu)建，團(tuán)隊(duì)反復(fù)驗(yàn)證轉(zhuǎn)播效果，輔助優(yōu)化轉(zhuǎn)播方案，為演練、演出的高效、準(zhǔn)確、精彩轉(zhuǎn)播提供技術(shù)支撐。

五、表演機(jī)器人控制技術(shù)

根據(jù)2022北京冬殘奧會開閉幕式表演創(chuàng)意要求，團(tuán)隊(duì)定制研發(fā)了表演機(jī)器人和運(yùn)行軌跡控制技術(shù)。該機(jī)器人可模擬特殊裝置運(yùn)行軌跡，精準(zhǔn)控制路線、速度、跨越障礙物等。為解決國家體育場內(nèi)LED地屏縫隙大、表面較光滑、高低差明顯、電磁干擾大等問題，團(tuán)隊(duì)對表演冰壺機(jī)器人進(jìn)行軟硬件一體化系統(tǒng)架構(gòu)設(shè)計，集成研發(fā)履帶式小型機(jī)器人，并對其行進(jìn)、控制、通信及外觀設(shè)計等進(jìn)行技術(shù)攻關(guān)，突破了基于計算機(jī)視覺的冰壺運(yùn)動軌跡檢測算法、多頻段可靠通信技術(shù)、實(shí)現(xiàn)了冰壺機(jī)器人在冬殘奧開幕式彩排開場倒計時環(huán)節(jié)及冬奧會閉幕式熄火部分表演的準(zhǔn)確軌跡及變速旋轉(zhuǎn)姿態(tài)行進(jìn)表演。

基于以上5個方面，團(tuán)隊(duì)實(shí)現(xiàn)了從組織策劃到應(yīng)用實(shí)施的全流程技術(shù)支持，為儀式活動提供了創(chuàng)意質(zhì)量、速度、數(shù)量、可行性的保障，為排演視頻文件提供了制作及時、優(yōu)化完善的保障，為2022冬奧會、冬殘奧會開閉幕式視頻畫面精彩呈現(xiàn)提供了技術(shù)支撐。北京理工大學(xué)數(shù)字表演與仿真技術(shù)團(tuán)隊(duì)自主研制的大型表演智能化仿真體系及一體化平臺，開創(chuàng)了我國大型活動的一體化、智能化、服務(wù)化應(yīng)用創(chuàng)新，填補(bǔ)了國際上相關(guān)技術(shù)空白，使我國大規(guī)?；顒臃抡婕夹g(shù)達(dá)到國際領(lǐng)先水平。