身臨其境看冬奧

陳寶權(quán)，北京大學(xué)博雅特聘教授，前沿計(jì)算研究中心執(zhí)行主任，國(guó)家重點(diǎn)研發(fā)計(jì)劃“科技冬奧”重點(diǎn)專項(xiàng)——冰雪項(xiàng)目交互式多維度觀賽體驗(yàn)技術(shù)與系統(tǒng)項(xiàng)目負(fù)責(zé)人。

研究領(lǐng)域?yàn)橛?jì)算機(jī)圖形學(xué)、三維視覺與可視化，國(guó)家“973計(jì)劃”“城市大數(shù)據(jù)計(jì)算理論與方法”項(xiàng)目首席科學(xué)家，主持國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目。

北京2022年冬奧會(huì)觀察指南圖表，想必早已納入廣大朋友的收藏夾了。作為虎年春節(jié)期間的“重頭戲”，觀看冬奧會(huì)或?qū)⒊蔀槎鄶?shù)人過(guò)年必備的儀式感之一。2022年“冬奧日歷”出臺(tái)后，很多網(wǎng)友都表示“期待地搓手手”，但在疫情防控常態(tài)化模式下，“家門口的冬奧會(huì)”可遠(yuǎn)觀而不可近距離到場(chǎng)觀賽，又難免讓人感到遺憾。

冬季奧林匹克盛會(huì)在特殊的時(shí)代背景首臨華夏，中國(guó)能否順利舉辦一場(chǎng)簡(jiǎn)約、安全、精彩的冬奧會(huì)成為全球關(guān)注的焦點(diǎn)，而如何讓更多不在現(xiàn)場(chǎng)的朋友檢驗(yàn)中國(guó)交出的答卷，欣賞體育盛會(huì)之大美，則是“觀賽科學(xué)家”關(guān)注和研究的重點(diǎn)。

在北京2022年冬奧會(huì)和冬殘奧會(huì)期間，不論你身處何方，只需具備5G環(huán)境，自由交互式技術(shù)便可讓你身臨其境地享受一臺(tái)“獨(dú)家”的賽事轉(zhuǎn)播，你不僅可以自己做自己的導(dǎo)播，也可以自由選擇你最想看的視角，真正實(shí)現(xiàn)“想怎么看，你說(shuō)了算”。

2019年，北京大學(xué)博雅特聘教授陳寶權(quán)就致力于“科技冬奧”重點(diǎn)專項(xiàng)——冰雪項(xiàng)目交互式多維度觀賽體驗(yàn)技術(shù)與系統(tǒng)項(xiàng)目研發(fā)。歷時(shí)三年，他成功把電影特效帶入賽事轉(zhuǎn)播，讓觀眾通過(guò)一部手機(jī)就能身臨其境觀看體育盛會(huì)。

2021年10月，陳寶權(quán)在首都體育館調(diào)試自由視角拍攝相機(jī)。

問(wèn)：通過(guò)交互VR轉(zhuǎn)播技術(shù)看比賽，和真正去現(xiàn)場(chǎng)觀賽的體驗(yàn)真的能一樣嗎？

陳寶權(quán)：不一樣，應(yīng)該是更好。因?yàn)楝F(xiàn)場(chǎng)你就是在座位上去觀看，你的視點(diǎn)實(shí)際上有一定的局限。以冰球比賽為例，在運(yùn)動(dòng)場(chǎng)上，從南到北，從左到右，賽場(chǎng)上的熱點(diǎn)迅速轉(zhuǎn)移，變幻莫測(cè)。面對(duì)這種跳躍性極強(qiáng)的熱點(diǎn)現(xiàn)象，一場(chǎng)賽事下來(lái)，很多觀眾或許都坐不住“冷板凳”。所以很多時(shí)候觀眾可能很希望跑到另外一個(gè)看臺(tái)去看比賽，這在現(xiàn)場(chǎng)其實(shí)是做不到的。依托我們研發(fā)的冰雪項(xiàng)目交互式多維度觀賽體驗(yàn)技術(shù)與系統(tǒng)，成功賦予觀眾“分身術(shù)”的魔力，讓大家的座位和視角可以隨著賽事熱點(diǎn)隨時(shí)“呼叫轉(zhuǎn)移”。每個(gè)人都可以根據(jù)自己的意愿去改變視點(diǎn)觀看賽事，而且看到的都是高清畫面，這樣應(yīng)該能夠帶來(lái)一個(gè)更好的觀賞體驗(yàn)。

問(wèn)：從看得清到看得真，看上去只有這一個(gè)字的變化。一字之差的背后，來(lái)自科研團(tuán)隊(duì)歷時(shí)3年的攻關(guān)克難，才能讓更多觀眾享受智慧冬奧、科技冬奧的成果。能否請(qǐng)您介紹一下這種身臨其境的體驗(yàn)感，有哪些技術(shù)在背后支撐著？

陳寶權(quán)：提高分辨率可以確?！翱吹们濉?，良好的清晰度則能帶來(lái)更好的真實(shí)感。我認(rèn)為“看得清”最重要的是能帶給觀眾真實(shí)的現(xiàn)場(chǎng)感。什么叫在現(xiàn)場(chǎng)呢？我改變我的視點(diǎn)，我感覺它是個(gè)活生生的存在，是個(gè)三維的存在，它不只是一個(gè)固定的畫面。因?yàn)楣潭ó嬅姹Ａ粢朁c(diǎn)是固定的，你是被動(dòng)去觀看轉(zhuǎn)播信號(hào)，你就感覺不是身臨其境的。所以，這個(gè)“看得真”，我們定義它就是特指，在視點(diǎn)的空間上我們可以隨意改變。

為了確保觀眾觀賽360度無(wú)死角、全方位呈現(xiàn)賽場(chǎng)熱點(diǎn)變化，冰雪項(xiàng)目交互式多維度觀賽體驗(yàn)技術(shù)與系統(tǒng)采用40—60多個(gè)相機(jī)環(huán)繞場(chǎng)地進(jìn)行拍攝。多路視頻信號(hào)經(jīng)過(guò)處理生成了更多的視點(diǎn)，形成海量的視頻匯聚到手機(jī)端。

2021年春節(jié)聯(lián)歡晚會(huì)期間，8K轉(zhuǎn)播技術(shù)的成功運(yùn)用和實(shí)踐為我們的研發(fā)團(tuán)隊(duì)提供了良好的參考模板和經(jīng)驗(yàn)。目前，我國(guó)的視頻編解碼技術(shù)已經(jīng)趨向成熟發(fā)展階段，具備良好的基礎(chǔ)和專業(yè)的標(biāo)準(zhǔn)體系。此外，5G技術(shù)也是海量高清視頻傳播的一大技術(shù)支撐，確保賽場(chǎng)畫面及時(shí)、高效、高清地輸送到觀眾面前。

問(wèn)：360度全方位觀賽，如何幫觀眾實(shí)現(xiàn)自由視角？

陳寶權(quán)：視點(diǎn)回放的意義在于，能夠從視點(diǎn)之間進(jìn)行一個(gè)跳躍，可以改變不同的角度。但是它不夠自由，不夠自由的原因在于它是跳躍的。比如要360度覆蓋一個(gè)場(chǎng)地，可能只能是有限的相機(jī)的機(jī)位，哪怕是60個(gè)、100個(gè)也不夠多。要是60個(gè)，每?jī)蓚€(gè)相機(jī)之間就是有6度的差別。6度的跳躍中間是有好多信息的，如果劃過(guò)去它就不夠自由。所謂的自由視點(diǎn)，就是把已經(jīng)拍攝的這些視頻中間的視點(diǎn)，把它的視頻生成出來(lái)、計(jì)算出來(lái)，這樣你再去整個(gè)場(chǎng)地穿越的時(shí)候，或者劃行的時(shí)候，它就是一個(gè)無(wú)縫的體驗(yàn)。就好像你在這個(gè)場(chǎng)子里面慢慢地游走，也能看到在每一個(gè)瞬間、每一個(gè)視點(diǎn)相應(yīng)的影像，所以這就是自由視點(diǎn)所帶來(lái)的不一樣的體驗(yàn)。

問(wèn)：自由視角技術(shù)需要觀眾去主動(dòng)交互，打破了人們平常熟悉的觀賽習(xí)慣。如果普通觀眾駕馭不了這種技術(shù)，怎么辦？

陳寶權(quán)：一方面，自由視點(diǎn)給觀眾帶來(lái)了很好的自由度，但是確實(shí)不是所有的觀眾都非常熟悉這種瀏覽習(xí)慣。因此，傳統(tǒng)的轉(zhuǎn)播仍有它的意義。所謂傳統(tǒng)轉(zhuǎn)播，可能現(xiàn)場(chǎng)也是有多路的相機(jī)在拍攝，但是導(dǎo)播會(huì)切換一些精彩的視點(diǎn)、精彩的鏡頭。但是不管怎么樣，他這種切換最后到了觀眾面前，實(shí)際上就是一路視頻信號(hào)。這種導(dǎo)播變得非常的重要，其實(shí)也可以基于自由視點(diǎn)的技術(shù)，提供導(dǎo)播的功能。針對(duì)不同賽事的特點(diǎn)，讓人們進(jìn)行先期了解，比如冰球，無(wú)論從教練、觀眾、發(fā)燒友，他都知道去看哪一些鏡頭，事情快發(fā)生的時(shí)候他該怎么去看，這些都是有一些經(jīng)驗(yàn)的，他們對(duì)這些精彩的瞬間都有所期待。

2021年11月，項(xiàng)目組成員在五棵松體育館測(cè)試。

面對(duì)這種情況，我們可以事先把有經(jīng)驗(yàn)的導(dǎo)播策略置入系統(tǒng)，類似AI技術(shù)，以便能夠根據(jù)自由視點(diǎn)提供一個(gè)特別有自由度的觀看模式，就可以把這樣一個(gè)智能導(dǎo)播的技術(shù)，與自由視點(diǎn)生成的技術(shù)結(jié)合在一起，系統(tǒng)實(shí)時(shí)地生成一些精彩的片段。這些片段可以以視頻流的方式切換進(jìn)來(lái)，這樣大家可以“躺平”了觀看，但是自由視點(diǎn)會(huì)帶來(lái)區(qū)別于以前簡(jiǎn)單的切換鏡頭帶來(lái)的精彩畫面，它可以帶來(lái)像“子彈時(shí)間”這樣的一種時(shí)間凝固，或者說(shuō)在運(yùn)動(dòng)的時(shí)候我快速地飛躍相機(jī)的位置得到一種視覺的展示。

問(wèn)：冰雪項(xiàng)目交互式多維度觀賽體驗(yàn)技術(shù)與系統(tǒng)對(duì)于現(xiàn)場(chǎng)觀賽的價(jià)值在哪？

陳寶權(quán)：現(xiàn)場(chǎng)觀眾對(duì)號(hào)入座，不可避免存在視點(diǎn)的局限性，而一部手機(jī)就能打破這種局限。比如某個(gè)賽事剛開始就在觀眾眼前，后來(lái)視點(diǎn)轉(zhuǎn)到對(duì)面的場(chǎng)地去了。這時(shí)候觀眾可以拿出手機(jī)調(diào)整觀賽姿勢(shì)，這樣也是實(shí)現(xiàn)了一個(gè)互補(bǔ)，虛實(shí)交融。在你眼前的時(shí)候，你就直接看，不在你眼前的時(shí)候，你就通過(guò)手機(jī)看，有點(diǎn)像元宇宙似的。其實(shí)，在現(xiàn)場(chǎng)還有一個(gè)特別重要的功能，就是在裁判進(jìn)行裁決的時(shí)候，有些時(shí)候我們經(jīng)常出現(xiàn)一些裁決有爭(zhēng)論，因?yàn)橐朁c(diǎn)的遮擋或者各個(gè)方面。我們這個(gè)自由視點(diǎn)實(shí)際上可以給現(xiàn)場(chǎng)的裁判，提供一個(gè)自由視點(diǎn)，也就是說(shuō)他不只是從他自己的視點(diǎn)做決定，他可以通過(guò)我們這個(gè)自由視點(diǎn)，一個(gè)全方位的視點(diǎn)進(jìn)行研判，這樣對(duì)于賽事的裁決，各個(gè)方面也會(huì)起到一個(gè)很好的作用。

問(wèn)：這項(xiàng)技術(shù)的研究對(duì)5G、VR乃至元宇宙技術(shù)的推廣有哪些裨益？

陳寶權(quán)：所謂的“最后一公里”，我個(gè)人覺得應(yīng)該有兩個(gè)層面的意思。一個(gè)是技術(shù)層面，我們從拍攝到計(jì)算，涉及大量信息的處理、計(jì)算，然后傳輸，最后傳到不同的終端，比如手機(jī)終端，通過(guò)一些5G網(wǎng)絡(luò)等，它實(shí)際上確實(shí)有“最后一公里”，我們?cè)谝恍┲鞲删W(wǎng)上可能傳輸?shù)男适菈蛄?，但是到了終端，也就是“最后一公里”到我們的手機(jī)，這個(gè)時(shí)候可能就會(huì)遇到一些問(wèn)題。5G技術(shù)是非常好的幫助，技術(shù)本身漸趨成熟，基礎(chǔ)設(shè)施、部署等各方面都比較充分，這樣才能發(fā)揮它的作用。從物理層鏈路上，“最后一公里”通過(guò)我們這個(gè)項(xiàng)目，做了一個(gè)非常好的測(cè)試，因?yàn)槲覀冊(cè)跍y(cè)試中間是做了整個(gè)直播的，直播對(duì)打通整個(gè)環(huán)節(jié)非常重要。

“最后一公里”，我覺得另一個(gè)是內(nèi)容層面。要讓普通老百姓也能感受得到科技這條線的發(fā)展，這是我理解的“最后一公里”它蘊(yùn)含的意義。不是說(shuō)只能在一個(gè)少數(shù)的、特殊的行業(yè)、一部分人群才能享受一技術(shù)，那就沒有延伸到我們最廣大的老百姓，所以“最后一公里”就沒打通。我們這一次正好因?yàn)檎麄€(gè)技術(shù)的測(cè)試，是面向體育賽事的轉(zhuǎn)播，而體育賽事轉(zhuǎn)播又是老百姓非常感興趣的東西。隨著項(xiàng)目的推進(jìn)，這個(gè)測(cè)試還比較順利，讓普通的老百姓通過(guò)普通的設(shè)備——手機(jī)，非常真切地感受到這個(gè)技術(shù)帶來(lái)的一些好處。所以，我覺得是在“最后一公里”上，做了一定的嘗試，希望能夠發(fā)揮更多的作用。

2021年10月，項(xiàng)目組成員在首都體育館進(jìn)行技術(shù)測(cè)試。

問(wèn)：這套技術(shù)系統(tǒng)，除了在冬奧會(huì)期間可以讓更多的人觀看賽事，今后還會(huì)有哪些經(jīng)濟(jì)效益和社會(huì)效益？

陳寶權(quán)：從我們這一次測(cè)試的技術(shù)來(lái)看，如果說(shuō)把它從體育賽事轉(zhuǎn)播這個(gè)事情抽象開來(lái)，實(shí)際上它就是捕獲現(xiàn)實(shí)場(chǎng)景，然后傳輸?shù)浇K端的用戶，讓他們能夠有一個(gè)身臨其境的觀看體驗(yàn)。這樣的技術(shù)我們可以想象一下，實(shí)際上它可以應(yīng)用在任何其他的場(chǎng)景，當(dāng)然如果說(shuō)還延伸娛樂(lè)，那就是舞臺(tái)觀看或者其他的一些大型的表演，再到和民生相關(guān)的，比如在醫(yī)療的診斷領(lǐng)域，我們說(shuō)醫(yī)生看病要望、聞、問(wèn)、切，這個(gè)“望”很重要，就是我要看到這個(gè)人。同樣的道理，我不只是說(shuō)前面有一個(gè)攝像頭來(lái)看，而是說(shuō)我可以從各個(gè)角度去觀察這個(gè)人的膚色，包括各種細(xì)微的一些細(xì)節(jié)，能夠幫助遠(yuǎn)程的診斷，這是一個(gè)特殊的和大家相關(guān)的應(yīng)用。

如果再說(shuō)到我們每天都要做的事情，那就是人和人之間的交流。當(dāng)然，我們現(xiàn)在疫情期間通過(guò)視頻會(huì)議挺多的，但是視頻會(huì)議它的一個(gè)問(wèn)題就是，它是一個(gè)固定的視頻信號(hào)，交互性弱了一些。想象一下，在視頻會(huì)議的時(shí)候，如果我能看到不同角度的成員的存在，這個(gè)和現(xiàn)場(chǎng)我們?nèi)粘＝涣骶蜎]有太大的差別，對(duì)于人和人之間的交流會(huì)帶來(lái)一個(gè)無(wú)窮的便利性。所以圍繞這個(gè)展開，其他的比如電子商務(wù)，購(gòu)買商品之前，消費(fèi)者也希望從各個(gè)角度去觀摩了解。所以，人的觀看體驗(yàn)是剛需，這項(xiàng)技術(shù)還有很大的想象空間。