數(shù)字時(shí)代的追光人
——訪2023級(jí)星友張迎梁博士

邀約張迎梁進(jìn)行采訪，有他作為星友代表在2023年啟明星頒證會(huì)上發(fā)言這一因素。但于我而言還想滿足兩個(gè)訴求：一是啟明星協(xié)會(huì)顧慶生秘書長一直希望能夠多提供一些星友中的創(chuàng)新創(chuàng)業(yè)榜樣；二是近年來時(shí)常聽到數(shù)字人、數(shù)字孿生等名詞概念，我雖對(duì)這些概念有自己的解讀，但感覺還是遠(yuǎn)不足夠的。那天在星友頒證會(huì)上張迎梁的發(fā)言讓我意識(shí)到他就是我要找的人：“作為一名人工智能領(lǐng)域的科研人員，我一直用‘追光之旅’來形容自己的科研生涯。在上?？萍即髮W(xué)讀研究生時(shí)，我首次接觸到了光場的概念。大多數(shù)人聽到光場的時(shí)候，第一反應(yīng)都是好奇這是什么，能干什么？其實(shí)我一開始也有同樣的疑問，直到熬夜寫完第一個(gè)光場渲染器時(shí)，看著屏幕上渲染的畫面能夠動(dòng)態(tài)變焦時(shí)，我才意識(shí)到，‘噢，這就是光場渲染啊’?！?/p>

“驚出幾身汗” 的調(diào)試過程至今難忘

大一時(shí)迎梁才開始接受編程方面的訓(xùn)練，他當(dāng)時(shí)對(duì)編程非常感興趣。大二時(shí)報(bào)名參加了學(xué)校和寧波市的編程大賽，他很享受寫代碼，并通過代碼解決問題的過程。對(duì)代碼和編程語言的日益熟悉讓他逐漸找到自己感興趣的研究方向，也讓他逐漸意識(shí)到自己的知識(shí)儲(chǔ)備、研究深度等遠(yuǎn)不足夠，因此迎梁決定繼續(xù)攻讀碩士學(xué)位，希望能夠更深入地探索計(jì)算機(jī)領(lǐng)域。在備戰(zhàn)考研期間，迎梁被剛建校的上?？萍即髮W(xué)的辦學(xué)模式、實(shí)力和愿景所吸引，最后十分幸運(yùn)地成為上?？萍即髮W(xué)信息學(xué)院的第二屆研究生。

當(dāng)時(shí)上科大張江校區(qū)還在建設(shè)中，第一年的教學(xué)、科研實(shí)驗(yàn)是在岳陽路319號(hào)中國科學(xué)院上海分院的8號(hào)樓進(jìn)行的。研二時(shí)，上科大的研究生學(xué)習(xí)暫轉(zhuǎn)到張江海科路的中國科學(xué)院上海高等研究院。那段時(shí)間研究生們會(huì)在岳陽路、海科路兩邊跑。有一次為向校內(nèi)外專家和領(lǐng)導(dǎo)演示他們實(shí)驗(yàn)室在光場數(shù)據(jù)采集方面的科研工作，需要快速搭建一套演示裝置，并完成一些硬件搭建和軟件算法調(diào)試的工作。此次要調(diào)試的設(shè)備是由8個(gè)相機(jī)模組組成的相機(jī)陣列。他們臨時(shí)接到通知，演示提前到了第二天上午，距離領(lǐng)導(dǎo)來訪只剩下十幾個(gè)小時(shí)，張迎梁和一位博士生一起承擔(dān)起相機(jī)陣列采集重建的演示調(diào)試工作。迎梁從當(dāng)晚一直到第二天早晨通宵達(dá)旦不斷調(diào)試，但直到臨近領(lǐng)導(dǎo)要來觀看的時(shí)間點(diǎn)還是沒有調(diào)試出結(jié)果，迎梁說自己在整個(gè)過程中已是驚出幾身汗，所有人已準(zhǔn)備放棄。好在功夫不負(fù)有心人，在最后的10分鐘，裸眼三維顯示屏上終于出現(xiàn)了立體的光場渲染效果，最終得以如時(shí)、如愿完成演示。

這個(gè)過程雖然很痛苦，但對(duì)迎梁的啟發(fā)也很大。“只有自己喜歡一件事，才會(huì)有動(dòng)力去為這件事情付出全身心的投入和努力?！彼χf道。張迎梁從容地面對(duì)科研路上的種種挑戰(zhàn)，不畏艱難，始終朝著心中那個(gè)方向前進(jìn)，因?yàn)樗嘈?，星光不問趕路人，時(shí)光不負(fù)實(shí)干人。

回溯“驚出幾身汗”的那次調(diào)試情景，迎梁至今記憶猶新，印象深刻?！艾F(xiàn)在我更清楚，當(dāng)時(shí)我們所演示的就是通過多相機(jī)光場陣列，利用光的攝入完成物體的光場信息采集，以達(dá)到獲取被采物體的更精細(xì)、更準(zhǔn)確的幾何和材質(zhì)信息來做物體的實(shí)時(shí)3D渲染?！蹦谴瘟钣航K生難忘的演示也讓第一次看到這樣渲染效果的領(lǐng)導(dǎo)和專家被驚艷到。迎梁也是從那時(shí)起接觸到光場技術(shù)，并以此作為他之后的科研方向。后來他又在此基礎(chǔ)上繼續(xù)研究光場的重建和渲染，并發(fā)表了相關(guān)學(xué)術(shù)論文。而他的博士課題正是基于光場數(shù)據(jù)的三維重建。

動(dòng)態(tài)光場影棚

研究生時(shí)加盟疊境， 5 年后成為首席技術(shù)官

這次對(duì)張迎梁的采訪是在距上科大咫尺之遙的疊境數(shù)字公司內(nèi)完成的。采訪后半段的話題轉(zhuǎn)向疊境數(shù)字和被訪人如何走向創(chuàng)業(yè)之路。如今已是疊境數(shù)字首席技術(shù)官的張迎梁這樣講述道：“過去20年里，《黑客帝國》《頭號(hào)玩家》等科幻電影中的構(gòu)想成了元宇宙的最初藍(lán)本——人們通過腦機(jī)接口或者虛擬現(xiàn)實(shí)（VR）頭盔連入逼真的虛擬世界，在那里社交、生活、工作，分不清虛幻和現(xiàn)實(shí)——而‘疊境’這個(gè)看起來略帶詩意的詞匯，其實(shí)意味著一個(gè)把虛擬和現(xiàn)實(shí)重疊起來的環(huán)境，即一個(gè)把一切實(shí)物數(shù)字化的環(huán)境，完美詮釋了平行世界與數(shù)字未來的高度互通?！?/p>

除此之外，張迎梁對(duì)“疊境”的理解也在不斷深化：“疊境從中文語義來講是重疊的環(huán)境，既有現(xiàn)實(shí)又有虛擬環(huán)境重疊交織的涵義。疊境數(shù)字這些年一直在做數(shù)字化的物體、人物、場景。英文名DGene還有一層涵義是未來虛擬世界的人或許具有數(shù)字基因。這個(gè)名稱里還有數(shù)字化的時(shí)代、數(shù)字化生成的涵義?！甭犕辍隘B境”名字由來的故事，我仿佛探索了一個(gè)充滿挑戰(zhàn)和驚喜的數(shù)字世界，思考了虛實(shí)世界的本質(zhì)和意義。作為上海科技大學(xué)孵化的第一家人工智能企業(yè)，疊境數(shù)字自2016年成立以來，堅(jiān)持基礎(chǔ)研發(fā)，圍繞光場技術(shù)、三維重建、智能視覺等核心技術(shù)，先后研發(fā)了動(dòng)態(tài)光場影棚、穹頂光場、自由視點(diǎn)等多視角采集系統(tǒng)。2020起，公司依托與上科大的科研合作，嘗試通過人工智能技術(shù)，降低元宇宙內(nèi)容的制作成本，探索產(chǎn)學(xué)研一體化的創(chuàng)新路徑。

“伊可” 讓數(shù)字人技術(shù)走近大眾

公司目前的主要業(yè)務(wù)就是數(shù)字人和數(shù)字孿生，疊境數(shù)字也是國內(nèi)最早一批從事這方面技術(shù)研發(fā)的專業(yè)機(jī)構(gòu)之一。虛實(shí)融合數(shù)字孿生底座系統(tǒng)通過疊境數(shù)字長期在光場技術(shù)和三維智能視覺領(lǐng)域的技術(shù)積累，以精準(zhǔn)的三維模型、GIS信息系統(tǒng)為依托，連通孤立的二維視頻數(shù)據(jù)，將動(dòng)態(tài)視頻與靜態(tài)場景相融合，使碎片化的場景在數(shù)字孿生底座中全方位展現(xiàn)，構(gòu)建可以實(shí)時(shí)響應(yīng)動(dòng)態(tài)數(shù)據(jù)的數(shù)字孿生三維系統(tǒng)，提升三維時(shí)空的全景可視可達(dá)與智能感知研判能力，實(shí)現(xiàn)高效指揮、管理和運(yùn)營的目標(biāo)。主要面向城市治理、工業(yè)智能、園區(qū)管理、應(yīng)急指揮等數(shù)字化應(yīng)用場景的需求。

數(shù)字人包括從品牌代言、功能型播報(bào)數(shù)字人（如電視臺(tái)主播）到與大語言模型相結(jié)合的智能數(shù)字人。在2023年7月7日第一財(cái)經(jīng)成立20周年的大會(huì)上，第一財(cái)經(jīng)攜手疊境數(shù)字聯(lián)合打造的數(shù)字人主播“伊可”正式上崗，在每個(gè)交易日中午11點(diǎn)檔的《市場零距離》節(jié)目中直播公司和市場資訊，晚間21點(diǎn)在網(wǎng)端的“正在”頻道中直播美股盤前資訊。端莊的舉止、自然的語速、穩(wěn)定的狀態(tài)，作為業(yè)界首個(gè)多維形象人工智能型數(shù)字主播，伊可現(xiàn)在已經(jīng)參與第一財(cái)經(jīng)四檔節(jié)目的播報(bào)。“我們利用光場采集技術(shù)，準(zhǔn)確捕捉人物臉部和姿態(tài)特征，并將其制作成模型再進(jìn)行皮膚、動(dòng)畫加工，隨后通過自主研發(fā)的語音驅(qū)動(dòng)數(shù)字人的人工智能技術(shù)，只要把文本輸入到系統(tǒng)內(nèi)，數(shù)字人就可以播報(bào)，后面不需要“中之人”來驅(qū)動(dòng)，伊可的口型、臉部表情、眼神等都由人工智能來控制。”迎梁星友說起的數(shù)字人主播伊可，我也曾從媒體上看過相關(guān)報(bào)道，但這兩年沒有關(guān)注，可一問周邊的年輕人都說知道伊可。業(yè)內(nèi)也曾有過關(guān)于數(shù)字人主播的問世對(duì)主播這一職業(yè)帶來的挑戰(zhàn)的議論。

“伊可”數(shù)字主播采用了全流程智能化的技術(shù)方案，數(shù)字人形象經(jīng)過精心設(shè)計(jì)，依照第一財(cái)經(jīng)主播天團(tuán)的外形和聲音數(shù)據(jù)，由人工智能與藝術(shù)的創(chuàng)意結(jié)合而成，既符合媒體主播的職業(yè)標(biāo)準(zhǔn)，又符合大眾審美。在我看來伊可的問世至少幫助大家開始了解數(shù)字人技術(shù)，加快了這一技術(shù)的普及推廣，這無論如何都是件好事。

構(gòu)建手語大模型， 幫助聾啞人理解外部世界

說起近一兩年更有意思的研發(fā)課題，迎梁的興奮點(diǎn)被點(diǎn)燃：我們現(xiàn)在正在做的更有意義的是手語大模型，這是今年與上科大、上海廣播電視臺(tái)（SMG）一起做的“潤愛無聲”項(xiàng)目，利用交互智能建立手語大模型，其初衷和目標(biāo)就是幫助聾啞人看病、辦理各種業(yè)務(wù)，更重要的是讓他們更方便融入社會(huì)。聾啞人沒有聽覺，也沒法說話，他們獲得信息的途徑主要來自視覺，表達(dá)自我的方式是手語。為了達(dá)到目標(biāo)，科研人員采集動(dòng)態(tài)的三維人體動(dòng)作數(shù)據(jù)、口型數(shù)據(jù)和文本數(shù)據(jù)，將多模態(tài)數(shù)據(jù)進(jìn)行清洗、訓(xùn)練，實(shí)現(xiàn)基礎(chǔ)的手語模型；在此基礎(chǔ)上，優(yōu)化醫(yī)院、社區(qū)服務(wù)中心等特殊領(lǐng)域應(yīng)用場景，使聾啞人在機(jī)器助理的協(xié)同下，可以跟普通人一樣順利地看病和辦理各種業(yè)務(wù)；最終通過模型和聾啞人大量的交互，形成自我學(xué)習(xí)的能力，成為聾啞人了解世界、學(xué)習(xí)知識(shí)過程中不可或缺的伙伴。

伊可播報(bào)第一財(cái)經(jīng)《市場零距離》節(jié)目內(nèi)容

為了使以上美好的情景在現(xiàn)實(shí)生活中得以實(shí)現(xiàn)，張迎梁和團(tuán)隊(duì)首先從一個(gè)小的應(yīng)用切入，經(jīng)多方走訪調(diào)研后，他們選了如何服務(wù)于聾啞人看牙醫(yī)這樣一個(gè)非常具體的場景，課題組的設(shè)想是服務(wù)對(duì)象一進(jìn)入牙防所就有一套針對(duì)性的手語服務(wù)程序幫助服務(wù)對(duì)象一一完成診療過程。為此，課題組正在與手語老師一起采集手語數(shù)據(jù)。張迎梁說他充分意識(shí)到手語大模型建成不易，但這件事一旦做成其社會(huì)意義不言而喻。

手語大模型的另一個(gè)應(yīng)用場景是社區(qū)服務(wù)，譬如證件遺失補(bǔ)辦這種事對(duì)聾啞人來說并不容易。但以后聾啞人就可以通過手語直接和一臺(tái)機(jī)器對(duì)話來完成身份證補(bǔ)辦等一些社區(qū)服務(wù)項(xiàng)目了。稱之為手語大模型，是因?yàn)樾枰杉氖终Z的量其實(shí)很大。迎梁舉例說，手語有很多細(xì)節(jié)，有通用手語，也有地方性手語，就如同口語表達(dá)，既有普通話，也有各地的方言是一個(gè)道理。表述同樣一件事，不同地區(qū)的手語方式有差異，因此手語的采集量很大。此外，已有的手語模型比較偏重于二維，而疊境數(shù)字正在做的是三維的手語數(shù)字人?，F(xiàn)在還沒有專門的手語大模型，目前的手語數(shù)字技術(shù)還不夠?qū)嵱?，至少?duì)聾啞人還不實(shí)用?！半m然研發(fā)過程中會(huì)有很多困難和挑戰(zhàn)，但我們認(rèn)定這就是疊境數(shù)字強(qiáng)調(diào)要做的有溫度的人工智能，發(fā)掘技術(shù)對(duì)人類社會(huì)有益的潛能，讓弱勢群體得到更多的關(guān)注與幫助，這也是企業(yè)應(yīng)有的社會(huì)責(zé)任，我們?cè)敢庖矘芬庥犹魬?zhàn)?！?/p>

啟明星項(xiàng)目提供體育元宇宙直播觀賽新方案

最后聊到的啟明星項(xiàng)目似乎也撞上了迎梁的興奮點(diǎn)，他申報(bào)的啟明星項(xiàng)目是“構(gòu)建面向未來的沉浸式、可互動(dòng)式體育元宇宙直播觀賽新方案”，想通過研制多視角視頻編碼、低延時(shí)傳輸、三維視頻融合等新技術(shù)，提出新算法的方式打破現(xiàn)有VR體育直播、自由視角直播以及體積視頻技術(shù)手段的限制，希望實(shí)現(xiàn)面向移動(dòng)終端App、VR、增強(qiáng)現(xiàn)實(shí)（AR）等沉浸式播放媒介的體育元宇宙賽事直播新體驗(yàn)。新方案也是希望提供球員視角觀賽、現(xiàn)場任意位置的虛擬視角直播，提供給觀眾自由活動(dòng)、自由觀看的元宇宙沉浸式全新觀賽體驗(yàn)。

在2022年北京冬奧會(huì)上，疊境數(shù)字作為國內(nèi)領(lǐng)先的自由視點(diǎn)技術(shù)公司，為大賽提供了可快速制作“時(shí)間凝結(jié)”等特效的自由視點(diǎn)直播系統(tǒng)，并專為冰壺比賽設(shè)計(jì)了相應(yīng)的自由視點(diǎn)采集系統(tǒng)，部署了48套4K超高清多視角相機(jī)系統(tǒng)在賽場周圍，成為國際上第一家將自由視點(diǎn)直播技術(shù)應(yīng)用在冰壺賽場的團(tuán)隊(duì)，也為大家?guī)砹丝梢越嚯x觀看運(yùn)動(dòng)員們擲壺精彩瞬間的新體驗(yàn)。除了體育賽事，在一些大型的綜藝節(jié)目，如2021年東方衛(wèi)視《偉大舞者》中的部分鏡頭所應(yīng)用的拍攝技術(shù)也是疊境數(shù)字“自由視點(diǎn)”的一個(gè)具體應(yīng)用。

入選2020 福布斯中國30 歲以下菁英榜單

盡管重心已經(jīng)轉(zhuǎn)向企業(yè)運(yùn)營，但多年來的科學(xué)訓(xùn)練和疊境數(shù)字不斷追求科技創(chuàng)新的屬性，使得作為公司首席技術(shù)官（CTO）的張迎梁在學(xué)術(shù)上始終有追求，入行以來圍繞三維人物、物體、環(huán)境等內(nèi)容的高精度重建和渲染，已在計(jì)算機(jī)視覺圖形學(xué)領(lǐng)域的國際頂級(jí)學(xué)術(shù)會(huì)議和期刊發(fā)表多篇論文。入職以來，他負(fù)責(zé)了疊境數(shù)字動(dòng)態(tài)光場影棚、自由視點(diǎn)、數(shù)字孿生城市、超寫實(shí)數(shù)字人等產(chǎn)品的研發(fā)工作，研發(fā)成果先后在世界互聯(lián)網(wǎng)大會(huì)、中國國際進(jìn)口博覽會(huì)、世界移動(dòng)通信大會(huì)、世界人工智能大會(huì)等展覽會(huì)上展出。也因?yàn)橐陨蠘I(yè)績，張迎梁于2020年入選福布斯中國30歲以下菁英（30 Under 30）榜單，于2021年入選胡潤30歲以下中國創(chuàng)業(yè)領(lǐng)袖榜單。可以看出，迎梁是一位迎風(fēng)而立、日后有可能成為行業(yè)棟梁的創(chuàng)業(yè)先鋒。

最后，和迎梁一起暢想未來，他認(rèn)為虛擬與現(xiàn)實(shí)世界的邊界在逐漸縮小，也許會(huì)出現(xiàn)一個(gè)開放而可協(xié)作的虛實(shí)世界，將成為我們?nèi)粘Ｉ钪行畔⒔换サ囊环N主要形式。這會(huì)給人類社會(huì)帶來怎樣的發(fā)展方向？又會(huì)往何處去？值得我們一起去思考和探索。