織夢(mèng)視覺(jué)技術(shù) 感知多維世界

1999年，電影《黑客帝國(guó)》（The Matrix）上映。在這部電影中，制作組采用了360度旋轉(zhuǎn)的視角來(lái)全方位呈現(xiàn)男主角尼奧仰身躲子彈的場(chǎng)景。這一被命名為“子彈時(shí)間”的經(jīng)典慢動(dòng)作鏡頭，不僅給予了當(dāng)時(shí)的觀眾“從平面到立體”的新鮮觀影感受，也激發(fā)了視覺(jué)、計(jì)算光場(chǎng)及多媒體通信等相關(guān)行業(yè)從業(yè)者和專(zhuān)家的持續(xù)思考。“被拍攝的人、事物或場(chǎng)景本質(zhì)上都是三維的，然而當(dāng)它被拍攝后，呈現(xiàn)出的卻是二維圖像。換言之，在拍攝的過(guò)程中，被拍攝主體發(fā)生了一次‘降維’的過(guò)程，這會(huì)導(dǎo)致我們?cè)谟^看這些視頻內(nèi)容時(shí)無(wú)法全面完整地看到被拍攝主體的全貌，造成了視覺(jué)信息的缺失。‘子彈時(shí)間’的出現(xiàn)，無(wú)疑為補(bǔ)全圖像的信息缺失提供了一種新的方案?！碧峒斑@番由影視作品引發(fā)的技術(shù)升級(jí)，華中科技大學(xué)電子信息與通信學(xué)院副院長(zhǎng)楊鈾如是介紹道，而他目前所從事的以視覺(jué)感知與計(jì)算為核心的計(jì)算光場(chǎng)、計(jì)算機(jī)視覺(jué)、立體視頻系統(tǒng)等方面的研究工作，也正與此密切相關(guān)?！拔业墓ぷ骶褪菍?shí)現(xiàn)更高維度的視覺(jué)信息獲取，給予平面視頻或圖像更全面的三維信息，使觀眾對(duì)目標(biāo)場(chǎng)景有更深層次的理解，讓‘觀看’這件事不止停留于‘我看到’，更要‘看得清’‘看得懂’‘看得更好’，并將相關(guān)技術(shù)應(yīng)用于越來(lái)越多的應(yīng)用場(chǎng)景，這就是我們?yōu)橹畩^斗的目標(biāo)。”

打破視限，“還原”立體世界

為了獲得光場(chǎng)f（x，y，z，θ，φ，λ，t）的信息，將空間（x，y，z）、角度（θ，φ）、光譜（λ）和時(shí)間（t）等多個(gè)因素引入其中，楊鈾及其團(tuán)隊(duì)嘗試了很多辦法，并在研究過(guò)程中不斷探索著影響視覺(jué)信息呈現(xiàn)的要素。以視覺(jué)信息的獲取為開(kāi)端，人的雙目視覺(jué)給予了他們靈感——“雖然單相機(jī)的視覺(jué)獲取只能得到平面圖像，但是仿照人眼的雙目視覺(jué)系統(tǒng)，只要能夠利用2個(gè)及以上的相機(jī)進(jìn)行多視點(diǎn)同步采集，就能夠在得到的多視點(diǎn)圖像基礎(chǔ)上進(jìn)行立體匹配，從而得到深度z的信息?！被谶@一認(rèn)識(shí)，楊鈾以多視點(diǎn)解決多維度視覺(jué)問(wèn)題為切入點(diǎn)，針對(duì)離散的多視點(diǎn)數(shù)據(jù)的結(jié)構(gòu)化、可計(jì)算、可優(yōu)化、可傳輸這4個(gè)主要問(wèn)題，開(kāi)展了多學(xué)科聯(lián)合攻關(guān)，形成了多視點(diǎn)多模態(tài)視覺(jué)信息的采集、處理與傳輸關(guān)鍵技術(shù)。在內(nèi)容的采集和預(yù)處理層面，他提出了相位信號(hào)時(shí)域差分校正、像素光流時(shí)域傳播、遞進(jìn)式多視點(diǎn)視頻配準(zhǔn)等方法，實(shí)現(xiàn)了三維空間任意位姿大規(guī)模相機(jī)陣列數(shù)據(jù)的多模態(tài)標(biāo)定與結(jié)構(gòu)化表示；發(fā)明了模型與數(shù)據(jù)聯(lián)合驅(qū)動(dòng)的耦合計(jì)算方法，研制聯(lián)合計(jì)算系統(tǒng)，實(shí)現(xiàn)了多視點(diǎn)多模態(tài)數(shù)據(jù)的混合計(jì)算；并突破性地提出了時(shí)域上采樣法和時(shí)域校正法等多種方法，為運(yùn)動(dòng)場(chǎng)景的立體感知提供了豐富的工具集。而在編碼壓縮與傳輸優(yōu)化，以及交互與呈現(xiàn)等方面，他發(fā)明了多視點(diǎn)視頻優(yōu)化編碼方法、多視點(diǎn)視頻數(shù)據(jù)的篩選優(yōu)化模型、時(shí)-角維差值技術(shù)等，降低了多視點(diǎn)多模態(tài)混合計(jì)算資源代價(jià)；并基于直接利用編碼參數(shù)（如運(yùn)動(dòng)矢量、塊模式等）來(lái)進(jìn)行深度圖濾波的方法、跨視點(diǎn)多邊濾波的方法，以及新型局部雙邊濾波器等方法，著力提升視頻的繪制質(zhì)量。

抗災(zāi)救困，彰顯“天眼”實(shí)力

在自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生、社會(huì)安全等突發(fā)性公共安全事件中，往往會(huì)出現(xiàn)因電力、通信設(shè)施損毀導(dǎo)致通信中斷的情況，這不僅給受災(zāi)區(qū)域內(nèi)人民群眾生命財(cái)產(chǎn)安全帶來(lái)巨大威脅，也會(huì)為后續(xù)救援和指揮調(diào)度工作造成嚴(yán)重阻礙。在這樣的極端情況下，現(xiàn)有的應(yīng)急通信系統(tǒng)僅能在小范圍內(nèi)為持有專(zhuān)用設(shè)備的人員提供窄帶傳輸業(yè)務(wù)，無(wú)法滿(mǎn)足災(zāi)區(qū)態(tài)勢(shì)感知、現(xiàn)代化救援對(duì)寬帶應(yīng)急業(yè)務(wù)的重大需求。如何快速構(gòu)建災(zāi)害現(xiàn)場(chǎng)與后方之間的信息通路，并對(duì)災(zāi)害現(xiàn)場(chǎng)態(tài)勢(shì)進(jìn)行全方面、多角度感知，是當(dāng)前突發(fā)公共事件應(yīng)急處置、現(xiàn)代化應(yīng)急救援所面臨的共性難題。而楊鈾團(tuán)隊(duì)基于多視點(diǎn)視覺(jué)系統(tǒng)的研究成果，就在這樣斷電、斷網(wǎng)、斷路的“三斷”環(huán)境中，在災(zāi)區(qū)態(tài)勢(shì)感知上找到了一處全新的“用武之地”。

以“天-空-地”全覆蓋的廣電專(zhuān)網(wǎng)體系為依托、公網(wǎng)為補(bǔ)充，楊鈾團(tuán)隊(duì)整合“專(zhuān)-公”多網(wǎng)信道資源打造了多體制大容量融合通信信道，在揭示分布式多模態(tài)感知耦合機(jī)制與傳遞規(guī)律的基礎(chǔ)上，發(fā)明了多模態(tài)視頻時(shí)間-角度-尺度關(guān)聯(lián)技術(shù)，就此研究的關(guān)聯(lián)感知系統(tǒng)，在國(guó)際上首次實(shí)現(xiàn)了60個(gè)視點(diǎn)、3個(gè)模態(tài)的分布式關(guān)聯(lián)感知，視點(diǎn)數(shù)提升1個(gè)數(shù)量級(jí)，克服了廣、散、多的分布式感知抓立視點(diǎn)頑疾，并突破了相關(guān)領(lǐng)域的國(guó)際技術(shù)壁壘與歐美技術(shù)禁運(yùn)；基于關(guān)聯(lián)機(jī)制下的多模態(tài)視頻預(yù)測(cè)與編碼方法，以及多模態(tài)協(xié)同的視頻篩選優(yōu)化技術(shù)，編碼能耗大幅度降低，同步研發(fā)的災(zāi)區(qū)小隊(duì)協(xié)同計(jì)算系統(tǒng)則實(shí)現(xiàn)了極端通信下的窄帶高清，被歐盟第七框架技術(shù)咨詢(xún)報(bào)告評(píng)價(jià)為“多視點(diǎn)視頻編碼領(lǐng)域最為重要的進(jìn)展”；其所建立的多模態(tài)視頻模型－數(shù)據(jù)聯(lián)合驅(qū)動(dòng)的協(xié)同機(jī)制，跨模態(tài)、跨視角協(xié)同的場(chǎng)景高質(zhì)量重建技術(shù)，以及分布式多模態(tài)協(xié)同計(jì)算系統(tǒng)，突破了深度場(chǎng)角頻率感知全向同頻干擾的物理制約，重建質(zhì)量打破了保持24年的國(guó)際紀(jì)錄；自主研發(fā)的應(yīng)急融合通信傳輸系統(tǒng)與通信車(chē)，更是首次實(shí)現(xiàn)了通信空洞下災(zāi)區(qū)的“廣電-公網(wǎng)-衛(wèi)星”三網(wǎng)融合通信。楊鈾團(tuán)隊(duì)形成了以災(zāi)區(qū)態(tài)勢(shì)感知和災(zāi)害救援為核心，涵蓋安防監(jiān)控、廣播電視、通信裝備等十多個(gè)行業(yè)的100余型新產(chǎn)品與新服務(wù)，服務(wù)南水北調(diào)、雄安新區(qū)建設(shè)等重大工程，冬季奧運(yùn)會(huì)、全國(guó)高考等重大活動(dòng)，以及貴州、山東、吉林等省的應(yīng)急演練與系統(tǒng)檢驗(yàn)。目前，這一成果在中國(guó)國(guó)家應(yīng)急廣播中的應(yīng)用，已覆蓋72%的國(guó)土面積、服務(wù)全國(guó)62.8%的人口，真正落實(shí)了我國(guó)應(yīng)急救援“以防為主，抗救結(jié)合”的戰(zhàn)略使命。

應(yīng)急救災(zāi)事關(guān)人民生命財(cái)產(chǎn)安全、社會(huì)安全、國(guó)家安全，可謂牽一發(fā)而動(dòng)全身。而通過(guò)面向?yàn)?zāi)害現(xiàn)場(chǎng)的多視點(diǎn)視頻采集、處理與傳輸方法及裝置將災(zāi)區(qū)情況傳遞給后方指揮，可以有效提升后方指揮對(duì)于災(zāi)區(qū)全貌及細(xì)節(jié)的把控程度，進(jìn)而做出更為精準(zhǔn)的調(diào)度指揮，這對(duì)我國(guó)應(yīng)急救援及相關(guān)行業(yè)的技術(shù)和管理體系進(jìn)步都有積極意義。不唯如此，楊鈾團(tuán)隊(duì)此次在應(yīng)急領(lǐng)域的開(kāi)拓，也為相關(guān)技術(shù)應(yīng)用于自動(dòng)駕駛、車(chē)路協(xié)同、智慧家庭、服務(wù)機(jī)器人、遠(yuǎn)程視頻會(huì)議、高端工業(yè)視覺(jué)監(jiān)測(cè)、遠(yuǎn)程醫(yī)療和專(zhuān)用醫(yī)療裝備等多個(gè)場(chǎng)景打開(kāi)了局面?！敖?jīng)由這個(gè)項(xiàng)目，我看到了這項(xiàng)技術(shù)更廣闊的應(yīng)用場(chǎng)景，也更深刻地意識(shí)到尚有無(wú)數(shù)的科研山峰正等待著我們?！倍?jīng)有良師為引、不斷成長(zhǎng)的楊鈾，現(xiàn)在也已成為新的引路人，帶領(lǐng)更多的年輕人不輟攀登。

行穩(wěn)致遠(yuǎn)，建設(shè)創(chuàng)新高地

1990年，就讀于廣東培英中學(xué)的楊鈾，在初一時(shí)就早早地接觸了計(jì)算機(jī)相關(guān)課程。這段經(jīng)歷讓他在高考時(shí)義無(wú)反顧地報(bào)考了計(jì)算機(jī)專(zhuān)業(yè)，而隨后面向圖網(wǎng)絡(luò)和立體視頻等細(xì)分方面的研學(xué)之路，也為他日后涉足交叉領(lǐng)域打下了堅(jiān)實(shí)的基礎(chǔ)。據(jù)了解，在楊鈾攻讀博士期間，彼時(shí)數(shù)字電視在國(guó)內(nèi)尚未完全普及，“大家用的還都是那種‘大塊頭’的顯像管電視”；而他已經(jīng)在導(dǎo)師蔣剛毅老師的指導(dǎo)下，開(kāi)始接觸立體視頻的處理編碼工作?！拔胰蘸髲氖碌囊曈X(jué)感知與計(jì)算工作即以此為始，蔣老師高瞻遠(yuǎn)矚的科研視野、全面了解行業(yè)發(fā)展前沿的鉆研精神和嚴(yán)謹(jǐn)認(rèn)真的工作態(tài)度也深深地影響了我?！倍陂_(kāi)展博士后研究時(shí)，合作導(dǎo)師戴瓊海放眼未來(lái)的戰(zhàn)略大局觀、博采眾長(zhǎng)的交叉學(xué)科的思維模式、敏銳的學(xué)術(shù)觸覺(jué)和提綱挈領(lǐng)的總領(lǐng)能力，以及始終保持思考的習(xí)慣，都讓年輕的楊鈾受益匪淺，并沉淀為他日后走上工作崗位、帶領(lǐng)團(tuán)隊(duì)的不竭養(yǎng)料。

作為領(lǐng)域內(nèi)較早開(kāi)展計(jì)算光場(chǎng)研究與應(yīng)用的科研人員之一，創(chuàng)新是楊鈾科研生涯中最亮眼的底色；如今擔(dān)任華中科技大學(xué)電子信息與通信學(xué)院副院長(zhǎng)，他仍堅(jiān)持以實(shí)際需求為導(dǎo)向，積極推進(jìn)技術(shù)創(chuàng)新和系列成果落地，全面奠定團(tuán)隊(duì)的行業(yè)影響力和學(xué)科影響力。在培養(yǎng)行業(yè)后來(lái)人時(shí)，他首先強(qiáng)調(diào)了思想導(dǎo)向的重要性?！耙抗忾L(zhǎng)遠(yuǎn)，要思考所學(xué)所研能幫助國(guó)家解決怎樣的問(wèn)題”，是他教導(dǎo)學(xué)生時(shí)常說(shuō)的話(huà)。與此同時(shí)，他始終堅(jiān)持產(chǎn)教融合、科教融匯的人才培養(yǎng)方法，“我們所在的電子信息行業(yè)，是非常接地氣的行業(yè)。想要解決實(shí)際的問(wèn)題，就不能純粹以發(fā)論文為導(dǎo)向，而是要到產(chǎn)業(yè)的第一線(xiàn)去，將產(chǎn)業(yè)、科研與教學(xué)有機(jī)融合起來(lái)”。為此，他積極開(kāi)拓課堂和產(chǎn)業(yè)一線(xiàn)的“對(duì)接”通道，通過(guò)學(xué)生深入企業(yè)一線(xiàn)、產(chǎn)業(yè)專(zhuān)家到校講課等有效交流形式，楊鈾團(tuán)隊(duì)成員及學(xué)生得以真切了解到行業(yè)發(fā)展的現(xiàn)狀和前景，為科研工作提供更加“有的放矢”的發(fā)力靶點(diǎn)。此外，楊鈾也沿襲了恩師的習(xí)慣，從寫(xiě)作邏輯、寫(xiě)作方法、結(jié)構(gòu)布局乃至標(biāo)點(diǎn)細(xì)節(jié)入手，親自執(zhí)教學(xué)生的寫(xiě)作課程?！叭绻蒲谐晒荒軌虮缓芎玫貍鬟_(dá)出去、不能夠被普羅大眾所接受，這樣的科研是沒(méi)有任何用處的?！彼麖?qiáng)調(diào)道，“寫(xiě)作的過(guò)程，也是對(duì)成果進(jìn)行梳理的過(guò)程。通過(guò)提升寫(xiě)作技巧，他們的成果將得以更好地推廣傳播，這也將提振他們的科研信心，并以更加清晰的思路進(jìn)入后續(xù)的工作中。”

“立大志、入主流、上大舞臺(tái)、成大事業(yè)”，楊鈾以此為自己團(tuán)隊(duì)的精神內(nèi)核作注，也以此描繪了他與團(tuán)隊(duì)的未來(lái)圖景?！拔磥?lái)，我們將繼續(xù)堅(jiān)持‘四個(gè)面向’，腳踏實(shí)地、補(bǔ)全完善相關(guān)技術(shù)在應(yīng)急救災(zāi)領(lǐng)域短板的同時(shí)；更要持續(xù)探索學(xué)科前沿、進(jìn)一步拓寬相關(guān)技術(shù)的應(yīng)用場(chǎng)景?！币钥蒲心Y(jié)核心競(jìng)爭(zhēng)力、以應(yīng)用增進(jìn)人民福祉，楊鈾及其團(tuán)隊(duì)將繼續(xù)前行、不畏寒暑。