讓虛擬世界更真實(shí)

如果不是科班出身，談起計(jì)算機(jī)圖形學(xué)（Computer Graphics），恐怕你會(huì)覺得它很陌生。簡單地說，計(jì)算機(jī)圖形學(xué)的主要研究內(nèi)容就是研究如何在計(jì)算機(jī)中表示三維世界，以及利用計(jì)算機(jī)進(jìn)行三維世界的模擬、編輯和顯示的相關(guān)原理與算法。你可能不知道，這一聽起來和我們生活相去甚遠(yuǎn)的學(xué)科早已滲透和廣泛應(yīng)用到了我們的日常生活和娛樂中，給生活帶來了精彩的改變。2014年12月4日，計(jì)算機(jī)圖形學(xué)的頂級會(huì)議“SIGGRAPH Asia 2014計(jì)算機(jī)圖形和互動(dòng)技術(shù)會(huì)議展覽”首次來到中國。微軟亞洲研究院的多個(gè)研究小組全程參與了在深圳會(huì)展中心舉行的這次盛會(huì)，并在會(huì)上發(fā)布了多個(gè)研究成果。這當(dāng)中既有三維頭發(fā)運(yùn)動(dòng)捕捉技術(shù)，也有讓網(wǎng)絡(luò)商品展示更加真實(shí)的外觀建模技術(shù)，更有告別夜景自拍時(shí)煩人噪點(diǎn)的圖像處理技術(shù)。這些技術(shù)是怎么實(shí)現(xiàn)的？還會(huì)在哪些領(lǐng)域應(yīng)用？讓我們帶著問題來來進(jìn)一步了解這些神奇的技術(shù)。

頭發(fā)動(dòng)態(tài)的運(yùn)動(dòng)捕捉和三維重建

——微軟亞洲研究院網(wǎng)絡(luò)圖形組

即便是成年人，心中仍然會(huì)保留一片童心，對動(dòng)畫片的熱愛就是最好的證明。在風(fēng)靡全球的動(dòng)畫片《冰雪奇緣》中，主人公艾莎一頭柔順美麗、近乎真實(shí)的金色長發(fā)為角色增添了不少魅力，給觀影者留下了深刻的印象。不過據(jù)制作方透露，他們?yōu)橹谱靼念^發(fā)動(dòng)畫其實(shí)是大費(fèi)了一番周折，甚至專門研發(fā)了一套程序用以生成艾莎多達(dá)40萬根3D發(fā)絲的頭發(fā)。的確，在計(jì)算機(jī)圖形學(xué)領(lǐng)域，如何讓電影中的虛擬人物擁有如現(xiàn)實(shí)生活中一般逼真的動(dòng)態(tài)頭發(fā)一直是研究人員面臨的一個(gè)棘手問題。不過，經(jīng)過長期的不懈努力，微軟亞洲研究院網(wǎng)絡(luò)圖形組的研究員們正一步步解開這個(gè)難題。

來自微軟亞洲研究院的這項(xiàng)技術(shù)簡而言之就是通過從不同角度拍攝頭發(fā)在真實(shí)場景中的運(yùn)動(dòng)視頻，在計(jì)算機(jī)中重建發(fā)絲級別的動(dòng)態(tài)三維頭發(fā)模型。這項(xiàng)技術(shù)可借由相機(jī)對頭發(fā)進(jìn)行不同角度的拍攝，再通過計(jì)算機(jī)進(jìn)行三維重建。不過這項(xiàng)技術(shù)說起來簡單，操作起來卻沒那么容易。雖然攝像機(jī)會(huì)盡可能全面的對發(fā)型進(jìn)行拍攝，但是一個(gè)完整的發(fā)型大約有10萬根頭發(fā)。運(yùn)動(dòng)中，雖然頭發(fā)的整體運(yùn)動(dòng)具有一定的一致性，但由于發(fā)絲間的碰撞摩擦，每根發(fā)絲的運(yùn)動(dòng)非常復(fù)雜，遮擋變化大，攝像機(jī)并不能完全捕捉。這些也就成為三維重建和運(yùn)動(dòng)捕捉最困難的地方。這項(xiàng)技術(shù)的亮點(diǎn)在于利用頭發(fā)運(yùn)動(dòng)的特點(diǎn)，在每根水平的掃描線上抽取整根發(fā)絲在每幀中的對應(yīng)關(guān)系，再結(jié)合不同拍攝角度的視頻，通過綜合優(yōu)化不同發(fā)絲空間位置關(guān)系和時(shí)間上運(yùn)動(dòng)序列，使得對頭發(fā)三維運(yùn)動(dòng)的捕捉和重建更準(zhǔn)確，更穩(wěn)定。

雖然目前該技術(shù)只能通過采集視頻素材來進(jìn)行三維重建，不過研究員表示作為這個(gè)方向的第一步，這一方便可靠的數(shù)據(jù)采集方案使得采集大量的可重用模型成為可能。當(dāng)模型積累到一定數(shù)量后可以形成數(shù)據(jù)庫，通過機(jī)器學(xué)習(xí)的方法，我們可以更好的理解頭發(fā)運(yùn)動(dòng)的特征，從而可以大大簡化頭發(fā)動(dòng)態(tài)的捕捉，方便頭發(fā)運(yùn)動(dòng)的編輯。用戶在未來使用中不用經(jīng)過長時(shí)間的采集，只要簡單輸入特征和數(shù)據(jù)庫內(nèi)的模型匹配，微調(diào)細(xì)節(jié)后即可使用。這項(xiàng)技術(shù)未來不僅會(huì)應(yīng)用在動(dòng)畫中，我們?nèi)粘Ｓ螒蛉宋镄蜗蟮脑O(shè)定以及結(jié)合目前已有的人像采集技術(shù)都能使自己的虛擬形象更加真實(shí)。在計(jì)算量進(jìn)一步減少的情況下，最終可能應(yīng)用在移動(dòng)設(shè)備上。

通過在自然光下的旋轉(zhuǎn)視頻實(shí)現(xiàn)物體外觀高精度重建

——微軟亞洲研究院網(wǎng)絡(luò)圖形組

在線購物的一個(gè)難題是如何將商品盡可能逼真的展現(xiàn)給大家。由于相機(jī)和拍攝環(huán)境光照的差異，同一物體往往呈現(xiàn)出不同的外觀。網(wǎng)上展示的照片和視頻跟真實(shí)物體外觀的差異，常常讓方便的網(wǎng)上購物經(jīng)歷增添不少煩惱。在計(jì)算機(jī)圖形學(xué)里，我們用物體的反射屬性來描述物體的外觀。有了高精度的物體反射屬性，我們就可以通過計(jì)算重現(xiàn)物體在不同光照環(huán)境下栩栩如生的外觀了。

不過，捕捉真實(shí)世界物體的反射屬性可并不是一個(gè)容易的任務(wù)?，F(xiàn)有的解決方案往往需要特定的實(shí)驗(yàn)室環(huán)境，通過在嚴(yán)格的控制光照和特定拍照角度的一系列照片來完成這一任務(wù)。雖然結(jié)果質(zhì)量好，但是設(shè)備昂貴，搭建費(fèi)時(shí)。微軟亞洲研究院研發(fā)的這項(xiàng)技術(shù)，首次通過一個(gè)真實(shí)物體在未知自然光照下旋轉(zhuǎn)的視頻，讓計(jì)算機(jī)自動(dòng)計(jì)算出物體的反射屬性，進(jìn)而可以在任意光照下重建出該物體的真實(shí)外觀。

這項(xiàng)技術(shù)最大的挑戰(zhàn)是如何同時(shí)估計(jì)物體拍攝時(shí)的環(huán)境的光照和物體的反射屬性。為此，研究員們利用物體反射屬性和環(huán)境光照的不同特點(diǎn)，提出了一個(gè)優(yōu)化算法，可以精確的從視頻中恢復(fù)物體的反射屬性。

這項(xiàng)技術(shù)未來不僅可以幫助消費(fèi)者觀看物品在自己所處的光照環(huán)境下的真實(shí)外觀，還可以幫助用戶了解衣物飾品在不同環(huán)境下的穿著打扮效果，極大地提升用戶的網(wǎng)上購物體驗(yàn)。

用連拍的方式對夜景照片進(jìn)行優(yōu)化

——微軟亞洲研究院視覺計(jì)算組

如今，手機(jī)拍攝功能的不斷升級已經(jīng)幾乎使噪點(diǎn)和模糊這兩個(gè)詞絕跡于我們的生活。然而，在一些特殊的場合，它們卻還是喜歡時(shí)不時(shí)出來“搗亂”一番。比如，在一場久未碰面的老友重聚的夜間Party上，由于光線不理想，拍攝出來的照片常常面目全非、噪點(diǎn)遍布。不過微軟亞洲研究院視覺計(jì)算組的研究員們已經(jīng)找出了解決方案，開啟連拍功能就能讓噪點(diǎn)問題得到解決。

過去，對于光照較差的夜景雖然可以通過改變光圈的方式來主動(dòng)降噪，但是同時(shí)也會(huì)帶來背景虛化的情況。而改變ISO還將會(huì)引起噪點(diǎn)增大。這些方案無法在手機(jī)緊湊低成本的鏡頭上實(shí)現(xiàn)。如果通過軟件來單幀降噪，效果和多幀降噪相比卻不能盡如人意。研究員表示，這時(shí)候就可以考慮多張圖重疊，假設(shè)基于噪聲在持續(xù)的均值是零，也因?yàn)檫@個(gè)假設(shè)，在信噪比很低的時(shí)候，多張照片肯定會(huì)比單張照片有很大的優(yōu)勢。

簡單來說，多張照片進(jìn)行降噪是選定其中一張照片做為參考，再將連拍的多張照片進(jìn)行對齊，然后組合這些影像，減少噪點(diǎn)，從而得到一張優(yōu)化后的照片。目前連拍降噪的方式也出現(xiàn)在一些高級單電相機(jī)中，但是他們對運(yùn)動(dòng)估計(jì)的模型也較簡單，所以連拍的照片并不完全重疊，所以會(huì)產(chǎn)生重影的效果;另外，他們的去噪效果也不近理想，通常會(huì)造成局部區(qū)域去噪不干凈，或者有卡通塊效應(yīng)的情況發(fā)生。研究領(lǐng)域也提供了一些能產(chǎn)生更好效果的方式，但是這些方法的計(jì)算代價(jià)極高，根本不適合手機(jī)這樣移動(dòng)終端使用。而研究員所研究出的算法能夠結(jié)合以上兩種情況，既保證噪點(diǎn)、卡通塊效應(yīng)的減少并且解決重影問題，又能夠降低計(jì)算的耗時(shí)。該技術(shù)在降噪過程中還能夠設(shè)定降噪?yún)^(qū)域及可降噪程度，并且對照片的要求較低，即便是清晰度不高的照片經(jīng)過處理也能得到一個(gè)質(zhì)量很好的照片。

這種技術(shù)最廣泛的應(yīng)用當(dāng)然還是在平時(shí)圖像拍攝中，使用者可以預(yù)設(shè)一些條件，經(jīng)過算法處理后得到更自然清晰的照片。目前在Windows的應(yīng)用商店已經(jīng)可以下載使用了該技術(shù)的App——Blink。研究員表示，這款A(yù)pp也將會(huì)在不久后推出iOS和Android版本。