平面轉(zhuǎn)立體30模型智能轉(zhuǎn)換

技術(shù)宅

傳統(tǒng)方法的不足

將現(xiàn)實(shí)場景轉(zhuǎn)換為電腦中的3D數(shù)據(jù)，這并不是一項(xiàng)新科技，比如已經(jīng)在很多工作場景中出現(xiàn)的3D打印機(jī)，它可以通過掃描人體制作3D模型。但是這種傳統(tǒng)方法有著諸多不足，以3D人像采集為例，需要先通過3D掃描儀對(duì)人物進(jìn)行立體式掃描，然后將掃描圖像導(dǎo)入3D軟件中制作成模型，再利用電腦進(jìn)行3D渲染，最終才能獲得完整的人體3D數(shù)據(jù)（圖1）。

這種方式費(fèi)時(shí)費(fèi)力，在一些對(duì)3D數(shù)據(jù)要求較高的場景中，如VR游戲、自動(dòng)導(dǎo)航等，需要對(duì)3D數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)換，顯然傳統(tǒng)的3D數(shù)據(jù)捕捉是無法勝任的。

3D模型智能構(gòu)建的背后

人工智能的發(fā)展，使得科學(xué)家們開始思考建立3D模型的新方法，當(dāng)下較引人關(guān)注的，是對(duì)人工智能領(lǐng)域中計(jì)算機(jī)視覺系統(tǒng)及深度學(xué)習(xí)機(jī)制的應(yīng)用。

計(jì)算機(jī)視覺就是研究機(jī)器如何像人一樣“看”世界，通過攝像機(jī)和電腦來模擬人眼，對(duì)采集到的圖片或視頻進(jìn)行處理以獲取相應(yīng)場景的3D信息。除了會(huì)“看”之外，計(jì)算機(jī)視覺對(duì)采集到的信息還要能“識(shí)別”和“理解”，也就是在一組圖像數(shù)據(jù)中，判斷是否包含了某個(gè)特定的物體，比如一大片的紅色，到底只是一個(gè)紅色圓形圖案，還是一個(gè)飄浮的氣球。

它的識(shí)別原理和人類的視覺相似，當(dāng)我們通過眼睛感知一個(gè)事物（比如氣球），它首先被“平面化”成簡單的“球形”數(shù)據(jù)輸入大腦供我們進(jìn)行識(shí)別，然后經(jīng)過大腦一系列的“抽象”和“迭代”，最終將其理解為“氣球”（圖2、圖3）。

有了原理還要有實(shí)踐，為了讓計(jì)算機(jī)視覺系統(tǒng)能夠像人類的視覺一樣精確，科學(xué)家們還需要通過特殊的方式對(duì)該系統(tǒng)進(jìn)行感知、識(shí)別和理解等一系列的訓(xùn)練。

對(duì)于計(jì)算機(jī)來說，感知就是通過攝像設(shè)備進(jìn)行數(shù)據(jù)的捕捉，然后轉(zhuǎn)換為數(shù)字信息讓計(jì)算機(jī)視覺系統(tǒng)感知到數(shù)據(jù)。識(shí)別則是對(duì)感知的數(shù)據(jù)進(jìn)行甄別，比如把感知到的圓形物體識(shí)別為氣球或者籃球等物體。因?yàn)閷?duì)于計(jì)算機(jī)來說，通過攝像機(jī)捕捉到的只是單純的“數(shù)據(jù)”，要想識(shí)別出這些數(shù)據(jù)代表著什么，就要進(jìn)行深度學(xué)習(xí)訓(xùn)練。上述氣球的例子中，科學(xué)家們準(zhǔn)備了各種各樣的氣球圖片，讓深度學(xué)習(xí)系統(tǒng)進(jìn)行識(shí)別訓(xùn)練。通過大量的數(shù)據(jù)學(xué)習(xí)后，計(jì)算機(jī)視覺系統(tǒng)就可以在捕捉到氣球數(shù)據(jù)后準(zhǔn)確地將它識(shí)別為“氣球”，而不是籃球或者足球（圖4）。

最后則是理解訓(xùn)練，人類之所以能夠?qū)⒖吹降母鞣N類似形狀的物體精準(zhǔn)識(shí)別出來，依靠的是大腦的理解能力，大腦可以通過思考和知識(shí)積累，對(duì)看到的東西進(jìn)行抽象化處理，從而實(shí)現(xiàn)對(duì)物體的理解。計(jì)算機(jī)視覺系統(tǒng)通過深度學(xué)習(xí)后已經(jīng)可以識(shí)別出大量的物體，再結(jié)合卷積神經(jīng)網(wǎng)絡(luò)把信息從最繁瑣的像素級(jí)別，抽象到“種類”的概念，這類似人類視覺功能的抽象和迭代，整個(gè)系統(tǒng)已經(jīng)擁有人工智能的理解能力（圖5）。

前面只是信息收集和分析的階段，真正意義上的計(jì)算機(jī)視覺系統(tǒng)不僅要識(shí)別和感知環(huán)境，還要將所感知到的環(huán)境在電腦中進(jìn)行3D重建。3D重建首先要解決位置和角度的問題，3D場景中，身處不同的位置，看到的場景也就不同（本質(zhì)就是感知的數(shù)據(jù)不同）。其次是兩眼視差的問題，不同的眼睛感知到的也是不同的數(shù)據(jù)，有視差才會(huì)有3D信息，并在此基礎(chǔ)上重建3D場景。最后就是語義識(shí)別，這是3D重建的終極意義，場景中所包含的不再只是無意義的像素的集合，而是有意義的獨(dú)立3D對(duì)象（圖6）。

總而言之，計(jì)算機(jī)視覺系統(tǒng)的整個(gè)處理流程就像是人類視覺系統(tǒng)，通過攝像機(jī)（眼睛）感知到周圍環(huán)境，接著通過識(shí)別系統(tǒng)對(duì)感知的物體進(jìn)行甄別，最后通過理解能力準(zhǔn)確識(shí)別出感知的物體，并借助場景重建生成3D數(shù)據(jù)，實(shí)現(xiàn)將平面物體智能轉(zhuǎn)換為3D數(shù)據(jù)（圖7）。

智能轉(zhuǎn)換3D改變你我生活

通過上述描述我們知道，利用深度學(xué)習(xí)計(jì)算機(jī)視覺系統(tǒng)可以快速、智能地將現(xiàn)實(shí)世界智能轉(zhuǎn)換為3D場景，這些應(yīng)用可以給我們的生活帶來很多的便利，比如現(xiàn)在方興未艾的VR游戲和各種應(yīng)用，借助VR攝像頭，計(jì)算機(jī)視覺系統(tǒng)可以將游戲者的周邊環(huán)境迅速轉(zhuǎn)換到VR場景中，讓游戲者有著更為真實(shí)的、無延遲的沉浸感（圖8）。

另一方面，該技術(shù)在包括人臉識(shí)別、指紋識(shí)別、圖像檢索、目標(biāo)跟蹤等領(lǐng)域也有著非常廣泛的應(yīng)用，在手機(jī)的人臉識(shí)別中，因?yàn)榭梢圆杉饺四樀?D數(shù)據(jù)，所以通過場景重建獲得的人臉3D模型，不僅識(shí)別率高，而且可以有效避免目前識(shí)別技術(shù)利用照片、視頻畫面來騙取識(shí)別的發(fā)生。