基于類腦計算的三維影像記錄與重建

鄭雨豪 王子洵 賴曉桑 肖 靈 邱觀秀 蘇秉華

北京理工大學(xué)珠海學(xué)院 廣東 珠海 519088

1 引言

三維影像的記錄和重現(xiàn)技術(shù)應(yīng)用范圍十分廣泛,可以應(yīng)用于虛擬主持人、虛擬實驗室、虛擬會議、虛擬旅游、3D網(wǎng)絡(luò)教學(xué)、醫(yī)療研究、電影制作、文物及產(chǎn)品展示等,具有重要的現(xiàn)實意義和應(yīng)用價值。

人眼所接收到的光信息是客觀三維世界物體在視網(wǎng)膜上的二維投影,大腦視覺皮層通過分析三維世界的二維投影規(guī)律,將視網(wǎng)膜上的二維影像重建為三維模型,幫助人感知三維物體、理解三維世界。該生理功能所依賴的信息包括雙目視差、空間遮擋、光影關(guān)系(反光、陰影、明暗分界等)以及透視關(guān)系(近大遠小),這些信息所同樣可以被圖像傳感器記錄下來,因此通過模擬大腦皮層的視覺處理機制,對三維物體的二維投影圖像進行三維重建具有可行性。

三維重建問題在傳統(tǒng)的數(shù)學(xué)模型上通常以三角函數(shù)方程組的形式來表達,這一形式可以幫助利用現(xiàn)有的空間幾何知識進行計算。然而,任何模型的參數(shù)都存在不準確之處,需要根據(jù)可用的實驗數(shù)據(jù)(即灰盒建模)進行糾正,可以采用基于遺傳算法、神經(jīng)網(wǎng)絡(luò)和神經(jīng)模糊系統(tǒng)的智能優(yōu)化算法,也可以使用基于最小二乘法和最大似然法的不同數(shù)學(xué)方法來實現(xiàn)參數(shù)校正問題,Hopfield神經(jīng)網(wǎng)絡(luò)正是一種可用于上述灰盒模型實時校正參數(shù)來解決優(yōu)化問題的類腦計算算法。

本文旨在運用基于Hopfield神經(jīng)網(wǎng)絡(luò)的類腦計算算法模仿人腦視覺皮層加工處理來自雙眼的光信息,合成三維立體影像的機制,設(shè)計一種可記錄和重建物體三維影像的設(shè)備。

2 類腦計算技術(shù)

類腦計算又稱神經(jīng)形態(tài)計算,是借鑒動物神經(jīng)系統(tǒng)的信息處理模式和結(jié)構(gòu)的計算理論、體系結(jié)構(gòu)、芯片設(shè)計以及數(shù)學(xué)模型與算法的總稱,在算法層面較為常見的有脈沖神經(jīng)網(wǎng)絡(luò)、Hopfield遞歸神經(jīng)網(wǎng)絡(luò)等。本文旨在運用基于Hopfield神經(jīng)網(wǎng)絡(luò)的類腦計算算法模仿人腦視覺皮層加工處理來自雙眼的光信息,合成三維立體影像的機制,設(shè)計一種可記錄和重建物體三維影像的設(shè)備。

Hopfiled神經(jīng)網(wǎng)絡(luò)是一個單層遞歸神經(jīng)網(wǎng)絡(luò)模型,由物理學(xué)家約翰·霍普菲爾德于1982年提出,一種結(jié)合存儲系統(tǒng)和二元系統(tǒng)的單層反饋網(wǎng)絡(luò),具有n個神經(jīng)元節(jié)點,每個神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。各節(jié)點沒有自反饋。每個節(jié)點都可處于一種可能的狀態(tài),即當該神經(jīng)元所受的刺激超過其閾值時,神經(jīng)元就處于一種狀態(tài),否則神經(jīng)元就始終處于另一狀態(tài)。該網(wǎng)絡(luò)的所有神經(jīng)節(jié)點之間兩兩相互連接,形成一個無分層結(jié)構(gòu)的球狀全連接網(wǎng)絡(luò)模型,網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

圖1 Hopfiled神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

3 三維圖像重建

平面影像的三維重建工作核心在于從兩個(或多個)視點獲取同一物體不同視角度的圖像,通過計算空間點在不同圖像中的位置偏差(即視差),根據(jù)三角測量原理來確定物體表面各點的距離信息(即景深)。正如人腦視覺皮層對視網(wǎng)膜二維影像的三維感知,如果只有單眼的視覺影像,則大腦只能利用固有經(jīng)驗對物體的空間遮擋、光影、透視關(guān)系等要素進行分析,確定大致的三維形狀,而難以估計物體的距離信息。這一規(guī)律最直觀的現(xiàn)象是觸筆實驗:實驗者雙手持兩支鉛筆,雙臂張開而后合攏,試圖讓兩支鉛筆的筆尖相互觸碰。當試驗者閉上一只眼睛時,很難讓兩只鉛筆的筆尖準確碰到一起,這即是大腦皮層無法通過單眼視覺估計距離信息的體現(xiàn)。

運用計算機對二維圖像進行三維重建時也會遇到這一問題,因此本文利用兩個或兩個以上的圖像傳感器從不同角度獲取被測物體圖像(多機位)或單個圖像傳感器在不同角度獲取被測物體圖像形成圖像序列(單機位多角度),再將圖像信息導(dǎo)入計算機,運用基于Hopfield遞歸神經(jīng)網(wǎng)絡(luò)的類腦算法對視差、空間遮擋、光影關(guān)系和透視關(guān)系進行分析,實現(xiàn)平面圖像的三維重建。

通過comsol軟件及實物試驗進行三維影像記錄與重建的試驗設(shè)計與仿真測試,同時運用編寫的三維重建算法對獲得的多角度圖組進行測試,仿真結(jié)果和實物試驗結(jié)果都表明算法具有良好的三維重建效果,其原因在于本文運用類腦算法模仿大腦皮層視覺處理的過程,在Hopfield遞歸神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入非線性權(quán)重向量計算函數(shù),對二維圖像的視差、空間遮擋、反光、陰影、明暗分界以及透視關(guān)系等信息進行處理,實現(xiàn)二維圖像的三維重建,相對于傳統(tǒng)三維重建算法具有更加逼真的效果、更快的圖像處理速度更快和更高的效率。

圖2左右側(cè)分別為兩個不同角度拍攝的三維物體實景圖像,將這一組圖片導(dǎo)入基于Hopfield遞歸神經(jīng)網(wǎng)絡(luò)的類腦計算算法,可重建出該物體在視場范圍內(nèi)的三維圖像,從而得到視角范圍內(nèi)(即圖2兩圖拍攝角度之間的角度)任意角度的擬合圖像,由于計算機上無法直接顯示三維圖像,故在視角范圍內(nèi)從左到右依次截取6個角度的重建圖像如圖3所示。

圖2 拍攝的三維物體圖像

圖3 從左到右依次截取6個角度的三維重建圖像

4 結(jié)論

本文運用類腦算法模仿大腦皮層視覺處理的過程,在Hopfield遞歸神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入非線性權(quán)重向量計算函數(shù),對二維圖像的視差、空間遮擋、反光、陰影、明暗分界以及透視關(guān)系等信息進行處理,實現(xiàn)二維圖像的三維重建,相對于傳統(tǒng)三維重建算法具有更加逼真的效果、更快的圖像處理速度更快和更高的效率。