單目圖像序列光流三維重建技術(shù)研究綜述

張聰炫，陳 震，黎 明

(1.南昌航空大學(xué)無(wú)損檢測(cè)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,江西南昌 330063;2.南昌航空大學(xué)測(cè)試與光電工程學(xué)院,江西南昌 330063)

單目圖像序列光流三維重建技術(shù)研究綜述

張聰炫1,2，陳 震1,2，黎 明1

(1.南昌航空大學(xué)無(wú)損檢測(cè)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,江西南昌 330063;2.南昌航空大學(xué)測(cè)試與光電工程學(xué)院,江西南昌 330063)

由單目圖像序列光流重建物體或場(chǎng)景的三維運(yùn)動(dòng)與結(jié)構(gòu)是計(jì)算機(jī)視覺(jué)、圖像處理與模式識(shí)別等領(lǐng)域的重要研究?jī)?nèi)容，在機(jī)器人視覺(jué)、無(wú)人機(jī)導(dǎo)航、車(chē)輛輔助駕駛以及醫(yī)學(xué)影像分析等方面具有重要的應(yīng)用.本文首先從精度與魯棒性等方面對(duì)單目圖像序列光流計(jì)算及三維重建技術(shù)近年來(lái)取得的進(jìn)展進(jìn)行綜述與分析.然后采用Middlebury測(cè)試圖像序列對(duì)HS、LDOF、CLG-TV、SOF、AOFSCNN和Classic+NL等典型光流算法以及Adiv、RMROF、Sekkati和DMDPOF等基于光流的間接與直接重建方法進(jìn)行實(shí)驗(yàn)對(duì)比分析，指出各對(duì)比方法的優(yōu)點(diǎn)與不足，歸納各類(lèi)方法的性能特點(diǎn)與適用范圍.最后對(duì)利用分?jǐn)?shù)階微分模型、非局部約束、立體視覺(jué)以及深度線索解決亮度突變、非剛性運(yùn)動(dòng)、運(yùn)動(dòng)遮擋與模糊情況下光流計(jì)算及重建模型的局限性與魯棒性問(wèn)題進(jìn)行總結(jié)與展望.

單目圖像序列；光流；運(yùn)動(dòng)估計(jì)；三維重建；困難場(chǎng)景；魯棒性

1 引言

光流是指運(yùn)動(dòng)物體或場(chǎng)景表面的光學(xué)特征部位在投影平面的瞬時(shí)速度，其不僅包含了物體或場(chǎng)景的運(yùn)動(dòng)參數(shù)，還攜帶了豐富的三維結(jié)構(gòu)信息.研究基于單目圖像序列光流的三維重建技術(shù)就是研究如何利用圖像光流估計(jì)目標(biāo)運(yùn)動(dòng)物體或場(chǎng)景的三維運(yùn)動(dòng)速度并重建其三維結(jié)構(gòu).21世紀(jì)以來(lái)，隨著圖像傳感器以及電子芯片技術(shù)的飛躍式發(fā)展，基于單目圖像序列光流的三維重建技術(shù)已在航空航天、軍事、工業(yè)、醫(yī)療等領(lǐng)域顯示出越來(lái)越重要的地位與作用，例如應(yīng)用于工業(yè)機(jī)器人的視覺(jué)系統(tǒng)[1]、車(chē)輛行進(jìn)過(guò)程中的前景及障礙物檢測(cè)[2]、紅外圖像中運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤[3]、無(wú)人機(jī)導(dǎo)航與起降系統(tǒng)[4]、衛(wèi)星云圖分析與三維顯示[5]、醫(yī)學(xué)圖像器官的三維重建與分析、診斷[6]等等.

根據(jù)計(jì)算策略的不同，基于單目圖像序列光流的三維重建方法大致可以分為兩類(lèi)：基于稠密光流的方法和基于稀疏光流(特征光流)的方法.基于稠密光流的三維重建技術(shù)是利用運(yùn)動(dòng)物體或場(chǎng)景表面稠密像素點(diǎn)的圖像運(yùn)動(dòng)估計(jì)其對(duì)應(yīng)的三維運(yùn)動(dòng)與深度信息，因此該類(lèi)方法可以較好地描述運(yùn)動(dòng)物體或場(chǎng)景的表面細(xì)節(jié)信息.根據(jù)研究階段的不同，基于稠密光流的三維重建技術(shù)主要分為圖像序列光流計(jì)算技術(shù)研究和基于稠密光流的三維重建技術(shù)研究.其中，圖像序列光流計(jì)算技術(shù)是基于稠密光流三維重建技術(shù)的重要基礎(chǔ)，光流計(jì)算的精度直接關(guān)系三維運(yùn)動(dòng)估計(jì)與結(jié)構(gòu)重建的效果.基于稀疏光流的三維重建技術(shù)需要首先提取圖像序列中運(yùn)動(dòng)物體或場(chǎng)景表面的圖像特征(例如圖像中的角點(diǎn)、直線、曲線等特征)，然后對(duì)提取的特征跟蹤、匹配并計(jì)算出其對(duì)應(yīng)的圖像坐標(biāo)變化，從而根據(jù)特征光流與三維運(yùn)動(dòng)和空間結(jié)構(gòu)的投影關(guān)系重建三維運(yùn)動(dòng)與結(jié)構(gòu).由于只是采用圖像序列中感興趣的圖像特征對(duì)物體或場(chǎng)景進(jìn)行描述，基于稀疏光流的三維重建技術(shù)能夠克服亮度突變現(xiàn)象對(duì)重建結(jié)果的影響.

根據(jù)單目圖像序列光流三維重建技術(shù)的分類(lèi)以及研究階段的不同，本文分別從圖像序列光流計(jì)算技術(shù)、基于稠密光流的三維重建技術(shù)和基于稀疏光流的三維重建技術(shù)等方面對(duì)單目圖像序列光流三維重建理論與方法的研究現(xiàn)狀以及現(xiàn)存的關(guān)鍵問(wèn)題與后期研究方向進(jìn)行扼要的介紹及分析.

2 圖像序列光流計(jì)算技術(shù)

1981年，Horn和Schunck[7]通過(guò)對(duì)光流基本約束方程添加平滑項(xiàng)構(gòu)成全局能量函數(shù)，開(kāi)創(chuàng)性地提出了光流估計(jì)模型：

(1)式中，Ω表示圖像區(qū)域，I(x,y)表示圖像像素點(diǎn)(x,y)T處的灰度值，(Ix,Iy,It)T表示圖像灰度沿x、y軸以及時(shí)間t方向的偏導(dǎo).=(?x?y)T表示梯度算子，α是平滑項(xiàng)權(quán)重系數(shù).對(duì)式(1)中光流分量u、v分別求導(dǎo)后可以推導(dǎo)出對(duì)應(yīng)的迭代公式進(jìn)而計(jì)算光流矢量w=(u,v)T.Lucas和Kanade[8]假設(shè)在圖像中一個(gè)較小區(qū)域內(nèi)各像素點(diǎn)的光流值相等，利用加權(quán)函數(shù)對(duì)各像素點(diǎn)進(jìn)行約束，提出了局部光流算法，該方法充分考慮圖像像素點(diǎn)的局部鄰域信息，有效地提高光流計(jì)算模型的抗噪性，但由于采用鄰域光流一致的計(jì)算策略，導(dǎo)致光流結(jié)果并不是完全稠密的[9].

在光流計(jì)算模型中，數(shù)據(jù)項(xiàng)主要由基于圖像數(shù)據(jù)的守恒假設(shè)構(gòu)成，是決定光流計(jì)算精度與魯棒性的主要因素.針對(duì)基本約束方程在圖像中包含光照變化時(shí)可靠性較差的問(wèn)題，基于圖像梯度[10]、圖像結(jié)構(gòu)張量[11]等數(shù)據(jù)的高階守恒假設(shè)逐漸成為數(shù)據(jù)項(xiàng)的重要組成部分.Papenberg[12]等人對(duì)不同類(lèi)型守恒假設(shè)進(jìn)行理論分析和實(shí)驗(yàn)對(duì)比，證明了灰度守恒假設(shè)與梯度守恒假設(shè)的聯(lián)合形式總體性能較優(yōu).針對(duì)光照陰影對(duì)光流計(jì)算的影響，基于圖像紋理、結(jié)構(gòu)分解的圖像數(shù)據(jù)處理方法能夠有效地降低圖像陰影區(qū)域?qū)κ睾慵僭O(shè)造成的誤差[13].鑒于傳統(tǒng)數(shù)據(jù)項(xiàng)采用的平方模型易導(dǎo)致守恒假設(shè)誤差的非線性增大，基于Charbonnier函數(shù)的非平方模型成為現(xiàn)階段解決光流計(jì)算魯棒性的有效手段[14].針對(duì)光流模型的抗噪性能，Drulea[15]在數(shù)據(jù)項(xiàng)采用全局優(yōu)化與局部?jī)?yōu)化相結(jié)合的方法，既提高了光流計(jì)算的抗噪性，又能得到稠密的光流場(chǎng).鑒于彩色圖像能夠提供更多的圖像信息，項(xiàng)學(xué)智[16]提出了基于多通道和色彩梯度守恒的光流計(jì)算模型，進(jìn)一步提高了數(shù)據(jù)項(xiàng)模型的準(zhǔn)確性與可靠性.

光流計(jì)算模型的平滑項(xiàng)主要由各種平滑策略構(gòu)成，決定了光流擴(kuò)散的方向和程度.由于傳統(tǒng)的一致擴(kuò)散策略造成圖像邊緣過(guò)于平滑，基于圖像梯度的自適應(yīng)變化擴(kuò)散策略最早被用于解決圖像邊緣區(qū)域光流過(guò)度發(fā)散的問(wèn)題[17].針對(duì)各向同性擴(kuò)散易導(dǎo)致圖像邊緣模糊的問(wèn)題，Werlberger[18]提出基于圖像結(jié)構(gòu)張量的各向異性擴(kuò)散策略，通過(guò)控制光流在圖像邊緣不同方向的擴(kuò)散程度克服由于光流擴(kuò)散所導(dǎo)致的邊緣模糊現(xiàn)象.由于圖像邊緣與運(yùn)動(dòng)邊緣并不一定完全重合，基于光流驅(qū)動(dòng)的平滑項(xiàng)擴(kuò)散策略[19]能夠降低圖像中運(yùn)動(dòng)邊緣處溢出點(diǎn)對(duì)光流計(jì)算的影響，使得光流結(jié)果充分體現(xiàn)了運(yùn)動(dòng)細(xì)節(jié).針對(duì)圖像驅(qū)動(dòng)與光流驅(qū)動(dòng)兩類(lèi)平滑項(xiàng)擴(kuò)散策略各自的優(yōu)缺點(diǎn)，Zimmer[20]提出基于圖像與光流聯(lián)合驅(qū)動(dòng)的平滑項(xiàng)模型，使得光流估計(jì)結(jié)果既能體現(xiàn)運(yùn)動(dòng)細(xì)節(jié)又盡可能地貼合圖像邊緣.

近年來(lái)，隨著圖像計(jì)算難度的增大，光流模型的計(jì)算策略及優(yōu)化方法研究逐漸成為熱點(diǎn)問(wèn)題.針對(duì)大位移光流估計(jì)問(wèn)題，Brox[21]通過(guò)將金字塔變形分層策略與區(qū)域匹配方法相結(jié)合，有效提高了大位移運(yùn)動(dòng)光流計(jì)算的精度與魯棒性.當(dāng)圖像序列中存在運(yùn)動(dòng)遮擋情況時(shí)，光流估計(jì)在遮擋區(qū)域常常包含較大誤差，Ayvaci[22]在朗伯反射與光照不變的條件下提出面向稀疏遮擋的光流計(jì)算方法，部分解決了遮擋區(qū)域光流計(jì)算的可靠性問(wèn)題.針對(duì)光流計(jì)算的魯棒性與時(shí)效性問(wèn)題，Zhang[23]采用雙層細(xì)胞神經(jīng)網(wǎng)絡(luò)對(duì)基于多守恒假設(shè)與各向異性擴(kuò)散相結(jié)合的光流模型進(jìn)行優(yōu)化，提高了光流計(jì)算的精度與時(shí)效性.針對(duì)困難場(chǎng)景光流計(jì)算的準(zhǔn)確性問(wèn)題，Sun[24]通過(guò)在金字塔分層迭代時(shí)對(duì)圖像光流進(jìn)行加權(quán)中值濾波優(yōu)化，大幅提高了光流估計(jì)的精度與魯棒性.Middlebury學(xué)院的計(jì)算機(jī)視覺(jué)研究中心對(duì)不同光流算法進(jìn)行了系統(tǒng)的比較與分析，提出了Middlebury評(píng)價(jià)標(biāo)準(zhǔn)[25]，并提供了不同類(lèi)型的測(cè)試圖像序列，為光流計(jì)算的后續(xù)研究奠定了基礎(chǔ).

針對(duì)圖像序列光流計(jì)算策略的對(duì)比問(wèn)題，本文分別選取HS[7]、LDOF[21]、CLG-TV[15]、SOF[22]、AOFSCNN[23]以及Classic+NL[24]等代表性方法進(jìn)行光流計(jì)算評(píng)測(cè).測(cè)試圖像采用圖1所示的Middlebury數(shù)據(jù)庫(kù)提供的Dimetrodon、Grove3、Rubberwhale以及Urban2圖像序列.其中，Dimetrodon圖像序列包含非剛性復(fù)雜運(yùn)動(dòng)、Grove3圖像序列包含復(fù)雜邊緣結(jié)構(gòu)與運(yùn)動(dòng)間斷、RubberWhale圖像序列包含多目標(biāo)復(fù)雜運(yùn)動(dòng)以及陰影區(qū)域、Urban2圖像序列同時(shí)存在運(yùn)動(dòng)遮擋與小位移光流.圖2展示了各對(duì)比方法計(jì)算所得光流結(jié)果，由于HS算法是光流計(jì)算的起源方法，針對(duì)本實(shí)驗(yàn)所采用的圖像序列，HS算法計(jì)算效果最差，說(shuō)明HS算法已無(wú)法滿足復(fù)雜困難場(chǎng)景圖像序列光流計(jì)算的要求.LDOF算法針對(duì)Urban2圖像序列光流計(jì)算效果較差，說(shuō)明該方法不適用于運(yùn)動(dòng)遮擋與小位移光流類(lèi)型圖像；CLG-TV算法針對(duì)Grove3與Rubberwhale圖像序列光流計(jì)算效果較差，主要源于該方法采用局部與全局優(yōu)化相結(jié)合導(dǎo)致光流計(jì)算在圖像邊緣細(xì)節(jié)區(qū)域過(guò)于平滑；SOF算法針對(duì)Rubberwhale與Urban2等包含遮擋與陰影的圖像序列計(jì)算效果較好，但針對(duì)Grove3等包含復(fù)雜邊緣輪廓的圖像序列光流計(jì)算效果不理想；AOFSCNN算法與Classic+NL算法光流計(jì)算整體效果較好，說(shuō)明這兩種方法針對(duì)非剛性運(yùn)動(dòng)、復(fù)雜邊緣、運(yùn)動(dòng)遮擋以及小位移光流等困難場(chǎng)景具有較好的適用性.

表1分別給出了各對(duì)比方法光流計(jì)算結(jié)果的平均角誤差(Average Angle Error，AAE)與平均端點(diǎn)誤差(Average Endpoint Error，AEE)，其中，AAE誤差指標(biāo)反映的是光流計(jì)算結(jié)果的平均相對(duì)角誤差，即光流整體偏移程度；AEE誤差指標(biāo)反映的是光流計(jì)算結(jié)果的平均端點(diǎn)誤差，即光流平均絕對(duì)誤差.由表1可以看出，Classic+NL算法在Grove3、Rubberwhale以及Urban2等三組圖像序列中AAE誤差最小，說(shuō)明Classic+NL算法光流計(jì)算結(jié)果整體偏移程度較??；AOFSCNN算法針對(duì)Grove3與Urban2等兩組圖像序列AEE誤差指標(biāo)表現(xiàn)最優(yōu)，說(shuō)明AOFSCNN算法光流計(jì)算絕對(duì)誤差較小.

表1 Middlebury測(cè)試庫(kù)圖像序列光流計(jì)算誤差對(duì)比

3 基于稀疏光流的三維重建技術(shù)

3.1 基于稀疏點(diǎn)光流的三維重建技術(shù)

基于圖像序列稀疏光流的三維重建研究始于20世紀(jì)80年代，Roach[26]首先根據(jù)圖像特征點(diǎn)與三維空間點(diǎn)的幾何對(duì)應(yīng)關(guān)系提出了基于圖像稀疏點(diǎn)光流的非線性三維重建算法.針對(duì)非線性算法無(wú)法獲得唯一解的問(wèn)題，Zhuang和Huang[27]提出基于特征點(diǎn)光流的三維重建線性算法.由于線性算法重建模型對(duì)圖像噪聲較為敏感，以擴(kuò)展卡爾曼濾波為代表的各類(lèi)數(shù)字率濾波器在20世紀(jì)末被廣泛用于稀疏點(diǎn)光流三維重建模型的優(yōu)化[28]，但由于該類(lèi)方法通常需要長(zhǎng)序列圖像進(jìn)行狀態(tài)估計(jì)，導(dǎo)致其重建模型的時(shí)間消耗過(guò)大.

隨著圖像特征點(diǎn)提取技術(shù)的快速發(fā)展，基于稀疏點(diǎn)光流的三維重建技術(shù)在重建精度等方面得到較大提高.針對(duì)多運(yùn)動(dòng)目標(biāo)的三維重建問(wèn)題，Ozden[29]采用概率統(tǒng)計(jì)對(duì)匹配得到的稀疏點(diǎn)光流進(jìn)行分類(lèi)，提高了多目標(biāo)三維重建的可靠性.王俊[30]提出一種基于圖像匹配-特征點(diǎn)云融合的三維重建方法，通過(guò)匹配不同點(diǎn)云模型在同一幅圖像上的投影點(diǎn)確定特征光流對(duì)應(yīng)集，提高了大場(chǎng)景三維重建的精度.針對(duì)復(fù)雜運(yùn)動(dòng)物體和場(chǎng)景的三維重建問(wèn)題，Nachimson[31]通過(guò)分解旋轉(zhuǎn)和平移運(yùn)動(dòng)提出基于二次全局優(yōu)化的特征點(diǎn)光流三維重建方法,提高了復(fù)雜運(yùn)動(dòng)三維重建的精度.

近年來(lái)，隨著魯棒估計(jì)算法在計(jì)算機(jī)視覺(jué)領(lǐng)域的廣泛應(yīng)用，稀疏點(diǎn)光流三維重建技術(shù)的魯棒性得到較大提高.針對(duì)場(chǎng)景與攝像機(jī)相對(duì)運(yùn)動(dòng)情況下的三維重建問(wèn)題，Scaramuzza[32]提出基于RANSAC約束的稀疏點(diǎn)光流魯棒重建模型，并將其應(yīng)用于車(chē)載攝像頭的場(chǎng)景重建，展現(xiàn)了該類(lèi)方法的應(yīng)用價(jià)值.針對(duì)室外大場(chǎng)景的三維重建問(wèn)題，Crandall[33]利用離散馬爾科夫隨機(jī)場(chǎng)與連續(xù)Levenberg-Marquardt算法構(gòu)造稀疏點(diǎn)光流三維重建模型，提高了復(fù)雜環(huán)境下三維重建模型的魯棒性.針對(duì)運(yùn)動(dòng)遮擋等困難類(lèi)型圖像序列，Sinha[34]通過(guò)非線性插值對(duì)圖像序列中的點(diǎn)和消失點(diǎn)進(jìn)行匹配，提出基于多級(jí)優(yōu)化的線性稀疏點(diǎn)光流三維重建模型，部分解決了遮擋、形變等情況下三維重建的可靠性問(wèn)題.

3.2 基于稀疏直線光流的三維重建技術(shù)

鑒于基于稀疏點(diǎn)光流的三維重建技術(shù)僅僅利用圖像中像素點(diǎn)這一最小單位，當(dāng)圖像序列中存在大位移運(yùn)動(dòng)、運(yùn)動(dòng)遮擋與模糊等困難運(yùn)動(dòng)類(lèi)型時(shí)，稀疏點(diǎn)光流重建模型的魯棒性問(wèn)題仍未得到較好地解決.直線是計(jì)算機(jī)視覺(jué)中最常用的一種特征信息，相對(duì)于單個(gè)像素點(diǎn)，直線特征的抽象層次更高，能夠提供更多的拓?fù)浣Y(jié)構(gòu)信息.因此，基于直線光流的三維重建方法逐漸成為稀疏光流重建技術(shù)的研究熱點(diǎn).

1988年，Liu和Huang[35]首先提出利用三幀圖像直線光流計(jì)算運(yùn)動(dòng)物體旋轉(zhuǎn)和平移運(yùn)動(dòng)的非線性重建模型.由于非線性算法不能保證運(yùn)動(dòng)估計(jì)的唯一解，Liu和Huang[36]又提出基于直線光流的三維運(yùn)動(dòng)估計(jì)線性模型.陳震[37]首次定義了直線光流的概念，并提出基于直線光流的剛體運(yùn)動(dòng)估計(jì)與結(jié)構(gòu)重建線性模型.針對(duì)重建算法的魯棒性問(wèn)題，文獻(xiàn)[38]和[39]分別利用誤差函數(shù)和全局優(yōu)化建立直線光流三維重建非線性模型，抑制了圖像噪聲對(duì)直線重建精度的影響.

針對(duì)某些場(chǎng)景可供利用直線光流數(shù)量較少的問(wèn)題，文獻(xiàn)[40]提出了基于最優(yōu)數(shù)量直線光流的三維重建線性模型，但由于模型的魯棒性與直線數(shù)量相關(guān)，當(dāng)直線數(shù)量較少時(shí)，重建精度較差.Mosaddegh[41]利用直線光度守恒假設(shè)對(duì)三維重建模型進(jìn)行約束，提高了直線光流數(shù)量較少時(shí)重建算法的精度.針對(duì)不規(guī)則運(yùn)動(dòng)物體或場(chǎng)景的三維重建問(wèn)題，Liu[42]以多條直線段擬合曲線特征，提出適用于復(fù)雜表面剛體的直線光流重建模型.Elqursh[43]提出基于正交直線光流的運(yùn)動(dòng)估計(jì)模型，降低了重建模型對(duì)圖像幀數(shù)的要求.

4 基于稠密光流的三維重建技術(shù)

4.1 間接重建方法

基于稠密光流的間接重建方法是通過(guò)圖像光流與三維運(yùn)動(dòng)的空間幾何關(guān)系重建運(yùn)動(dòng)物體或場(chǎng)景三維運(yùn)動(dòng)與結(jié)構(gòu).1983年，Bruss[44]首先提出基于局部區(qū)域光流的三維運(yùn)動(dòng)估計(jì)模型，雖然模型簡(jiǎn)單、重建效率較快，但由于缺少對(duì)光流誤差的懲罰導(dǎo)致重建效果較差.當(dāng)圖像序列光流估計(jì)結(jié)果包含較大誤差時(shí)，如何減小光流誤差對(duì)重建模型的影響至關(guān)重要.Kolev[45]根據(jù)最大流-最小割原理提出基于全局約束與局部約束相結(jié)合的重建模型，有效地抑制了光流誤差的負(fù)面影響.針對(duì)局部區(qū)域內(nèi)光流誤差的相互傳導(dǎo)問(wèn)題，文獻(xiàn)[46]提出基于正定矩陣的稠密光流間接重建模型，通過(guò)切斷光流誤差的傳遞路徑保證了重建模型的魯棒性.針對(duì)真實(shí)場(chǎng)景的三維重建問(wèn)題，Chessa[47]采用可調(diào)節(jié)參數(shù)濾波對(duì)線性重建模型進(jìn)行優(yōu)化，既提高了重建結(jié)果的準(zhǔn)確性，又能夠縮減時(shí)間消耗.

當(dāng)圖像序列中包含多個(gè)運(yùn)動(dòng)物體時(shí)，如何準(zhǔn)確區(qū)分不同物體的運(yùn)動(dòng)區(qū)域是間接重建方法的一個(gè)關(guān)鍵問(wèn)題.Adiv[48]首先根據(jù)光流估計(jì)結(jié)果對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行動(dòng)態(tài)閾值分割，再利用加權(quán)局部區(qū)域算法計(jì)算運(yùn)動(dòng)物體的三維運(yùn)動(dòng)參數(shù)和相對(duì)深度信息，但由于光流區(qū)域常常大于運(yùn)動(dòng)物體的真實(shí)區(qū)域，因此重建結(jié)果并不理想.針對(duì)閾值分割的缺點(diǎn)，Meinhardt[49]使用邊緣檢測(cè)算子對(duì)圖像光流進(jìn)行分割，并利用運(yùn)動(dòng)物體的邊緣約束條件重建其相對(duì)深度.針對(duì)遮擋情況下間接重建模型的準(zhǔn)確性與可靠性問(wèn)題，Calway[50]提出基于改進(jìn)卡爾曼濾波的遞歸重建模型，通過(guò)采用長(zhǎng)序列圖像修正策略使得重建模型具有較好的魯棒性.針對(duì)長(zhǎng)序列導(dǎo)致時(shí)間消耗過(guò)大的問(wèn)題，Lee[51]提出基于圖像光流的概率統(tǒng)計(jì)的三維重建模型，既提高了運(yùn)動(dòng)物體遮擋情況下重建模型的準(zhǔn)確性，又減小了重建模型的時(shí)間消耗.4.2 直接重建方法

鑒于光流計(jì)算過(guò)程常常會(huì)給間接重建算法帶來(lái)較大的時(shí)間消耗與計(jì)算誤差，Horn和Weldon[52]通過(guò)圖像像素點(diǎn)亮度與對(duì)應(yīng)空間點(diǎn)的透視投影關(guān)系首先定義基于亮度恒等的三維運(yùn)動(dòng)估計(jì)守恒假設(shè)，然后提出基于局部鄰域約束的稠密光流三維重建直接方法.基于稠密光流的直接重建方法無(wú)須事先計(jì)算圖像光流，有效地降低了光流計(jì)算所帶來(lái)的誤差風(fēng)險(xiǎn)與時(shí)間消耗，因此迅速成為單目圖像光流三維重建技術(shù)研究的熱點(diǎn).

針對(duì)直接重建方法的精度問(wèn)題，Mitiche[53]提出基于最小描述長(zhǎng)度原理約束的三維重建模型，但該方法只適合估計(jì)平移運(yùn)動(dòng)參數(shù).Sekkati[54]通過(guò)引入正則化因子，構(gòu)建基于全局優(yōu)化的直接重建模型，解決了直接重建方法的局部最優(yōu)解問(wèn)題.針對(duì)非剛性運(yùn)動(dòng)的重建問(wèn)題，Perriollat[55]使用距離守恒假設(shè)對(duì)重建模型進(jìn)行約束，并采用時(shí)空濾波對(duì)運(yùn)動(dòng)估計(jì)優(yōu)化，提高了非剛性運(yùn)動(dòng)情況下重建模型的可靠性.針對(duì)多目標(biāo)三維重建問(wèn)題，Mitiche[56]在重建模型中利用水平集演化搜索運(yùn)動(dòng)物體或場(chǎng)景的邊緣輪廓，準(zhǔn)確地對(duì)圖像中不同物體或場(chǎng)景進(jìn)行分割.

針對(duì)光照變化情況下重建模型的魯棒性問(wèn)題，Zhang[57]提出基于多守恒假設(shè)與非線性擴(kuò)散相結(jié)合的直接重建模型，并對(duì)特殊運(yùn)動(dòng)形式的三維重建問(wèn)題進(jìn)行分析，拓展了直接重建方法的適用范圍.Ummenhofer[58]提出基于移動(dòng)背景消除的三維重建模型，能夠有效地減小移動(dòng)背景和物體陰影區(qū)域?qū)χ亟ńY(jié)果的影響.針對(duì)大位移運(yùn)動(dòng)時(shí)重建模型的可靠性問(wèn)題，文獻(xiàn)[59]提出基于圖像金字塔分層的全局優(yōu)化直接重建方法，有效地克服了大位移運(yùn)動(dòng)所導(dǎo)致的邊緣溢出點(diǎn)問(wèn)題.Cubber[60]將單目光流重建模型與雙目視覺(jué)相結(jié)合，利用極線約束估計(jì)物體或場(chǎng)景的絕對(duì)深度，為光流三維重建技術(shù)研究開(kāi)辟了新方向.

為了驗(yàn)證間接重建方法與直接重建方法的性能與特點(diǎn)，分別選取Adiv[48]、RMROF[46]、Sekkati[54]和DMDPOF[59]等重建方法進(jìn)行對(duì)比測(cè)試與分析.其中，Adiv與RMROF算法采用AOFSCNN算法[23]作為重建模型的光流計(jì)算方法.測(cè)試圖像選取圖3(a)所示的Yosemite圖像序列，圖中既存在烏云區(qū)域的非剛性運(yùn)動(dòng)，又包含了山谷的大場(chǎng)景擴(kuò)張運(yùn)動(dòng)，因此具有較高的挑戰(zhàn)性.由于Yosemite圖像序列沒(méi)有深度真實(shí)值，計(jì)算出各對(duì)比方法的深度重建結(jié)果后使用灰度圖表示如圖3(e)～(h)所示.圖中顏色較深的像素點(diǎn)表示其深度坐標(biāo)較小，即該點(diǎn)距離攝相機(jī)鏡頭較近；顏色較淺的像素點(diǎn)表示其深度坐標(biāo)較大，即距離攝相機(jī)鏡頭較遠(yuǎn).圖3中，Adiv算法重建效果較差，主要源于該方法僅采用局部鄰域約束估計(jì)三維運(yùn)動(dòng)與深度信息，導(dǎo)致其對(duì)困難場(chǎng)景的重建效果較差.Sekkati算法重建效果略好于Adiv算法，但由于采用非線性一致擴(kuò)散策略導(dǎo)致其重建結(jié)果過(guò)于平滑.RMROF算法與DMDPOF算法重建結(jié)果未出現(xiàn)明顯的過(guò)度分割與不連續(xù)現(xiàn)象，整體重建效果較好.

圖3(b)～(d)分別展示了光流真實(shí)值、AOFSCNN與DMDPOF算法的光流估計(jì)結(jié)果，圖中AOFSCNN算法在烏云區(qū)域存在輕微的過(guò)度分割現(xiàn)象，而DMDPOF算法則更加平滑，未出現(xiàn)過(guò)度分割現(xiàn)象.表2展示了各對(duì)比方法的光流誤差A(yù)AE與AEE統(tǒng)計(jì)結(jié)果，其中Adiv與RMROF算法采用的是AOFSCNN算法的光流計(jì)算結(jié)果.表中AOFSCNN算法的AAE誤差最小，而DMDPOF算法的AEE誤差最小.通過(guò)各對(duì)比方法的定性分析與定量比較可以看出，精確的光流輸入并不一定能保證間接重建方法取得令人滿意的重建效果，主要源于不適當(dāng)?shù)拈g接重建模型可能會(huì)將光流誤差放大.直接重建方法計(jì)算出的光流結(jié)果與重建效果是密切相關(guān)的，因此直接重建方法計(jì)算出的光流精度越高，說(shuō)明其重建效果越好.

表2 各對(duì)比重建方法光流誤差結(jié)果

5 總結(jié)與展望

本文通過(guò)對(duì)圖像序列光流計(jì)算技術(shù)、基于圖像特征光流的三維重建技術(shù)以及基于稠密光流的三維重建技術(shù)等研究?jī)?nèi)容進(jìn)行分類(lèi)歸納，總結(jié)分析了單目圖像序列光流三維重建技術(shù)的研究熱點(diǎn)及重要研究成果，并對(duì)光流計(jì)算及其三維重建技術(shù)研究領(lǐng)域中幾類(lèi)代表性方法進(jìn)行了實(shí)驗(yàn)對(duì)比測(cè)試，以說(shuō)明各類(lèi)方法的性能特點(diǎn)以及適用范圍.

雖然單目圖像序列光流三維重建技術(shù)研究取得了較大進(jìn)展與諸多成果，但仍有許多相關(guān)工作有待進(jìn)一步深入研究，例如：

(1)圖像序列光流計(jì)算的基礎(chǔ)是基于圖像數(shù)據(jù)的守恒假設(shè)，而光照變化、大位移運(yùn)動(dòng)等導(dǎo)致的像素點(diǎn)亮度突變現(xiàn)象使得現(xiàn)有的各種圖像數(shù)據(jù)整數(shù)階守恒假設(shè)常常出現(xiàn)不連續(xù)問(wèn)題，使得光流計(jì)算結(jié)果較差.分?jǐn)?shù)階微分模型是近年來(lái)微積分研究領(lǐng)域的熱點(diǎn)問(wèn)題，其具有抗噪性、弱導(dǎo)數(shù)性以及記憶性等顯著優(yōu)點(diǎn).在后續(xù)研究中，采用分?jǐn)?shù)階微分模型代替圖像數(shù)據(jù)守恒假設(shè)中傳統(tǒng)的整數(shù)階微分模型有望解決由于像素點(diǎn)亮度突變所導(dǎo)致的光流不連續(xù)問(wèn)題.

(2)近年來(lái)，基于非局部約束的光流計(jì)算模型逐漸成為光流計(jì)算的主流方法，但由于目前的非局部約束項(xiàng)只考慮圖像鄰域像素點(diǎn)的加權(quán)約束，常常導(dǎo)致光流估計(jì)結(jié)果出現(xiàn)“過(guò)度分割”現(xiàn)象.因此，在后續(xù)研究中應(yīng)更多考慮基于圖像區(qū)域的非局部約束策略，利用圖像區(qū)域平滑抑制“過(guò)度分割”現(xiàn)象的產(chǎn)生，同時(shí)避免光流計(jì)算陷入局部最優(yōu).

(3)當(dāng)圖像序列中存在非剛性運(yùn)動(dòng)或運(yùn)動(dòng)遮擋等現(xiàn)象時(shí)，物體或場(chǎng)景表面的像素點(diǎn)或其它特征常常出現(xiàn)“時(shí)有時(shí)無(wú)”的情況，此時(shí)基于單目圖像序列光流的三維重建技術(shù)常常無(wú)法獲取魯棒的運(yùn)動(dòng)估計(jì)與重建結(jié)果.在后續(xù)研究中應(yīng)考慮將單目圖像序列與雙目視覺(jué)相結(jié)合，利用極線約束對(duì)重建模型進(jìn)一步優(yōu)化，以提高重建模型的準(zhǔn)確性與可靠性.

(4)基于稠密光流的三維重建技術(shù)可以重建圖像序列中運(yùn)動(dòng)物體或場(chǎng)景的稠密結(jié)構(gòu)，充分體現(xiàn)其表面細(xì)節(jié)信息；而基于特征光流的三維重建技術(shù)對(duì)圖像亮度變化等噪聲不敏感，且直線、曲線等特征包含物體或場(chǎng)景更多的拓?fù)浣Y(jié)構(gòu).但目前為止，這兩類(lèi)方法基本處于相互平行狀態(tài).在后續(xù)研究中，應(yīng)更多考慮將這兩類(lèi)方法進(jìn)行交叉融合，使得重建結(jié)果既能夠表現(xiàn)圖像細(xì)節(jié)，又可以獲取更多的拓?fù)湫畔?

(5)由于基于單目圖像序列光流的三維重建結(jié)果中通常包含與深度坐標(biāo)相關(guān)的未知參數(shù)，使得重建結(jié)果的量化評(píng)價(jià)十分困難.隨著消費(fèi)類(lèi)深度相機(jī)的發(fā)展與普及，后續(xù)研究中應(yīng)考慮采用可見(jiàn)光圖像與深度圖像融合的方法進(jìn)行三維重建技術(shù)研究，利用深度數(shù)據(jù)對(duì)圖像中運(yùn)動(dòng)物體或場(chǎng)景分層分割，并獲取其真實(shí)的運(yùn)動(dòng)估計(jì)與重建結(jié)果.

[1]Roberts R,Dellaert F.Direct superpixel labeling for mobile robot navigation using learned general optical flow templates[A].International Conference on Intelligent Robots and Systems[C].Chicago:IEEE,2014.1032-1037.

[2]Nourani-Vatani N,Borges P V K,Roberts J M,et al.On the use of optical flow for scene change detection and description[J].Journal of Intelligent & Robotic Systems,2014,74(3):817-846.

[3]羅寰,王芳,陳中起,等.基于對(duì)稱差分和光流估計(jì)的紅外弱小目標(biāo)檢測(cè)[J].光學(xué)學(xué)報(bào),2010,30(6):1715-1720. Luo Huan,Wang fang,Chen Zhong-qi,et al.Infrared target detecting based on symmetrical displaced frame difference and optical flow estimation[J].Acta Optica Sinica,2010,30(6):1715-1720.(in Chinese)

[4]Rhudy M B,Chao H,Gu Y.Wide-field optical flow aided inertial navigation for unmanned aerial vehicles[A].International Conference on Intelligent Robots and Systems[C].Chicago:IEEE,2014.674-679.

[5]Zhou L,Kambhamettu C,Goldgof D B,et al.Tracking nonrigid motion and structure from 2D satellite cloud images without correspondences[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(11):1330-1336.

[6]許鴻奎,江銘炎,楊明強(qiáng).基于改進(jìn)光流場(chǎng)模型的腦部多模醫(yī)學(xué)圖像配準(zhǔn)[J].電子學(xué)報(bào),2012,40(3):525-529. Xu Hong-kui,Jiang Ming-yan,Yang Ming-qiang.Registration of multimodal brain medical images based on improved optical flow model[J].Acta Electronica Sinica,2012,40(3):525-529.(in Chinese)

[7]Horn B K,Schunck B G.Determining optical flow[J].Artificial Intelligence,1981,17(1):185-203.

[8]Lucas B D,Kanade T.An iterative image registration technique with an application to stereo vision[A].Proceedings of the 7th International Joint Conference on Artificial Intelligence[C].Vienna:Springer,1981.674-679.

[9]Bruhn A,Weickert J,Schn?rr C.Lucas/Kanade meets Horn/Schunck:Combining local and global optic flow methods[J].International Journal of Computer Vision,2005,61(3):211-231.

[10]Brox T,Bruhn A,Papenberg N,et al.High accuracy optical flow estimation based on a theory for warping[A].European Conference on Computer Vision[C].Prague:Springer,2004.25-36.

[11]陳震,張聰炫,晏文敬,等.基于圖像局部結(jié)構(gòu)的區(qū)域匹配變分光流算法[J].電子學(xué)報(bào),2015,43(11):2200-2209. Chen Zhen,Zhang Cong-xuan,Yan Wen-jing,et al.Region matching variational optical flow algorithm based on image local structure[J].Acta Electronica Sinica,2015,43(11):2200-2209.(in Chinese)

[12]Papenberg N,Bruhn A,Brox T,et al.Highly accurate optic flow computation with theoretically justified warping[J].International Journal of Computer Vision,2006,67(2):141-158.

[13]劉駿,祖靜,張瑜,等.光照變化條件下的光流估計(jì)[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(10):1475-1480. Liu Jun,Zu Jing,Zhang Yu,et al.Optical flow estimation method under the condition of illumination change[J].Journal of Image and Graphics,2014,19(10):1475-1480.(in Chinese)

[14]Wedel A,Pock T,Zach C,et al.An improved algorithm for TV-L1 optical flow[A].Proceedings of the Statistical and Geometrical Approaches to Visual Motion Analysis[C].Dagstuhl Castle:Springer,2009.23-45.

[15]Drulea M,Nedevschi S.Total variation regularization of local-global optical flow[A].International Conference on Intelligent Transportation Systems[C].Washington:IEEE,2011.318-323.

[16]項(xiàng)學(xué)智,開(kāi)湘龍,張磊,等.一種變分偏微分多模型光流求解方法[J].儀器儀表學(xué)報(bào),2014,35(1):109-116. Xiang Xue-zhi,Kai Xiang-long,Zhang Lei,et al.A method variational partial differential based multi-model optical flow calculation[J].Chinese Journal of Scientific Instrument,2014,35(1):109-116.(in Chinese)

[17]Nagel H H,Enkelmann W.An investigation of smoothness constraints for the estimation of displacement vector fields from image sequences[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(5):565-593.

[18]Werlberger M,Trobin W,Pock T,et al.Anisotropic Huber-L1 optical flow[A].Proceedings of the British machine vision conference[C].London:BMVA,2009.1-11.

[19]Xu L,Jia J,Matsushita Y.Motion detail preserving optical flow estimation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(9):1744-1757.

[20]Zimmer H,Bruhn A,Weickert J.Optic flow in harmony[J].International Journal of Computer Vision,2011,93(3):368-388.

[21]Brox T,Malik J.Large displacement optical flow:Descriptor matching in variational motion estimation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(3):500-513.

[22]Ayvaci A,Raptis M,Soatto S.Sparse occlusion detection with optical flow[J].International Journal of Computer Vision,2012,97(3):322-338.

[23]Zhang C X,Chen Z,Li M,et al.Anisotropic optical flow algorithm based on self-adaptive cellular neural network[J].Journal of Electronic Imaging,2013,22(1):013038-1-9.

[24]Sun D,Roth S,Black M J.A quantitative analysis of current practices in optical flow estimation and the principles behind them[J].International Journal of Computer Vision,2014,106(2):115-137.

[25]Baker S,Scharstein D,Lewis J P,et al.A database and evaluation methodology for optical flow[J].International Journal of Computer Vision,2011,92(1):1-31.

[26]Roach J W.Determining the movement of objects from a sequence of images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1980,2(6):554-562.

[27]Zhuang X,Huang T S,Abuja N,et al.A simplified linear optic flow-motion algorithm[J].Computer Vision,Graphics,and Image Processing,1988,42(3):334-344.

[28]Chiuso A,Favaro P,Jin H,et al.Structure from motion causally integrated over time[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(4):523-535.

[29]Ozden K E,Schindler K,Van G L.Multibody structure-from-motion in practice[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(6):1134-1141.

[30]王俊,朱利.基于圖像匹配-點(diǎn)云融合的建筑物立面三維重建[J].計(jì)算機(jī)學(xué)報(bào),2012,35(10):2072-2079. Wang Jun,Zhu Li.3D building facade reconstruction based on image matching-point cloud fusing[J].Chinese Journal of Computer,2012,35(10):2072-2079.(in Chinese)

[31]Nachimson M,Kovalsky S Z,Shlizerman I,et al.Global motion estimation from point matches[A].International Conference on 3D Imaging,Modeling,Processing,Visualization and Transmission[C].Zurich:IEEE,2012.81-88.

[32]Scaramuzza D.1-point-ransac structure from motion for vehicle-mounted cameras by exploiting non-holonomic constraints[J].International Journal of Computer Vision,2011,95(1):74-85.

[33]Crandall D,Owens A,Snavely N,et al.Discrete-continuous optimization for large-scale structure from motion[A].International Conference on Computer Vision and Pattern Recognition[C].Providence:IEEE,2011.3001-3008.

[34]Sinha S N,Steedly D,Szeliski R.A multi-stage linear approach to structure from motion[A].European Conference on Computer Vision[C].Heraklion:Springer,2010.267-281.

[35]Liu Y,Huang T S.Estimation of rigid body motion using straight line correspondences[J].Computer Vision,Graphics,and Image Processing,1988,43(1):37-52.

[36]Liu Y,Huang T S.A linear algorithm for motion estimation using straight line correspondences[J].Computer Vision,Graphics,and Image Processing,1988,44(1):35-57.

[37]陳震,許強(qiáng),閆軍,等.基于直線光流場(chǎng)的三維檢測(cè)新方法[J].儀器儀表學(xué)報(bào),2012,33(5):1141-1147. Chen Zhen,Xu Qiang,Yan Jun,et a1.New method of 3D detection based on straight-line optical flow[J].Chinese Journal of Scientific Instrument,2012,33(5):1141-1147.(in Chinese)

[38]Taylor C J,Kriegman D J.Structure and motion from line segments in multiple images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(11):1021-1032.

[39]Mirzaei F M,Roumeliotis S I.Globally optimal pose estimation from line correspondences[A].International Conference on Robotics and Automation[C].Shanghai:IEEE,2011.5581-5588.

[40]Kollmann I R,Reichinger A.3D camera pose estimation using line correspondences and 1D homographies[J].Advances in Visual Computing,2010,64(54):41-52.

[41]Mosaddegh S,Fofi D,Vasseur P.Line based motion estimation and reconstruction of piece-wise planar scenes[A].International Workshop on Applications of Computer Vision[C].Kona:IEEE,2011.658-663.

[42]Liu J,Chen Y,Tang X.Decomposition of complex line drawings with hidden lines for 3D planar-faced manifold object reconstruction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(1):3-15.

[43]Elqursh A,Elgammal A.Line-based relative pose estimation[A].International Conference on Computer Vision and Pattern Recognition[C].Providence:IEEE,2011.3049-3056.

[44]Bruss R,Horn K P.Passive navigation[J].Computer Vision,Graphics,and Image Processing,1983,21(1):3-20.

[45]Kolev K,Klodt M,Brox T,et al.Continuous global optimization in multiview 3D reconstruction[J].International Journal of Computer Vision,2009,84(1):80-96.

[46]張聰炫,陳震,黎明.基于稠密光流的魯棒運(yùn)動(dòng)估計(jì)與表面結(jié)構(gòu)重建[J].儀器儀表學(xué)報(bào),2014,35(1):218-225. Zhang Cong-xuan,Chen Zhen,Li Ming.Robust motion estimation and surface structure reconstruction based on dense optical flow[J].Chinese Journal of Scientific Instrument,2014,35(1):218-225.(in Chinese)

[47]Chessa M,Solari F,Sabatini S P.Adjustable linear models for optic flow based obstacle avoidance[J].Computer Vision and Image Understanding,2013,117(6):603-619.

[48]Adiv G.Determining three-dimensional motion and structure from optical flow generated by several moving objects[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1985,7(4):384-401.

[49]Meinhardt L E,Hondt O,Facciolo G,et al.Relative depth from monocular optical flow[A].International Conference on Image Processing[C].Brussels:IEEE,2011.2085-2088.

[50]Calway A.Recursive estimation of 3D motion and surface structure from local affine flow parameters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(4):562-574.

[51]Lee D J,Merrell P,Wei Z,et al.Two-frame structure from motion using optical flow probability distributions for unmanned air vehicle obstacle avoidance[J].Machine Vision and Applications,2010,21(3):229-240.

[52]Horn B K P,Weldon J E J.Direct methods for recovering motion[J].International Journal of Computer Vision,1988,2(1):51-76.

[53]Mitiche A,Hadjres S.MDL estimation of a dense map of relative depth and 3D motion from a temporal sequence of images[J].Pattern Analysis & Applications,2003,6(1):78-87.

[54]Sekkati H,Mitiche A.A variational method for the recovery of dense 3D structure from motion[J].Robotics and Autonomous Systems,2007,55(7):597-607.

[55]Perriollat M,Hartley R,Bartoli A.Monocular template-based reconstruction of inextensible surfaces[J].International Journal of Computer Vision,2011,95(2):124-137.

[56]Mitiche A,Sekkati H.Optical flow 3d segmentation and interpretation:A variational method with active curve evolution and level sets[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(11):1818-1829.

[57]Zhang C X,Chen Z,Li M,et al.Direct method for motion estimation and structure reconstruction based on optical flow[J].Optical Engineering,2012,51(6):067004-1-14.

[58]Ummenhofer B,Brox T.Dense 3D reconstruction with a hand-held camera[A].Proceedings of the 34th Symposium of the German Association for Pattern Recognition[C].Graz:Springer,2012.103-112.

[59]張聰炫,陳震,黎明.金字塔光流三維運(yùn)動(dòng)估計(jì)與深度重建直接方法[J].儀器儀表學(xué)報(bào),2015,36(5):1093-1105. Zhang Cong-xuan,Chen Zhen,Li Ming.Direct method for motion estimation and depth reconstruction based on pyramid optical flow[J].Chinese Journal of Scientific Instrument,2015,36(5):1093-1105.(in Chinese)

[60]Cubber G,Sahli H.Partial differential equation-based dense 3D structure and motion estimation from monocular image sequences[J].IET Computer Vision,2012,6(3):174-185.

張聰炫 男，1984年7月出生于河南省焦作市.分別于2007年和2014年在南昌航空大學(xué)和南京航空航天大學(xué)獲得學(xué)士和博士學(xué)位.現(xiàn)為南昌航空大學(xué)講師，碩士生導(dǎo)師.主要研究方向?yàn)閳D像檢測(cè)與智能識(shí)別.

E-mail:zcxdsg@163.com

陳 震(通信作者) 男，1969年11月出生于江西省九江市.分別于1993、2000和2003年在西北工業(yè)大學(xué)獲得學(xué)士、碩士和博士學(xué)位.現(xiàn)為南昌航空大學(xué)教授，博士生導(dǎo)師.主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)、圖像處理與模式識(shí)別.

E-mail:dr-chenzhen@163.com

黎 明 男，1965年2月出生于江西省樟樹(shù)市.分別于1985年、1990年和1997年在上海交通大學(xué)和南京航空航天大學(xué)獲得學(xué)士、碩士和博士學(xué)位.現(xiàn)為南昌航空大學(xué)教授，博士生導(dǎo)師.主要研究方向?yàn)閳D像處理與模式識(shí)別、智能計(jì)算.

E-mail:limingniat@hotmail.com

Review of the 3D Reconstruction Technology Based on Optical Flow of Monocular Image Sequence

ZHANG Cong-xuan1,2,CHEN Zhen1,2,LI Ming1,2

(1.KeyLaboratoryofNondestructiveTesting,MinistryofEducation,NanchangHangkongUniversity,Nanchang,Jiangxi330063,China; 2.SchoolofMeasuringandOpticalEngineering,NanchangHangkongUniversity,Nanchang,Jiangxi330063,China)

The research on 3D motion estimation and structure reconstruction of the object or scene based on the monocular image sequence optical flow is important in computer vision,image processing and pattern recognition,and the research achievements are applied in many fields.such as robot vision,unmanned aerial vehicle(UAV) navigation,driver assistance system,medical image analysis,and so on.Firstly,the research progress of the technologies of the monocular image sequence optical flow estimation and 3D reconstruction is reviewed and analyzed from the aspects of accuracy and robustness.Secondly,the test image sequences of Middlebury database are employed to make comparison among the optical flow methods of HS,LDOF,CLG-TV,SOF,AOFSCNN and Classic+NL,and the direct and indirect reconstruction methods of Adiv,RMROF,Sekkati and DMDPOF based on optical flow are compared.Through the comparison results,the advantages and disadvantages of the methods are pointed out,and the characteristics and applications of the methods are generalized.Finally,the limitations and robustness of the models of optical flow estimation and 3D reconstruction in brightness changing,non-rigid motion,motion occlusion and blur are summarized,and the solutions by the fractional order differential model,non-local constraint,stereo vision and depth cue are presented.

monocular image sequence;optical flow;motion estimation;3D reconstruction;hard scene;robustness

2015-11-24;

2016-01-19;責(zé)任編輯:覃懷銀

國(guó)家自然科學(xué)基金(No.61401190,No.U1233125,No.61462062);江西省主要學(xué)科學(xué)術(shù)帶頭人培養(yǎng)計(jì)劃項(xiàng)目(No.201208421);江西省自然科學(xué)基金重點(diǎn)項(xiàng)目(No.20133ACB20004);江西省科技落地計(jì)劃項(xiàng)目(No.201408083);航空科學(xué)基金(No.2015ZC56009);江西省優(yōu)勢(shì)學(xué)科團(tuán)隊(duì)計(jì)劃項(xiàng)目(No.20152BCB24004);無(wú)損檢測(cè)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金(No.ZD201529001)

TP391

A

0372-2112 (2016)12-3044-09

??學(xué)報(bào)URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.12.033