基于雙目視覺的三維重建領域的現(xiàn)狀與未來

杜文俊 丁麗萍

摘 要：本文基于專利數(shù)據(jù)，對基于雙目視覺的三維重建方法的國內(nèi)外研究現(xiàn)狀進行了分析，得到了基于雙目視覺的三維重建領域技術走向，并對該領域的產(chǎn)業(yè)發(fā)展趨勢的預測，有助于相關領域的研究人員全面把握該領域的專利數(shù)據(jù)和發(fā)展狀況。

1 前言

20實際80年代初，MIT人工智能實驗室的Marr教授創(chuàng)立了計算機視覺的理論體系，為人們從二維圖像中認識三維世界，打開了一扇嶄新的大門。近三十年來，計算機視覺領域獲得了長足的發(fā)展，其理論基礎在不斷完善，其應用價值仍有巨大的發(fā)掘空間。

我們所認識和生活的客觀世界的空間是三維的，在很多應用領域我們需要對三維物體進行認知和分析，因此需要對物體的三維重建，即利用計算機或其它軟硬件技術對物體建立適合計算機表達的數(shù)學模型，以便在計算機中對物體進行計算、操作和分析。在該領域中，基于雙目視覺的三維重建技術是近年來的研究熱點。本綜述聚焦基于雙目視覺的三維重建方法中的關鍵技術，從專利的角度進行相關分析，對相關行業(yè)的發(fā)展方向進行預測。

2 國內(nèi)外重要申請人及其典型專利

對于基于雙目視覺的三維重建中的兩項關鍵技術相機標定和立體匹配而言，其來華重要申請人的申請量排名中，國內(nèi)重要申請人為以浙江大學、清華大學、北京航空航天大學為代表的高等院校。

以浙江大學為例，其申請量不但位居國內(nèi)申請人前列，且其相關申請的授權率也高達70%以上。以申請?zhí)?01210360976.0的專利申請為例，其申請人為CAD&CG;國家重點實驗室主任博導鮑虎軍教授，且伴隨有相關的國際論文發(fā)表，該專利已在2014年獲得授權，可以認定為浙江大學在該領域內(nèi)的關鍵技術。該申請公開了一種對于多目同步攝像機拍攝的動態(tài)場景視頻的時空一致性深度恢復的方法。它利用多視圖幾何方法結合DAISY特征向量，對于同一時刻的多目視頻幀進行立體匹配，得到多目視頻每一時刻的初始化深度圖；對于多目視頻的每一幀圖像計算動態(tài)概率圖，利用動態(tài)概率圖對每幀圖像進行動態(tài)像素點和靜態(tài)像素點的劃分，利用不同的優(yōu)化方法進行時空一致性的深度優(yōu)化，對于靜態(tài)點，利用bundle optimization方法結合多個相鄰時刻的顏色和幾何一致性約束進行優(yōu)化；對于動態(tài)點，統(tǒng)計多個相鄰時刻的多目攝像機之間對應像素點的顏色和幾何一致性約束信息，對每一時刻動態(tài)深度值進行時空一致性優(yōu)化。其中該申請所涉及到的基于局部的立體匹配技術屬于該領域中的關鍵技術分支。

而在全球范圍內(nèi)，專利申請量占據(jù)主導地位的依舊是索尼、三星、佳能等大公司。以三星公司為例，其申請?zhí)枮镵R10-2007-0115960的申請?zhí)岢隽思す庖曈X系統(tǒng)的自動標定方法，系統(tǒng)在進行自動定標前輸入一個預設的運動路徑，在運動的過程中通過拍攝的圖像以及預設的運動參數(shù)，系統(tǒng)可以自動的為激光視覺系統(tǒng)進行定標，而不需要人工的干預。該方法盡管并不是應用于以相機為硬件的雙目視覺系統(tǒng)，而是激光視覺系統(tǒng)，但在兩個應用場景中都存在相似的定標方法，即屬于相機定標的二級技術分支中的基于主動視覺的相機標定法。值得一提的是，三星公司與浙江大學的鮑虎軍教授團隊已經(jīng)全面開展了技術合作，目前在我國已有四項專利申請（申請?zhí)柗謩e為201210286784、201210464952、201310197100、201310197108），并已處于實審生效階段。由此可見，國內(nèi)學術界已開始注重與國際知名公司的緊密合作，也表明學術界和工業(yè)界都較為看好立體視覺技術的前景。

3 基于雙目視覺的三維重建領域技術走向

通過筆者近年來對基于雙目視覺的三維重建領域的專利分析，對于該領域技術的發(fā)展方向做出如下預測：

（1）立體視覺的計算理論和匹配策略研究。如何選擇有效的匹配準則和算法結構，以解決幾何畸變（透視、縮放、旋轉等）、灰度失真、噪聲干擾、特殊結構（平坦區(qū)域、重復相似結構等）及遮擋景物的匹配問題。如何提高算法的魯棒性、實時性、去歧義性等。

（2）雙目立體視覺系統(tǒng)的智能化研究。如何建立基于知識、模型和規(guī)則的立體視覺方法。計算機視覺與機器學習兩個領域的技術交叉，也是近期的研究熱點之一。

（3）算法硬件實現(xiàn)研究。如何提高算法的速度，減少運算量，如何使算法朝并行化方向發(fā)展以便釆用并行流水線機制和專用的信號處理器件（如GPU）進行算法的硬件實現(xiàn)，以滿足各類實時應用的需求。

（4）進一步重視深度相機作為三維重建設備的應用，解決使用彩色相機的方法魯棒性較低且難以處理缺少紋理及存在遮擋的情況。

4 產(chǎn)業(yè)發(fā)展趨勢的預測

結合對于基于雙目視覺的三維重建的關鍵技術的專利分析和筆者本人的思考，對本領域的產(chǎn)業(yè)發(fā)展，特別是國內(nèi)企業(yè)的發(fā)展方向給出如下建議：

（1）根據(jù)專利申請人的分布數(shù)據(jù)來看，國內(nèi)高等院校、科研院所的研究相當活躍，與世界先進水平的差距正在逐漸縮小。以清華大學、浙江大學、北京航空航天大學為代表的高等院校，一定程度上代表了雙目立體視覺領域的世界先進水平。相比之下，國內(nèi)高校和企業(yè)在研發(fā)力量、將科研成果轉化為經(jīng)濟效益方面的作為還遠遠不足。企業(yè)與高校的強強聯(lián)合，發(fā)揮出各自開發(fā)和科研實力，是盡快搶占國內(nèi)市場、改變美日韓企業(yè)在華獨大的現(xiàn)狀的出路。

（2）在計算機視覺領域，國內(nèi)致力于研發(fā)的企業(yè)多為中小企業(yè)，如北京大恒圖像、北京時利和、北京微視凌志、北京微視新紀元、深圳市視覺龍科技、香港盈基科技、深圳科瑞自動化、深圳步進科技等公司，且起步較晚。國內(nèi)中小企業(yè)由于研發(fā)實力有限，更應慎重選擇市場切入點，避開工作檢測、生物醫(yī)學等對技術精度要求較高的應用領域，而將目光更多地投向虛擬現(xiàn)實、機器視覺等新興領域，走出中小企業(yè)的特色之路。

（3）在互聯(lián)網(wǎng)熱漸漸褪去之后，國內(nèi)大型互聯(lián)網(wǎng)民營企業(yè)如百度、阿里巴巴、騰訊等企業(yè)，可以將更多的目光投向計算機視覺這一新的市場寵兒，著重關注其在互聯(lián)網(wǎng)應用、娛樂等應用場景的市場價值，發(fā)揮出自身研發(fā)實力、產(chǎn)業(yè)鏈和人才上的優(yōu)勢，為自身企業(yè)的發(fā)展打開新的思路，也為國內(nèi)計算機視覺市場注入強心劑。

5 結語

本文基于專利數(shù)據(jù)，對基于雙目視覺的三維重建方法的國內(nèi)外研究現(xiàn)狀進行了分析，對國內(nèi)外重點專利申請人的專利進行了研究，進而得到了基于雙目視覺的三維重建領域技術走向，并結合筆者個人對該領域的了解對該領域的產(chǎn)業(yè)發(fā)展趨勢進行了預測，有助于相關領域的研究人員全面把握該領域的專利數(shù)據(jù)和發(fā)展狀況。

注：杜文俊、丁麗萍，等同第一作者

參考文獻：

[1]羅桂娥，雙目立體視覺深度感知與三維重建若干問題研究，中南大學博士論文，2012年5月