全景視覺技術研究進展

熊哲源

摘 要：全景視覺技術在機器人、計算機視覺和虛擬現(xiàn)實領域有著重要的應用。實現(xiàn)全景視覺技術的主要方法包括圖像拼接和折反射透鏡。介紹圖像拼接流程中的關鍵技術，包括圖像配準和圖像融合的幾種主要算法。該文分析了單視點和非單視點折反射全景視覺技術的優(yōu)缺點，概述近年來全景視覺技術的研究狀況，最后分析全景視覺技術的研究動向。

關鍵詞：全景視覺 圖像拼接 折反射全景成像

中圖分類號：G264 文獻標識碼：A 文章編號：1674-098X（2014）08（b）-0247-02

全景視覺是指一次獲得大于半球視場（360°×180°）的三維空間的全部視覺信息[1]。與視場不夠的傳統(tǒng)的視覺環(huán)境感知系統(tǒng)明顯不同，全景視覺可獲得更大的視場、更全面的信息，在軍用領域，與模式識別技術相結合，能夠提供全局多目標信息以進行精準打擊，提供豐富的視頻圖像信息以支持戰(zhàn)場指揮決策；在民用領域，與計算機視覺技術相結合，能夠為公安視頻監(jiān)控、智能交通和自然環(huán)境監(jiān)測等起到積極作用。

1 全景成像的主要方法

在民用和軍事領域的很多場合，需要同時觀察大范圍視場，以全面掌握環(huán)境信息。為高效獲取全局信息，對監(jiān)控場景中的運動目標進行定位、跟蹤和識別，學者們提出了許多方法來獲取全方位的視覺信息，主要應用的有以下幾種。

（1）復眼技術+圖像拼接。

使用多部攝像機同時從不同角度拍攝（即復眼技術），將捕獲的圖像進行拼接，組成一幅全局的圖像。多攝像機的精確安裝，以及多幅圖像的無縫拼接是實現(xiàn)復眼技術的瓶頸。因此，一般應用在景物較少的場合，如視頻會議和電視轉(zhuǎn)播等。

（2）普通視覺傳感器+旋轉(zhuǎn)云臺。

在云臺上固定一個普通攝像機，通過云臺的旋轉(zhuǎn)獲得實際場景旋轉(zhuǎn)方向的全方位視覺信息，這種方法雖然安裝簡單、成本低、易于實現(xiàn)，但受到云臺旋轉(zhuǎn)速度的限制，所獲得的圖像存在延時，不適于快速移動目標的視覺信息獲取。

（3）“魚眼”成像技術。

按照魚眼成像原理制造的魚眼鏡頭視角很大，在170～230 °，但畫面邊緣的直線都被彎曲，只有通過中心部分的直線能夠保持原來的直線狀態(tài)。魚眼鏡頭的多重透鏡組合結構以及魚眼成像的畸變。由于成像原理復雜，價格也非常昂貴，因此目前應用多限于藝術攝影。

（4）利用凸面反射鏡+普通視覺傳感器。

采用特殊加工的反射鏡將周圍景物反射至攝像機一次成像，瞬間獲取整個場景信息。這種成像方式可提供大視場成像，雖然圖像也存在畸變，但由于成像原理相對簡單，價格低廉，易于變換為人眼視覺成像，目前是全景視覺信息獲取的最佳方式。

2 基于圖像拼接的全景視覺

圖像拼接是指將兩幅或兩幅以上相鄰圖像間具有相同部分景物的圖像進行無縫拼合，得到大視角的、高分辨圖像或全景圖像。圖像拼接一般流程為：圖像采集、圖像預處理、圖像變換、圖像配準和圖像融合。首先，待拼接圖像要有30%～50%的重疊區(qū)域。然后，對圖像的失真和變形等狀況進行預處理，提高圖像質(zhì)量以保證拼接順利。待拼接圖像是在不同角度下拍攝，為保持實際景物的空間約束關系，須將圖像統(tǒng)一投影到同一坐標系上。最后，提取特征信息，利用特征信息進行圖像配準，將兩幅圖像變換到同一坐標系，對圖像重疊區(qū)域進行融合，得到拼接圖。圖像配準和融合是圖像拼接的兩個關鍵技術[2]。

2.1 圖像配準

圖像配準是根據(jù)兩幅圖像間重疊區(qū)域的信息，尋找一種或一系列空間變換，根據(jù)找到的變換參數(shù)將兩幅圖像變換到相同的坐標系中，通過配準使得兩幅圖像對應點達到空間位置上的完全一致。圖像配準算法可分成如下幾類。

（1）直接處理圖像像素。

一般用于衛(wèi)星拍攝的固定視角圖像上，由于衛(wèi)星的特殊運行方式，使所捕獲圖像尺寸都相同，且各圖像之間不存在旋轉(zhuǎn)，一般只有朝某一個方向的位移，因此可根據(jù)各圖像之間的拍攝時間差，來確定圖像的位移，從而將全部的圖像拼接成一幅全景圖。

（2）對頻域進行操作。

一般用于存在旋轉(zhuǎn)、位移和縮放的兩幅相關圖像之間的配準。對兩幅圖像進行傅里葉變換，再用兩幅圖像的互相關系數(shù)作傅立葉逆變換，從而獲得其絕對值，并在某個點的鄰域內(nèi)獲得相類似脈沖的極值，而在其它的區(qū)域均為零值。

（3）運用高級特征。

首先，用角點檢測算子提取特征點；然后，用特征點鄰域灰度互相關法，對特征點進行匹配，得到偽匹配集合，用隨機樣本一致（Ransac）算法，將該集合劃分為內(nèi)點和外點；接著，運用 L-M算法，在內(nèi)點域估算圖像之間的點變換關系。

國內(nèi)外都有相應圖像配準算法的研究。杜威等提出一種應用于動態(tài)場景的全景圖表示方法[3]，將視頻紋理和全景圖結合起來構造動態(tài)全景圖。侯舒維等為提高圖像拼接的精度和速度，提出一種圖像快速自動拼接算法[4]，采用簡單的邊緣信息閉值法提取基準特征塊，采用金字塔式分層搜索策略搜索。Shmuel等提出自適應的圖像拼接模型[5]，根據(jù)相機的不同運動，自適應選擇拼接模型，把圖像分成狹條進行多重投影來完成圖像拼接。

2.2 圖像融合

圖像融合是用函數(shù)對兩幅圖像重疊區(qū)域的像素進行融合，使得重疊區(qū)域灰度過渡自然，沒有明顯的接縫，按融合的流程可以分為三個類別：

（1）像素級圖像融合。Achalakul提出一種譜屏蔽比例萎縮相結合（PCT）算法來融合超譜圖像，并用PCT算法實現(xiàn)對CCD成像裝置的圖像分布式實時融合[6]；Tseng提出一種用整數(shù)Wavelets變換和主成分分析（PCA）算法，將低分辨的多譜圖像與全彩色的圖像進行融合，以生成高分辨、多光譜圖像。

（2）特征級圖像融合。主要包括聚類分析法、信息熵法、加權平均法、Neural Networks法、Dempster-Shafer推理法、表決法和Bayes估計法等。endprint

（3）決策級圖像融合。常用方法包括Bayes估計法、Neural Networks法、模糊聚類法和專家系統(tǒng)等。由于輸入為各種特征信息，而結果為決策描述，因此決策級圖像融合的數(shù)據(jù)量最小，抗干擾能力強。

3 折反射全景視覺

根據(jù)反射鏡的類型，分為凸面反射和凹面反射。為獲得更大的視場信息，通常采用凸面反射鏡。折反射全景成像系統(tǒng)利用折射和反射光學元件擴大視場，主要由三部分組成：（1）光敏元件，如CCD器件；（2）成像透鏡，如常規(guī)成像透鏡或遠心透鏡；（3）凸面反射鏡，其面形為二次曲面，如球面、圓錐面、雙曲面和拋物面，或高次旋轉(zhuǎn)對稱非球面，如圖1所示。

折反射全景成像系統(tǒng)具有大于半球空間的視場、系統(tǒng)設計的柔性好、成本較低等優(yōu)點，近來年發(fā)展較快，已應用于如監(jiān)控、視頻會議、機器人導航等需要大視場的場合。根據(jù)是否滿足單視點成像約束，折反射全景成像系統(tǒng)分為單視點成像系統(tǒng)和非單視點成像系統(tǒng)。

3.1 單視點折反射全景視覺

單視點成像指光線在進入成像系統(tǒng)時交于一點。監(jiān)控場景的3D重構應用要求獲得透視圖像，需根據(jù)單視點約束來設計系統(tǒng)，以確保其成像符合單視點模型。Nayar等設計了拋物面折反射全景成像系統(tǒng)，這是首個比較理想的、符合針孔模型的折反射全景成像系統(tǒng)，由拋物面反射鏡和遠心透鏡構成[7]。這個系統(tǒng)成像質(zhì)量較好，且結構緊湊，但遠心透鏡成本較高。還有學者設計了雙曲面折反射全景成像系統(tǒng)，使用了透視投影成像模型，由雙曲面反射鏡和成像透鏡組成。因為透視成像透鏡成本低，使得雙曲面折反射全景成像系統(tǒng)更加的實用。

3.2 非單視點折反射全景視覺

單視點折反射全景視覺必須對所采集的圖像進行逆投影，來獲得透視全景圖像，因此計算量非常大。為滿足實時應用需求，非單視點折反射全景成像直接獲取近似透視全景圖像[8]，使場景中的物點坐標與成像平面內(nèi)像點坐標成線性關系，實現(xiàn)全景成像的水平場景和柱面場景空間無畸變。也出現(xiàn)了角放大率不變和分辨率不變的折反射全景成像系統(tǒng)。要確保水平場景無畸變，就要使場景中物點的水平坐標與相應像點的坐標成線性關系，而場景中物點的垂直方向坐標與相應像點的坐標成線性關系就能確保柱面場景無畸變。

4 全景視覺技術的研究方向

全景視覺技術作為光學、計算機視覺、電子、模式識別等的交叉學科，要將目前的理論研究的成果應用到實踐中去，時機還不成熟，還要解決很多基礎理論問題和關鍵技術問題，比如實時圖像拼接、自動圖像拼接、彩色圖像拼接、3-D立體圖像拼接、全景圖像的無損解算理論算法、全景視覺目標探測與識別理論與方法等。

5 結語

全景視覺技術具有廣闊的應用前景，越來越受到了國內(nèi)外的廣泛關注，其研究主要集中在基于圖像拼接和折反射的全景視覺。該文介紹了圖像拼接的特點，對圖像配準和融合算法作了概述，分析圖像拼接算法的研究動向。對單視點和非單視點折反射全景視覺技術的優(yōu)缺點進行了詳細分析，概述近年來全景視覺技術的研究狀況，最后分析全景視覺技術的研究動向。折反射全景成像系統(tǒng)由于沒有掃描部件，無拼接直接獲得360 °的大視場，越來越受到重視，將會得到更為廣泛的應用。

參考文獻

[1] S. K. Nayar and A. Karmarkar. 360×360 mosaics. Proc. IEEE Conf. Computer Vision and Pattern Recognition， June 2000：388-395.

[2] 余宏生，金偉其.數(shù)字圖像拼接方法研究進展[J].紅外技術，2009，31（6）： 348-353.

[3] 杜威，李華.一種用于動態(tài)場景的全景表示方法[J].計算機學報，2002，25（9）：968-975.

[4] 侯舒維，郭寶龍.一種圖像自動拼接的快速算法[J].計算機工程，2005，31（24）：70-72.

[5] S. Peleg， B. Rousso， A. Rav-Acha， A.Zomet. Mosaicing on adaptive manifolds[J].IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000， 22（10）： 1144-1154.

[6] T. Achalakul， P. Haaland， S. Taylor. MathWeb： a concurrent image analysis tool suite for multi-spectral data fusion. Proc. Sensor Fusion： Architectures， Algorithms， and Applications III， April 1999： 351-358.

[7] S.K. Nayar， Catadioptric omnidirectional camera. Proc. of IEEE Conf. on Computer Vision and Pattern Recognition， 1997：482-488.

[8] M. Brown， D.G. Lowe. Recognising panoramas[J].Proceedings of the IEEE International Conference on Computer Vision， 2003（2）：1218-1225.endprint

（3）決策級圖像融合。常用方法包括Bayes估計法、Neural Networks法、模糊聚類法和專家系統(tǒng)等。由于輸入為各種特征信息，而結果為決策描述，因此決策級圖像融合的數(shù)據(jù)量最小，抗干擾能力強。

3 折反射全景視覺

根據(jù)反射鏡的類型，分為凸面反射和凹面反射。為獲得更大的視場信息，通常采用凸面反射鏡。折反射全景成像系統(tǒng)利用折射和反射光學元件擴大視場，主要由三部分組成：（1）光敏元件，如CCD器件；（2）成像透鏡，如常規(guī)成像透鏡或遠心透鏡；（3）凸面反射鏡，其面形為二次曲面，如球面、圓錐面、雙曲面和拋物面，或高次旋轉(zhuǎn)對稱非球面，如圖1所示。

折反射全景成像系統(tǒng)具有大于半球空間的視場、系統(tǒng)設計的柔性好、成本較低等優(yōu)點，近來年發(fā)展較快，已應用于如監(jiān)控、視頻會議、機器人導航等需要大視場的場合。根據(jù)是否滿足單視點成像約束，折反射全景成像系統(tǒng)分為單視點成像系統(tǒng)和非單視點成像系統(tǒng)。

3.1 單視點折反射全景視覺

單視點成像指光線在進入成像系統(tǒng)時交于一點。監(jiān)控場景的3D重構應用要求獲得透視圖像，需根據(jù)單視點約束來設計系統(tǒng)，以確保其成像符合單視點模型。Nayar等設計了拋物面折反射全景成像系統(tǒng)，這是首個比較理想的、符合針孔模型的折反射全景成像系統(tǒng)，由拋物面反射鏡和遠心透鏡構成[7]。這個系統(tǒng)成像質(zhì)量較好，且結構緊湊，但遠心透鏡成本較高。還有學者設計了雙曲面折反射全景成像系統(tǒng)，使用了透視投影成像模型，由雙曲面反射鏡和成像透鏡組成。因為透視成像透鏡成本低，使得雙曲面折反射全景成像系統(tǒng)更加的實用。

3.2 非單視點折反射全景視覺

單視點折反射全景視覺必須對所采集的圖像進行逆投影，來獲得透視全景圖像，因此計算量非常大。為滿足實時應用需求，非單視點折反射全景成像直接獲取近似透視全景圖像[8]，使場景中的物點坐標與成像平面內(nèi)像點坐標成線性關系，實現(xiàn)全景成像的水平場景和柱面場景空間無畸變。也出現(xiàn)了角放大率不變和分辨率不變的折反射全景成像系統(tǒng)。要確保水平場景無畸變，就要使場景中物點的水平坐標與相應像點的坐標成線性關系，而場景中物點的垂直方向坐標與相應像點的坐標成線性關系就能確保柱面場景無畸變。

4 全景視覺技術的研究方向

全景視覺技術作為光學、計算機視覺、電子、模式識別等的交叉學科，要將目前的理論研究的成果應用到實踐中去，時機還不成熟，還要解決很多基礎理論問題和關鍵技術問題，比如實時圖像拼接、自動圖像拼接、彩色圖像拼接、3-D立體圖像拼接、全景圖像的無損解算理論算法、全景視覺目標探測與識別理論與方法等。

5 結語

全景視覺技術具有廣闊的應用前景，越來越受到了國內(nèi)外的廣泛關注，其研究主要集中在基于圖像拼接和折反射的全景視覺。該文介紹了圖像拼接的特點，對圖像配準和融合算法作了概述，分析圖像拼接算法的研究動向。對單視點和非單視點折反射全景視覺技術的優(yōu)缺點進行了詳細分析，概述近年來全景視覺技術的研究狀況，最后分析全景視覺技術的研究動向。折反射全景成像系統(tǒng)由于沒有掃描部件，無拼接直接獲得360 °的大視場，越來越受到重視，將會得到更為廣泛的應用。

參考文獻

[1] S. K. Nayar and A. Karmarkar. 360×360 mosaics. Proc. IEEE Conf. Computer Vision and Pattern Recognition， June 2000：388-395.

[2] 余宏生，金偉其.數(shù)字圖像拼接方法研究進展[J].紅外技術，2009，31（6）： 348-353.

[3] 杜威，李華.一種用于動態(tài)場景的全景表示方法[J].計算機學報，2002，25（9）：968-975.

[4] 侯舒維，郭寶龍.一種圖像自動拼接的快速算法[J].計算機工程，2005，31（24）：70-72.

[5] S. Peleg， B. Rousso， A. Rav-Acha， A.Zomet. Mosaicing on adaptive manifolds[J].IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000， 22（10）： 1144-1154.

[6] T. Achalakul， P. Haaland， S. Taylor. MathWeb： a concurrent image analysis tool suite for multi-spectral data fusion. Proc. Sensor Fusion： Architectures， Algorithms， and Applications III， April 1999： 351-358.

[7] S.K. Nayar， Catadioptric omnidirectional camera. Proc. of IEEE Conf. on Computer Vision and Pattern Recognition， 1997：482-488.

[8] M. Brown， D.G. Lowe. Recognising panoramas[J].Proceedings of the IEEE International Conference on Computer Vision， 2003（2）：1218-1225.endprint

（3）決策級圖像融合。常用方法包括Bayes估計法、Neural Networks法、模糊聚類法和專家系統(tǒng)等。由于輸入為各種特征信息，而結果為決策描述，因此決策級圖像融合的數(shù)據(jù)量最小，抗干擾能力強。

3 折反射全景視覺

根據(jù)反射鏡的類型，分為凸面反射和凹面反射。為獲得更大的視場信息，通常采用凸面反射鏡。折反射全景成像系統(tǒng)利用折射和反射光學元件擴大視場，主要由三部分組成：（1）光敏元件，如CCD器件；（2）成像透鏡，如常規(guī)成像透鏡或遠心透鏡；（3）凸面反射鏡，其面形為二次曲面，如球面、圓錐面、雙曲面和拋物面，或高次旋轉(zhuǎn)對稱非球面，如圖1所示。

折反射全景成像系統(tǒng)具有大于半球空間的視場、系統(tǒng)設計的柔性好、成本較低等優(yōu)點，近來年發(fā)展較快，已應用于如監(jiān)控、視頻會議、機器人導航等需要大視場的場合。根據(jù)是否滿足單視點成像約束，折反射全景成像系統(tǒng)分為單視點成像系統(tǒng)和非單視點成像系統(tǒng)。

3.1 單視點折反射全景視覺

單視點成像指光線在進入成像系統(tǒng)時交于一點。監(jiān)控場景的3D重構應用要求獲得透視圖像，需根據(jù)單視點約束來設計系統(tǒng)，以確保其成像符合單視點模型。Nayar等設計了拋物面折反射全景成像系統(tǒng)，這是首個比較理想的、符合針孔模型的折反射全景成像系統(tǒng)，由拋物面反射鏡和遠心透鏡構成[7]。這個系統(tǒng)成像質(zhì)量較好，且結構緊湊，但遠心透鏡成本較高。還有學者設計了雙曲面折反射全景成像系統(tǒng)，使用了透視投影成像模型，由雙曲面反射鏡和成像透鏡組成。因為透視成像透鏡成本低，使得雙曲面折反射全景成像系統(tǒng)更加的實用。

3.2 非單視點折反射全景視覺

單視點折反射全景視覺必須對所采集的圖像進行逆投影，來獲得透視全景圖像，因此計算量非常大。為滿足實時應用需求，非單視點折反射全景成像直接獲取近似透視全景圖像[8]，使場景中的物點坐標與成像平面內(nèi)像點坐標成線性關系，實現(xiàn)全景成像的水平場景和柱面場景空間無畸變。也出現(xiàn)了角放大率不變和分辨率不變的折反射全景成像系統(tǒng)。要確保水平場景無畸變，就要使場景中物點的水平坐標與相應像點的坐標成線性關系，而場景中物點的垂直方向坐標與相應像點的坐標成線性關系就能確保柱面場景無畸變。

4 全景視覺技術的研究方向

全景視覺技術作為光學、計算機視覺、電子、模式識別等的交叉學科，要將目前的理論研究的成果應用到實踐中去，時機還不成熟，還要解決很多基礎理論問題和關鍵技術問題，比如實時圖像拼接、自動圖像拼接、彩色圖像拼接、3-D立體圖像拼接、全景圖像的無損解算理論算法、全景視覺目標探測與識別理論與方法等。

5 結語

全景視覺技術具有廣闊的應用前景，越來越受到了國內(nèi)外的廣泛關注，其研究主要集中在基于圖像拼接和折反射的全景視覺。該文介紹了圖像拼接的特點，對圖像配準和融合算法作了概述，分析圖像拼接算法的研究動向。對單視點和非單視點折反射全景視覺技術的優(yōu)缺點進行了詳細分析，概述近年來全景視覺技術的研究狀況，最后分析全景視覺技術的研究動向。折反射全景成像系統(tǒng)由于沒有掃描部件，無拼接直接獲得360 °的大視場，越來越受到重視，將會得到更為廣泛的應用。

參考文獻

[1] S. K. Nayar and A. Karmarkar. 360×360 mosaics. Proc. IEEE Conf. Computer Vision and Pattern Recognition， June 2000：388-395.

[2] 余宏生，金偉其.數(shù)字圖像拼接方法研究進展[J].紅外技術，2009，31（6）： 348-353.

[3] 杜威，李華.一種用于動態(tài)場景的全景表示方法[J].計算機學報，2002，25（9）：968-975.

[4] 侯舒維，郭寶龍.一種圖像自動拼接的快速算法[J].計算機工程，2005，31（24）：70-72.

[5] S. Peleg， B. Rousso， A. Rav-Acha， A.Zomet. Mosaicing on adaptive manifolds[J].IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000， 22（10）： 1144-1154.

[6] T. Achalakul， P. Haaland， S. Taylor. MathWeb： a concurrent image analysis tool suite for multi-spectral data fusion. Proc. Sensor Fusion： Architectures， Algorithms， and Applications III， April 1999： 351-358.

[7] S.K. Nayar， Catadioptric omnidirectional camera. Proc. of IEEE Conf. on Computer Vision and Pattern Recognition， 1997：482-488.

[8] M. Brown， D.G. Lowe. Recognising panoramas[J].Proceedings of the IEEE International Conference on Computer Vision， 2003（2）：1218-1225.endprint