全景成像技術(shù)概述

馬家聰 高培筠 杜宇航

江蘇大學(xué)機(jī)械工程學(xué)院 江蘇 鎮(zhèn)江 212000

引言

全景成像實(shí)際上涉及兩個(gè)概念：一個(gè)是全向圖像，另一個(gè)是水平方向上柱面內(nèi)或立方體內(nèi)成的像；前者指的是水平方向上達(dá)到360°視場(chǎng)角，豎直方向上小于或等于360°視角的圖像；后者指的是水平面上多個(gè)方向的攝像機(jī)共同拍攝，或一個(gè)相機(jī)旋轉(zhuǎn)拍攝得到的圖像。全景成像技術(shù)是以大面陣凝視成像器件、折衍式成像光學(xué)及圖像處理技術(shù)共同發(fā)展起來(lái)的新型成像系統(tǒng)，與傳統(tǒng)的成像系統(tǒng)相比具有顯著的優(yōu)勢(shì)：超大視場(chǎng)、景深大、體積小、質(zhì)量輕及抗震性能好等特點(diǎn)。全景成像以及相關(guān)的技術(shù)，如廣角鏡頭、圖像配準(zhǔn)、圖像拼接、圖像融合等，屬于模式識(shí)別和機(jī)器視覺(jué)的領(lǐng)域，在民用和軍事領(lǐng)域都有非常廣闊的應(yīng)用前景，如安全防盜、3-D重建、影視動(dòng)漫、虛擬環(huán)境導(dǎo)航、醫(yī)療儀器、機(jī)器人視覺(jué)、軍事偵察、武器制導(dǎo)等等。綜上所述，全景成像技術(shù)由于其顯著的優(yōu)勢(shì)和廣泛的應(yīng)用，具有很高的應(yīng)用價(jià)值。

全景圖像的一般生成過(guò)程主要包括以下4個(gè)方面：①獲取該圖像的序列；②選擇合適的投影模型；③對(duì)獲得的圖像進(jìn)行局部對(duì)準(zhǔn)；④進(jìn)行圖像處理合成。根據(jù)大家所熟知的成像規(guī)則大致可以分為以下兩種成像原理，第一種是基于傳統(tǒng)的中心投影法原理的全景成像，主要包括魚(yú)眼透鏡成像、旋轉(zhuǎn)拼接成像、單攝像機(jī)和多攝像機(jī)全景成像；第二種是基于較為廣泛使用的平面圓柱投影法原理的全景成像，主要包括單試點(diǎn)折反射全景成像系統(tǒng)和非單試點(diǎn)折反射全景成像系統(tǒng)[1]。

1 全景成像系統(tǒng)

1.1 魚(yú)眼透鏡成像系統(tǒng)

魚(yú)眼透鏡是一種焦距很短（f＜16mm）且具有大視場(chǎng)（半視場(chǎng)角≥90°）的超廣角物鏡，可以科學(xué)地將視場(chǎng)的成像系統(tǒng)進(jìn)行放大。從魚(yú)眼鏡頭的外形結(jié)構(gòu)上分析，是由魚(yú)眼結(jié)構(gòu)衍生過(guò)來(lái)的。實(shí)際應(yīng)用中存在兩類魚(yú)眼結(jié)構(gòu)，分別為圓形魚(yú)眼和全幅魚(yú)眼，全幅魚(yú)眼鏡頭是較為常見(jiàn)的一種，其成像的規(guī)格是較為規(guī)則的方形，而且整個(gè)成像畫(huà)面無(wú)遮角現(xiàn)象；另一種是圓形魚(yú)眼鏡頭，其視角通常能夠達(dá)到180°以上，但是其影像的成像圈是圓形的，而且畫(huà)面的四角全被遮擋住了。魚(yú)眼鏡頭不需要掃描和選裝并且以凝視的方式進(jìn)行工作，還有其具有大視場(chǎng)、體積小以及隱蔽性強(qiáng)的特點(diǎn)，都使得魚(yú)眼鏡頭能夠在市場(chǎng)上迅速占據(jù)一定的份額[2]。但是焦距小是一把雙刃劍，導(dǎo)致的結(jié)果是焦距越小物體在畫(huà)面中的比例越小，細(xì)節(jié)就越不清晰，無(wú)法滿足人們對(duì)細(xì)節(jié)質(zhì)量的要求，而且獲得的圖像存在較大的畸變，即除了圖像中心的景物保持不變外，其他水平和垂直方向上的景物則呈現(xiàn)中心輻射發(fā)散的效果，導(dǎo)致圖像失真。

1.2 旋轉(zhuǎn)拼接成像系統(tǒng)

圖像拼接指的是將多幅圖像的重疊區(qū)域進(jìn)行無(wú)縫拼接，重建成一幅視野寬闊的圖像，一般規(guī)定重疊的區(qū)域大于30%，隨著全景成像的發(fā)展使得全景圖的應(yīng)用領(lǐng)域的不斷擴(kuò)大進(jìn)一步加快了圖像拼接技術(shù)的發(fā)展。而旋轉(zhuǎn)拼接成像技術(shù)采用常規(guī)光學(xué)鏡頭，繞于光軸垂直的固定軸旋轉(zhuǎn)，或者圍繞垂直光軸的固定點(diǎn)安裝多個(gè)常規(guī)成像系統(tǒng)，將得到的序列圖像進(jìn)行拼接，得到人工制造的全景圖像，這是一種硬件和軟件相結(jié)合的方法。

一般來(lái)說(shuō)圖像拼接的過(guò)程分為以下幾個(gè)步驟：

1.2.1 幾何校正。因?yàn)樵谂臄z過(guò)程中的運(yùn)動(dòng)方式或者是鏡頭本身的成像特性導(dǎo)致拍攝出的照片發(fā)生幾何畸變，這就需要利用圖像的序列數(shù)據(jù)或者照相機(jī)的參數(shù)來(lái)進(jìn)行校正，以通過(guò)改變像與物之間一一對(duì)應(yīng)的映射關(guān)系，反應(yīng)到圖像之間像素點(diǎn)的分布。幾何變換通常包括全局變換和局部變換。常見(jiàn)的變換模型有：多項(xiàng)式變換、照相機(jī)運(yùn)動(dòng)投影模型、非線性變換、剛體變換等。

1.2.2 圖像配準(zhǔn)。用科學(xué)的方法確定順序拍攝圖像的運(yùn)動(dòng)軌跡，即利用任意順序拍攝的兩幅相鄰圖像之間疊加部分區(qū)域來(lái)提供信息，拍攝圖像的運(yùn)動(dòng)方向一般情況下為水平和垂直方向上的旋轉(zhuǎn)、平移或者二者皆有。較為普遍的圖像配準(zhǔn)方法有：模板匹配法、相對(duì)相關(guān)度法、基于幾何特征對(duì)齊和變換優(yōu)化法等。

1.2.3 圖像融合。在以上2個(gè)步驟的作用下，也可能會(huì)出現(xiàn)圖像配準(zhǔn)不連續(xù)、效果不理想、圖像留下幾何間隙等問(wèn)題。造成的原因也包括幾何校正存在誤差、場(chǎng)景變換過(guò)快、光照條件變化劇烈、照相設(shè)備硬件質(zhì)量等問(wèn)題。出現(xiàn)的這些問(wèn)題勢(shì)必對(duì)圖像質(zhì)量有影響，需要通過(guò)圖像融合來(lái)減小甚至消除這些影響。圖像融合的方法有很多：較為簡(jiǎn)單的是加權(quán)平均融合和光強(qiáng)平均，較為復(fù)雜的有高斯樣條插值法等。

1.3 折反射全景成像系統(tǒng)原理

折反射全景成像系統(tǒng)由折射元件和反射原件組成，最大可達(dá)到180°的視場(chǎng)范圍。其成像原理與魚(yú)眼鏡頭成像類似，都是通過(guò)擴(kuò)大視場(chǎng)角來(lái)實(shí)現(xiàn)全景成像，不同的是魚(yú)眼鏡頭是將視場(chǎng)角壓縮來(lái)擴(kuò)大視場(chǎng)，而折反射系統(tǒng)是通過(guò)曲面反射鏡收集和壓縮水平方向上的光線，導(dǎo)致視場(chǎng)的增大再將匯聚的光線反射到后透鏡組，這樣就實(shí)現(xiàn)了360°的全景成像。例如最簡(jiǎn)單的折反射全景成像系統(tǒng)的組成結(jié)構(gòu)是一個(gè)成像設(shè)備加一個(gè)曲面反射鏡，需要注意的是曲面反射鏡的光軸要與成像透鏡組的光軸對(duì)齊。反射鏡的結(jié)構(gòu)的合理性是折反射全景成像優(yōu)良的關(guān)鍵，可以根據(jù)系統(tǒng)的不同需求，對(duì)反射鏡做出不同的設(shè)計(jì)。折反射全景成像系統(tǒng)分為兩大類：?jiǎn)我朁c(diǎn)折反射全景成像和非單視點(diǎn)折反射全景成像。

1.3.1 單視點(diǎn)折反射全景成像。單視點(diǎn)成像，顧名思義就是光線在入射時(shí)匯集成一點(diǎn)入射，即小孔成像。以單視點(diǎn)為約束對(duì)象設(shè)計(jì)成像系統(tǒng)時(shí)，需要注意系統(tǒng)模型需要符合單視點(diǎn)的原理，一般用于獲得透視圖像。Naya r等人設(shè)計(jì)了拋物面折反射全景成像系統(tǒng)，這是業(yè)內(nèi)首次得到成像質(zhì)量?jī)?yōu)良、符合針孔模型的折反射全景成像系統(tǒng)。在2010年Nichols等人利用雙面反射鏡設(shè)計(jì)了一個(gè)折反射望遠(yuǎn)鏡系統(tǒng)。陳立棟等人依照最基本的折反射原理，在前人的基礎(chǔ)上提出了以單個(gè)相機(jī)加多塊反射鏡實(shí)現(xiàn)補(bǔ)償全向成像的方法，具體為使內(nèi)外環(huán)分辨率的不同，提升系統(tǒng)整體的分辨率。2018年曹峰梅等人設(shè)計(jì)了一個(gè)雙曲面的折反射全景成像系統(tǒng)，使用了新型BIT Retina52探測(cè)器，該探測(cè)器特別符合全景成像的基本特征，其像元成環(huán)形分布、中心旋轉(zhuǎn)對(duì)稱，將成像系統(tǒng)的空間分辨率不均勻的問(wèn)題成功解決。

1.3.2 非單視點(diǎn)折反射全景成像。單視點(diǎn)折反射全景成像的缺點(diǎn)是必須對(duì)需要采集的圖像進(jìn)行逆投影，來(lái)獲得透視全景圖像，也屬于非單視點(diǎn)成像的特殊情況。而非單視點(diǎn)成像就很好地解決了逆投影的問(wèn)題，可以直接使物點(diǎn)和像點(diǎn)呈線性關(guān)系，最終得到透視全景成像。在非單視點(diǎn)系統(tǒng)中，入射光線與其反向延長(zhǎng)線未規(guī)定要有固定的交點(diǎn)，所以這就給了在系統(tǒng)的設(shè)計(jì)和配置方面極大的自由性和靈活性。但如果要確保水平場(chǎng)景不出現(xiàn)畸變，就要使景物中物點(diǎn)的水平坐標(biāo)與相應(yīng)像點(diǎn)的坐標(biāo)呈線性關(guān)系；景物中物點(diǎn)的垂直方向坐標(biāo)與相應(yīng)像點(diǎn)的坐標(biāo)呈線性關(guān)系就能確保柱面場(chǎng)景無(wú)畸變[3]。

2 電子穩(wěn)像技術(shù)

攝像機(jī)等成像設(shè)備隨著其載體的旋轉(zhuǎn)、位移、抖動(dòng)等勢(shì)必會(huì)引起圖像的移動(dòng)、抖動(dòng)或者旋轉(zhuǎn)；假定載體與設(shè)備保持相對(duì)靜止，但由于不同的環(huán)境因素和成像設(shè)備質(zhì)量高低，得到的像也會(huì)有不同程度的抖動(dòng)或迷糊。這會(huì)對(duì)監(jiān)控?cái)z影前的觀看者造成視覺(jué)疲勞，容易對(duì)拍攝目標(biāo)造成錯(cuò)判、誤判、偏判等問(wèn)題，所以需要對(duì)圖像視頻信號(hào)作出必要的穩(wěn)像處理。

電子穩(wěn)像技術(shù)主要包括主動(dòng)穩(wěn)像、被動(dòng)穩(wěn)像和電子穩(wěn)像，也被分為機(jī)械式穩(wěn)像、光學(xué)穩(wěn)像和電子穩(wěn)像三大類。主動(dòng)穩(wěn)像指的是依靠安裝陀螺儀穩(wěn)定平臺(tái)進(jìn)一步穩(wěn)定攝像系統(tǒng)，主要原理是依靠衰減低頻率震動(dòng)；被動(dòng)穩(wěn)像是依靠減震裝置來(lái)消除載體的震動(dòng)，減少高頻率震動(dòng)對(duì)攝像機(jī)的影響；機(jī)械式穩(wěn)像是主動(dòng)穩(wěn)像和被動(dòng)穩(wěn)像的疊加；光學(xué)穩(wěn)像是在攝像設(shè)備的成像系統(tǒng)中添加一些具有穩(wěn)定、可自動(dòng)調(diào)節(jié)焦距的鏡片；電子穩(wěn)像是將計(jì)算機(jī)技術(shù)、電子信息、數(shù)字信號(hào)處理技術(shù)等新興技術(shù)結(jié)合為一體實(shí)現(xiàn)新一代的圖像序列穩(wěn)定的技術(shù)，用來(lái)優(yōu)化處理圖像。

電子穩(wěn)像的基本原理主要是：第一步根據(jù)已知圖像序列的全部信息參數(shù)進(jìn)一步對(duì)局部運(yùn)動(dòng)和整體運(yùn)動(dòng)的模擬估算；第二步由第一步得到了運(yùn)動(dòng)的模擬參數(shù)后，進(jìn)行分析評(píng)估對(duì)不合適的地方補(bǔ)償；第三步輸出穩(wěn)定的圖像序列。達(dá)到電子穩(wěn)像的基本方法有這兩種：第一種是硬件與軟件的結(jié)合，一種是直接軟件計(jì)算的方式。

這兩種方法的原理用到的穩(wěn)像算法有特征點(diǎn)匹配法、投影算法、特征量跟蹤算法和位平面匹配法。

3 圖像處理

由于在拍攝的過(guò)程中受到設(shè)備本身特性以及外界環(huán)境等影響，使成像圖片呈現(xiàn)出對(duì)比度降低、色偏、失真模糊等降質(zhì)特點(diǎn)?，F(xiàn)以圖像融合方法對(duì)受損圖像進(jìn)行處理。對(duì)圖像色彩處理需要用到白平衡算法，白平衡算法是根據(jù)朗伯特反射模型（Lambertian Reflectance Model），用還原白色物體顏色的方式，通過(guò)調(diào)整補(bǔ)償色溫差異帶來(lái)的偏色，進(jìn)行圖像的增強(qiáng)。白平衡算法對(duì)于校正圖像的色差起到很好的作用，但是傳統(tǒng)白平衡算法又易受各種條件限制，故而以白平衡算法為基礎(chǔ)又提出了多種成熟的算法，廣泛應(yīng)用于各種成像設(shè)備中，如灰度世界算法、完美反射算法等。對(duì)比度增強(qiáng)需要用到CLAHE法，CLAHE即限制對(duì)比度自適應(yīng)直方圖均衡，基于圖像的局部直方圖，將原始圖像劃分成一個(gè)個(gè)矩形范圍像素的子區(qū)域，在每個(gè)子區(qū)域內(nèi)做傳統(tǒng)的全局直方圖均衡化，且每個(gè)子區(qū)域的直方圖高度都將受到限制，由此可以限制噪聲、增強(qiáng)圖像的局部對(duì)比度并重新排布像素值。因此 CLAHE 算法在增強(qiáng)局部對(duì)比度方面更有優(yōu)勢(shì)，而且可以豐富細(xì)節(jié)圖像。圖像細(xì)節(jié)校正運(yùn)用的方法是Gamma變換，對(duì)過(guò)度曝光或者是欠曝光的灰度圖像進(jìn)行對(duì)比度調(diào)節(jié)，對(duì)于圖像較暗區(qū)域能使其灰度值提高，使用非線性變化降低圖像灰度值大的區(qū)域。所以使用Gamma校正算法在得到對(duì)比度增強(qiáng)的圖像上，對(duì)圖像的細(xì)節(jié)部分進(jìn)行修復(fù)。

4 全景成像技術(shù)未來(lái)展望

全景成像系統(tǒng)具有廣闊的應(yīng)用前景，越來(lái)越受到了國(guó)內(nèi)外的廣泛關(guān)注，其研究主要集中在基于圖像拼接和折反射的全景視覺(jué)。該文介紹了4種全景成像系統(tǒng)包括魚(yú)眼鏡頭、圖像拼接成像系統(tǒng)、折反射全景成像系統(tǒng)即單攝像機(jī)和多攝像機(jī)全景成像系統(tǒng)，再通過(guò)對(duì)拍攝過(guò)程中的穩(wěn)定性的方法作了簡(jiǎn)要介紹，最終得到的圖像經(jīng)過(guò)圖像處理得到高成像質(zhì)量圖像或視頻。全景成像技術(shù)作為光學(xué)、計(jì)算機(jī)視覺(jué)、電子信息、模式識(shí)別等的交叉學(xué)科，業(yè)內(nèi)更多的研究者正在解決攔在理論研究的成果應(yīng)用到實(shí)踐中的老虎，一些基礎(chǔ)理論問(wèn)題和關(guān)鍵技術(shù)問(wèn)題，比如實(shí)時(shí)圖像拼接、自動(dòng)圖像拼接、彩色圖像拼接、3-D立體圖像拼接、全景圖像的無(wú)損解算理論算法、全景視覺(jué)目標(biāo)探測(cè)與識(shí)別理論與方法等、大視場(chǎng)與高質(zhì)量成像無(wú)法兼容等問(wèn)題都尚未解決。全景成像系統(tǒng)會(huì)越來(lái)越受到重視，發(fā)展的越來(lái)越好，會(huì)得到更為廣泛的應(yīng)用。

5 結(jié)束語(yǔ)

如今的世界在高速發(fā)展當(dāng)中，我們?cè)鯓诱J(rèn)識(shí)這個(gè)世界就成為至關(guān)重要的事情，視覺(jué)是我們獲取信息的主要來(lái)源，而全景成像技術(shù)能夠更好地幫助我們客觀、全面、深刻和發(fā)展地看待未來(lái)世界的變化并且伴隨著技術(shù)本身的進(jìn)步和發(fā)展。這是我們值得思考的問(wèn)題。