一種改進720°全景相機底部圖像拼接方法

徐一帆， 王新華， 張 廣， 王少鑫， 李明達， 穆全全， 宣 麗， 李大禹*

(1. 中國科學院 長春光學精密機械與物理研究所， 應用光學國家重點實驗室，吉林 長春 130033；2. 中國科學院大學，北京 100049； 3. 東北電力大學 計算機學院,吉林 吉林 132012；4. 吉林省農(nóng)村經(jīng)濟信息中心，吉林 長春 130033)

1 引 言

虛擬現(xiàn)實是一種能讓使用者擁有沉浸式體驗的技術。通過該技術，用戶能在虛擬的場景中有現(xiàn)實般的體驗。近年來，虛擬現(xiàn)實技術快速發(fā)展，得到了廣泛應用。在教育、宣傳展示、廣告、影視娛樂等領域，虛擬現(xiàn)實技術都得到了很好的應用[1]，展示了其優(yōu)點和巨大的應用潛力。

全景相機是實現(xiàn)虛擬現(xiàn)實的重要工具之一，是能拍攝大角度、廣視場圖像的圖像采集設備。目前，已有很多廠商推出了全景相機設備。2015年，谷歌公司推出了由16個鏡頭組成的多鏡頭拼接式全景相機GoPro Odyssey。2016年，三星公司推出了雙魚眼鏡頭式全景相機gear 360。

720°全景相機是指能夠拍攝側面360°和上下360°全視角圖像的全景相機。其有拍攝視角大的優(yōu)點。但支架等遮擋物對其底部圖像的遮擋一直是720°全景相機的一個難以解決的問題。該問題導致采集到的全景圖像有遮擋，不完整。而有些應用場景如記錄案發(fā)現(xiàn)場等對圖像完整性要求高，有些用戶希望得到更極致的宣傳效果或娛樂體驗，消除底部圖像中的遮擋，獲得完整的全景圖像對全景相機有很大的意義。

因此，本文設計一組可以分步拍攝的全景相機，拍攝側面與頂部圖像后，在原處用魚眼鏡頭分兩次拍攝底部圖像。通過該方式，可以消除底部遮擋。但是，該方法需要分步拍攝，底部相機的拍攝時間與其他相機不同，受到光照變化等因素影響，底部相機采集到的圖像與其他相機采集到的圖像之間可能會有亮度、色彩的差異。全景相機不同、相機的拍攝角度不同，相機、鏡頭本身的特性不完全一致等原因也會造成這種差異。為了得到高清全景圖像，本文采用側面多鏡頭加頂部底部魚眼鏡頭的全景相機設計。該方案全景圖像清晰度較雙魚眼式全景相機更高，但會增大側面圖像與魚眼圖像的亮度、色彩差異。圖像之間的亮度、色彩的差異在合成全景圖像后會在全景圖像的拼接縫兩側出現(xiàn)明顯的亮度和色彩差異，會使拼接縫更加明顯，嚴重影響圖像美觀和視覺體驗。因此，對底部圖像進行勻色處理對提升全景圖像的圖像效果很有意義。

目前國內(nèi)外關于勻色算法的研究有很多。圖像的勻色算法主要包括Mask勻色算法、插值勻色法、Retinex算法、同態(tài)濾波勻色算法、Wallis勻色算法和直方圖匹配算法等[2-3]。2006年，李德仁等用Wallis變換對不同遙感影像進行勻色[4]，通過調(diào)整待處理圖像的均值和標準差，使之與參考圖像相應，提升了影像一致性。2016年，呂楠等針對全景圖像拼接過程中多幅圖像之間的亮度和色彩差異問題，提出了一種多相機圖像拼接勻色算法[5]。該算法基于顏色空間轉(zhuǎn)換，將RGB空間的圖像轉(zhuǎn)換到YCbCr空間，再通過顏色調(diào)節(jié)因子進行調(diào)節(jié)，優(yōu)化了全景圖像的顏色一致性。2019年，李爍等提出了基于圖像自適應分塊的勻色算法[6]。該算法通過分塊計算參數(shù)和插值，避免了圖像勻色過程中出現(xiàn)的塊效應，提升了遙感影像的勻色效果。由于全景相機拍攝的景物有不同的區(qū)域，不同區(qū)域的反射光不同，在圖像中的色彩有較大差異。在對全景圖像進行勻色的過程中，基于全局的勻色算法會導致不同區(qū)域的圖像互相影響，造成勻色結果的偏差，不能達到理想的勻色效果。

針對上述問題，本文提出了一種基于分步拍攝的消除底部遮擋方法，通過側面和頂部一次拍攝和底部兩次拍攝消除底部遮擋，并提出了一種基于圖像分割的Wallis勻色算法調(diào)整全景圖像底部的亮度、色彩差異。經(jīng)實驗驗證，基于分步拍攝的消除底部遮擋方法效果良好，能夠較好地提升全景圖像的完整性和美觀度；基于圖像分割的Wallis勻色算法能夠較好地提升全景圖像亮度、色彩的一致性。

2 消除全景圖像底部遮擋

2.1 全景相機結構

本文的全景相機主要分為3部分。如圖1所示，第一部分為側方及頂部成像部分，由10個朝向側方的相機、朝向頂部的魚眼相機和支架組成；如圖2所示，第二部分為底部成像部分，由朝向底部的魚眼相機和支架組成；第三部分為數(shù)據(jù)處理部分，由數(shù)據(jù)傳輸線、磁盤陣列、計算機組成，能夠傳輸、存儲和處理圖像。

圖1 全景相機側面及頂部成像部分Fig.1 Side and top imaging part of the panoramic camera

圖2 全景相機底部成像部分Fig.2 Bottom imaging part of the panoramic camera

為拍攝出完整的720°全景圖像，使用該全景相機采集圖像的過程包括以下步驟：先使用側方及頂部成像部分進行一次拍攝，得到側面及頂部的圖像；再撤走側方及頂部成像部分，在原處擺放底部成像部分，進行一次拍攝；最后移動底部成像部分，使魚眼鏡頭位置不變，支架在與之前位置相反的另一側，再進行一次拍攝。通過這種方式，采集到10張側面圖像，1張頂部魚眼圖像和2張底部魚眼圖像，可以用采集到的兩張底部圖像消除底部遮擋，獲得完整的全景圖像。

2.2 全景圖像拼接算法

為合成完整的全景圖像，全景圖像合成的過程包括：將10張側面圖像拼接成側面全景圖像；利用兩張底部圖像拼接出完整的底部圖像；將底部圖像、頂部圖像與側面全景圖像拼接，生成720°全景圖像。本文所用的圖像拼接算法包括基于特征點的圖像匹配、光流法、圖像融合等步驟。

2.2.1 圖像匹配

為實現(xiàn)圖像的匹配，首先提取待拼接圖像的特征點[7-10]，再建立變換矩陣，用隨機樣本一致(RANSAC)算法剔除誤匹配點[11]，計算出最佳變換矩陣，最后將圖像變形后匹配。圖3為圖像匹配實例圖。

圖3 圖像匹配實例圖Fig.3 Image matching example diagram

2.2.2 光流法

光流法[12-13]是一種計算圖像之間像素運動的算法。像素從一張圖像上的位置到下一張圖像上位置的向量被稱為光流。圖像區(qū)域內(nèi)所有像素的光流稱為光流場。使用該方法須滿足亮度恒定、空間一致、像素位移較小等條件。用基于特征點的圖像匹配方法進行匹配后，再用光流法進行拼接，可以生成雙目全景圖像，還可以使圖像拼接更自然流暢。

采用基于圖像塊匹配的光流計算方法。對于在一張圖像上像素點，選取以它為中心的圖像塊，在另一張圖像尋找相匹配的圖像塊。定義一個損失函數(shù)以估計兩個圖像塊之間的匹配程度，以損失最小的圖像塊作為相匹配的圖形塊。以相匹配圖像塊之間的位移作為該點的光流矢量。由此得到光流場。為增加光流計算過程的穩(wěn)定性，通常使用多尺寸金字塔結構。對原圖多次下采樣，得到尺寸更小的圖像，在原圖中較大的位移在多尺寸金字塔的上層變?yōu)樾∥灰?。在上一層算得光流后，乘以系?shù)，在下一層調(diào)整，獲得精確的光流量。

生成全景圖像，需要得到每個視角下的圖像。但是只拍攝了10個真實視角的圖像，因此，須在每個角度插值出一個該視角的像素列。計算從左右兩個不同視角拍攝圖像的重合區(qū)域的光流場。通過該光流場對每個視角插值?？梢曄袼剡\動與視角變化為線性關系，對視角β插值所用光流可用公式(1)計算：

(1)

其中:y′表示對視角β插值所用光流，y表示覆蓋視角β的兩張相鄰圖像間的光流，α0表示上一個真實視角，α1表示下一個真實視角。為達到雙目視覺效果，在生成左眼全景圖像和右眼全景圖像時，分別增加一個向左的偏移量和一個向右的偏移量。用該光流對光流起始圖像變形即可得到視角β下的插值像素列。

2.2.3 圖像融合

圖像融合是實現(xiàn)拼接圖像過渡更流暢的圖像處理方法。常見的圖像融合算法有平均融合、加權平均融合、漸入漸出融合等[14]。加權平均融合即在重疊區(qū)域，以兩張圖像像素灰度值的加權平均值作為拼接后圖像的像素灰度值[15]。如公式(2)所示：

(2)

式中:f′(x,y)表示圖像融合的目標灰度值，f1(x,y)、f2(x,y)分別表示兩張圖像的灰度值，g1、g2分別表示兩張圖像的非重疊區(qū)域，g′表示待融合區(qū)域，α為權重系數(shù)。其當α=0.5時即為平均融合。漸入漸出融合即融合權重隨坐標改變的融合方式，假設重疊區(qū)域坐標為從x1到x2，則有：

(3)

本文采用漸入漸出融合方式進行圖像融合。

2.2.4 底部圖像拼接

采集圖像后，得到了兩張帶有遮擋的全景圖像，遮擋區(qū)域分別在圖像的不同側，如圖4所示。

對兩張圖像進行圖像匹配。利用合適的掩膜刪去其中一張圖像的遮擋區(qū)域，拼接上另一張圖像的該區(qū)域,可以得到?jīng)]有遮擋的底部圖像，如圖5所示。

圖4 底部圖像Fig.4 Bottom image

圖5 消除遮擋后的底部圖像Fig.5 Bottom image after removing the occlusion

3 勻色算法

3.1 Wallis勻色算法

Wallis勻色法是一種相鄰圖像勻色方法，通過將待處理圖像的灰度值均值和標準差向參考圖像調(diào)整，實現(xiàn)拼接圖像色彩均勻，過渡流暢，如公式(4)所示：

(4)

式中:g(x,y)表示待處理圖像的像素灰度值；f(x,y)表示處理后的像素灰度值；mg表示待處理圖像的灰度值均值；mf表示參考圖像的灰度值均值；sg表示待處理圖像的灰度值標準差；sf表示參考圖像的灰度值標準差；b表示亮度系數(shù)，b∈[0,1]；c表示方差拓展系數(shù)，c∈[0,1]。b取值從0到1表示將待處理圖像灰度值均值向參考圖像調(diào)整的程度；c取值1時表示將待處理圖像方差向參考圖像調(diào)整，取值越小，處理后圖像標準差越小。圖像勻色時一般希望將待處理圖像參數(shù)完全調(diào)整至與參考圖像相符。b、c取值為1時最接近實現(xiàn)這一目的。因此，通常情況下，b和c的值取1，則式(4)變?yōu)椋?/p>

(5)

3.2 區(qū)域生長法

圖像分割是一種將圖像按照特征分割成不同區(qū)域的過程。本文采用區(qū)域生長法[16]進行圖像分割。區(qū)域生長法是一種根據(jù)鄰域相似程度進行分割的圖像分割方法，能夠分割出圖像中具有相同或相似特征的區(qū)域。在圖像特征沒有已知規(guī)律可以參考的情況下，其較其他方法經(jīng)常有更優(yōu)的效果。

區(qū)域生長算法的基本思想是從種子點開始，通過生長準則評判種子點和鄰域中的點是否性質(zhì)相近來擴大區(qū)域[17]。如圖6所示，區(qū)域生長法的一般步驟為：第一步選定種子點，令種子點屬于集合P；第二步判斷種子點鄰域中的點是否符合生長規(guī)則，令符合的點為新種子點，并納入集合P，再根據(jù)生長規(guī)則對新種子點鄰域中不屬于集合P的點進行判定；重復步驟二直至生長停止，集合P即為分割出的一片圖像區(qū)域。

圖6 區(qū)域生長法示意圖Fig.6 Schematic diagram of regional growth method

3.3 基于圖像分割的勻色

基于全局的勻色算法會導致圖像中差異較大的區(qū)域互相影響，造成勻色結果出現(xiàn)偏差。本文針對這一問題提出了一種基于圖像分割的勻色算法。將圖像分割成不同的區(qū)域，分別進行勻色。

用區(qū)域生長法對待處理圖像和參考圖像進行圖像分割。為減少高頻信息造成的分割結果的空洞，圖像分割時先對圖像進行中值濾波以使圖像平滑。將分割結果作為模板，用Wallis勻色算法在LAB顏色空間對兩張圖像中的相應區(qū)域進行勻色。

4 實驗結果分析

本文對基于分步拍攝的消除720°全景相機底部圖像遮擋的方法進行了實驗。實驗用相機為PointGrey工業(yè)相機，相機視場角為96°，圖像分辨率為2 048×2 048。圖7為待拼接圖像。圖8為沒有消除底部圖像遮擋的全景圖像。可以看出，底部圖像有較大的區(qū)域被遮擋，嚴重影響了圖像的完整性和美觀。圖9為使用本文基于分步拍攝消除底部遮擋方法得到的全景圖像。可以看出，圖像中沒有了底部被遮擋區(qū)域，圖像完整性和美觀程度有較大提升。

圖7 待拼接圖像Fig.7 Image to be stitched

圖8 未消除遮擋的全景圖像Fig.8 Panoramic image without occlusion removed

圖9 消除遮擋的全景圖像Fig.9 Panoramic image with occlusion removed

本文對基于圖像分割的勻色算法進行了實驗驗證。實驗所用的計算機處理器為inter(R) Core(TM) i5-7300HQ，操作系統(tǒng)為Windows10，開發(fā)環(huán)境為Python3.7，使用了開源庫Opencv3.4。圖10是未勻色的圖像，圖11是使用基于全局的Wallis勻色方法得到的結果，圖12是使用本文勻色方法得到的結果。可以看出，未經(jīng)勻色處理的全景圖像，其圖像底部與其他區(qū)域有明顯的亮度、色彩差異。本文的勻色算法對提高全景圖像底部與其他區(qū)域的一致性有效，效果較基于全局的勻色算法有所提升。

圖10 未勻色的全景圖像Fig.10 Unprocessed panoramic image

圖11 基于全局的勻色結果Fig.11 Results based on the global approach

圖12 本文算法的勻色結果Fig.12 Results of the algorithm in this article

在底部圖像和側面圖像的重疊區(qū)域隨機選取若干組相應的圖像塊，尺寸為100×100像素。用相應圖像塊的灰度值差異評價勻色效果，如公式(6)、(7)所示：

(6)

Δmi=|m1i-m2i|，

(7)

式中:m1和m2分別表示兩個相應圖像塊的均值;i表示通道;Δmi表示該通道的灰度均值差;Δm為Δmi的均方根，用來評價勻色效果。選取10組圖像塊，計算其均值，結果如表1所示。

表1 勻色效果定量評價Tab.1 Quantitative effect evaluation

使用本文方法勻色的圖像較未勻色圖像差異減小74.5%，較使用全局勻色方法勻色的圖像差異減小59.3%。

5 結 論

本文針對720°全景相機底部圖像存在遮擋的問題。提出了一種通過底部相機分步拍攝消除遮擋的方法。并針對底部相機分步拍攝可能造成的圖像亮度、色彩不一致的問題，提出了一種基于圖像分割的Wallis勻色算法。定量分析結果表明，使用本文算法勻色，圖像顏色差異較使用基于全局算法減小59.3%。實驗證明，本文提出的分步拍攝消除全景圖像底部遮擋的方法效果良好，能夠較好地提升全景圖像的完整性和美觀度；提出的基于圖像分割的Wallis勻色算法能夠較好地提升全景圖像亮度、色彩的一致性。