天地一體全景影像快速獲取與應(yīng)用技術(shù)

余建軍，徐攻博，郭望成，葉嘉琦，李 杰

(1. 浙江省地理信息中心，浙江 杭州 310012； 2. 浙江省第二測繪院，浙江 杭州 310012)

?

天地一體全景影像快速獲取與應(yīng)用技術(shù)

余建軍1，徐攻博2，郭望成2，葉嘉琦2，李 杰2

(1. 浙江省地理信息中心，浙江 杭州 310012； 2. 浙江省第二測繪院，浙江 杭州 310012)

天地一體的高分辨率全景影像快速獲取與應(yīng)用技術(shù)，采用移動(dòng)采集車、船舶、定制背包等多種交通設(shè)備載體，以及普通相機(jī)、定制化全景相機(jī)和GPS、運(yùn)動(dòng)傳感器等配套設(shè)備，快速地獲取空中、地面、水面等復(fù)雜場景的高分辨率全景影像。本文利用全景拼接融合軟件、FlyPano處理軟件、Krpano發(fā)布軟件實(shí)現(xiàn)了全景影像實(shí)時(shí)處理與發(fā)布，同時(shí)結(jié)合天地圖、行業(yè)應(yīng)用系統(tǒng)接口等，提供了API接口形式與專業(yè)應(yīng)用進(jìn)行結(jié)合與集成，真正實(shí)現(xiàn)了復(fù)雜場景的全景影像標(biāo)準(zhǔn)化、規(guī)模化生產(chǎn)，以期在各行業(yè)中得到快速應(yīng)用。

天地一體；全景影像；FlyPano；無人機(jī)；Krpano

全景影像具有全視角、虛擬真實(shí)和高現(xiàn)勢性的特點(diǎn)，已經(jīng)逐漸成為一種新穎的地理信息數(shù)據(jù)，與傳統(tǒng)測繪和地理信息產(chǎn)品互為補(bǔ)充。全景影像的獲取方式多種多樣，谷歌與騰訊等互聯(lián)網(wǎng)公司采集方式較為單一、應(yīng)用主要面向公眾，而缺少與行業(yè)結(jié)合的深入應(yīng)用。全景技術(shù)在20世紀(jì)60年代就開始得到應(yīng)用，ФТ全景轉(zhuǎn)機(jī)是蘇聯(lián)自己設(shè)計(jì)和研發(fā)并大量制造推向市場的最早的全景相機(jī)[1]。目前工業(yè)化生產(chǎn)比較成熟的全景相機(jī)有l(wèi)adybug系列相機(jī)，其中高分辨率ladybug5相機(jī)分辨率為3000萬像素，全景的采集方式和新設(shè)備不斷出現(xiàn)，如德國Panono公司開發(fā)出一種拋向空中、在最高點(diǎn)拍攝全景照片的球形相機(jī)Panono的改良版，分辨率達(dá)到1億800萬像素[2]。同時(shí)全景影像開始與激光點(diǎn)云結(jié)合，實(shí)現(xiàn)了集成激光掃描儀及全景相機(jī)的多傳感器城市實(shí)景移動(dòng)測量系統(tǒng)[3]。

政府及行業(yè)的應(yīng)用有自身的特點(diǎn)和需求，對(duì)于影像的分辨率，拍攝的地物隨著全景影像應(yīng)用面越來越廣泛，采集設(shè)備需要滿足在多種環(huán)境和條件下進(jìn)行作業(yè)，如空中、路面、室內(nèi)、鄉(xiāng)村小道、河面、山上、景區(qū)等。對(duì)于相機(jī)的便攜性要求、采集效率、系統(tǒng)穩(wěn)定性、后期數(shù)據(jù)處理的快速便捷性等方面都提出了更高的要求。天地一體全景技術(shù)的研發(fā)，使全景數(shù)據(jù)更好地融入基礎(chǔ)地理信息數(shù)據(jù)主流，為傳統(tǒng)測繪提供了一種去專業(yè)化的面向公眾的表達(dá)形式。

1 全景采集技術(shù)

1.1 單站式

全景影像屬于共心圖像，多幅圖像同用一個(gè)攝影中心，拍攝時(shí)相鄰圖像保證重疊度達(dá)到30%。單站式全景采集技術(shù)是最為傳統(tǒng)的全景攝影技術(shù)，采集設(shè)備主要有單反相機(jī)、魚眼鏡頭、全景節(jié)點(diǎn)云臺(tái)、三角架及相關(guān)的配套設(shè)備。為保證后期照片拼接精度，需保證不同角度照片的拍攝必須在同一個(gè)攝影節(jié)點(diǎn)，即為鏡頭的光學(xué)中心。每個(gè)型號(hào)的鏡頭都只有一個(gè)攝影節(jié)點(diǎn)，全景節(jié)點(diǎn)云臺(tái)能精確控制相機(jī)的拍攝方向和拍攝位置，同時(shí)確保拍攝時(shí)處在同一個(gè)攝影節(jié)點(diǎn)上。利用魚眼鏡頭建立全方位視覺系統(tǒng)[4]。單站式全景采用一個(gè)單反相機(jī)和全景云臺(tái)(如圖1所示)完成采集，云臺(tái)實(shí)時(shí)地調(diào)整相機(jī)的朝向，并保證曝光時(shí)為同一光學(xué)中心；曝光參數(shù)可根據(jù)環(huán)境自行設(shè)置，雖然效率較低，但視覺效果比較好，是一種精細(xì)化的全景，適合于各種可達(dá)性場地拍攝。

圖1 全景拍攝原理與云臺(tái)實(shí)現(xiàn)共心曝光

1.2 全景相機(jī)

普通的相機(jī)在同一位置拍攝多張照片也可以合成全景，但是采集效率低，每張照片的曝光時(shí)間不一致。利用6個(gè)相機(jī)組合成一個(gè)全景相機(jī)，將全景相機(jī)、GPS設(shè)備、車輪傳感器、曝光控制器等進(jìn)行集成控制，各個(gè)裝置通過中心控制器進(jìn)行信息通信與信息采集，制作成可以快速采集影像與空間位置信息的全景采集設(shè)備，全景相機(jī)的控制系統(tǒng)如圖2所示。

圖2 定制全景相機(jī)控制系統(tǒng)

車輪傳感器主要用來將車輛與主控制器進(jìn)行連接，實(shí)現(xiàn)全景相機(jī)按照距離進(jìn)行曝光，曝光距離可以在5～20 m之間進(jìn)行調(diào)整，車輛的行駛速度保持在30 km/h。曝光距離不能太小，曝光時(shí)間間隔太小可能引起相機(jī)故障。曝光控制器控制相機(jī)的各種不同曝光方式，可依據(jù)時(shí)間、距離、手動(dòng)曝光等方式進(jìn)行曝光。定制全景相機(jī)采集影像的分辨率與飽和度較高，具備快速、大批量高分辨率全景影像數(shù)據(jù)采集能力，同時(shí)方便自動(dòng)及半動(dòng)化全景影像快速處理，后期影像經(jīng)過正畸后進(jìn)行相機(jī)位置標(biāo)定后，對(duì)各個(gè)相機(jī)照片進(jìn)行融合拼接。該全景相機(jī)及相關(guān)設(shè)備可搭載于普通車輛、船舶等多種載體(如圖3所示)進(jìn)行全景數(shù)據(jù)的采集。

圖3 全景相機(jī)搭載于三輪車、皮劃艇、汽車

1.3 無人空中全景

無人機(jī)是一種由無線電遙控或由自身程序控制的不載人飛行器，與衛(wèi)星遙感，航空航天遙感相比，無人機(jī)低空遙感系統(tǒng)靈活、機(jī)動(dòng)，能云下作業(yè)，受天氣影響小，飛行高度低，獲取的地理信息數(shù)據(jù)具有高精度、高清晰等優(yōu)點(diǎn)，因此，無人機(jī)低空遙感技術(shù)廣泛應(yīng)用于局部區(qū)域的監(jiān)測和地理信息獲取。

無人機(jī)是空中全景數(shù)據(jù)采集的主要設(shè)備，空中全景具有分辨率高、場景大，視角范圍廣，以及能更好地顯示立體三維效果的特點(diǎn)。空中全景影像數(shù)據(jù)采集主要使用無人直升機(jī)，以無人機(jī)航拍的同一視點(diǎn)的照片素材為基礎(chǔ)[5]，一張全景影像像素達(dá)到3.2億像素?？罩腥皵z影系統(tǒng)基本構(gòu)成包括旋翼無人飛行平臺(tái)、任務(wù)設(shè)備、飛行導(dǎo)航與控制系統(tǒng)、地面監(jiān)控系統(tǒng)、數(shù)據(jù)傳輸系統(tǒng)及圖像處理系統(tǒng)等?？罩腥安杉夹g(shù)除載體為無人機(jī)外，基本原理與單站式采集相同，但航拍拍攝范圍大，視覺效果比地面要好。

2 全景處理步驟與原理

天地一體的全景數(shù)據(jù)來源可分為兩種基本類型，以定制全景相機(jī)采集的標(biāo)準(zhǔn)分幅影像和以普通相機(jī)采集的非標(biāo)準(zhǔn)分幅影像，分別采用模板與自動(dòng)匹配拼接的方式生成全景圖。全景影像需要經(jīng)過預(yù)處理、拼接融合、調(diào)色、糾偏、人臉車牌隱私處理、空間坐標(biāo)處理、切片發(fā)布、系統(tǒng)集成等一系列處理步驟，主要步驟與過程如圖4所示。

2.1 全景拼接融合

目前圖像配準(zhǔn)的方式大致可以分為3大類：基于變換域的方法、基于灰度相關(guān)的方法和基于圖像特征的方法?；趫D像特征的拼接方法是目前圖像拼接最常用的方法[6]?；谔卣鞯膱D像配準(zhǔn)算法有：基于邊緣特征的配準(zhǔn)方法、基于輪廓特征的配準(zhǔn)方法、基于區(qū)域特征結(jié)構(gòu)的配準(zhǔn)方法、基于特征點(diǎn)的配準(zhǔn)方法。其中基于特征點(diǎn)的配準(zhǔn)方法與其他算法相比具有諸多優(yōu)點(diǎn)：計(jì)算量低、配準(zhǔn)精度高、噪聲的影響小等，因此成為目前圖像的配準(zhǔn)算法。

圖4 天地一體全景處理流程

對(duì)于不同類型的全景采集方式，采用不同拼接融合方式，全景相機(jī)采集圖片為標(biāo)準(zhǔn)分幅的6張照片，相機(jī)型號(hào)、魚眼鏡頭及ISO、快門、光圈等曝光參數(shù)均保持一致，影像數(shù)據(jù)量大，通過制作拼接模板的形式統(tǒng)一進(jìn)行拼接融合。通過單張影像特征點(diǎn)匹配，人工輔助添加控制點(diǎn)的形式，以制作模板，將制作的模板應(yīng)用于同一工程，現(xiàn)勢性低時(shí)認(rèn)為相機(jī)相對(duì)位置不發(fā)生變化，采集間隔較長時(shí)全景相機(jī)之間相對(duì)位置會(huì)發(fā)生形變，需要制作多套模板。使用模板方式拼接融合全景主要步驟包括載入圖像、鏡頭設(shè)置、投影模型選擇、控制點(diǎn)設(shè)置、蒙版、優(yōu)化處理、輸出圖片。在實(shí)際使用中，最為重要的幾個(gè)步驟為投影模型選擇、控制點(diǎn)設(shè)置和蒙版?？梢愿鶕?jù)圖像的實(shí)際情況添加需要的控制點(diǎn)，使圖像的拼接效果更加完美。如圖5所示。

圖像拼接是全景圖生成技術(shù)中最為重要的步驟之一。圖像拼接的流程主要分為3個(gè)階段：圖像預(yù)處理階段、特征匹配階段和圖像融合階段。圖像處理階段包括預(yù)處理和提取圖像特征兩部分。在特征匹配階段的主要工作是剔除誤匹配點(diǎn)且對(duì)提取出的特征點(diǎn)進(jìn)行匹配。圖像融合階段對(duì)圖像重疊部分進(jìn)行平滑處理，使獲得的最終圖像有更好的視覺效果。圖像配準(zhǔn)和圖像融合是圖像拼接涉及的兩個(gè)關(guān)鍵技術(shù)。精確找出相鄰兩張圖像中重疊部分的位置，確定兩張圖像的配準(zhǔn)函數(shù)映射關(guān)系是圖像配準(zhǔn)的關(guān)鍵。圖6為空中全景拼接效果。

圖5 全景控制點(diǎn)匹配與添加

圖6 空中拍攝全景拼接效果

2.2 隱私處理

全景最終發(fā)布在互聯(lián)網(wǎng)或局域網(wǎng)，人臉與車牌涉及個(gè)人隱私，需要對(duì)這些隱私信息進(jìn)行識(shí)別與處理。利用機(jī)器學(xué)習(xí)方法，從大量的訓(xùn)練樣本中自動(dòng)抽取特征，在圖像中將行人與其他運(yùn)動(dòng)目標(biāo)及干擾背景區(qū)分開來，并準(zhǔn)確定位[7]。通過模式識(shí)別機(jī)器學(xué)習(xí)算法進(jìn)行識(shí)別，然后對(duì)人臉與車牌進(jìn)行高斯模糊處理。全景圖像與普通圖片存在差異，拼接融合后全景圖片屬于圓柱投影，變形較大，球赤道位置無變形，越接近極點(diǎn)變形越大，頂部和底部的極點(diǎn)拉升成與球赤道長度相等的直線。圖形圖像學(xué)中模式識(shí)別一般針對(duì)普通圖片，設(shè)計(jì)了一種針對(duì)全景影像進(jìn)行隱私處理的方法。方法針對(duì)容易誤識(shí)的路牌、斜視角的車牌等進(jìn)行幾何變換識(shí)別，整體識(shí)別精度為80%左右。如圖7所示，基于模式識(shí)別的隱私信息處理步驟如下：

Step1:人臉車牌正、負(fù)樣本的采集；

Step2:形態(tài)學(xué)處理及仿射變換；

Step3:cnn卷積神經(jīng)網(wǎng)絡(luò)樣本機(jī)器學(xué)習(xí)；

Step4:基于紋理共生矩陣、harr特征檢測的圖像特征提?。?/p>

Step5:模式識(shí)別決策樹構(gòu)建；

Step6:人臉車牌識(shí)別與高斯模糊。

圖7 人臉車牌信息處理結(jié)果

2.3 發(fā)布集成

全景影像圓柱投影圖片作為成果，采用球形投影方式進(jìn)行發(fā)布展現(xiàn)，每一曝光位置對(duì)應(yīng)一幅全景影像，單點(diǎn)之間通過熱點(diǎn)進(jìn)行鏈接。單幅全景數(shù)據(jù)量較大，空中全景數(shù)據(jù)一般為地面全景的3～4倍，為保證全景瀏覽效率，采用二維地圖切片技術(shù)，基于四叉樹將圖片分級(jí)切片，每一級(jí)圖幅數(shù)均為上一級(jí)的4倍，原理效果如圖8所示。

圖8 基于四叉樹的圖像切片原理

測繪與地理信息數(shù)據(jù)表現(xiàn)形式具有多樣化的特點(diǎn)，傳統(tǒng)測繪與地理信息數(shù)據(jù)(如4D產(chǎn)品)表達(dá)抽象、專題信息豐富，但專業(yè)化程度高，不夠直觀。全景影像的特點(diǎn)正好與這些數(shù)據(jù)產(chǎn)品或衍生產(chǎn)品互為補(bǔ)充。全景圖切片在瀏覽器前端組合，通過Html5及Flex的富客戶端技術(shù)，瀏覽時(shí)只調(diào)用某一個(gè)級(jí)別范圍內(nèi)的切片，達(dá)到實(shí)時(shí)瀏覽的效果，以球形投影、立方體投影或小行星投影表現(xiàn)，利用krpano提供的二次開發(fā)接口，以及Web網(wǎng)頁開發(fā)技術(shù)，結(jié)合天地圖接口等，將全景與天地圖、視頻、POI等進(jìn)行集成，部署于云服務(wù)器，并提供基于全景的API開發(fā)接口，在其他系統(tǒng)中也能調(diào)用全景進(jìn)行瀏覽和功能展現(xiàn)。如圖9所示。

圖9 全景與其他信息集成展現(xiàn)

3 展 望

天地一體全景影像快速獲取與應(yīng)用技術(shù)，實(shí)現(xiàn)了多方位的高分辨率全景影像數(shù)據(jù)快速采集、處理與發(fā)布。全景影像作為一種新穎的地理信息數(shù)據(jù)形式，可以作為傳統(tǒng)地理信息數(shù)據(jù)的重要補(bǔ)充,可服務(wù)于國土、旅游、水利、交通等多個(gè)行業(yè)，在“五水共治”、浙江美麗鄉(xiāng)村建設(shè)、浙江省山塘水庫監(jiān)測、德清數(shù)字社區(qū)建設(shè)、浙東引水工程及浙江省地理國情普查等多個(gè)項(xiàng)目中得到應(yīng)用，既可以作為一種新的基礎(chǔ)地理信息數(shù)據(jù)，又可作為立面的歷史影像數(shù)據(jù)進(jìn)行留存，同時(shí)還能與業(yè)務(wù)數(shù)據(jù)進(jìn)行集成，深入開發(fā)應(yīng)用展示與管理系統(tǒng)。

[1] 田金良.前蘇聯(lián)最早3P全景相機(jī)-ФТ系列轉(zhuǎn)機(jī)[J].照相機(jī),2009(12)：87-88.

[2] 拋到空中拍照的球形全景相機(jī).傳感器世界[J].2014(1)：48-48.

[3] 宋楊.基于RIEGLVZ-400及Ladybug3全景相機(jī)的移動(dòng)激光測量系統(tǒng)的研制及應(yīng)用[J].城市勘測，2014(2)：91-95.

[4] 馮為嘉,張寶峰,曹作良. 基于魚眼鏡頭的全方位視覺參數(shù)標(biāo)定與畸變矯正[J].天津大學(xué)學(xué)報(bào)，2011,44(5)：417-424.

[5] 楊學(xué)軍,崔叢健.全景采集技術(shù)在外業(yè)調(diào)查中的應(yīng)用探討[J]. 交通科技與經(jīng)濟(jì)，2015(2)：125-128.

[6] 周智勇,丁玉蘭.基于多旋翼無人機(jī)的空中全景地圖制作研究[J]. 城市勘測，2016(2)：101-104.

[7] 張景輝,熊自明.基于無人機(jī)的空中全景監(jiān)測系統(tǒng)[J]. 中國電子商情：通信市場，2011(6)：125-129.

[8] 張敏,劉軍,羅穎. 無人機(jī)航拍合成球面全景技術(shù)研究[J].警察技術(shù)，2014(3)：63-66.

[9] 金淼,易愛華,朱家文,等.歷史保護(hù)建筑的三維全景展示研究[J].土木建筑工程信息技術(shù)，2013,5(2)：37-40.

[10] 閆利,王奕丹.車載組合全景相機(jī)單片影像匹配算法[J]. 遙感信息，2016, 31(2)：1-5.

[11] 李樂,熊志輝,王斌,等. DSP+FPGA折返射全景視頻處理系統(tǒng)中雙核高速數(shù)據(jù)通信[J].電子與信息學(xué)報(bào)，2010(3)：649-654.

[12] 李海亭,李艷紅,彭清山,等.全景地圖隱私信息處理的關(guān)鍵技術(shù)研究[J].測繪通報(bào)，2015(12)：74-76.

[13] 朱齊丹,李科,雷艷敏,等.基于全景視覺的機(jī)器人回航方法[J].機(jī)器人，2011,33(5)：606-613.

[14] 張春梅,楊志敏,張義明,等.太原市全景地圖數(shù)據(jù)采集與發(fā)布[J]. 城市勘測，2013(4)：29-32.

[15] 熊秋林,葉春,段福洲,等.基于JavaScript和Ajax技術(shù)的車載全景地圖發(fā)布[J].地理空間信息，2013, 11(5)：155-157.

Rapid Acquisition and Application of Air and Ground Panoramic Images

YU Jianjun1,XU Gongbo2,GUO Wangcheng2,YE Jiaqi2,LI Jie2

(1. Geomatics Center of Zhejiang, Hangzhou 310012, China; 2. The Second Surveying and Mapping Institute of Zhejiang Province, Hangzhou 310012, China)

The technology of rapid acquisition and application of air and ground panoramic images uses a variety of transportation equipment carriers, such as mobile collection vehicles, ships, and customized backpacks, combined with other ancillary equipment like ordinary cameras, customized panoramic cameras, GPS, and motion sensors, so that high-resolution panoramic images of air, ground, water or other complex scenes can be quickly obtained. Panoramic images can be processed and released in real time using panoramic images mosaic and fusion software, FlyPano processing software, and Krpano releasing software. This technology is also capable of integrating with professional applications in API forms combined with Map World or other application system interfaces. The standardized and large-scale production of panoramic images of complex scenes can be truly achieved using this technology, so that it has a very good application in various industries.

air and ground; panoramic image; FlyPano; UAV; Krpano

余建軍，徐攻博，郭望成，等.天地一體全景影像快速獲取與應(yīng)用技術(shù)[J].測繪通報(bào)，2017(7)：103-107.

10.13474/j.cnki.11-2246.2017.0233.

2016-12-02；

2017-03-07

余建軍(1973—)，男，碩士生，主要從事地理信息、攝影測量與遙感工作。E-mail：105586765@qq.com

P237

A

0494-0911(2017)07-0103-05