無(wú)人機(jī)航拍合成球面全景圖技術(shù)研究

張敏 劉軍 羅穎 湖北省武漢市公安局

無(wú)人機(jī)航拍合成球面全景圖技術(shù)研究

張敏 劉軍 羅穎 湖北省武漢市公安局

從刑偵現(xiàn)場(chǎng)勘查的實(shí)際需求出發(fā)，利用無(wú)人機(jī)航拍照片為素材，制作球面全景圖并將其應(yīng)用于刑事偵查、現(xiàn)場(chǎng)勘查，也可用于突發(fā)事件、安保任務(wù)、布控堵截、大型活動(dòng)等。著重闡述了球面全景圖的原理、拼接合成方法，結(jié)合實(shí)例對(duì)全景圖合成的步驟和實(shí)際工作中遇到的問(wèn)題做了分析。

無(wú)人機(jī)航拍 球面全景圖 拼接合成方法

一、引言

在刑事現(xiàn)場(chǎng)的現(xiàn)場(chǎng)方位照、現(xiàn)場(chǎng)概貌等拍攝中，近年來(lái)也出現(xiàn)了全景圖形式[1]。這種全景圖多采用如下方法拍攝：在現(xiàn)場(chǎng)拍攝中心架設(shè)三腳架，通過(guò)云臺(tái)固定相機(jī)，逐角度地（如每次旋轉(zhuǎn)60°）轉(zhuǎn)動(dòng)云臺(tái)，以相同的參數(shù)來(lái)拍攝照片，得到一組照片，再后期處理成柱面全景圖。

實(shí)際工作中，此類(lèi)全景圖只能環(huán)顧四周，只可從地面的視角反映拍攝點(diǎn)周邊較小區(qū)域的局部情況，在需要針對(duì)案、事件現(xiàn)場(chǎng)周邊地形地貌進(jìn)行整體把握時(shí)，遠(yuǎn)不能滿足實(shí)際需求。案、事件等現(xiàn)場(chǎng)有時(shí)會(huì)位于復(fù)雜的城中村區(qū)域或城郊遠(yuǎn)城區(qū)的村民還建房小區(qū)，拆遷、私搭、私建等情況普遍，無(wú)論是紙質(zhì)還是電子的地圖資料都不能真實(shí)地反映案發(fā)現(xiàn)場(chǎng)地形地貌情況。此類(lèi)現(xiàn)場(chǎng)在工作中并不鮮見(jiàn)。

鑒于此，本文利用“警用空中全景現(xiàn)場(chǎng)偵查系統(tǒng)”、以無(wú)人機(jī)航拍的同一視點(diǎn)的照片素材為基礎(chǔ)，采用球面模型合成全景圖。這種全景圖可以實(shí)現(xiàn)360°旋轉(zhuǎn)，以空中俯視的視角來(lái)觀察案、事件現(xiàn)場(chǎng)，且支持縮放。目前，該技術(shù)已研發(fā)成功并在有關(guān)地區(qū)案、事件現(xiàn)場(chǎng)發(fā)揮了重要作用。

二、球面全景圖的基本原理

所謂全景圖，就是將數(shù)張平面圖投影到一個(gè)以視點(diǎn)為中心的參考面上，若參考面為圓柱面則為柱面全景圖，參考面為球面（具有經(jīng)緯度）則稱(chēng)為球面全景圖。柱面投影全景在垂直視域上有很大限制，而球面投影全景是描述一個(gè)場(chǎng)景的最佳選擇，球面投影的特點(diǎn)是：所有的水平、垂直線投影到球面上時(shí)都會(huì)彎曲（0°經(jīng)、緯線除處），其合成全景圖的水平視角可達(dá) 360°，垂直視角可達(dá) 180°，通常適用于廣角鏡頭的大視角全景觀察[2]。基于這些特點(diǎn)和實(shí)戰(zhàn)需求，本文采用球面全景圖合成技術(shù)，所使用的照片素材也正是由“警用空中全景現(xiàn)場(chǎng)偵查系統(tǒng)”利用廣角鏡頭航拍的。

（一）平面全景圖的生成

將廣角鏡頭拍攝的圖像以球面坐標(biāo)系進(jìn)行數(shù)字描述后，拼接一組圖像中兩兩相鄰且有重疊區(qū)域的圖像，每?jī)蓮埾噜張D像拼接一次，最終拼接成完整的360°平面全景圖。本文采用不變尺度特征變換（scale invariant feature transform, SIFT ）特征點(diǎn)算法進(jìn)行圖像特征提取和匹配拼接。

1. 圖像特征提取

首先采用SIFT特征點(diǎn)法對(duì)圖像進(jìn)行特征描述，該方法不受圖像旋轉(zhuǎn)變換、縮放變換、色差、噪聲的影響；然后通過(guò)特征點(diǎn)匹配建立兩幅圖像之間的對(duì)應(yīng)關(guān)系，匹配方法采用包含特征點(diǎn)描述子的二叉樹(shù)搜索算法。[3]

2. 圖像拼接：偏移、融合

匹配點(diǎn)配準(zhǔn)后通過(guò)扭曲圖像使圖像對(duì)齊，然后進(jìn)行圖像偏移和融合以達(dá)到拼接的目的。

通過(guò)對(duì)反映相鄰圖像間對(duì)應(yīng)點(diǎn)亮度差平方和的函數(shù)求偏導(dǎo)并進(jìn)行迭代求解，以實(shí)現(xiàn)對(duì)圖像的偏移拼合。

拍攝時(shí)鏡頭曝光時(shí)間、視角的不同兩幅圖像的亮度、色調(diào)等差異，拼合時(shí)需各取一定寬度區(qū)域的圖像進(jìn)行融合，采用漸入漸出的方法，實(shí)現(xiàn)拼接部分平穩(wěn)、圓滑過(guò)渡。

（二）球面全景瀏覽將平面全景圖投影到球面視平面

拼接處理后生成的長(zhǎng)軸型圖片文件，稱(chēng)為平面全景圖。最后一個(gè)步驟是要將此圖進(jìn)行反變換，投影到視平面上進(jìn)行瀏覽，成為一個(gè)可360°隨意瀏覽的真正的全景圖文件。這個(gè)過(guò)程會(huì)發(fā)生變形，因此，變換計(jì)算中采用了插值計(jì)算，使得變換后的圖像平滑、細(xì)膩。

（三）小結(jié)

球面全景圖的合成包括如下幾個(gè)步驟：①圖像特征點(diǎn)提取；②圖像對(duì)齊；③圖像偏移；④圖像融合；⑤平面全景圖后期渲染；⑥球面全景瀏覽。整個(gè)流程如圖1所示。

三、球面全景圖合成試驗(yàn)

（一）試驗(yàn)材料

我們利用“警用空中全景現(xiàn)場(chǎng)偵查系統(tǒng)”對(duì)某大樓周邊進(jìn)行了航拍，素材如圖2所示，共9幅圖像。這些航拍圖像是該系統(tǒng)搭載廣角鏡頭（GoPro專(zhuān)業(yè)航拍相機(jī)，1100萬(wàn)像素）在空中某一視點(diǎn)固定后旋轉(zhuǎn)360°，每轉(zhuǎn)一定角度便航拍一次所得，拍攝參數(shù)、尺寸、大小是一致的。

（二）試驗(yàn)方法

1. 圖像裁切與優(yōu)化

首先對(duì)圖像素材進(jìn)行裁切，將照片邊緣變形較大的部分去掉。接著進(jìn)行優(yōu)化鏡頭俯角、消除鏡頭畸變、調(diào)整水平位移、垂直位移等操作，以保證控制點(diǎn)提取的質(zhì)量。

2. 控制點(diǎn)提取、校驗(yàn)、調(diào)整

對(duì)兩幅需要拼接的圖像提取控制點(diǎn)，結(jié)果如圖3所示。

兩幅圖像共建立了14對(duì)控制點(diǎn)，左側(cè)圖像中的每一個(gè)控制點(diǎn)，在右側(cè)圖像中都能找到與之對(duì)應(yīng)的，如表1所示。

?

控制點(diǎn)的質(zhì)量和精度關(guān)系到下一步圖像對(duì)齊的質(zhì)量，進(jìn)而影響最終全景圖成圖效果，實(shí)際工作中采用軟件自動(dòng)提取并輔以人工糾偏，可以保證控制點(diǎn)質(zhì)量的精細(xì)、精準(zhǔn)。

3. 對(duì)齊、拼接、融合圖像

最終生成的圖片如圖4所示，可以看到，平面全景圖已經(jīng)初步成型。

4. 后期修飾、渲染、標(biāo)注

實(shí)際應(yīng)用中，天空部分并不是案、事件現(xiàn)場(chǎng)所關(guān)注的內(nèi)容，所以“警用空中全景現(xiàn)場(chǎng)偵查系統(tǒng)”作業(yè)時(shí)，鏡頭都是以俯視角度拍攝。在后期修飾工作中，首先需將天空補(bǔ)充完整然后再酌情對(duì)圖片進(jìn)行調(diào)整，修飾工作完成后的效果如圖5所示，之后可根據(jù)需要標(biāo)注中心現(xiàn)場(chǎng)、方位、重要地標(biāo)、道路等信息。

5. 生成全景圖瀏覽文件

最后基于平面全景圖生成全景圖瀏覽文件，用戶通過(guò)自由旋轉(zhuǎn)、縮放全景圖可得到如同處在航拍視點(diǎn)處觀看現(xiàn)場(chǎng)的實(shí)景感受，如圖6所示。

（三）試驗(yàn)結(jié)論

球面全景圖的兩極會(huì)發(fā)生極化現(xiàn)象，試驗(yàn)結(jié)果表明，本文的算法能成功拼合球底，還原俯視圖的真實(shí)感。采用該技術(shù)得到的全景圖更利于清楚直觀地了解熟悉案、事件現(xiàn)場(chǎng)周邊的地形地貌、道路交通等空間地理數(shù)據(jù)。這也是其相對(duì)于采用地面三腳架拍攝制作地面全景圖的優(yōu)勢(shì)之一。

四、實(shí)例運(yùn)用

基于“警用空中全景現(xiàn)場(chǎng)偵查系統(tǒng)”航拍圖像制作的球面全景圖已在本市重大案、事件的偵破中發(fā)揮了重要作用。

（一）刑事案件偵查環(huán)節(jié)的應(yīng)用

采用該技術(shù)制作的全景圖可以讓參案人員在行動(dòng)前充分了解案、事件中心現(xiàn)場(chǎng)附近環(huán)境、地形地貌、交通狀況，指導(dǎo)其堵截、抓捕等行動(dòng)。

案例：2013年4月，武漢市經(jīng)偵支隊(duì)偵查發(fā)現(xiàn)一犯罪團(tuán)伙在洪山、江夏、蔡甸、東湖風(fēng)景區(qū)一帶非法設(shè)立多處屠宰點(diǎn)，無(wú)證屠宰生豬，并向生豬注射違禁藥品、灌水后銷(xiāo)售。

此案涉及的屠宰窩點(diǎn)大都在交通不便的城中村落或者遠(yuǎn)城區(qū)的湖邊小灣里，專(zhuān)案組決定采用空中視頻偵查手段，通過(guò)全景圖的形式來(lái)熟悉掌握周邊環(huán)境。

在其中某個(gè)窩點(diǎn)航拍的9幅照片，如圖7所示。

將照片進(jìn)行編號(hào)，然后進(jìn)行裁剪、優(yōu)化并提取控制點(diǎn)。一共要提取0-1，1-2，2-3，3-4，4-5，5-6，6-7，7-8，8-0共9組兩兩對(duì)應(yīng)照片的控制點(diǎn)。在執(zhí)行拼接、融合過(guò)程后的平面全景圖效果如圖8所示。

可見(jiàn)，平面全景圖對(duì)比上述實(shí)驗(yàn)階段的例子，其底部出現(xiàn)了空洞的情況，若缺失的較少，可用圖像修飾軟件來(lái)修補(bǔ)。將其生成全景圖瀏覽文件后采用俯視視角觀察，可以看到空洞缺失現(xiàn)象，如圖9所示。

通過(guò)此俯視視角可以看到，投影球底部的缺失只是一些不影響整個(gè)場(chǎng)景的樹(shù)木，可通過(guò)修補(bǔ)工作將平面全景圖的下部補(bǔ)齊后再生成全景瀏覽文件，如圖10所示。

最終結(jié)合實(shí)戰(zhàn)需求在全景圖上配以標(biāo)注，能更方便實(shí)戰(zhàn)應(yīng)用，一般的標(biāo)注內(nèi)容包括：中心現(xiàn)場(chǎng)、方位、重要地標(biāo)、道路等。本案中，全景圖提供了湖邊的涉案窩點(diǎn)與周邊村落的道路連接關(guān)系，生動(dòng)直觀地反映了窩點(diǎn)附近環(huán)境、交通情況，為現(xiàn)場(chǎng)抓捕計(jì)劃的制定起到了重要的輔助作用。

（二）實(shí)際應(yīng)用中遇到的問(wèn)題小結(jié)

該項(xiàng)技術(shù)在實(shí)際應(yīng)用中遇到的一些問(wèn)題如下：

1. 全景圖制作時(shí)的底部黑洞問(wèn)題，需視其嚴(yán)重程度決定處理方式。非關(guān)鍵位置的小缺失可通過(guò)修飾手段完善；缺失部分很多或者關(guān)鍵位置缺失的情況應(yīng)更換航拍素材重新制作，更為嚴(yán)重的情況需要在調(diào)整“警用空中全景現(xiàn)場(chǎng)偵查系統(tǒng)”的鏡頭俯角后再次航拍。

2. 全景圖的標(biāo)注應(yīng)根據(jù)實(shí)際任務(wù)和具體現(xiàn)場(chǎng)的需要來(lái)標(biāo)注，在將各現(xiàn)場(chǎng)要素說(shuō)明清楚的情況下力求簡(jiǎn)潔、干凈，過(guò)多的文字標(biāo)注信息會(huì)影響全景瀏覽效果。

五、結(jié)束語(yǔ)

（一）該技術(shù)在公安應(yīng)用上的前景展望

該技術(shù)目前已在刑事偵查及現(xiàn)場(chǎng)勘查中投入實(shí)戰(zhàn)應(yīng)用，隨著應(yīng)用的不斷深入與技術(shù)的不斷發(fā)展，還將在公安工作各業(yè)務(wù)環(huán)節(jié)發(fā)揮作用，并向其他領(lǐng)域延伸。目前可應(yīng)用的公安業(yè)務(wù)有：

1. 維穩(wěn)、處置突發(fā)事件、救災(zāi)等。針對(duì)人群聚集、移動(dòng)，可通過(guò)全景圖規(guī)劃人群移動(dòng)路線、調(diào)度警力、設(shè)置警戒線等。2013年12月6日，武漢市公安局在武漢展覽館廣場(chǎng)舉行了反恐拉練，拉練前通過(guò)該技術(shù)航拍現(xiàn)場(chǎng)制作全景圖后，在全景圖上繪制了拉練方案部署示意圖，如圖11所示。

通過(guò)這種呈現(xiàn)形式充分展示了拉練各參戰(zhàn)單位的任務(wù)、位置分配、行進(jìn)路線等信息，拉練指揮部的方案部署得到了很好的展示，更利于各參展單位開(kāi)展工作。

2. 安全保衛(wèi)。全景圖有助于活動(dòng)舉辦方、安保部門(mén)全面掌握情況，正確分析保衛(wèi)復(fù)雜程度，完善安保方案。

3. 治安管理?？刹扇∪皥D方式固定轄區(qū)全貌，明確重點(diǎn)場(chǎng)所、控制區(qū)域，構(gòu)成立體化治安管理體系中的一個(gè)重要環(huán)節(jié)。

4. 交通規(guī)劃管理。各復(fù)雜路口、立交、輕軌地鐵換乘站等交通樞紐處的全景圖可作為交通規(guī)劃和管理的基礎(chǔ)空間地理數(shù)據(jù)等。

（二）技術(shù)本身系統(tǒng)進(jìn)一步完善的空間

在系統(tǒng)完善上，結(jié)合公安實(shí)戰(zhàn)，還有如下思考：①與PIGS深度結(jié)合，將本系統(tǒng)制作的空間全景圖結(jié)合到PGIS中，可與平面圖交互，達(dá)到部分程度的虛擬現(xiàn)實(shí)效果；②將全景圖與3G無(wú)線傳輸技術(shù)進(jìn)行結(jié)合；③將全景圖與地面勘察照片資料結(jié)合，把地面勘察照片嵌入到全景圖中進(jìn)行交互，可達(dá)到更完整的呈現(xiàn)效果。

[1] 莊華. 用PTGui軟件拼接現(xiàn)場(chǎng)全景圖警察技術(shù),2010(11).

[2] 崔漢國(guó),王大宇,陳軍.球面全景空間縫合及漫游算法研究.海軍工程大學(xué)學(xué)報(bào),2008(02).

[3] 李艷麗,向輝.穩(wěn)健的球面全景圖全自動(dòng)生成算法. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2007(11).