勻化處理的無人機影像實景三維模型增強方法*

王云川，段平，李佳，王明果，姚永祥

(1.云南師范大學 旅游與地理科學學院，云南 昆明 650500;2.云南省高校資源與環(huán)境遙感重點實驗室，云南 昆明 650500;3.云南省地理空間信息工程技術(shù)研究中心，云南 昆明 650500;4.云南省地質(zhì)科學研究所，云南 昆明 650501)

1 引 言

近年來，隨著多旋翼無人機的興起，利用無人機影像進行三維建模越來越廣泛地應用于水利建設[1]、消防救援[2]及智慧城市[3-5]等領(lǐng)域.多旋翼無人機具有成本低、可操作性高以及獲取的影像空間分辨率高等優(yōu)點，通過云臺相機與航線的配合，實現(xiàn)傾斜攝影測量的任務.同時，目前已有許多技術(shù)成熟的三維建模軟件，如Context capture、Pix4d以及Agisoft Metashape等，可將正射影像與傾斜影像聯(lián)合平差生成點云以及實景三維模型.然而，受鏡頭性能的限制以及拍攝環(huán)境的影響，無人機在同一區(qū)域內(nèi)采集的影像在色調(diào)方面存在一定差異，若不經(jīng)過處理而直接進行三維重建，必然會對實景三維模型的質(zhì)量造成影響，甚至導致建模失敗,因此對色差過大的影像進行色調(diào)勻化就非常必要.

常用的經(jīng)典勻色算法有Mask勻光法、Wallis勻光法以及直方圖均衡化(HE，Histogram Equalization)等.Mask勻光算法又稱模糊正像勻光法，它將光照不均勻的影像看作是由理想狀態(tài)下光照分布均勻的影像和背景影像構(gòu)成，因此可通過從原始影像中減去模擬出來的背景影像，從而消除影像的色調(diào)不均勻現(xiàn)象[6].Mask勻光算法適應性強，應用較廣泛，但存在偏色、光暈效應以及運算效率低等不足.Wallis算法是將影像的灰度均值及方差映射到相應定值，并且使不同影像區(qū)域的灰度方差和灰度均值都近似相等，使影像反差小的區(qū)域反差增大，使反差大的區(qū)域反差減小，從而使得整幅影像的亮度方差達到一致[7]，然而Wallis算法在處理單幅影像色調(diào)不均勻現(xiàn)象時，效果往往并不明顯，并且容易產(chǎn)生“塊效應”.直方圖均衡化則是一種適應性及效果都較好的圖像增強方法，其本質(zhì)是通過一種變換函數(shù)，使原始圖像以目標直方圖進行變換，通過改變映射函數(shù)來控制變換結(jié)果的精度和效果，對對比度低的圖像有較好的處理效果[8].直方圖均衡化雖然使圖像色階分布更加均勻，但實際上很難達到格式所允許的最大灰度變化范圍，因此對圖像進行直方圖均衡化后，使用灰度拉伸使圖像的色階進一步擴展至整個灰度級.灰度拉伸又稱為對比度拉伸，是一種簡單的線性點運算，灰度拉伸可以更加精確地控制直方圖的變化范圍，可以有選擇地拉伸灰度區(qū)間以改善圖像.因此對整體色調(diào)較暗及色階局部分布不規(guī)則不均勻的無人機影像，使用直方圖均衡化及灰度拉伸方法能將原影像灰度拉伸到整個灰度級并且均勻分布，從而提高圖像整體對比度[9].

本文探討了基于直方圖均衡化的無人機影像色調(diào)勻化處理與三維建模方法.以云南師范大學某不規(guī)則建筑物為測區(qū)，利用無人機設備采集該建筑的正射以及傾斜影像，對該組影像進行色調(diào)勻化處理，以勻色前及勻色后的影像為基礎，分別構(gòu)建實景三維模型，并對其三維模型質(zhì)量進行對比分析.

2 無人機影像三維建模方法

無人機影像實景三維建模一般過程包括數(shù)據(jù)采集及預處理、空中三角測量、密集匹配、數(shù)字表面模型(digital surface model，DSM)構(gòu)建以及紋理映射等，其中空中三角測量作為三維模型構(gòu)建的關(guān)鍵步驟，往往會因為影像色調(diào)過暗或色調(diào)差異過大而失敗，導致特征點的識別以及點云的構(gòu)建效果較差，因此對影像進行色調(diào)勻化處理極為重要.結(jié)合三維建模流程，將其劃分為三個環(huán)節(jié)，即：數(shù)據(jù)采集及勻化處理、三維建模及質(zhì)量對比分析，總體流程如圖1所示.數(shù)據(jù)采集及勻化處理環(huán)節(jié)：通過無人機實拍獲取影像，以直方圖均衡化及灰度拉伸的方法對影像進行色調(diào)勻化處理；三維建模環(huán)節(jié)：借助POS數(shù)據(jù)進行空中三角測量，獲取影像的地面點坐標，生成稀疏點云，隨后進行密集匹配，構(gòu)建DSM模型，最后映射紋理生成實景三維模型；質(zhì)量對比分析環(huán)節(jié)：對生成的兩組實景三維模型從模型完整性以及幾何紋理細節(jié)兩個方面進行對比分析.

圖1 勻化處理的無人機影像三維建?？傮w流程

2.1 數(shù)據(jù)獲取

選擇云南師范大學武之樓為采集實驗區(qū)，該建筑結(jié)構(gòu)規(guī)整，四周植被茂盛.以大疆“DJI Phantom 4 Pro”無人機為數(shù)據(jù)采集設備，設置曝光間隔為2 s，相對航高為60 m，航向重疊度和旁向重疊度均設定為80%，影像分辨率為2 cm，獲取影像418張，共耗時15 min.拍攝期間天氣晴朗，光照較強，采集影像色調(diào)差異明顯.

2.2 影像色調(diào)勻化關(guān)鍵技術(shù)

影像拍攝時由于光線太強，使圖像對比度減弱，細節(jié)分辨不清，這樣的圖像直方圖灰度往往集中在某一色階范圍之內(nèi),此時需要將這些灰度拉伸到整個灰度級上，并使它們在直方圖中均勻分布，以達到色調(diào)勻化的目的.直方圖均衡化是灰度變換的一個重要應用，是一種簡單有效的圖像增強方法，因其運算簡單且能夠有效地提高圖像的整體對比度而被廣泛應用.

2.2.1 直方圖均衡化

直方圖均衡化的中心思想就是把原始圖像的灰度直方圖從某個比較集中的區(qū)間變換成在更大區(qū)間內(nèi)均勻分布的形式，以達到增強圖像整體對比度的效果.變換公式如下：

s=T(r)

(1)

式中：s為經(jīng)直方圖均衡化后的圖像灰度級，r為原圖像的灰度級，T(r)為變換函數(shù).

直方圖均衡化就是根據(jù)直方圖對原像素點經(jīng)變換函數(shù)T(r)產(chǎn)生一個新的像素點，其中變換函數(shù)T(r)應滿足以下兩個條件：

(1)在0≤r≤1時，T(r)為單調(diào)遞增函數(shù)；

(2)在0≤r≤1時，0≤T(r)≤1.

條件(1)保證均衡化后圖像的灰度級依然保持從黑到白的排列次序，條件(2)保證均衡化后圖像的灰度級在允許的范圍內(nèi)[10].綜合以上兩個條件，因為累積分布函數(shù)(CDF，Cumulative Distribution Function)是單調(diào)增函數(shù)，并且值域在0-1，因此直方圖均衡化中采用累積分布函數(shù)作為變換函數(shù)，即：

(2)

式中：sk為均衡化后的像素灰度級，rk為原元素灰度級，nj表示當前灰度級的像素數(shù)量，N表示圖像像素總數(shù).

直方圖均衡化一般首先統(tǒng)計原圖像的灰度直方圖，并計算出像素數(shù)量、灰度分布頻率和灰度累積分布頻率等參數(shù)；然后根據(jù)變換函數(shù)(2)計算灰度映射表；最后根據(jù)映射表通過映射關(guān)系生成具有新灰度的圖像.

2.2.2 灰度拉伸

經(jīng)過直方圖均衡化之后，圖像的灰度級的分布范圍雖然更大更均勻，但可能依然沒有填充至整個區(qū)間，因此通過灰度拉伸使其充滿整個灰度級范圍，以達到對比度大幅增強的目的.灰度拉伸公式如下：

(3)

式中：ck為拉伸后的像素灰度級，sk為拉伸前的像素灰度級，smax和smin分別為拉伸前圖像的最大灰度值和最小灰度值，cmax和cmin分別為要拉伸到的灰度空間的最大灰度值和最小灰度值.

灰度拉伸一般首先統(tǒng)計圖像的灰度直方圖，并確定拉伸前的灰度值以及想要拉伸到的灰度空間的最大和最小灰度值等參數(shù)；然后根據(jù)拉伸公式(3)計算灰度映射表；最后根據(jù)映射表通過映射關(guān)系生成具有新灰度的圖像.

2.2.3 實驗結(jié)果

從圖2勻色前后直方圖的對比中可以發(fā)現(xiàn)，勻色之前影像的直方圖中，灰度值在前半部分(具體灰度值范圍為6-30以及73-115處)有兩個小高峰，尤其是前一個的高峰峰值較高，在0-128范圍內(nèi)的灰度值的百分位達到了70%，而在129-255范圍內(nèi)的灰度值百分位僅有30%，這使得影像整體上偏暗；勻色處理后影像的直方圖變得較為平緩，影像的灰度值被均勻地分為3份，每一份所占百分比都近似33%，在0-33灰度范圍內(nèi)仍有部分峰值較高的灰度值，說明影像有些部分仍然較暗，但整體上已有較好地改觀.

圖2 影像勻色前(左)及勻色后(右)直方圖對比

從圖3影像本身的對比中可以看到，勻色后影像整體色調(diào)偏亮.在細節(jié)處，仔細觀察影像的左上角，如圖4所示，路旁有一條白色的砌磚，在原圖上由于樹影的遮擋幾乎不可見，而勻色后該砌磚清晰可見；在影像的右側(cè)，如圖5所示，建筑物的右側(cè)植被被建筑物的影子所遮擋，在原圖上幾乎是整片漆黑，看不到任何可用信息，經(jīng)勻色處理后，雖然整體色調(diào)較暗，但已經(jīng)可以識別出一定的植被信息.

圖3 影像勻色前(左)及勻色后(右)對比

圖4 影像細節(jié)處勻色前(左)及勻色后(右)對比

圖5 影像細節(jié)處勻色前(左)及勻色后(右)對比

2.3 實景三維建模方法

空中三角測量是無人機實景三維建模的關(guān)鍵步驟，將攝影瞬間POS系統(tǒng)記錄的值作為影像的初始外方位元素，并結(jié)合少量的實測控制點，采用光束法進行區(qū)域網(wǎng)整體平差解算，實現(xiàn)多視角聯(lián)合空中三角測量，并將通過影像匹配得到的連接點及部分地面控制點納入已知控制點的大地坐標系中，來獲得每張影像的外方位元素和加密點的大地坐標，以此生成稀疏點云.然后，對每個立體像對進行密集匹配，從而形成密集點云.通過點云生成不規(guī)則三角網(wǎng)(Triangulated Irregular Network ，TIN)構(gòu)建數(shù)字表面模型(Digital Surface Model，DSM).最后，對三維模型和紋理影像配準，建立空間地物點到各影像的投影關(guān)系，篩選出效果最優(yōu)的目標影像，將其反投影到模型的三角面片上，實現(xiàn)三維模型的紋理貼合，最終形成實景三維模型[11].

使用Context Capture軟件重建該建筑的三維模型，依據(jù)上述三維模型重建方法，由航攝影像生成點云，之后生成點云的TIN來構(gòu)建DSM，最后進行紋理映射，最終生成實景三維模型.

3 三維模型重建質(zhì)量對比分析

在模型中選取具有代表性的建筑紋理區(qū)域，主要通過模型的完整性和幾何紋理細節(jié)來對比勻色前后影像的建模效果.從圖6建筑物正立面的對比中發(fā)現(xiàn)，由于拍攝時陽光從東北面照射且強度較大，使屋頂和正立面的色差較大，這一點在未經(jīng)勻色處理的三維模型中表現(xiàn)得比較明顯，整個正立面幾乎被黑影籠罩，紋理細節(jié)難以分辨.反觀經(jīng)勻色處理后的三維模型，整體色調(diào)顯得更為均勻，屋頂和正立面之間的過渡平緩舒適，整體性較強，紋理更加清晰.

圖6 三維模型勻色前(左)及勻色后(右)對比

圖7為建筑物的俯視圖，由于建筑物較為高大，導致建筑物中部區(qū)域都被墻體的影子遮擋，在未經(jīng)勻色處理的建筑物三維模型中(圖7左)，不僅存在色調(diào)太暗而難以分辨紋理細節(jié)的區(qū)域，還存在較多的空洞，這是因為原始影像過暗，三維重建時難以識別同名點以及點云的構(gòu)建所致.

圖7 三維模型勻色前(左)及勻色后(右)對比

放大對比圖7中的區(qū)域1及區(qū)域2，得圖8及圖9.從區(qū)域1的對比中發(fā)現(xiàn)，在未經(jīng)勻色處理的建筑物三維模型中(圖8左)，中間部分基本都是黑色，建筑物紋理細節(jié)無法辨認，并且有少量空洞存在.而經(jīng)過勻色處理的三維模型中(圖8右)，未存在建筑物缺失的情況，其中地上的植被、石板以及藍色的臺子都清晰可見，因此區(qū)域1中經(jīng)勻色處理過的建筑物三維模型從紋理細節(jié)以及模型完整性方面都優(yōu)于未經(jīng)勻色處理的三維模型；從區(qū)域2的對比中可以看出，由于色調(diào)太暗，若不經(jīng)勻色處理(圖9左)，建筑物立面的整個墻體以及地面完全呈大片空洞狀態(tài)，極大地破壞了建筑物的完整性.經(jīng)勻色處理后(圖9右)，建筑物墻體不僅沒有空洞，其紋理細節(jié)也不存在丟失問題，因為植被的匹配難度本身就較大且色調(diào)過暗，在地面處依然存在一部分區(qū)域無法構(gòu)建出完整的模型，但是模型的整體性以及細節(jié)的表現(xiàn)能力已經(jīng)遠遠優(yōu)于原三維模型.

圖8 三維模型勻色前(左)及勻色后(右)對比

圖9 三維模型勻色前(左)及勻色后(右)對比

4 結(jié) 語

針對無人機影像在曝光、飽和度以及色調(diào)等方面存在的問題，對無人機影像進行色調(diào)勻化處理，并以云南師范大學(呈貢校區(qū))為研究區(qū)，分別對未經(jīng)色調(diào)勻化處理及經(jīng)色調(diào)勻化處理后的無人機影像進行三維建模實驗并作對比分析，結(jié)果表明：由于曝光過強而使原始影像色調(diào)差異較大時，對其直接進行三維模型構(gòu)建，其實景三維模型色調(diào)差異大，亮暗處的過渡生硬，紋理細節(jié)難以分辨并且存在較大的空洞，完整性較差；對影像進行色調(diào)勻化處理使其色階均勻分布，勻化處理后的建筑物三維模型色調(diào)均勻，紋理細節(jié)顯著且模型完整性較高.