一種基于SSEQ算法的低空無人機(jī)影像快速成圖方法

王 瑾,陳曉軒,徐家利,王德娟,袁歡歡

(1.長安大學(xué)地質(zhì)工程與測繪學(xué)院,陜西 西安 710054; 2.陜西省交通規(guī)劃設(shè)計(jì)研究院,陜西 西安 710065)

0 引 言

在傳感器技術(shù)高速發(fā)展的信息化測繪時(shí)代，利用無人機(jī)(Unmanned Aerial Vehicle, UAV)低空遙感平臺(tái)快速地獲取地表數(shù)據(jù)成為研究的熱點(diǎn)[1]。然而利用無人機(jī)測量技術(shù)在外業(yè)獲取數(shù)據(jù)過程中由于無人機(jī)飛行高度較低、影像像幅較小和相機(jī)數(shù)量較多會(huì)導(dǎo)致測區(qū)內(nèi)的航片數(shù)量劇增，降低了成圖速度。另外，無人機(jī)易受外界環(huán)境如大風(fēng)、天氣等影響導(dǎo)致部分影像重影、模糊[2]等問題，對(duì)影像的拼接質(zhì)量產(chǎn)生影響。因此，一種通用且高效的成圖方法成為制約低空無人機(jī)數(shù)據(jù)生產(chǎn)的關(guān)鍵步驟之一。

隨著計(jì)算機(jī)技術(shù)的發(fā)展以及數(shù)碼相機(jī)、智能手機(jī)的普及，人們對(duì)于相片的質(zhì)量評(píng)價(jià)進(jìn)行了深入研究[3]。圖像質(zhì)量評(píng)價(jià)[4]的方法按照是否有人工參與分為主觀質(zhì)量評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)[5]2大類。由于主觀質(zhì)量評(píng)價(jià)存在不確定性、評(píng)估成本較大等影響因素，因此，客觀質(zhì)量評(píng)價(jià)越來越成為研究的熱點(diǎn)。例如均方誤差(Mean Squared Error, MSE)和峰值信噪比(Peak Signal Noise Ratio, PSNR[6])等都是比較傳統(tǒng)簡單的客觀圖像質(zhì)量評(píng)價(jià)方法。而無參考圖像質(zhì)量評(píng)價(jià)方法[7-8]是一種沒有原始圖像作為參考底圖的客觀評(píng)估方法，其算法較為復(fù)雜但無需太多的人工干預(yù)，能針對(duì)不同失真類型和不同失真等級(jí)的圖像進(jìn)行真實(shí)有效的客觀評(píng)估，具有很好的應(yīng)用前景。李從利等人[9]引入并改進(jìn)了基于自然場景統(tǒng)計(jì)的距離度量評(píng)價(jià)模型，提出了多失真混雜的無人機(jī)圖像質(zhì)量盲評(píng)價(jià)方法；郭昌等人[10]針對(duì)無人機(jī)影像在獲取過程中因外界條件影響導(dǎo)致的失真問題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的無參考航拍圖像質(zhì)量評(píng)價(jià)方法。

本文針對(duì)影像冗余和部分影像質(zhì)量不佳問題，采用基于空間熵和頻譜熵的無參考圖像質(zhì)量評(píng)價(jià)算法(dubbed Spatial-Spectral Entropy-based Quality，SSEQ)[11]對(duì)低空無人機(jī)獲取的影像進(jìn)行質(zhì)量評(píng)估，篩選出質(zhì)量較高的影像完成拼接實(shí)驗(yàn)。

1 SSEQ算法

自然攝影圖像具有高度結(jié)構(gòu)化的特征[12]，其像素在空間和頻率上表現(xiàn)出很強(qiáng)的依賴性，而這些依賴性反映出視覺場景的重要信息。實(shí)驗(yàn)研究發(fā)現(xiàn)圖像熵與人的主觀感知的圖像質(zhì)量有著密切的聯(lián)系[13]，圖像熵特征不僅可以捕捉圖像局部結(jié)構(gòu)的程度，并且熵程度可以表示像素之間的依賴程度。Sheikh等人[13-14]將圖像熵用于FR-IQA(Full Reference Image Quality Assessment)，并取得了良好的效果；Hu等人[15]基于熵和對(duì)比度的乘積構(gòu)造出NR-IQA(No-Reference Image Quality Assessment)函數(shù)；Cui[16]基于頻譜熵和空間域中的加權(quán)局部二元模式提出了一種雙域特征融合的無參考圖像質(zhì)量評(píng)估DFF-IQA(Dual-domain Feature Fusion Image Quality Assessment)模型;許瑩瑩等人[17]通過對(duì)視頻質(zhì)量感知特征的分析提出了一種空間熵和頻譜熵聯(lián)合特征挖掘點(diǎn)的無參考視頻質(zhì)量評(píng)價(jià)方法; Lin等人[18]針對(duì)評(píng)估3D網(wǎng)格的視覺質(zhì)量設(shè)計(jì)了一種基于圖譜熵和空間特征的盲網(wǎng)格質(zhì)量評(píng)估方法。SSEQ算法則是將空間熵和頻譜熵作為特征值，使用2級(jí)框架的方式首先將圖像進(jìn)行失真分類，然后根據(jù)失真類型預(yù)測圖像質(zhì)量。

1)降采樣。

為實(shí)現(xiàn)多尺度分析，使用雙三次插值對(duì)可能失真的圖像進(jìn)行下采樣，實(shí)驗(yàn)發(fā)現(xiàn)增加或減少采樣頻率對(duì)模型性能改變不大，因此以采樣率1/4、1/8、1/16將可能失真的圖像分為高、中、低3個(gè)頻率段，每個(gè)頻率段上各有一個(gè)均值和偏移量，因此共有6個(gè)特征值，即3個(gè)均值和3個(gè)偏移量。

2)分塊處理。

在每個(gè)頻率段上對(duì)圖像進(jìn)行分塊，稱為局部圖像塊，在每個(gè)塊上計(jì)算空間熵和頻譜熵。實(shí)驗(yàn)發(fā)現(xiàn)算法性能對(duì)局部塊的大小不敏感，因此將每個(gè)頻率段上的圖像劃分為8×8塊。

3)計(jì)算空間熵和頻譜熵。

在使用熵作為特征值時(shí)，需要先將圖像轉(zhuǎn)化為灰度圖像，得到其空間分布，統(tǒng)計(jì)每個(gè)灰度級(jí)像素的點(diǎn)數(shù)，計(jì)算出像素點(diǎn)的概率，然后計(jì)算圖像的空間熵，空間熵的公式為:

Es=-∑xp(x)log2p(x)

(1)

其中,x表示塊的像素值，而p(x)表示x的經(jīng)驗(yàn)概率分布，即像素值為x的像素在所有像素中的占比。

而要想得到頻譜熵值，需要先將圖像進(jìn)行二維離散正余弦變換，得到圖像DCT系數(shù)，然后計(jì)算其經(jīng)驗(yàn)概率分布，其公式為：

(2)

其中，C(i,j)定義為像素點(diǎn)灰度值與其鄰域灰度均值組成的特征二元組，其中1≤i≤8, 1≤j≤8，且i,j≠1，即DCT系數(shù)是可收斂的。然后得到頻譜熵的計(jì)算公式如下：

Ef=-∑i∑jP(i,j)log2P(i,j)

(3)

4)圖像質(zhì)量預(yù)測。

分別計(jì)算空間熵和頻譜熵的均值及偏度作為模型的訓(xùn)練數(shù)據(jù)，對(duì)其進(jìn)行歸一化和參數(shù)尋優(yōu)，形成特征矩陣，歸一化是為了加快計(jì)算速度和防止特征值過大或過小影響訓(xùn)練結(jié)果，然后對(duì)特征矩陣采用SVM[19-20](Support Vector Machine)進(jìn)行訓(xùn)練和預(yù)測，得到圖像特征和主觀評(píng)價(jià)得分之間的映射關(guān)系[21]，最后利用SVR[22-23](Support Vector Regression)進(jìn)行回歸，評(píng)價(jià)輸入圖像的得分。質(zhì)量評(píng)估得分區(qū)間為0～100，分值越高圖像質(zhì)量越差。

算法描述如下：

輸入：無人機(jī)影像序列

輸出：影像質(zhì)量預(yù)測得分

1：for i=1:image_number

2:將輸入圖像轉(zhuǎn)化為灰度圖像

3:for i=1:scale

4：對(duì)每幅圖像進(jìn)行分塊

5：使用公式(1)提取局部空間熵sei

6：將空間熵值按升序排列 S=(se1,se2,…,sem)

7：提取S中20%～80%的數(shù)據(jù)產(chǎn)生新的有序集 Sc=(se0.2m,se0.2m+1,…,se0.8m)

8：計(jì)算均值mean(Sc)和偏度skew(S)

9：使用公式(2)和公式(3)提取局部頻譜熵fei

10：將頻譜熵值按升序排列 F=(fe1,fe2,…,fem)

11：提取F中20%～80%的數(shù)據(jù)產(chǎn)生新的有序集 Fc=(fe0.2m,fe0.2m+1,…,fe0.8m)

12：計(jì)算均值mean(Fc)和偏度skew(F)

13：構(gòu)成特征向量f=(mean(Sc),skew(S),mean(Fc),skew(F))

14：降采樣后重復(fù)步驟4～步驟13

15：end

16：對(duì)f進(jìn)行縮放，使其歸一化到[-1,1]

17：讀入模型

18：使用svmmodel對(duì)f進(jìn)行訓(xùn)練測試

19：使用svrmodel對(duì)f進(jìn)行回歸預(yù)測

20: 計(jì)算圖像質(zhì)量分?jǐn)?shù)

21：end

該算法在LIVE[24]圖像測試數(shù)據(jù)庫中有很好的性能，且與人的主觀感受有很好的一致性，是一種較為高效通用的無參考圖像評(píng)估算法。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)采用M600Pro無人機(jī)對(duì)渭南市某地區(qū)進(jìn)行拍攝，共獲影像458張，無人機(jī)及航攝相關(guān)信息如表1所示。

表1 無人機(jī)航攝參數(shù)相關(guān)信息

2.2 影像篩選

采用SSEQ算法在MATLAB平臺(tái)上對(duì)實(shí)驗(yàn)區(qū)影像進(jìn)行質(zhì)量評(píng)估，原始影像的質(zhì)量評(píng)分如圖1所示，并求其影像平均得分。

圖1 影像質(zhì)量得分

在保證重疊度的情況下，根據(jù)評(píng)分結(jié)果在固定冗余間隔內(nèi)抽取相對(duì)質(zhì)量較好的影像，如圖2所示，圖中灰色方塊為得分較低，被保留的質(zhì)量較高的影像，黑色方塊為得分較高，被篩選出的質(zhì)量較差的影像，共篩選出324張影像完成拼接實(shí)驗(yàn)。影像篩選的具體步驟如下：

1)以每條航線的第二張像片為起點(diǎn)，連續(xù)5幅影像為一單元，篩選出一張?jiān)u分最高的影像。

2)以剔除影像之后的連續(xù)5幅影像作為一單元，繼續(xù)篩選，直至該航線上的所有影像篩選完，最后不足5幅的不做篩選處理。

3)若單元內(nèi)的連續(xù)5張影像得分值均小于平均值，則對(duì)此單元影像不做篩選處理。

圖2 影像篩選示例

2.3 影像拼接

影像拼接實(shí)驗(yàn)為排除不同配置的計(jì)算機(jī)對(duì)實(shí)驗(yàn)結(jié)果的影響，選擇在同一臺(tái)計(jì)算機(jī)上使用Pix4Dmapper完成拼接實(shí)驗(yàn)，依據(jù)是否經(jīng)過影像篩選和有無控制點(diǎn)將分別進(jìn)行4次實(shí)驗(yàn)，實(shí)驗(yàn)1僅利用無人機(jī)拍攝的全部原始影像且不添加地面控制點(diǎn)數(shù)據(jù)進(jìn)行影像拼接生成正射影像圖和數(shù)字表面模型；實(shí)驗(yàn)2將通過SSEQ圖像質(zhì)量評(píng)價(jià)算法篩選留下的高質(zhì)量影像進(jìn)行拼接實(shí)驗(yàn)生成正射影像圖和數(shù)字表面模型，同樣不添加控制點(diǎn)數(shù)據(jù)；實(shí)驗(yàn)3和實(shí)驗(yàn)4則是在實(shí)驗(yàn)1、實(shí)驗(yàn)2的基礎(chǔ)上分別添加地面控制點(diǎn)數(shù)據(jù)進(jìn)行地理糾正生成正射影像圖。將4次實(shí)驗(yàn)得到的正射影像圖及地面控制點(diǎn)坐標(biāo)進(jìn)行檢驗(yàn)和對(duì)比分析。

圖3是將影像數(shù)據(jù)和控制點(diǎn)數(shù)據(jù)導(dǎo)入軟件后的地理視圖，圓圈為無人機(jī)影像位置，十字架表示地面像控點(diǎn)位置。

(a)原始影像

2.4 結(jié)果分析

通過4種不同的拼接實(shí)驗(yàn)，主要從影像的精度、清晰度和拼接效率進(jìn)行對(duì)比分析。

1)控制點(diǎn)精度分析。

影像的精度分析是通過提取圖上控制點(diǎn)坐標(biāo)并與RTK實(shí)測坐標(biāo)進(jìn)行對(duì)比。首先直接在Pix4Dmapper上提取所有控制點(diǎn)的高程坐標(biāo)，然后將正射影像導(dǎo)入ArcGIS中，提取出所有控制點(diǎn)的平面坐標(biāo)。為避免人工提取的誤差，進(jìn)行3次采取求平均值作為控制點(diǎn)的最終圖上坐標(biāo)。對(duì)生成的4種正射影像的控制點(diǎn)坐標(biāo)進(jìn)行提取，并計(jì)算與野外實(shí)測坐標(biāo)的差值ΔΧ、ΔY以及ΔΖ。

由表2和圖4可知，在未添加地面控制點(diǎn)數(shù)據(jù)的情況下，經(jīng)SSEQ算法篩選后的影像生成的正射影像圖與完整原始影像生成的正射影像圖相比，定位精度接近但誤差較大，主要原因在于無人機(jī)本身攜帶的POS數(shù)據(jù)精度較低，在不采用地面數(shù)據(jù)進(jìn)行糾正的情況下直接利用其進(jìn)行影像定位，精度會(huì)受到很大影響。

表2 未添加GCP正射影像圖上點(diǎn)誤差統(tǒng)計(jì)

(a)X方向中誤差

由表3和圖5可知，在添加地面控制點(diǎn)數(shù)據(jù)后，經(jīng)影像篩選后生成的正射影像與完整原始影像生成的正射影像圖定位精度相近。

表3 已添加GCP正射影像圖上點(diǎn)誤差統(tǒng)計(jì)

(a)X方向中誤差

2)正射影像圖對(duì)比。

由原始影像和篩選后的影像分別生成的正射影像如圖6所示，對(duì)比圖6(a)和圖6(b)可以看出，2幅圖在邊角處都存在拉花、錯(cuò)位等現(xiàn)象，且由篩選后的影像拼接生成的正射圖較多，其主要原因在于篩選后影像數(shù)量減少，但圖上中心部分與由原始影像拼接生成的正射影像圖無異，因此經(jīng)裁剪修正后對(duì)后續(xù)數(shù)據(jù)處理影響不大。

(a)原始影像拼接生成

3)拼接效率分析。

驗(yàn)證不同的實(shí)驗(yàn)方案拼接出正射影像的時(shí)效性，選擇在同一臺(tái)計(jì)算機(jī)上完成拼接實(shí)驗(yàn)，并記錄影像數(shù)量和拼接耗時(shí)，如表4所示。

表4 4種拼接類型的影像降冗量和拼接耗時(shí)

由表4可知，基于SSEQ算法篩選的影像數(shù)量比原始影像減少了134張，冗余量降低了29.26%，拼接用時(shí)有所降低，其中未添加控制點(diǎn)數(shù)據(jù)拼接效率提高21.88%；添加控制點(diǎn)數(shù)據(jù)后，拼接效率提升39.27%。

3 結(jié)束語

本文針對(duì)低空無人機(jī)影像快速成圖的方法進(jìn)行了研究，提出了基于SSEQ圖像質(zhì)量評(píng)價(jià)算法降低成圖影像冗余度的方法，實(shí)驗(yàn)選取低空無人機(jī)影像進(jìn)行驗(yàn)證，結(jié)果表明：

1)本文方法具有較高的可靠性。與原始拼接方案定位精度相近。

2)本文方法效率適當(dāng)，未添加控制點(diǎn)的影像拼接方案相比原始拼接方案效率提升21.88%，添加控制點(diǎn)后的影像拼接方案效率提升39.27%。

本文研究仍存在不足之處，如對(duì)影像抽取間隔的取值來自于多次實(shí)驗(yàn)所得、難以顧及影像質(zhì)量普遍較高或較差的情況等問題，這些問題都有待于進(jìn)一步研究。