面向DSP的無人機航拍圖像清晰化系統(tǒng)的設(shè)計與實現(xiàn)

宮玲瑞,姜 博,王金帥,孟 娜,汪 霖,張嘉洋,陳曉璇

(西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院, 陜西 西安 710127)

近年來,隨著無人機技術(shù)的不斷發(fā)展,以無人機為飛行載體的航空攝影在遙感觀測領(lǐng)域的占比也在不斷地提高,具有靈活度高、數(shù)據(jù)采集時效性強、成本低等諸多優(yōu)勢。

在具體成像過程中,成像視場角與成像焦距有著直接的關(guān)系,即焦距愈長,視場角愈小,相機成像的范圍愈小，故無人機航拍由于成像焦距長而視場角十分有限。所以，無人機攝影通常依靠在曝光時間內(nèi)的飛行運動來增大成像視場,但同時也帶來了運動像移問題。此外,由于航拍成像的路徑較長,常常導(dǎo)致空氣粒子對光線的衰減較大,相當于地面攝像時有霧的情況,即使在良好天氣條件下得到的無人機航拍圖像也存在霧化現(xiàn)象。因此,無人機航拍清晰化一般涉及圖像去模糊和去霧兩個突出問題。

隨著各類圖像去模糊和去霧技術(shù)的不斷提升,其清晰化恢復(fù)達到了較好效果,但與此同時,大多數(shù)算法均在性能優(yōu)越的PC機上實現(xiàn)。相比于PC機,嵌入式設(shè)備具有專用性強、使用周期長、操作便捷等諸多優(yōu)勢,研究適用于嵌入式設(shè)備的圖像清晰化系統(tǒng),具有十分重要的工程應(yīng)用意義。本文設(shè)計以圖像清晰化為目標,以嵌入式設(shè)備為計算平臺的無人機航拍數(shù)據(jù)處理系統(tǒng)。

常用的圖像去模糊處理方法是在建立圖像退化模型的基礎(chǔ)上,被劃分為模糊核估計及非盲去模糊兩個階段[1]。直線運動的模糊核估計主要圍繞求取圖像模糊角度和模糊長度這兩個未知量展開,多使用Radon變化[2-5]、主條紋分析[6]、對數(shù)譜估計[7]、Boottom-hat頻譜分析[8]、圖像正則項[9]等方法,近年來,熱門的稀疏表示、深度學(xué)習(xí)算法[2,10-13]也被應(yīng)用到直線運動模糊核估計之中。無人機航拍成像過程中因位置及姿勢的不斷變化而造成明顯的圖像運動模糊,通過建模推演,一般情況下可視為和航拍相機位置、姿勢相映射的圖像直線運動模糊。在獲取無人機航拍相機成像時間內(nèi)飛行參數(shù)的條件下,可通過分析相機位置與圖像成像位置之間的對應(yīng)關(guān)系,估算求解模糊核估計所需的模糊核參數(shù),即模糊長度l和模糊角度θ。針對上述無人機成像特點,本文首先對其飛行模式進行理論分析,估算航拍運動模糊核的像移長度和像移角度,再采用具有快速數(shù)字信號處理能力的嵌入式DSP平臺,搭建相應(yīng)的無人機航拍圖像清晰化系統(tǒng)。

1 圖像清晰化算法概述

1.1 航拍圖像運動模糊參數(shù)計算

以航拍相機鏡頭中心為原點,平行于鏡頭平面水平方向為x軸,平行于鏡頭平面豎直方向為y軸,垂直于鏡頭平面向外為z軸,建立航拍相機的鏡頭坐標系。以相機成像像面的中心為原點,以像面水平方向和豎直方向分別為x軸、y軸,建立航拍相機的像面坐標系。無人機航拍成像過程中,目標與航拍相機鏡頭的相對位置和目標在像面上的成像位置之間存在幾何關(guān)系[9],本節(jié)分析了相機鏡頭位置變化時,地面航拍目標在鏡頭坐標系與像面坐標系中位置變化的對應(yīng)關(guān)系,得到鏡頭位置變動對應(yīng)的航拍目標像面的像移量。

設(shè)定航拍目標在相機鏡頭坐標系中的坐標為(Lx,Ly,Lz),在成像平面坐標系中的坐標為(Ix,Iy)。并設(shè)定在航拍相機成像過程中,目標在鏡頭坐標系中的移動量為(ΔLx,ΔLy,ΔLz),在像面坐標系中的像移量為(ΔIx,ΔIy),通過式(1)可計算航拍成像中相機位置變化對應(yīng)的目標在像面的像移量[14]。

(1)

(2)

其中,h和f分別為航拍相機的初始高度和焦距,且h?f,以滿足航拍相機運動對應(yīng)到像面上像移為平移變換，這在一般應(yīng)用中容易滿足。

上述航拍目標在相機像面坐標系中的像移量是以長度作為度量,而估計求解無人機航拍圖像模糊參數(shù)時,需要獲取像素級像移量,本文在研究相機成像參數(shù)構(gòu)成的基礎(chǔ)上,完成航拍目標長度像移量到像素級像移量的換算,進而得到圖像的模糊核參數(shù):像移長度和像移角度。

通常航拍相機的參數(shù)指標與普通相機基本相同,常見指標包括最大長度分辨率、最大寬度分辨率、像面長寬比和傳感器尺寸等,故這些參數(shù)指標在實際中為已知量。設(shè)航拍相機傳感器尺寸為ICS,像面長寬比為IPH:IPW,最大長度和寬度分辨率為RH和RW,λ為相機參數(shù),取值16 mm,航拍圖像的模糊長度L和模糊角度θ可分別通過式(3)和式(4)得到。

(3)

(4)

1.2 航拍圖像非盲去模糊及去霧方法

1.1節(jié)求取了航拍直線運動的模糊核參數(shù),此時，圖像清晰化問題就變換成模糊核已知的非盲去模糊問腿。傳統(tǒng)非盲去模糊方法一致基于圖像退化模型,依賴圖像先驗并使用能量泛函,通過逆卷積求解原始清晰圖像的最優(yōu)估計值[15]。本文旨在構(gòu)建面向嵌入式DSP的無人機航拍圖像清晰化系統(tǒng),因此選取求解過程簡單、運算速度較快的維納濾波逆卷積算法。將模糊圖像與卷積模糊核后原始清晰圖像的估計值作差，維納濾波逆卷積算法通過最小化該差值的均方值，求解使得均方誤差最小的最優(yōu)估計值,其數(shù)學(xué)表達式為[16]

(5)

其中：L(u,v)代表模糊圖像；P(u,v)代表原始清晰圖像的估計值,E|·|2代表求取均方誤差。

進而推導(dǎo)出維納濾波逆卷積算子的頻域表達式為

(6)

其中：H(u,v)代表模糊矩陣；H*(u,v)是H(u,v)的共軛數(shù)表達式,故|H(u,v)|2=H*(u,v)×H(u,v)；N2(u,v)代表噪聲的功率譜密度(本文假設(shè)其為0)；F2(u,v)代表輸入模糊圖像的功率譜密度。在維納濾波逆卷積算子已知的情況下,使用式(7)求解原始清晰圖像的頻域估計值[17-20]，

P(u,v)=L(u,v)/W(u,v)。

(7)

除無人機飛行運動對高分辨率航拍圖像的采集帶來挑戰(zhàn)外,由于無人機航拍成像路徑較長,常常導(dǎo)致空氣粒子對光線的衰減較大,類似于有霧的地面拍攝情況。因而，即使在良好天氣條件下,無人機航拍圖像也存在一定的霧化現(xiàn)象。本文對含有直線運動模糊的無人機航拍圖像去模糊后,基于簡單且易實現(xiàn)的視覺增強型去霧原理,使用目前流行的導(dǎo)引濾波器提取圖像的邊緣和細節(jié)信息,并進行增強型圖像去霧處理。導(dǎo)引濾波理論假設(shè)濾波后的圖像與導(dǎo)引圖像線性相關(guān),用p表示濾波前圖像、q表示濾波后圖像、D表示導(dǎo)引圖像,那么，在半徑為r、中心在像素k的鄰域ωk內(nèi),q和D的關(guān)系[21]可表示為

qi=akDi+bk, ?i∈ωk。

(8)

其中，(ak,bk)是對應(yīng)于局部鄰域ωk求得的線性常系數(shù)。對式(8)兩邊同時取梯度運算得到q=aD,因為梯度是圖像邊緣的直接反映,可以看出濾波后圖像和導(dǎo)引圖像具有相似的邊緣結(jié)構(gòu)。從理論上講,導(dǎo)引濾波器能較好地保持圖像的邊緣信息,同時對邊緣的內(nèi)部細節(jié)進行均值平滑,但整個導(dǎo)引濾波器模型的求解過程并非定值求解而是估計求解過程,其對邊緣信息的保持以及對邊緣內(nèi)部細節(jié)的均值平滑都是近似的,即導(dǎo)引濾波后圖像的邊緣和內(nèi)部細節(jié)均會受到損失。所以，本文在參考He等人導(dǎo)引濾波器增強應(yīng)用思路的基礎(chǔ)上[21],同時考慮航拍長焦距成像普遍存在邊緣細節(jié)信息成像損失較大的特點,采用濾波前圖像p與導(dǎo)引濾波后圖像q的差值作為圖像邊緣和內(nèi)部細節(jié)信息的反應(yīng)。這里暫時忽略了圖像噪聲,將該邊緣和內(nèi)部細節(jié)放大一定的倍數(shù)再疊加到濾波前圖像p之上,可實現(xiàn)簡單快捷的增強型圖像去霧處理，其表達式為

Ie=p+ε(p-q)。

(9)

其中：Ie為增強型去霧結(jié)果；ε為增強系數(shù)(一般1<ε<3)。通過式(9)可以實現(xiàn)低算法復(fù)雜度和高運行速度的航拍圖像去霧處理。

2 基于DSP平臺的系統(tǒng)設(shè)計與實現(xiàn)

本文針對無人機航拍圖像開展了航拍像移、增強去霧等原理研究,并提出航拍去模糊和去霧增強的清晰化算法。選取以TMS320C6748 DSP為核心的開發(fā)平臺,搭建無人機航拍圖像的清晰化恢復(fù)系統(tǒng)。

2.1 系統(tǒng)整體設(shè)計方案

本文采用Tronlong公司生產(chǎn)的以TMS320C6748DS芯片為核心的TL138/1808/6748-EVM-A3作為 DSP開發(fā)板,TL070A LCD作為圖像顯示屏。系統(tǒng)的設(shè)計思路為:基于PC上的DSP編譯環(huán)境編寫程序,使用仿真器TI XDS100V3將程序代碼及PC上存儲的待處理圖像數(shù)據(jù)送入開發(fā)板,存儲在片上DDR2(double data rate 2)存儲器中。隨后通過DSP的CPU讀取存儲器內(nèi)的程序和圖像數(shù)據(jù),利用已有的圖像去模糊和去霧模塊進行航拍圖像后期清晰化處理,運行結(jié)果由EDMA3(enhanced direct memory access 3)模塊送入TL070A LCD顯示屏的顯存內(nèi),實現(xiàn)航拍原始清晰圖像的顯示,同時圖像恢復(fù)結(jié)果也可存儲在PC機上。圖1為所設(shè)計系統(tǒng)的功能模塊圖。

圖1 基于DSP平臺的系統(tǒng)設(shè)計基本結(jié)構(gòu)圖Fig.1 Basic structure diagram of system design based on DSP platform

2.2 系統(tǒng)軟件設(shè)計方案

基于PC機上的DSP編譯器Code Composer Studio,使用C語言編寫程序代碼。依據(jù)2.1節(jié)無人機航拍圖像清晰化系統(tǒng)的設(shè)計思路,軟件設(shè)計包含4個步驟：①DSP和功能模塊的使能及初始化，依次進行CPU、外設(shè)、EDMA3、LCD調(diào)色板及LCD液晶屏初始化配置,通過DSP的CPU控制開發(fā)板從片外存儲器DDR2中讀取程序和代碼,使用CPU的片內(nèi)緩存空間Cache臨時存儲CPU運算過程所產(chǎn)生的中間數(shù)據(jù),隨后將運算結(jié)果通過EDMA3輸出到LCD的顯存空間中,再結(jié)合LCD顯示屏的LCDC(liquid crystal display controller)配置參數(shù),在LCD顯示器上顯示系統(tǒng)運算結(jié)果;②圖像數(shù)據(jù)輸入,為盡力減小圖像數(shù)據(jù)量同時避免過度壓縮圖像數(shù)據(jù),使用8深度的位圖文件作為輸入圖像格式,存儲圖像頭文件信息并提取其像素數(shù)據(jù);③航拍圖像清晰化處理,以第1節(jié)所述算法為依據(jù),編寫相應(yīng)的代碼;④LCD液晶屏的圖像數(shù)據(jù)顯示，該部分通過EDMA3將已經(jīng)通過清晰化處理的航拍圖像從開發(fā)板CPU的Cache緩存中傳送到LCD的顯存單元,參照LCDC的初始化配置參數(shù),顯示經(jīng)過系統(tǒng)清晰化處理后的航拍圖像。圖2為系統(tǒng)軟件設(shè)計步驟圖。

圖2 系統(tǒng)軟件設(shè)計步驟圖Fig.2 System software design step diagram

2.3 技術(shù)難點及解決方案

通常情況下,PC機的硬件資源較為充足，而小型DSP平臺的硬件資源十分有限,在代碼實現(xiàn)方面，基于PC機運行的程序多選用函數(shù)庫豐富、語言簡練的高級編程語言,且較少接觸硬件底層。而嵌入式設(shè)備常選用接近底層的匯編語言或面向過程的C語言,程序編寫繁瑣且代碼量大,且需考慮底層存儲器及外設(shè)模塊的配置部署,在很大程度上加大了運用嵌入式設(shè)備進行系統(tǒng)搭建并在該平臺上運行程序的難度。雖然本文清晰化系統(tǒng)設(shè)計過程選取的Tronlong TL138/1808/6748-EVM-A3 DSP開發(fā)板主頻峰值可達456 MHz，且集成了充分的外設(shè)模塊,并支持超長指令字(VLIW)等快速處理技術(shù),但在系統(tǒng)的執(zhí)行過程中,易出現(xiàn)由于運算數(shù)據(jù)量大和運行時間長導(dǎo)致的程序跑飛、運行結(jié)果出錯或運行速度過慢等技術(shù)難點。

空間圖像進行卷積和快速傅里葉變換、逆變換等運算操作,所產(chǎn)生龐大內(nèi)存開銷使得DSP上的存儲資源分配難度增加,CPU內(nèi)存資源不足、片上內(nèi)存處理緩慢、訪存沖突等問題均會導(dǎo)致系統(tǒng)設(shè)計實現(xiàn)困難。此外,龐大的內(nèi)存開銷也使得代碼的執(zhí)行時間大幅度增加,這樣不僅僅會降低系統(tǒng)的效率,還會使開發(fā)板上計時器超時中斷或跑飛。

為解決上述技術(shù)難點,本系統(tǒng)采用合理分配DSP系統(tǒng)的存儲空間和加速處理的解決方案。首先，將部分存儲開銷較大的數(shù)據(jù)段和代碼段置于運行速度較慢的片上存儲器DDR2當中,與此同時,開啟片內(nèi)Cache快速緩存器,用來緩存代碼運行過程中的臨時變量和數(shù)據(jù),以減少因DSP系統(tǒng)的片上存儲速度與片內(nèi)CPU運行速度差異較大而導(dǎo)致程序運行時間過長的情況。其次,針對程序的并行優(yōu)化問題,在原始代碼的基礎(chǔ)之上運行程序，并根據(jù)生成MAP文件的內(nèi)容、運行結(jié)果的報錯位置以及單步調(diào)試,靈活調(diào)整代碼順序或加入部分空操作來避免程序訪存沖突,使得程序能夠?qū)崿F(xiàn)-o3級別的流水線并行操作。此外,本系統(tǒng)設(shè)計實現(xiàn)過程中,還采用重新定義訪存沖突函數(shù)和矩陣數(shù)據(jù)內(nèi)存段的方法,將易沖突數(shù)據(jù)均單獨放置,且為堆棧保留足夠大的存儲空間,以保證系統(tǒng)代碼快速、準確地執(zhí)行。

3 實驗結(jié)果與分析

3.1 實驗素材和環(huán)境

本文使用大疆DJIPhantom 3 Advanced 無人機拍攝72張原始清晰圖像,再利用Matlab自帶的圖像加模糊算法,生成已知模糊核參數(shù)(選擇模糊長度為3～7，模糊角度為30°～45°)且與原始清晰航拍圖像一一對應(yīng)的直線運動模糊圖像,作為去模糊實驗所用的圖像數(shù)據(jù)集。本文在對無人機攝影曝光時間內(nèi)運動像移研究的基礎(chǔ)上,采用后期驗證性實驗方案,假設(shè)用以求解模糊核長度與角度的相機參數(shù)為已知。本實驗所用軟件平臺為Code Composer Studio 5.50,編程語言為C語言。在實驗素材預(yù)處理階段,將圖像尺寸統(tǒng)一調(diào)整為256×256,格式設(shè)定為8位色深度位圖格式。此外,定量化測試實驗結(jié)果均基于Matlab 2017b平臺實現(xiàn)。

3.2 實驗結(jié)果與分析

本仿真實驗已知的無人機相機參數(shù)為:焦距f為0.2mm；成像傳感器尺寸ICS為1/2.3英寸；像面長寬比為1∶1；最大長度分辨率RH為256；最大寬度分辨率RW為256；無人機飛行高度為30 m；航拍目標在鏡頭坐標系中的移動為(0.134 m,0.143 m,0.2 m)。并選用模糊核半徑為15,噪聲功率譜為0,導(dǎo)引濾波系數(shù)為0.01,濾波窗口大小為17,增強系數(shù)為1.3的實驗參數(shù)。圖3展示了部分航拍圖像在該DSP平臺上清晰化的實驗結(jié)果。其中，圖3中的第1列圖A、B、C為待處理的航拍模糊圖像(加模糊處理),圖3中第2列圖D、E、F為去模糊后圖像,圖3中第3列圖G、H、I分別為圖D、E、F進行去霧處理后的圖像,圖3中的第4列圖G、H、I為原始清晰航拍圖像(未加模糊)。為了顯示并對比，對圖3中圖像統(tǒng)一進行了大小調(diào)整。

通過對比可以看出，相比于原始航拍模糊圖像,去模糊后圖像在視覺上的清晰度提升明顯,去霧后圖像在邊緣范疇等重要細節(jié)也提升明顯。例如,去模糊前的圖3A、3B、3C中紅圈部分十分模糊,在去模糊后的圖3D、3E、3F中則基本可以看清,而在去霧后圖3G、3H、3I中,視覺效果則有著更明顯的增加。這說明所設(shè)計的基于DSP平臺的無人機航拍圖像清晰化系統(tǒng)具有良好的非盲去模糊恢復(fù)和增強型去霧效果。

從實驗結(jié)果可以看出,本文基于DSP平臺的無人機航拍圖像清晰化系統(tǒng)處理效果出色,但為了嚴謹起見,在上述主觀評價的基礎(chǔ)上,采用平均梯度、對比度和信息熵作為客觀評價指標,選用經(jīng)典的維納濾波算法、Lucy-Richard算法、約束最小二乘算法,以及Chowdhury等人最新提出的FOTV算法[22]作為對比算法,與本文所提算法進行定量的對比分析?？陀^評價結(jié)果如表1～3所示,所展示指標值均為航拍數(shù)據(jù)集均值。對比表1～3中的數(shù)據(jù),可以明顯看出，本文航拍圖像集在所提算法上的平均梯度和對比度均大于其他4種算法;線性模糊長度為3,角度為30°時,相較其他4種算法,本文所提算法的信息熵均值最大,而在其他兩種模糊參數(shù)下,所提算法也取得了除約束最小二乘法外最大的信息熵均值,即可證明本文所提無人機航拍清晰化方法對含有直線運動模糊的航拍圖像具有顯著的清晰化效果。

圖3 基于DSP平臺的航拍圖像清晰化實驗結(jié)果Fig.3 The experimental results of clearing aerial images based on DSP platform

表1 72幅航拍圖像數(shù)據(jù)集平均梯度均值對比結(jié)果Tab.1 Mean average gradient results of 72 aerial image datasets

表2 72幅航拍圖像數(shù)據(jù)集對比度均值對比結(jié)果Tab.2 Mean contrast ratio results of 72 aerial image datasets

表3 72幅航拍圖像數(shù)據(jù)集信息熵均值對比結(jié)果Tab.3 Information entropy ratio results of 72 aerial image datasets

為了進一步驗證所提算法和所搭建面向DSP的無人機航拍圖像清晰化系統(tǒng)的有效性，使用圖像去模糊常用的GOPRO普通圖像數(shù)據(jù)集,預(yù)處理得到868幅256×256大小的原始清晰圖像,并采用Matlab自帶的圖像加模糊算法,生成已知模糊核參數(shù)(模糊長度為3～7，模糊角度為30°～45°)且與原始清晰航拍圖像一一對應(yīng)的直線運動模糊圖像,作為去模糊實驗所用的圖像數(shù)據(jù)集。

圖4展示了在線性模糊參數(shù)長度為3、角度為30°時,部分GOPRO普通圖像數(shù)據(jù)集樣本在本文所提算法、維納濾波算法、Lucy-Richard算法、約束最小二乘算法以及FOTV算法中的處理結(jié)果。通過圖4可以看出，相比于其他4種算法,本文所提算法處理得到的結(jié)果圖邊緣對比度明顯較高,但同時與原始清晰圖像的差距也更大。

表4展示了在線性模糊參數(shù)長度為3、角度為30°時,GOPRO普通圖像數(shù)據(jù)集平均梯度、對比度和信息熵這3項指標值的對比結(jié)果。通過對比可以看出,在GOPRO數(shù)據(jù)集中,本文所提算法的平均梯度、對比度和信息熵這3項指標值都優(yōu)于其他算法。

表4 GOPRO普通圖像數(shù)據(jù)集平均梯度、對比度和信息熵均值對比結(jié)果Tab.4 Comparison results of average gradient, contrast and information entropy of GOPRO ordinary image datasets

4 結(jié)語

低成本的航拍圖像清晰化方法,尤其是其在嵌入式上的實現(xiàn)問題研究具有一定的實踐意義。因此，本文針對無人機航拍成像過程的坐標變換關(guān)系及影響無人機航拍圖像質(zhì)量的兩個主要因素,開展旨在實現(xiàn)圖像清晰化的去模糊和去霧研究。首先，結(jié)合無人機成像特點對其飛行模式進行理論分析,估算航拍運動模糊核的像移長度和像移角度兩個模擬參數(shù)；其次，采用維納濾波算法和視覺增強型去霧算法進行適合于嵌入式DSP的無人機航拍圖像清晰化處理；最后，使用C6748DSP開發(fā)板,搭建適用于資源有限的嵌入式DSP平臺的航拍圖像清晰化(去模糊和去霧)系統(tǒng)。該系統(tǒng)具有低成本、易操作、高可靠性、易維護的特點。

本文所提算法還存在諸多不足，算法研究中未采集真實飛行參數(shù)，致使現(xiàn)階段實驗為仿真驗證，之后的研究會著重關(guān)注實際飛行拍攝參數(shù)的采集，將仿真驗證轉(zhuǎn)變?yōu)閷嶋H飛行參數(shù)的驗證。

圖4 部分GOPRO普通圖像數(shù)據(jù)集樣本在5類算法中的實驗結(jié)果對比Fig.4 Comparison results of some GOPRO ordinary image dataset samples in five kinds of algorithms