無(wú)人機(jī)圖像去霧與特征匹配算法研究

鄔春學(xué)，萬(wàn)志港

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

0 引言

無(wú)人機(jī)遙感以其低成本，靈活性有效的彌補(bǔ)了衛(wèi)星遙感的周期長(zhǎng)、成本高的缺點(diǎn)，現(xiàn)已廣泛應(yīng)用于應(yīng)急救險(xiǎn)、海岸線巡檢、軍事探查等領(lǐng)域［1］。尤其在應(yīng)急救險(xiǎn)場(chǎng)景中，無(wú)人機(jī)發(fā)揮著十分重要的作用，但無(wú)人機(jī)在高空飛行時(shí)易受霧氣影響，獲取的圖像存在能見度低、顏色信息明顯衰弱的問(wèn)題，使得圖像在特征匹配過(guò)程中出現(xiàn)了較大的配準(zhǔn)誤差，甚至無(wú)法進(jìn)行特征匹配，極大的影響著后續(xù)圖像拼接的流程。因此，如何消除霧氣對(duì)無(wú)人機(jī)圖片的影響，提高特征匹配正確率成為圖像拼接技術(shù)研究的熱點(diǎn)問(wèn)題。

1 相關(guān)工作

目前，比較成熟的圖像去霧算法分為兩類：一類是基于圖像復(fù)原的圖像去霧算法，如：He［2］在大氣散射模型的基礎(chǔ)上引入了暗通道先驗(yàn)理論對(duì)圖像的大氣光值與折射率進(jìn)行預(yù)估，能夠快速高效的去除霧氣，該算法在圖像去霧領(lǐng)域具有里程碑意義，對(duì)后續(xù)研究影響巨大；趙［3］等使用支持向量機(jī)的方法對(duì)大氣光進(jìn)行校驗(yàn)，并基于塊偏移方法計(jì)算折射率，提高了大氣光預(yù)測(cè)的準(zhǔn)確性并消除了光暈現(xiàn)象；Li［4］等提出的基于閾值的天空分割算法，彌補(bǔ)了暗通道算法在大面積白色區(qū)域，如天空區(qū)域算法失效的缺陷。另一類是基于圖像增強(qiáng)的圖像去霧算法，如：基于Retinex 理論中的SSR 算法，該算法使用高斯模糊來(lái)評(píng)估入射光，容易產(chǎn)生光暈現(xiàn)象；Jobson［5］提出一種選取多尺度所得觀測(cè)點(diǎn)值的加權(quán)均值作為最終值的MSR（Multi-Scale Retinex）算法，降低了圖像產(chǎn)生光暈的機(jī)率；此外，隨著深度學(xué)習(xí)網(wǎng)絡(luò)的發(fā)展，出現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)的Dehaze-Net 與AOD-Net等去霧網(wǎng)絡(luò)，在去霧效果方面具有良好的性能，但深度學(xué)習(xí)使用的訓(xùn)練數(shù)據(jù)是人工增霧生成的圖像，在真實(shí)有霧圖像中性能有限。

基于特征點(diǎn)匹配的圖像拼接技術(shù)是使用最為廣泛的方案，目前常用的特征匹配算法SIFT、SURF、ORB、KAZE 和AKAZE 算法。其中，SIFT、SURF、KAZE 使用的是浮點(diǎn)型描述符，ORB 與AKAZE 使用的是二進(jìn)制描述符，二進(jìn)制描述符在特征匹配時(shí)速度快，但配準(zhǔn)的準(zhǔn)確率較低。近期，Suarez［6］提出Belid 二進(jìn)制描述子，使用Belid 與替代ORB 算法中的brief 特征描述子，能夠提高10%以上的配準(zhǔn)率，但配準(zhǔn)的準(zhǔn)確率始終低于SIFT 算法。SIFT 算法是現(xiàn)有特征匹配算法中魯棒性最高的，并具有良好的尺度不變性，但在匹配中仍存在著一定的錯(cuò)誤匹配點(diǎn)，對(duì)圖像配準(zhǔn)具有不良的影響。

針對(duì)無(wú)人機(jī)圖像受霧氣干擾導(dǎo)致的能見度低、顏色衰減與特征匹配過(guò)程中存在錯(cuò)誤點(diǎn)干擾的問(wèn)題，本文首先對(duì)暗通道先驗(yàn)算法進(jìn)行改進(jìn)，消除霧氣對(duì)無(wú)人機(jī)圖像的干擾；其次，提出一種基于幾何相似性的特征匹配算法，提高特征點(diǎn)的匹配率；最后，將兩種算法結(jié)合，拼接出去霧后的全景圖像。

2 圖像去霧算法

2.1 大氣散射模型

現(xiàn)有的霧退化模型中，大氣散射模型在圖像去霧領(lǐng)域是廣泛認(rèn)可的一種模型，其表達(dá)式為

其中，I（x）表示有霧圖片；J（x）表示要恢復(fù)的原無(wú)霧圖像；J（x）t（x）是直接衰減項(xiàng)，表示光線在大氣中進(jìn)行散射而衰減；A（1-t（x））代表大氣光模型；A是全球大氣光成分；t（x）是大氣折射率。

2.2 暗通道先驗(yàn)去霧算法

暗通道先驗(yàn)理論是對(duì)大量的清晰無(wú)霧的圖像進(jìn)行深入研究，統(tǒng)計(jì)其無(wú)霧特征的規(guī)律，得出的一種理論，暗通道理論可以描述為

其中，JC（y）為J的某一顏色通道；Ω（x）代表以x為中心的矩形窗口；Jdark（x）為圖像的暗通道；min（c∈r，g，b）代表像素x在r、g、b3 個(gè)顏色通道的最小值分量；min（y∈Ω（x））代表使用半徑為15×15 的窗口對(duì)最小值分量進(jìn)行濾波操作。

暗通道先驗(yàn)理論認(rèn)為，在非天空區(qū)域，總存在一些像素點(diǎn)，其至少在一個(gè)顏色通道上具有非常低的像素值，并且像素值約等于0。該理論可描述為

暗通道先驗(yàn)理論假設(shè)大氣光已知，利用大氣光對(duì)大氣光散射模型進(jìn)行歸一化處理，并假設(shè)在局部范圍內(nèi)透射率是不變的，則根據(jù)暗通道先驗(yàn)理論得出透射率t（x）

其中，w設(shè)定為0.95，根據(jù)大氣散射模型，選取前0.1%的像素值最大的作為候選點(diǎn)，選取其中的最大值作為大氣光A，并設(shè)置透射率的閾值t0為0.1。

將大氣光與透射率代入式（1），最終生成無(wú)霧圖像J（x）可描述為

因此，基于暗通道先驗(yàn)的圖像去霧算法具體內(nèi)容為：

（1）根據(jù)暗通道先驗(yàn)理論計(jì)算出有霧圖像對(duì)應(yīng)的暗通道圖Jdark；

（2）根據(jù)暗通道圖Jdark估算大氣光與透射率；

（3）通過(guò)大氣散射模型復(fù)原生成無(wú)霧圖像J（x）。

暗通道算法能夠快速穩(wěn)定的消除霧氣對(duì)圖像的干擾，但仍存在以下缺陷：

（1）大氣光值在天空區(qū)域與濃霧區(qū)域的取值單一，這些區(qū)域不適用于暗通道理論，使用暗通道理論進(jìn)行圖像復(fù)原時(shí)，圖像容易出現(xiàn)塊效應(yīng)甚至失真現(xiàn)象［7］；

（2）圖像復(fù)原后生成的無(wú)霧圖像顏色偏暗，對(duì)比度低，可視性差［8］。

2.3 改進(jìn)的圖像去霧算法

本文針對(duì)暗通道去霧算法處理大面積天空區(qū)域具有光暈效應(yīng)以及去霧后顏色偏暗的問(wèn)題，在暗通道的基礎(chǔ)上，引入了亮通道的概念，通過(guò)對(duì)圖像的亮通道進(jìn)行加權(quán)得到加權(quán)亮通道圖，進(jìn)而估算出大氣光值，并對(duì)圖像進(jìn)行伽馬變換用以增強(qiáng)圖像亮度。

亮通道先驗(yàn)思想與暗通道思想正好相反，在RGB 任意一個(gè)通道中，總會(huì)存在一個(gè)通道的值比較大，并且此時(shí)的像素x近似于無(wú)霧圖像的大氣光，亮通道理論可描述為

則亮暗通道加權(quán)公式可描述為

其中，Adark代表暗通道的大氣光，Alight代表亮通道的大氣光。

伽馬變換是圖像處理領(lǐng)域中常用的技術(shù)手段，能夠較好的解決圖像存在的曝光不足或過(guò)足的問(wèn)題，通過(guò)對(duì)輸入圖像灰度值進(jìn)行伽馬變換，能夠解決暗通道去霧造成的圖像亮度過(guò)低的問(wèn)題［9］。伽馬變換對(duì)圖像的非線性操作，本質(zhì)上是對(duì)圖像進(jìn)行增強(qiáng)操作，使得圖像的曝光符合人類視覺(jué)系統(tǒng)的感受，伽馬變換可描述為

其中，r代表歸一化后的圖像像素；c代表像素的原始值；γ代表對(duì)歸一化的像素進(jìn)行指數(shù)變換；s為最終的像素值。

基于現(xiàn)有的亮通道與暗通道理論，本文提出了一種結(jié)合暗通道先驗(yàn)理論的亮通道先驗(yàn)加權(quán)的圖像去霧算法，并對(duì)去霧后的圖像進(jìn)行圖像增強(qiáng)操作，具體流程為：

（1）計(jì)算有霧圖像對(duì)應(yīng)的暗通道與亮通道，并選取前0.1%的最大像素值作為大氣光Adark與Alight；

（2）根據(jù)亮暗通道加權(quán)估計(jì)出大氣光值A(chǔ)并基于暗通道去霧算法計(jì)算出透射率t（x）；

（3）使用伽馬變換進(jìn)行圖像增強(qiáng)操作，提升圖像亮度；

（4）生成無(wú)霧圖像。

3 誤匹配篩除算法

3.1 KNN 特征匹配算法

KNN（K-Nearest Neighbor）算法是一種理論成熟的機(jī)器學(xué)習(xí)算法。該算法的主要思想：假定一個(gè)樣本在其特征空間的k個(gè)臨近的樣本都屬于同一分類領(lǐng)域，并具有該領(lǐng)域的相近的特征，因此可以通過(guò)臨近的樣本之間的距離對(duì)目標(biāo)樣本進(jìn)行分類［10］。

KNN 算法的主要步驟：首先，計(jì)算樣本點(diǎn)之間的距離；其次，對(duì)每個(gè)待測(cè)樣本點(diǎn)到其他樣本點(diǎn)之間的距離排序，選取k個(gè)距離最小的樣本點(diǎn)；最后，對(duì)k個(gè)樣本點(diǎn)的類別進(jìn)行比較，將測(cè)試樣本點(diǎn)放入k個(gè)點(diǎn)中占比最高的那一類中。

在圖像配準(zhǔn)過(guò)程中，由于特征點(diǎn)數(shù)目較多，通常采用KNN 算法獲取正確匹配點(diǎn)對(duì)，比較特征點(diǎn)的最近鄰與次近鄰之間的距離比例是否超過(guò)預(yù)定閾值t，超過(guò)就剔出此點(diǎn)對(duì)，否則就保留此點(diǎn)對(duì)。因此，KNN算法具有易理解，易實(shí)現(xiàn)的優(yōu)點(diǎn)，但是KNN 算法在一定程度上屬于近似解算法，算法選取的是近似的答案，在一定程度上存在著固定誤差。

3.2 改進(jìn)的特征匹配算法

傳統(tǒng)的KNN 算法將最近鄰與次近鄰的距離比例作為考量指標(biāo)進(jìn)行誤匹配篩除，通常情況下，仍然會(huì)存在一些誤匹配點(diǎn)未配篩除。如圖1 所示，使用SIFT 特征算法進(jìn)行特征提取與匹配，存在著誤匹配情況，很明顯最左邊的特征點(diǎn)所在區(qū)域在右邊圖中不存在，因此這個(gè)點(diǎn)匹配結(jié)果是錯(cuò)誤的，但基于KNN 的圖像匹配算法未能篩除。因此，需要提升誤匹配點(diǎn)篩除的精度。

圖1 基于KNN 的匹配結(jié)果圖Fig.1 Matching results based on KNN

本文基于幾何相似性原理，提出了一種圖像誤匹配篩除改進(jìn)算法，幾何相似性原理認(rèn)為在兩個(gè)待拼接圖像重合區(qū)域，存在兩個(gè)多邊形在幾何上相似，則基準(zhǔn)圖像I0必存在某些點(diǎn)構(gòu)成的幾何圖形，在待配準(zhǔn)的圖像I1中，對(duì)應(yīng)的匹配點(diǎn)存在相似的幾何關(guān)系，即I0與I1中對(duì)應(yīng)點(diǎn)構(gòu)成的邊的縮放比例值r0幾乎相等，此外，其他點(diǎn)到幾何圖形頂點(diǎn)的距離也應(yīng)該符合一定的比例?；谶@一原理，提出了一種改進(jìn)的誤匹配篩除算法，具體內(nèi)容如下：

（1）從SIFT 特征匹配點(diǎn)中，選取3 對(duì)可以構(gòu)成兩對(duì)相似三角形的特征點(diǎn)對(duì)，選取3 對(duì)特征點(diǎn)中的任意一對(duì)作為基準(zhǔn)點(diǎn)對(duì)（p1，p2）；

（2）計(jì)算出相似三角形點(diǎn)對(duì)之間的縮放比例r0；

（3）選取未篩除過(guò)的SIFT 匹配點(diǎn)對(duì)（q1，q2），計(jì)算其到基準(zhǔn)點(diǎn)（p1，p2）的距離，并計(jì)算出距離之間的比例r。如果r等于r0，則保留該匹配對(duì)，否則刪除該匹配對(duì)并重復(fù)執(zhí)行（3），直到所有的點(diǎn)對(duì)都被標(biāo)記。

4 實(shí)驗(yàn)結(jié)果與分析

本文做了兩個(gè)實(shí)驗(yàn)，分別為圖像去霧實(shí)驗(yàn)與改進(jìn)的特征匹配錯(cuò)誤點(diǎn)篩除實(shí)驗(yàn)，兩個(gè)實(shí)驗(yàn)都在一臺(tái)操作系統(tǒng)為win10，開發(fā)平臺(tái)為matlab2016a，處理器為Intel Core i7-10750H CPU 2.60 GHz，8 G 內(nèi)存的筆記本電腦上進(jìn)行。

4.1 圖像去霧實(shí)驗(yàn)

根據(jù)本文提出的基于亮通道加權(quán)的去霧算法進(jìn)行實(shí)驗(yàn)。在通用的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，在取得良好的實(shí)驗(yàn)效果時(shí)，應(yīng)用于無(wú)人機(jī)圖像中，本文的無(wú)人機(jī)有霧圖像均為實(shí)景拍攝，拍攝地點(diǎn)為上海理工大學(xué)，在真實(shí)數(shù)據(jù)集上進(jìn)行去霧實(shí)驗(yàn)，使得算法的效果更為直觀、公正。

首先，本文挑選了一些公用數(shù)據(jù)集中的有霧圖像，以及無(wú)人機(jī)實(shí)際拍攝的圖像，如圖2 和圖3 所示。

圖2 公開有霧圖像集Fig.2 Public image set with fog

圖3 無(wú)人機(jī)有霧圖像Fig.3 Fog image of UAV

4.1.1 公開數(shù)據(jù)集去霧結(jié)果

為了體現(xiàn)本文改進(jìn)算法的優(yōu)越性，在公開數(shù)據(jù)集上分別采用暗通道去霧算法和本文改進(jìn)的去霧算法進(jìn)行去霧效果對(duì)比，對(duì)比結(jié)果如圖4 所示。

圖4 公開數(shù)據(jù)集去霧結(jié)果Fig.4 Public data set defogging results

通過(guò)圖4 能夠清晰的發(fā)現(xiàn)，在基于公開的數(shù)據(jù)集中，暗通道去霧算法生成的圖片具有顏色偏暗，對(duì)比不明顯，且在天空區(qū)域存在光暈現(xiàn)象，本文的改進(jìn)算法，消除了天空區(qū)域的光暈顯著，并使得圖像顏色信息更加豐富，對(duì)比度更加明顯，更符合人類視覺(jué)系統(tǒng)的感知。

4.1.2 無(wú)人機(jī)圖像去霧結(jié)果

為了證明本文改進(jìn)算法的優(yōu)越性與魯棒性，本文在真實(shí)獲取的無(wú)人機(jī)圖像數(shù)據(jù)集上分別采用暗通道去霧算法和本文去霧算法進(jìn)行去霧效果對(duì)比，對(duì)比結(jié)果如圖5 所示。

圖5 無(wú)人機(jī)數(shù)據(jù)集去霧結(jié)果Fig.5 UAV data set defogging results

通過(guò)對(duì)比，能夠清晰的發(fā)現(xiàn)：暗通道去霧后圖像整體偏暗，尤其是在河流區(qū)域最為明顯，而本文算法顏色、亮度更為符合視覺(jué)系統(tǒng)感知，能夠緩解暗通道去霧算法顏色偏暗的問(wèn)題。

4.2 改進(jìn)誤篩除特征匹配算法實(shí)驗(yàn)

4.2.1 特征匹配實(shí)驗(yàn)數(shù)據(jù)

特征匹配實(shí)驗(yàn)分別采用公開數(shù)據(jù)集圖像與無(wú)人機(jī)拍攝圖片進(jìn)行特征點(diǎn)誤篩除實(shí)驗(yàn)，如圖6 和圖7所示。

圖6 公開數(shù)據(jù)集Fig.6 Public data set

圖7 無(wú)人機(jī)圖像數(shù)據(jù)集Fig.7 UAV image data set

4.2.2 特征匹配實(shí)驗(yàn)視覺(jué)評(píng)價(jià)

為了證明本文改進(jìn)特征匹配算法的優(yōu)越性與魯棒性，本文在公共數(shù)據(jù)集與無(wú)人機(jī)圖像數(shù)據(jù)集上分別采用KNN 算法和改進(jìn)的誤篩除算法進(jìn)行特征匹配對(duì)比，對(duì)比結(jié)果如圖8～圖11 所示。

圖8 基于KNN 的特征匹配圖Fig.8 Feature matching diagram based on KNN

圖9 改進(jìn)的誤篩除算法效果圖Fig.9 Effect diagram of improved error screening

圖10 基于KNN 的特征匹配圖Fig.10 Feature matching diagram based on KNN

圖11 改進(jìn)的誤篩除算法效果圖Fig.11 Effect diagram of improved error screening

通過(guò)對(duì)比特征匹配效果圖發(fā)現(xiàn)：在基于KNN 算法進(jìn)行匹配的算法，在圖8 左側(cè)的天空區(qū)域有明顯的誤匹配點(diǎn)對(duì)；在圖7 中，左圖下側(cè)房屋在右側(cè)圖像是不存在的，但是在圖10 中卻存在匹配點(diǎn)，而本文改進(jìn)的算法剔出了這些誤匹配點(diǎn)。實(shí)驗(yàn)證明，改進(jìn)后的匹配算法，能夠有效的消除這些誤匹配點(diǎn)，提高配準(zhǔn)質(zhì)量。

5 結(jié)束語(yǔ)

為了解決無(wú)人機(jī)圖像受霧氣干擾導(dǎo)致的能見度低、顏色衰減與特征匹配過(guò)程中存在錯(cuò)誤點(diǎn)干擾的問(wèn)題，本文對(duì)兩個(gè)流程進(jìn)行優(yōu)化。去霧方面，本文從傳統(tǒng)的暗通道去霧算法入手，剖析了暗通道先驗(yàn)算法存在的一些問(wèn)題，采用結(jié)合亮通道先驗(yàn)信息消除暗通道去霧算法遺留的光暈問(wèn)題，并使用伽馬變換解決去霧圖像顏色偏黑的問(wèn)題，做到了盡最大可能去消除霧氣對(duì)無(wú)人機(jī)圖像的干擾；特征匹配方面，針對(duì)傳統(tǒng)的KNN 算法錯(cuò)誤點(diǎn)篩除時(shí)精度較低的問(wèn)題，本文提出一種基于幾何相似性的特征匹配算法，經(jīng)過(guò)實(shí)驗(yàn)對(duì)比證明，本文提出的特征匹配算法能夠有效消除誤匹配點(diǎn)，提高特征點(diǎn)的匹配質(zhì)量。