基于特征匹配的低照度圖像增強評價方法研究

王一波，梁偉鄯

（柳州工學(xué)院 信息科學(xué)與工程學(xué)院，廣西 柳州 545616）

0 引 言

當前機器視覺已得到廣泛應(yīng)用，較多應(yīng)用場景的光照、氣候條件變化較大，如自動駕駛、遙感成像、無人機等，給視覺成像質(zhì)量帶來諸多影響，其中低照度成像是在各應(yīng)用領(lǐng)域中需重點解決的問題。為此，廣大研究人員針對各自的需求提出了較多的低照度圖像增強算法，可歸納為3類：基于分布映射的方法、基于模型優(yōu)化的方法和基于深度學(xué)習(xí)的方法[1-5]。如何評價這些方法的性能是首先需要關(guān)注的問題，這對于圖像篩選、算法參數(shù)選擇、模型優(yōu)化有著重要的參考價值。低照度圖像增強評價屬于圖像質(zhì)量評價的范疇，多年來圖像質(zhì)量評價都是圖像處理領(lǐng)域的研究熱點，不斷有新的優(yōu)秀評價數(shù)據(jù)集和評價方法出現(xiàn)，很多方法對于低照度圖像增強評價具有借鑒和參考意義。黃寶慶[6]通過有效融合人眼的單目和雙目視覺特征，創(chuàng)建了一種基于單雙目特征融合的NR-SIQA方法；鹿婷等[7]提出了一種新的與主觀感知密切相關(guān)的無參考水下圖像質(zhì)量評價方法，融合了色度特征、基于人類大腦視覺皮層的對比度特征、反映圖像信息豐富程度的清晰度特征；韓昊男等[8]結(jié)合清晰度相關(guān)特征和現(xiàn)有的客觀質(zhì)量評價，針對性地提出了一種由圖像可視性、結(jié)構(gòu)相似性和顏色恢復(fù)度相互融合的去霧方法質(zhì)量評價。但目前較少有專門進行低照度圖像增強評價研究的文獻，可供低照度圖像增強算法研究的專門評價方法也較少，研究人員普遍參考通用圖像評價方法提出新算法。例如，鄭爽爽等人[9]在提出了一種融合變分低照度圖像增強算法后，使用了自然圖像質(zhì)量評估器（Natural Image Quality Evaluator,NIQE），分別從亮度、對比度、結(jié)構(gòu)組成等方面與經(jīng)典算法進行了比較；萬方等人[10]通過將圖像分解為基本層和細節(jié)層增強低照度圖像，并基于主觀和信息熵的方法對所提算法進行了評價。由于缺少專門針對低照度圖像增強的評價方法，所以各種增強算法缺少相對統(tǒng)一的衡量依據(jù)，這將制約著該領(lǐng)域的進一步發(fā)展。為此，本文將通過研究低照度圖像增強的共性特點，提出一種可供參考的評價方法。

1 低照度圖像增強評價理論基礎(chǔ)

1.1 Retinex理論

Retinex理論認為圖像I(x,y)是由照度圖像與反射圖像組成，模型如圖1所示。前者指的是物體的入射分量的信息，用L(x,y)表示；后者指的是物體的反射部分，用R(x,y)表示。公式為：

圖1 Retinex模型

同時，由于對數(shù)形式能夠較好地反映人類感受亮度的過程，因此將上述過程轉(zhuǎn)換到對數(shù)域進行處理，這樣做也將復(fù)雜的乘法轉(zhuǎn)換為加法，表達式為：

ln(I(x,y))=ln(R(x,y))+ln(L(x,y))

以上理論未考慮干擾對于圖像的影響，一般在低照度條件下，圖像噪聲N(x,y)不能忽略，為此將以上模型修正為：

1.2 理想評價指標

按照Marr計算理論，圖像中的信息即圖像中顏色或亮度的變化，呈現(xiàn)出的是物體和物體的關(guān)系以及物體與人的關(guān)系的要素。低照度圖像增強的終極目標即剔除與所采集事物無關(guān)信息，保留能夠反映本身特性的一切有用信息。圖像I(x,y)的信息完全集中于反射圖像R(x,y)，因此理想的低照度增強即通過有效的濾波算法，從I(x,y)中提取R(x,y)。當然前提是建立在對于L(x,y)、N(x,y)的精確估計基礎(chǔ)上，但這在現(xiàn)實問題中是無法實現(xiàn)的。

2 面向應(yīng)用圖像評價算法

2.1 監(jiān)督式評價方法

監(jiān)督式評價是建立在“真值”已知的前提下，如前節(jié)所述，如果已知R(x,y)，就可以將增強后圖像與R(x,y)進行定量比較，從而精確評價低照度增強算法的性能。但通常情況下，R(x,y)難以預(yù)先得到。為此，可將人的主觀評價作為參考真值。本文將低照度圖像增強質(zhì)量劃分為對比度、曝光現(xiàn)象、偽影、細節(jié)丟失、噪聲5個方面。按照賦分制，由相關(guān)專家分別對上述指標進行評分，則算法質(zhì)量綜合得分為：

式中：Qc、Qe、Qa、Qd、Qn分別為對比度、曝光、偽影、細節(jié)、噪聲指標評分；λc、λe、λa、λd、λn依次為顏色、曝光、偽影、細節(jié)、噪聲權(quán)重系數(shù)，其應(yīng)滿足λc+λe+λa+λd+λn=1，在此λc、λe、λa、λd、λn取值根據(jù)實際應(yīng)用需要進行調(diào)整，如應(yīng)用對于細節(jié)保留特別敏感，則λd取值應(yīng)明顯高于其他權(quán)重，一般情況下，如無特別要求，則各權(quán)重可取值相同。

選取一幅低照度圖像運用直方圖均衡和同態(tài)濾波算法對其進行處理，結(jié)果如圖2所示。

圖2 直方圖均衡與同態(tài)濾波比較

由5位受訪者（編號1～5）按照上述指標分別進行打分，每項指標最高10分，最低0分，在此各指標權(quán)重相同，結(jié)果見表1所列。

表1 監(jiān)督式評價評分

由表1可以看出，直方圖均衡平均得分6.2，同態(tài)濾波平均得分6.96，兩種算法在不同指標上表現(xiàn)略有不同，但整體效果同態(tài)濾波要優(yōu)于直方圖均衡。

2.2 非監(jiān)督式評價方法

監(jiān)督式評測的難度在于獲取準確的真值，而人為主觀評價存在著較大的不確定性，如果不能對此種不確定性進行定量描述，則在實際應(yīng)用中會造成不可預(yù)知的結(jié)果，但目前尚無較好方法進行主觀不確定性建模。同時主觀評價對于專家數(shù)量有較強依賴，專家人數(shù)越多，則評價結(jié)果越準確，但這會造成較大的人力、時間消耗。為此，本文將重點研究低照度圖像增強質(zhì)量的非監(jiān)督式評價方法。

方法一：將增強后圖像與均勻光照條件下拍攝圖像對比，進行一致性評價。二者一致性越好，則增強質(zhì)量越高，在此須根據(jù)實際應(yīng)用定義一致性。

通常情況下，增強后圖像不可能與光照均勻圖像完全一致，二者的一致性應(yīng)主要體現(xiàn)為對應(yīng)像素灰度值比例一致性，為此做如下定義：圖像I1(x,y)、I2(x,y)對應(yīng)位置的像素灰度值分別為p1(x,y)、p2(x,y)，將p=p1(x,y)/p2(x,y)看作一隨機變量，則其方差σp=E{[p-E(p)]2}表示兩圖像的比例一致性。σp越高，則圖像間的一致性越高。

以同一場景分別在均勻光照和低照度條件下進行采集，對低照度圖像分別采用伽馬校正和同態(tài)濾波算法進行處理，其結(jié)果如圖3所示。

圖3 伽馬校正與同態(tài)濾波比較

對伽馬校正與同態(tài)濾波兩種算法的結(jié)果進行一致性評價，直方圖均衡一致性為0.05，同態(tài)濾波一致性為0.03，后者一致性好于前者，與主觀評價一致。但該種方法需采集均勻光照圖像，同時兩種光照條件下圖像應(yīng)嚴格配準，這給圖像采集提出了特別高的要求。為此，該種方法并非首選。

方法二：以特征提取精度為依據(jù)。提取場景的特征對測試圖像進行測試，一般以檢測特征點為主，如果特征檢測精度越高，則說明低照度圖像增強質(zhì)量越好。為定量評價算法性能，可以采用連續(xù)采集空間相鄰幀，以2幀圖像特征點正確匹配對數(shù)為評價依據(jù)，具體如下：

式中：CT為正確匹配對數(shù)；CF錯誤匹配對數(shù)；Q表示正確匹配率，其值越高，則增強質(zhì)量越好。如果錯誤匹配數(shù)為0，則不論正確匹配對數(shù)為多少，Q始終為1。這樣將無法區(qū)分匹配對數(shù)多和少的算法的性能，為此進行如下修正：

補充1/CT后，如果CT越大，則1/CT越小，從而Q得分將越高，則正確匹配對數(shù)越高的算法，得分也將越高。

從圖4可以看出，經(jīng)同態(tài)濾波算法增強后的圖像分別運用ORB算法檢測特征點，對2幅圖像進行特征點匹配，則Q值為9.93。

圖4 低照度增強特征匹配

3 實驗分析

3.1 照度影響分析評價

采集由D50標準光源提供0.1 lx、5 lx、20 lx三種照度條件下的圖像，分別采用直方圖均衡、同態(tài)濾波、深度學(xué)習(xí)算法進行增強處理，再檢測相鄰幀的ORB特征點，結(jié)果如圖5所示。

圖5 照度對增強算法影響比較

按照處理結(jié)果，分別采用特征匹配評價方法進行評分，0.1 lx、5 lx、20 lx經(jīng)增強后Q值分別為0、9.9、9.95。據(jù)此，照度對圖像增強算法的結(jié)果有顯著影響，在不同環(huán)境光亮度下，Q值都隨著照度變化呈現(xiàn)規(guī)律性變化。當照度低于可接受范圍時，增強算法將失效。

3.2 評價方法比較實驗

選取結(jié)構(gòu)特征豐富的場景，分別在均勻光照和低照度條件連續(xù)采集2幀圖像，分別運用直方圖均衡、同態(tài)濾波算法對低照度圖像進行處理，提取ORB特征點，結(jié)果如圖6所示。

圖6 算法處理評價

這里使用主觀評價方法、一致性評價方法、自然圖像質(zhì)量評估器（Natural Image Quality Evaluator,NIQE）和特征匹配方法分別對直方圖均衡、同態(tài)濾波算法的增強效果進行評價，其結(jié)果見表2所列。根據(jù)表2，監(jiān)督式評價與非監(jiān)督式評價結(jié)果一致，進而說明在一般的應(yīng)用場景下，可以使用非監(jiān)督式評價替代監(jiān)督式評價。

表2 低照度增強評價方法比較

4 結(jié) 語

本文通過研究低照度圖像增強的共性特點，提出了可供參考的評價方法。主要在兩方面取得了進展：一是探索了低照度圖像評價的理論模型，并提出了理想評價指標；二是有針對性地提出了低照度圖像增強主觀和客觀評價方法，具有一定的體系性。通過與其他已有的評價方法進行比較，本文提出的基于特征匹配的評價方法總體性能更好，基本解決了主觀與客觀評價的一致性問題，對于低照度圖像算法改進、圖像篩選及模型優(yōu)化等應(yīng)用具有較好的參考價值。今后，將繼續(xù)圍繞優(yōu)化低照度圖像增強評價方法展開研究。