夜間拍照?qǐng)D像質(zhì)量增強(qiáng)算法的研究與實(shí)現(xiàn)

曾 皓 楊榮堅(jiān) 陳 鵬

1(中國(guó)民用航空西北地區(qū)空中交通管理局通信網(wǎng)絡(luò)中心 陜西 西安 710086)2(西安電子科技大學(xué)通信工程學(xué)院 陜西 西安 710071)

夜間拍照?qǐng)D像質(zhì)量增強(qiáng)算法的研究與實(shí)現(xiàn)

曾 皓1楊榮堅(jiān)2陳 鵬2

1(中國(guó)民用航空西北地區(qū)空中交通管理局通信網(wǎng)絡(luò)中心 陜西 西安 710086)2(西安電子科技大學(xué)通信工程學(xué)院 陜西 西安 710071)

由于移動(dòng)智能設(shè)備在夜間拍攝圖像時(shí)，傳統(tǒng)的閃光燈和無(wú)閃光燈條件下拍攝圖像的融合算法在圖像配準(zhǔn)步驟中存在不準(zhǔn)確以及在圖像融合步驟中存在效果不佳的缺點(diǎn)。針對(duì)上述問(wèn)題，提出一種夜間拍照?qǐng)D像質(zhì)量增強(qiáng)算法。該算法首先提出基于ASIFT夜間圖像配準(zhǔn)算法來(lái)對(duì)閃光燈和無(wú)閃光燈條件下拍攝圖像進(jìn)行配準(zhǔn)，避免傳統(tǒng)配準(zhǔn)方法的過(guò)擬合問(wèn)題，然后用基于細(xì)節(jié)重構(gòu)的圖像融合算法對(duì)配準(zhǔn)后圖像進(jìn)行融合，大大增強(qiáng)圖像的細(xì)節(jié)信息。實(shí)驗(yàn)結(jié)果表明，基于ASIFT的夜間圖像配準(zhǔn)算法，可以提高夜間圖像配準(zhǔn)精確度，有效地避免出現(xiàn)重影等問(wèn)題，而基于細(xì)節(jié)重構(gòu)的圖像融合算法有效地解決了色偏問(wèn)題和細(xì)節(jié)提取問(wèn)題。經(jīng)過(guò)該算法處理后的圖像既保留原來(lái)的光照氛圍，又增強(qiáng)圖像的細(xì)節(jié)信息，大大提高了圖像的主客觀質(zhì)量。

圖像配準(zhǔn) 圖像增強(qiáng) ASIFT 特征點(diǎn)均衡

0 引 言

隨著人們的生活水平的日益提高，相機(jī)以及智能手機(jī)越來(lái)越普及。拍照作為智能手機(jī)最重要的功能之一，不僅可以拍下平時(shí)生活中遇到的美麗風(fēng)景，而且也可以幫助人們記錄生活點(diǎn)滴，因此越來(lái)越受到追捧，人們對(duì)拍攝圖像質(zhì)量的要求也越來(lái)越高。然而在夜間拍攝的圖像，由于光照強(qiáng)度低，傳感器無(wú)法獲取足夠的信息，導(dǎo)致拍攝的圖像噪聲大且整體亮度很低，給人不好的視覺觀感。Georg Petschnigg等[1]提出閃光燈和無(wú)閃光燈條件下拍攝圖像的融合算法。該算法將閃光燈和無(wú)閃光燈條件下拍攝的圖像進(jìn)行融合，提取閃光燈條件下拍攝的圖像的細(xì)節(jié)信息，將其融合到濾波后的無(wú)閃光燈條件下拍攝的圖像中，這樣既保留了無(wú)閃光燈條件下拍攝圖像的光照氛圍，又保留了閃光燈條件下拍攝圖像的細(xì)節(jié)信息，從而大大提高了所拍攝圖像的視覺觀感。

閃光燈和無(wú)閃光燈條件下拍攝圖像在進(jìn)行融合處理之前，需要對(duì)這兩幀圖像進(jìn)行配準(zhǔn)，才能進(jìn)行后續(xù)的融合處理?；邳c(diǎn)特征的進(jìn)行配準(zhǔn)算法的ASIFT(Affine-SIFT)算法是從SIFT算法演化過(guò)來(lái)的。ASIFT算法對(duì)縮放、旋轉(zhuǎn)和光照不敏感，對(duì)拍攝角度也不敏感，具有完全仿射不變性。然而傳統(tǒng)的基于ASIFT[2]配準(zhǔn)算法在夜間多光照應(yīng)用場(chǎng)景下存在一定的局限性,存在特征點(diǎn)匹配對(duì)過(guò)于集中的問(wèn)題，求解投影變換矩陣時(shí)避免出現(xiàn)過(guò)擬合的問(wèn)題。此外，Georg Petschnigg等提出閃光燈和無(wú)閃光燈條件下拍攝圖像的融合算法也存在不足。一是由于該算法是針對(duì)R、G、B通道分別進(jìn)行濾波和細(xì)節(jié)增強(qiáng)處理，導(dǎo)致處理后的結(jié)果出現(xiàn)色偏問(wèn)題。二是由于真實(shí)場(chǎng)景的復(fù)雜性，一味地將閃光燈條件下拍攝圖像的細(xì)節(jié)信息融合到無(wú)閃光燈條件下拍攝的圖像中，可能會(huì)使融合后的圖像效果不如融合之前。

因此，本文設(shè)計(jì)實(shí)現(xiàn)了一套完整的夜間拍照?qǐng)D像質(zhì)量增強(qiáng)算法，主要包括兩部分：首先提出一種基于ASIFT的夜間拍照?qǐng)D像配準(zhǔn)算法，該算法克服了傳統(tǒng)基于ASIFT配準(zhǔn)算法在夜間多光照應(yīng)用場(chǎng)景下檢測(cè)到的特征點(diǎn)過(guò)少無(wú)法求解投影變換矩陣[3]的問(wèn)題，以及特征點(diǎn)過(guò)于集中導(dǎo)致的所求解的投影變換矩陣出現(xiàn)過(guò)擬合的問(wèn)題；接下來(lái)，在分析閃光燈和無(wú)閃光燈條件下拍攝圖像融合算法的局限性基礎(chǔ)上，提出一種基于細(xì)節(jié)重構(gòu)的圖像融合算法，包括顏色空間轉(zhuǎn)換、對(duì)待融合圖像濾波去噪、紋理信息重構(gòu)和圖像融合四個(gè)部分。實(shí)驗(yàn)結(jié)果表明，該算法既保留原來(lái)的光照氛圍，又增強(qiáng)圖像的細(xì)節(jié)信息，大大改善了圖像的質(zhì)量，給人以更加真實(shí)和愉悅的觀感。

1 傳統(tǒng)的圖像配準(zhǔn)和圖像融合算法

1.1 ASIFT圖像配準(zhǔn)算法

傳統(tǒng)的圖像配準(zhǔn)采用的是基于ASIFT(Affine-SIFT)特征的圖像配準(zhǔn)算法。ASIFT算法是一種點(diǎn)特征提取算法，具有對(duì)縮放、旋轉(zhuǎn)和光照不敏感，而且對(duì)拍攝角度也不敏感，具有完全仿射不變性。ASIFT算法包含以下步驟：① 構(gòu)建尺度空間；② 檢測(cè)DOG尺度空間的極值點(diǎn)；③ 精確化特征點(diǎn)位置；④ 特征點(diǎn)方向分配；⑤ 特征點(diǎn)描述子的生成；⑥ 匹配特征點(diǎn)；⑦ 利用隨機(jī)抽樣一致(Ransac)算法[4]剔除圖像配準(zhǔn)過(guò)程中形成的誤匹配對(duì)。

然而當(dāng)傳統(tǒng)的基于ASIFT特征的圖像配準(zhǔn)算法應(yīng)用于夜間場(chǎng)景時(shí)，如果待配準(zhǔn)圖像分別是在連續(xù)拍攝的閃光燈和無(wú)閃光燈條件下拍攝的圖像，通過(guò)大量的實(shí)驗(yàn)表明，往往存在以下兩個(gè)問(wèn)題：① 在環(huán)境光照強(qiáng)度較弱的條件下，往往無(wú)閃光燈條件下拍攝的圖像過(guò)暗，將導(dǎo)致檢測(cè)到的特征點(diǎn)過(guò)少，以至于沒(méi)有足夠的特征點(diǎn)匹配對(duì)用來(lái)求解投影變換矩陣，使得兩幅圖像不能配準(zhǔn)。② 當(dāng)在閃光燈條件下拍攝的圖像出現(xiàn)前景過(guò)亮而背景過(guò)暗的情形時(shí)，將導(dǎo)致檢測(cè)到的特征點(diǎn)過(guò)于集中在某一個(gè)較小的范圍，使得求解投影變換矩陣時(shí)出現(xiàn)過(guò)擬合的問(wèn)題，從而降低配準(zhǔn)精度。

1.2 閃光燈和無(wú)閃光燈條件下拍攝圖像融合算法

Georg Petschnigg等提出閃光燈和無(wú)閃光燈條件下拍攝圖像融合算法，該算法將閃光燈和無(wú)閃光燈條件下拍攝的圖像進(jìn)行融合，提取閃光燈條件下拍攝的圖像的細(xì)節(jié)信息，將其融合到濾波后的無(wú)閃光燈條件下拍攝的圖像中，這樣既保留了無(wú)閃光燈條件下拍攝圖像的光照氛圍，又保留了閃光燈條件下拍攝圖像的細(xì)節(jié)信息，從而大大提高了所拍攝圖像的視覺觀感。該算法的關(guān)鍵在于以下三點(diǎn)：第一，對(duì)待融合的圖像進(jìn)行濾波去噪，這就涉及到濾波器的選擇問(wèn)題，必須是邊緣保護(hù)的濾波器，要求其在濾除噪聲的同時(shí)，保護(hù)邊緣紋理；第二，閃光燈條件下拍攝的圖像的細(xì)節(jié)提取；第三，上述的這些處理分別在R、G、B三個(gè)通道進(jìn)行。

然而，根據(jù)大量的實(shí)驗(yàn)表明，該算法仍然存在以下的不足：第一，由于該算法是針對(duì)R、G、B通道分別進(jìn)行濾波和細(xì)節(jié)增強(qiáng)處理，導(dǎo)致處理后的結(jié)果出現(xiàn)色偏問(wèn)題。主要原因是對(duì)于彩色圖像而言，RGB顏色空間的三個(gè)通道是緊密相聯(lián)的[5]，如果分別對(duì)這三個(gè)通道進(jìn)行處理，可能會(huì)造成圖像的色調(diào)改變，從而發(fā)生色偏的問(wèn)題。第二，由于真實(shí)場(chǎng)景的復(fù)雜性，比如這樣一個(gè)場(chǎng)景：一個(gè)人站在一棟高樓前，此時(shí)，閃光燈條件下拍攝的圖像可能會(huì)出現(xiàn)人非常清晰而背景一片漆黑的問(wèn)題。這時(shí)無(wú)閃光燈條件下拍攝的圖像的部分細(xì)節(jié)可能會(huì)好于閃光燈條件下拍攝的圖像，如果一味的將閃光燈條件下拍攝圖像的細(xì)節(jié)信息融合到無(wú)閃光燈條件下拍攝的圖像中，可能會(huì)出現(xiàn)融合后的圖像效果不如融合之前。

2 夜間拍照?qǐng)D像質(zhì)量增強(qiáng)算法

本文提出的夜間拍照?qǐng)D像質(zhì)量增強(qiáng)算法的整體流程如圖1所示。輸入原始的閃光燈和無(wú)閃光燈條件下拍攝的圖像，經(jīng)過(guò)圖像配準(zhǔn)模塊進(jìn)行配準(zhǔn)，得到配準(zhǔn)后的閃光燈和無(wú)閃光燈條件下拍攝的圖像。再經(jīng)過(guò)圖像融合模塊，最終輸出圖像質(zhì)量增強(qiáng)的結(jié)果。

圖1 整體流程圖

整體流程圖中的圖像配準(zhǔn)模塊采用基于ASIFT的夜間圖像配準(zhǔn)算法，它針對(duì)傳統(tǒng)的ASIFT算法的缺點(diǎn)進(jìn)行了改進(jìn)。圖像融合模塊采用基于細(xì)節(jié)重構(gòu)的圖像融合算法，它是對(duì)Georg Petschnigg等提出閃光燈和無(wú)閃光燈條件下拍攝圖像融合算法的改進(jìn)。下面詳細(xì)介紹基于ASIFT的夜間圖像配準(zhǔn)算法和基于細(xì)節(jié)重構(gòu)的圖像融合算法。

2.1 基于ASIFT的夜間圖像配準(zhǔn)算法

鑒于ASIFT圖像配準(zhǔn)算法在夜間應(yīng)用場(chǎng)景下所表現(xiàn)出的不足，本文提出了一種基于ASIFT的夜間圖像配準(zhǔn)算法，算法流程如圖2所示。

圖2 基于ASIFT的夜間圖像配準(zhǔn)算法的流程圖

圖2所示流程圖中，主要對(duì)傳統(tǒng)的ASIFT配準(zhǔn)算法加入直方圖均衡化、判斷是否出現(xiàn)過(guò)擬合的問(wèn)題、自適應(yīng)特征點(diǎn)匹配對(duì)均衡化三個(gè)模塊。其中，① 直方圖均衡化模塊可以很好地解決在環(huán)境光照強(qiáng)度較弱的條件下檢測(cè)到特征點(diǎn)過(guò)少的問(wèn)題；② 判斷是否出現(xiàn)過(guò)擬合的問(wèn)題模塊可以根據(jù)特征點(diǎn)匹配對(duì)的列坐標(biāo)和行坐標(biāo)的標(biāo)準(zhǔn)差信息，判斷特征點(diǎn)匹配對(duì)是否過(guò)于集中，如果過(guò)于集中則進(jìn)行自適應(yīng)特征點(diǎn)匹配對(duì)均衡化處理，否則，無(wú)需處理直接求解投影變換矩陣，這樣可以減少配準(zhǔn)流程所需的時(shí)間；③ 自適應(yīng)特征點(diǎn)匹配對(duì)均衡化模塊根據(jù)已檢測(cè)出的特征點(diǎn)匹配對(duì)的位置信息，對(duì)特征點(diǎn)匹配對(duì)均衡化處理，很好地解決了特征點(diǎn)匹配對(duì)過(guò)于集中的問(wèn)題，使得本算法能在求解投影變換矩陣時(shí)避免出現(xiàn)過(guò)擬合的問(wèn)題，提高配準(zhǔn)精度。下面詳細(xì)介紹這三個(gè)模塊。

2.1.1 直方圖均衡化模塊

直方圖均衡化[6]是指對(duì)待處理的灰度圖像中每個(gè)像素點(diǎn)的灰度值利用灰度變換函數(shù)進(jìn)行處理，從而使得變換后的圖像每個(gè)灰度級(jí)上的像素點(diǎn)個(gè)數(shù)相同。

假設(shè)輸入的灰度圖像為A(x,y)，其直方圖為HA(r)，灰度變化函數(shù)為s=f(r)，該函數(shù)具有單調(diào)非減的連續(xù)可微的特性，輸入圖像的灰度值經(jīng)過(guò)該函數(shù)的轉(zhuǎn)換得到輸出的灰度圖像B(x,y)，其直方圖為HB(r)，直方圖的原理圖如圖3所示。

圖3 直方圖的原理圖

輸入和輸出灰度圖像的直方圖關(guān)系可以由如下過(guò)程導(dǎo)出，由圖3可得式(1)：

HB(s)ds=HA(r)dr

(1)

可得：

(2)

由于要直方圖均衡化，所以輸出灰度圖像的直方圖HB(s)為一常數(shù)，可得：

(3)

由以上的理論基礎(chǔ)，對(duì)于輸入的待配準(zhǔn)的圖像，按式(4)對(duì)每個(gè)像素點(diǎn)的值進(jìn)行映射，可得直方圖均衡預(yù)處理之后的待配準(zhǔn)圖像：

f(r)=RmP(r)

(4)

具體代碼是：圖2的圖像灰度化步驟后，將灰度圖IplImageimgFlash、imgNoflash(IplImage是OpenCV中的一種圖像存儲(chǔ)結(jié)構(gòu))送到直方圖均衡化函數(shù)histEqu()中，histEqu()是按照式(4)原理編寫的函數(shù)，它將返回直方圖均衡化之后的灰度圖。

2.1.2 判斷是否出現(xiàn)過(guò)擬合的問(wèn)題模塊

如圖4(a)所示的是兩幅待配準(zhǔn)圖像利用ASIFT算法檢測(cè)到的特征點(diǎn)匹配對(duì)的分布圖，從該圖中可以看出特征點(diǎn)匹配對(duì)都是正確匹配的，基本沒(méi)有誤匹配的特征點(diǎn)。圖4(b)為對(duì)配準(zhǔn)后的兩張圖像利用融合算法進(jìn)行融合的得到的結(jié)果圖。從圖4(c)和(d)所示的局部放大圖可以看出，由于這兩個(gè)區(qū)域都是特征點(diǎn)匹配對(duì)集中的區(qū)域，所以最后的融合結(jié)果中并沒(méi)有出現(xiàn)重影的問(wèn)題。而圖4(e)所示的區(qū)域由于沒(méi)有特征點(diǎn)匹配對(duì)的分布，從圖中可以看出最后的融合結(jié)果出現(xiàn)了較為嚴(yán)重的重影問(wèn)題。因此，如果待配準(zhǔn)圖像的特征點(diǎn)匹配對(duì)集中在某一個(gè)較小的區(qū)域內(nèi)，就有可能導(dǎo)致在該區(qū)域內(nèi)配準(zhǔn)精度特別高，而遠(yuǎn)離該區(qū)域的其他區(qū)域，由于沒(méi)有特征點(diǎn)匹配對(duì)而導(dǎo)致配準(zhǔn)精度降低。這就是過(guò)擬合的現(xiàn)象。

圖4 過(guò)擬合問(wèn)題的驗(yàn)證

鑒于上述問(wèn)題，我們根據(jù)特征點(diǎn)匹配對(duì)的位置信息，給出過(guò)擬合判斷算法。具體算法如下：

第一步 根據(jù)式(5)，計(jì)算特征點(diǎn)匹配對(duì)中閃光燈條件下拍攝圖像的特征點(diǎn)在列方向和行方向的位置的平均值：

(5)

第二步 根據(jù)式(6)計(jì)算特征點(diǎn)匹配對(duì)中閃光燈條件下拍攝圖像的特征點(diǎn)在列方向和行方向上的二階距：

(6)

其中，mx和my分別表示特征點(diǎn)匹配對(duì)中閃光燈條件下拍攝圖像的特征點(diǎn)在列方向和行方向上的二階距，其它參數(shù)和上文一致。

第三步 根據(jù)式(7)計(jì)算特征點(diǎn)匹配對(duì)中閃光燈條件下拍攝圖像的特征點(diǎn)在列方向和行方向上的標(biāo)準(zhǔn)差：

(7)

第四步 判斷行和列坐標(biāo)的標(biāo)準(zhǔn)差是否滿足下述判斷條件：

Dx

(8)

其中，T1和T2分別表示判斷是否過(guò)于集中的閾值，T1、T2的值由圖像的大小決定。

如果待配準(zhǔn)的兩張圖像最后檢測(cè)出的特征點(diǎn)匹配對(duì)中閃光燈條件下拍攝圖像的特征點(diǎn)的分布滿足式(8)，則認(rèn)為特征點(diǎn)匹配對(duì)過(guò)于集中，需要均衡化處理。否則，認(rèn)為分布較為均勻，無(wú)需均衡化處理。

具體代碼是：圖2流程圖中的利用RANSAC算法剔除誤特征點(diǎn)匹配對(duì)步驟后，得到matchingslistinLier(matchingslist是OpenCV中的一種匹配對(duì)結(jié)構(gòu)體)，將inLier送到判斷是否出現(xiàn)過(guò)擬合的問(wèn)題函數(shù)isOverFitting()中，isOverFitting()是按照上述原理編寫的函數(shù)，它從inLier中獲得每對(duì)特征點(diǎn)匹配對(duì)的位置信息，并按照如上公式進(jìn)行計(jì)算，最后返回True或False。

2.1.3 自適應(yīng)特征點(diǎn)匹配對(duì)均衡化模塊

針對(duì)投影變換矩陣出現(xiàn)過(guò)擬合的問(wèn)題，本文提出了一種自適應(yīng)特征點(diǎn)匹配對(duì)均衡算法，該算法充分利用已檢測(cè)出的特征點(diǎn)匹配對(duì)的位置信息，對(duì)特征點(diǎn)匹配對(duì)進(jìn)行均衡化處理，從而有效地避免了過(guò)擬合的問(wèn)題。

首先，按照式(9)，將閃光燈條件下拍攝的圖像分成M×M個(gè)相同大小的子塊：

(9)

其中，HW表示子塊的寬度，?」表示向下取整操作，W表示圖像的寬度，M表示閃光燈下拍攝的圖像每一行的子塊個(gè)數(shù)(在本文中M取2)，HH表示子塊的高度，H表示圖像的高度。

然后，往閃光燈條件下拍攝圖像的每一個(gè)子塊中均勻地添加N×N個(gè)特征點(diǎn)，按照式(10)和式(11)計(jì)算閃光燈下拍攝的圖像擬添加的特征點(diǎn)的列坐標(biāo)和行坐標(biāo)：

(10)

(11)

最后，按照式(12)和式(13)，計(jì)算無(wú)閃光燈條件下拍攝的圖像擬添加的特征點(diǎn)的列坐標(biāo)和行坐標(biāo)：

(12)

(13)

具體代碼是：將灰度圖imgFlash、imgNoflash輸入自適應(yīng)特征點(diǎn)匹配對(duì)均衡化函數(shù)autoEqualMatchlist()中，autoEqualMatchlist()是按照上述原理編寫的函數(shù)，它按照如上公式在imgFlash均勻添加特征點(diǎn)，并在imgNoflash中計(jì)算對(duì)應(yīng)點(diǎn)的特征點(diǎn)，最終該函數(shù)返回新得到的特征點(diǎn)匹配對(duì)指針。

2.2 基于細(xì)節(jié)重構(gòu)的圖像融合算法

針對(duì)GeorgPetschnigg等提出閃光燈和無(wú)閃光燈條件下拍攝圖像融合算法的局限性，本文提出基于細(xì)節(jié)重構(gòu)的圖像融合算法，它包含顏色空間轉(zhuǎn)換、對(duì)待融合圖像濾波去噪、紋理信息重構(gòu)和圖像融合四個(gè)部分。其中，顏色空間轉(zhuǎn)換模塊將RGB顏色空間轉(zhuǎn)換到Y(jié)UV顏色空間[7]，從而有效地避免色偏問(wèn)題的出現(xiàn)；紋理信息重構(gòu)模塊是為了針對(duì)不同的場(chǎng)景更好地提取細(xì)節(jié)信息。上述的兩個(gè)模塊是本算法與原來(lái)的融合算法最大的不同之處，正是有了這兩個(gè)模塊，使得本算法對(duì)于原算法有更好的性能。基于細(xì)節(jié)重構(gòu)的圖像融合算法的整體流程如圖5所示。

圖5 基于細(xì)節(jié)重構(gòu)的圖像融合算法流程圖

第一步 按照式(14)，分別對(duì)閃光燈和無(wú)閃光燈條件下拍攝的圖像進(jìn)行顏色空間的轉(zhuǎn)換，將RGB顏色空間轉(zhuǎn)換到Y(jié)UV顏色空間：

(14)

其中，R、G、B分別是紅、綠、藍(lán)三個(gè)通道的值，Y表示亮度分量，U表示色度分量，V表示濃度分量。

式(14)也可以近似變換成：

Y=0.299×R+0.587×G+0.114×BU≈0.492×(B-Y)V≈0.877×(R-Y)

(15)

第二步 分別對(duì)閃光燈和無(wú)閃光燈條件下拍攝的圖像的Y、U、V通道利用WLS濾波器進(jìn)行濾波，去除噪聲，得到濾波后的各個(gè)通道的像素值如下：FYBase、FUBase、FVBase和AYBase、AUBase、AVBase。其中FYBase、FUBase、FVBase分別是閃光燈條件下拍攝的圖像的Y、U、V通道經(jīng)過(guò)WLS濾波器得到的結(jié)果，AYBase、AUBase、AVBase分別是無(wú)閃光燈條件下拍攝的圖像的Y、U、V通道經(jīng)過(guò)WLS濾波器得到的結(jié)果。

第三步 重構(gòu)YBase。

按照式(16)計(jì)算閃光燈條件下拍攝圖像的濾波后的Y通道的值比無(wú)閃光燈條件下拍攝圖像的濾波后的Y通道的值大的像素點(diǎn)的比例α：

(16)

其中，H表示圖像的高度，W表示圖像的寬度。

如果α<0.9，那么利用FYBase和AYBase根據(jù)式(17)和式(18)求得用于最后融合的濾波后的Y通道：

FinalYBase(i,j)= AYBase(i,j)>FYBase(i,j)?

AYBase(i,j):FYBase(i,j)

(17)

否則：

FinalYBase(i,j)=AYBase(i,j)

(18)

第四步 分別對(duì)閃光燈和無(wú)閃光燈條件下拍攝的圖像的Y、U、V通道利用式(19)進(jìn)行細(xì)節(jié)信息的提?。?/p>

(19)

其中，AYDetail、AUDetail、AVDetail分別表示無(wú)閃光燈條件下拍攝的圖像的Y、U、V通道的細(xì)節(jié)信息，F(xiàn)YDetail、FUDetail、FVDetail分別表示閃光燈條件下拍攝的圖像的Y、U、V通道的細(xì)節(jié)信息，AY、AU、AV分別表示無(wú)閃光燈條件下拍攝的圖像的Y、U、V通道，F(xiàn)Y、FU、FV分別表示閃光燈條件下拍攝的圖像的Y、U、V通道，ε取0.02，為了避免除數(shù)為零，其他參數(shù)的意義和上文一致。

第五步 重構(gòu)Y、U、V通道的紋理信息矩陣。

重構(gòu)Y通道的紋理信息矩陣的主要思想：由于夜間拍照的場(chǎng)景復(fù)雜，可能出現(xiàn)即使在開閃光燈條件下拍攝的圖像也存在局部區(qū)域的細(xì)節(jié)信息不如無(wú)閃光燈條件下拍攝的圖像，如果一味地認(rèn)為閃光燈條件下拍攝圖像的細(xì)節(jié)更優(yōu)，可能會(huì)導(dǎo)致融合后圖像的質(zhì)量反而不如無(wú)閃光燈條件下拍攝的圖像。所以本文提出的思路是提取待融合的兩張圖像中細(xì)節(jié)較好的那一部分。具體實(shí)施過(guò)程中，考慮到由于隨機(jī)噪聲的存在，故對(duì)于某一像素點(diǎn)，以該像素點(diǎn)半徑M為鄰域的像素點(diǎn)的Y通道的細(xì)節(jié)平均值作為衡量該像素點(diǎn)細(xì)節(jié)強(qiáng)弱的標(biāo)準(zhǔn)。

按照式(20)，重構(gòu)紋理信息矩陣：

ASum(i,j)=∑(k,l)∈Ω(i,j)AYDetail(k,l)FSum(i,j)=∑(k,l)∈Ω(i,j)FYDetail(k,l)FinalYDetail(i,j)= ASum(i,j)>FSum(i,j)? AYDetail(i,j):FYDetail(i,j)FinalUDetail(i,j)=ASum(i,j)>FSum(i,j)? AUDetail(i,j):FUDetail(i,j)FinalVDetail(i,j)=ASum(i,j)>FSum(i,j)? AVDetail(i,j):FVDetail(i,j)

(20)

其中，i表示像素點(diǎn)的行坐標(biāo)，j表示像素點(diǎn)的列坐標(biāo)，k表示鄰域像素點(diǎn)的行坐標(biāo)，l表示鄰域像素點(diǎn)的列坐標(biāo)，Ω(i,j)表示第i行第j列像素點(diǎn)的大小為(2M+1)×(2M+1)的鄰域，ASum(i,j)表示無(wú)閃光燈條件下拍攝的圖像第i行第j列像素點(diǎn)Y通道的的細(xì)節(jié)信息的好壞程度，F(xiàn)Sum(i,j)表示閃光燈條件下拍攝的圖像第i行第j列像素點(diǎn)Y通道的細(xì)節(jié)信息的好壞程度，AYDetail、AUDetail、AVDetail、FYDetail、FUDetail、FVDetail表示的意義與上文一致。

第六步 按照式(21)，分別對(duì)Y、U、V通道進(jìn)行圖像融合：

FianlY=FinalYBase×FianlYDetailFianlU=AUBase×FinalUDetailFianlV=AVBase×FinalVDetail

(21)

其中，F(xiàn)ianlY、FianlU、FianlV分別表示融合后圖像的Y、U、V通道，其他參數(shù)的意義和上文一致。

第七步 按照式(22)將YUV顏色空間轉(zhuǎn)換到RGB顏色空間，并輸出：

(22)

具體代碼是：將匹配后的灰度度圖imgFlash、imgNoflash輸入基于細(xì)節(jié)重構(gòu)的圖像融合函數(shù)imgFushion()中，imgFushion()是按照上述原理編寫的函數(shù)，它進(jìn)行了顏色空間轉(zhuǎn)換、圖像濾波、細(xì)節(jié)提取、重構(gòu)等處理(其中顏色空間轉(zhuǎn)化使用OpenCV函數(shù)cvCvtColor())，該函數(shù)返回融合得到的RGB圖像imgF。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)是在Window7系統(tǒng)下，處理器型號(hào)為IntelI5-480M，使用VisualStudio2013和OpenCV2.4.9進(jìn)行的。實(shí)驗(yàn)所采用的圖片為使用三星GalaxyS5手機(jī)在各類場(chǎng)景下所拍攝的，分辨率為3 984×2 988，并截取主要區(qū)域。

3.1 圖像質(zhì)量評(píng)價(jià)指標(biāo)

本文采用客觀質(zhì)量評(píng)價(jià)指標(biāo)[8]，包括平均梯度和信息熵。

1) 平均梯度

平均梯度[9]是指圖像各像素點(diǎn)梯度的平均值。平均梯度可以用來(lái)表征圖形的清晰度，平均梯度越大，說(shuō)明圖像的紋理越多，圖像越清晰。平均梯度可以由式(23)表示：

(23)

2) 信息熵

圖像的信息熵主要是統(tǒng)計(jì)每個(gè)灰度級(jí)出現(xiàn)的概率，并根據(jù)信息論中信息熵[10]的概念算出相應(yīng)的信息量，可以由式(24)表示：

(24)

其中，H(X)表示信息熵，P(xi)表示灰度級(jí)xi出現(xiàn)的概率。

正如信息論中信息熵的概念一樣，圖像的信息熵主要用來(lái)表征圖像所包含的信息量的大小，信息熵越大，說(shuō)明圖像包含的信息量越大。

3.2 結(jié)果與分析

本節(jié)中，首先將對(duì)本文提出的夜間拍照?qǐng)D像質(zhì)量增強(qiáng)算法進(jìn)行實(shí)驗(yàn)測(cè)試，驗(yàn)證算法的有效性和正確性。然后，將本文提出算法的實(shí)驗(yàn)結(jié)果和GeorgPetschnigg等提出閃光燈和無(wú)閃光燈條件下拍攝圖像融合算法的實(shí)驗(yàn)結(jié)果作對(duì)比，從主觀和客觀兩個(gè)角度來(lái)衡量?jī)煞N算法的性能。

3.2.1 算法性能分析

1) 第一組圖像數(shù)據(jù)

圖6 原始圖像

圖7 本文算法融合效果

圖8 局部放大圖

從該組實(shí)驗(yàn)結(jié)果可以看出，由圖6(b)所示的的無(wú)閃光燈條件下拍攝圖像的墻壁、冰箱、柜子上的噪聲較大，給人一種模糊的感覺，而圖7所示的本文算法的效果圖這些位置上的噪聲明顯減少，整體顯得更加清晰。從圖8所示的第一個(gè)局部放大圖可以看出原圖中冰箱上的字顯得模糊不清，色彩不鮮艷，而本文算法該位置上的字更加清晰，色彩還原度更高，噪聲更小。同樣，第二個(gè)局部放大圖所示的原圖柜子表面的噪聲斑點(diǎn)很大，而且邊緣出現(xiàn)模糊感。而本文算法在該位置上明顯噪聲減小，邊緣的棱角更加銳利、清晰。除此之外，罐頭顏色和棱角也更加分明，總體更符合人的主觀感受。

2) 第二組圖像數(shù)據(jù)

圖9 原始圖像

圖10 本文算法融合效果

圖11 局部放大圖

對(duì)于上述實(shí)驗(yàn)結(jié)果，由圖9(b)所示的無(wú)閃光燈條件下拍攝圖像噪聲較大，給人模糊的感覺。對(duì)比本文算法的效果圖10可以看出，本文算法既保留了無(wú)閃光燈條件下拍攝圖像的光照氛圍，而且圖像的細(xì)節(jié)信息更加豐富、更加清晰。從圖11的第一個(gè)局部放大圖可知，原圖的墻壁上的紋理比較模糊，而且噪聲較大，而本文算法墻壁上的紋理清晰，且噪聲很少。第二個(gè)局部放大圖中，本文算法的噪聲比原圖減少了很多，而且原圖鋼筆和書本的顏色由于光照低變得很黑，失去了原來(lái)的顏色，而本文算法由于提取了閃關(guān)燈條件下拍攝圖像的細(xì)節(jié)并融合到最后的效果中，所以使得鋼筆和書本的顏色都得到了還原。綜上所述，本文算法在保留原圖光照氛圍的前提下，使得圖像的細(xì)節(jié)信息更豐富，清晰，更加符合人的視覺感受。

3) 第三組圖像數(shù)據(jù)

圖12 原始圖像

圖13 本文算法融合效果

圖14 局部放大圖

如圖12-圖14所示。從該組實(shí)驗(yàn)結(jié)果可以看出，由圖12(b)所示的無(wú)閃光燈條件下拍攝的圖像紙箱上的噪聲和桌子的紋理比較模糊，整張圖的噪聲較大，而本文算法的效果無(wú)論從清晰度和噪聲方面都要好于原圖。在圖14所示的局部放大圖中，原圖桌面上的紋理和紙箱上的字顯然沒(méi)有本文效果圖的紋理清晰，本文效果圖更加符合人的主觀感受。

3.2.2 算法性能比對(duì)

在本小節(jié)中，針對(duì)GeorgPetschnigg等提出閃光燈和無(wú)閃光燈條件下拍攝圖像的融合算法的局限性，接下來(lái)用實(shí)驗(yàn)驗(yàn)證本文算法相對(duì)于原算法性能上是否有提升。

1) 第一組圖像數(shù)據(jù)

圖15 原始圖像

圖16 最后融合結(jié)果

如圖15-圖16所示。從該組實(shí)驗(yàn)結(jié)果可以看出，圖16(a)所示的原算法結(jié)果圖中橙色的雕像相對(duì)于原圖更加清楚、明亮，細(xì)節(jié)信息更加豐富，而背景卻沒(méi)有原圖清晰，顯得很模糊。這主要是因?yàn)樵惴偸菍㈤W光燈條件下拍攝圖像的細(xì)節(jié)融合到無(wú)閃光燈條件下拍攝的圖像中，但是該組測(cè)試圖像中的閃光燈條件下拍攝圖像的背景的細(xì)節(jié)信息遠(yuǎn)沒(méi)有無(wú)閃光燈條件下拍攝的圖像好，因此最后的融合效果的背景還不如無(wú)閃光燈條件下拍攝的圖像好。而本文算法效果不僅橙色雕像的細(xì)節(jié)比原圖清楚，而且，由于本文算法采用了紋理信息重構(gòu)算法提取兩張圖像中較好的細(xì)節(jié)信息，因此背景的細(xì)節(jié)紋理也比原算法好，更加接近無(wú)閃光燈條件下拍攝的圖像。

2) 第二組圖像數(shù)據(jù)

圖17 原始圖像

圖18 最后融合結(jié)果

3) 第三組圖像數(shù)據(jù)

圖19 原始圖像

圖20 最后融合圖像

如圖17-圖20所示。從圖20(a)中可以看出，原算法最后融合的結(jié)果圖中葉子的邊緣區(qū)域出現(xiàn)了偏紫的問(wèn)題，出現(xiàn)了較為嚴(yán)重的色偏。而本文算法將處理的色彩空間轉(zhuǎn)換到Y(jié)UV顏色空間，由于這個(gè)顏色空間是亮度通道和色度通道相互隔離的，因此能有效地避免色偏的問(wèn)題。從圖20(b)可以看出葉子邊緣的色偏基本不存在了，色調(diào)正常，從而驗(yàn)證了本文算法的有效性。

表1從平均梯度和信息熵兩個(gè)客觀質(zhì)量評(píng)價(jià)指標(biāo)的角度比較了原算法和本文算法性能上的優(yōu)劣。

表1 算法性能對(duì)比

從表1可以看出，本文算法的平均梯度要好于原算法，說(shuō)明本文算法效果圖的細(xì)節(jié)紋理更加豐富清晰，而且本文算法的信息熵要優(yōu)于原算法，說(shuō)明本文算法的處理結(jié)果圖所包含的信息量更加豐富。

4 結(jié) 語(yǔ)

本文提出一種夜間拍照?qǐng)D像質(zhì)量增強(qiáng)算法。該算法提取閃光燈和無(wú)閃光燈條件下拍攝圖像較好的細(xì)節(jié)信息并將它融合到去噪后的無(wú)閃光燈圖像中，算法主要包括基于ASIFT的夜間圖像配準(zhǔn)和基于細(xì)節(jié)重構(gòu)的圖像融合兩個(gè)模塊。實(shí)驗(yàn)結(jié)果表明，基于ASIFT的夜間圖像配準(zhǔn)算法，將待增強(qiáng)的圖像進(jìn)行配準(zhǔn)，避免由于特征點(diǎn)匹配對(duì)過(guò)于集中而導(dǎo)致過(guò)擬合的問(wèn)題，提高了配準(zhǔn)的精確度，可以有效地避免出現(xiàn)重影等問(wèn)題；基于細(xì)節(jié)重構(gòu)的圖像融合算法模塊有效地解決了色偏問(wèn)題和細(xì)節(jié)提取問(wèn)題，不僅能保留夜間光照氛圍，而且能夠增強(qiáng)圖像的細(xì)節(jié)信息，提高圖像清晰度。

本文提出的算法具有較強(qiáng)的普適性，可應(yīng)用于例如手機(jī)終端在夜間場(chǎng)景拍照的場(chǎng)合，通過(guò)連續(xù)拍攝兩張分別在閃光燈和無(wú)閃光燈條件下拍攝圖像，經(jīng)本文算法處理，可以獲得擁有夜間場(chǎng)景氛圍下比單純無(wú)閃光燈模式拍照質(zhì)量更好的圖像效果。

[1]GeorgPetschnigg,RichardSzeliski,ManeeshAgrawala,etal.DigitalPhotographywithFlashandNo-FlashImagePairs[J].ACMTransactionsonGraphics,2004,23(3):664-672.

[2]YuG,MorelJM.Afullyaffineinvariantimagecomparisonmethod[C]//Acoustics,SpeechandSignalProcessing,2009.ICASSP2009.IEEEInternationalConferenceon.IEEE,2009:1597-1600.

[3] 高滿屯.透視投影的基本方程及變換矩陣[J].西北工業(yè)大學(xué)學(xué)報(bào),1987,5(4):140-148.

[4]MartinAFischler,RobertCBolles.Randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography[J].CommunicationsoftheACM,1981,24(6):381-395.

[5]ForsythDA.Anovelalgorithmforcolorconstancy[J].InternationalJournalofComputerVision,1990,5(1):5-35.

[6] 吳成茂.一種廣義直方圖及其在彩色圖像增強(qiáng)中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(22):164-167.

[7]BruceJ,BalchT,VelosoM.Fastandinexpensivecolorimagesegmentationforinteractiverobots[C]//IEEEInternationalConferenceonIntelligentRobotsandSystems,2000,3:2061-2066.

[8] 蔣剛毅,黃大江,王旭,等.圖像質(zhì)量評(píng)價(jià)方法研究進(jìn)展[J].電子與信息學(xué)報(bào),2010,32(1):219-226.

[9] 朱孔鳳,姜威,王瑞芳,等.一種新的圖像清晰度評(píng)價(jià)函數(shù)[J].紅外與激光工程,2005,34(4):464-468.

[10]ShannonCE.Amathematicaltheoryofcommunication[J].ACMSIGMOBILEMobieComputingandCommunicationsReview,2001,5(1):3-55.

RESEARCH AND IMPLEMENTATION OF IMAGE ENHANCEMENT ALGORITHM FOR NIGHTTIME IMAGE

Zeng Hao1Yang Rongjian2Chen Peng2

1(NorthwestRegionalAirTrafficManagementBureauofCAAC,Xi’an710086,Shaanxi,China)2(SchoolofTelecommunicationEngineering,XidianUniversity,Xi’an710071,Shaanxi,China)

When smart device take picture at night, the conventional image fusion algorithm of flash and no-flash image pairs has problems of inaccuracy of image registration and unsatisfied result of image enhancement. Thus, an image enhancement algorithm for nighttime image is proposed. Firstly, in order to avoid the over-fitting problem caused by feature points which are too concentrated, a nighttime image registration algorithm based on Affine-SIFT is proposed to register flash and no-flash image pairs. Next, the presented method used image fusion algorithm based on detail reconstruction to fuse the registered flash and no-flash image pairs. The experimental results show that the proposed algorithm can improve the accuracy of image registration and avoid the ghost in fused image. Furthermore, the proposed algorithm can improve the details in image and reduce color distortion. Flash and no-flash image pairs processed by the proposed algorithm can maintain ambient illumination in the no-flash image, improving the details and quality.

Image registration Image enhancement ASIFT Feature points equalization

2016-01-08。國(guó)家自然科學(xué)基金項(xiàng)目(61372068)。曾皓，助理工程師，主研領(lǐng)域：通信工程。楊榮堅(jiān)，碩士生。陳鵬，碩士生。

TP3

A

10.3969/j.issn.1000-386x.2017.04.033