一種多圖像局部結(jié)構(gòu)化融合的低照度圖像增強(qiáng)算法

徐少平 張貴珍 林珍玉 劉婷云 李崇禧

標(biāo)準(zhǔn)成像設(shè)備在背光、微光、夜間等照明條件不佳的環(huán)境下采集到的低照度圖像必須經(jīng)過增強(qiáng)處理后才能用于后繼的各類圖像處理任務(wù)[1?3].早期,低照度圖像增強(qiáng)(Low-light image enhancement,LLIE) 算法主要采用直方圖均衡化(Histogram equalization,HE)技術(shù)實(shí)現(xiàn)[4?5].HE 方法本質(zhì)上是通過拉伸圖像像素點(diǎn)灰度值的范圍讓它們?cè)谙到y(tǒng)允許范圍內(nèi)均衡分布,從而達(dá)到增加對(duì)比度的目的.因其實(shí)現(xiàn)復(fù)雜度低,得到了廣泛的應(yīng)用,但這類算法很容易出現(xiàn)過增強(qiáng)、欠增強(qiáng)、細(xì)節(jié)保護(hù)不佳等問題[6?8].近十年來,研究者發(fā)現(xiàn)倒置后的低照度圖像從直觀角度看起來很像霧霾圖像[9?10],因此借用去霧技術(shù)實(shí)現(xiàn)了一類視覺增強(qiáng)效果不錯(cuò)的LLIE 算法[9?10].這類算法雖然在大多情況下能產(chǎn)生較為理想的增強(qiáng)效果,但其結(jié)果缺乏令人信服的物理模型解釋,增強(qiáng)后的圖像中有時(shí)存在明顯的顏色失真.

在過去的十多年中,基于Reinex 光照物理模型實(shí)現(xiàn)的一類LLIE 算法[11?14]獲得了研究者的廣泛關(guān)注.該類算法通常利用對(duì)數(shù)函數(shù)將光學(xué)中照射分量(Illumination)與反射分量(Reflectance) 乘性關(guān)系轉(zhuǎn)換為加性關(guān)系處理,然后采用某種先驗(yàn)正則項(xiàng)構(gòu)建目標(biāo)函數(shù),并通過尋優(yōu)的方法估計(jì)照射分量,將低照度圖像中的照射分量分離后得到反映場(chǎng)景對(duì)象本身性質(zhì)的反射分量,從而實(shí)現(xiàn)圖像增強(qiáng).例如,Guo等[12]提出了一種稱為L(zhǎng)IME (Low-light image enhancement)低照度圖像增強(qiáng)算法.LIME 算法首先對(duì)低照度圖像照射分量進(jìn)行初步估計(jì),然后利用結(jié)構(gòu)先驗(yàn)知識(shí)對(duì)初步估計(jì)結(jié)果進(jìn)行優(yōu)化,最后根據(jù)優(yōu)化后的照射分量實(shí)現(xiàn)圖像增強(qiáng).此外,為了抑制增強(qiáng)圖像時(shí)引入的噪聲,LIME 算法采用了經(jīng)典BM3D (Block-matching and 3D filtering)[15]降噪算法完成增強(qiáng)圖像的后處理.上述各類LLIE 算法在設(shè)計(jì)上均是僅利用單一的低照度圖像作為算法的輸入,雖然在視覺上可以獲得比較理想的增強(qiáng)效果,但由于要完成照射分量和反射分量的分離,在執(zhí)行效率上偏低,在對(duì)執(zhí)行時(shí)間有嚴(yán)格要求的應(yīng)用中受到一定的限制.另外,單幅低照度圖像中所蘊(yùn)含的有效信息畢竟有限,導(dǎo)致這些算法不能全面有效地展示圖像中所有的細(xì)節(jié).因此,為充分利用自然圖像中所蘊(yùn)含的先驗(yàn)知識(shí)達(dá)到提高增強(qiáng)效果的目的,基于機(jī)器學(xué)習(xí)的LLIE 算法成為研究者關(guān)注的熱點(diǎn)[16?17].例如,Lore等[16]利用深層自動(dòng)編碼器構(gòu)建了稱為低照度圖像增強(qiáng)網(wǎng)絡(luò)的增強(qiáng)算法.Lore 算法能在對(duì)比度增強(qiáng)中有效地克服噪聲的影響,在一些常見測(cè)試圖像中能達(dá)到不錯(cuò)的增強(qiáng)效果.Park等[17]基于Retinex 模型原理將疊加式和卷積型兩種自動(dòng)編碼器相結(jié)合,提出了一種基于訓(xùn)練的LLIE 新算法,實(shí)現(xiàn)了低照度圖像增強(qiáng)和降噪功能.該算法首先使用帶有少量隱藏單元的堆疊式自動(dòng)編碼器估計(jì)輸入圖像的空間光滑照射分量,然后使用卷積自動(dòng)編碼器來處理圖像,以減少對(duì)比度增強(qiáng)過程中引入的噪聲.一般來說,基于機(jī)器學(xué)習(xí)實(shí)現(xiàn)的LLIE 算法,雖然能夠獲得比傳統(tǒng)方法更具優(yōu)勢(shì)的增強(qiáng)效果,但其性能仍然在一定程度上受到限制,其主要原因在于采集用于訓(xùn)練模型的圖像數(shù)據(jù)集合比較困難.

近年來,研究者們受高動(dòng)態(tài)范圍技術(shù)(將同一場(chǎng)景中拍攝的一組不同曝光度的圖像,通過圖像融合方法獲得高質(zhì)量輸出圖像)啟發(fā),基于給定的低照度圖像及基于它生成的多幅不同曝光度的圖像,通過將它們之間互補(bǔ)性的圖像信息融合在一起,獲得了更好的圖像增強(qiáng)效果[18?24],是研究LLIE算法的新方向之一.例如,Fu等[19]首先在Reinex模型下快速地將低照度圖像分解為照射分量和反射分量,對(duì)于照射分量使用局部和全局優(yōu)化技術(shù)增強(qiáng).然后,根據(jù)圖像質(zhì)量指標(biāo)設(shè)置像素點(diǎn)級(jí)的權(quán)重值,將原始、局部和全局優(yōu)化后的3 幅照射圖像在多尺度融合框架下融合為一幅最佳照射圖.最后,通過將優(yōu)化后的照射圖補(bǔ)償?shù)椒瓷浞至可汐@得最終的增強(qiáng)圖像.Fu 算法采用多尺度融合的方式提高了增強(qiáng)圖像的視覺質(zhì)量,在細(xì)節(jié)增強(qiáng)、局部對(duì)比度改善和自然度保持方面獲得了最佳平衡.但是該算法輸出的增強(qiáng)圖像中某些區(qū)域的可見性仍然不夠高.Liu等[22]提出了一種基于最優(yōu)加權(quán)多曝光融合機(jī)制的LLIE 算法.該算法首先使用多個(gè)色調(diào)映射函數(shù)構(gòu)造關(guān)于低照度圖像的多幅不同曝光度版本,接著根據(jù)視覺感知質(zhì)量度量自適應(yīng)地從所有的多曝光圖像序列中定位出局部最佳曝光區(qū)域,然后將它們無縫地集成到一個(gè)曝光良好的圖像中.經(jīng)過Liu 算法增強(qiáng)的圖像,能達(dá)到理想的顏色保真效果,同時(shí)也保留了低曝光圖像中的一些細(xì)節(jié),但是處理曝光度非常低的圖像仍無法取得令人滿意的效果.Ying等[18]提出了一種基于互信息最優(yōu)偽曝光技術(shù)的LLIE 新算法.該算法基于給定的低照度圖像,首先基于互信息最大化的原則利用偽曝光技術(shù)獲得一幅關(guān)于低照度圖像的適度曝光圖像,然后根據(jù)圖像像素亮度值設(shè)置權(quán)重將低照度圖像和適度曝光圖像兩幅圖像在像素級(jí)上完成融合.總體上,Ying 算法實(shí)現(xiàn)效率高且增強(qiáng)效果不錯(cuò),然而Ying 算法在計(jì)算融合圖像的權(quán)重時(shí)僅是考慮圖像像素點(diǎn)本身曝光度,這種圖像加權(quán)的方式對(duì)于自然圖像復(fù)雜的局部結(jié)構(gòu)過于簡(jiǎn)單,且對(duì)噪聲比較敏感,導(dǎo)致最終在增強(qiáng)后的圖像中仍然有很多圖像細(xì)節(jié)未能很好地得到保護(hù)和增強(qiáng).此外,Ying 算法僅采用一幅曝光適度的偽曝光圖像作為低照度圖像的互補(bǔ)圖像,所能提供的有用信息仍然不夠全面.在適度曝光的圖像中,仍然存在曝光不充分的區(qū)域需要增強(qiáng).

受Ying 等算法啟發(fā),為了獲得更好的圖像增強(qiáng)效果,本文提出了一種在多圖像局部圖像結(jié)構(gòu)化融合框架下的LLIE (Multi-image local structured fusion-based LLIE,MLSF-LLIE)算法,從待融合圖像制備和局部結(jié)構(gòu)化融合兩個(gè)方面對(duì)Ying算法進(jìn)行改進(jìn).基于給定的低照度圖像,MLSFLLIE 算法先利用預(yù)先訓(xùn)練的最佳曝光度預(yù)測(cè)模型(Optimal exposure ratio prediction model,OERPM)預(yù)測(cè)其最佳曝光度值,在偽曝光模型下制備用于融合的適度增強(qiáng)圖像和過曝光圖像(采用比最佳曝光度值更高的曝光度值生成)各一幅.此外,還將Fu 算法[19]輸出的增強(qiáng)圖像作為適度增強(qiáng)圖像參與融合.基于Reinex 光照物理模型構(gòu)建的Fu 算法所輸出的增強(qiáng)圖像,在細(xì)節(jié)保護(hù)、圖像保真度、噪聲抑制方面可以與Ying 偽曝光模型生成圖像形成很好的互補(bǔ)作用.另一方面,為了更好地保持圖像的邊緣和紋理細(xì)節(jié),采用了局部結(jié)構(gòu)化分解和重構(gòu)的融合技術(shù)將之前制備的圖像融合后作為最終的增強(qiáng)圖像.實(shí)驗(yàn)結(jié)果表明: 所提出的MLSF-LLIE 算法不僅能對(duì)低照度圖像中的對(duì)比度進(jìn)行合理調(diào)整,展現(xiàn)出更多的圖像內(nèi)容,而且很好地保護(hù)了圖像的邊緣細(xì)節(jié),在主客觀圖像質(zhì)量評(píng)價(jià)指標(biāo)上優(yōu)于現(xiàn)有大多數(shù)主流算法,這主要得益于充分利用了多幅不同曝光度圖像中的互補(bǔ)性信息和局部結(jié)構(gòu)化的融合.

1 相關(guān)的工作

1.1 Ying 算法簡(jiǎn)介

Ying 算法[18]本質(zhì)上屬于在像素點(diǎn)級(jí)上完成融合的低照度圖像增強(qiáng)算法,其核心框架可以形式化地描述為

其中,K是待融合圖像的數(shù)量,c={r,g,b},(i,j)表示待融合圖像集中第k幅圖像c通道上在空間位置 (i,j) 處對(duì)應(yīng)的像素點(diǎn)的亮度值,(i,j) 表示(i,j)的權(quán)重值,Rc(i,j)表示融合后圖像c通道上在像素點(diǎn)(i,j)處的亮度值,Ying 算法對(duì)圖像中不同空間位置處的像素點(diǎn)采用不同的權(quán)重進(jìn)行融合,其中,對(duì)曝光良好的像素點(diǎn)賦予更大的權(quán)重,反之則賦予較小的權(quán)重.在融合前利用歸一化操作保證各個(gè)待融合圖像同一像素點(diǎn)位置的權(quán)重滿足圖1給出了Ying算法的執(zhí)行流程框圖,其主要步驟為: 首先,基于給定的低照度圖像獲得一幅曝光適度的偽曝光圖像,Ying 算法采用亮度轉(zhuǎn)化函數(shù)(Brightness transform function,BTF)Ie=g(Io,δ) 生成一幅偽曝光圖像.函數(shù)g(·,·)中的參數(shù)Io是低照度圖像,δ是曝光度,而Ie則是依據(jù)基于Io和δ生成的偽曝光圖像.具體實(shí)現(xiàn)時(shí),Ying 算法僅生成一幅偽曝光圖像,而確定偽曝光圖像所需要的曝光度的過程則是通過窮舉搜索δ ∈[3,8]范圍內(nèi)[18]所有可能曝光度的偽曝光圖像,并與輸入低照度圖像計(jì)算互信息,采用互信息最大值所對(duì)應(yīng)的曝光值作為最佳曝光度,故執(zhí)行效率比較低.待融合圖像制備完成后,Ying 算法根據(jù)低照度和偽曝光圖像中對(duì)應(yīng)像素點(diǎn)位置曝光程度的好壞確定各個(gè)像素點(diǎn)權(quán)重,并利用式(1)完成像素級(jí)的圖像融合.由于Ying 算法僅使用兩幅圖像進(jìn)行融合,所以融合過程可以簡(jiǎn)化描述為

圖1 Ying 算法中實(shí)現(xiàn)低照度圖像增強(qiáng)的融合框架Fig.1 Fusion framework of low-light image enhancement in Ying algorithm

1.2 Ying 算法優(yōu)缺點(diǎn)分析

從圖1 中可以看出,原始低照度圖像經(jīng)過BTF函數(shù)偽曝光后,圖像中曝光不足的區(qū)域在偽曝光圖像中得到適度曝光.同時(shí),在原圖像曝光正常的區(qū)域,偽曝光圖像中也存在曝光過度的情況.這樣,原低照度圖像和偽曝光圖像正好可以形成互補(bǔ),因此通過合理融合后可以獲得令人滿意的增強(qiáng)效果.然而,在偽曝光圖像中可以觀察到人物區(qū)域的對(duì)比度仍然有待進(jìn)一步提高,Ying 算法所確定的最佳曝光度僅是從圖像全局角度出發(fā),在所有可能的曝光度范圍內(nèi)選擇一幅與原低照度圖像具有最高互信息的圖像參與融合.因此,在圖像中仍有很多局部細(xì)節(jié)無法得到充分的曝光,也存在過增強(qiáng)情況.故為了獲得更好的圖像增強(qiáng)效果,應(yīng)該使用更多圖像參與融合.此外,Ying 算法中像素點(diǎn)融合權(quán)值是根據(jù)像素點(diǎn)曝光度好壞直接確定,僅由像素點(diǎn)亮度值來決定,沒有考慮圖像局部結(jié)構(gòu)的細(xì)節(jié)信息,因此融合后的圖像中存在對(duì)紋理細(xì)節(jié)保護(hù)不夠的問題.

2 MLSF-LLIE 算法

2.1 改進(jìn)思想

本文從獲得更多、更好且與低照度圖像具有互補(bǔ)性圖像和改進(jìn)圖像融合權(quán)重設(shè)置機(jī)制兩個(gè)方面入手,試圖進(jìn)一步改進(jìn)Ying 算法的性能.所提出的MLSF-LLIE 算法分為兩個(gè)階段來完成:

1)待融合圖像制備階段.首先,采用與圖像質(zhì)量評(píng)價(jià)(Image quality assessment,IQA)算法類似的實(shí)現(xiàn)方法,在樣本圖像數(shù)據(jù)庫(kù)上通過訓(xùn)練的方法構(gòu)建圖像質(zhì)量感知特征(主要用來刻畫對(duì)比度等反映低照度圖像質(zhì)量的特征)與最佳曝光度之間映射函數(shù),得到OERPM 最佳曝光度預(yù)測(cè)模型.一旦模型訓(xùn)練完成,利用該模型可以直接基于低照度圖像得到它的最佳曝光度值δopt,從而基于δopt利用BTF 函數(shù)即可生成一幅最佳偽曝光圖像(作為適度增強(qiáng)圖像),無需像Ying 算法那樣窮舉搜索最佳曝光度值.同時(shí),還可以在最佳曝光度值δopt的基礎(chǔ)上提高△δ(△δ=1 為經(jīng)驗(yàn)值),生成一幅過曝光圖像使得最佳偽曝光圖像中仍然有可能未得到充分曝光的區(qū)域得到充分曝光.另外,本文將Fu 算法[19]所輸出的圖像作為適度增強(qiáng)圖像來使用,讓其參與圖像融合.Fu 算法能夠在背光、非均勻光照和夜間拍照等情況下實(shí)現(xiàn)較好的增強(qiáng)效果(在局部對(duì)比度增強(qiáng)和圖像自然保持度方面具有優(yōu)勢(shì),但圖像整體偏暗).故將其輸出圖像作為適度增強(qiáng)圖像,與Ying算法生成的適度增強(qiáng)圖像可形成互補(bǔ).

2)融合階段.改變Ying 算法基于像素點(diǎn)級(jí)別且僅依賴像素點(diǎn)曝光度設(shè)置權(quán)重系數(shù)的融合策略,采用在圖塊級(jí)上完成圖像融合的方法,具體分為3個(gè)步驟實(shí)現(xiàn): a)提取待融合圖塊集合并完成結(jié)構(gòu)化分解[25].以 (i,j) 像素點(diǎn)為中心像素點(diǎn)的融合過程為例,提取K個(gè)融合圖像在 (i,j) 像素點(diǎn)處的圖塊集合{Pk(i,j)|1≤k ≤K},并將這些圖塊分解為對(duì)比度(Contrast)值、紋理結(jié)構(gòu)(Structure)矢量和亮度值(Brightness)三個(gè)分量.b)分別完成三個(gè)分量的融合.對(duì)于對(duì)比度分量來說,由于對(duì)比度分量是人眼感覺圖像內(nèi)容最重要的決定性因素,因此在各個(gè)待融合圖塊中具有最高對(duì)比度值的分量值直接作為融合后圖塊的對(duì)比度分量值;紋理結(jié)構(gòu)分量主要是用來刻畫圖像的邊緣細(xì)節(jié)信息,各個(gè)待融合圖塊的紋理結(jié)構(gòu)分量在最終融合圖塊中所占權(quán)重將根據(jù)(i,j)處相位一致性(Phase congruence,PC)系數(shù)值來設(shè)置;對(duì)于亮度值分量,理論上亮度值越高,人眼的關(guān)注度更高,各個(gè)待融合圖塊的亮度值在最終融合圖塊中所占的權(quán)重將根據(jù) (i,j) 處視覺顯著度(Graph-based visual saliency,GBVS)系數(shù)值[26]來設(shè)置.c)重構(gòu)圖塊.按照分解過程的逆過程將融合后的三個(gè)分量重構(gòu)為圖塊,作為融合后圖像在(i,j)處的圖塊.

2.2 偽曝光圖像制備

2.2.1 圖像質(zhì)量感知特征

所提出的OERPM 模型是基于訓(xùn)練策略在大量典型圖像上構(gòu)建對(duì)比度感知特征值與最佳偽曝光度之間的回歸預(yù)測(cè)模型,類似于IQA 算法的工作框架,只是目標(biāo)函數(shù)值為最佳偽曝光度值而已.其中,提取能夠反映給定低照度圖像質(zhì)量的感知特征矢量是基礎(chǔ)性的工作.為了刻畫低照度圖像的圖像特性,本文采用了3 種類型的特征值.第1 類為基于對(duì)比度能量定義的特征值[27],其定義為

其中,Y(Ic)=((Ic ?ch)2+(Ic ?cv)2)1/2,c={r,g,b}分別表示彩色圖像I的3 個(gè)通道,ch和cv分別代表高斯函數(shù)的水平和垂直方向的二階導(dǎo)數(shù).參數(shù)α=max[Y(Ic)],θ控制對(duì)比度增益,?c作為閾值來限制噪聲的影響.第2 類為在PC 相位一致性映射圖基礎(chǔ)上定義的熵

其中,IPC是圖像I對(duì)應(yīng)的灰度圖像上的PC 映射圖,其具體定義可參見式(10).第3 類為反映圖像銳度的特征值,其主要通過計(jì)算圖像小波子帶的對(duì)數(shù)能量來定義.為計(jì)算該特征值,首先使用9/7 離散小波變換(Discrete wavelet transform,DWT)濾波器將灰度圖像在3 個(gè)尺度上進(jìn)行分解,獲得分解后的子帶分量為{LHl,HLl,HHl|l=1,2,3},然后計(jì)算每個(gè)子帶能量的對(duì)數(shù)值

其中,n分別代表LH (Low-high)、HL (High-low)和HH (High-high)子帶,而Nl是在l尺度的DWT系數(shù)值的總數(shù),基于此,最后計(jì)算每個(gè)尺度上的對(duì)數(shù)能量

其中,參數(shù)ω=4,其目的是給予 H H 子帶上更大的權(quán)重.由于尺度1 對(duì)圖像質(zhì)量描述能力差,故僅選用在尺度2 和尺度3 上獲得的能量對(duì)數(shù)特征值作為描述圖像質(zhì)量的感知特征值Fs={LE2,LE3}.這樣,共選6個(gè)特征值來刻畫圖像質(zhì)量的優(yōu)劣,即F={CEr,CEg,CEb,EPC,LE2,LE3}.

2.2.2 構(gòu)建OERPM 模型

對(duì)于任意給定的一幅用于訓(xùn)練的低照度圖像,采用窮盡搜索的方法在δ∈[3,8] 范圍[18]內(nèi)以間隔0.1 的步長(zhǎng)生成一系列對(duì)應(yīng)的偽曝光圖像,并利用無參考的圖像質(zhì)量評(píng)價(jià)(No-reference image quality assessment)算法度量每個(gè)偽曝光圖像的圖像質(zhì)量,從中選擇質(zhì)量最好的偽曝光圖像并記錄對(duì)應(yīng)的曝光度值δ.這樣,對(duì)于給定的低照度訓(xùn)練圖像集合,依據(jù)上述方法可以從每幅低照度圖像中提取的特征矢量Fi={CEr,CEg,CEb,EPC,LE2,LE3}及其對(duì)應(yīng)的最佳曝光度值δi從而構(gòu)成訓(xùn)練集{(F1,δ1),(F2,δ2),···,(FN,δN)}?F ×R.基于此,可以通過訓(xùn)練的方法獲得預(yù)測(cè)函數(shù)φ(·),以實(shí)現(xiàn)圖像質(zhì)量感知特征矢量到最佳曝光度值之間的映射.鑒于深度置信網(wǎng)絡(luò)(Deep belief network,DBN)[28]強(qiáng)大的預(yù)測(cè)非線性映射能力,本文采用DBN 網(wǎng)絡(luò)實(shí)現(xiàn)上述的預(yù)測(cè)模型.

2.3 局部結(jié)構(gòu)化融合

2.3.1 信號(hào)分解

為了充分利用像素點(diǎn)及其鄰域像素點(diǎn)的局部結(jié)構(gòu)關(guān)系,實(shí)現(xiàn)在圖像增強(qiáng)過程中更好地保護(hù)圖像中的紋理邊緣細(xì)節(jié)信息,MLSF-LLIE 算法采用在圖塊級(jí)上進(jìn)行圖像融合[25].首先,用{Pk(i,j)|1≤k ≤K}表示一組在K幅不同曝光程度圖像的同一空間位置 (i,j) 像素點(diǎn)處提取的K個(gè)圖塊集合.對(duì)于Pk圖塊將其列矢量化為cN2維的列矢量Pk,c是每幅輸入圖像的通道數(shù)(灰度圖像時(shí)值取1,彩色圖像時(shí)值取3),N是圖塊的長(zhǎng)和寬大小.對(duì)于Pk所表示的列矢量,可以將其分解為由對(duì)比度值、紋理結(jié)構(gòu)矢量和亮度值3 個(gè)分量構(gòu)成

其中,φ1,φ2,φ2分別是各個(gè)分量的融合函數(shù).

2.3.2 對(duì)比度分量融合

融合后圖塊的對(duì)比度分量直接采用所有參與融合的對(duì)比度值中最大值

2.3.3 紋理結(jié)構(gòu)矢量融合

為了在融合后結(jié)構(gòu)矢量分量中保留更多結(jié)構(gòu)信息,利用相位一致性PC 值來加權(quán)各個(gè)sk.PC 值作為在頻率域上定義的度量值,是一個(gè)無量綱的量,它的值在[0,1]范圍內(nèi).它原本是一種檢測(cè)圖像邊緣特征的方法,可以檢測(cè)出邊緣細(xì)節(jié)特征且能很好地反映人眼視覺特點(diǎn),尤其是PC 值的大小不會(huì)因?yàn)樵紙D像的亮度和對(duì)比度而受到影響.根據(jù)文獻(xiàn)[29],PC 可以從構(gòu)建能量模型角度定義為

其中,|E(i,j)|表示在空間位置上 (i,j) 像素點(diǎn)的局部能量,是局部振幅.en和on分別是偶和奇對(duì)稱log-Gabor 濾波器的響應(yīng)[30].由式(10)可知,PC 值即為局部能量與所有局部振幅之和的比值,它實(shí)質(zhì)上是圖像各個(gè)頻率成分的相位相似度的一種度量.普通邊緣檢測(cè)算子的原理是基于灰度圖像像素值梯度的變化程度實(shí)現(xiàn)邊緣的檢測(cè),其檢測(cè)結(jié)果嚴(yán)重依賴于圖像亮度和對(duì)比度,然而PC 值對(duì)于圖像中的邊緣細(xì)節(jié)檢測(cè)能力卻很強(qiáng),即使是在對(duì)比度非常弱的區(qū)域,也能夠檢測(cè)到邊緣細(xì)節(jié)的存在,因?yàn)樗皇軋D像亮度或?qū)Ρ榷茸兓挠绊?為了保護(hù)好參與融合圖塊中的{Pk(i,j)|1≤k ≤K}的紋理邊緣信息,本文從待融合圖像上獲得的PC 映射圖系數(shù)值作為加權(quán)系數(shù),其歸一化后為

這樣,融合后的紋理結(jié)構(gòu)矢量可以計(jì)算為

為了更加直觀地展示PC 度量值實(shí)際加權(quán)效果,圖2 列出了一幅低照度圖像的原始圖像、適度曝光和過曝光圖像及其它們對(duì)應(yīng)的PC 映射圖.其中,圖2(a)是原圖,圖2(b)是利用BTF 函數(shù)根據(jù)模型預(yù)測(cè)最佳曝光度δopt下生成的適度曝光的圖像,圖2(c)則是在曝光度δopt+1 下生成的過曝光圖像.圖2(d)～ 2(f)則是分別與之對(duì)應(yīng)的PC 映射圖,在PC 映射圖中,亮度越高表示該像素點(diǎn)處的紋理結(jié)構(gòu)強(qiáng)度更高.由圖2(a)～ 2(c)可以看出: 隨著圖像曝光度逐漸增強(qiáng),石屋門的上方原本不易觀察的區(qū)域在亮度和對(duì)比度方面逐漸改善,這在PC 映射圖上得到相應(yīng)反映,PC 映射圖也越來越亮.這意味著適度曝光圖像或者過曝光圖像中這些區(qū)域中的像素點(diǎn)在未來融合時(shí)所占的權(quán)重系數(shù)將更大一些,符合設(shè)計(jì)要求.

圖2 待融合圖像紋理結(jié)構(gòu)權(quán)重的比較分析Fig.2 The weight analysis of the texture structure component for images to be fused

2.3.4 亮度值分量融合

本文利用GBVS 視覺顯著性度量[26]作為各個(gè)Pk圖塊中亮度值分量在融合時(shí)所占的權(quán)重系數(shù),具體步驟如下: 首先,獲取多尺度的亮度信息.對(duì)輸入的圖像Ik轉(zhuǎn)化成的灰度圖,使用高斯金字塔低通濾波器對(duì)其進(jìn)行濾波.高斯金字塔的每一層都是一個(gè)二維高斯低通濾波器

其中,(i,j) 為圖像中點(diǎn)的位置,σ稱為尺度因子.其次,獲取多尺度的方位信息.用Gabor 金字塔濾波器組對(duì)原始灰度圖像Ik進(jìn)行濾波,以得到方向上的信息.二維Gabor 濾波器表示為

其中,σ為尺度因子,f為正弦波頻率,θ為方位.一般情況下可以取θ=[0,π/4,π/2,3π/4].即在4 個(gè)方向上濾波,可以得到4 組不同尺度下的濾波結(jié)果.然后,求不同尺度和不同特征圖的馬爾科夫平衡.對(duì)上述每個(gè)通道內(nèi)每個(gè)尺度的濾波結(jié)果,根據(jù)其像素間的差異和歐氏距離建立各自的馬爾科夫鏈,然后求其馬爾科夫平衡分布.最后在所有組、所有尺度的濾波結(jié)果依次計(jì)算出平衡分布后,將結(jié)果按照通道疊加起來并歸一化得到顯著圖.與PC 映射圖的用法類似,對(duì)于參與融合的圖像Ik,在計(jì)算其各個(gè)待融合圖像的GBVS 映射圖后,以GBVS 映射圖數(shù)值作為加權(quán)系數(shù),其歸一化后為

這樣,融合后圖塊的亮度強(qiáng)度分量可以計(jì)算為

為了展示GBVS 視覺顯著度對(duì)分量的加權(quán)的處理效果,圖3(d)～ 3(f)給出了圖3(a)～ 3(c)對(duì)應(yīng)的GBVS 映射圖.在各個(gè)GBVS 映射圖中,容易觀察到的區(qū)域用顯著的顏色標(biāo)出,顏色越紅表示關(guān)注度越高.從圖3(d)～ 3(f)中可以看出,隨著曝光度的增高,人眼對(duì)圖像的關(guān)注點(diǎn)從完全專注于圖像的背景部分(遠(yuǎn)處房屋密集區(qū))開始逐漸向前景部分(近處屋頂周圍)擴(kuò)展,這與低照度圖像經(jīng)過偽曝光后,圖像前景部分的對(duì)比度增強(qiáng)有顯著對(duì)應(yīng)關(guān)系,表明在適度曝光和過曝光圖像中,前景房頂區(qū)域?qū)⒃谖磥砣诤系臅r(shí)候所占據(jù)權(quán)重將更大,這與設(shè)計(jì)目標(biāo)相一致,故采用GVBS 映射圖作為加權(quán)系數(shù)可以更好地反映人眼視覺關(guān)注圖像信息的特點(diǎn).

圖3 待融合圖像亮度值權(quán)重的比較分析Fig.3 The weight analysis of the brightness component for images to be fused

2.3.5 重構(gòu)

一旦由式(9)、式(12)和式(16)分別確定、、分量,可得到融合后的矢量.根據(jù)式(7)的逆過程,可得到融合后的圖塊.上述融合過程在圖塊級(jí)上完成的,在具體實(shí)現(xiàn)時(shí),以光柵掃描過程提取重疊的(Overlapped)圖塊并進(jìn)行融合.融合圖像某一空間位置 (i,j) 處的像素點(diǎn)亮度值其實(shí)是以(i,j)處周圍相鄰像素點(diǎn)為中心像素點(diǎn)各個(gè)重疊重構(gòu)圖塊在 (i,j) 處亮度值的均值[31].

2.4 噪聲抑制

與文獻(xiàn)[12,19,32]采取的策略相同,在低照度圖像完成增強(qiáng)完成后,本文利用經(jīng)典BM3D 降噪算法[15]完成噪聲抑制.文獻(xiàn)[12,19,32] 在利用BM3D 算法降噪時(shí)并沒有考慮到不同低照度圖像增強(qiáng)后圖像中噪聲的嚴(yán)重程度是不同的,而是使用某個(gè)固定噪聲水平值σ(或人工設(shè)置)作為BM3D入口參數(shù)值,這使得BM3D 算法完成降噪任務(wù)時(shí)并不能在噪聲抑制和圖像細(xì)節(jié)保護(hù)之間獲得最佳的平衡.為此,本文基于筆者之前在文獻(xiàn)[33]中的工作,利用所提出的噪聲水平估計(jì) (Noise level estimation,NLE)算法估計(jì)增強(qiáng)后圖像中的噪聲水平值大小,并將該值作為BM3D 算法的入口參數(shù)值.這樣可以根據(jù)增強(qiáng)圖像中噪聲的嚴(yán)重程度自適應(yīng)完成降噪,從而在圖像降噪和細(xì)節(jié)保護(hù)兩個(gè)方面實(shí)現(xiàn)最佳的平衡,相關(guān)的實(shí)驗(yàn)結(jié)果在下一節(jié)中給出.

3 實(shí)驗(yàn)與分析

3.1 測(cè)試環(huán)境

為了驗(yàn)證所提出的MLSF-LLIE 算法對(duì)低照度圖像的圖像增強(qiáng)效果,從文獻(xiàn)[11,18,34]、文獻(xiàn)[19?20]、文獻(xiàn)[35]、文獻(xiàn)[36]和文獻(xiàn)[37]中選取了15 幅、22 幅、41 幅、8 幅和4 幅(共90 幅)低照度圖像.這些圖像沒有無失真圖像作為參考圖像,只能用無參考IQA 評(píng)價(jià)指標(biāo)進(jìn)行度量.另外,從文獻(xiàn)[37]中隨機(jī)選取了90 幅低照度圖像(有原始對(duì)應(yīng)的無失真圖像作為參考圖像,可用無參考和有參考IQA 評(píng)價(jià)指標(biāo)來進(jìn)行度量).測(cè)試圖像集中8 幅有代表性的低照度圖像如圖4 所示.選取了7 個(gè)主流LLIE 算法參與對(duì)比,即HVS[38]、Fu2016a[20]、Fu2016b[19]、Ying[18]、LIME[12]、Li[11]和FFMD[32].其中,對(duì)比算法均采用其默認(rèn)的最優(yōu)參數(shù),而所提出的MLSF-LLIE 算法由于采用4 幅圖像參與融合,過度曝光值采用在最佳曝光度值的基礎(chǔ)上提高1,故MLSF-LLIE 算法關(guān)鍵參數(shù)設(shè)置為K=4 ,?δ=1.采用NIQMC (No-reference image quality metric for contrast distortion)[39]、BIQME (Blind image quality measure of enhanced)[40]、BOIEM (BIQME-optimized image enhancement method)[40]和IL-NIQE (Integrated local natural image quality evaluator)[41]四個(gè)無參考IQA 指標(biāo)以及IWPSNR (Information content weighted peak signal to noise ratio)[42]和IW-SSIM (Information content weighted structure similarity index measure)[42]兩個(gè)有參考IQA 指標(biāo)衡量各個(gè)算法的圖像增強(qiáng)效果.其中,NIQMC、BIQME 和BOIEM (后兩個(gè)指標(biāo)考慮了亮度、色彩等失真情況)三個(gè)指標(biāo)值越高,表示圖像中的對(duì)比度越好,但對(duì)圖像整體的圖像質(zhì)量描述能力相對(duì)較弱,并不表示整體的圖像質(zhì)量就一定好.ILNIQE 是一個(gè)通用型的無參考IQA 指標(biāo),所評(píng)價(jià)的失真類型比較全面,該指標(biāo)值越小則表示圖像整體質(zhì)量越好.IW-PSNR 和IW-SSIM 這兩個(gè)有參考IQA 指標(biāo)值越大,則表示與原始無失真圖像越接近,圖像增強(qiáng)的效果越好.相對(duì)來說,有參考評(píng)價(jià)指標(biāo)比無參考評(píng)價(jià)指標(biāo)度量圖像質(zhì)量更為準(zhǔn)確一些.實(shí)驗(yàn)的硬件平臺(tái)為: Inter(R) Core(TM) i7-4770、3.40 GHz CPU、16 GB 內(nèi)存,軟件環(huán)境為:Windows 7.0 操作系統(tǒng),MATLAB R2017b 編程環(huán)境,全部實(shí)驗(yàn)都是在以上的統(tǒng)一環(huán)境下完成.

圖4 測(cè)試集中選出的8 幅有代表性的圖像集合Fig.4 Eight representative images selected from the test set

3.2 代表性圖像增強(qiáng)效果分析

為了更加直觀地評(píng)價(jià)各個(gè)對(duì)比算法的視覺增強(qiáng)效果,圖5～ 7 列出了不同光照情況的低照度圖像經(jīng)過各算法增強(qiáng)后的效果圖.其中,圖5 給出了在夜晚(極差照明條件下)拍攝的Tree 圖像的增強(qiáng)效果圖.從視覺上看,圖5(b)和圖5(c)依然比較暗,表明其分別對(duì)應(yīng)的HVS 和Fu2016a 算法對(duì)這類嚴(yán)重的低照度圖像增強(qiáng)效果不佳.圖5(d)和圖5(f)中樹區(qū)域部分則增強(qiáng)得過亮并且亮區(qū)和暗區(qū)的交界處出現(xiàn)了馬賽克現(xiàn)象(箭頭所指處),這說明Fu2016a和LIME 算法在增強(qiáng)圖像的同時(shí)不能很好地保持圖像局部紋理結(jié)構(gòu).圖5(e)也出現(xiàn)了馬賽克現(xiàn)象,并且圖像整體上有霧化感覺,其主要原因是Ying算法是通過伽馬校正函數(shù)來調(diào)整圖像中像素點(diǎn)的亮度,難以保證顏色不失真.另外,該算法沒有考慮圖像局部的結(jié)構(gòu)信息,從而導(dǎo)致增強(qiáng)后圖像也有馬賽克現(xiàn)象.圖6(g)整體圖像不夠清晰,這是由于Li 算法在增強(qiáng)的同時(shí)做了降噪處理,但在去除噪聲的同時(shí)也導(dǎo)致圖像的一些紋理和細(xì)節(jié)信息被模糊了.圖5(h)則霧化效果更為嚴(yán)重,這是由于FFMD 算法只是簡(jiǎn)單地用相機(jī)響應(yīng)模型調(diào)整圖像的對(duì)比度,采用BM3D 降噪時(shí)也模糊了圖像的紋理細(xì)節(jié).圖5(d)是Fu2016b 算法輸出的圖像,它作為所提出的MLSF-LLIE 算法的待融合圖像.可以發(fā)現(xiàn)圖5(d)中存在的過亮和馬賽克現(xiàn)象并沒有最終出現(xiàn)在圖5(i)中,表明MLSF-LLIE 算法的局部結(jié)構(gòu)化融合策略充分利用了其他待融合圖像中更為合理的信息抑制了圖5(d) 中視覺效果不好的內(nèi)容,所提出的PC和GBVS 映射圖作為加權(quán)系數(shù)起了一定的作用.從表1 中所列各子圖對(duì)應(yīng)指標(biāo)值來看,相比較而言,所提出的MLSF-LLIE 算法在BOIEM、BIQME和NIQMC 三個(gè)指標(biāo)上處于中等以上的水平,表明對(duì)低照度圖像的對(duì)比度進(jìn)行了適度的增強(qiáng),而在對(duì)圖像質(zhì)量有著更為全面衡量的IL-NIQE 指標(biāo)上則是排名第一,顯著優(yōu)于其他對(duì)比算法.這說明MLSFLLIE 算法在主觀感覺上比較符合人眼視覺感受,圖像整體增強(qiáng)效果比較協(xié)調(diào).

圖5 各個(gè)算法在Tree 圖上增強(qiáng)效果對(duì)比Fig.5 Visual comparison of the results obtained with competing algorithms on Tree image

表1 各個(gè)對(duì)比算法對(duì)Tree 圖像增強(qiáng)后的無參考指標(biāo)值比較Table 1 Performance comparison of each algorithm on Tree image

圖6 展示的是傍晚拍攝的一幅低照度(微光照明條件) Tower 圖像,圖像的前景部分很暗,而背景天空部分則曝光較好.與圖5 中的情況類似,圖6(f)部分區(qū)域也出現(xiàn)了明顯的馬賽克現(xiàn)象(如箭頭所指處).為了更加直觀地比較各算法對(duì)細(xì)節(jié)的增強(qiáng)效果,提取圖像局部區(qū)域內(nèi)容進(jìn)行放大觀察.只有利用MLSF-LLIE 算法所得到的圖6(i)在塔的墻面紋理保持得最為清晰,塔上兩個(gè)窗口狀的結(jié)構(gòu)清晰可見,而亮度也比較高,達(dá)到圖6(f)的水平,卻沒有顯著的馬賽克現(xiàn)象.圖6(d) (作為MLSF-LLIE 算法的待融合圖像)中較為模糊的信息并未帶入圖6(i)中,再次說明了局部結(jié)構(gòu)化融合機(jī)制能將各個(gè)待融合中最有利于視覺觀察的信息保留下來,PC 和GBVS映射圖作為加權(quán)系數(shù)起了一定的作用.總之,MLSFLLIE 算法一方面保持了低照度圖像中曝光好的區(qū)域,另一方面在增強(qiáng)圖像低曝光區(qū)域時(shí)也能很好地保持圖像的紋理細(xì)節(jié).從表2 所列指標(biāo)數(shù)據(jù)來看,IL-NIQE 指標(biāo)值排名第一,NIQMC、BIQME 和BOIEM 指標(biāo)值處于前列,表明對(duì)比度進(jìn)行了適度增強(qiáng),這充分說明了MLSF-LLIE 算法在處理低照度圖像時(shí)的優(yōu)勢(shì).

表2 各個(gè)對(duì)比算法對(duì)圖像Tower 增強(qiáng)后的無參考指標(biāo)值Table 2 Performance comparison of each algorithm on Tower image

圖6 各個(gè)算法在Tower 圖上增強(qiáng)效果對(duì)比Fig.6 Visual comparison of the results obtained with competing algorithms on Tower image

圖7 展示的是各算法在室內(nèi)低照度圖(光照條件適度良好,因拍攝角度的問題導(dǎo)致圖像質(zhì)量比較差)上的增強(qiáng)效果.從表3 列出的指標(biāo)來看,MLSFLLIE 算法IW-PSNR 和IW-SSIM 兩個(gè)有參考指標(biāo)上均獲得第一,在無參考指標(biāo)IL-NIQE 上排名第二.從圖7 可以看出,MLSF-LLIE 算法在圖像增強(qiáng)、細(xì)節(jié)保護(hù)、色彩保真、避免過度曝光等方面的綜合性能是最佳的,這都得益于選用多個(gè)互補(bǔ)性很強(qiáng)的待融合圖像和局部結(jié)構(gòu)化的融合機(jī)制將各個(gè)待融合圖像中最佳的紋理細(xì)節(jié)信息保留在最終的融合圖像中.

表3 各個(gè)對(duì)比算法對(duì)圖像Class 增強(qiáng)后的無參考指標(biāo)值Table 3 Performance comparison of each algorithm on Class image

圖7 各個(gè)算法在Class 圖上增強(qiáng)效果對(duì)比Fig.7 Visual comparison of the results obtained with competing algorithms on Class image

3.3 噪聲抑制效果對(duì)比

一般來說,低照?qǐng)D像中處于暗區(qū)域的噪聲會(huì)在增強(qiáng)后的圖像中不同程度地放大,對(duì)噪聲不加以抑制會(huì)嚴(yán)重影響圖像的整體質(zhì)量.Community 圖像就是一幅在圖像增強(qiáng)后噪聲非常突出的實(shí)例.這里采用筆者之前提出的NLE 算法[33]對(duì)圖像中的噪聲水平值進(jìn)行評(píng)估,作為抑制噪聲效果的度量.噪聲水平值越低表示圖像中噪聲嚴(yán)重程度越低,噪聲抑制效果越好.如圖8 所示,圖8(b)和圖8(c)中仍然存在明顯的噪聲,其對(duì)應(yīng)的噪聲水平值σ分別為4.20 和3.47,表明Fu2016b 和LIME 在所有算法中的抑制噪聲的能力較弱.圖8(d)、圖8(e)和圖8(f)的局部細(xì)節(jié)放大圖像增強(qiáng)視覺效果比較接近,噪聲水平值σ分別為2.28,1.78 和1.50.其中,所提出MLSF-LLIE 算法噪聲水平值指標(biāo)最低,且是圖8(d)、圖8(e)和圖8(f)中層次感覺最好的,這說明MLSFLLIE 算法對(duì)邊緣的保護(hù)能力是最好的,尤其體現(xiàn)在窗戶上端突出部分(邊緣清晰,層次分明).從圖像整體的增強(qiáng)效果來看,圖8(f)是圖8(d)、圖8(e)和圖8(f)中整體對(duì)比度最好的.圖8(f)的對(duì)比度恰到好處,說明MLSF-LLIE 算法對(duì)對(duì)比度增強(qiáng)是適度的,沒有出現(xiàn)圖8(c)那樣過度增強(qiáng)的情況.

圖8 各個(gè)算法在Community 圖像上抑制噪聲效果對(duì)比Fig.8 Comparison of denoising effect of each algorithm on Community image

3.4 總體性能比較

為了全面判定各個(gè)LLIE 算法的性能優(yōu)劣,本文 在以上數(shù)據(jù)集 (含180 幅圖像)上完成了測(cè)試,并計(jì)算了各個(gè)算法在各個(gè)指標(biāo)上的平均值.數(shù)據(jù)記錄在表4 和表5 中(排名前兩名用加粗字體表示).由表4 可知,MLSF-LLIE 算法在ILNIQE 指標(biāo)上排第一,說明本文算法在增強(qiáng)圖像的同時(shí)能有效地保護(hù)圖像的紋理結(jié)構(gòu),圖像質(zhì)量是最優(yōu)的.而在BOIEM、BIQME 和NIQMC 這三個(gè)指標(biāo)取得中等以上的成績(jī)則說明MLSF-LLIE 算法對(duì)低照度圖像的對(duì)比度進(jìn)行適度增強(qiáng).由表5 中可知,MLSFLLIE 算法在2 個(gè)有參考指標(biāo)IW-PSNR 和IWSSIM 上均獲得第一,在無參考的IL-NIQE 指標(biāo)上也是排名第一.綜上所述,MLSF-LLIE 算法在大量測(cè)試數(shù)據(jù)集上圖像增強(qiáng)能力是最好的.此外,執(zhí)行效率是度量低照度圖像增強(qiáng)算法性能好壞的另一項(xiàng)重要指標(biāo),表6 中列出了各個(gè)參與對(duì)比算法在90幅有參考低照度圖像上的平均執(zhí)行時(shí)間.其中,HVS、Fu2016a、Ying 和LIME 算法的執(zhí)行時(shí)間比較短,均控制在1 s 以內(nèi),但這4 個(gè)對(duì)比算法對(duì)低照度圖像的增強(qiáng)效果往往不夠理想.所提出的MLSFLLIE 算法的執(zhí)行時(shí)間在所有參與對(duì)比算法中處于中等水平,由于該算法需要利用Fu2016b 和Ying算法分別生成兩個(gè)待融合的適度曝光圖像,以及利用BTF 函數(shù)生成1 幅過曝光圖像進(jìn)行融合,加上圖像融合所需的執(zhí)行時(shí)間,故總執(zhí)行時(shí)間達(dá)到了4 s左右,但仍然控制在所有參與對(duì)比算法中的中等水平.從表4 和表5 中所列的各種客觀圖像質(zhì)量評(píng)價(jià)指標(biāo)數(shù)據(jù)來看,MLSF-LLIE 算法的增強(qiáng)能力是最好的.因此,綜合考慮執(zhí)行時(shí)間和增強(qiáng)效果兩個(gè)方面,MLSF-LLIE 算法在兩者之間達(dá)到了一個(gè)可接受的平衡點(diǎn).

表4 各個(gè)算法在90 幅無參考低照度圖像上的無參考指標(biāo)的平均值Table 4 Average performance of different competing algorithms on 90 low-light images without reference images

表5 各個(gè)算法在90 幅有參考低照度圖像上的無參考和有參考指標(biāo)的平均值Table 5 Average performance of different competing algorithms on 90 low-light images with reference images

表6 各個(gè)算法在90 幅有參考低照度圖像上的平均執(zhí)行時(shí)間比較(s)Table 6 The average execution time of the competing algorithms on 90 low-light images with reference images (s)

4 結(jié)束語

本文提出了一種稱為MLSF-LLIE 的多圖像局部結(jié)構(gòu)化融合的低照度圖像增強(qiáng)算法,該算法從待融合圖像制備和多圖像融合兩個(gè)方面對(duì)現(xiàn)有的Ying 算法進(jìn)行了改進(jìn).改進(jìn)算法可以充分利用中心像素點(diǎn)周圍局部的結(jié)構(gòu)化信息,在增強(qiáng)圖像對(duì)比度的同時(shí)有效地保持圖像的邊緣和紋理細(xì)節(jié),圖像失真程度低.

當(dāng)然,所提出的MLSF-LLIE 算法也存在一些不足: 1)噪聲抑制問題.目前,完成噪聲抑制的工作普遍是由經(jīng)典的BM3D 算法來完成[12,19,32].然而,BM3D 等大多數(shù)降噪算法在設(shè)計(jì)的時(shí)候均是假設(shè)噪聲圖像中的噪聲為加性高斯白噪聲,低照度圖像增強(qiáng)過程伴生的噪聲屬于信號(hào)相關(guān)噪聲(Signal dependent noise,SDN),并不完全符合高斯分布特性,故現(xiàn)有的降噪算法對(duì)此類噪聲處理的效果并不理想,需要專門研究相應(yīng)的降噪算法以獲得最佳的降噪效果.2)提高執(zhí)行效率問題.所提出的算法包括制備圖像和圖像融合兩個(gè)階段,目前它的執(zhí)行效率還有待提高.未來可以采用多通道卷積神經(jīng)網(wǎng)絡(luò)(Multi-channel convolutional neural network)構(gòu)建具有融合功能的神經(jīng)網(wǎng)絡(luò)模型,直接將上述融合操作功能體現(xiàn)在網(wǎng)絡(luò)模型的超參數(shù)當(dāng)中.總之,將所提出的MLSF-LLIE 算法中比較耗時(shí)的功能模塊用非線性映射能力強(qiáng)大的深度卷積網(wǎng)絡(luò)模型化以后,受圖形處理單元(Graphics processing unit,GPU)硬件支持的卷積神經(jīng)網(wǎng)絡(luò)可顯著提高其執(zhí)行效率.