低照度視頻圖像自適應(yīng)補(bǔ)償增強(qiáng)的設(shè)計(jì)與實(shí)現(xiàn)

楊佳義，陳 勇

（1. 重慶郵電大學(xué)移通學(xué)院智能工程學(xué)院，重慶401520； 2. 重慶郵電大學(xué)自動(dòng)化學(xué)院，重慶400065）

0 引言

低照度（微光、夜視或特殊場(chǎng)景）環(huán)境下，視頻圖像往往具有對(duì)比度低、信息量少、灰度譜帶寬窄、圖像層次感弱等缺陷，導(dǎo)致人眼難以辨識(shí)，因此，針對(duì)低照度視頻圖像增強(qiáng)的研究具有重要的現(xiàn)實(shí)意義［1-2］。

目前，低照度圖像增強(qiáng)的常用方法有基于直方圖均衡化［3］和 Retinex 理論［4］。直方圖均衡化會(huì)提高圖像全局對(duì)比度，并不適用于低照度視頻圖像局部增強(qiáng)，增強(qiáng)彩色圖像時(shí)還容易出現(xiàn)顏色失真。文獻(xiàn)［5-7］中提出了利用直方圖均衡化的改進(jìn) 算法 ；文獻(xiàn)［8］中提 出的 EFF（Exposure Fusion Framework）算法能獲取最佳曝光比，通過(guò)曝光融合增強(qiáng)圖像；文獻(xiàn)［9］中提出對(duì)低光照視頻圖像取反，加上去霧算法進(jìn)行增強(qiáng)。但這類改進(jìn)方法只對(duì)特定場(chǎng)景應(yīng)用有效，適用性差。

基于人類視覺(jué)的亮度和顏色感知的Retinex 理論通過(guò)分離原圖光照分量提取目標(biāo)圖像分量，傳統(tǒng)多尺度Retinex 算法［10］對(duì)R、G、B 三通道采用高斯模糊估計(jì)光照分量，破壞了原有的顏色關(guān)系，增強(qiáng)后圖像顏色嚴(yán)重失真。文獻(xiàn)［11］中提出的 LIME（Low-light image enhancement via Illumination Map Estimation）算法在RGB 三通道中尋找最大值來(lái)估計(jì)光照；文獻(xiàn)［12］中提出的MF（Multi-scale Fusion）算法基于形態(tài)閉合估計(jì)光照分量；文獻(xiàn)［13］中提出的NPEA（Naturalness Preserved Enhancement Algorithm for non-uniform illumination images）通過(guò)亮度濾波器和雙對(duì)數(shù)變換獲取光照分量。文獻(xiàn)［14］中將傳統(tǒng)的MSR（Multi-Scale Retinex）算法中的三個(gè)高斯濾波器替換為三個(gè)導(dǎo)頻濾波器來(lái)提取光照分量，通過(guò)改進(jìn)光照分量估計(jì)的方式改善了增強(qiáng)效果。但是該類算法引入了偽影噪聲，不利于低照度圖像信息挖掘。

基于深度學(xué)習(xí)的低照度圖像增強(qiáng)［15］算法的復(fù)雜度高，應(yīng)用于視頻圖像增強(qiáng)處理的實(shí)時(shí)性差。

針對(duì)上述問(wèn)題，本文算法依據(jù)人類視覺(jué)分辨率感知特性，在不引入偽信息的基礎(chǔ)上設(shè)置閾值補(bǔ)償增強(qiáng)低照度圖像，建立補(bǔ)償系數(shù)的自動(dòng)尋優(yōu)模型，并嵌入DirectShow 視頻處理平臺(tái)實(shí)現(xiàn)視頻圖像的自適應(yīng)增強(qiáng)。對(duì)比實(shí)驗(yàn)結(jié)果表明，本文算法在不引入偽影下，增強(qiáng)效果和實(shí)時(shí)性最好。

1 自適應(yīng)對(duì)比度分辨率補(bǔ)償

1.1 人類視覺(jué)對(duì)比度分辨率

人類視覺(jué)恰可分辨的差異稱為JND（Just Noticeable Difference），參考文獻(xiàn)［16］中關(guān)于對(duì)比度分辨率隨背景灰度變化的規(guī)律，見(jiàn)式（1）。

其中i為背景灰度：i ∈[0，47]為暗視覺(jué)，人眼的恰可分辨灰度

圖1 Flowerpot原圖Fig. 1 Original Flowerpot

對(duì)比度分辨率補(bǔ)償后，圖1 中掩蓋的盆栽和欄桿信息可以分辨出其形狀，有效改善了圖像質(zhì)量。采用平均灰度、信息熵、對(duì)比度、灰度層次和譜線帶寬等視覺(jué)感知圖像質(zhì)量特征參數(shù)分析圖像特征［17-18］，用于圖像的無(wú)參考客觀質(zhì)量評(píng)價(jià)［19］。

平均灰度AG（Average Gary）計(jì)算圖像的亮度水平，公式如下：

其中：Gray（m，n）為像素點(diǎn)（m，n）的灰度值。

圖像所含的信息用信息熵IE（Information Entropy）量度，差異呈指數(shù)變化；i ∈(47，255]為明視覺(jué)，恰可分辨的差異在1.17到1.75個(gè)灰度級(jí)。

1.2 對(duì)比度分辨率補(bǔ)償

低照度環(huán)境下圖像信息被背景掩蓋，如在0灰度附近需約23灰度級(jí)的差異才能達(dá)到1 JND，機(jī)器視覺(jué)能分辨1個(gè)灰度級(jí)差異，而人眼卻無(wú)法分辨。對(duì)恰可分辨的灰度級(jí)差異進(jìn)行比例積分運(yùn)算，暗視覺(jué)下相鄰灰度級(jí)補(bǔ)償?shù)? JND，使本來(lái)不能分辨的信息達(dá)到恰可分辨。低照度圖像的補(bǔ)償原理如下：

式中：OG（x，y）和TG（x，y）分別表示在圖像像素點(diǎn)坐標(biāo)（x，y）處補(bǔ)償前的原始灰度值和補(bǔ)償后的目標(biāo)灰度值，取值范圍為［0，255］。對(duì)于8 位的數(shù)字系統(tǒng)，補(bǔ)償后的目標(biāo)灰度值大于255，令其等于255，小于1 則令其等于0，否則會(huì)出現(xiàn)補(bǔ)色反色。k值為對(duì)比度分辨率補(bǔ)償比例系數(shù)，作為調(diào)節(jié)補(bǔ)償深度的可變參數(shù)。對(duì)圖1 的Flowerpot 原圖RGB 三通道分別作對(duì)比度分辨率補(bǔ)償，不同比例系數(shù)k 補(bǔ)償效果圖及度譜（對(duì)應(yīng)灰度圖像的灰度級(jí)像素分布）如圖2所示。公式如下：

其中：p（i）是灰度/色度為i的像素的概率（百分?jǐn)?shù)）。

一幅圖像的對(duì)比度用平均對(duì)比度AC（Average Contrast）量度：

其中：Cc(x，y)為像素點(diǎn)（x，y）的色度梯度。

灰度層次HF（Hierarchy Factor）反映圖像的柔和度，對(duì)于8位圖像系統(tǒng)，共有256灰度層次。圖像層次用灰度譜線的比例數(shù)表示，灰度層次HF定義為：

式中，n為圖像的灰度譜線數(shù)。

灰度譜帶寬BWF（BandWidth Factor）反映灰度譜分布結(jié)構(gòu)，百分帶寬表示為：

其中：RG、LG分別表示灰度譜的右值和左值。

圖2 不同補(bǔ)償比例系數(shù)k值的補(bǔ)償效果Fig. 2 Compensation effects of different compensation proportion coefficient k values

圖2 中不同比例系數(shù)k 值補(bǔ)償增強(qiáng)后圖像的質(zhì)量參數(shù)如表1所示，隨著比例系數(shù)k值的增大，圖像的平均灰度、平均對(duì)比度、灰度譜帶寬都增大，信息熵和灰度層次先增大后減小。

表1 不同補(bǔ)償比例系數(shù)k值補(bǔ)償后的圖像質(zhì)量評(píng)價(jià)參數(shù)Tab. 1 Image quality evaluation parameters with different compensation proportion coefficient k values

1.3 加閾值對(duì)比度分辨率的補(bǔ)償

比例積分補(bǔ)償變換后量化為［0，255］的數(shù)字量容易出現(xiàn)過(guò)補(bǔ)償和欠補(bǔ)償。如圖2（a）、（b）所示，當(dāng)補(bǔ)償比例系數(shù)取0.3 和0.5 時(shí)，明視覺(jué)灰度級(jí)分布集中，灰度譜帶寬小于1，對(duì)比度補(bǔ)償不足；如圖2（c）、（d）所示，當(dāng)補(bǔ)償比例系數(shù)取值過(guò)大時(shí)（如0.7、0.9），出現(xiàn)過(guò)補(bǔ)償，圖像效果有曝光現(xiàn)象。由式（1）知，當(dāng)補(bǔ)償程度小于1.5 個(gè)灰度級(jí)差異時(shí)，相鄰灰度級(jí)達(dá)不到最小可分辨差異，補(bǔ)償不再有意義。定義對(duì)比度分辨率補(bǔ)償程度為CDegree（Compensate Degree）：

由式（1）可知，明視覺(jué)的恰可分辨差異在1到2之間，為保證明視覺(jué)的灰度級(jí)達(dá)到恰可分辨，令明視覺(jué)補(bǔ)償程度CDegree為1.5，則CDegree為1.5 所對(duì)應(yīng)的灰度級(jí)為對(duì)比度分辨率補(bǔ)償閾值Th。定義加閾值的分段補(bǔ)償算法如下：

式中：TG(x，y)Th為閾值處的補(bǔ)償后的目標(biāo)灰度。當(dāng)補(bǔ)償程度CDegree≥1.5 時(shí)，采用比例積分補(bǔ)償；當(dāng)補(bǔ)償程度CDegree＜1.5時(shí)，進(jìn)行線性拉伸補(bǔ)償。

圖1 進(jìn)行加閾值的對(duì)比度分辨率補(bǔ)償，當(dāng)k= 0.5 時(shí)補(bǔ)償后的圖像如圖3所示。

圖3 加閾值的對(duì)比度分辨率補(bǔ)償效果Fig. 3 Compensation effect of contrast resolution with threshold

補(bǔ)償后灰度圖像的譜線具有了0到255的全帶寬譜線，挖掘暗視覺(jué)圖像信息的同時(shí)，保證了明視覺(jué)的補(bǔ)償程度，相較于圖2（a）中地面的柵條信息更加明顯，更適宜于圖像信息挖掘。加閾值前后補(bǔ)償圖像質(zhì)量評(píng)價(jià)參數(shù)對(duì)比如表2 所示，在相同的補(bǔ)償比例系數(shù)下，加入閾值補(bǔ)償后圖像的平均灰度、平均對(duì)比度、信息熵、灰度譜帶寬、灰度層級(jí)都提高了。

1.4 補(bǔ)償系數(shù)自適應(yīng)的提取

在視頻圖像處理應(yīng)用中，需要自適應(yīng)提取補(bǔ)償比例系數(shù)k值。補(bǔ)償系數(shù)不同時(shí)補(bǔ)償效果不同，如圖2 所示，隨著補(bǔ)償比例系數(shù)k值的增加，圖像的補(bǔ)償效果先由差逐漸變好，然后再由好逐漸變差，呈凸函數(shù)特性，具有最佳補(bǔ)償比例系數(shù)k值。通過(guò)提取視頻圖像特征參數(shù)，結(jié)合主觀評(píng)價(jià)方式選取補(bǔ)償后最佳圖像，建立補(bǔ)償比例系數(shù)k自動(dòng)尋優(yōu)模型，從而實(shí)時(shí)獲取單幀圖像最佳補(bǔ)償系數(shù)，建模技術(shù)方案如圖4所示。

表2 加閾值補(bǔ)償前后圖像評(píng)價(jià)質(zhì)量參數(shù)Tab. 2 Image quality evaluation parameters before and after compensation with threshold

圖4 補(bǔ)償比例系數(shù)k自動(dòng)尋優(yōu)模型建立技術(shù)方案Fig. 4 Technical scheme for establishing automatic optimization model of compensation proportion coefficient k

采集低照度環(huán)境下平均灰度值為0 到47 間的原始圖像20 幅，每幅圖像取5 個(gè)不同補(bǔ)償比例系數(shù)k，獲得測(cè)試圖像樣本集。參照數(shù)字電視圖像質(zhì)量主觀評(píng)價(jià)方法標(biāo)準(zhǔn)（GY/T134—1998）的觀察條件，組織10 名觀測(cè)員主觀評(píng)測(cè)選取最佳視覺(jué)效果圖像。觀測(cè)者在評(píng)價(jià)時(shí)，會(huì)因?yàn)檎J(rèn)知方向、知識(shí)背景、情緒等因素的不同而得出不同的評(píng)價(jià)結(jié)果。評(píng)價(jià)結(jié)果采用數(shù)學(xué)統(tǒng)計(jì)的方法，對(duì)每一組數(shù)據(jù)丟棄偏差過(guò)大評(píng)價(jià)結(jié)果，以均值方法提取最終評(píng)價(jià)結(jié)果。運(yùn)用數(shù)據(jù)分析軟件AGrapher 數(shù)理統(tǒng)計(jì)擬合最佳補(bǔ)償比例系數(shù)k的預(yù)測(cè)模型如圖5 所示。圖5 中橫坐標(biāo)為原圖平均灰度AGO（AG of Original image），縱坐標(biāo)為比例系數(shù)k，圖中圓圈為實(shí)驗(yàn)擇優(yōu)點(diǎn)實(shí)驗(yàn)數(shù)據(jù)，最佳補(bǔ)償比例系數(shù)k的預(yù)測(cè)模型關(guān)系如下：

其中：AGO為原始圖像平均灰度值。

圖5 最佳補(bǔ)償比例系數(shù)k值預(yù)測(cè)模型Fig. 5 Prediction model of optimal compensation proportion coefficient k value

2 視頻圖像自適應(yīng)補(bǔ)償增強(qiáng)

利用微軟提供的DirectShow 平臺(tái)開(kāi)發(fā)具有視頻圖像自適應(yīng)補(bǔ)償增強(qiáng)的應(yīng)用程序，來(lái)驗(yàn)證補(bǔ)償算法的實(shí)用性和實(shí)時(shí)性。

2.1 對(duì)比度分辨率補(bǔ)償Filter設(shè)計(jì)

DirectShow 是Windows平臺(tái)下通用的視頻處理技術(shù)，可以快速搭建視頻播放、捕獲和編輯應(yīng)用程序。為了實(shí)現(xiàn)視頻圖像自適應(yīng)補(bǔ)償增強(qiáng)，開(kāi)發(fā)對(duì)比度分辨率補(bǔ)償（Contrast Resolution Compensation，CRCpensate）Filter。以標(biāo)準(zhǔn)的 Transform Filter基本的類 CTransformFilter 作為父類。 重寫(xiě)函數(shù)CTransformFilter：：CheckInputType，調(diào)用 canPerformTransform函數(shù)檢查輸入的視頻的媒體格式；函數(shù)CTransformFilter：：CheckTransform 檢查輸出的媒體類型和輸入的媒體類型是否匹 配 ；CTransformFilter：：DecideBufferSize 通 過(guò) 本 Filter 的OutPutPin接口和下級(jí)InputPin接口協(xié)商預(yù)留每個(gè)Sample的緩存大?。籆TransformFilter：：GetMediaType 利用上一個(gè) Filter 支持的媒體類型來(lái)決定輸出的媒體類型；CTransformFilter：：Transform中實(shí)現(xiàn)對(duì)比度分辨率補(bǔ)償算法。

CRCpensate 類的Transform 函數(shù)從輸入Sample 中獲得視頻流數(shù)據(jù)，處理后放入輸出Sample 的內(nèi)存中，發(fā)送給Video Render。算法的實(shí)現(xiàn)流程如圖6所示。

在Transform函數(shù)中，獲得當(dāng)前媒體類型的代碼如下：

AM_MEDIA_TYPE*pmt=&（m_pInput-＞CurrentMediaType（））；//結(jié)構(gòu)體AM_MEDIA_TYPE定義媒體類型

為使Filter Graph Manage 調(diào)用補(bǔ)償Filter，注冊(cè)補(bǔ)償Filter，CLSID（Class Identifiers）為CLSID_CRCpensate。

2.2 視頻處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

DirectShow 的SDK（Software Development Kit）提供了各種流媒體的應(yīng)用案例，例程SimplePlayer提供了本地視頻播放的應(yīng)用示例，例程AMCap 提供了視頻采集應(yīng)用的示例。構(gòu)建視頻圖像處理鏈表響應(yīng)，鏈表創(chuàng)建的主要流程如圖7所示。

補(bǔ)償Filter 的CLSID 定義在iCRCpensate.h 文件中。應(yīng)用程序中通過(guò)包含initguid. h 頭文件來(lái)將CLSID 定義轉(zhuǎn)換成GUID （Globally Unique IDentifier） 常 量 形 式 。 在BuildProcessGraph 函數(shù)中實(shí)現(xiàn)視頻采集處理鏈表，ICaptureGraphBuild2 接口提供的RenderStream 智能連接方式自動(dòng)完成了指定Pin后續(xù)的Filter鏈路的構(gòu)建。建立新的處理鏈表，插入補(bǔ)償Filter，先找到智能連接的原鏈表中的SmartTee Filter，銷毀 SmartTee Filter 后面的 Filter，建立實(shí)時(shí)預(yù)覽和實(shí)時(shí)處理的鏈表。

函數(shù)FindFilterByCLSID 通過(guò)濾波器的CLSID 號(hào)CLSID_SmartTee 找到 SmartTee Filter，NukeDownstream 函數(shù)實(shí)現(xiàn)銷毀SmartTee Filter 下游的所有 Filter，AddFilter 方法加入對(duì)比度分辨率補(bǔ)償Filter，并創(chuàng)建后面的鏈表。

圖6 補(bǔ)償算法流程Fig. 6 Flowchart of compensation algorithm

圖7 創(chuàng)建補(bǔ)償鏈表流程Fig. 7 Flowchart of compensation link list creation

在AMCap 原有窗口添加視頻補(bǔ)償處理命令，實(shí)時(shí)視頻處理窗口如圖8所示。

圖8 實(shí)時(shí)視頻處理窗口Fig. 8 Real-time video processing window

本地視頻處理播放器設(shè)計(jì)如圖9 所示，主對(duì)話框左右分別顯示補(bǔ)償前和補(bǔ)償后的視頻圖像。

圖9 本地視頻文件處理系統(tǒng)Fig. 9 Local video file processing system

3 實(shí)驗(yàn)測(cè)試分析

3.1 算法適用性驗(yàn)證

為了測(cè)試補(bǔ)償增強(qiáng)算法在不同場(chǎng)景的適用性，采用低照度背景下視頻幀圖像book、自然環(huán)境圖像guid和vgg圖像數(shù)據(jù)集中兩幅圖像oxford_000240 和oxford_003366 做增強(qiáng)效果對(duì)比。對(duì)比低照度圖像處理的LIME 算法［11］、MF 算法［12］、NPEA算法［13］、Dong 算法［9］、MSRCR（Multi-Scale Retinex with Color Restoration）算法［20］和 EFF 算法［8］，算法的參數(shù)設(shè)置參考文獻(xiàn)［8］，不同算法處理后圖像如圖10所示。

主觀評(píng)價(jià)以上算法對(duì)4 幅原圖都有增強(qiáng)效果。取視頻幀圖像book 對(duì)比不同增強(qiáng)算法處理后客觀圖像質(zhì)量，評(píng)價(jià)參數(shù)平均灰度AG、平均對(duì)比度AC、信息熵IE、灰度譜帶寬BWF、灰度層次HF和算法運(yùn)行時(shí)間T（基于Matlab R2018a 測(cè)試）如表3所示。

圖10 不同增強(qiáng)算法處理效果Fig. 10 Processing effects of different enhancement algorithms

表3 不同算法圖像質(zhì)量評(píng)價(jià)參數(shù)和運(yùn)行時(shí)間Tab. 3 Image quality evaluation parameters and running times of different algorithms

從表3 的客觀圖像質(zhì)量評(píng)價(jià)參數(shù)可以看出，幾種算法中MSRCR 算法處理后圖像的平均灰度、平均對(duì)比度、信息熵、灰度層次最高，而且具有滿帶寬；但是由圖10 主觀評(píng)價(jià)對(duì)比增強(qiáng)效果可以看出，MSRCR 算法處理后有明顯的偏色，整體偏灰。LIME 算法對(duì)原圖Book 有較好的增強(qiáng)效果，但是從oxford_000240 圖像處理效果看引入了偽影噪聲，整體顏色偏紅，過(guò)度增強(qiáng)了原始圖像。除了EFF算法和本文算法，其他幾種算法增強(qiáng)的灰度層級(jí)HF都高于原圖像，引入了偽信息。

本文的對(duì)比度分辨率自適應(yīng)補(bǔ)償算法在這幾種算法中運(yùn)行時(shí)間最短，除了MSRCR算法和LIME補(bǔ)償算法，處理后的平均灰度、平均對(duì)比度、信息熵最高，灰度譜達(dá)到滿帶寬，圖像增強(qiáng)后顏色自然，效果明顯，可以適用于低照度環(huán)境的不同場(chǎng)景，增強(qiáng)后不引入偽信息，有利于暗視覺(jué)信息挖掘。

3.2 視頻增強(qiáng)實(shí)時(shí)性驗(yàn)證

采用Dirctshow 平臺(tái)驗(yàn)證低照度下視頻圖像自適應(yīng)補(bǔ)償增強(qiáng)算法實(shí)時(shí)性。實(shí)驗(yàn)室暗室模擬低照度環(huán)境，ST-900 型微弱光光度計(jì)測(cè)試環(huán)境照度范圍為0.01～5 lux，前端采集設(shè)備采用USB 數(shù)字?jǐn)z像頭，捕獲數(shù)據(jù)流格式為YUY2，分辨率為640×480，采集幀率為30 幀/s。圖11（a）、（b）分別為同一次測(cè)試的采集視頻實(shí)時(shí)渲染的屬性和加入補(bǔ)償Filter 對(duì)比渲染的屬性。測(cè)試結(jié)果顯示，加入補(bǔ)償Filter的視頻渲染標(biāo)準(zhǔn)偏差幀時(shí)間4 ms，平均同步偏移6 ms，標(biāo)準(zhǔn)偏差同步偏移5 ms。偏移時(shí)間多在程序啟動(dòng)時(shí)產(chǎn)生，正常運(yùn)行后可以達(dá)到同步，視覺(jué)效果沒(méi)有延遲現(xiàn)象，滿足實(shí)時(shí)性要求。

圖11 視頻實(shí)時(shí)補(bǔ)償屬性Fig. 11 Video real-time compensation properties

4 結(jié)語(yǔ)

本文依據(jù)人類視覺(jué)感知特性，基于對(duì)比度分辨率差異補(bǔ)償思想，提出加入閾值的對(duì)比度分辨率補(bǔ)償算法，有效挖掘低照度環(huán)境的暗視覺(jué)信息，建立補(bǔ)償比例系數(shù)的自適應(yīng)尋優(yōu)提取模型。實(shí)驗(yàn)測(cè)試表明，自適應(yīng)補(bǔ)償算法應(yīng)用于低照度視頻圖像增強(qiáng)實(shí)時(shí)性好，在不引入偽信息的前提下有效提高了圖像質(zhì)量，能夠廣泛應(yīng)用于不同光照條件下的低照度場(chǎng)景，挖掘暗視覺(jué)圖像信息。

自適應(yīng)補(bǔ)償主要用于挖掘暗視覺(jué)信息，如果提取的目標(biāo)信息處于中間灰度級(jí)，需要分區(qū)域提取出目標(biāo)圖像補(bǔ)償才能對(duì)指定區(qū)域達(dá)到最佳補(bǔ)償效果。普通視頻圖像采集設(shè)備的設(shè)計(jì)是為工作的明視覺(jué)條件設(shè)計(jì)的，需要進(jìn)一步研究低照度彩色視頻圖像的顏色補(bǔ)償，還原符合人類視覺(jué)感知的顏色信息。