基于OpenCV的暗視覺(jué)圖像處理的研究

陳 勇，張 虎，李 愿，鄭 凡，謝正祥

(1．重慶郵電大學(xué)網(wǎng)絡(luò)化控制與智能儀器儀表教育部重點(diǎn)實(shí)驗(yàn)室，重慶400065;2．重慶醫(yī)科大學(xué)生物醫(yī)學(xué)工程研究室，重慶400016)

1 引言

近年來(lái)，數(shù)字圖像處理技術(shù)廣泛地應(yīng)用于視頻監(jiān)控、醫(yī)療檢測(cè)、圖像通訊等領(lǐng)域。但在低照度的環(huán)境下，采集到的圖像對(duì)比度和信噪比都很低，往往不能滿足實(shí)際的需要。由于人眼的生理視覺(jué)特性，我們已知道人類的視覺(jué)會(huì)受到空間分辨率、時(shí)間分辨率和頻率分辨率的限制，通過(guò)對(duì)人類視覺(jué)的對(duì)比度分辨率的測(cè)量，發(fā)現(xiàn)人類的視覺(jué)還存在著對(duì)比度分辨率的限制［1］。通過(guò)對(duì)低照度下的圖像進(jìn)行了對(duì)比度分辨率的補(bǔ)償，能夠有效地拓寬原圖像灰度譜的范圍、挖掘出圖像隱藏的信息［2］。

2 算法原理

2．1 人類對(duì)比度分辨率

由于人類視網(wǎng)膜上存在著視錐細(xì)胞與視桿細(xì)胞，所以人類視覺(jué)有著明視覺(jué)和暗視覺(jué)之分。人類視覺(jué)對(duì)不同的灰度之間存在著分辨閾值，在低照度環(huán)境下拍攝的視頻圖像由于灰度分辨率的限制，圖像信息并不能完全被人眼所識(shí)別。通過(guò)實(shí)驗(yàn)，在明暗視覺(jué)下的人類對(duì)比度分辨率的實(shí)驗(yàn)結(jié)果如下［2］:式中，JND(x)表示的是圖像中的兩點(diǎn)恰可分辨的灰度閾值;x表示圖像的灰度值。文獻(xiàn)中同時(shí)指出了在暗視覺(jué)環(huán)境下JND低于20個(gè)灰度級(jí)，人眼就無(wú)法分辨，但是圖像的信息是存在的［1］。

2．2 對(duì)比度分辨率的自適應(yīng)補(bǔ)償

由于人類對(duì)比度分辨率的限制，針對(duì)暗環(huán)境下的視頻圖像，可以通過(guò)對(duì)比度補(bǔ)償，把不能分辨的灰度補(bǔ)償?shù)饺搜劭梢宰R(shí)別的程度，把原圖像中的灰度差為1的相鄰兩個(gè)灰度級(jí)的差異放到JND(just noticeable difference)上，這樣就對(duì)分辨率進(jìn)行了補(bǔ)償。不同背景下的灰度補(bǔ)償公式如下:

式中，TG(i)表示的是原始灰度進(jìn)行補(bǔ)償后的目標(biāo)灰度;JND(i)表示的就是視頻圖像中的兩點(diǎn)間的恰可分辨的灰度距離;OG(i)表示的是就是當(dāng)前的灰度值。式中的k為補(bǔ)償因子，它決定了補(bǔ)償?shù)纳疃?。一幅圖像中的k值可以以下面的式子進(jìn)行自適應(yīng)取值。

式中，AGO表示的是平均背景灰度。

2．3 幀間時(shí)域?yàn)V波

在圖像的傳送和轉(zhuǎn)換過(guò)程中，由于各種因素的影響，總會(huì)引入一些噪聲。如果直接使用這種降質(zhì)圖像，將對(duì)結(jié)果造成不良影響，所以有必要對(duì)圖像進(jìn)行去噪。幀間時(shí)域?yàn)V波能有效地抑制噪聲，提高信噪比。

視頻圖像序列進(jìn)行M幀時(shí)域?yàn)V波的表達(dá)式如下:

通過(guò)M幀圖像序列平均，可以把噪聲方差減少M(fèi)倍［3］，為了避免運(yùn)動(dòng)物體在幀間出現(xiàn)跳躍，可以結(jié)合運(yùn)行補(bǔ)償。以三幀運(yùn)動(dòng)幀間補(bǔ)償為例:

經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償以后，在連續(xù)顯示時(shí)，針對(duì)低速運(yùn)動(dòng)的物體能有效的避免物體的跳躍。

3 基于OpenCv平臺(tái)的實(shí)現(xiàn)

OpenCv是Intel公司的開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)，由一系列的C函數(shù)和少量的C++類構(gòu)成，提供了豐富的圖像及計(jì)算機(jī)視覺(jué)處理函數(shù)，提供了數(shù)組、隊(duì)列、樹(shù)等基本的數(shù)據(jù)結(jié)構(gòu);基本的圖像處理，如濾波、邊緣檢測(cè)、形態(tài)操作等;高級(jí)圖像視覺(jué)操作功能，如攝像機(jī)標(biāo)定、運(yùn)動(dòng)分析、機(jī)器學(xué)習(xí)等;同時(shí)OpenCv還支持跨平臺(tái)，能夠移植到不同的開(kāi)發(fā)平臺(tái)，如ARM、DSP。

利用OpenCv實(shí)現(xiàn)的關(guān)鍵流程圖如圖1所示。

圖1 算法流程圖

OpenCv中有一種IplImage圖像結(jié)構(gòu)，通過(guò)指針可以容易地對(duì)圖像中的數(shù)據(jù)進(jìn)行操作，關(guān)鍵操作步驟如下:

(1)從視頻流中捕獲圖像幀

函數(shù)CvCapture*cvCreateFileCapture(const char* filename)將讀入指定的視頻文件，返回一個(gè)指向CvCapture類型的指針，包含視頻的基本信息，如幀率、圖像的大小等。

函數(shù)IplImage*cvQueryFrame(CvCapture*capture)將從視頻文件或攝像頭中捕獲并返回一幀，返回的指針指向IplImage數(shù)據(jù)類型，但是返回的圖像不能直接被用戶修改。

(2)把彩色圖像轉(zhuǎn)換成灰度圖像

函數(shù) void cvCvtColor(const CvArr* src，CvArr*dst，int code)用于圖像顏色空間的轉(zhuǎn)換，通過(guò)code的取值，可以把圖像從三通道的彩色轉(zhuǎn)換成灰度圖像，便于灰度處理。

(3)視頻流的時(shí)域幀間濾波與自適應(yīng)補(bǔ)償

函數(shù) IplImage*cvCreateImage(CvSize size，int depth，int channels)將開(kāi)辟一個(gè)符合指定大小的IplImage類型的內(nèi)存區(qū)域，通過(guò)指針可以對(duì)圖像數(shù)據(jù)進(jìn)行幀間濾波與自適應(yīng)補(bǔ)償操作。

(4)視頻幀的顯示

函數(shù) int cvNamedWindow(const char* name，int flags)用于創(chuàng)建一個(gè)顯示窗口，用于顯示視頻幀。

函數(shù) void cvShow Image(const char* winname，const CvArr* image)將圖像顯示函數(shù)到已創(chuàng)建的窗口中。

(5)視頻幀的存儲(chǔ)

函數(shù) CvVideoWriter* cvCreatVideoW riter(const char* filename，int fourcc，double fps，CvSize frame Size，int isColor=1)將按需要?jiǎng)?chuàng)建一個(gè)視頻文件，返回一個(gè)CvVideoWriter*指針。

函數(shù)int cvWriteFrame(CvVideoWrite r* writer，const IplImage* image)用于把轉(zhuǎn)換后的視頻幀寫(xiě)入到上面創(chuàng)建的視頻文件中。

4 實(shí)驗(yàn)分析

利用函數(shù)CvCapture*cvCreateFileCapture(const char* filename);可以把本地視頻載入內(nèi)存當(dāng)中，圖2是對(duì)本地視頻圖像濾波處理的對(duì)比圖。

圖2 幀間時(shí)域?yàn)V波對(duì)比圖

圖2 (a)為原視頻中的一幀原圖像，圖2(b)為幀間濾波后的圖像，從對(duì)比圖中可以直觀看到右圖的圖像效果比左圖好。利用文獻(xiàn)［4］中的方法，對(duì)原始圖像與處理的圖像分別做2級(jí)灰度譜平坦化。

由灰度譜可以看出，圖3(b)中的灰度譜線比圖3(a)要平滑而且信息量也增加了，同時(shí)也可以看到起到了降噪的作用。

圖3 灰度譜對(duì)比圖

圖4 是對(duì)圖3進(jìn)行濾波前后補(bǔ)償?shù)膱D像，由對(duì)比可看出圖4整體偏亮，書(shū)中封面上的字也比圖3更容易辨別，這是因?yàn)樵瓐D像中灰度值大多集中于低灰度區(qū)，灰度帶寬比較窄，由于人眼的分辨率的限制，有些信息是被掩埋著的。通過(guò)對(duì)圖像進(jìn)行濾波、補(bǔ)償，可以看到圖像的質(zhì)量得到了增強(qiáng)，實(shí)現(xiàn)了低照度下的視頻挖掘。從圖4的對(duì)比中可以看出圖4(b)比圖4(a)的噪聲更少，圖像質(zhì)量更好。由文獻(xiàn)［5］中的圖像質(zhì)量評(píng)價(jià)方法對(duì)二圖進(jìn)行評(píng)價(jià)，如表1所示。

圖4 濾波前后圖像補(bǔ)償?shù)膶?duì)比圖

表1 處理前面評(píng)價(jià)參數(shù)對(duì)比

由表1知原視頻幀的AG，AC，CAF的值都比較低，直接補(bǔ)償后的圖像的AG，AC，CAF的值明顯增加，但I(xiàn)E的值卻降低了，而幀間時(shí)域?yàn)V波不僅可以提高其他三個(gè)值，同時(shí)IE的值也得到了提高。所以將幀間時(shí)域?yàn)V波和對(duì)比度補(bǔ)償結(jié)合能提高圖像的質(zhì)量，以實(shí)現(xiàn)人眼分辨率的補(bǔ)償挖掘不能直接看到的信息。

5 結(jié)論

本文利用對(duì)比度分辨率的補(bǔ)償和幀間時(shí)域?yàn)V波挖掘低照度下的視頻圖像中隱藏的信息。再結(jié)合OpenCV這個(gè)開(kāi)源的機(jī)器視覺(jué)庫(kù)，可以更方便地應(yīng)用到嵌入式平臺(tái)的圖像處理中。為了得到更好的圖像質(zhì)量，對(duì)自適應(yīng)的補(bǔ)償因子k的取值還有待進(jìn)一步的研究。

［1］ Xie Zhengxiang，Wang Zhifang，Liu Yuhong，et al．Measuring the contrast resolution limits of human vision based on the modern digital image processing［J］．Joumal of Biomedicalengineering，2008，25(5):615 － 619．(in Chinese)謝正祥，王志芳，劉玉紅，等．基于數(shù)字圖像處理的人類視覺(jué)對(duì)比度分辨率限制測(cè)定［J］．生物醫(yī)學(xué)工程雜志，2008，25(5):615 －619．

［2］ Xie Zhengxiang，LiuYuhong，Wang Zhifang，et al．A nonlinerly compensatory principle and method for human vision contrast resolution［J］．Joumal of Chengdu Medical College，2009，4(3):157 －162．(in Chinese)謝正祥，劉玉紅，王志芳，等．人類視覺(jué)對(duì)比度 分辨率的非線性補(bǔ)償原理和方法［J］．成都醫(yī)學(xué)院學(xué)報(bào)，2009，4(3):157 －162，172．

［3］ Li Huaiqiong，Chen Qian，Sui Xiubao，et al．The technique of themultiframe image accumulation and equilibration with inf-rared thermal imageing system［J］．Laser＆Infrared，2005，35(12):978 －980．(in Chinese)李懷瓊，陳錢，隋修寶，等．多幀累加平均技術(shù)在紅外實(shí)時(shí)圖像處理中的應(yīng)用［J］．激光與紅外，2005，35(12):978－980．

［4］ Xie Zhengxiang，Wang Zhifang，Liu yanhuan，et al．The theory of gradually flattening gray spectrum ［J］．Chinese Journal of Medical Physics，2006，23(6):405 － 408．(in Chinese)謝正祥，王志芳，劉燕歡，等．灰度譜分級(jí)平坦化理論［J］．中國(guó)醫(yī)學(xué)物理學(xué)雜志，2006，23(6):405 －408．

［5］ Guo Yanrong，Xian Jiqing，Lü Xiafuńet al．Based on visional perception ［J］．Journal of Chongqing University of Science and Technology，2009，11(6):151 －153(in Chinese)郭艷榮，鮮繼清，呂霞付，等．基于視覺(jué)感知的最好質(zhì)量圖像評(píng)價(jià)方法［J］．重慶科技學(xué)院學(xué)報(bào)，2009，11(6):151－153．

［6］ Xie Zhengxiang，Wang Zhifang，LiuYuhong，et al．Measuringmethod of image gray and color spectrum used in lower layer image mining:China［P］．ZL200610054324．9．(in Chinese)謝正祥，王志芳，劉玉紅，等．用于底層挖掘的圖像灰度/色度信息的高分辨檢測(cè)方法:中國(guó)［P］．ZL200610054324．9．

［7］ Zhang Xuehe，Zhang Xuedong，Ding Ning．Det-ection and tracking ofmoving objects with with OpenCV ［J］．Journalof University of Science and Technology Liaoning，2010，33(5):490 －494．(in Chinese)張學(xué)賀，張學(xué)東，丁寧．基于OpenCV的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤［J］．遼寧科技大學(xué)學(xué)報(bào)，2010，33(5):490－494．

［8］ Jia Xiaojun，Yu Qingcang．The image processing based on open source computer vision library［J］．Computer Applications and Software，2010，25(4):276 － 278．(in Chinese)賈小軍，喻擎蒼．基于開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)OpenCV的圖像處理［J］．計(jì)算機(jī)應(yīng)用與軟件，2010，25(4):276－278．