基于脈沖耦合神經(jīng)網(wǎng)絡(luò)分解模型的夜間圖像增強研究

李春林　張兵　祖立卓　劉少杰

摘? 要：脈沖耦合神經(jīng)網(wǎng)絡(luò)分解模型對于夜間光線復雜情況下的圖像增強，容易出現(xiàn)嚴重的振鈴現(xiàn)象。針對這一問題，文章對夜間圖像增強進行了研究，通過指數(shù)變換對夜間圖像進行預處理，結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(luò)分解模型進行圖像增強。實驗結(jié)果表明，該方法可以實現(xiàn)對夜間圖像的增強，增強后的圖像細節(jié)清晰，整體光線較為柔和，圖像對比度適中，降低了振鈴現(xiàn)象造成的影響。

關(guān)鍵詞：脈沖耦合神經(jīng)網(wǎng)絡(luò);分解模型;圖像增強

中圖分類號：TP18? ? ? ? ? ? ? ? ? 文獻標識碼：A文章編號：2096-4706（2021）20-0062-05

Research on Night Image Enhancement Based on Pulse Coupled Neural Network Decomposition Model

LI Chunlin， ZHANG Bing， ZU Lizhuo， LIU Shaojie

（Xuanhua Vocational College of Science & Technology， Zhangjiakou? 075100， China）

Abstract： Pulse coupled neural network decomposition model is prone to serious ringing phenomenon for image enhancement under complex light at night. To solve this problem， this paper studies the night image enhancement， preprocesses the night image through exponential transformation， and enhances the image combined with pulse coupled neural network decomposition model. The experimental results show that the method can realize night image enhancement， the enhanced images details are clear， the overall light is soft， image contrast is moderate， which reduces the impact caused by ringing phenomenon.

Keywords： pulse coupled neural network; decomposition model; image enhancement

0? 前? 言

在視頻監(jiān)控領(lǐng)域中，經(jīng)常會遇到夜視的情況。夜間自然光線少，各種光線復雜，且光線強度不一，造成圖像整體亮度偏低，出現(xiàn)亮度集中在較低或較高的范圍內(nèi)，圖像對比度低，降低了圖像的質(zhì)量。這種情況下采集到的圖像給很多工作帶來不便，因此研究夜間圖像的增強算法非常重要。

傳統(tǒng)的圖像增強主要包括兩大類方法，一類是基于空間域的圖像增強，如直方圖變換、中值濾波、梯度等，另一類是基于頻率域的圖像增強，如低通濾波、同態(tài)濾波等[1]。

在圖像對比度增強中，直方圖均衡化方法應用較為廣泛，可以使圖像的灰度分布均勻，從而增強圖像的對比度，但是缺乏對于圖像的邊緣信息的考慮，而且容易出現(xiàn)過增強的狀況[2]。與之相比，自適應直方圖均衡化雖然可以增強圖像的邊緣信息，增大局部的灰度動態(tài)范圍，但是隨之出現(xiàn)的邊緣噪聲成為新的問題[3]。在頻率域中，Retinex方法計算效率較高。Retinex方法的優(yōu)點是通過對灰度分量的估計可以保持亮區(qū)域的信息，較好地增強較暗區(qū)域的信息，缺點是對于每幅圖像而言都需要不斷調(diào)整參數(shù)，普適性較低，同時容易出現(xiàn)光暈現(xiàn)象[4]。

傳統(tǒng)的圖像增強方法較多地考慮了圖像像素的統(tǒng)計特性，忽略了人眼的視覺特性。隨著圖像處理技術(shù)的發(fā)展，基于視覺的圖像處理方法越來越受到人們的關(guān)注，其中，脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network， PCNN）模擬了哺乳動物的視覺腦皮層神經(jīng)元處理信號的過程，以其獨特的生物特性在圖像處理中占有一席之地[5-8]。大量的相關(guān)研究表明，使用PCNN對圖像處理可以克服傳統(tǒng)的處理方法獲取的圖像不利于人眼觀察的缺陷[9]。基于PCNN分解模型對原圖像進行層次分解，利用第一層分解圖像對原圖像進行增強，使得原圖像中對比度較低的像素點區(qū)域得到了增強的同時，保持了原圖像中具有適中對比度像素點區(qū)域的灰度值，處理后的圖像便于人眼觀察[10]。

但是，PCNN分解模型對于夜間光線復雜情況下的圖像增強，容易出現(xiàn)嚴重的振鈴現(xiàn)象，針對這一問題，本文對圖像進行指數(shù)變換，降低夜間不同光照帶來的亮度突變，使得PCNN中脈沖波的傳播更加平滑，降低振鈴現(xiàn)象帶來的影響。

1? PCNN原理及其演化模型原理

20世紀90年代，Eckhorn等人對貓的視皮層神經(jīng)元脈沖同步振蕩現(xiàn)象進行了研究，并根據(jù)視神經(jīng)元脈沖發(fā)放現(xiàn)象提出了PCNN模型[11]。在PCNN發(fā)展過程中，眾多學者對該模型進行了改進，其中，最為理想的是Johnson提出的改進模型，其公式如（1）～（5）所示：

為了清晰呈現(xiàn)PCNN點火過程，本文選取一幅中心區(qū)域像素點亮度值為1，周圍區(qū)域像素點亮度為0的圖像，進行PCNN迭代，圖1是部分迭代圖像。

通過對圖像進行PCNN的迭代，可以看到圖像自動波的傳播變化過程，中心的高亮像素點逐次影響周圍的黑色像素點點火，形成了以初次點火為中心向外擴散的傳播過程。通過PCNN迭代，可以看到高亮像素點對周圍黑色像素點的影響過程。如果像素差異較大，需要較多的迭代次數(shù)，自動波的傳播越慢，由此帶來的振鈴現(xiàn)象就越明顯。

為了使PCNN更好地用于解決圖像處理中的不同的問題，在實際應用中出現(xiàn)了許多PCNN的演化模型。這些PCNN演化模型在保留了原始PCNN的基本數(shù)學原理的同時，又各自體現(xiàn)出了與其他模型不同之處。這些模型包括單輪次模型（Single-Pass）、快速連接模型（Fast-Linking）、線性衰減模型（Linear Decay）、反曲連接模型（Sigmoidal-Linking）等[12]。

單輪次模型，與原始PCNN最大的不同之處在于，原始PCNN輸出的是一系列的二值脈沖圖像，而單輪次模型則使用該像素點點火時對應的迭代次數(shù)的倒數(shù)來代替原始的灰度信息，最后輸出的是一幅由多個灰度級組成的灰度圖像。在Johnson提出的PCNN模型的基礎(chǔ)上，該模型將式（4）替換為式（6）。

PCNN分解模型包含了上述PCNN演化模型：單輪次模型、快速連接模型、線性衰減模型、反曲連接模型。PCNN分解模型在結(jié)構(gòu)上對這些模型進行了的匯總，在功能上對這些模型進行了融合，其簡化原理如圖2所示。

在圖2中可以看出，PCNN分解模型包括了兩層PCNN。第一層PCNN采用反曲線連接模型。第二層PCNN的閾值部分采用線性衰減模型中的系數(shù)衰減式（10），連接部分則采用了反曲連接模型中的連接單元如式（11），循環(huán)部分采用快速連接模型的連接單元如式（7）～（9），脈沖產(chǎn)生部分使用的是單輪次模型中的脈沖產(chǎn)生單元如式（6）。圖2中的Y1（n）是第n次循環(huán)時第一層PCNN處理后的輸出圖像，該圖像作為第二層PCNN第一次循環(huán)的輸入圖像，第二層PCNN的循環(huán)嵌套在第一層PCNN的循環(huán)中。當?shù)诙覲CNN完成第n次循環(huán)后，輸出Y2（n），并將Y2（n）作為第一層PCNN下一次循環(huán)的輸入圖像。β（n）隨著第一層PCNN的循環(huán)而遞減，β（n）的計算如式（12）所示：

其中，k值取[0，1]之間的數(shù)。從圖2中可以看出，一個PCNN分解模型除了包括兩層PCNN外，還包括第三層，即歸一化層，該層為第二層PCNN中的快速連接模型提供輸入圖像，該層實現(xiàn)了像素點到像素點的歸一化處理。第三層通過使用輸入圖像的像素點的灰度值和對應的點火閾值做比值進行歸一化，實現(xiàn)對圖像的乘性分解，從而達到對圖像分層的目的。

從PCNN分解模型的原理來看，各層分解圖像中的灰度值是PCNN迭代過程中變化的閾值。第一層分解圖像包括了圖像中大部分區(qū)域的灰度信息，第二層圖像以后的圖像中信息量越來越少，價值也越來越低。第一層圖像與原圖像相比，在亮度上有了提升，原圖像中亮度較大的區(qū)域在分層后的圖像中依然保持了較大的相似性，而原圖像中較暗的區(qū)域在分層后的圖像則有了較大的提升。此時，為了保持原圖像的信息，使用原圖像的亮度值除以第一層的圖像對應像素點的亮度值，這樣原圖像的亮度得到了提升，亮度大的像素點提升較小，而亮度較小的像素點提升的空間較大。計算公式為：

本文利用指數(shù)變換對原圖像進行預處理，增強圖像的亮度，低亮度區(qū)域像素值提升水平較大，高亮度區(qū)域像素值提升水平相對較小，通過像素亮度水平的變換，降低了像素間的差異性。對于夜間圖像而言，不同光線造成的圖像像素亮度值的差異降低。有利于PCNN分解模型在處理圖像過程中，自動波的傳播，降低振鈴現(xiàn)象的影響。

本文將圖像亮度轉(zhuǎn)換到[0，1]之間，采用的g參數(shù)為0.8的指數(shù)變換進行圖像預處理。

3? 評價參數(shù)

3.1? 均值

均值是反映一幅圖像的平均灰度的測度，均值越大，圖像的整體灰度就越高，反之亦然。

對于圖像增強來講，一般灰度的均值在中心位置附近為佳，比如，在0～255的灰度范圍內(nèi)，均值越接近128，圖像的各個灰度級均勻分布。均值的計算公式如式14所示：

3.2? 方差

方差是圖像平均對比度的度量，方差越大，對比度越高，圖像的灰度范圍越大，圖像對比度越好，增強效果越好。反之，方差越小，增強效果越差。其計算公式如式15所示：

其中，x（i，j）表示圖像的第i行第j列的像素點的灰度值，m表示圖像的整體灰度的平均值，M表示圖像總的行數(shù)，N表示圖像總的列數(shù)，v表示方差。

3.3? 熵值

熵值用于表示圖像的信息量，熵值越大，圖像的信息量就越大，包含圖像的細節(jié)信息越多，增強效果越好。反之，熵值越小，增強效果越差。其計算公式為：

其中，L表示圖像的灰度級個數(shù)，P（z_i）表示各個灰度級上的概率，e表示圖像的熵值。

這些評價參數(shù)為圖像增強提供了客觀的評價因子，而在主觀上，需要從人類視覺角度去分析圖像的質(zhì)量，所以，本文將采用客觀和主觀兩個方面，對圖像增強后的效果進行評價。

4? 實驗結(jié)果及分析

為了使實驗結(jié)果具有可比性，本文采用的指數(shù)變換和PCNN分解模型對圖像的增強結(jié)果，對比了圖像處理中常用的直方圖均衡化、自適應直方圖均衡化、Retinex、PCNN分解模型方法。圖4為選取的實驗圖像和幾種算法處理后的對比圖像。

從圖4中可以看出，原圖像中的整體灰度較低，直方圖均衡化后的圖像亮度得到了提升，但是圖像的顏色有一定失真，色彩較為灰暗;自適應直方圖均衡化，在圖像色彩方面較直方圖均衡化效果要好一些;對于Retinex算法，增強后的圖像色彩也存在一定的失真，在過渡的區(qū)域出現(xiàn)了光暈現(xiàn)象;PCNN分解模型增強后的圖像，對比度適中，適合于人眼的觀察，色彩保持較好，對比度增強后的效果要明顯好一些，但是，由于光照的影響，出現(xiàn)了明顯的振鈴現(xiàn)象;本文采用的方法，既保持了PCNN分解模型的色彩增強效果，又去除了振鈴現(xiàn)象，具有較好的可視化呈現(xiàn)效果。從主觀上看，本文采用的方法增強效果較為理想。

表1是圖4中各種增強算法處理后的圖像的一些信息統(tǒng)計，包括均值、方差和信息熵。從表1可以看出，原圖像、自適應直方圖均衡化、Retinex對應的均值小于0.5，亮度較低，直方圖均衡化、PCNN分解模型和本文的方法的均值都大于等于0.5，亮度較高，適合人眼觀察。從方差來看，原圖像、自適應直方圖均衡化、Retinex的方差較小，圖像的對比度也較低，直方圖均衡化，PCNN分解模型和本文的方法方差較大，圖像對比度較高。從熵值來看，直方圖均衡化和Retinex的熵值較小，丟失了較多的圖像細節(jié)，自適應直方圖均衡化、PCNN分解模型和本文的方法的熵值接近于原圖像，保持了較多的圖像細節(jié)，效果較好。從客觀角度看，本文的方法在亮度、圖像對比度、信息量上，都具有較好的效果。

圖5是采用另外一幅圖像和幾種算法增強效果的對比圖像。從人眼視覺的角度來看，直方圖均衡化、PCNN分解模型、本文的方法取得的效果較好。而自適應直方圖均衡化和Retinex的方法增強后的圖像整體偏暗，對比度過低。本文的方法相對PCNN分解模型的方法，有效降低了振鈴現(xiàn)象的影響。

表2是對圖5中的不同算法獲取的增強后的圖像的信息的統(tǒng)計。從表2的均值來看，對于圖5中圖像（a），使用直方圖均衡化、PCNN分解模型和本文的方法，圖像整體亮度得到了較大的提高，增強后的效果較好。從方差來看，直方圖均衡化對應的圖像對比度最高。從信息熵上來看，自適應直方圖均衡化、PCNN分解模型和本文的方法保留了較多的圖像細節(jié)信息。通過客觀的參數(shù)可以看出，本文的方法用于圖像增強獲取的圖像具有較好的效果。

總之，從視覺角度來看，圖像經(jīng)過本文方法的處理，動態(tài)范圍適中，細節(jié)信息豐富，圖像生動清晰。從各種參數(shù)來看，圖像經(jīng)過本文方法的處理后，熵值較大，包含的信息量也較多。通過使用該算法對一些整體對比度較低的灰度圖像和彩色圖像進行處理后，獲取的增強后的圖像都具有較高的對比度，適合于人眼的觀察，也說明該算法具有一定的普適性，并且魯棒性強。

5? 結(jié)? 論

通過使用指數(shù)變換對圖像進行預處理，結(jié)合PCNN分解模型進行夜間圖像增強，能夠有效的增強夜間圖像，使得圖像細節(jié)處理、整體光線、對比度都具有明顯效果，有效克服了振鈴現(xiàn)象造成的影響，對于夜間圖像具有一定的普適性。

參考文獻：

[1] 馬義德，李廉，綻琨，等.脈沖耦合神經(jīng)網(wǎng)絡(luò)與數(shù)字圖像處理技術(shù) [M].北京：科學出版社，2008：10-26.

[2] KIM Y T. Contrast enhancement using brightness preserving bi-histogram equalization [J].IEEE Transactions on Consumer Electronics，1997，43（1）：1-8.

[3] KIM T K，PAIK J K，Kang B S. Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering [J].IEEE Transactions on Consumer Electronics，1998，44（1）：82-87.

[4] RAHMAN Z，JOBSON D J，WOODELL G A. Retinex processing for automatic image enhancement [J].Journal of Electronic Imaging，2004，13（1）：100-110.

[5] XU G Z，ZHANG Z F，MA Y D. An image segmentation based method for iris feature extraction [J].Journal of China Universities of Posts and Telecommunications，2008，15（1）：96-101+117.

[6] Padgett M L，Johnson J L. Pulse-Coupled Neural Networks（PCNN）andwavelets：Biosensor applications [C]. Proceeding of International Conference on Neural Networks（ICNN97）.Houston：IEEE，1997：2507–2512.

[7] Johnson J L，Padgett M L.PCNN models and applications [J].IEEE Transactions on Neural Networks，1999，10（3）：480-498.

[8] Johnson J L.Pulse-coupled neural nets：translation， rotation，scale，distortion，and intensity signal invariance for images [J].Applied Optics，1994， 33（26）：6239-6253.

[9] Lindblad T，Kinser J M. Image Processing Using Pulse Coupled Neural Networks（2nd） [M].Berlin：Springer，2005：1-9.

[10] 李春林.基于脈沖神經(jīng)網(wǎng)絡(luò)的圖像特征提取與應用研究 [D].宜昌：三峽大學，2013.

[11] Eckhorn R，Reitboeck H J，Arndt M，et al. Feature Linking via Synchronization among Distributed Assemblies：Simulations of Results from Cat Visual Cortex [J].Neural Computation，1990，2（3）：293-307.

[12] Johnson J L，Padgett M L，F(xiàn)riday W A. Multiscale image factorization [C]//Proceedings of International Conference on Neural Networks （ICNN97）.1997，3：1465-1468.

作者簡介：李春林（1985.03—），女，漢族，河北張家口人，中級，碩士研究生，研究方向：數(shù)字圖像處理，人工智能