融合對比度拉伸的地鐵隧道環(huán)境圖像復(fù)原算法

楊康，任愈，吳學(xué)杰

（西南交通大學(xué)牽引動力國家重點實驗室，四川 成都 610031）

0 引言

城市軌道交通的迅速發(fā)展，極大方便了人們出行的同時列車的運(yùn)營安全性也愈發(fā)受到關(guān)注［1］。地鐵隧道環(huán)境的安全監(jiān)測是運(yùn)行安全性的一個重要方面，其中包括隧道病害檢測、信號燈識別、鋼軌及其他重要特征的識別與提取等內(nèi)容。然而，由于隧道環(huán)境照度低且光照分布不均勻，同時受相機(jī)靶面尺寸、曝光時間及鏡頭焦距等條件的限制，得到的地鐵隧道實時圖像的對比度和亮度低，并且圖像部分區(qū)域會產(chǎn)生模糊的現(xiàn)象，增加了后續(xù)有效特征識別提取的困難程度。

針對低照度條件下圖像復(fù)原及增強(qiáng)的問題，國內(nèi)外學(xué)者進(jìn)行了諸多研究。低照度圖像增強(qiáng)主要分為基于模型與基于非模型兩大類［2］。Retinex 算法［3］是一種經(jīng)典的基于模型的算法，為滿足不同環(huán)境下低照度圖像增強(qiáng)的需求，學(xué)者們［4-7］提出了改進(jìn)的Retinex 算法，但這些改進(jìn)算法多數(shù)是為了解決傳統(tǒng)算法增強(qiáng)結(jié)果出現(xiàn)的顏色失真或者過度增強(qiáng)問題，而隧道環(huán)境低照度圖像存在大量噪聲并且局部區(qū)域模糊，因此此類算法并不適用于隧道環(huán)境低照度圖像的增強(qiáng)?；诜悄Ｐ偷乃惴ㄖ饕谢谥狈綀D均衡化［8-9］和基于灰度變換函數(shù)［10-11］?；诜悄Ｐ偷乃惴ㄍㄟ^調(diào)整原圖像的灰度級范圍，達(dá)到低照度圖像對比度拉伸的目的，然而此類算法往往會損失圖像的部分細(xì)節(jié)，有時也會出現(xiàn)過度增強(qiáng)的現(xiàn)象。近年來，一些針對低曝光圖像的增強(qiáng)算法被提出。LIU等［12］提出一種多曝光圖像融合機(jī)制，通過融合不同曝光下的圖像，能夠有效保留圖像的細(xì)節(jié)并增強(qiáng)圖像。張聿等［13］提出一種基于區(qū)域系統(tǒng)和圖像融合的視頻增強(qiáng)算法，解決了傳統(tǒng)算法增強(qiáng)后圖像曝光不均勻的問題。在圖像復(fù)原算法方面，學(xué)者們［14-18］根據(jù)圖像模糊現(xiàn)象的成因，提出了不同的圖像復(fù)原算法，這些算法在各自的應(yīng)用環(huán)境下都取得了較好的復(fù)原效果。然而，此類算法一般是針對寬對比度范圍圖像中出現(xiàn)的模糊問題進(jìn)行復(fù)原，而隧道環(huán)境中的實時圖像不僅細(xì)節(jié)模糊而且對比度低，傳統(tǒng)圖像增強(qiáng)算法無法滿足隧道圖像的增強(qiáng)要求，單從圖像復(fù)原或低照度圖像增強(qiáng)角度出發(fā)無法解決隧道圖像出現(xiàn)的退化問題。

針對上述問題，本文結(jié)合圖像復(fù)原和圖像增強(qiáng)算法的優(yōu)點，提出一種融合對比度增強(qiáng)的地鐵隧道環(huán)境圖像復(fù)原算法，主要思路為在估計退化函數(shù)前先進(jìn)行圖像增強(qiáng)處理?？紤]到在RGB 空間中直接對原圖像進(jìn)行增強(qiáng)可能會產(chǎn)生色彩失真的問題，因此將圖像轉(zhuǎn)換到HSV 空間，在HSV 空間中根據(jù)圖像灰度分布特征對圖像進(jìn)行自適應(yīng)對比度拉伸，增強(qiáng)隧道圖像對比度的同時避免出現(xiàn)放大暗區(qū)域中的噪聲以及亮區(qū)域過度增強(qiáng)的現(xiàn)象，再進(jìn)行圖像復(fù)原，以解決隧道圖像出現(xiàn)的退化問題。

1 融合對比度拉伸的圖像復(fù)原算法

圖像退化與復(fù)原原理如圖1 所示，其中：f(x,y)為原始圖像；h(x,y)為退化函數(shù)，該函數(shù)會使圖像產(chǎn)生模糊現(xiàn)象，如高斯模糊、運(yùn)動模糊及散焦模糊等；η(x,y)為圖像退化過程中的加性噪聲，在不同環(huán)境下由不同設(shè)備采集得到的圖像噪聲種類不盡相同，常見噪聲包括高斯噪聲、椒鹽噪聲、均勻噪聲等；g(x,y)為經(jīng)過退化函數(shù)和添加了噪聲之后的退化圖像，即模糊圖像；PSF(x,y)為從退化圖像中進(jìn)行估計或計算得到的點擴(kuò)散函數(shù)，根據(jù)得到的點擴(kuò)散函數(shù)便可對退化圖像進(jìn)行復(fù)原，最終得到復(fù)原之后的圖像(x,y)。一般圖像復(fù)原算法在進(jìn)行點擴(kuò)散函數(shù)估計之前，未考慮對圖像進(jìn)行增強(qiáng)處理，在地鐵隧道環(huán)境低照度模糊成像條件下，復(fù)原之后的圖像亮度及對比度難以滿足應(yīng)用需求。

圖1 圖像退化與復(fù)原原理Fig.1 Principles of image degradation and restoration

基于上述分析，在估計退化函數(shù)之前先進(jìn)行對比度拉伸處理，從而滿足地鐵隧道低照度實時圖像的復(fù)原要求。所提算法原理如圖2 所示，主要流程為：首先將RGB 圖像轉(zhuǎn)換到HSV 顏色空間，根據(jù)V分量直方圖確定對比度拉伸函數(shù)系數(shù)，減少噪聲對復(fù)原結(jié)果的影響的同時提升V 分量對比度及亮度；其次分析隧道圖像模糊類型，分區(qū)域并基于刀刃法對圖像的各區(qū)域點擴(kuò)散函數(shù)進(jìn)行估計；然后根據(jù)點擴(kuò)散函數(shù)利用反卷積算法對增強(qiáng)后的V 分量圖進(jìn)行復(fù)原；最后融合H、S、V 3 個分量圖，得到最終處理結(jié)果。

圖2 融合對比度拉伸的圖像復(fù)原算法流程Fig.2 Procedure of image restoration algorithm fusing contrast stretching

1.1 灰度分布特性分析

為了達(dá)到隧道圖像對比度增強(qiáng)的目的，首先對V 分量的灰度分布特征進(jìn)行分析，計算V 分量圖像的灰度直方圖。如圖3 所示（彩色效果見《計算機(jī)工程》官網(wǎng)HTML 版，下同），V 分量中的灰度等級集中在較為狹窄的低灰度值范圍內(nèi)，灰度值從50 到250范圍內(nèi)像素數(shù)量較少，因此需要擴(kuò)展低灰度區(qū)域的動態(tài)范圍。為了避免低灰度區(qū)域中的噪聲在圖像增強(qiáng)時被同步放大，以及高灰度區(qū)域過度增強(qiáng)，設(shè)定2 個高低閾值l、h，閾值大小根據(jù)直方圖有效灰度等級的數(shù)目確定，定義超過圖像像素總數(shù)的n%（本文取5%）為有效灰度等級s。

圖3 V 分量灰度直方圖Fig.3 V component grayscale histogram

1.2 自適應(yīng)對比度拉伸

由于V 分量圖像中包含大量噪聲且對比度較低，若直接估計點擴(kuò)散函數(shù)并復(fù)原，反卷積算法會對噪聲進(jìn)行放大，導(dǎo)致圖像細(xì)節(jié)被大量噪聲掩蓋，復(fù)原結(jié)果的亮度也較低，因此需要先對圖像進(jìn)行空域濾波，降低圖像中的噪聲水平，再進(jìn)行對比度拉伸處理。由于隧道圖像中出現(xiàn)的噪聲大部分屬于高斯噪聲，使用均值濾波算法能夠有效減少圖像中的噪聲含量，因此選擇均值濾波算法對V 分量圖像進(jìn)行降噪處理。

受到Gamma 校正函數(shù)的啟發(fā)，提出一種基于圖像統(tǒng)計特征的低照度圖像對比度拉伸方法。傳統(tǒng)的Gamma 校正方法如式（1）所示：

其中：y為灰度級輸出；r為輸入；c和γ為參數(shù)。傳統(tǒng)Gamma 校正方法只能根據(jù)低照度圖像中的特征人為確定指數(shù)參數(shù)：選擇較小的指數(shù)參數(shù)會擴(kuò)展暗像素區(qū)域的灰度分布范圍，但同時也會對暗區(qū)域的噪聲進(jìn)行放大，影響后續(xù)圖像特征的提取效果；選擇較大的指數(shù)會過度增強(qiáng)圖像中的亮區(qū)域，且不能突出暗區(qū)域中的細(xì)節(jié)信息，起不到低灰度值范圍的動態(tài)拉伸效果。基于上述分析，提出一種改進(jìn)的對比度及亮度增強(qiáng)函數(shù)，如式（2）所示：

其中：k、b、c1、c2、γ1、γ2均為系數(shù)，根據(jù)參數(shù)m、n得到，能夠控制曲線形狀，從而實現(xiàn)不同低照度圖像的增強(qiáng)；m、n為灰度等級分段點，根據(jù)圖像直方圖確定；x表示圖像灰度值的輸入。

在式（2）中，令m=l、n=h，為保證分段函數(shù)之間的平滑過渡，c1、c2的計算公式如式（3）、式（4）所示：

依據(jù)上述規(guī)則，計算隧道低照度圖像V 分量的直方圖之后，便可確定式（2）中各項參數(shù)。對比度拉伸函數(shù)曲線如圖4 所示。由圖4 可以看出：函數(shù)曲線在低灰度值范圍內(nèi)的斜率相對較小，進(jìn)行圖像增強(qiáng)時能夠提高圖像對比度，同時抑制該區(qū)域中的噪聲；在灰度等級比較集中的區(qū)域，對比度增強(qiáng)函數(shù)能夠使低灰度值的動態(tài)范圍得到迅速拉伸，從而增強(qiáng)隧道低照度圖像的對比度；在像素數(shù)目分布較少的高灰度值范圍內(nèi)，函數(shù)曲線趨勢平緩，能夠避免出現(xiàn)圖像亮處的過度增強(qiáng)現(xiàn)象。

圖4 對比度拉伸函數(shù)Fig.4 Function of contrast stretching

如圖5 所示，按照上述方法對V 分量進(jìn)行增強(qiáng)，相較于增強(qiáng)之前的V 分量圖像，所提的對比度拉伸方法能夠有效增強(qiáng)V 分量圖像的對比度和亮度，V分量原圖中原本不可見的圖像細(xì)節(jié)，如軌道扣件、管路線、鋼軌等清晰可見，圖像高亮度部分區(qū)域（光源附近）沒有出現(xiàn)過度增強(qiáng)的現(xiàn)象，增強(qiáng)之后細(xì)節(jié)信息未丟失，對比度拉伸函數(shù)在地鐵隧道環(huán)境圖像增強(qiáng)中應(yīng)用效果明顯。

圖5 增強(qiáng)效果示例Fig.5 Example of enhancement effect

1.3 隧道圖像模糊特征分析

模糊類型的確定是建立圖像退化與復(fù)原模型的基礎(chǔ)。引起圖像退化的原因較為復(fù)雜，大氣衍射、圖像傳輸和接收過程中引入的噪聲、相機(jī)與環(huán)境的位移及離焦等因素都會導(dǎo)致圖像產(chǎn)生退化現(xiàn)象。根據(jù)圖像退化的原因，將模糊類型大致分為高斯模糊、散焦模糊和運(yùn)動模糊［19］3 類。清晰圖像的頻譜的特征為中心存在一個亮點（小范圍數(shù)據(jù)集中區(qū)域），高斯模糊頻譜圖的中心亮點會出現(xiàn)彌散的現(xiàn)象，如圖6（a）所示。散焦模糊圖像的頻譜圖在中心亮點周圍存在多圈圓環(huán)，如圖6（b）所示，圖像模糊程度越大，圓環(huán)也更加向外發(fā)散。運(yùn)動模糊圖像頻譜是呈現(xiàn)多束斜線，如圖6（c）所示，斜線的斜率與運(yùn)動方向有關(guān)。對大量隧道實測數(shù)據(jù)的頻譜進(jìn)行分析，發(fā)現(xiàn)其特征更接近于高斯模糊類型，如圖6（d）所示。

圖6 模糊圖像頻譜Fig.6 Spectrum of blurred images

1.4 分區(qū)域復(fù)原

隧道圖像受光照分布不均勻性及相機(jī)、鏡頭等硬件成像因素的影響，圖像各區(qū)域的模糊程度差異較大，若采用同一退化函數(shù)對圖像進(jìn)行復(fù)原，難以取得整體去模糊的效果，因此需要分區(qū)域估計圖像的退化函數(shù)并進(jìn)行復(fù)原。使用刀刃法［20］對各區(qū)域的退化函數(shù)進(jìn)行估計，刀刃法計算點擴(kuò)散函數(shù)的原理如圖7所示。

圖7 刀刃法原理Fig.7 Principle of knife edge method

PSF 函數(shù)描述單個點光源成像后的灰度分布。在理想情況下，單個點光源經(jīng)成像設(shè)備捕獲后在圖像上不會發(fā)生擴(kuò)散現(xiàn)象，實際成像后會因各種不同原因發(fā)生彌散，從而導(dǎo)致該點在圖像中產(chǎn)生模糊現(xiàn)象。圖像復(fù)原算法的核心為準(zhǔn)確獲取模糊圖像的點擴(kuò)散函數(shù)模型，直接影響圖像復(fù)原的效果；線擴(kuò)散函數(shù)（LSF）表示線光源成像后的灰度分布，由于線光源可以看作點光源沿某方向的集合，因此對點光源沿著線條方向進(jìn)行積分，可得到LSF，x方向和y方向的LSF 計算方法如式（5）所示：

邊緣區(qū)域灰度分布函數(shù)（ESF）描述直線上的點在成像后發(fā)生模糊時，邊緣兩側(cè)的像素點的灰度值會出現(xiàn)漸變式過渡的現(xiàn)象，此函數(shù)可以通過對LSF求一次積分獲得，計算公式如式（6）所示：

根據(jù)對相應(yīng)方向的ESF 求兩次微分得到不同方向的PSF，在得到x、y方向的PSF 后相乘得到最后的點擴(kuò)散函數(shù)模型，根據(jù)得到的點擴(kuò)散模型，可對模糊后的圖像進(jìn)行復(fù)原。

通過對大量實測隧道圖像的分析，發(fā)現(xiàn)圖像中不同區(qū)域的模糊程度也不同，可根據(jù)模糊程度的不同，將低照度隧道圖像的V 分量劃分為4 個區(qū)域，分別對各個區(qū)域進(jìn)行PSF 估計，劃分結(jié)果如圖8 所示。

圖8 區(qū)域劃分示意圖Fig.8 Schematic diagram of the regional division

在區(qū)域1 中，選擇一塊合適的刀刃區(qū)域，要求該區(qū)域在刀刃兩側(cè)有較大的對比度，且兩側(cè)灰度值分布均勻，選擇鋼軌區(qū)域作為刀刃區(qū)域，提取的刀刃區(qū)域如圖9（a）所示。截取的刀刃區(qū)域圖像經(jīng)過放大后刀刃兩側(cè)灰度分布不均勻，對邊緣點的提取精度存在影響，因此需要對局部刀刃圖像進(jìn)行灰度均勻化處理，圖9（b）、圖9（c）表示了該過程。

圖9 刀刃區(qū)域的處理Fig.9 Processing of the knife edge region

對圖9（b）刀刃圖像進(jìn)行邊緣點的提取，首先計算每一行像素點的一階差分，一階差分定義如式（7）所示，取差分的最大值作為該行的像素級別邊緣分界點。

其中：?xi為每一行連續(xù)兩個像素點的差分；xi,j為當(dāng)前像素點的灰度值。

采用最小二乘法對提取到的邊緣點進(jìn)行擬合從而得到邊緣分界線，擬合后的直線如圖9（d）中的直線所示。

點擴(kuò)散函數(shù)計算過程如圖10 所示。計算刀刃區(qū)域圖像中每一個像素點到邊緣分界點的距離作為x坐標(biāo)，當(dāng)前像素點的灰度值作為y坐標(biāo)，得到ESF 散點圖，如圖10（a）所示。采用Fermi 函數(shù)［21］對ESF 散點進(jìn)行擬合得到ESF 曲線，F(xiàn)ermi 表達(dá)式如式（8）所示，擬合后的ESF 曲線如圖10（b）所示。

圖10 點擴(kuò)散函數(shù)計算過程Fig.10 Procedure of PSF calculation

對式（8）求微分，得到線擴(kuò)散函數(shù)LSF，如式（9）所示，LSF 曲線圖如圖10（c）所示。

將x方向和y方向的線擴(kuò)散函數(shù)相乘便可得到點擴(kuò)散函數(shù)，如式（10）所示，擬合得到的PSF 如圖10（d）所示，該函數(shù)符合二維高斯函數(shù)圖像的分布特征，也進(jìn)一步驗證了上文隧道低照度圖像模糊類型的判斷是準(zhǔn)確的。

利用估計得到的點擴(kuò)散函數(shù)模型即可對選定區(qū)域圖像進(jìn)行復(fù)原。按照上述點擴(kuò)散函數(shù)計算方法，分別計算V 分量增強(qiáng)圖中的其他3 個區(qū)域的點擴(kuò)散函數(shù)，并利用反卷積算法對其他區(qū)域進(jìn)行復(fù)原。

2 實驗結(jié)果與分析

為了驗證所提算法對隧道低照度圖像增強(qiáng)效果的有效性，選擇了幾種最新的低照度圖像增強(qiáng)算法進(jìn)行比對，其中包括BIMEF［22］、MSR［23］、Dong［24］、Ying［25］4 種算法。根據(jù)上述算法的原理及公開的算法代碼，對4 種算法進(jìn)行了復(fù)現(xiàn)，并采用主觀評價和客觀評價相結(jié)合的方式對幾種算法處理結(jié)果進(jìn)行了對比分析。所提算法實現(xiàn)采用MATLAB R2019a 和Windows 11 操作系統(tǒng)，實驗設(shè)備處理器CPU 型號為Intel?CoreTMi7-10700，處理單幅圖像平均耗時370 ms，距離實時處理還有一定差距，影響算法效率的原因主要有兩方面，一方面受到硬件系統(tǒng)的限制，另一方面算法本身也有一定的進(jìn)步空間，尤其是針對圖像復(fù)原算法的改進(jìn)與實現(xiàn)。對比算法及所提算法處理結(jié)果如圖11 所示。

圖11 不同算法增強(qiáng)結(jié)果Fig.11 Enhancement results of different algorithms

2.1 主觀評價

由圖11 所示的處理結(jié)果可以觀察到，選擇的4 種對比算法雖然有效地提升了隧道低照度圖像的整體對比度和亮度，但是仍存在一定的不足。MSR 算法出現(xiàn)了過度增強(qiáng)的現(xiàn)象，使得圖像整體看起來泛白，不符合人眼視覺特性；Dong 算法在圖像色彩上出現(xiàn)了一定程度的失真，且在光源范圍附近對比度增強(qiáng)效果不協(xié)調(diào)；BIMEF 和Ying 算法在色彩表現(xiàn)及對比度提升方面表現(xiàn)較好，但是沒有恢復(fù)圖像的細(xì)節(jié)，部分區(qū)域看起來仍較模糊；所提算法在提升圖像整體亮度及對比度的同時，能夠有效地恢復(fù)由高斯噪聲引起的模糊現(xiàn)象，能夠很好地展現(xiàn)圖像局部細(xì)節(jié)。

為了進(jìn)一步分析不同算法在恢復(fù)模糊圖像局部細(xì)節(jié)上的特點，分別截取5 種增強(qiáng)結(jié)果的同一區(qū)域，并按一定比例進(jìn)行放大，然后利用Canny 邊緣檢測算子對各個結(jié)果分別進(jìn)行邊緣檢測，同時設(shè)定Canny 檢測算子中的高低閾值及算子核大小一致。不同算法的局部區(qū)域截取放大結(jié)果及邊緣檢測結(jié)果如圖12 所示。

圖12 不同算法實驗結(jié)果及局部邊緣檢測圖Fig.12 Experimental results and local edge detection diagrams of different algorithms

由圖12 可以看出：BIMEF 和Ying 算法處理結(jié)果的軌道局部圖像細(xì)節(jié)較為模糊，且對比度表現(xiàn)較差，只檢測出較少的幾條邊緣；Dong 算法較BIMEF 和Ying 算法在恢復(fù)圖像細(xì)節(jié)方面表現(xiàn)更好，但圖像中扣件部分細(xì)節(jié)特征仍較模糊；MSR 算法通過對光照分量的估計，降低了圖像的模糊程度，在4 種參考算法中表現(xiàn)最好，但是細(xì)節(jié)特征部分增強(qiáng)效果仍不顯著；所提算法增強(qiáng)結(jié)果降低了原圖中的模糊現(xiàn)象，使圖中鋼軌兩側(cè)的扣件、軌枕等細(xì)節(jié)特征更加清晰，這一點在邊緣檢測結(jié)果圖中也得到了很好的體現(xiàn)，檢測到的邊緣線較為稠密，表明所提算法有效地恢復(fù)了模糊圖像的細(xì)節(jié)且增大了隧道低照度圖像的局部對比度。

2.2 客觀評價

主觀評價一般是從視覺效果上對算法增強(qiáng)效果做出評價，評價結(jié)果可能由于觀測者的不同而出現(xiàn)一定的偏差；客觀評價往往從數(shù)學(xué)統(tǒng)計量方面對算法有效性進(jìn)行定量分析，具有精確精準(zhǔn)的特性［26］。選擇圖像對比度、平均梯度、信息熵3 種客觀評價指標(biāo)對對比算法及所提算法的處理結(jié)果進(jìn)行量化分析，其中：圖像對比度反映圖片的清晰程度，值越大表示圖片越清晰［27］；平均梯度值越大代表圖像細(xì)節(jié)越豐富；信息熵反映圖像信息的含量，值越大說明圖像質(zhì)量越好［28］。3 種評價指標(biāo)計算公式如式（11）～式（13）所示：

其中：M、N分別表示圖像的行數(shù)和列數(shù)；I(u,v)表示圖像的灰度值大小。

其中：P(Xi)表示灰度級Xi占圖像總像素數(shù)的比例；L為圖像灰度級總量。

不同算法分析結(jié)果的量化指標(biāo)如表1 所示，由表1 可以看出：所提算法的平均梯度值與對比度值顯著高于4 種對比算法，表明所提算法在提高圖像清晰度和恢復(fù)圖像細(xì)節(jié)方面優(yōu)于4 種對比算法；雖然所提算法的信息熵值略低于MSR 算法，但優(yōu)于其他3 種對比算法，表明所提算法在保證圖像質(zhì)量方面同樣具有一定的優(yōu)勢。上述分析結(jié)果進(jìn)一步說明了所提算法在處理隧道低照度模糊圖像中的有效性和優(yōu)越性。

表1 客觀評價指標(biāo)計算結(jié)果Table 1 Calculation results of objective evaluation indexes

3 結(jié)束語

針對隧道低照度圖像亮度低、對比度小及細(xì)節(jié)模糊的特點，以及現(xiàn)有算法對于處理低照度模糊圖像的不足，提出一種融合對比度拉伸的隧道圖像復(fù)原算法。依據(jù)圖像自身的灰度等級分布確定對比度拉伸函數(shù)的參數(shù)，并且根據(jù)不同位置模糊程度的不同設(shè)計分塊處理策略，以達(dá)到良好的整體處理結(jié)果。實驗結(jié)果表明，所提算法較現(xiàn)有算法能夠較好地恢復(fù)圖像細(xì)節(jié)、提升圖像對比度及亮度，且沒有出現(xiàn)過度增強(qiáng)或色彩失真的情況，能夠有效減少后續(xù)隧道圖像特征提取的困難程度。從主觀評價與客觀評價的分析結(jié)果中可以看出，所提算法對于處理隧道低照度模糊圖像方面存在一定的優(yōu)勢，后續(xù)將進(jìn)一步優(yōu)化所提算法，提升算法泛化性與實時性。