復(fù)雜環(huán)境下的圖像處理綜述

陳飛 劉云鵬

摘要：隨著無人駕駛的快速發(fā)展，解決復(fù)雜環(huán)境下的交通標(biāo)志、交通燈以及車道線的識(shí)別問題成為研究熱點(diǎn)。為了保證后期檢測(cè)和識(shí)別的準(zhǔn)確與快速，較好地處理復(fù)雜環(huán)境下拍攝的視頻圖像極為關(guān)鍵。文章綜述了霧霾、雨、雪等惡劣天氣和復(fù)雜光線條件下圖像處理方法，并且對(duì)其各種方法的優(yōu)缺點(diǎn)進(jìn)行了簡(jiǎn)單闡述。最后，總結(jié)了本次工作，展望了未來這一方向的發(fā)展。

關(guān)鍵詞：復(fù)雜環(huán)境;惡劣天氣;復(fù)雜光線;圖像處理

中圖分類號(hào)：TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）36-0005-05

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Overview of Image Processing in Complex Environment

CHEN Fei，LIU Yun-peng

（Zhejiang Wanli University， Ningbo 315100， China）

Abstract： With the rapid development of unmanned driving， solving the problem of recognizing traffic signs， traffic lights and lane lines in complex environment has become a research hotspot. In order to ensure the accuracy and rapidity of post-detection and recognition， it is crucial to deal with the video images captured in complex environment. In this paper， the image processing methods under severe weather and complex light conditions such as smog， rain and snow are summarized， and the advantages and disadvantages of various methods are briefly described. Finally， this work is summarized and the future development in this direction is prospected.

Key words： complex environment; bad weather; complex light; image processing

圖像處理是對(duì)圖像進(jìn)行某些操作，以獲得增強(qiáng)圖像或從中提取有用信息的信號(hào)處理方法。它輸入的是圖像，輸出的是圖像或與該圖像相關(guān)聯(lián)的特征。其方法有兩種，即模擬圖像處理和數(shù)字圖像處理。前者是通過模擬方式對(duì)二維模擬信號(hào)執(zhí)行圖像處理任務(wù)，但在處理過程中容易產(chǎn)生噪聲或失真之類的問題。后者是一種利用數(shù)字計(jì)算機(jī)來處理數(shù)字圖像的算法，較好地避免了失真問題。隨著計(jì)算機(jī)的迅猛發(fā)展，數(shù)字圖像處理越來越受人們青睞。當(dāng)下，圖像處理一般指數(shù)字圖像處理。常見的數(shù)字圖像處理方法詳見圖1。

數(shù)字圖像在拍攝過程中易受到諸多不可抗拒的環(huán)境因素，如：霧、雨、雪等惡劣天氣和強(qiáng)光、昏暗等復(fù)雜光線。這些都會(huì)導(dǎo)致拍攝的圖像質(zhì)量變差，后期無法使用。因此，采用各種圖像處理方法，復(fù)原出我們需要的、理想的、高質(zhì)量的圖像，具有重要實(shí)用意義。

1 惡劣天氣的圖像處理方法

惡劣天氣時(shí)拍攝的圖像往往伴有大量噪音，同時(shí)圖像中也會(huì)出現(xiàn)遮擋其局部信息的雨線、雪花、霧層。因此需要利用各種方法進(jìn)行處理，恢復(fù)出圖像原貌。本小節(jié)主要對(duì)霧和雨、雪兩類天氣的圖像處理方法進(jìn)行簡(jiǎn)要闡述。

1.1霧霾天的圖像處理方法

圖像去霧的傳統(tǒng)方法主要有兩大類：基于圖像增強(qiáng)方法和基于圖像恢復(fù)方法。前者的主要方法包括直方圖均衡化法、同態(tài)濾波法、小波變換法和Retinex系列法。它是通過對(duì)原圖的對(duì)比度、灰度分布和色調(diào)等特征進(jìn)行改善、提高圖像的整體質(zhì)量和清晰度，但此類方法忽略了圖像退化和降質(zhì)的問題。后者的主要方法包括基于大氣光偏振特性法、基于先驗(yàn)信息法和基于深度信息法。該類方法則是從導(dǎo)致圖像退化和降質(zhì)的本源入手，利用物理中的大氣散射模型，反解出原圖像或光線反射率，從而達(dá)到改善圖像質(zhì)量的目的。隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的圖像去霧方法也不斷涌現(xiàn)。近年來每屆國(guó)際知名會(huì)議[例如ICCV（國(guó)際計(jì)算機(jī)視覺大會(huì)）、ECCV（歐洲計(jì)算機(jī)視覺國(guó)際會(huì)議）、CVPR（國(guó)際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議）]都有提到各種基于深度學(xué)習(xí)去霧方法（除此之外還有圖像去雨、光線增強(qiáng)等方法），由于類別眾多，故基于深度學(xué)習(xí)的方法不再進(jìn)行細(xì)分。針對(duì)去霧方法的歸納總結(jié)詳見表1。

1.2 雨、雪天氣下的圖像處理方法

雨、雪圖像處理的目的旨在不影響圖像原背景的前提下，對(duì)圖像中的雨線、雪花進(jìn)行去除?，F(xiàn)有方法主要是基于優(yōu)化方式的去雨和基于深度學(xué)習(xí)方式去雨?；趦?yōu)化方式又分為三類：基于物理和數(shù)學(xué)推導(dǎo)的去雨模型法、基于圖像處理知識(shí)法和基于稀疏編碼、字典學(xué)習(xí)的方式。歸納總結(jié)見表2。

2 復(fù)雜光線的圖像處理方法

在圖像拍攝過程中，不可避免遇見各種各樣的復(fù)雜光線環(huán)境。光線的強(qiáng)弱對(duì)其具有十分重要的影響，它會(huì)帶給圖像本質(zhì)上的變化。光線強(qiáng)烈時(shí)，圖像會(huì)局部出現(xiàn)亮光點(diǎn);光線昏暗時(shí)，圖像會(huì)大面積出現(xiàn)黑影;這都會(huì)使圖像丟失局部信息，且在進(jìn)行識(shí)別時(shí)因與之前的訓(xùn)練模板不一致，從而影響圖像的特征提取，無法進(jìn)行檢測(cè)。復(fù)雜光線有多種，本文只針對(duì)處理高光和昏暗兩種光線。

2.1高光下圖像處理方法

高光圖像處理的思路主要分為兩種：一種是在拍攝前將極化濾波器放在攝像機(jī)鏡頭前，從而減輕高光對(duì)拍攝過程的影響;另一種是對(duì)拍攝出的圖像進(jìn)行去高光處理。本文只針對(duì)后者，后者的處理方法主要分為五大類，即傳統(tǒng)高光去除算法、光照模型法、最大漫反射色度估計(jì)法、雙邊濾波器法和基于深度學(xué)習(xí)的方法。本小節(jié)對(duì)此進(jìn)行了簡(jiǎn)單的歸納總結(jié)，詳見表3。

2.2昏暗環(huán)境下圖像處理方法

昏暗圖像具有亮度和對(duì)比度低、整體細(xì)節(jié)辨識(shí)差等特點(diǎn)，使得得到的信息太少，進(jìn)而無法進(jìn)行特征提取與檢測(cè)、識(shí)別。針對(duì)此類圖像進(jìn)行處理的方法主要有基于傳統(tǒng)方式的非線性單調(diào)映射函數(shù)法、基于直方圖法、Retinex系列模型和圖像融合的方法。隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的昏暗圖像增強(qiáng)研究也備受人們關(guān)注。以下是本文對(duì)其進(jìn)行的簡(jiǎn)單歸納總結(jié)，詳見表4。

3 結(jié)論與展望

復(fù)雜環(huán)境下的圖像處理技術(shù)在提高目標(biāo)檢測(cè)準(zhǔn)確率和實(shí)時(shí)性方面具有很大的促進(jìn)作用。近年來大量學(xué)者關(guān)注復(fù)雜環(huán)境下拍攝圖像的處理工作，而且隨著計(jì)算機(jī)視覺的高速發(fā)展以及5G的快速普及，使用深度學(xué)習(xí)方法來處理這類問題已取得較好的成績(jī)。未來如何使用較少的網(wǎng)絡(luò)層數(shù)就能達(dá)到最佳的處理效果將會(huì)是一個(gè)新的研究熱點(diǎn)。

參考文獻(xiàn)：

[1] Yousuf M A，Rakib M R H.An effective image contrast enhancement method using global histogram equalization[J].Journal of Scientific Research，2010，3（1）：43.

[2] Lee J W，Hong S H. Brightness based on atmospheric scattering coefficient ratio Real time fog conversion and area translation Elimination method[J]. Journal of Korean multimedia Society papers，2016，19（1）：10-21.

[3] Yu L，Liu X B，Liu G Z.A new dehazing algorithm based on overlapped sub-block homomorphic filtering[C]//Proc SPIE 9875，Eighth International Conference on Machine Vision （ICMV 2015），2015，9875：987502.

[4] He J X，Xing F Z，Yang R，et al.Fast single image dehazing via multilevel wavelet transform based optimization[EB/OL].2019.

[5] Alharbi E M，Wang H，Ge P.A novel dark-channel dehazing algorithm based on adaptive-filter enhanced SSR theory[J].Journal of Computer and Communications，2017，5（11）：60-71.

[6] Liu M，Xu C.An ameliorative defogging algorithm based on the MSR[J].Applied Mechanics and Materials，2014，556/557/558/559/560/561/562：3483-3486.

[7] Zhang W D，Dong L L，Pan X P，et al.Single image defogging based on multi-channel convolutional MSRCR[J].IEEE Access，2019，7：72492-72504.

[8] 高雋，畢冉，趙錄建，等.利用偏振信息的霧天圖像全局最優(yōu)重構(gòu)[J].光學(xué) 精密工程，2017，25（8）：2212-2220.

[9] Tan R T.Visibility in bad weather from a single image[C]//2008 IEEE Conference on Computer Vision and Pattern Recognition.June 23-28，2008，Anchorage，AK，USA.IEEE，2008：1-8.

[10] Sulami M，Glatzer I，F(xiàn)attal R，et al.Automatic recovery of the atmospheric light in hazy images[C]//2014 IEEE International Conference on Computational Photography （ICCP）.May 2-4，2014，Santa Clara，CA，USA.IEEE，2014：1-11.

[11] Tarel J P，Hautière N.Fast visibility restoration from a single color or gray level image[C]//2009 IEEE 12th International Conference on Computer Vision.September 29 - October 2，2009，Kyoto，Japan.IEEE，2009：2201-2208.

[12] He K M，Sun J，Tang X O.Single image haze removal using dark channel prior[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.June 20-25，2009，Miami，F(xiàn)L，USA.IEEE，2009：1956-1963.

[13] Li C L，Jia Q.Foggy day image sharpening algorithm based on depth of field estimation[C]//Proceedings of the 2018 International Conference on Advanced Control，Automation and Artificial Intelligence （ACAAI 2018）.January 21-22，2018.Beijing，China.Paris，F(xiàn)rance：Atlantis Press，2018.

[14] Qin X，Wang Z L，Bai Y C，et al.FFA-net：feature fusion attention network for single image dehazing[J].Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（7）：11908-11915.

[15] Yu S J，Ou W H，You X G，et al.Single image rain streaks removal based on self-learning and structured sparse representation[C]//2015 IEEE China Summit and International Conference on Signal and Information Processing （ChinaSIP）.July 12-15，2015，Chengdu，China.IEEE，2015：215-219.

[16] Kim J H，Lee C，Sim J Y，et al.Single-image deraining using an adaptive nonlocal means filter[C]//2013 IEEE International Conference on Image Processing.September 15-18，2013，Melbourne，VIC，Australia.IEEE，2013：914-917.

[17] Kim J H，Sim J Y，Kim C S.Video deraining and desnowing using temporal correlation and low-rank matrix completion[J].IEEE Transactions on Image Processing，2015，24（9）：2658-2670.

[18] Li Y，Tan R T，Guo X J，et al.Rain streak removal using layer priors[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：2736-2744.

[19] Zhang Z， Wu L， Ma H D ， et al.Going Clear from Misty Rain in Dark Channel Guided Network[C].IJCAI Workshop on AI for Internet of Things，2017.

[20] Shi Z H，Li Y W，Zhang C Q，et al.Weighted Median guided filtering method for single image rain removal[J].EURASIP Journal on Image and Video Processing，2018，2018（1）：1-8.

[21] Son C H，Zhang X P.Rain removal via shrinkage-based sparse coding and learned rain dictionary[EB/OL].2016：arXiv：1610.00386[cs.CV].https：//arxiv.org/abs/1610.00386

[22] Deng S，Wei M Q，Wang J，et al.Detail-recovery image deraining via context aggregation networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：14548-14557.

[23] Shao F，Jiang G Y，Yu M，et al.Highlight-detection-based color correction method for multiview images[J].ETRI Journal，2009，31（4）：448-450.

[24] PingTan，Lin，Quan L，et al.Highlight removal by illumination-constrained inpainting[C]//Proceedings Ninth IEEE International Conference on Computer Vision.October 13-16，2003，Nice，F(xiàn)rance.IEEE，2003：164-169.

[25] Xu S C，Ye X Z，Wu Y，et al.Highlight detection and removal based on chromaticity[C]//Image Analysis and Recognition，2005：199-206.

[26] Tong K J. Research on Application of non Lambert surface imaging theory of machine vision in surface detection，2017.

[27] Tang Y P，Wu L J，Zong M L，et al.Research on identification of color structured light based on dichromatic reflection model[J].Advanced Materials Research，2011，403/404/405/406/407/408（9）：2780-2786.

[28] Yang Q X，Tang J H，Ahuja N.Efficient and robust specular highlight removal[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（6）：1304-1311.

[29] 高如新，李雪穎.雙邊濾波的改進(jìn)高光去除[J].中國(guó)圖象圖形學(xué)報(bào)，2018，23（1）：9-17.

[30] LU G R， TANG J F ，JIANG M. Research on image highlight removal based on fast bilateral filter[J].Computer Engineering and Applications，2014，50（10）：176-179.

[31] Madessa A H，Dong J Y，Gan Y H，et al.A deep learning approach for specular highlight removal from transmissive materials[J].Expert Systems，2020：e12598.

[32] Beghdadi A，Le Negrate A.Contrast enhancement technique based on local detection of edges[J].Computer Vision，Graphics，and Image Processing，1989，46（2）：162-174.

[33] Peli E.Contrast in complex images[J].Journal of the Optical Society of America A，Optics and Image Science，1990，7（10）：2032-2040.

[34] Rahman S，Rahman M M，Abdullah-Al-wadud M，et al.An adaptive gamma correction for image enhancement[J].EURASIP Journal on Image and Video Processing，2016，2016（1）：1-13.

[35] Yeganeh H，Ziaei A，Rezaie A.A novel approach for contrast enhancement based on Histogram Equalization[C]//2008 International Conference on Computer and Communication Engineering.May 13-15，2008，Kuala Lumpur，Malaysia.IEEE，2008：256-260.

[36] Pizer S M，Amburn E P，Austin J D，et al.Adaptive histogram equalization and its variations[J].Computer Vision，Graphics，and Image Processing，1987，39（3）：355-368.

[37] Muniyappan S，Allirani A，Saraswathi S.A novel approach for image enhancement by using contrast limited adaptive histogram equalization method[C]//2013 Fourth International Conference on Computing，Communications and Networking Technologies （ICCCNT）.July 4-6，2013，Tiruchengode，India.IEEE，2013：1-6.

[38] Jobson D J， Rahman Z U and Woodell G A. Retinex Image Processing： Improved Fidelity To Direct Visual Observation. NASA Langley Technical Report Server，1996.

[39] Zhu M Y，Su F，Li W J.Improved multi-scale retinex approaches for color image enhancement[J].Applied Mechanics and Materials，2010，39：32-37.

[40] Gao Y，Yun L J，Shi J S，et al.Enhancement MSRCR algorithm of color fog image based on the adaptive scale[C]//Proc SPIE 9159，Sixth International Conference on Digital Image Processing （ICDIP 2014），2014，9159：253-259.

[41] Ying Z Q，Li G，Ren Y R，et al.A new low-light image enhancement algorithm using camera response model[C]//2017 IEEE International Conference on Computer Vision Workshops （ICCVW）.October 22-29，2017，Venice，Italy.IEEE，2017：3015-3022.

[42] Xing L，Cai L，Zeng H Q，et al.A multi-scale contrast-based image quality assessment model for multi-exposure image fusion[J].Signal Processing，2018，145：233-240.

[43] Zhang Y H，Zhang J W，Guo X J.Kindling the darkness：a practical low-light image enhancer[C]//Proceedings of the 27th ACM International Conference on Multimedia.Nice France.New York，NY，USA：ACM，2019： 1632-1640.

【通聯(lián)編輯：唐一東】