一種新型增加去霧處理的車牌檢測算法在林區(qū)中的應用

丁鍵 朱洪前 任會 李丹 楊國

摘 要：林區(qū)的治安防護管理一直是人們所欠缺關注的問題，林區(qū)作案、林區(qū)動植物的盜伐都透露出林區(qū)治安防護管理的短板。本文致力于機器視覺在林區(qū)的應用，為加強林區(qū)的防盜伐能力提出一種融合圖像去霧處理的車牌檢測算法，該方法采用限定對比度自適應直方圖均衡化的技術去除大霧天、雨雪天等圖像模糊的干擾，結合車牌的顏色、長寬比形態(tài)等特征對霧雨雪天氣下的車牌進行檢測。該方法相比普通車牌檢測方法的效果有較大提升，霧雨雪天氣環(huán)境下檢測車牌的準確率可以達到88.00%，而普通車牌檢測方法達到的準確率僅為82.67%。初步證明了本文提出的算法在林區(qū)霧雨雪天氣下應用的可行性。

關鍵詞：林區(qū)防護;限定對比度自適應直方圖均衡化;車牌檢測;去霧處理;復雜天氣環(huán)境

中圖分類號：TP391.4;U495??? 文獻標識碼：A?? 文章編號：1006-8023（2021）04-0094-08

Application of A Novel Algorithm for License Plate Detection with

Defogging Processing in Forest Region

DING Jian， ZHU Hongqian*， REN Hui， LI Dan， YANG Guo

（College of Materials Science and Engineering， Central South University of Forestry and Technology， Changsha 410004， China）

Abstract：The management of public security protection in forest areas has always been a problem that people lack attention to. It reveals the weakness of public security protection management in forest areas that committing crimes， illegal felling of trees and poaching animals. Our group has been committed to the application of machine vision in forest areas. In order to enhance the ability of forest area to prevent illegal cutting， this paper presents a novel algorithm of license plate detection which combines image defogging processing. This method uses the technique of contrast limited adaptive histogram equalization to remove the interference of image blurring in foggy， rainy and snowy days， and combines the features of the license plate such as color， aspect ratio， etc. to detect the license plate in fog， rain and snow weather. Compared with the ordinary license plate detection method， the result of this method has been greatly improved. The accuracy of detecting license plate in fog， rain and snow weather can reach 88.00%， while the accuracy of ordinary license plate detection can only reach 82.67%. This paper preliminarily proves the feasibility of the proposed algorithm in fog， rain and snow weather of forest areas.

Keywords：Forest protection; contrast limited adaptive histogram equalization; license plate detection; defogging processing; complex weather environment

收稿日期：2021-03-17

基金項目：中南林業(yè)科技大學研究生科技創(chuàng)新基金資助（CX20202017）;國家自然科學基金面上項目（61673166）

第一作者簡介：丁鍵，碩士研究生。研究方向為林業(yè)機器視覺。E-mail： 20191200152@csuft.edu.cn

*通信作者：朱洪前，博士，副教授。研究方向為林業(yè)機器視覺。E-mail： zhuhongqian@163.com

引文格式：丁鍵，朱洪前，任會，等.一種新型增加去霧處理的車牌檢測算法在林區(qū)中的應用[J].森林工程，2021，37（4）：94-101.

DING J， ZHU H Q， REN H， et al. Application of a novel algorithm for license plate detection with defogging processing in forest region[J]. Forest Engineering，2021，37（4）：94-101.

0 引言

由于林區(qū)位于城市邊緣，基建的智能化相比之下較薄弱，大力促進森林資源的有效監(jiān)管和保護是國家的迫切需要。林區(qū)常有大霧、風沙和雨雪等情況，環(huán)境相比較為復雜，為不法分子偷竊動植物、作案后隱匿提供了有機可乘的場所[1-2]。因此需要加強林區(qū)治安防護管理。車牌識別技術是交通智能化發(fā)展的一項關鍵技術，而車牌定位是車牌識別技術的關鍵環(huán)節(jié)，得到了專家學者們的廣泛關注。目前車牌定位的方法主要有：基于車牌色彩信息方法、基于車牌紋理特征方法、基于邊緣檢測信息方法、基于車牌形態(tài)學特征方法、基于遺傳算法檢測方法和基于神經(jīng)網(wǎng)絡算法定位方法等[3-5]。

為了加強林區(qū)的治安防護管理，本文針對普通車牌定位算法在林區(qū)霧雨雪天氣下的準確率較低，提出了融合限定對比度自適應直方圖均衡化的圖像去霧處理，基于顏色、邊緣信息和長寬比等特征的林區(qū)車牌定位算法，進一步提高了車牌檢測算法的準確率，從而為林區(qū)的治安管理提供方便。

1 CLAHE去霧算法

直方圖均衡化（Histogram Equalization，HE）是圖像處理中常見的圖像增強手段，通過處理將原圖像的灰度直方圖在整個區(qū)域變成了均勻分布，改善了直方圖局部分布集中造成的影響。局部直方圖均衡化（Local Histogram Equalization，LHE）[6-7]是將圖像分成多個子塊，每個子塊進行直方圖均衡化，進而遍歷整幅圖像，得到圖像增強效果，雖然對局部細節(jié)的增強效果較好，但是也容易出現(xiàn)過度增強的情況[7-9]。傳統(tǒng)的全局直方圖均衡化（Global Histogram Equalization，GHE），利用整幅圖像的累積分布函數(shù)（Cumulative Distribution Function，CDF），逐步對圖像中的每個像素點做了映射，從整體上提高了圖像的對比度，但是也會忽略分散區(qū)域的像素點，丟失部分細節(jié)[10]。

自適應直方圖均衡化（Adaptive Histo-gram Equalization，AHE），也是用來提高圖像對比度的方法，不過與HE不同的是，AHE通過對圖像局部直方圖的計算，進而改變每一塊的亮度，以此提升圖像整體的對比度[11]，此算法利于改進圖像的細節(jié)以及優(yōu)化局部對比度。不過，AHE算法總是出現(xiàn)過度放大圖像中相同子塊噪聲的問題[12]。

但是，還有一種限定對比度自適應直方圖均衡化（Contrast Limited Adaptive? Histogram Equalization，CLAHE）的方法[13]，該方法能夠有效地抑制圖像增強處理過后產(chǎn)生的圖像畸形變化和放大噪聲等問題[14]。CLAHE與常規(guī)的AHE不同之處在于對比度限制幅度，CLAHE對于圖像中的每個子塊都會使用對比度限幅，這彌補了AHE中產(chǎn)生的過多噪聲的問題[15]。

CLAHE的原理是通過裁剪子塊直方圖的高度來抑制局部對比度放大幅度的效果。

裁去的直方圖的值稱為裁剪限幅，裁剪限幅的過程為：第一步，將圖像分為一個個子區(qū)塊，計算子區(qū)塊中的直方圖;第二步，采用限定對比度的方法，將直方圖中每個子塊超出裁剪限幅的部分，合理分布到直方圖中的其他區(qū)域，達到了對直方圖每個子塊重新分配的效果[16]，具體如圖1所示。

對比度放大幅度可定義為圖像灰度映射函數(shù)的導數(shù)[17-18]。若AHE方法的局部窗口大小為M×M像素，那么局部映射函數(shù)mi為：

mi=255×CDFiM×M。

式中CDFi為局部直方圖的累積分布函數(shù)值。CDFi的導數(shù)為局部直方圖的值Hisi，故局部映射函數(shù)mi的導數(shù)S為：

S=dmidi=255×HisiM×M。 （1）

由公式（1）可以看出，控制Hisi的大小即控制了S的大小，這就達到了抑制對比度放大幅度的效果。若存在最大斜率為Smax，則存在直方圖的最大高度Hmax為：

Hmax=Smax×M×M255。

裁剪直方圖中高度大于Hmax的部分，如圖1所示。由圖1可知，實際的裁剪過程是從T值處對直方圖進行裁剪，然后將裁去的部分重新分布到整個灰度直方圖上，確保直方圖總面積不變，為此整個直方圖高度上升L。圖1中Hmax、T、L之間滿足以下關系：

Hmax=T+L。

重新分配后，直方圖的值為：

Histi′=Hisi+LHmaxHisi

綜上所述，限制映射函數(shù)最大斜率Smax及相應的直方圖最大高度Hmax，便可得到不一樣的圖像增強效果。

實際CLAHE圖像處理狀況對比如圖2和圖3所示，像素直方圖分布對比如圖4和圖5所示，整體變化較明顯。

2 車牌定位算法

基于顏色、邊緣和長寬比等特征的車牌定位算法的步驟如下。

（1）使用OpenCV讀取車牌圖片，讀取的顏色空間為BGR，將顏色空間BGR轉換為HSV。

RGB是日常人們見過最多的顏色空間，由3個顏色通道組成一幅圖像，分別是紅色通道（Red，公式中記為R）、綠色通道（Green，公式中記為G）和藍色通道（Blue，公式中記為B），這3種顏色可以形成不同組合來表示其他顏色。

在圖像處理中，使用較多的是HSV顏色空間，比起RGB它更利于人們的理解和認知，直觀的表達色調（Hue，公式中記為H）、飽和度（Saturation，公式中記為S）和明度（Value，公式中記為V）。由于HSV模型比較直觀，很容易得到單一顏色，直接指定H即可，非常方便。因此想要獲得車牌顏色的特征，直接查找HSV圖片下的顏色區(qū)域即可。

RGB轉HSV公式：

R′=R255，G′=G255，B′=B255。

Cmax=max（R′，G′，B′）

Cmin=min（R′，G′，B′）。

Δ=Cmax-Cmin。

H（Hue）的計算：

H=0°，??????? Δ=0

60°×（G′-B′Δ+0），Cmax=R′60°×（B′-R′Δ+2），Cmax=G′60°×（R′-G′Δ+4），Cmax=B′。

S（Saturation）的計算：

S=0Cmax=0ΔCmaxCmax≠0。

V（Value）的計算：

V=Cmax。

式中：R′為歸一化后的紅色色彩值;G′為歸一化后的綠色色彩值;B′為歸一化后的藍色色彩值;Cmax為R′、G′、B′中的最大值;Cmin為R′、G′、B′中的最小值;Δ為Cmax與Cmin的差值。

RGB與HSV圖像前后對比如圖6和圖7所示。

（2）查找HSV格式下車牌圖片中所有符合藍色區(qū)間的像素點，得到掩模底片，接下來對車牌圖片進行圖像掩模操作。

圖像的掩模其實借鑒于印制電路板，其原理很相似，都是用預先選好的模板，對要處理的區(qū)域進行遮擋，這樣在處理其他部分的時候，該區(qū)域就不會受到影響。上述中的模板又稱掩模，在數(shù)字圖像處理中，這種掩模為二維數(shù)組的矩陣，或者是多值圖像。

在數(shù)字圖像處理中，圖像掩模的用途主要為：①提取感興趣的區(qū)域;②屏蔽不感興趣的區(qū)域;③提取感興趣的結構特征;④制作特殊形狀的圖像。

對車牌顏色特征區(qū)域的掩模有利于車牌特征的提取，操作后如圖8所示。

（3）將圖像進行灰度化操作，接下來利用高斯模糊將圖片平滑化，去除干擾的噪聲對后續(xù)圖像處理的影響。

灰度化操作是將正常圖像去除彩色信息，只留下亮度信息的處理過程，處理完成后得到灰度圖像，此時圖像中只包含亮度信息。

高斯模糊的操作其實是圖像模糊操作的一種，作為圖像模糊濾波器之一，用正態(tài)分布函數(shù)逐個計算圖像中的每一個像素并處理，其二維空間的正態(tài)分布方程為：

G（u，v）=12πσ2e-（u2+v2）2σ2。

式中：σ是正態(tài)分布的標準差;μ和ν為二維空間的位置坐標。

經(jīng)過灰度化和高斯模糊操作后的圖像如圖9和圖10所示。

（4）使用Sobel算子對車牌圖像進行水平方向上的邊緣檢測。

Sobel算子是離散微分算子，為了計算圖像灰度函數(shù)的近似梯度，采用了高斯平滑和微分求導。與Prewitt算子不同的是，Sobel算子將像素位置影響算進加權，可以減少邊緣的模糊程度，達到了較好的效果。Sobel算子以其濾波算子的一種形式，提取邊緣并可以使用快速卷積函數(shù)，簡單而又有效的方式使其應用廣泛[19]。

對圖片進行Sobel算子檢測后，如圖11所示。

（5）調節(jié)二值化閾值（THRESH_BINARY），弱化背景，對圖像中適合的矩形區(qū)域進行閉操作，閉操作可以將目標區(qū)域連成一個整體，便于后續(xù)輪廓的提取。

圖像的灰度值為0和255，分別對應黑和白，通過調節(jié)二值化的閾值（0～255），能夠有效地凸顯圖像的局部特征，得到有用的二值化圖像。

閉操作是將圖像中的圖形盡可能地連接在一起，形成較大的區(qū)域，消除小的點和線，消除斷裂現(xiàn)象[20-21]。閉操作的運算過程如下：

A·B=（AB）B。

這個公式表示B對A進行了閉操作，其過程為右側，先用B對A進行膨脹，然后用B對所得結果進行腐蝕。

對圖像進行二值化閾值調節(jié)操作和閉操作，如圖12和圖13所示。

（6）查找并篩選符合條件的矩形區(qū)域，并繪制綠色矩形框。

該過程首先計算得到圖像所有輪廓的面積，然后忽略面積小的區(qū)域，將得到的區(qū)域轉換成最小矩形區(qū)，計算該區(qū)域的寬和高，篩選出符合一定長寬比范圍的矩形區(qū)，并加入集合，最后縮小范圍，找出最有可能是車牌的位置，并繪制綠色矩形框，最后結果如圖14所示。

3 實驗流程及結果

3.1 實驗流程

（1）收集霧雨雪天氣的車牌數(shù)據(jù)集

經(jīng)過本項目組的實地考察，林區(qū)內(nèi)車輛稀少且未經(jīng)允許不能私自進入，故深入林區(qū)內(nèi)獲取車牌數(shù)據(jù)集異常困難。綜合考慮，作為項目的第一步，為了測試融合CLAHE的車牌檢測算法的有效性，本文從XU等[22]發(fā)布的大型車牌數(shù)據(jù)集CCPD（Chinese City Parking Dataset）中挑選了普通車牌圖片150張、霧雨雪車牌圖片150張，每張圖片的像素為720×1 160。普通車牌樣本如圖15所示，霧雨雪車牌樣本如圖16所示。

（2）融入CLAHE的車牌定位算法

本文實現(xiàn)的車牌檢測算法流程如圖17所示。

3.2 實驗結果

車牌檢測方法準確率的對比見表1。

上述實驗中，以綠框中包含車牌的全部區(qū)域才算檢測成功，由此可以發(fā)現(xiàn)，融合CLAHE去霧處理后的車牌檢測準確率有了較大的提升，比普通車牌檢測算法的效果要好。但是增加了算法之后，檢測圖像中車牌的耗時略微有點增加。

4 結束語

本文采用限定對比度自適應直方圖均衡化的去霧方法，車牌圖像的對比度和可檢測度得到明顯的提高，霧雨雪天氣下的車牌檢測準確率達到了88.00%，該實驗初步證實了提高林區(qū)霧雨雪天氣下車牌檢測準確率的可行性，后期將進一步對林區(qū)的車牌數(shù)據(jù)集收集，完善本文的實驗，將本文研究的內(nèi)容全面應用到林區(qū)的車牌檢測中，從而解決林區(qū)的監(jiān)管及防盜伐。

【參 考 文 獻】

[1]丁鍵， 朱洪前. 基于CNN多標簽分類的林區(qū)車牌識別研究[J]. 現(xiàn)代信息科技， 2020， 4（12）： 84-87.

DING J， ZHU H Q. Study on license plate recognition in forest area based on CNN multi-label classification[J]. Modern Information Technology， 2020， 4（12）： 84-87.

[2]韓祥程， 侯衛(wèi)萍， 劉霞. 林區(qū)車輛監(jiān)控系統(tǒng)車載終端的研究[J]. 森林工程， 2014， 30（5）： 150-153.

HAN X C， HOU W P， LIU X. Research on terminal platform of forest vehicle monitoring system[J]. Forest Engineering， 2014， 30（5）： 150-153.

[3]王楠楠. 車牌定位及傾斜矯正方法研究[J]. 工業(yè)控制計算機， 2014， 27（11）： 25-26.

WANG N N. License plate location and slant correction algorithm[J]. Industrial Control Computer， 2014， 27（11）： 25-26.

[4]鞠麗麗， 王英. 基于暗原色先驗的霧天圖像車牌定位[J]. 工業(yè)控制計算機， 2016， 29（3）： 46-47.

JU L L， WANG Y. License plate location based on dark channel prior in fog-degraded images[J]. Industrial Control Computer， 2016， 29（3）： 46-47.

[5]趙偉， 趙嘉寧. 加油站復雜環(huán)境下車牌定位算法研究[J]. 森林工程， 2015， 31（3）： 141-145.

ZHAO W， ZHAO J N. Research on the algorithm of license plate localization in gas station with complicated environment[J]. Forest Engineering， 2015， 31（3）： 141-145.

[6]孫春鳳， 袁峰. 等面積遞歸分解的部分重疊局部直方圖均衡[J]. 光學精密工程， 2009， 17（9）： 2292-2300.

SUN C F， YUAN F. Partially overlapped sub-block histogram equalization based on recursive equal area separateness[J]. Optics and Precision Engineering， 2009， 17（9）： 2292-2300.

[7]WANG Y， PAN Z B. Image contrast enhancement using adjacent-blocks-based modification for local histogram equalization[J]. Infrared Physics & Technology， 2017， 86： 59-65.

[8]KIM T K， PAIK J K， KANG B S. Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering[J]. IEEE Transactions on Consumer Electronics， 1998， 44（1）： 82-87.

[9]WANG Q， WARD R K. Fast image/video contrast enhancement based on weighted thresholded histogram equalization[J]. IEEE Transactions on Consumer Electronics， 2007， 53（2）： 757-764.

[10]喬鬧生. 一種改進的直方圖均衡化[J]. 光學技術， 2008， 34（S1）： 141-142.

QIAO N S. An improved histogram equalization[J]. Optical Technique， 2008， 34（S1）： 141-142.

[11]楊驥， 楊亞東， 梅雪， 等. 基于改進的限制對比度自適應直方圖的視頻快速去霧算法[J]. 計算機工程與設計， 2015， 36（1）： 221-226.

YANG J， YANG Y D， MEI X， et al. Fast video dehazing based on improved contrast limited adaptive histogram equalization[J]. Computer Engineering and Design， 2015， 36（1）： 221-226.

[12]劉振宇， 江海蓉， 徐鶴文. 極端天氣條件下低質圖像增強算法研究[J]. 計算機工程與應用， 2017， 53（8）： 193-198.

LIU Z Y， JIANG H R， XU H W. Low-quality image enhancement algorithms in extreme weather conditions[J]. Computer Engineering and Applications， 2017， 53（8）： 193-198.

[13]PIZER S M， JOHNSTON R E， ERICKSEN J P， et al. Contrast-limited adaptive histogram equalization： speed and effectiveness[C]// Proceedings of the First Conference on Visualization in Biomedical Computing. May 22-25， 1990， Atlanta， GA， USA. IEEE， 1990： 337-345.

[14]陶佩， 付青青， 吳愛平. 一種限制對比度的快速POSHE圖像增強算法[J]. 長江大學學報（自然科學版）， 2020， 17（2）： 104-111.

TAO P， FU Q Q， WU A P.A fast POSHE image enhancement algorithm with limited contrast [J]. Journal of Yangtze University （Natural Science Edition）， 2020， 17（2）： 104-111.

[15]馮創(chuàng)意， 張純純. 基于雙邊引導上采樣的圖像增強快速實現(xiàn)研究[J]. 農(nóng)業(yè)裝備與車輛工程， 2020， 58（2）： 155-160.

FENG C Y， ZHANG C C. Fast implementation of image enhancement based on bilateral guided upsampling[J]. Agricultural Equipment & Vehicle Engineering， 2020， 58（2）： 155-160.

[16]黎秀玉， 宋樹祥， 夏海英. 基于CLAHE和圖像分解的去霧方法[J]. 廣西大學學報（自然科學版）， 2016， 41（5）： 1552-1559.

LI X Y， SONG S X， XIA H Y. Single image dehazing method based on CLAHE and image decomposition[J]. Journal of Guangxi University （Natural Science Edition）， 2016， 41（5）： 1552-1559.

[17]張麗. 對比度受限自適應直方圖均衡方法[J]. 電腦知識與技術， 2010， 6（9）： 2238-2241.

ZHANG L. Contrast limited adaptive histogram equalization[J]. Computer Knowledge and Technology， 2010， 6（9）： 2238-2241.

[18]王芳.基于圖像配準的新媒體視覺影像超分辨率重建方法[J].自動化技術與應用，2021，40（4）：99-102.

WANG F. Superresolution reconstruction method of new media visual images based on image registration[J]. Techniques of Automation and Applications， 2021， 40（4）：99-102.

[19]曾泉. 復雜背景下基于OpenCV的車牌識別系統(tǒng)研究[D]. 廣州： 廣東工業(yè)大學， 2016.

ZENG Q. Research on license plate recognition system based on OpenCV under complex background[D]. Guangzhou： Guangdong University of Technology， 2016.

[20]潘奕創(chuàng)， 傅惠南， 彭趕， 等. 激光輔助機器視覺測量兩平面高度差的設計[J]. 機電工程技術， 2018， 47（4）： 20-23.

PAN Y C， FU H N， PENG G， et al. Laser assisted machine vision measuring two plane height difference design[J]. Mechanical & Electrical Engineering Technology， 2018， 47（4）： 20-23.

[21]張廣云.一種激光圖像邊緣檢測方法的研究[J].自動化技術與應用，2020，39（5）：84-87.

ZHANG G Y. Research on a laser image edge detection method[J]. Techniques of Automation and Applications， 2020， 39（5）：84-87.

[22]XU Z B， YANG W， MENG A， et al. Towards end-to-end license plate detection and recognition： a large dataset and baseline[C]// European Conference on Computer Vision. Springer， Cham， 2018.