基于圖像熵和傅里葉變換的復(fù)雜背景分割

李鎮(zhèn)鋒　陳曉榮　陳夢(mèng)華　盧德運(yùn)　陳運(yùn)豪

摘? 要：在機(jī)動(dòng)車登記證識(shí)別過程中，由于機(jī)動(dòng)車登記證圖像是無規(guī)則的彩色背景，傳統(tǒng)的圖像分割算法難以得到較好的分割效果，為了提高識(shí)別的準(zhǔn)確度，提出了基于圖像熵和傅里葉變換的復(fù)雜背景分割方法。首先，使用形態(tài)學(xué)腐蝕運(yùn)算分割出圖像中的直線，再利用直線從整體圖像中提取出局部圖像。其次，計(jì)算每幅局部圖像的圖像熵，若該局部圖像的熵小于閾值T，使用Otsu（最大類間方差）分割算法對(duì)其進(jìn)行分割;若該局部圖像的熵大于閾值T，則先通過傅里葉變換在頻率域?yàn)V波后再使用Otsu算法對(duì)其進(jìn)行分割。實(shí)驗(yàn)結(jié)果表明，該算法對(duì)機(jī)動(dòng)車登記證圖像能夠有效進(jìn)行分割，進(jìn)而從復(fù)雜背景中提取出不含噪聲的字符信息。

關(guān)鍵詞：復(fù)雜背景分割;圖像熵;傅里葉變換;Otsu分割

中圖分類號(hào)：TP391.1? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Complex Background Segmentation based on Image

Entropy and Fourier Transform

LI Zhenfeng， CHEN Xiaorong， CHEN Menghua， LU Deyun， CHEN Yunhao

（School of Optical-Electrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China）

lizhenfeng1028@163.com; cxrsjtu@163.com; 940405259@qq.com;

1533820050@qq.com; 1197345827@qq.com

Abstract： In the process of vehicle registration certificate recognition， it is difficult for traditional image segmentation algorithms to obtain better segmentation results， due to the irregular color background of the vehicle registration certificate image. In order to improve recognition accuracy， this paper proposes a complex background segmentation method based on image entropy and Fourier transform. First， morphological erosion operation is used to segment the straight lines， which are used to extract partial images from the overall image; secondly， the image entropy of each partial image is calculated. If the entropy of the local image is less than the threshold T， Otsu （maximum between-class variance） segmentation algorithm is used to segment it. If the entropy of the partial image is greater than the threshold T， it will be filtered in the frequency domain through Fourier transform and then segmented by using Otsu algorithm. The experimental results show that the algorithm can effectively segment the motor vehicle registration certificate image， and then extract the noise-free character information from the complex background.

Keywords： complex background segmentation; image entropy; Fourier transform; Otsu segmentation

1? ?引言（Introduction）

在進(jìn)行光學(xué)字符識(shí)別（Optical Character Recognition， OCR）的過程中，字符分割是非常重要的一環(huán)，字符分割的好壞直接影響到字符識(shí)別的準(zhǔn)確率[1-3]。在大多數(shù)情況下，處理的字符圖像背景都是單一或者是有一定規(guī)則的，對(duì)于這種情況通常使用傳統(tǒng)的分割方法就能夠得到較好的分割效果，但是對(duì)于機(jī)動(dòng)車登記證這類復(fù)雜彩色背景圖像，使用傳統(tǒng)的分割方法卻不能得到較好的分割效果。本文主要研究復(fù)雜背景圖像的分割問題。

在圖像分割研究方面，已有眾多學(xué)者針對(duì)不同場(chǎng)景提出了各種分割方法。楊謝柳等[4]針對(duì)非規(guī)則排列漢字文本分割正確率低的問題，提出一種基于連通域捆綁規(guī)則的漢字字符分割方法，但對(duì)文本前景區(qū)域的提取誤差非常敏感;趙泉華等[5]提出一種結(jié)合區(qū)域劃分的多特征紋理圖像分割方法，能夠針對(duì)單一特征分割不理想問題較好地實(shí)現(xiàn)圖像分割，但是分割時(shí)間較長(zhǎng)，邊緣分割精度并沒有得到較大提升;陳愷等[6]提出基于螢火蟲算法的二維熵多閾值快速圖像分割方法，能夠改善分割復(fù)雜圖像和多目標(biāo)圖像時(shí)計(jì)算量大、計(jì)算時(shí)間長(zhǎng)的問題，但是邊緣和細(xì)節(jié)信息并沒有得到較好的保持;BARTHAKUR等[7]提出神經(jīng)網(wǎng)絡(luò)結(jié)合K均值聚類算法來分割復(fù)雜圖像，但是該算法的復(fù)雜度較高。本文以機(jī)動(dòng)車登記證為研究對(duì)象，提出一種基于圖像熵和傅里葉變換的Otsu分割算法，該算法能夠有效地分割具有復(fù)雜背景的局部圖像。

2? ?圖像預(yù)處理（Image preprocessing）

2.1? ?灰度化

利用圖像采集裝置獲取到的機(jī)動(dòng)車登記證圖像是彩色圖像，為了簡(jiǎn)便計(jì)算，將RGB三通道彩色轉(zhuǎn)換成單通道灰度圖像[8]。常用的灰度化方法主要有分量法、最大值法、平均值法和加權(quán)平均值法[9]。本文采用符合人眼視覺特性的加權(quán)平均值法進(jìn)行圖像灰度化，如公式（1）所示：

其中，代表灰度化后的圖像，、、分別代表、、三個(gè)通道的圖像?；叶然昂蟮臋C(jī)動(dòng)車登記證圖像如圖1所示。

2.2? ?二值化

在灰度級(jí)范圍內(nèi)選取一個(gè)合適的閾值，所有小于該閾值的像素點(diǎn)稱為目標(biāo)點(diǎn)，所有大于該閾值的像素點(diǎn)稱為背景點(diǎn)。采用全局閾值法對(duì)圖1（b）進(jìn)行二值化[10]，二值化后的結(jié)果如圖2所示。

由圖2可知，二值化結(jié)果中包含大量的背景噪聲，直接從中分割出字符是非常困難的。經(jīng)過二值化后的圖像可以進(jìn)行直線分割，然后從整體圖像中提取出局部圖像，最后進(jìn)行局部圖像的復(fù)雜背景去噪，完成字符的分割。

2.3? ?局部圖像提取

為了提取局部圖像，本文分別使用長(zhǎng)大于字符寬度的矩形結(jié)構(gòu)元素和寬大于字符高度的矩形結(jié)構(gòu)元素對(duì)二值圖進(jìn)行形態(tài)學(xué)腐蝕運(yùn)算[11-12]，分割出水平方向上的直線和垂直方向上的直線，根據(jù)直線相交的點(diǎn)可以從整體圖像中提取出局部灰度圖像。圖3為從圖1（b）中提取出來的三幅局部灰度圖像。

3? ?局部圖像分割（Local image segmentation）

由圖3可知，不同局部圖像背景各不相同，為了便于對(duì)不同背景的局部圖像進(jìn)行分割，本文提出了一種基于圖像熵和傅里葉變換的局部圖像分割方法。局部圖像分割流程如圖4所示。

3.1? ?圖像的熵

“熵”的概念最早由魯?shù)婪颉た藙谛匏固岢?，反映的是體系的混亂程度，并應(yīng)用在了熱力學(xué)中[13]。后來香農(nóng)第一次將“熵”的概念引入信息論中。信息熵表示一件事物蘊(yùn)含了多少的信息，在數(shù)學(xué)上，信息熵其實(shí)就是信息量的期望。

在多干擾的復(fù)雜環(huán)境下，需要判斷圖像的受影響程度，可以用圖像熵來判斷圖像發(fā)生的變化。圖像的熵是一種特征的統(tǒng)計(jì)形式，反映了圖像包含的信息量的大小，圖像熵越大圖像所蘊(yùn)含的信息越多，圖像熵越小圖像所蘊(yùn)含的信息越少[14]。

圖像的一維熵表示圖像中灰度分布的聚集特征所包含的信息量，用表示圖像中灰度值為的像素所占的比例，則灰度圖像一維熵的定義如下：

首先計(jì)算局部圖像的熵，若熵小于閾值，則直接利用Otsu閾值分割算法進(jìn)行二值化得到分割結(jié)果;若熵大于閾值，將圖像在頻率域?yàn)V波之后再利用Otsu閾值分割算法對(duì)濾波后的圖像進(jìn)行二值化，得到最終的分割結(jié)果。經(jīng)過大量實(shí)驗(yàn)，本文圖像熵的閾值取6.00。

3.2? ?Otsu閾值分割算法

Otsu閾值分割算法是一種自適應(yīng)閾值分割方法，通過統(tǒng)計(jì)方法使得目標(biāo)區(qū)域和背景區(qū)域之間的灰度方差最大[15]。假設(shè)閾值將圖像分成目標(biāo)和背景，目標(biāo)區(qū)域占整幅圖像的比例為，背景區(qū)域占整幅圖像的比例為，且，目標(biāo)區(qū)域的平均灰度為，背景區(qū)域的平均灰度為，整幅圖像的平均灰度為，類間方差記為，則有：

算法的具體步驟如下[16]：

（1）求目標(biāo)區(qū)域與背景區(qū)域像素所占比例、;

（2）求目標(biāo)區(qū)域與背景區(qū)域的平均灰度值、;

（3）求目標(biāo)區(qū)域與背景區(qū)域的最大類間方差;

（5）對(duì)步驟（1）—（3）進(jìn)行迭代;

（6）類間方差最大的灰度值即為所需要的閾值。

采用Otsu閾值分割算法對(duì)圖3中的局部圖像進(jìn)行分割，并且過濾掉細(xì)小噪聲后得到的結(jié)果如圖5所示。

可以看到，分割結(jié)果1、分割結(jié)果2效果比較理想，經(jīng)過簡(jiǎn)單的去噪后不再含有額外的噪聲。但是分割結(jié)果3效果較差，殘留了許多背景噪聲，部分噪聲甚至與字符存在粘連。針對(duì)這類圖像熵高于閾值的局部圖像，本文提出了基于傅里葉變換的改進(jìn)Otsu閾值分割算法。

3.3? ?頻率域?yàn)V波

在空間域中進(jìn)行圖像處理比較困難或者無法在空間域中處理時(shí)，往往可以將圖像轉(zhuǎn)化到頻率域進(jìn)行處理[17]。空間域圖像就是灰度圖像，頻率域圖像指的是把空間域圖像的灰度值表示成隨位置變化的空間頻率，并以頻譜的形式體現(xiàn)圖像信息的分布情況?？臻g域圖像的處理通常會(huì)用到模板，而頻率域圖像的處理則是以傅里葉變換為基礎(chǔ)的。頻率域圖像處理的一般流程是通過傅里葉變換將圖像從空間域變換到頻率域，然后利用頻率域的方法對(duì)圖像進(jìn)行處理，再將處理好的結(jié)果通過傅里葉反變換從頻率域變換到空間域。

一幅數(shù)字圖像可以視為一個(gè)二維函數(shù)，設(shè)是在空間域上等間隔采樣得到的的二維離散信號(hào)，和是離散的實(shí)變量，和是離散頻率變量，則二維離散傅里葉變換對(duì)一般地定義為[18]：

如圖6（a）所示的局部圖像經(jīng)過傅里葉變換后，得到的頻率域圖像如圖6（b）所示。

頻率域圖像也稱為頻譜圖，可以看到頻譜圖中心位置較亮，屬于低頻區(qū)域，即灰度變化緩慢的區(qū)域，對(duì)應(yīng)空間域圖像中的平坦區(qū)域;而從中心往外延伸，亮度逐漸降低，這部分屬于高頻區(qū)域，即灰度變化較快的區(qū)域，對(duì)應(yīng)空間域圖像中邊緣、噪聲等區(qū)域[19]。由圖6（a）可知，圖中的字符及部分背景噪聲灰度變化較快，都屬于高頻區(qū)，因此需要設(shè)計(jì)一個(gè)濾波器在抑制背景噪聲的同時(shí)盡量保持字符信息。

由于傅里葉變換和反變換均為高斯函數(shù)，并且常常用來幫助尋找空間域和頻率域之間的聯(lián)系，因此基于高斯函數(shù)的濾波具有重要意義[20]。高斯函數(shù)的定義如下：

其中，表示高斯曲線擴(kuò)展的程度，越大，高斯曲線越平緩;越小，高斯曲線越陡峭。

本文采用兩個(gè)高斯濾波器相減后得到的結(jié)果作為抑制背景噪聲的濾波器。圖7（a）為時(shí)的高斯濾波器，圖7（b）為時(shí)的高斯濾波器，圖7（c）為前者減去后者得到的濾波器。

將頻域圖與本文濾波器做卷積運(yùn)算實(shí)現(xiàn)頻率域?yàn)V波，再利用傅里葉反變換就能得到濾波之后的灰度圖，圖8為濾波前后灰度圖對(duì)比。

對(duì)比高斯濾波前后兩幅灰度圖，濾波后灰度圖的背景相比濾波之前要平滑一些，原灰度圖的背景噪聲被削弱了，而字符信息得到了保留。

3.4? ?改進(jìn)的Otsu分割

對(duì)高斯濾波之后的灰度圖再利用Otsu算法進(jìn)行分割，去除細(xì)小噪聲后的結(jié)果如圖9（b）所示，圖9（a）為高斯濾波之前利用Otsu算法分割得到的結(jié)果。

相比濾波之前直接進(jìn)行Otsu閾值分割，經(jīng)過本文濾波器濾波之后再進(jìn)行Otsu閾值分割效果更好。濾波前的結(jié)果中含有大量條狀噪聲并且部分噪聲和字符粘連，直接在此基礎(chǔ)上去噪難度極大。而通過頻率域?yàn)V波，原先的這些難以處理的噪聲在頻率域中就被去除了，很好地解決了空間域去噪困難的問題。利用基于圖像熵和傅里葉變換的復(fù)雜背景分割算法對(duì)每個(gè)局部圖像進(jìn)行分割，最終得到的整體效果如圖10所示。可以看到，本文算法能夠有效地去除背景噪聲，為下一步字符分割掃清障礙，提高機(jī)動(dòng)車登記證圖像整體的識(shí)別準(zhǔn)確度。

4? ?結(jié)論（Conclusion）

本文提出了一種基于圖像熵和傅里葉變換的復(fù)雜背景分割方法，局部圖像熵的大小反映了背景噪聲的復(fù)雜程度。當(dāng)圖像熵較小時(shí)，利用Otsu算法直接進(jìn)行閾值分割;當(dāng)圖像熵較大時(shí)，先將圖像在頻率域進(jìn)行濾波，再利用Otsu算法對(duì)濾波后圖像進(jìn)行閾值分割。實(shí)驗(yàn)結(jié)果直觀地體現(xiàn)出算法的有效性，但是該算法計(jì)算量較大，后續(xù)工作需要進(jìn)一步優(yōu)化。

參考文獻(xiàn)（References）

[1] 吳慧瑩.復(fù)雜背景下的工業(yè)字符分割與識(shí)別研究[D].桂林：廣西師范大學(xué)，2020.

[2] 王鑫.鐵路機(jī)車車號(hào)字符分割與識(shí)別算法研究[D].武漢：中南民族大學(xué)，2018.

[3] 楊芳彬.車牌圖像預(yù)處理與字符分割算法研究[D].武漢：華中科技大學(xué)，2016.

[4] 楊謝柳，牛璽輝，梁文峰.面向非規(guī)則排列漢字文本的字符分割方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖像學(xué)學(xué)報(bào)，2019，31（9）：1542-1548.

[5] 趙泉華，高群，李玉.基于區(qū)域劃分的多特征紋理圖像分割[J].儀器儀表學(xué)報(bào)，2015，36（11）：2519-2530.

[6] 陳愷，陳芳，戴敏，等.基于螢火蟲算法的二維熵多閾值快速圖像分割[J].光學(xué)精密工程，2014，22（2）：517-523.

[7] BARTHAKUR M， SARMA K K. Complex image segmentation using K-means clustering aided Neuro-Computing[C]// Institute of Electrical and Electronics Engineers Inc. 2018 5th International Conference on Siganl Processing and Integrated Networks（SPIN）. New York： IEEE， 2018：327-331.

[8] TATAR F D， MACHHOUT M. Preprocessing algorithm for digital fingerprint image recognition[J]. Internaltional Journal of Computational Science and Information Technology， 2018， 6（1/2/3）：1-12.

[9] 鐘澤濱.一種用于車道線識(shí)別的圖像灰度化方法[J].同濟(jì)大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，47（S1）：178-182.

[10] 孟楚楚.結(jié)合梯度邊緣信息改進(jìn)的全局閾值法與GVG Snake模型的宮頸細(xì)胞圖像分割[J].智能計(jì)算機(jī)與應(yīng)用，2019，9（2）：28-32.

[11] YAN X A， JIA M P， ZHANG W， et al. Fault diagnosis of rolling element bearing using a new optimal scale morphology analysis method[J]. ISA Transactions， 2018， 73（2）：165-180.

[12] 朱學(xué)芳，朱兆.基于形態(tài)學(xué)的MRI圖像自適應(yīng)邊緣檢測(cè)算法[J].儀器儀表學(xué)報(bào)，2013，34（2）：408-414.

[13] 潘磊.基于圖像熵的密集人群異常事件實(shí)時(shí)監(jiān)測(cè)方法[J].計(jì)算機(jī)科學(xué)與探索，2016，10（7）：1044-1050.

[14] 張豐收，韓敬陽，曹軍杰.基于圖像熵的主動(dòng)輪廓分割模型[J].智能計(jì)算機(jī)與應(yīng)用，2019，9（3）：6-10.

[15] 基于改進(jìn)Otsu方法的振動(dòng)圖像分割研究[J].電光與控制，2019，26（2）：11-15，31.

[16] ZHAN Y T， ZHANG G Y. An improved OTSU algorithm using histogram accumulation moment for ore segmentation[J]. Symmetry， 2019， 11（3）：431-445.

[17] 東紅林，于蓮芝.基于MATLAB圖像處理的頻率域?yàn)V波與分析[J].軟件導(dǎo)刊， 2017，16（10）：205-208.

[18] FARES K， AMINE K， SALSH E. A robust blind color image watermarking based on fourier transform domain[J]. Optic， 2020， 208（4）：164562-164570.

[19] 樊穎軍.傅里葉變換下的直方圖均衡化圖像特征識(shí)別算法研究[J].計(jì)算機(jī)與數(shù)字工程，2017，45（9）：1848-1852.

[20] 王躍躍，陳蓉，于麗君，等.結(jié)合二維EMD與自適應(yīng)高斯濾波的遙感衛(wèi)星影響去噪[J].測(cè)繪通報(bào)，2019（2）：22-27.

作者簡(jiǎn)介：

李鎮(zhèn)鋒（1995-），男，碩士，工程師.研究領(lǐng)域：圖像處理與模式識(shí)別.

陳曉榮（1974-），女，博士，副教授.研究領(lǐng)域：圖像處理，在線檢測(cè)，信號(hào)與信息處理.

陳夢(mèng)華（2001-），男，本科生.研究領(lǐng)域：圖像處理與模式識(shí)別.

盧德運(yùn)（2001-），男，本科生.研究領(lǐng)域：圖像處理與模式識(shí)別.

陳運(yùn)豪（2000-），男，本科生.研究領(lǐng)域：圖像處理與模式識(shí)別.