何文耀, 劉林威, 黃圳煜, 易子川, 周國富, 水玲玲*
(1. 華南師范大學華南先進光電子研究院, 廣州 510006; 2. 電子科技大學中山學院電子信息學院,中山 5284021)
電泳電子紙(EPD)作為一種新型顯示技術(shù)[1],具有視角廣[2]、可擦寫[3]、類紙顯示[4]、超低功耗[5]、強光下可讀的特點[6]. 在分析EPD顯示效果時,采集的畫面容易受到光干擾,影響分析結(jié)果. 因此,有效克服光干擾對圖像采集過程至關(guān)重要,也是計算機視覺有待解決的難題[7].
針對采集圖像處理過程中的光干擾問題,不同研究者提出了大量算法,例如:楊穎等[8]提出1種基于高斯頻域低通濾波的方法,解決字符圖像光照不均的問題;WANG等[9]提出了一種提高EPD圖像穩(wěn)定性的算法;劉先明等[10]的研究有效改善了直流平衡問題;HSU等[11]研究了橫向電場對粒子驅(qū)動的影響,但在測試數(shù)據(jù)時存在光干擾. YI等[12]提出了減弱鬼影的算法. 但這些研究中均未避免光干擾對數(shù)據(jù)采集準確性的影響. 關(guān)于EPD視頻播放及驅(qū)動系統(tǒng)設(shè)計的大量研究[1,13-18]表明:在測量反射率及分析鬼影時未濾除光干擾,會導致測試數(shù)據(jù)不夠準確.
為了解決這些問題,本文提出了一種基于Gabor濾波器的EPD圖像濾波系統(tǒng). 對于單一灰階圖像,先通過Gabor濾波器降低圖像中的光干擾,再使用閉運算進行邊緣補償;對于彩色圖像,分別對紅(R)、黃(G)、藍(B)分量濾波,再重新組合成彩色圖像. 該系統(tǒng)在弱化光照干擾、提高圖像質(zhì)量方面具有良好的性能.
本實驗顯示屏采用由E-Ink公司生產(chǎn)的微膠囊EPD,以微控制器為主控單元,以攝像系統(tǒng)所采集的EPD畫面為研究對象,使用MATLAB R2016a對采集的EPD畫面進行分析,以Gabor濾波器為主要濾波工具,濾除圖像光干擾. 當EPD畫面為單一灰階圖像時,經(jīng)過Gabor濾波后,使用閉運算進行邊緣補償;當EPD畫面為彩色圖像時,先提取R、G、B分量,再分別對這3個分量進行Gabor濾波處理,從而濾除光干擾.
電泳電子紙顯示畫面通過攝像系統(tǒng)將采集的JPG或BMP數(shù)據(jù)傳輸?shù)轿⑻幚砥鬟M行處理,數(shù)據(jù)保存為“.JPG”或者“.BMP”格式并存放于SD卡,再通過USB Slave接口與PC端連接,讀取存放于SD卡的圖片. 工作流程如圖1所示.
圖1 硬件系統(tǒng)工作流程
1.2.1 單一灰階圖像濾波原理 Gabor濾波器具有較強的空間位置和方向選擇性,并且能夠捕捉對應(yīng)于空間和頻率的局部結(jié)構(gòu)信息,通過調(diào)整Gabor濾波器的方向、基頻帶寬及中心頻率,能夠很好地兼顧信號在空域和頻域中的分辨能力;且對于光照、圖像的亮度變化及形態(tài)具有較強的魯棒性,通過提取圖像在各個尺度和方向上的紋理信息,對圖像進行濾波處理,在一定程度上降低了光照變化和噪聲對圖像的影響,提供圖像對光照變化良好的適應(yīng)性.
將采集的帶光干擾的EPD圖像作為樣本,根據(jù)圖像RGB的加權(quán)和將圖像的RGB值轉(zhuǎn)化為灰度值,實現(xiàn)灰度圖像的轉(zhuǎn)化:
H=0.299R+0.587G+0.114B.
(1)
將圖像轉(zhuǎn)換為灰度圖像后,采用Gabor濾波器去除光噪聲,Gabor濾波函數(shù)如下:
(2)
其中Sx和Sy分別代表著X和Y方向的差異系數(shù);Sx、Sy通過改變圖像的差異系數(shù)來控制濾波強度;U和V分別代表X和Y方向的中心頻率;U、V通過控制中心頻率來影響濾波寬度.
經(jīng)過Gabor濾波后,圖像邊緣的亮度驟減,產(chǎn)生邊緣失真. 系統(tǒng)設(shè)計了一種基于單一灰階圖像的邊緣處理方法:當所拍攝的電子紙圖像為單一灰階時,經(jīng)過Gabor濾波后,先對圖像進行膨脹處理,將與物體接觸的所有背景點合并到該物體中,使邊界向外部擴張,填充圖像中的小孔與圖像邊緣處的微小凹陷部分;再對圖像進行腐蝕處理. 腐蝕是消除邊界點,使邊界向內(nèi)部收縮的過程;先膨脹再腐蝕的過程稱為閉運算. 具體定義為:
結(jié)構(gòu)元素B對圖像A的膨脹
(3)
集合A被結(jié)構(gòu)元素B腐蝕
AΘB={x:Bx?A}.
(4)
閉運算
A·B=(A⊕B)ΘB.
(5)
1.2.2 彩色圖像濾波原理 當采集到的EPD畫面為彩色圖像時,直接使用Gabor濾波會使圖像失真,系統(tǒng)設(shè)計了一種可以保留原圖像色彩的Gabor濾波方法,具體過程:
當采集到的畫面為彩色圖像時,先提取彩色圖像的R、G、B分量:
R=I(:,:,1);
(6)
G=I(:,:,2);
(7)
B=I(:,:,3).
(8)
再對3組分量依次進行Gabor濾波,將濾波后的3組分量R′、G′、B′重新組合成彩色圖像.
I(:,:,1)=R′;
(9)
I(:,:,2)=G′;
(10)
I(:,:,3)=B′.
(11)
本系統(tǒng)硬件:微處理器、PC端、USB Slave接口、復位電路、電源電路、聯(lián)合測試工作組(JTAG)、靜態(tài)隨機存儲器(SRAM)、按鍵、SD卡、LED燈、攝像頭和液晶顯示器(LCD),系統(tǒng)硬件框架如圖2A所示. Gabor濾波器濾波流程:導入拍攝的圖像,判斷是否為彩色;若是則先提取R、G、B分量,設(shè)置濾波參數(shù),再分別對這3個分量進行Gabor濾波,最后重新合成彩色圖像;若圖片為單一灰階圖片,則先將圖像轉(zhuǎn)換為灰度圖,再設(shè)置濾波參數(shù),通過Gabor濾波后進行閉運算;最后輸出圖像. 系統(tǒng)軟件流程如圖2B所示.
圖2 系統(tǒng)硬件框架與軟件流程
對于1張單一灰階圖像,在采集時受到由右下角射入的燈光照射影響,導致圖像亮度不均勻(圖3A). 通過對圖像進行Gabor濾波后得到如圖3B所示的圖像.
圖3 Gabor濾波前后的圖像對比
圖像灰度的方差可以表示圖像的均勻性,通過MATLAB計算出濾波后的圖像灰度發(fā)現(xiàn),其方差下降了39.9%,這說明圖像的均勻性提升了39.9%,也說明濾除了39.9%的光干擾.
利用MATLAB對濾波后的圖像作出三維模擬圖,以描述圖像像素間灰度的變化情況,其中x、y代表灰度圖像中某一像素點的位置,z代表當前像素點的灰度. 經(jīng)過Gabor濾波后,圖像邊緣的灰度出現(xiàn)很大程度的衰減(圖4A). 通過實驗發(fā)現(xiàn),運用閉運算的形態(tài)學運算處理后,圖像邊緣衰減現(xiàn)象明顯下降(圖4B).
為了驗證本文方法的優(yōu)越性,在相同條件下將本文方法與其他濾波方法進行對比分析. 通過灰度化和高斯低通濾波的方法處理后,圖像灰度仍不均勻且整體偏白,可見圖像表面的光干擾并沒有被濾除;圖像的右下角仍有明顯的入射光痕跡. 而通過本文方法處理的圖片灰度較均勻,且右下角入射光的痕跡已基本被濾除(圖5).
圖4 Gabor濾波和閉運算得到的三維模擬圖
Figure 4 The 3-dimensional simulation curves obtained with Gabor filtering and closed operation
圖5 本文方法與其他方法的濾波效果對比
Figure 5 The filtering effect with the current method in compa-rison with that with other methods
當原圖像為彩色圖像時,直接進行Gabor濾波會使圖像失真. 通過實驗發(fā)現(xiàn),先將彩色圖像分解為R、G、B分量,對各分量依次進行Gabor濾波,再按原順序重新組合成彩色圖片,使彩色圖像在濾除光干擾的前提下又不失真. 為了驗證本文方法的優(yōu)越性,在相同條件下將本文方法與其他濾波方法相比. 通過高斯低通濾波方法處理后,圖片整體偏亮,且左上方及右下角亮度仍然較高,可見圖像表面的光干擾并沒有被濾除; 而通過本文方法處理后的圖片,灰度較均勻,且左上方及右下角的光干擾濾除效果明顯(圖6).
圖6 本文方法與其他方法的濾波效果對比
Figure 6 The filtering effect with the current method in comparison with that with other methods
圖像灰度的方差可表示圖像的均勻性(表1). 對于單一灰階圖像,濾波前圖像的灰度方差為80.2,通過Gabor濾波后灰度方差為48.2(下降了39.9%),圖像的均勻性僅提升39.9%;通過灰度化后,灰度方差為128.9(上升了60.7%),圖像的均勻性降低了60.7%. 通過高斯低通濾波后,灰度方差為79.9(下降了0.4%),說明圖像的均勻性僅提升0.4%. 對于彩色圖像,在濾波前圖像的灰度方差為3 000,通過Gabor濾波后,灰度方差為1 810(下降了39.7%),說明圖像的均勻性提升了39.7%; 通過高斯低通濾波后,灰度方差為2 886(下降0.4%),說明圖像的均勻性僅提升0.4%. 可見本文的方法可有效濾除EPD圖像采集過程中引入的光干擾.
表1 圖像灰度值的方差比較
針對EPD顯示圖像采集易受光干擾的問題,設(shè)計了一種基于Gabor濾波器的圖像濾波系統(tǒng). 對于受光干擾的單一灰階圖像,先通過Gabor濾波降低光照變化和噪聲對圖像的影響,再通過閉運算進行邊緣補償;對于受光干擾的彩色圖像,先提取圖像的R、G、B分量,分別對各分量進行Gabor濾波,最后將3組分量重新組合成彩色圖像. 結(jié)果表明:該系統(tǒng)針對單一灰階圖像能有效濾除39.9%的光干擾, 針對彩色圖像能有效濾除39.7%的光干擾. 該系統(tǒng)的不足之處在于Gabor濾波器參數(shù)的設(shè)定仍需要手動完成,后期可通過分析不同光干擾場景的數(shù)據(jù)來統(tǒng)計參數(shù)變化規(guī)律.