葉建雄,Jonathan Wu,李志剛,彭星玲
(1.江西省精密驅(qū)動(dòng)與控制重點(diǎn)實(shí)驗(yàn)室,江西南昌330099;2.Computer Vision&Sensor Lab.,Windsor Canada N9B 3P4;3.華東交通大學(xué)機(jī)電工程學(xué)院,江西南昌330013)
基于雙邊濾波的焊接圖像去噪
葉建雄1,Jonathan Wu2,李志剛3,彭星玲1
(1.江西省精密驅(qū)動(dòng)與控制重點(diǎn)實(shí)驗(yàn)室,江西南昌330099;2.Computer Vision&Sensor Lab.,Windsor Canada N9B 3P4;3.華東交通大學(xué)機(jī)電工程學(xué)院,江西南昌330013)
焊接自動(dòng)化中大量使用圖像處理技術(shù),但焊接過(guò)程中產(chǎn)生的飛濺、電弧和煙塵會(huì)干擾圖像質(zhì)量。雙邊濾波算法在去噪時(shí)引入圖像灰度信息,能夠保留圖像的邊緣信息。但該算法的參數(shù)設(shè)置是個(gè)難點(diǎn),在深入分析各參數(shù)作用的基礎(chǔ)上,提出了全面的參數(shù)設(shè)定方案,重點(diǎn)分析空域、灰度域中,不同的方差取值與作用效果的關(guān)系,提出提高計(jì)算效率的途徑。本方法已成功應(yīng)用于焊接圖像處理,試驗(yàn)證明了此方法的有效性和可靠性。
雙邊濾波器;焊接圖像;圖像去噪;參數(shù)設(shè)置
雙邊濾波是在高斯濾波函數(shù)的基礎(chǔ)上,結(jié)合灰度信息對(duì)圖像進(jìn)行濾波處理的一種方法。由于各個(gè)像素最終得到的結(jié)果,既取決于高斯函數(shù)的形狀,還取決于其與相鄰像素的灰度值之差,所以能夠在濾波后保留圖像邊緣信息。
目前,雙邊濾波器在圖像處理中得到了大量應(yīng)用。文獻(xiàn)[1]利用雙邊濾波保持邊緣的平滑特性得到大氣耗散函數(shù),然后通過(guò)弱化明亮區(qū)域去霧的方法得到清晰的無(wú)霧圖像;文獻(xiàn)[2]將其應(yīng)用于醫(yī)學(xué)超聲圖像中的斑點(diǎn)噪聲去除中;還被使用在衛(wèi)星高光譜影像處理、激光共焦掃描顯微成像噪復(fù)原及圖像融合去模糊等眾多場(chǎng)合[3-5]。
焊接過(guò)程會(huì)產(chǎn)生飛濺、弧光,強(qiáng)大的焊接電流也會(huì)對(duì)圖像采集帶來(lái)影響,水下濕法焊接更會(huì)帶來(lái)汽泡和紊流。焊接自動(dòng)化不但要求去除圖像中的噪聲,而且要使焊縫坡口邊緣盡可能清晰,因而將雙邊濾波器應(yīng)用于焊接圖像處理意義重大。與中值濾波、形態(tài)學(xué)濾波等方法不同[6-7],雙邊濾波的原理是構(gòu)造一鄰域,在鄰域內(nèi)結(jié)合空域信息和灰度信息完成對(duì)各像素的處理[8],如何確定其工作參數(shù)是應(yīng)用關(guān)鍵。
針對(duì)不同場(chǎng)合提出了多種設(shè)置方法。文獻(xiàn)[9]針
對(duì)紅外圖像中混合的強(qiáng)噪聲無(wú)法完全濾除的現(xiàn)象,在雙邊濾波的基礎(chǔ)上進(jìn)行像素間相似度評(píng)判,以相似度為基礎(chǔ)標(biāo)記不能濾除的強(qiáng)噪聲點(diǎn),然后針對(duì)這些特定點(diǎn)采用中值濾波,此方法在強(qiáng)化濾波效果的同時(shí)進(jìn)一步加大了運(yùn)算工作量,不適合焊接自動(dòng)化等實(shí)時(shí)性要求較高的場(chǎng)合。文獻(xiàn)[10]將一幅圖像在概念上分成高對(duì)比度和低對(duì)比度兩部分,對(duì)前一部分采用雙邊濾波方法,對(duì)后一部分進(jìn)行頻域?yàn)V波,每處理完一個(gè)像素點(diǎn)后通過(guò)累加法得到最后的圖像。本研究還提出了迭代方法,使結(jié)果不斷趨近真實(shí)圖像,但主要利用試湊的方法進(jìn)行雙邊濾波器的參數(shù)設(shè)置,迭代使之耗時(shí)更長(zhǎng)。
在借鑒已有成果并比較分析的基礎(chǔ)上,本研究先確定空域參數(shù),通過(guò)梯度運(yùn)算求取噪聲方差,進(jìn)而確定灰度域參數(shù),此方法不需迭代,適應(yīng)性強(qiáng)。
雙邊濾波器在對(duì)像素處理時(shí),需要綜合考慮空域信息和灰度信息對(duì)濾波效果的影響。連續(xù)函數(shù)條件下的定義為[11]
式中f(x,y)為待處理像素;s(ξ,η,x,y)為f(x,y)鄰域內(nèi)各點(diǎn)到它的空間距離函數(shù);ks為歸一化系數(shù)見式(2)。式(1)中,針對(duì)灰度圖像中的特定點(diǎn)f(x,y),應(yīng)用基于空間距離的低通濾波核,得到對(duì)應(yīng)的輸出值h(x,y)。
采用歐氏空間距離時(shí),各像素點(diǎn)間的距離完全取決于各點(diǎn)的坐標(biāo),即只與(x-ξ,y-n)相關(guān)。在確定了距離計(jì)算公式后,它表現(xiàn)為一常數(shù),其作用是保持圖像總體亮度不變。
類似的有基于灰度距離的低通濾波器
式中f(x,y)為待處理點(diǎn);r(ξ,η,x,y)為f(x,y)的鄰域內(nèi)各點(diǎn)到它的距離函數(shù);kr為歸一化系數(shù)。
式中r(ξ,η,x,y)是鄰域內(nèi)各點(diǎn)與中心點(diǎn)的灰度差之間的函數(shù)。
如果鄰域內(nèi)各點(diǎn)灰度相同,則kr為一常數(shù),算法退化為普通的高斯濾波??紤]了灰度差信息,因此雙邊濾波才能具有保留邊緣信息的能力。
結(jié)合離散形式的雙邊濾波器,可以更好地理解空間域和灰度域?yàn)V波系數(shù)的作用。
式中wD為綜合歸一化系數(shù)。
空間距離和灰度距離形式上均為高斯分布,兩者為乘法關(guān)系,運(yùn)算范圍限定在以P點(diǎn)為中心的鄰域D上。由此可進(jìn)一步分析雙邊濾波器各參數(shù)的作用。ws(p)是一個(gè)D空間上的離散高斯曲面,形狀由δs2決定,δs2大時(shí)曲面跨度增加,峰值下降,有效參與計(jì)算的像素增多,結(jié)果是圖像變得平滑,邊界被模糊,反之噪聲濾除效果變差,但邊界受平滑影響變??;wr(p)的引入使最終的濾波效果還要受制于灰度差和δr,如果灰度差或δr使wr(p)中的系數(shù)越小,則綜合平滑作用越小,當(dāng)wr(p)小到一定程度時(shí),可以認(rèn)為像素間不進(jìn)行平滑運(yùn)算,沒(méi)有濾除的噪聲同樣會(huì)掩蓋邊緣。
D一般?。?n+1)×(2n+1)(3≤n≤8)的矩形框,wr(p)基本要覆蓋鄰域D,由式(5)可知,[-2δr,2δr]所占空間約為整個(gè)D空間的95%,故由式(4)可知,在相同的灰度差下,δr逐漸變小時(shí)wr(p)會(huì)逐漸趨近于0,此時(shí)雙邊濾波器的平滑作用減弱,但不利于后續(xù)的提取;反之隨著δr的增大,去噪效果好但又會(huì)模糊邊緣。
文獻(xiàn)[12]通過(guò)大量實(shí)驗(yàn)提出δr與圖像的噪聲方差δn成正比,其合理取值為后者的2~3倍,過(guò)大會(huì)使邊緣保留功能退化。但實(shí)際應(yīng)用中并沒(méi)有模板圖像作為參考,要從理論上求得δn是不可能的,雖然可以采用備用圖像作模板、多圖平均作模板等方法,但焊接過(guò)程的非穩(wěn)定性使這些方法適應(yīng)性不強(qiáng),較好的方法是利用水平和垂直方向的梯度算子去除圖像的基本信息,由此計(jì)算出噪聲的直方圖,最后估算出噪聲方差[13],根據(jù)焊接過(guò)程不穩(wěn)定的特點(diǎn),
所取方差應(yīng)是估算方差的4~8倍。
3.1 圖像加窗
攝像機(jī)、紅光一字形激光器與焊槍固定在焊接小車上,攝像機(jī)與視場(chǎng)之間設(shè)有一濾光片,可將清晰的模擬視覺(jué)信號(hào)傳送給圖像采集卡。由于感興趣的部分局限于激光所處的區(qū)域,而該區(qū)域的灰度值明顯高于其他區(qū)域,據(jù)此可完成圖像加小窗處理。焊接圖片加窗如圖1所示。
圖1 焊接圖片加窗
3.2 時(shí)間復(fù)雜度分析及對(duì)策
式(8)是程序設(shè)計(jì)的基礎(chǔ),針對(duì)加窗小圖中的每一個(gè)像素點(diǎn),均構(gòu)建一個(gè)以該點(diǎn)為中心的矩形區(qū)D,當(dāng)像素點(diǎn)為邊緣點(diǎn)時(shí)用對(duì)稱的方法將原圖擴(kuò)展,然后在D中分別計(jì)算式(5)和式(6)。由此可見,循環(huán)計(jì)算的次數(shù)為待處理加窗圖的像素點(diǎn)數(shù)與D中點(diǎn)數(shù)之積,而每一循環(huán)內(nèi)又包含式(5)、式(6)要求的高斯函數(shù)計(jì)算。
大量的指數(shù)及除法運(yùn)算是耗時(shí)的關(guān)鍵,分析發(fā)現(xiàn),式(5)代表空間距離算式,式(6)代表的灰度距離,在數(shù)值計(jì)算上有完全不同的特點(diǎn):灰度距離與各像素點(diǎn)及其附近像素密切相關(guān),必須在循環(huán)內(nèi)計(jì)算,而空間距離的分布是確定的,可以在循環(huán)開始前完成相關(guān)計(jì)算。根據(jù)以上分析結(jié)論,可以得到減少時(shí)間開銷的策略:
(1)減少循環(huán)次數(shù)。通過(guò)減小小窗圖像和區(qū)間D的大小來(lái)實(shí)現(xiàn)。前者提取焊槍附近圖像,其所含信息應(yīng)滿足后續(xù)處理需要,根據(jù)原圖灰度分布特點(diǎn)進(jìn)行加窗;但后者太小會(huì)導(dǎo)致去噪效果變差,一般應(yīng)大于7×7。
(2)減少循環(huán)體內(nèi)的計(jì)算量。在循環(huán)外完成空間距離高斯分布的計(jì)算,在循環(huán)內(nèi)只進(jìn)行灰度高斯函數(shù)值及其與距離分布的點(diǎn)積運(yùn)算。
(3)算法優(yōu)化。包括硬件及算法優(yōu)化兩方面,硬件方面可采用多核CPU分布式計(jì)算,改進(jìn)的算法可借鑒文獻(xiàn)[14]所用的域變換方法。
通過(guò)減小待分析圖像像素的方法,能夠顯著提高處理速度,當(dāng)圖像像素為100×500時(shí),處理時(shí)間約為100 ms。
3.3 試驗(yàn)效果
在窗口圖像中加入噪聲后,首先分析不同參數(shù)對(duì)濾波及邊緣保留效果的影響,當(dāng)圖形噪聲方差檢測(cè)值為0.06時(shí),鄰域D為邊長(zhǎng)30的方形窗且δs=7時(shí),δr分別取0.69、0.40、0.22時(shí)的結(jié)果如圖2所示。
圖2 灰度域參數(shù)對(duì)濾波效果的影響
鄰域D和噪聲方差相同,當(dāng)δr=0.4,空域方差δs分別取2、5、9時(shí),濾波效果如圖3所示。
在實(shí)驗(yàn)中發(fā)現(xiàn),某些數(shù)據(jù)的組合也能獲得良好的效果,其原因在于雙邊濾波由不同的兩部分共同作用,在沒(méi)有約束的前提下有眾多可行解,但不同參數(shù)對(duì)于不同噪聲的濾除性能相差很大[7]。實(shí)際使
用時(shí),應(yīng)該在明確鄰域后先確定δs,然后根據(jù)梯度算子確定δr,實(shí)際焊接中會(huì)有大量不均勻的弧光產(chǎn)生,所采集圖像的噪聲方差較大,通過(guò)對(duì)比試驗(yàn),認(rèn)為δr取噪聲方差的3~4倍時(shí)效果更好。
圖4為在相同的有效濾波面積下,本研究算法和幾種常用濾波算法的比較。試驗(yàn)條件為:D設(shè)為(31×31)矩形框,δs=7,所加為方差0.04的混合型高斯、椒鹽噪聲。
圖3 空域參數(shù)對(duì)濾波效果的影響
圖4 相同條件下的濾波對(duì)比
雙邊濾波器是一種性能良好的濾波器,其難點(diǎn)是工作參數(shù)的設(shè)置。提出了一種有效的參數(shù)設(shè)置方法,鄰域D的大小設(shè)置具有一定的獨(dú)立性,雖然空間域和灰度域的參數(shù)存在相互耦合,應(yīng)采用先行確定空間域參數(shù),然后確定灰度域的方法,其中灰度域參數(shù)需借助梯度運(yùn)算求取噪聲方差獲得。試驗(yàn)證明,基于雙邊濾波器的焊接圖像處理,能夠在濾除噪聲的基礎(chǔ)上,較好地保留焊縫坡口信息。
[1]王一帆,尹傳歷,黃義明,等.基于雙邊濾波的圖像去霧[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(3):386-392.
[2]張聚,王陳,程蕓.小波與雙邊濾波的醫(yī)學(xué)超聲圖像去噪[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(1):126-132.
[3]楊永發(fā),李琦.雙邊濾波算法的太赫茲共焦掃描圖像去噪應(yīng)用[J].中國(guó)激光,2015,42(1):121101.
[4]王春陽(yáng),郭增長(zhǎng),王雙亭,等.雙邊濾波與矩匹配融合的高光譜影像條帶噪聲去除方法[J].測(cè)繪科學(xué)技術(shù)學(xué)報(bào),2014,31(2):153-156.
[5]周志強(qiáng),汪渤,李立廣,等.基于雙邊與高斯濾波混合分解的圖像融合方法[J].系統(tǒng)工程與電子技術(shù),2016,38(1):8-13.
[6]高向東,趙傳敏,白天翔,等.傅立葉變換在熔池圖像特征提取中的應(yīng)用[J].焊接學(xué)報(bào),2008,29(8):13-16.
[7]QianQian Wu,JongPyo Leea,Min-Ho Parka,et al.A study on Development of Optimal Noise Filter Algorithm for Laser Vision System in GMA Welding[J].Procedia Engineering,2014(97):819-827.
[8]Tomasi C,Manduchi R.Bilateral filtering for gray and color images[C].InternationalConferenceonComputerVision,1998.
[9]余博,郭雷,趙天云,等.紅外圖像的自適應(yīng)混合雙邊濾波算法[J].紅外與激光工程,2012,41(1):3102-3107.
[10]Knaus C,Zwicker M.Dual-domain image denoising[C]. Image Processing(ICIP),2013.
[11]謝勤嵐.結(jié)合雙邊濾波和多幀均值濾波的圖像降噪[J].計(jì)算機(jī)工程與應(yīng)用,2009,45(27):154-156.
[12]Zhang Ming.Bilateral filter in image processing[D].Baton Rouge:Louisiana State University,2009.
[13]Rank K,Lendl M,nbehauen R.Estimation of image noise variance[J].VisionImageandSignalProcessing,1999,146(2):80-84.
[14]李俊峰.雙邊濾波算法的快速實(shí)現(xiàn)及其在圖像處理的應(yīng)用[D].廣州:南方醫(yī)科大學(xué),2013.
Welding image denoising based on bilateral filter
YE Jianxiong1,Jonathan Wu2,LI Zhigang3,PENG Xingling1
(1.Jiangxi Province Key Laboratory of Precision Drive and Control,Nanchang 330099,China;2.Windsor Computer Vision&Sensor Lab.,Canada N9B 3P4;3.School of Mechanics Engineering,East China Jiaotong University,Nanchang 330013,China)
Image processing technology is widely used in welding automation,but welding splash,arc and gas take an adverse effect on the images and bringmuch more difficult in treating the photos.By considering the intensity information ofthe image,bilateral filter may retain the edge information while removing the noise,but it is difficult to determine the proper working parameters,the function of each variable have been discussed,especially in the discussion of the variance parameters of the functions of space domain and gray domain,and an effective method is proposed in finding out the proper value of each parameters,and the way of promoting calculation efficiency is also suggested in addition,tests in processingweldingimages have proved its rightness,and can be applied in further work.
bilateral filter;welding image;image denoising;parameters setting
TG409
A
1001-2303(2016)07-0086-04
10.7512/j.issn.1001-2303.2016.07.20
2016-01-19;
2016-04-12
江西省自然科學(xué)基金項(xiàng)目(20151BAB207047);江西省重點(diǎn)研發(fā)項(xiàng)目(20151BBE50040);江西省教育廳科技項(xiàng)目(GJJ151129,GJJ14745)
葉建雄(1969—),男,江西樂(lè)平人,教授,博士,主要從事焊接自動(dòng)化的研究工作。