基于BM3D降噪算法在塔吊裂縫圖像中的應(yīng)用①

黃梅玲,陳國棟,張神德,佘明磊,林進(jìn)潯

(1.福州大學(xué)物理與信息工程學(xué)院,福建 福州 350108;2.福建數(shù)博訊信息科技有限公司,福建 福州 350002)

0 引 言

塔吊坍塌、塔吊平衡臂折斷、塔吊司機(jī)室墜落等會危害人的生命財產(chǎn)安全。特別注意的是，在頻發(fā)的塔吊架體斷裂和塔吊大臂折斷的事故中，往往都是因?yàn)闃?biāo)準(zhǔn)節(jié)或者其他焊接部位出現(xiàn)了裂紋，或者因?yàn)榘l(fā)生了彎曲和變形[1]。因此，對塔吊裂縫的定量分析更應(yīng)該要不斷跟進(jìn)。

在通過各種的目標(biāo)檢測算法定位得到目標(biāo)區(qū)域圖像后，我們就需要對提取到的圖像進(jìn)行圖像處理，從而獲取良好的數(shù)據(jù)定量分析。由于目標(biāo)檢測算法捕捉到的圖像攜帶有各種噪聲，比如常見的高斯噪聲、椒鹽噪聲等等，都會影響最終的數(shù)據(jù)定量分析。為了消除目標(biāo)圖像中的噪點(diǎn)，需要對捕捉到的目標(biāo)有噪圖像，進(jìn)行圖像濾波，實(shí)現(xiàn)降噪的目的。在進(jìn)行更為復(fù)雜的圖像處理之前，首先要對圖像進(jìn)行去噪處理[2]。在消除噪點(diǎn)的同時，要保證不能對塔吊裂縫的細(xì)節(jié)模糊化。對比了空間域的高斯濾波和引導(dǎo)濾波，以及變換域的小波去噪的優(yōu)缺點(diǎn)，最終采取了目前降噪效果最好的BM3D算法來實(shí)現(xiàn)對裂縫圖像的去噪。實(shí)驗(yàn)結(jié)果表明，結(jié)合了空域的NLM算法和變換域的小波萎縮算法的BM3D算法可以得到最佳的降噪圖像，提高后續(xù)實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。將BM3D降噪算法應(yīng)用到工地的塔吊裂縫識別中的圖像處理上，具有很好的現(xiàn)實(shí)意義。

1 BM3D算法介紹

一般，我們觀察到的塔吊裂縫噪聲圖像都是等于圖像真值加上圖像噪聲。最常見的噪聲就是均值為0、方差為σ2的加性高斯噪聲，以及在圖像上表現(xiàn)為隨機(jī)分布的黑白點(diǎn)的椒鹽噪聲(椒鹽噪聲可以通過中值濾波消除)[3]?？臻g域?yàn)V波器有兩大類，一類是局部濾波器(含線性和非線性)，另一類是非局部濾波器。如高斯濾波為局部線性，而中值濾波器為局部非線性。中值濾波顧名思義就是采納中間灰度值作為最終的灰度數(shù)值，對初始選定的參考像素的四周鄰域的像素灰度值進(jìn)行排序(5×5共二十五個)，并將位于中間的數(shù)值作為參考像素的最終灰度值。因?yàn)槭艿浇符}噪聲影響的像素的灰度值通常都非常大或者非常小，通過排序會被消除掉。而高斯濾波則是將均值濾波中的平均值改為高斯加權(quán)平均值，四周鄰域中距離參考像素越遠(yuǎn)的像素灰度值的權(quán)重越小[4]。

為了得到一幅帶有清晰的塔吊裂縫的圖像，我們在啟用各種不同的降噪算法的時候，要在最大限度地保證裂縫信息的完整度的同時，又能夠盡量地去除圖像中的干擾部分。使用中值濾波處理帶有椒鹽噪聲的裂縫圖像時，往往出現(xiàn)裂縫邊緣模糊的現(xiàn)象，這就是因?yàn)榻翟氲臅r候一并把裂縫的細(xì)節(jié)或者邊緣的部分去掉了。此外，小波變換降噪的速度比較慢，實(shí)時運(yùn)行會比較困難；時域的NLM去噪算法中的非局部塊匹配部分，L2距離計算費(fèi)時費(fèi)力。提出了一種更高級的非局部去噪算法BM3D。

1.1 BM3D算法背景

空間域的非局部均值降噪方法NLM(non-local means)的思路是利用整幅圖像中相似像素的灰度值來代替當(dāng)前像素的灰度值，所謂相似度可以用歐拉距離來衡量兩個鄰域像素。

BM3D算法對NLM進(jìn)行了優(yōu)化，吸收了其精華部分即非局部塊匹配，利用參考圖像塊在整幅圖像中根據(jù)“空間相似性”尋找相似區(qū)域。在捕捉相似塊的過程中，BM3D不再采用難以計算的歐式距離，而是選取一個閾值，將參考像素四周的灰度值與閾值相比，只把比閾值小的灰度值清零并舍去，實(shí)現(xiàn)硬閾值線性變換。在完成第一步搜索后，NLM對相似塊簡單地在空間域做了加權(quán)平均的均值處理，引入了相似塊的噪聲；而BM3D經(jīng)過協(xié)同濾波的處理，可以減小相似塊的固有噪聲，接著將相似塊域轉(zhuǎn)換，然后在聚合的過程中再進(jìn)行下一步的加權(quán)處理，最終生成去噪后的捕捉塊。吸取了NLM求相似塊的思路，又融合了小波閾值收縮算法的便捷[5]，BM3D算法的去噪效果對于工地上塔吊裂縫圖像的檢測十分具有借鑒和應(yīng)用意義。

1.2 BM3D算法原理

BM3D算法整體含兩個大步驟，分別是基礎(chǔ)估計階段和最終降噪過程[6]。BM3D算法流程圖如圖1所示。

圖1 BM3D算法流程圖

當(dāng)面對一幅有噪裂縫圖像z時，如公式(1)：

z(x)=y(x)+λ(x),x∈X,

(1)

其中，x是二維圖像坐標(biāo)，屬于空間域X，而y是真實(shí)圖像，λ是服從方差為σ2、均值為0的高斯噪聲N(0,σ2)。為了區(qū)分，使用角標(biāo)ht(hard-thresholding)和wie(Wiener ltering)來區(qū)分第一步和第二步的結(jié)果。

(1)基礎(chǔ)估計：將圖像分割成塊，并逐塊估計。

分組：構(gòu)造N1×N1大小的二維凱撒窗，在裂縫圖像上按照規(guī)定的步長移動并搜索圖像塊。假設(shè)初始選中的位于當(dāng)前坐標(biāo)xR∈X的圖像塊R表示為ZxR,并定義為“參考塊”。在相似圖像塊搜索過程中，滑動窗選中的塊Q的坐標(biāo)為x，為了避免理想距離大于閾值的塊被匹配為相似塊，而理想距離小于閾值的塊被剔除，進(jìn)一步修改成采用粗預(yù)過濾來測量塊距離。即對兩個圖像塊使用歸一化二維線性變換，然后將得到的系數(shù)進(jìn)行硬閾值，則塊距離公式定義為兩個塊對應(yīng)的矩陣數(shù)值差的模除以圖像塊的大小，如公式(2)：

(2)

(3)

(4)

其中，要利用硬閾值估計公式，調(diào)整變換系數(shù)來去除噪聲，再執(zhí)行逆三維變換，如公式(5)：

(5)

接著，對上面疊加形成的三維數(shù)組，運(yùn)用硬閾值法進(jìn)行協(xié)同濾波。由于裂縫圖像的大部分真實(shí)信息都集中在三維矩陣較大值處，而高斯噪聲或椒鹽噪聲往往集中在較小值處，因此，硬閾值濾波能夠在有效去除噪聲的同時，最大限度地保留裂縫圖像的真實(shí)信息[7]。

(6)

因?yàn)槟硞€像元z可能會一些圖像塊中重復(fù)捕捉，因此要對這些重疊的塊估計值進(jìn)行加權(quán)平均，來得到z的基礎(chǔ)估計值，如計算公式(7)：

(7)

(8)

(2)最終估計：對第一步得到的基礎(chǔ)圖像進(jìn)行再一次的分塊并逐塊估計。

協(xié)同維納濾波：對兩個三維矩陣都進(jìn)行新的三維變換κ3D，具體包括了二維DCT余弦變換，以及一維Haar小波變換，用第一步基礎(chǔ)降噪新生成的三維矩陣對原圖像對應(yīng)的原三維矩陣實(shí)行維納濾波過程，得到最終的估計權(quán)值，如公式(9)：

(9)

聚集：同理，要對這些估計塊統(tǒng)一進(jìn)行加權(quán)平均來得到z的最終估計值，如公式(10)：

(10)

由此，就得到了一幅有噪裂縫圖像的最終估計結(jié)果。

2 實(shí)驗(yàn)分析

2.1 數(shù)據(jù)采集及計算平臺

實(shí)驗(yàn)的操作系統(tǒng)是windos10，核心算法采用pycharm軟件在PC機(jī)上編程實(shí)現(xiàn)，數(shù)據(jù)集來自福州數(shù)博訊軟件開發(fā)有限公司提供的塔吊裂縫圖像。對高斯濾波、快速導(dǎo)向?yàn)V波、BM3D進(jìn)行驗(yàn)證，得到的數(shù)據(jù)和運(yùn)行結(jié)果如圖2-圖5、表2-表5所示。

表5 不同程度的噪聲下濾波器最終估計對指標(biāo)的改善

圖2 原圖對比高斯噪聲圖

圖3 高斯噪聲濾波效果對比

圖4 原圖對比椒鹽噪聲圖

圖5 椒鹽噪聲濾波效果對比

采用圖像質(zhì)量評價客觀指標(biāo)(峰值)信號與噪聲的比值來衡量實(shí)驗(yàn)結(jié)果[8]。值越大，表示裂縫圖像的還原度越好。

實(shí)驗(yàn)在64位Window 10操作系統(tǒng)上進(jìn)行，實(shí)驗(yàn)具體環(huán)境配置如表1所示。

表1 實(shí)驗(yàn)運(yùn)行環(huán)境

2.2 實(shí)驗(yàn)效果對比

在收集到的關(guān)于塔吊裂縫的圖像中，原始圖像沒有太多的高斯噪聲，這時候可以選擇不用全部應(yīng)用BM3D的兩步降噪，節(jié)約時間。此時，可以要么只進(jìn)行基礎(chǔ)降噪，利用硬閾值以及三維變換，再進(jìn)行加權(quán)平均；要么跳過基礎(chǔ)降噪，直接進(jìn)入維納濾波，都能夠獲取較好的效果圖[9]。以下的降噪結(jié)果表明，不僅裂縫旁邊的地面上的冗余的高斯噪聲幾乎被去除干凈，而且裂縫的細(xì)節(jié)邊緣清晰可見，裂縫紋理跟原圖相差無幾。

3 塔吊裂縫實(shí)驗(yàn)結(jié)果

將BM3D濾波的實(shí)驗(yàn)結(jié)果圖，進(jìn)行SNR測試。實(shí)驗(yàn)證明有噪裂縫圖像經(jīng)過BM3D降噪后，SNR和PSNR都提高。

具體的SNR數(shù)值實(shí)驗(yàn)結(jié)果如表2所示。

表2 高斯/椒鹽噪聲背景下濾波器對信噪比的改善

在實(shí)際運(yùn)用中最常見的還是高斯噪聲，并且噪聲值一般不會很大，當(dāng)σ小于50的情況下，BM3D的優(yōu)化效果都很好[10]。通過調(diào)整BM3D的噪聲參數(shù)σ可以得到不同的降噪效果。

表3 不同高斯噪聲大小的裂縫圖像指標(biāo)

表4 不同程度的噪聲下濾波器基礎(chǔ)估計對指標(biāo)的改善

通過分析實(shí)驗(yàn)表格的實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)BM3D的降噪效果還是比較優(yōu)秀的。實(shí)際應(yīng)用中，噪聲小的情況下，例如噪聲值小于30，有噪圖像和原圖對比起來，只有比較小的差別，此時使用BM3D的基礎(chǔ)估計就可以得到比較好的降噪圖。當(dāng)然在噪聲大的情況下，BM3D依舊比其他的濾波器表現(xiàn)的好。

4 結(jié) 語

將BM3D降噪算法應(yīng)用在工地上的塔吊安全檢測中，相比其他濾波器，提高了塔吊裂縫圖像識別的準(zhǔn)確度和精度。實(shí)驗(yàn)結(jié)果表明，無論在噪聲小還是噪聲大的情況下，BM3D算法在裂縫圖像降噪的效果上表現(xiàn)良好，不僅去除大部分的冗余噪聲，還能最大限度地保留了裂縫邊緣細(xì)節(jié)，證明了BM3D在圖像降噪上的重要性，以及在實(shí)際工地施工中對塔吊裂縫識別的實(shí)用性。該算法主要的運(yùn)算量集中在相似塊的搜索和匹配上，其復(fù)雜度是NL-Means的3倍，處理一張圖片要等待長達(dá)幾分鐘的時間，所以暫時還不能做到實(shí)時處理，距離真正意義上的實(shí)用還是有一定的改進(jìn)距離，未來的研究方向需要進(jìn)一步考慮如何在精度和速度的天平上保持最佳平衡。為了切實(shí)加強(qiáng)未來的塔吊安全管理，應(yīng)當(dāng)同時提高塔吊裂縫圖像檢測的精度和速度，以便最大限度保證圖像降噪的良好效果以及算法的實(shí)用性，從而真正意義上降低塔吊存在的隱患。