基于三級圖像融合與CLAHE的機場安檢X光圖像增強算法①

高 強, 陳裕通, 潘 俊

(廣州民航職業(yè)技術(shù)學院 航空港管理學院, 廣州 510403)

由于X射線技術(shù)具有對物品損害小、無需開箱、安全可靠和易操作等優(yōu)點, 它被廣泛地應(yīng)用于機場旅客安全檢查等場合. 不 同材質(zhì)物品對X射線吸收和散射衰減程度不同, 物品生成相應(yīng)X光圖像顏色也不同,結(jié)合邊緣、形狀等形態(tài)特征, 安檢人員可以識別行李、包裹中所攜帶的違禁物品, 如管制刀具、槍支、易燃易爆物品等. 由于行李、包裹中被檢物品種類繁雜且易出現(xiàn)相互重疊、遮擋、混放等現(xiàn)象; 另外, 物品在成X光圖像過程中容易受到各種干擾因素影響, 采集到的安檢X光圖像可能存在物品模糊、對比度低、背景噪聲等情況. 為了便于安檢人員識別X光圖像中的物品, 有必要對安檢X光圖像進行增強處理, 突出圖像中不同物品的顏色及邊緣、形狀等細節(jié)信息, 以便安檢人員更加準確、快速地識別被檢物品, 保障機場安全運行.

目前, 國內(nèi)外與X光圖像增強的相關(guān)研究主要集中于醫(yī)學領(lǐng)域和工業(yè)檢測領(lǐng)域[1–5], 有關(guān)安檢X光圖像增強的文獻較少[6–8]. 直方圖均衡化(HE)是最常用的圖像增強方法, 具有原理簡單、易于實現(xiàn)、實時性好的特點. 對比度受限自適應(yīng)直方圖均衡化(contrast limited adaptive histogram equalization, CLAHE)是一種局部直方圖均衡增強算法, 該算法基于局部自適應(yīng)直方圖增強算法(adaptive histogram equalization, AHE),并采用固定閾值的限幅方法有效抑制局部對比度的過度增強及噪聲的放大, 特別適用于低對比度圖像. CLAHE算法結(jié)合了自適應(yīng)直方圖均衡化和對比度受限兩項技術(shù)的優(yōu)點, 得到了研究人員廣泛的關(guān)注. 孫冬梅等[9]通過引入一個自適應(yīng)參數(shù)T來自動調(diào)整圖像每個子塊的像素點重新分配的范圍, 從而達到增強圖像細節(jié)的目的. 王紅等[10]采用模糊增強算法實現(xiàn)全局霧天圖像的自適應(yīng)對比度增強后, 再采用有約束的局部直方圖算法對霧天圖像的亮度分量進行處理, 提高了霧天圖像的亮度和對比度. 楊衛(wèi)中等[11]利用CLAHE算法對水下海參圖像進行增強處理, 有效保持了海參圖像細節(jié)并提高了圖像質(zhì)量. 劉玉婷等[12]結(jié)合CLAHE算法和雙邊濾波算法, 有效增強了原始紅外圖像的對比度及邊緣細節(jié)信息. 上述文獻所提圖像增強算法均基于CLAHE, CLAHE通過 “裁剪”圖像的直方圖、然后將“裁剪”得到的部分均勻地分在整個顏色空間上, 以保證直方圖總面積不變, 雖然在一定程度上使得減少了圖像失真, 但與原圖像還存在較大顏色差異, 而X光安檢圖像, 顏色是一項重要的識別指標. 因此, 上述文獻中所提方法對X光安檢彩色圖像增強效果均不理想.

另外, 也有部分學者將深度學習應(yīng)用在圖像增強領(lǐng)域, 如李華基等[13]提出了一種基于U-net++網(wǎng)絡(luò)的弱光圖像增強方法, 該方法在提高圖像亮度的同時, 更好地恢復(fù)了弱光圖像的細節(jié)特征, 并且生成正常光圖像的顏色特征更接近自然. 文獻[14,15]將注意力機制引入圖像增強領(lǐng)域, 能實現(xiàn)自適應(yīng)圖像亮度增強、細節(jié)對比度提提升, 增強后圖像整體亮度自然沒有明顯光暈及偽影且色彩較豐富真實. 基于深度學習的圖像增強算法對設(shè)備計算能力要求較高, 且實時性較差.

本文針對X光安檢圖像的特點, 提出了一種基于三級圖像融合與CLAHE的X光安檢圖像增強算法,首先采用CLAHE對X光圖像進行增強. 然后將增強后的X光圖像進行USM銳化處理, 進一步突出圖像細節(jié). 最后將銳化處理后的圖像與原圖像融合, 降低增強后圖像顏色失真幅度, 更易于安檢人員辨識圖像中的物品. 實驗結(jié)果表明, 本文方法對X光安檢圖像具有明顯的增強效果, 能夠有效提高圖像的清晰度.

1 基于三級圖像融合與CLAHE的X光安檢圖像增強算法

本節(jié)將詳細闡述安檢X光圖像增強算法過程:(1) CLAHE增強. 首先將原圖像分別轉(zhuǎn)換成RGB圖像和HSV圖像, 然后分別對RGB、HSV圖像采用CLAHE算法增強, 最后將增強后的RGB圖像、HSV圖像通過歐幾里得范數(shù)合并, 實現(xiàn)第一級圖像融合. (2) USM銳化. 本算法采用改進的USM (unsharp mask)算法對CLAHE增強后的圖像進行銳化操作, 以突出圖像邊緣、形狀等細節(jié)信息. USM算法將銳化圖像與原圖像按照疊加系數(shù)進行第二級圖像融合. (3)圖像融合. 將原圖像和USM銳化后圖像進行加權(quán)求和, 完成第三級圖像融合, 以降低圖像顏色失真幅度. 本文所提安檢X光圖像增強方法的實現(xiàn)流程如圖1所示.

圖1 本文算法流程

1.1 CLAHE增強

1.1.1 CLAHE介紹

圖像直方圖, 也稱為灰度級直方圖, 是用來表示圖像I(x,y)中每一灰度與該灰度級出現(xiàn)的頻數(shù)之間的統(tǒng)計關(guān)系. 直方圖定義如式(1)所示:

其中,nk為第k級灰度的像素數(shù),N為該圖像的總像素數(shù),rk為第k個灰度級,L為灰度級數(shù),P(rk)為圖像I(x,y)中rk灰度級出現(xiàn)的概率.

直方圖均衡化(HE)是一種利用灰度變換自動調(diào)節(jié)圖像對比度質(zhì)量的方法, 基本思想是把原始圖像的灰度直方圖從比較集中的某個灰度區(qū)間拉伸成全部灰度范圍內(nèi)的均勻分布. 自適應(yīng)直方圖均衡化(AHE)與普通的HE方法不同, AHE算法通過計算圖像的局部直方圖, 然后重新分布亮度來改變圖像對比度, 可以有效改進圖像的局部對比度及獲得更多的圖像細節(jié), 但AHE存在過度放大圖像中噪聲的問題.

對比度受限自適應(yīng)直方圖均衡化(CLAHE)對自適應(yīng)直方圖均衡化方法進行了改進, 通過限制每個區(qū)域中直方圖的高度, 從而可以限制AHE中噪聲放大的問題.

CLAHE算法核心步驟如下:

(1)圖像子區(qū)域劃分: 將原圖像劃分成多個大小相等的子區(qū)域, 每個子區(qū)域互不重疊且相互連續(xù), 每個子區(qū)域包含的像素數(shù)為C. 子區(qū)域越大, 增強效果越好,通?？筛鶕?jù)實際需要來進行調(diào)整.

(2)計算直方圖: 用Hij(k)表示某個子區(qū)域的直方圖,k代表灰度級, 其取值為[0,L–1],L為灰度級數(shù).

(3)計算限制值: 根據(jù)式(2)計算截斷限制值:

其中,β為計算得到的限制值;α為截斷系數(shù), 其取值范圍為[0, 100];Smax為最大斜率, 用來決定對比度增強幅度, 其取值為1到4之間的整數(shù).

(4)重分配像素點: 對每個子區(qū)域, 采用對應(yīng)的β值對Hij(k)進行裁剪, 將裁剪下來的像素重新分配到直方圖的各灰度級中. 循環(huán)執(zhí)行上述分配過程, 直至將所有被裁剪的像素分配完畢.

(5)直方圖均衡: 對裁剪后的每個子區(qū)域的灰度直方圖分別進行直方圖均衡化.

(6)重構(gòu)像素點灰度值: 把每個子區(qū)域的中心點作為參考點, 獲取其灰度值, 采用雙線性插值方法對圖像中的每一個像素進行灰度線性插值, 計算輸出圖像中各個像素點的灰度值.

1.1.2 圖像合并

為提高處理后圖像顏色保真程度, 將原圖像分別轉(zhuǎn)換為RGB、HSV圖像, 然后分別對RGB圖像和HSV圖像進行CLAHE增強, 增強后的圖像分別記為Irgbc、Ihsvc,最后采用歐幾里得范數(shù), 根據(jù)式(3)將Irgbc、Ihsvc進行合并, 實現(xiàn)第1級圖像融合, 融合后的圖像將進行USM銳化處理操作.

其中,Imerge為合并后的圖像;M、N分別為圖像的行、列數(shù), 下同.

1.2 USM銳化

為了便于安檢人員觀測和識別X光圖像中物品的形狀, 有必要借助圖像銳化技術(shù)突出圖像細節(jié)部分, 特別是圖像的邊緣信息. 圖像銳化是使圖像邊緣更加清晰的一種圖像處理方法, 其原理是先將原圖像的高頻分量提取出來, 再和原圖像按一定規(guī)則疊加, 最終得到銳化后的圖像. 傳統(tǒng)非銳化掩模(USM)操作可以去除圖像中一些細小的干擾細節(jié), 但得到的銳化圖像容易出現(xiàn)噪聲及偽邊緣, 因此, 本文采用結(jié)合閾值的USM算法, 其主要步驟如下:

(1)將原圖像I進行高斯濾波, 得到濾波圖像Iblur.

(2)根據(jù)式(4)計算掩膜:

其中,Threshold為閾值; 掩膜Mask為M×N的二維矩陣.

(3)根據(jù)(5)計算高頻分量圖像Ihf:

(4)根據(jù)式(6)計算銳化圖像Isharp:

其中,k為疊加系數(shù);

(5)根據(jù)式(7)將原圖像融入銳化圖像Isharp, 實現(xiàn)第2級圖像融合:

1.3 圖像融合

經(jīng)過CLAHE增強及USM銳化后, 安檢X光圖像的邊緣、形狀等細節(jié)得到了加強, 但處理后的圖像與原圖像色差較大, 不利于安檢人員辨識圖像中的物品.因此, 本文根據(jù)式(8)將銳化圖像與原圖像按系數(shù)進行融合, 降低本文算法處理后所得圖像Ifinal較原圖像顏色失真幅度.

其中,Csharp、Corigin分別為USM銳化圖像、原圖像的融合系數(shù).

2 實驗結(jié)果及分析

2.1 實驗平臺及數(shù)據(jù)集

本實驗所用硬件平臺為Huawei MateBook 13, 配置為CPU: Intel(R) Core(TM) i5-8265U、4核、主頻為1.6 GHz, 顯卡: Nvidia GeForce MX1502、顯存2 GB,內(nèi)存8 GB, 操作系統(tǒng): Windows 10 (64位). 軟件平臺采用Matlab R2016a.

人工將機場旅客安全檢查常見違禁品, 如仿真槍、手機、打火機、刀片、飲料瓶、折疊刀等, 以不同角度隨機置于行李箱、手提袋、背包等容器不同位置, 然后利用我校安檢實訓(xùn)室中的安檢X光機進行圖像采集, X光機型號為公安一所FISCAN? CMEXB6550S, 共計采集到2 380副X光圖像, 以JPG格式存儲在計算機當中, 這些圖像將作為開展實驗的數(shù)據(jù)集.采集X光圖像的設(shè)備及物品如圖2所示.

圖2 安檢X光圖像采集設(shè)備及物品

2.2 有效性驗證

利用本文算法對數(shù)據(jù)集中的圖像進行數(shù)據(jù)增強,然后通過安檢員人工評測本文算法的有效性. 實驗參數(shù)為: CLAHE算法中子區(qū)域大小8×8, 截斷系數(shù)α為0.4, 最大斜率Smax為4. USM算法中高斯核大小3×3、方差36; 疊加系數(shù)9閾值30. 第3級圖像融合中USM銳化圖像、原圖像的融合系數(shù)分別為0.8、0.3. 實驗結(jié)果表明, 本文算法對數(shù)據(jù)集中絕大多數(shù)X光圖像增強效果明顯, 部分圖像增強結(jié)果如圖3所示.

定性分析: 在圖3上方X光圖像中, 塑料筐中放置有手機和手表, 手機和手表沒有相互重疊、遮擋, 圖像內(nèi)物品、干擾較少, 該圖像中物品成像較為簡單. 在圖3下方X光圖像中, 電腦包中裝有跳刀、筆記本電腦、電源線及鑰匙, 且它們之間有相互遮擋、重疊, 圖像內(nèi)物品、干擾較多, 該圖像中物品成像較為復(fù)雜. 采用本文算法增強后, 無論是上方簡單圖像, 還是下方復(fù)雜圖像, 感興趣物品(如手機、跳刀等)和載物容器(如塑料框、電腦包)都得到增強, 圖像更加清晰、容易辨別.

圖3 增強結(jié)果示例

2.3 實時性驗證

本文還對算法實時性進行了驗證. 具體的: 將數(shù)據(jù)集中2 380副圖像分成238組, 每組中包含10副圖像,然后分別記錄每組圖像算法處理的時間均值, 最后計算整個數(shù)據(jù)集圖像算法處理的平均時間, 得到結(jié)果如圖4所示.

圖4 算法處理時間

定性分析: 由圖4可知, 本文算法對各組圖像的處理時間均值介于0.8–2.1 s之間, 整個數(shù)據(jù)集的平均處理時間為1.5 s左右, 因此, 本文所提算法處理速度較快、實時性較好.

2.4 方法效果對比

為進一步驗證本文方法的有效性, 將本文方法與CLAHE算法、文獻[9]所提算法進行增強效果對比,部分對比結(jié)果如圖5所示, CLAHE、文獻[9]算法及本文算法增強后圖像的圖像峰值信號比(PSNR)如表1.

定性分析: 由圖5可知, 由于沒有進行銳化及圖像融合處理, CLAHE算法雖然對X光圖像有一定增強,但增強后的圖像顏色失真嚴重且邊緣較為模糊. 采用本文算法增強后的圖像顏色保真、邊緣細節(jié)及背景噪聲方面都優(yōu)于CLAHE算法、文獻[9]所提算法. 另外,從表1可知, 采用本文算法對原圖像增強, PSNR值高于CLAHE及文獻[9]所提算法, 且采用本文算法進行圖像增強, 數(shù)據(jù)集PSNR平均值較CLAHE、文獻[9]中算法分別提高了7 dB、5 dB, 證明了本文算法對數(shù)據(jù)集中X光圖像增強效果更好.

表1 增強圖像PSNR值 (dB)

圖5 增強效果對比

另外, CLAHE算法、文獻[9]中算法會放大原圖像中的背景噪聲, 本文算法可以有效減少原圖像中的背景噪聲, 但并不能完全消除, 如何在增強圖像的同時消除背景噪聲是本文算法今后的重要工作.

3 結(jié)論與展望

本文以Matlab為實驗平臺對“機場安檢X光圖像增強”問題進行了研究, 提出了一種基于三級圖像融合與CLAHE的圖像增強算法. 該算法能夠顯著增強機場安檢常見物品的X光圖像, 并能有效抑制增強后圖像顏色失真及背景噪聲, 是一種有效的圖像增強算法.下一步將對本算法進行優(yōu)化, 進一步提高圖像顏色保真、消除背景噪聲.