摘" 要:針對(duì)雙能X射線安檢機(jī)生成的圖像無法在普通顯示器上呈現(xiàn)所有細(xì)節(jié)的問題,提出一種基于多尺度局部邊緣保持濾波(LEP)的色調(diào)映射算法。首先,將從X射線安檢機(jī)獲取的高能和低能圖像,按照各自穿透特點(diǎn)匹配權(quán)重因子進(jìn)行融合;其次,對(duì)融合圖像進(jìn)行自然對(duì)數(shù)變換,使用LEP濾波獲得基礎(chǔ)層圖像,再通過作差方式獲取細(xì)節(jié)層圖像和tanh函數(shù)增強(qiáng),對(duì)增強(qiáng)后的細(xì)節(jié)層圖像進(jìn)行相加融合;最后,進(jìn)行負(fù)指數(shù)變換和灰度線性拉伸后得到盡顯細(xì)節(jié)的低動(dòng)態(tài)范圍圖像。實(shí)驗(yàn)結(jié)果表明,文章所提算法在行李包裹圖像主觀評(píng)價(jià)及國(guó)標(biāo)測(cè)試體上表現(xiàn)良好,能夠有效提高X射線圖像的質(zhì)量。
關(guān)鍵詞:安檢圖像;雙能X射線;多尺度濾波;圖像融合
中圖分類號(hào):TP317.4" 文獻(xiàn)標(biāo)識(shí)碼:A" 文章編號(hào):2096-4706(2024)10-0026-06
Image Dynamic Range Remapping Algorithm for Dual Energy X-ray Security Inspection Machine
GAO Ming1, LIU Baosheng2
(1.Zhuguangya Institute of Advanced Science and Technology, Shanghai" 201306, China;
2.School of Computer Science and Technology, Shandong University of Technology, Zibo" 255049, China)
Abstract: A color tone mapping algorithm based on multi-scale local edge preserving filtering (LEP) is proposed to address the issue that images generated by dual energy X-ray security inspection machines cannot present all details on regular displays. Firstly, the high-energy and low-energy images obtained from the X-ray security inspection machine is fused by matching weight factors according to their respective penetration characteristics. Secondly, natural logarithmic transformation is applied to the fused image, and LEP filtering is used to obtain the base layer image. Then, the detail layer image and tanh function enhancement are obtained through subtraction, and the enhanced detail layer image is added and fused. Finally, after performing negative exponential transformation and grayscale linear stretching, a low dynamic range image with full detail is obtained. The experimental results show that the algorithm proposed in the paper performs well in subjective evaluation of luggage and parcel images and national standard test bodies, and can effectively improve the quality of X-ray images.
Keywords: security inspection image; dual energy X-ray; multi-scale filtering; image fusion
0" 引" 言
目前在行李物品安檢領(lǐng)域使用較多的是雙能X射線安檢機(jī),這種X射線安檢機(jī)接收高能和低能兩種X射線,生成同一物體的高低兩種能量掃描圖像,其圖像為16位數(shù)據(jù),屬于高動(dòng)態(tài)范圍圖像。目前廣泛使用的顯示器都不能完整顯示16位圖像。此外,原始的雙能圖像對(duì)比度很低,圖像的低灰度區(qū)域和高灰度區(qū)域均存在豐富的物體細(xì)節(jié),但由于灰度范圍跨度太大,安檢人員也無法同時(shí)看清兩種灰度區(qū)域的細(xì)節(jié)。
因此通過合適的算法壓縮X射線安檢機(jī)圖像動(dòng)態(tài)范圍,并顯著增強(qiáng)圖像細(xì)節(jié)仍是廣大廠商關(guān)注的要點(diǎn)。Glover等人[1]對(duì)主要的色調(diào)映射算法進(jìn)行了測(cè)試,篩選出適合安檢X射線圖像的算法,其中Fattal等人[2]通過衰減大梯度的幅度來壓縮動(dòng)態(tài)范圍,在細(xì)節(jié)增強(qiáng)上表現(xiàn)良好但噪聲也得到了放大,同時(shí)物體邊緣存在光暈;Mantiuk等人[3]提出的在整個(gè)圖像頻率范圍內(nèi)約束圖像對(duì)比度的方式在細(xì)節(jié)增強(qiáng)和噪聲抑制上有較好表現(xiàn)。Farbman等人[4]提出利用加權(quán)最小二乘濾波,該算法一定程度上解決了光暈現(xiàn)象,但提取細(xì)節(jié)的能力不足。國(guó)內(nèi)有研究人員使用克服了最小二乘濾波缺點(diǎn)的局部邊緣保持濾波開發(fā)色調(diào)映射算法[5],得到了不錯(cuò)的效果,但在安檢X射線圖像應(yīng)用中,仍出現(xiàn)邊緣有一定程度的光暈[6]。
綜上,本文提出一種基于多尺度局部邊緣保持濾波的X射線安檢圖像色調(diào)映射算法,實(shí)現(xiàn)雙能X射線安檢圖像的動(dòng)態(tài)范圍壓縮,細(xì)節(jié)增強(qiáng),避免邊緣光暈及噪聲放大。本文工作主要包含:1)高低能圖像融合方法;2)局部保邊濾波及細(xì)節(jié)圖像增強(qiáng);3)灰度線性縮放。
1" 雙能X射線圖像的色調(diào)映射算法
本文提出的算法流程如圖1所示。首先從雙能X射線安檢機(jī)獲取高能和低能圖像,通過圖像融合算法將高低能圖像融合成一張圖,其目的是提取高能和低能中的圖像信息到一張圖,方便后續(xù)算法處理;然后再將融合圖像通過自然對(duì)數(shù)變換,將圖像中非線性的射線強(qiáng)度轉(zhuǎn)換呈線性關(guān)系,方便設(shè)計(jì)算法處理;進(jìn)一步將圖像進(jìn)行歸一化處理,消除極大值和極小值影響;然后再迭代地使用兩次局部邊緣保持濾波(LEP)[7],得到兩個(gè)尺度下的圖像基礎(chǔ)層,以及一個(gè)基礎(chǔ)層的全局均值;通過將濾波輸入和輸出相減得到三個(gè)圖像細(xì)節(jié)層,再將圖像細(xì)節(jié)層使用tanh函數(shù)進(jìn)行增強(qiáng),將零值附近的灰度進(jìn)行增強(qiáng),再將增強(qiáng)結(jié)果進(jìn)行疊加;然后再將疊加的結(jié)果進(jìn)行負(fù)指數(shù)變換和輸入圖像的數(shù)值規(guī)律保持一致,最后對(duì)圖像進(jìn)行線性縮放,灰度映射到[0,255]范圍內(nèi),即可得到經(jīng)過細(xì)節(jié)增強(qiáng)的圖像。
1.1" 雙能X射線圖像融合
在X射線安檢機(jī)中X射線管產(chǎn)生的是連續(xù)譜的X射線,其穿過物質(zhì)時(shí),物質(zhì)對(duì)X射線的衰減呈指數(shù)衰減[8],其傳遞函數(shù)可以簡(jiǎn)略表示為:
其中I為X射線穿過厚度為d的物體時(shí)的強(qiáng)度,I0為射線管發(fā)出的X射線強(qiáng)度,B為累積修正因子,u為物質(zhì)的衰減系數(shù)。圖2為本公司雙能X射線安檢機(jī)采集的高低能行李包裹原始圖像,顯示窗寬和窗位為[32 767,65 535],可以看出物體之間存在遮擋,低灰度區(qū)域的細(xì)節(jié)無法直觀看清楚。
從圖2中可以看出低能圖像包含較多細(xì)節(jié)信息,厚度及密度大的區(qū)域射線被衰減的程度更高,在圖像上表現(xiàn)為低灰度值區(qū)域,所以這類物體的細(xì)節(jié)灰度值區(qū)分度比較低;高能圖像則對(duì)較厚區(qū)域有比較好的穿透效果,可以將比較厚的物體穿透,因此在低能圖上表現(xiàn)為低灰度的區(qū)域,在高能圖上則灰度值比較高容易區(qū)分,但是高能射線的高穿透性,因此厚度小或者密度很低的區(qū)域則和空氣在圖像上的表現(xiàn)接近,因此無法從高能圖像上區(qū)分這類物體。所以最終呈現(xiàn)給安檢員的圖像是包含了高低能圖像中各自有用信息的融合圖像,為方便后續(xù)處理,本文首先對(duì)采集得到的高低能圖像進(jìn)行融合。圖像融合的方式有很多種[9],可以從像素層面考慮,或者是特征層面,在X射線成像方面,高能圖像和低能圖像存在物理關(guān)系,是同樣的物體對(duì)不同能量X射線衰減的結(jié)果,這里我們考慮運(yùn)行效率以及信息保留,選擇使用對(duì)每個(gè)像素進(jìn)行加權(quán)疊加的方式,我們定義一個(gè)權(quán)重因子wf,其表示為:
其中Il(x, y)為低能圖像,Imax為規(guī)定的探測(cè)器接收X射線最大強(qiáng)度值,這里設(shè)置為65 535,因此每個(gè)像素都可以計(jì)算出一個(gè)權(quán)重因子,則高低能融合的規(guī)則公式為:
融合后的圖像如圖3(a)所示,顯示窗寬和窗位為[32 767,65 535]。
由式(1)可以看出隨著物體厚度增加,探測(cè)器接收到的X射線強(qiáng)度呈指數(shù)規(guī)律衰減,當(dāng)物體厚度較大時(shí),接收到的X射線強(qiáng)度變化比較小,因此圖像成像偏暗,細(xì)節(jié)隱藏其中無法直觀觀察,且圖像灰度值呈非線性規(guī)律不利于后續(xù)的圖像處理,所以在對(duì)融合后的圖像進(jìn)行自然對(duì)數(shù)變換,對(duì)數(shù)運(yùn)算過程為:
結(jié)合式(1)可以看出圖像灰度值" 和穿過物體厚度d之間的關(guān)系變?yōu)榫€性的一次函數(shù),這樣方便后續(xù)設(shè)計(jì)圖像處理算法。然后再將自然對(duì)數(shù)變換的結(jié)果進(jìn)行歸一化,得到的圖像如圖3(b)所示,其顯示的窗寬和窗位為[0.6,0.6]。圖像融合操作的中間結(jié)果如圖3所示。
1.2" 局部邊緣保持濾波及細(xì)節(jié)增強(qiáng)
上文提到Farman提出的最小二乘濾波器在細(xì)節(jié)提取上存在不足,因此局部邊緣保持濾波器(LEP)[7]改進(jìn)了這一點(diǎn)。邊緣保持濾波器將圖像視為基礎(chǔ)層B和細(xì)節(jié)層D的疊加,基礎(chǔ)層B是指除顯著邊緣外的分段平滑圖像,細(xì)節(jié)層D是指包含豐富邊緣信息的圖像,這里對(duì)顯著邊緣的定義與最小二乘濾波器中有所不同,其將顯著邊緣定義為局部的較大梯度,而不是全局較大梯度,因此在分解過程中,會(huì)將一個(gè)局部顯著但數(shù)值很小的梯度分解到基礎(chǔ)層中。
局部邊緣保持濾波器的使用如式(5)、式(6)所示,輸入圖像經(jīng)過濾波后得到的輸出圖像為基礎(chǔ)層,再將輸入圖像和基礎(chǔ)層作差得到細(xì)節(jié)層,將每一次濾波輸出的基礎(chǔ)層當(dāng)做下一次濾波的輸入圖像,這樣迭代使用濾波器并逐步增加濾波器半徑,這種方式即為多尺度分解,合理地選擇迭代次數(shù)即可將圖像的邊緣信息最大程度提取。
其中LEPi為邊緣保持濾波器函數(shù);i為尺度級(jí)別,i = n,…,2,且Bn為第一次輸入的圖像。經(jīng)過實(shí)驗(yàn)測(cè)試,針對(duì)本文所提的安檢X射線圖像場(chǎng)景,對(duì)原始LEP濾波器做多尺度分解提出改進(jìn),此場(chǎng)景中尺寸級(jí)數(shù)定為2比較合理,如圖1所示,第二次濾波結(jié)束后,直接對(duì)得到的B1基礎(chǔ)層圖像求均值,得到均值圖像M1,然后將M1和B1作差得到細(xì)節(jié)層D1。
由于細(xì)節(jié)層中表示為小梯度的灰度變化,因此其數(shù)值分布特征為在0值附近震蕩,想要在色調(diào)映射過程中不損失細(xì)節(jié)信息,則對(duì)細(xì)節(jié)層的增強(qiáng)處理是必需的,因此選擇雙曲正切函數(shù)作為增強(qiáng)函數(shù),其在增強(qiáng)0值附近信號(hào)的同時(shí)又能壓縮其余信號(hào),表達(dá)式為:
其中k為縮放因子,k值越大則對(duì)0點(diǎn)附近的數(shù)值增強(qiáng)作用越明顯,經(jīng)過實(shí)驗(yàn),這里k取2.5。細(xì)節(jié)層增強(qiáng)函數(shù)圖如圖4所示。
圖4" 細(xì)節(jié)層增強(qiáng)函數(shù)
各個(gè)尺度的細(xì)節(jié)層增強(qiáng)使用式(8)進(jìn)行融合:
其中 ,, 為使用式(7)增強(qiáng)后的細(xì)節(jié)層。
對(duì)細(xì)節(jié)層融合后得到的L(x, y)進(jìn)行負(fù)自然指數(shù)變換得到 ,然后再將" 灰度范圍線性縮放到[0,255]區(qū)間,即得到色調(diào)映射后的圖像Iout(x, y),具體過程為:
I0為射線管發(fā)出的X射線強(qiáng)度, 為圖像" 的最大值。圖5為色調(diào)映射算法的輸出結(jié)果圖像。
2" 實(shí)驗(yàn)與結(jié)果分析
實(shí)驗(yàn)數(shù)據(jù)來源于本公司自研雙能X射線安檢機(jī),采集數(shù)據(jù)為16位。算法運(yùn)行平臺(tái)為使用過Intel(R)Core(TM)i5-10200H CPU @ 2.40 GHz處理器,16 GB運(yùn)行內(nèi)存,Windows 10操作系統(tǒng)的計(jì)算機(jī)。
2.1" 主觀評(píng)價(jià)
安檢員通過圖像是否能清晰辨識(shí)各種物體輪廓,尤其是存在較厚物體或者各種物體產(chǎn)生重疊時(shí),這是評(píng)價(jià)色調(diào)映射算法好壞的主觀標(biāo)準(zhǔn)。圖6展示了行李箱內(nèi)雜物堆疊以及手提包中藏匿危險(xiǎn)品兩種情況下的原始成像和色調(diào)映射算法處理結(jié)果。
圖6(a)模擬了行李箱中雜物堆疊的場(chǎng)景,原始圖像中物體重疊區(qū)域的細(xì)節(jié)基本不可見,經(jīng)過色調(diào)映射處理后,各個(gè)重疊物體的輪廓可以清晰顯示,且每個(gè)物體的細(xì)節(jié)也得以體現(xiàn),此外各個(gè)物體邊緣未出現(xiàn)梯度翻轉(zhuǎn)或者光暈現(xiàn)象,整體對(duì)比度提高,同時(shí)沒有產(chǎn)生失真。圖6(c)模擬了手提包中藏匿危險(xiǎn)品的情況,由于槍械彈藥材質(zhì)主要由金屬構(gòu)成,因此對(duì)X射線產(chǎn)生較大衰減,因此從原始圖上看不到高衰減區(qū)域的細(xì)節(jié)輪廓。經(jīng)過色調(diào)映射算法處理后的圖6(d)可以清晰觀察到危險(xiǎn)品的內(nèi)部構(gòu)造細(xì)節(jié)。
2.2" 國(guó)標(biāo)測(cè)試體評(píng)價(jià)
目前,高動(dòng)態(tài)范圍圖像壓縮算法的評(píng)價(jià)指標(biāo)主要是針對(duì)自然圖像[10,11],針對(duì)X射線圖像的較少,因此除主觀評(píng)價(jià)外,這里采用X射線安檢機(jī)國(guó)家標(biāo)準(zhǔn)測(cè)試體來進(jìn)行評(píng)價(jià),國(guó)標(biāo)箱分為A和B兩個(gè)測(cè)試體,其中A測(cè)試體用于測(cè)試設(shè)備的線分辨力、穿透分辨力、空間分辨力和穿透力;B測(cè)試體用于測(cè)試設(shè)備的有機(jī)物、無機(jī)物、混合物、灰度的分辨力。國(guó)標(biāo)箱實(shí)物圖如圖7所示。
對(duì)圖7中的兩種國(guó)標(biāo)測(cè)試體進(jìn)行X射線成像,對(duì)獲取的高低能圖像進(jìn)行融合,分別得到圖8(a)測(cè)試體A的高低能融合圖像以及圖8(c)的測(cè)試體B高低能融合圖像,然后使用本文提出的色調(diào)映射算法進(jìn)行處理,分別得到圖8(b)國(guó)標(biāo)測(cè)試體A色調(diào)映射結(jié)果以及圖8(d)國(guó)標(biāo)測(cè)試體B色調(diào)映射結(jié)果。測(cè)試體B中的TEST7測(cè)試塊為鋁階梯塊,TEST8測(cè)試塊為鋼階梯塊,從圖8(c)中可以看出,隨著厚度的增加,灰度值從高到低的變化,且灰度區(qū)分度逐漸變低。圖8(d)中TEST7和TEST8經(jīng)過算法處理后,不同厚度的階梯塊可以明顯區(qū)分。測(cè)試體B中的TEST5測(cè)試塊,其為三個(gè)不同厚度的薄ABS塑料板,灰度值都比較高且區(qū)分度不明顯,經(jīng)過算法處理后,可以從圖8(d)中可以看出,處于高灰度值區(qū)域的TEST5測(cè)試塊圖像也可以清晰分辨。
測(cè)試體A中的TEST14測(cè)試塊是由不同厚度的鋼階梯組成,每個(gè)階梯上都有一個(gè)圓柱形的鉛塊,由于該測(cè)試體塊對(duì)X射線的衰減很高,從圖8(a)中可以看出TEST14測(cè)試塊區(qū)域灰度值很低,且區(qū)分度很小,圓柱形鉛塊幾乎不可見,經(jīng)過算法處理后,可以從圖8(b)中看出,TEST14測(cè)試塊上的每個(gè)階梯上的圓形鉛塊都可以清晰分辨。綜上,可以看出本文提出的色調(diào)映射算法能夠滿足國(guó)標(biāo)測(cè)試體的要求。
3" 結(jié)" 論
針對(duì)雙能X射線安檢機(jī)圖像動(dòng)態(tài)范圍寬度無法在普通顯示器上正確顯示,且對(duì)比度低的特點(diǎn),受前人工作啟發(fā),本文改進(jìn)了局部保邊濾波器的使用方法,對(duì)雙能圖像融合后進(jìn)行兩次迭代濾波獲取基礎(chǔ)層圖像和細(xì)節(jié)層圖像,并求取均值圖像,然后對(duì)細(xì)節(jié)層圖像進(jìn)行增強(qiáng),再將增強(qiáng)后的細(xì)節(jié)層相加融合,最后經(jīng)過負(fù)指數(shù)變換和線性灰度縮放得到色調(diào)映射后的圖像。通過實(shí)驗(yàn)對(duì)比可以得出以下結(jié)論:1)本文所提算法可以有效壓縮高動(dòng)態(tài)圖像灰度范圍;2)能夠改善圖像對(duì)比度,并將原圖包含的細(xì)節(jié)信息凸顯出來;3)能夠保持不同厚度物體的灰度的區(qū)分度。
參考文獻(xiàn):
[1] GLOVER J L,HUDSON L T,PAULTER N G. Improved Threat Identification Using Tonemapping of High-Dynamic-Range X-ray Images [J].Journal of testing and evaluation,2018,46(4):1462-1467.
[2] FATTAL R,LISCHINSKI D,WERMAN M. Gradient Domain High Dynamic Range Compression [J].ACM Transactions on Graphics (TOG),2002,21(3):249-256.
[3] MA S Z,SUNDAR V,MOS P,et al. Seeing Photons in Color [J/OL].ACM Transactions on Graphics,2023,42(4):99[2023-09-06].https://infoscience.epfl.ch/record/305345?ln=en.
[4] MA J Y,MA Y,LI C. Infrared and Visible Image Fusion Methods and Applications: A survey [J].Information Fusion,2019,45:153-178.
[5] 闕祿松,王明泉,張俊生,等.基于多尺度局部邊緣保持濾波的X射線圖像色調(diào)映射算法 [J].科學(xué)技術(shù)與工程,2019,19(28):217-221.
[6] 原培新,陳鼎夫.雙能X射線高動(dòng)態(tài)范圍安檢圖像壓縮算法 [J].東北大學(xué)學(xué)報(bào):自然科學(xué)版,2021,42(1):96-101.
[7] BRISARD S,SERDAR M,MONTEIRO P J M. Multiscale X-ray Tomography of Cementitious Materials: A review [J].Cement and Concrete Research,2020,128:105824.
[8] OU X Y,CHEN X,XU X N,et al. Recent Development in X-Ray Imaging Technology: Future and Challenges [J].Research,2021,2021(1):9892152.
[9] KAUR H,KOUNDAL D,KADYAN V. Image Fusion Techniques: A Survey [J].Archives of computational methods in Engineering,2021,28(7):1-23.
[10] HAN X Y,KHAN I R,RAHARDJA S. High Dynamic Range Image Tone Mapping: Literature review and performance benchmark [J].Digital Signal Processing,2023,137:104015.
[11] ZHAI G T,MIN X K. Perceptual Image Quality Assessment: A Survey [J].Science China(Information Sciences),2020,63(11):84-135.
作者簡(jiǎn)介:郜明(1996—),男,漢族,安徽阜陽人,助理工程師,碩士研究生,主要研究方向:X射線圖像處理;劉寶生(1998—),男,漢族,河南漯河人,碩士研究生在讀,主要研究方向:數(shù)字圖像處理。