基于天然氣組分紅外光譜圖的數(shù)據(jù)預(yù)處理方法研究

康 明，韓森坪，楊洪杰，唐德東，李妍君，汪智琦

〈紅外應(yīng)用〉

基于天然氣組分紅外光譜圖的數(shù)據(jù)預(yù)處理方法研究

康 明1，韓森坪1，楊洪杰1，唐德東1，李妍君1，汪智琦2

（1. 重慶科技學(xué)院 電氣工程學(xué)院 重慶 401331；2. 中國(guó)石油化工股份有限公司荊門(mén)分公司湖北 荊門(mén) 448000）

利用紅外光譜分析儀對(duì)天然氣組分進(jìn)行組分分析時(shí)所獲得光譜信號(hào)往往會(huì)受雜散光、噪聲、基線(xiàn)漂移等因素的干擾，從而影響最終定量分析結(jié)果，故需要在建模前對(duì)原始光譜進(jìn)行預(yù)處理。為解決儀器測(cè)量光譜圖的噪聲干擾問(wèn)題，本文提出一種Savitzky-Golay平滑法結(jié)合sym6小波函數(shù)軟閾值去噪法對(duì)光譜圖進(jìn)行預(yù)處理。將傳統(tǒng)的預(yù)處理方法與SG平滑法結(jié)合小波函數(shù)法進(jìn)行對(duì)比分析。結(jié)果表明，以SG平滑法結(jié)合sym6小波函數(shù)軟閾值去噪法對(duì)光譜圖進(jìn)行預(yù)處理，其擬合優(yōu)度數(shù)值最高為0.98652，殘差平方和數(shù)值最低為5.50694，證明使用該方法后的函數(shù)分峰擬合效果最佳，處理效果優(yōu)于傳統(tǒng)方法。

天然氣；預(yù)處理；紅外光譜圖；去噪

0 引言

采用紅外光譜分析儀對(duì)天然氣組分進(jìn)行分析時(shí)[1]。由于儀器或檢測(cè)環(huán)境、光照強(qiáng)弱等因素影響，儀器檢測(cè)得到的光譜數(shù)據(jù)中摻雜有噪聲[1]，該類(lèi)噪聲會(huì)直接影響到后續(xù)模型的判別性能，故有必要對(duì)光譜圖進(jìn)一步進(jìn)行預(yù)處理[2]。

天然氣組分紅外光譜圖的特點(diǎn)是數(shù)據(jù)量大[3]，低含量區(qū)域信噪比低，有效波段少，噪聲信號(hào)夾雜程度高。目前已有的光譜預(yù)處理方法種類(lèi)繁多，如何選擇合適的預(yù)處理方法是亟待解決的問(wèn)題[4-5]。研究表明，一階和二階導(dǎo)數(shù)，雖能夠有效地分離重疊峰及去除基線(xiàn)和背景，但同時(shí)將高頻噪聲成分放大，應(yīng)用場(chǎng)景因此受到限制。Savitzky-Golay（SG）平滑算法可以消除部分頻率較高的噪聲，提高圖譜信噪比，但其性能與窗口大小相關(guān)，不合適的窗口大小反而影響數(shù)據(jù)質(zhì)量，平滑過(guò)多或者過(guò)少均會(huì)使數(shù)據(jù)失真，導(dǎo)致精度降低[6]。中值濾波器計(jì)算量小，運(yùn)算速度快，在濾除脈沖噪聲和掃描噪聲方面表現(xiàn)了良好的性能[7]，但中值濾波技術(shù)在處理混有高斯白噪聲的圖像時(shí)效果不理想，可能會(huì)出現(xiàn)邊緣位移的現(xiàn)象，因此適用于干擾較少的情況。小波分析是針對(duì)傅里葉變換（fast Fourier transform，F(xiàn)FT）的不足而發(fā)展出來(lái)的[8-9]。因傅里葉變換在時(shí)域中沒(méi)有分辨能力，小波變換則克服了傅里葉變換和Gabor變換的一些缺陷[10]，它可以根據(jù)窗口寬度進(jìn)行時(shí)頻調(diào)節(jié)，以此提高分辨率，比傅里葉變換更為寬廣和有效，小波變換則具有優(yōu)良的局部化視頻分析特性。

綜合上述多種預(yù)處理方法各自性能，并結(jié)合天然氣多組分的實(shí)際情況，本文提出了Savitzky-Golay平滑法結(jié)合sym6小波函數(shù)軟閾值去噪法對(duì)光譜圖進(jìn)行預(yù)處理，具體驗(yàn)證過(guò)程將在譜圖處理進(jìn)行詳細(xì)闡述。

1 SG平滑＋sym6小波變換原理和方法

1.1 SG平滑法

SG平滑法是把奇數(shù)個(gè)NSP＝2＋l光譜點(diǎn)看作一個(gè)窗口[11]，采用多項(xiàng)式法對(duì)窗口內(nèi)的光譜數(shù)據(jù)做最小二乘擬合，利用得到的多項(xiàng)式系數(shù)計(jì)算出窗口中心點(diǎn)的各階導(dǎo)數(shù)值和平滑數(shù)據(jù)值。在去掉窗口內(nèi)最前端的數(shù)據(jù)后添加窗口最末端相鄰的光譜數(shù)據(jù)，使得平滑窗口在整個(gè)圖譜內(nèi)移動(dòng)，得到平滑后經(jīng)不同導(dǎo)數(shù)分析后的圖譜。設(shè)光譜波長(zhǎng)為，經(jīng)過(guò)多項(xiàng)式擬合進(jìn)行平滑后的平均值為：

1.2 小波變換法

連續(xù)小波[10]變換其定義如下：

式中：信號(hào)()的小波變換是一個(gè)二元函數(shù)；為時(shí)間中心參數(shù)；為尺度參數(shù)，表示以＝為中心的波動(dòng)范圍，可以改變頻譜結(jié)構(gòu)和窗口的形狀，所以小波變換也是時(shí)頻分析函數(shù)。小波變換具有優(yōu)良的局部化視頻分析特性，可以改變頻譜結(jié)構(gòu)和窗口形狀（窗口大小是不變的），對(duì)分析突變信號(hào)和奇異信號(hào)非常有效[12]。

1.3 滑動(dòng)窗口和小波基的選擇

SG平滑的性能與窗口大小相關(guān)，不合適的窗口大小反而影響數(shù)據(jù)質(zhì)量，平滑過(guò)多或者過(guò)少均會(huì)使數(shù)據(jù)失真[13]，經(jīng)過(guò)多次實(shí)驗(yàn)驗(yàn)證，當(dāng)＝20的卷積平滑后的混合光譜圖處理效果相當(dāng)，可以進(jìn)行一定程度的去噪。

在利用小波去噪的過(guò)程中，能否選擇合適的閾值函數(shù)和閾值直接影響著圖像的去噪效果，此外，小波基的選擇也是一個(gè)不可忽略的問(wèn)題，因選擇的小波基不同，產(chǎn)生的去噪效果也不同。常用的小波函數(shù)有Haar、Symlets及Daubechies[8]等，其中Daubechies基是具有緊支集的光滑正交小波基，其光滑性由支集的長(zhǎng)度來(lái)確定，Symlet小波函數(shù)是Ingrid Daubechies提出的近似對(duì)稱(chēng)的小波函數(shù)，它是對(duì)db函數(shù)的一種改進(jìn)[14]。Symlet小波系通常表示為sym(＝2,3,…,8)[15]。sym小波的支撐范圍為2－1，消失矩為，同時(shí)也具備較好的正則性。該小波與db小波相比，在連續(xù)性、支集長(zhǎng)度、濾波器長(zhǎng)度等方面與db小波一致，但sym小波具有更好的對(duì)稱(chēng)性，即一定程度上能夠減少對(duì)信號(hào)進(jìn)行分析和重構(gòu)時(shí)的相位失真，經(jīng)過(guò)多次實(shí)驗(yàn)驗(yàn)證，小波基sym6處理圖譜效果較好。

本文實(shí)驗(yàn)選擇將sym6小波與db小波進(jìn)行對(duì)比分析，對(duì)于分解層數(shù)的確定，本次實(shí)驗(yàn)采用了3層和4層兩種進(jìn)行對(duì)比實(shí)驗(yàn)。閾值量化選擇軟閾值去噪，隨后將處理后的低頻系數(shù)和高頻系數(shù)進(jìn)行重構(gòu)并輸出譜圖。

2 天然氣組分光譜圖預(yù)處理

2.1 實(shí)驗(yàn)系統(tǒng)搭建

實(shí)驗(yàn)原理基于朗伯比爾定律：物質(zhì)對(duì)某一波長(zhǎng)光吸收的強(qiáng)弱與吸光物質(zhì)的濃度及其氣體吸收池厚度間的關(guān)系可定量描述，如公式(3)所示：

式中：影響吸光度()主要有溫度、壓強(qiáng)、氣體濃度以及光程，其中氣體濃度和光程是實(shí)驗(yàn)裝置的固有特性，無(wú)法改變。而對(duì)于溫度以及壓強(qiáng)則需要按照實(shí)際情況進(jìn)行控制和記錄，保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。

整個(gè)系統(tǒng)主要由氣體吸收池、溫度加熱控制儀、進(jìn)出氣閥門(mén)、傅里葉紅外光譜儀、PC機(jī)等組成。采樣氣體或背景氣體由調(diào)節(jié)閥通過(guò)管路送入氣體吸收池，同時(shí)利用溫度加熱控制儀進(jìn)行保溫操作，再利用傅里葉紅外光譜儀對(duì)其進(jìn)行測(cè)量，最后結(jié)果則輸入PC機(jī)進(jìn)行相應(yīng)數(shù)據(jù)處理，廢氣則由旁路排出。實(shí)驗(yàn)基本結(jié)構(gòu)圖如圖1所示。

圖1 標(biāo)準(zhǔn)庫(kù)建立實(shí)驗(yàn)結(jié)構(gòu)圖

此次實(shí)驗(yàn)的樣品氣體為標(biāo)準(zhǔn)氣體；主要包括甲烷、乙烷和丙烷3種天然氣的主要成分，4種氣體均為2L純度為99.9%的標(biāo)準(zhǔn)氣體，此類(lèi)氣體主要用作標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)建立；同時(shí)也配置了其他相應(yīng)濃度的標(biāo)準(zhǔn)氣體，用作定量分析。而對(duì)于混合氣體，則是按照天然氣的含量配置了甲烷90%、乙烷5%，丙烷1%的定量等多個(gè)配比的測(cè)試氣體。

對(duì)于氣體吸收池的選擇也是需要格外考慮的，根據(jù)公式(3)可知，吸收池的光程越長(zhǎng)，吸光度數(shù)值越高，變化趨勢(shì)越明顯則越有利于測(cè)量。故此次測(cè)量采用的氣體吸收池光程達(dá)到50cm。本次實(shí)驗(yàn)采用的是多功能溫度加熱控制儀，其主要作用是保證氣體吸收池內(nèi)的溫度的恒定，避免溫度波動(dòng)對(duì)檢測(cè)結(jié)果造成的影響。連接氣體通路管線(xiàn)則選用聚酯型PU管，它有耐高壓、高溫且不吸附氣體等優(yōu)點(diǎn)。同時(shí)氣路進(jìn)出口需要配備減壓閥，保證其壓力和流量可記錄。

2.2 實(shí)驗(yàn)數(shù)據(jù)

本文采用的數(shù)據(jù)由傅里葉紅外光譜儀測(cè)得，測(cè)量時(shí)設(shè)置波段為中紅外波段，掃描范圍為：4000～400cm－1，分辨率為8cm－1，掃描次數(shù)為16次。

由于實(shí)驗(yàn)過(guò)程嚴(yán)重存在各類(lèi)噪聲以及干擾氣體，為保證光譜數(shù)據(jù)的準(zhǔn)確性，本文分別采用SG＋db3和SG＋sym6兩種預(yù)處理方法對(duì)光譜圖進(jìn)行處理。

2.3 天然氣組分預(yù)處理

利用SG（＝20）＋db3方法對(duì)含噪光譜去除后的效果如圖2所示。從圖2可以看出混合光譜圖經(jīng)過(guò)3層小波分解濾波以后，圖譜變得平滑，且去除了高頻噪聲信號(hào)，相較于單純的SG平滑以及中值濾波來(lái)說(shuō)，在實(shí)現(xiàn)了譜圖光滑去噪的同時(shí)又很好保留了低頻信號(hào)。

利用SG（＝20）＋sym6方法，對(duì)含噪光譜去除后的效果如圖3所示。使用的sym6小波函數(shù)處理效果明顯好于db3小波函數(shù)，其原因主要在于相比于db小波，sym小波具有更好的對(duì)稱(chēng)性型，能夠減少重構(gòu)時(shí)的位移，同時(shí)在使用sym6小波分解層數(shù)設(shè)置為4層，相對(duì)于3層的db小波來(lái)說(shuō)去除更為徹底，基線(xiàn)保留也越多。

圖2 混合光譜經(jīng)SG＋db3小波去噪后的光譜圖

圖3 經(jīng)SG＋sym小波去噪后混合氣體光譜圖

3 預(yù)處理性能評(píng)價(jià)

對(duì)于光譜圖預(yù)處理性能好壞的判斷標(biāo)準(zhǔn)，主要步驟是利用各類(lèi)預(yù)處理方法將原始光譜圖理后采用高斯函數(shù)進(jìn)行曲線(xiàn)擬合，利用函數(shù)擬合的各項(xiàng)性能評(píng)價(jià)指標(biāo)進(jìn)行評(píng)判。本次仍以混合氣體光譜圖中的波段3300～2700cm－1重疊峰為例進(jìn)行實(shí)驗(yàn)。

實(shí)驗(yàn)分別利用SG平滑處理過(guò)后的光譜圖、中值濾波處理后的光譜圖、以及SG平滑結(jié)合db3小波去噪和SG平滑結(jié)合sym6小波去噪后的圖譜分別進(jìn)行高斯函數(shù)擬合，查看其擬合情況。

圖4～圖7中采用高斯擬合時(shí)峰位個(gè)數(shù)選擇兩個(gè)，同時(shí)將擬合后的各項(xiàng)評(píng)價(jià)指標(biāo)記錄如表1所示。

圖4 經(jīng)SG平滑后的高斯擬合圖

圖5 經(jīng)濾波后的高斯擬合圖

圖6 經(jīng)SG＋db3小波去噪后的高斯擬合圖

圖7 經(jīng)SG＋sym6小波去噪后的高斯擬合圖

表1 SG平滑+sym6小波變換與傳統(tǒng)方法性能指標(biāo)對(duì)比

預(yù)處理性能好壞主要考察高斯函數(shù)擬合后的擬合優(yōu)度（R-Square）以及殘差平方和（sum of squares due to error，SSE），根據(jù)表1可知，當(dāng)采用SG平滑（＝20）結(jié)合sym6小波基函數(shù)，在經(jīng)過(guò)4層分解后軟閾值去噪情況下，其擬合優(yōu)度數(shù)值最高為0.98652，殘差平方和數(shù)值最低為5.50694，證明使用該方法后的函數(shù)分峰擬合效果最佳，故本實(shí)驗(yàn)結(jié)果驗(yàn)證選擇SG平滑與sym6小波軟閾值去噪相結(jié)合的方法處理效果優(yōu)于傳統(tǒng)方法，可將此方法應(yīng)用于天然氣組分檢測(cè)領(lǐng)域。

4 結(jié)論

針對(duì)儀器測(cè)量光譜圖的噪聲干擾問(wèn)題，本文以天然氣多組分檢測(cè)為基礎(chǔ)，提出一種以SG平滑法結(jié)合sym6小波函數(shù)軟閾值去噪法對(duì)光譜圖進(jìn)行預(yù)處理，實(shí)驗(yàn)證明選擇SG平滑法結(jié)合sym6小波軟閾值去噪法對(duì)譜圖進(jìn)行去噪處理效果優(yōu)于傳統(tǒng)方法，其擬合優(yōu)度數(shù)值最高為0.98652。采用該方法進(jìn)行圖譜分析有助于提高檢測(cè)天然氣各個(gè)組分含量的精度，在新型天然氣熱值分析儀的研制上有廣泛的應(yīng)用前景，能夠促進(jìn)石油天然氣行業(yè)的發(fā)展。

[1] JIAO Y, LI Z, CHEN X, et al. Preprocessing methods for near-infrared spectrum calibration[J]., 2020, 34(11): e3306.

[2] YANG J, DU L, GONG W, et al. Analyzing the performance of the first-derivative fluorescence spectrum for estimating leaf nitrogen concentration[J]., 2019, 27(4): 3978.

[3] LI Y, HUANG Y, XIA J, et al. Quantitative analysis of honey adulteration by spectrum analysis combined with several high-level data fusion strategies[J]., 2020, 108: 103060.

[4] 第五鵬瑤, 卞?；? 王姿方, 等. 光譜預(yù)處理方法選擇研究[J]. 光譜學(xué)與光譜分析, 2019, 39(9): 2800-2806.

DIWU Pengyao, BIAN Xi Hui, WANG Zifang, et al. Selection of spectral pretreatment methods[J].2019, 39 (9): 2800-2806

[5] Bastiaansen W, Klein S, Steegers㏕heunissen R P, et al. VP24.02: towards a novel human embryonic brain atlas: fully automated preprocessing of prenatal ultrasound using artificial intelligence[J]., 2020, 56(S1): 159-159.

[6] HUANG X , HUANG C , ZHAI G , et al. Data processing method of multibeam bathymetry based on sparse weighted LS-SVM machine algorithm[J]., 2019, 45(4): 1538-1551.

[7] DING Y, ZHANG W, ZHAO X, et al. A hybrid random forest method fusing wavelet transform and variable importance for the quantitative analysis of K in potassic salt or using laser-induced breakdown spectroscopy[J]., 2020, 35(6): 1131-1138.

[8] ZHANG J, WEN H, TANG L. Improved smoothing frequency shifting and filtering algorithm for harmonic analysis with systematic error compensation[J]., 2019, 66(12): 9500-9509.

[9] 楊帆, 王鵬, 張寧超, 等. 一種基于小波變換的改進(jìn)濾波算法及其在光譜去噪方面的應(yīng)用[J]. 國(guó)外電子測(cè)量技術(shù), 2020, 39(8): 98-104.

YANG Fan, WANG Peng, ZHANG Ningchao, et al. An improved filtering algorithm based on wavelet transform and its application in spectral denoising[J]., 2020, 39 (8): 98-104.

[10] Mahajan G R, Das B, Gaikwad B, et al. Monitoring properties of the salt-affected soils by multivariate analysis of the visible and near- infrared hyperspectral data[J]., 2021, 198: 105041.

[11] 侯培國(guó), 李寧, 常江, 等. SG平滑和IBPLS聯(lián)合優(yōu)化水中油分析方法的研究[J]. 光譜學(xué)與光譜分析, 2015, 35(6):1529-1533.

HOU Peiguo, LI Ning, CHANG Jiang, et al. Research on SG smoothing and IBPLS joint optimization of oil-in-water analysis method[J]., 2015, 35(6):1529-1533.

[12] Zikiou N, Lahdir M, Helbert D. Hyperspectral image classification using graph-based wavelet transform[J]., 2020, 41(7): 2624-2643.

[13] Bunaciu A A, Aboul-Enein H Y. Adulterated drug analysis using FTIR spectroscopy[J]., 2021, 56(5): 423-437.

[14] LIU F, ZHANG Y, Yildirim T, et al. Signal denoising optimization based on a Hilbert-Huang transform-triple adaptable wavelet packet transform algorithm[J].(), 2019, 124(5): 54002.

[15] ZHANG M, LU C, LIU C. Improved double-threshold denoising method based on the wavelet transform[J]., 2019, 2(8): 2328-2342.

Data Preprocessing Method for Infrared Spectra Analysis of Natural Gas Components

KANG Ming1，HAN Senping1，YANG Hongjie1，TANG Dedong1，LI Yanjun1，WANG Zhiqi2

,,401331,; 2.,448000,)

When using infrared spectroscopy to analyze the components of natural gas, the obtained spectral signals often contain interference from stray light, noise, baseline drift, and other factors, which affects the resulting quantitative analysis. Therefore, it is necessary to preprocess the original spectrum before modeling. As a potential solution, an SG smoothing method combined with the soft threshold denoising method of the sym6 wavelet function was proposed to preprocess the spectrogram. The traditional preprocessing method and the proposed method are compared and analyzed. The results show that when the proposed method is used to preprocess the spectrogram, the highest goodness of fit value is 0.98652, and the lowest residual sum of squares value is 5.50694, which proves that the function peak fitting effect is the best after using this method, and the processing effect is better than that of the traditional method.

natural gas, pretreatment, infrared spectra, denoising

TE81

A

1001-8891(2021)08-0804-05

2021-01-05.

2021-01-19.

康明（1997-），女，碩士研究生，主要從事天然氣組分圖譜解析研究。E-mail：1551043341@qq.com。

重慶市技術(shù)創(chuàng)新與應(yīng)用發(fā)展專(zhuān)項(xiàng)（cstc2019jscx-msxmX0054）；重慶市重慶科技學(xué)院研究生科技創(chuàng)新計(jì)劃項(xiàng)目（YKJCX1920405）。