蔡劍華,肖永良, 黎小琴
1 湖南文理學(xué)院物理與電子科學(xué)學(xué)院 湖南常德洞庭大道3159號 415000;
2 湖南財政經(jīng)濟學(xué)院信息技術(shù)與管理學(xué)院,湖南長沙 410205
基于廣義S變換的煙草近紅外光譜去噪
蔡劍華1,肖永良2, 黎小琴1
1 湖南文理學(xué)院物理與電子科學(xué)學(xué)院 湖南常德洞庭大道3159號 415000;
2 湖南財政經(jīng)濟學(xué)院信息技術(shù)與管理學(xué)院,湖南長沙 410205
近紅外光譜已成為煙草化學(xué)成分快速檢測的重要手段,但通常一階求導(dǎo)的光譜預(yù)處理方法在消除光譜基線漂移的同時也會放大噪聲。為進一步提高煙草成分近紅外光譜檢測的分析精度和模型的穩(wěn)健性,把波數(shù)域光譜數(shù)據(jù)視作時間序列信號,將新發(fā)展起來的時頻域去噪方法—廣義S變換引入到煙草近紅外光譜去噪中來,給出了原理和去噪步驟,且用去噪后的光譜分析了煙草中總氮的含量,并與傳統(tǒng)的9點平滑和小波變換去噪后的處理結(jié)果進行了對比。結(jié)果表明:①廣義S變換方法的煙草近紅外光譜預(yù)處理方法是有效的,在去除噪聲的同時很好地保留了光譜的波峰細節(jié),提高了光譜數(shù)據(jù)的質(zhì)量;②處理結(jié)果與9點平滑方法相比,模型的決定系數(shù)R2由原來的 0.8745 提高到 0.9244,其均方根誤差RMSEP由原來的0.1466降為0.1097,提高了煙草化學(xué)成分的近紅外光譜檢測精度,也為近紅外光譜去噪提供了新思路。
煙草; 近紅外光譜;廣義S變換;去噪;總氮
煙草化學(xué)成分的近紅外光譜檢測開始于上世紀70年代,隨著技術(shù)的進一步發(fā)展和成熟,現(xiàn)在近紅外光譜技術(shù)在煙草成分的檢測中已得到了普遍的應(yīng)用[1-6]。然而,這項技術(shù)中存在一個較為普遍的光譜噪聲問題:為消除近紅外光譜本身較弱而易受測量環(huán)境、條件影響的困擾,往往在建模前需對原始光譜進行求一階導(dǎo)數(shù)的預(yù)處理;一階導(dǎo)數(shù)光譜可有效消除背景等因素造成的基線漂移,讓光譜呈現(xiàn)更好的波峰信息,但同時噪聲也被放大,致使光譜的SNR被減小[7-12]。針對這一問題,許多學(xué)者提出了有效的近紅外光譜去噪方法如:一階導(dǎo)數(shù)+9點平滑方法[6],一階導(dǎo)數(shù)+25點平滑方法[8],一階導(dǎo)數(shù)+小波變換系列去噪方法等等[5,9,11,12]其中小波變換是被廣泛使用、且被證明效果好于平滑濾波的方法,后來結(jié)合小波變換的組合濾波方法也在光譜預(yù)處理中得到了研究[8-9,12]。廣義S變換是近期發(fā)展起來的一種新的時頻分析技術(shù),具有很高的時頻分析精度,并可無損重構(gòu)[13-14],在語音信號處理、機械故障診斷和地震勘探等領(lǐng)域應(yīng)用廣泛[13-18]。筆者擬將把波數(shù)域光譜視作時間序列信號,將廣義S變換引入到煙草近紅外光譜去噪中來,旨在為近紅外光譜去噪尋求新途徑,也將進一步完善近紅外光譜技術(shù)在煙草成分分析中的應(yīng)用效果。
假設(shè)存在非平穩(wěn)信號x(t),則其時頻分析可表示為
用兩個函數(shù)的褶積運算來實現(xiàn)其簡便運算
實現(xiàn)過程中先對GSTx(τ,f)的時間變量進行積分,得到傅里葉頻譜Y(f)
廣義S變換的高時頻分析特性和可重構(gòu)性,為開展時頻域去噪提供了條件。
廣義S變換時頻分析方法可清晰地表征信號的時頻特征,這個特性可被應(yīng)用于時頻域去噪[10,13]。根據(jù)噪聲在時頻平面上的分布特征,確定時頻濾波因子,對時頻譜做消噪處理,再利用時頻反變換方法,從含噪聲的信號中消除噪聲,提高信號的信噪比。
離散域時頻濾波器的濾波過程表示為
為簡便起見,式中:GST和IGST分別為S變換和反變換;H(n,k)為時頻濾波算子[13-14]
(1)將波數(shù)域的一階導(dǎo)數(shù)光譜視作時間序列信號,采用廣義S變換對光譜數(shù)據(jù)進行時頻分析,得到在全頻帶下的時頻分布。
(2)利用公式(9)對該廣義S域的時頻譜進行時頻域閾值濾波。
(3)對濾波后的時頻譜進行逆變換重構(gòu)分離出消噪后的光譜。
圖1 光譜去噪流程圖Fig.1 Flow chart of NIR spectrum de-noising based on the generalized S transform
譜儀:如圖2所示,為美國Brimrose公司生產(chǎn)的Luminar5030型近紅外光譜儀,儀器波長范圍為1100~2300 nm,2 nm 的波長增量,掃描次數(shù)為 600,采用 InGaAs 檢測器。軟件:挪威CAMO公司The Unscrambler分析軟件。粉碎機:上海隆拓公司生產(chǎn)的 XF-98B 型旋風精密粉碎機,粉碎粒度80目。干燥箱:重慶四達實驗儀器有限公司生產(chǎn)的CS101-2E電熱恒溫鼓風干燥箱AA3 ,流動分析儀:BranLuebbe 公司生產(chǎn)的連續(xù)流動分析儀。
圖2 Luminar5030型近紅外光譜儀Fig.2 Near infrared spectrometer: Luminar5030
湘南地區(qū)田間采集的上部新鮮煙葉,清理干凈,切絲, 按YC /T31—1996《煙草及煙制品 試樣的制備和水分測定 烘箱法》 對煙葉樣品進行處理及水分測定,再用XF-98B 型粉碎機充分粉碎、均勻研磨到 80 目的粉末樣品。青煙粉末樣品共計96個,采用基于全體樣品最優(yōu)單波數(shù)模型的預(yù)測效果劃分校正集和驗證集[21],校正集60個(總氮含量范圍:1.39%-3.32%),驗證集36個(總氮含量范圍:1.43%-3.21%)。將樣品整理固定好,使用Luminar5030型近紅外光譜儀,采用漫反射的測樣方式采集光譜,光譜為300次掃描的平均結(jié)果,得到煙草的原始吸收光譜圖,波長范圍從1100nm到2300nm,波長增量為2nm。對獲得的原始吸收光譜進行一階導(dǎo)數(shù)+基于廣義S變換去噪的預(yù)處理(為作對比,同時又進行了一階導(dǎo)數(shù)+9點平滑和一階導(dǎo)數(shù)+小波軟閾值去噪的預(yù)處理),將數(shù)據(jù)導(dǎo)入The Unscramble化學(xué)計量學(xué)分析軟件,采用偏最小二乘法(Partial least squares,PLS),交叉 驗 證法 (Cross validation),用Unscrambler 定量分析軟件建立模型,分別采用光譜影響值 Leverage 和化學(xué)值誤差 Residual 這 2 個參數(shù)剔除刪除模型中的奇異點,提高模型的預(yù)測準度,進行近紅外測試和煙草總氮含量的測定??偟幕瘜W(xué)檢測方法采用連續(xù)流動法(YC/T 161 煙草及煙草制品總氮的測量)。以預(yù)測均方根校正誤差(Root mean square error of predication, RMSEP)和決定系數(shù)(R2)為衡量標準評價合適的光譜預(yù)處理方法。
圖3(a)、(b)分別為96個煙草樣品的原始光譜和對應(yīng)的一階導(dǎo)數(shù)光譜圖。顯然,原始光譜被展成較寬的帶狀,存在明顯的基線漂移。求導(dǎo)后,圖3(a)中的背景影響和基線漂移得到了很好的抑制,但同時也帶來了噪聲,圖3(b)中導(dǎo)數(shù)光譜顯得有很多毛刺,在建立數(shù)學(xué)模型前,需要進一步做消噪處理。
圖3 96個煙草樣品原始光譜圖(a)和一階導(dǎo)數(shù)光譜圖(b)Fig.3 NIR spectrum of 96 Tobacco samples (a) Raw spectrum (b)First derivative spectrum
為節(jié)約篇幅,文中以一個樣品(16號樣品)的光譜為例,闡述基于廣義S變換的去噪分析過程。圖4(a)為 16號煙草樣品的一階導(dǎo)數(shù)光譜,噪聲明顯,掩蓋了眾多波峰信息。將導(dǎo)數(shù)光譜視作時間域信號,用公式(3)-(4),對導(dǎo)數(shù)光譜進行廣義S變換,求取時頻譜圖。圖4(b)即為其進行廣義S變換后得到的時頻譜圖。從圖4(b)中可以看出,低頻部分存在較強能量,噪聲存在于時頻譜圖的各頻帶,這與長周期的波數(shù)域波形特征相吻合。
圖4 16號煙草樣品一階導(dǎo)數(shù)光譜(a)及其S域時頻譜圖(b)Fig.4 NIR spectrum of NO.16 Tobacco sample (a) First derivative spectrum (b) time-frequency spectrum in S domain
用本文提出的時頻域消噪方法,根據(jù)公式(5)到(9),對時頻圖進行去噪,然后進行S反變換.得到去噪后的時頻譜圖和重構(gòu)的導(dǎo)數(shù)光譜,如圖5(a)為重構(gòu)后的光譜,圖5(b)為消噪后的時頻譜。圖5(b)中的時頻譜保留了圖4(b)中低頻部分的能量,而其他區(qū)域的噪聲得到了有效的抑制,由此時頻譜反變換重構(gòu)的光譜(圖5(a)所示)相比去噪前的光譜(圖4(a)所示),噪聲被剝離了,一些細小的波峰特征得到了顯現(xiàn)。
圖5 去噪后16號煙草樣品一階導(dǎo)數(shù)光譜(a)及其S域時頻譜圖(b)Fig.5 De-noised NIR spectrum of NO.16 Tobacco sample(a) First derivative spectrum(b) time-frequency spectrum in S domain
按照本文方法對其他95個煙草樣品的數(shù)據(jù)都進行去噪處理,圖6給出了去噪后96個煙草樣品一階導(dǎo)數(shù)光譜圖。為做對比,圖7給出了用傳統(tǒng)9點平滑和小波軟閾值去噪后的96個煙草樣品的一階導(dǎo)數(shù)光譜。在小波軟閾值去噪方法中,分解水平為6層,母小波采用為“db8”小波,閾值由“Rigsure”方式確定。對比圖5和圖6中的三幅圖可見:傳統(tǒng)9點平滑方法也能消除原始光譜求導(dǎo)帶來的噪聲,但還不夠徹底;小波軟閾值方法和本文提出的方法消噪效果較9點平滑方法好,得到的譜線更為平滑些。從波形圖上看,本文提出的方法去噪效果更好。
圖6 本文方法去噪后96個煙草樣品的一階導(dǎo)數(shù)光譜圖Fig.6 De-noised spectrum of 96 Tobacco samples by the proposed method
圖7 兩種方法去噪后的光譜比較:(a) 9點平滑去噪后的光譜(b)小波方法去噪后的光譜Fig.7 De-noised spectrum of 96 Tobacco samples (a) by 9 point smoothing method(b) by Wavelet transform de-noising method
為了定量地進一步評估方法的有效性,用計算耗時來評估算法的效率,并用信噪比(SNR)和平滑度指數(shù)(SR)來對光譜去噪效果進行評估, 其計算方法如下:
上式中,f(t)和表示去噪前后的光譜,f(ti+1)和表示前后相鄰點的光譜數(shù)據(jù)。SNR反映算法的去噪能力,其值與去噪效果成正比;SR的值越接近1,去噪光譜平滑度越接近標準光譜的平滑度。表1給出了三種去噪方法處理光譜時信噪比、平滑度指數(shù)和計算用時的對比。表中數(shù)據(jù)反映出來的三種方法的去噪能力:9點平滑法較弱,小波軟閾值法和本文方法效果較好,且去噪后光譜的平滑度指數(shù)也較高;相比之下,本文方法要好于小波軟閾值方法。這與前面分析得出的結(jié)論也吻合的較好。但就算法的計算效率來說,文本提出的方法,由于要進行褶積運算和時頻域的反變換,其計算用時要明顯高于其他2種方法。
表1 3種去噪方法信噪比、平滑度指數(shù)和計算效率的對比Tab.1 Comparison of 3 de-noising methods ( SNR ,SR and computational cost)
將去噪后的光譜數(shù)據(jù)導(dǎo)入The Unscramble軟件,由建立的模型計算出所有標樣總氮的預(yù)測值。表2列出了 3 種預(yù)處理方法處理后,煙草近紅外光譜分析總氮含量結(jié)果與參考值的比較。3種方法去噪后,呈現(xiàn)出來的煙草總氮含量近紅外光譜的分析精度與前面分析的各方法去噪能力是對應(yīng)的;小波軟閾值去噪和本文提出的去噪方法所得結(jié)果的分析精度都很高,且后者比前者有更大的決定系數(shù)和更小的均方根誤差,說明后者有更強的光譜預(yù)處理能力;相比傳統(tǒng)的9點平滑方法,R2由原來的0.8745 提高到 0.9244,RMSEP由原來的0.1466降為0.1097,大大提高了光譜的分析精度和模型的穩(wěn)健性。
表2 3種去噪方法煙草近紅外分析總氮結(jié)果與參考值的比較Tab.2 Comparison of the prediction results of Tkn and chemical value by 3 methods
續(xù)表2
本文提出的是一種基于廣義S變換的煙草近紅外光譜去噪方法,方法對其他物質(zhì)光譜的去噪也有適應(yīng)性(比如茶葉、土壤等,經(jīng)過過篩處理后的均勻粉末),為物質(zhì)檢測中近紅外光譜的去噪處理提供了一種新的選擇。廣義S變換,作為一種較為常用的信號去噪方法,在本實驗的光譜預(yù)處理中是有效的,相比廣泛采用的小波變換去噪方法,在分析精度上相當,計算效率上本文方法較低,但避免了小波方法中人工選擇小波基函數(shù)和人為確定分解層數(shù)的麻煩。本文實驗中是將樣品研磨到80目對光譜進行測量,但對于在線檢測種煙絲的光譜檢測和處理,方法的有效性有待進一步研究。
廣義S變換能在時頻域高精度的呈現(xiàn)數(shù)據(jù)的能量分布,且能實現(xiàn)反變換,由時頻譜重構(gòu)信號,沒有能量損失,這為實現(xiàn)時頻域的數(shù)據(jù)去噪提供了條件。將波數(shù)域的近紅外光譜數(shù)據(jù)視作時間序列信號,采用廣義S變換方法進行去噪處理,這種光譜預(yù)處理方法是有效的,在去除噪聲的同時很好地保留了光譜的波峰細節(jié),提高了光譜數(shù)據(jù)的質(zhì)量。由去噪后光譜計算的煙草總氮含量,相比傳統(tǒng)的9點平滑方法,預(yù)測集的R2由原來的0.8745 提高到 0.9244,RMSEP由原來的0.1466降為0.1097,提高了分析結(jié)果的可靠性。
[1]張建平, 謝雯燕, 束茹欣, 等.煙草化學(xué)成分的近紅外快速定量分析研究[J].煙草科技, 1999 (3):37-38.ZHANG Jianping, XIE Wenyan, SHU Ruxin, et al.The research of near infrared rapid quantitative analysis of tobacco chemical composition[J].Tobacco Science &Technology, 1999 (3):37-38.
[2]蔡劍華 ,王先春,胡惟文,基于形態(tài)小波的煙草尼古丁含量近紅外光譜檢測[J], 農(nóng)業(yè)工程學(xué)報, 2012,28(15):281-286 CAI Jianhua, WANG Xianchun, HU Weiwen.Near-infrared spectrum detection of tobacco nicotine content based on morphological wavelet[J].Transactions of the Chinese Society of Agricultural Engineering, 2012, 28(15): 281-286
[3]朱勇, 劉澤, 邱昌桂, 等.箱式貯葉過程中煙葉品質(zhì)變化的近紅外表征[J].煙草科技, 2013(10):8-11.ZHU Yong, LIU Ze, QIU Changgui, et al.Near-infrared spectroscopy characterization of quality variation trend of tobacco leaf stored in cases[J].Tobacco Science &Technology, 2013(10):8-11.
[4]李瑞麗,張保林,毛多斌, 等.近紅外光譜法測定烤煙的填充值[J].煙草科技,2015,48(1):82-85.LI Ruili, ZHANG Baolin, MAO Duobin, et al.Determination of fi lling power of fl ue-cured tobacco with near infrared spectroscopy[J].Tobacco Science & Technology, 2015, 48(1): 82-85.
[5]Zhou S, Wang Ch, Xu Y, et al.The pyrolysis of cigarette paper under theconditions that simulate cigarette smouldering and puf fi ng[J].J Therm.Anal.Calorim., 2011, 104(3): 1097-1106.
[6]張翼鵬, 李超, 趙敏, 等.基于近紅外光譜法的卷煙包裝材料色差分析[J].煙草科技,2016,49(2):75-81.ZHANG Yipeng, LI Chao, ZHAO Min, et al.Analysis of color difference of cigarette packaging material based on near-infrared spectroscopy[J].Tobacco Science & Technology,2016,49(2):75-81.
[7]張峰, 劉江生, 劉澤春, 等.近紅外透射光譜技術(shù)用于煙用香精的品質(zhì)控制[J].中國煙草學(xué)報, 2009, 15(3):12-16.ZHANG Feng, LIU Jiangsheng, LIU Zechun, et al.Quality control in tobacco flavor by near-infrared transmittance spectroscopy[J].Acta Tabacaria Sinica, 2009, 15(3):12-16.
[8]史宏志,劉國順,于建軍,等.我國煙草和卷煙生物堿含量和組成比例分析[J].中國煙 草學(xué)報, 2001, 6(2): 8-12.Shi Hongzhi, Liu Guoshun, Yu Jianjun, et al.Alkaloid content and proportion in Chinese tobacco and cigarettes [M].Acta Tabacaria Sinica, 2001, 6(2): 8-12
[9]Cai JianHua.Near-infrared Spectrum Detection of Fish Oil DHA Content Based on Empirical Mode Decomposition and Independent Component Analysis[J],Journal of Food and Nutrition Research2014,2(2): 62-68
[10]郝勇, 陳斌, 朱銳.近紅外光譜預(yù)處理中幾種小波消噪方法的分析[J].光譜學(xué)與光譜分析, 2006 , 26 (10) : 1838-1842 HAO Yong , CHEN Bin , ZHU Rui.Analysis of several methods for wavelet de-noising used in near infrared spectrum pretreatment [J].Spectroscopy and Spectral Analysis , 2006 , 26 (10) :1838-1842
[11]施豐成, 鄧發(fā)達, 朱立軍, 等.烤煙中草酸、蘋果酸和檸檬酸含量的分析研究[J].中國煙草學(xué)報, 2010, 16(1): 6-10.Shi Fengcheng, Deng Fada, Zhu Lijun, et al.Study on oxalic,malic, and citric acid in flue-cured tobacco[J].Acta Tabacaria Sinica, 2010, 16(1): 6-10.
[12]蔡劍華,王先春.基于經(jīng)驗?zāi)B(tài)分解的近紅外光譜預(yù)處理方法[J], 光學(xué)學(xué)報, 2010,30(1): 267-271 CAI Jianhua, WANG Xianchun.Near-Infrared Spectrum Pretreatment Based on Empirical Mode Decomposition[J], Acta Optica Sinica,2010,30(1) :267-271
[13]Stockwcll R G, Mansinha L P,Lowc R.Localization of the complex spectrum : the S transform [J].IEEE Transactions on signal processing,1996,44(4):998-1001.
[14]Simon C,Ventosa S, Schimmel M, et al.The S-transform and its inverses: side effects of discretizing and filtering[J].IEEE Transaction on Signal Processing,2007,55(10): 4928-4937.
[15]Jing J E, Wei W B, Chen H Y,et al. Magnetotclluric sounding data processing based on generalized S transformation[J].Chinese J.Geophys,2012,55(12):4015-4022.
[16]王長江,楊培杰,羅紅梅,等.基于廣義S變換的時變分頻技術(shù)[J].石油物探,2013,52(5): 489-494.Wang Changjiang,Yang Peijie,Luo Hongmei,et al.Timevariable frequency division based on generalized S transform[J].Geophysical Prospecting for Petroleum,2013,52(5): 489-494.
[17]王小杰,印興耀,吳國忱.基于S變換的吸收衰減技術(shù)在含氣儲層預(yù)測中的應(yīng)用研究[J].石油物探,2012,51(1):37-42.Wang Xiaojie,Yin Xingyao,Wu Guochen.The application of an S transform based absorption and attenuation technique for prediction of gas-bearing reservoir[J].Geophysical Prospecting for Petroleum,2012,51(1):37-42.
[18]Pinnegar C R,Mansinha L.The S-transform with windows of arbitrary and varying shape[J].Geophysics, 2003, 68(1):381-385.
[19]Donoho D L.De-noising by soft-thresholding[J].IEEE Transaction on Information Theory, 1995, 4103:613- 627.
[20]陳叢, 盧啟鵬, 彭忠琦.基于 NLMS自適應(yīng)濾波的近紅外光譜去噪處理方法研究[J].光學(xué)學(xué)報, 2012, 32(5): 0530001.CHEN Cong, LU Qipeng, PENG Zhongqi.Preprocessing methods of near-infrared spectrum based on NLMS adaptive filtering [J].Acta Optica Sinica, 2012, 32(5): 0530001.
[21]謝軍, 潘濤, 陳潔梅,等.血糖近紅外光譜分析的 Savitzky-Golay 平滑模式與偏最小二乘法因子數(shù)的聯(lián)合優(yōu)選[J],分析化學(xué),2010,38(3):342-346.XIE Jun, PAN Tao, CHEN Jie-Mei, CHEN Hua-Zhou, Ren Xiao-Huan.Joint Optimization of Savitzky-Golay Smoothing Models and Partial Least Squares Factors for Near-infrared Spectroscopic Analysis of Serum Glucose[J], Chinese Journal of Analytical Chemistry, 2010,38(3):342-346.
De-noising of tobacco near infrared spectroscopy based on generalized S transform
CAI Jianhua1*, XIAO Yonglianag2, LI Xiaoqin1
1 Department of Physics and Electronics, Hunan University of Art and Science, Changde, 415000, Hunan, China
2 School of Information Technology and Management, Hunan University of Finance and Economics, Changsha, 410205, China
Near infrared spectroscopy has become an important method for rapid detection of chemical components in tobacco.However,as a spectral preprocessing method, derivative brings noise while eliminating baseline drift spectral.In order to improve precision and stability of the NIR spectroscopy analysis, spectral data of wave-number domain was rendered as time series signal, and generalized S transform, a newly developed time-frequency domain de-noising method, was introduced to near infrared spectrum de-noising.The principle and steps of de-noising were given.Total nitrogen content in tobacco was analyzed through de-noised near infrared spectrum.Results were compared with those of traditional nine-point smoothing and wavelet transform de-noising method.It was showed that:①The generalized S transform method was effective for preprocessing tobacco near infrared spectroscopy, which could preserve spectral peak details and improve quality of spectral data.②Compared with nine-point smoothing method, the R2was improved from 0.9572 to 0.9880, and RMSEP was reduced from 0.0696 to 0.0375.The proposed method improved precision of near infrared spectroscopy detection of tobacco chemical composition, and also provided a new way for near infrared spectrum de-noising.
tobacco; near infrared spectroscopy; generalized S transform; de-noising; total nitrogen
蔡劍華,肖永良, 黎小琴.基于廣義S變換的煙草近紅外光譜去噪[J].中國煙草學(xué)報,2017,23(4)
國家自然科學(xué)基金項目(41304098);湖南省自然科學(xué)基金項目(2017JJ2192,2017JJ2015);湖南省教育廳重點項目(16A146)
蔡劍華(1979—),博士, 副教授, 主要從事光電信息處理的研究, Tel:0736-7186121, Email:cjh1021cjh@163.com
2017-03-29;< class="emphasis_bold">網(wǎng)絡(luò)出版日期:
日期:2017-08-15
:CAI Jianhua, XIAO Yonglianag, LI Xiaoqin.De-noising of tobacco near infrared spectroscopy based on generalized S transform[J].Acta Tabacaria Sinica, 2017, 23(4)
*Corresponding author.Email:cjh1021cjh@163.com