遺傳算法優(yōu)化小波閾值對水質(zhì)光譜數(shù)據(jù)的去噪研究

肖渝,黃麗雯,湯斌,肖棋森,趙明富,李奉笑

(重慶理工大學(xué)光纖傳感與光電檢測重慶市重點實驗室,重慶 400054)

0 引言

直接紫外-可見光譜法具有無二次污染、分析速度快、原位測量的優(yōu)點[1],近年來已成為水質(zhì)檢測領(lǐng)域的研究熱點。紫外-可見光譜法水質(zhì)檢測系統(tǒng)主要由光源、光路結(jié)構(gòu)、光電轉(zhuǎn)換和處理終端四部分組成。在實際應(yīng)用中,光源的不穩(wěn)定和外界的雜散光對采集的光譜數(shù)據(jù)造成嚴(yán)重的噪聲干擾。實測水樣的光譜噪聲主要表現(xiàn)為低頻噪聲和高頻噪聲,低頻噪聲主要受到水中顆粒物的散射干擾,表現(xiàn)為光譜的基線偏移,可通過多元散射校正[2]。外界環(huán)境的干擾和儀器本身的不穩(wěn)定性會產(chǎn)生高頻噪聲,在實際應(yīng)用中表現(xiàn)為信號的非平穩(wěn)跳變[3],極大影響了光譜數(shù)據(jù)的識別性,降低了光譜模型的準(zhǔn)確性和適應(yīng)性[4]。因此,濾除噪聲干擾成為了光譜數(shù)據(jù)的關(guān)鍵技術(shù)問題。

小波分析具有多層分解識別度,能實現(xiàn)時間和頻率的細(xì)分,在物理學(xué)[5]、機(jī)械工程[6]、圖像處理[7]等眾多領(lǐng)域被廣泛應(yīng)用。閾值去噪是小波分析中常用的方法,其原理是將信號多尺度分解為高頻系數(shù)和低頻系數(shù),有效信號和噪聲在分解后表現(xiàn)出特性差異,通過閾值函數(shù)將噪聲區(qū)分出來,最后重構(gòu)小波系數(shù)逆變換后得到去噪信號。閾值去噪中閾值的選擇影響信號的平穩(wěn)性和準(zhǔn)確度,目前在眾多領(lǐng)域都有相關(guān)研究[8?11]。同時,最優(yōu)閾值的選取也是小波分析的關(guān)鍵問題,但在紫外-可見光譜分析領(lǐng)域尚缺乏較好的解決方案。

遺傳算法是一種迭代尋優(yōu)的全局搜索算法,模擬生物進(jìn)化過程中的自然選擇、遺傳和進(jìn)化過程[12],并且不需要特定的算法模型,具有很強(qiáng)的全局搜索能力。毛亞純等[13]利用主成分分析法、局部線性嵌入算法、遺傳算法處理后的數(shù)據(jù)建模分析等方法對銅礦的可見-近紅外光譜進(jìn)行了品位分析,分析結(jié)果表明遺傳算法所建模型精度明顯優(yōu)于其他方法。李子文等[14]利用近紅外光譜對核桃露中的脂肪含量進(jìn)行定量分析,采用遺傳算法結(jié)合向后間隔偏最小二乘法優(yōu)選出特征波長作為建模的輸入量,結(jié)果表明,變量的選擇極大地影響模型精度,通過多層篩選能夠有效提高精度。Luo 等[15]為解決建筑能源管理誤差較大的問題,提出了一種基于人工智能的深層神經(jīng)網(wǎng)絡(luò)算法,通過遺傳算法確定了模型的最佳架構(gòu),最終實現(xiàn)了能源消耗的準(zhǔn)確預(yù)測。Sajadi 等[16]利用遺傳算法選擇全局特征和局部特征的最佳組合優(yōu)化人耳特征識別的模型精度,結(jié)果表明,優(yōu)化方法對人耳特征模型的識別率有顯著成效,明顯優(yōu)于現(xiàn)有方法。Bhardwaj 等[17]針對自混合光反饋干涉儀中弱反饋條件難以測量的問題,采用多目標(biāo)復(fù)合突變遺傳算法來尋找最優(yōu)解,結(jié)果表明該方法在絕對距離和振動頻率測量方面具有很高的精度,在弱反饋的條件下也能實現(xiàn)較高的分辨率。近年來遺傳算法在許多領(lǐng)域已有相關(guān)應(yīng)用,但在紫外-可見光譜數(shù)據(jù)的去噪研究方面應(yīng)用較少。

基于此,本文提出了一種遺傳算法應(yīng)用于小波閾值優(yōu)化的去噪方法,對含噪光譜信號進(jìn)行了去噪處理,并與小波軟閾值、中值濾波、SG 平滑做了對比研究。實驗結(jié)果表明,相較于傳統(tǒng)的小波變換而言,最優(yōu)閾值的選取能夠極大地提高信號的去噪效果,做到了自適應(yīng)全局尋優(yōu),充分體現(xiàn)了算法的優(yōu)越性。

1 遺傳算法優(yōu)化小波閾值去噪原理

1.1 傳統(tǒng)小波閾值去噪

小波閾值去噪利用不同尺度分解下信號的有效成分和噪聲在小波系數(shù)上存在的特性差異,根據(jù)閾值函數(shù)對噪聲進(jìn)行濾除,從而實現(xiàn)信號的去噪。高于閾值的系數(shù)包含有用信息,低于閾值的系數(shù)主要由噪聲信號產(chǎn)生。通過小波變換將光譜數(shù)據(jù)多尺度分解后,選取合適的閾值,對小波系數(shù)進(jìn)行選取,將有用信息保留,噪聲信號濾除,重構(gòu)小波系數(shù)后利用逆變換得到去噪后的光譜曲線。帶有噪聲的光譜數(shù)據(jù)s(t)為

式中:f(t)為有用信號,n(t)為含噪信號。

小波閾值去噪的一般步驟為:

1)對含噪信號進(jìn)行小波分解,選擇合適的小波基和分解層數(shù),得到相應(yīng)的低頻系數(shù)ωj和高頻系數(shù)ωk;

2)選擇恰當(dāng)?shù)拈撝岛拖鄳?yīng)的閾值函數(shù)對分解得到的高頻系數(shù)ωk進(jìn)行閾值化處理,得到處理后的高頻系數(shù);

3)將低頻系數(shù)和處理后的高頻系數(shù)通過小波逆變換重構(gòu),得到去噪后的有用信號?s(t)。

去噪的效果主要依賴于閾值的選取,目前常用的普適性閾值的表達(dá)式為

式中:σ 為噪聲的標(biāo)準(zhǔn)方差,N為信號長度。

通用閾值適用于大部分信號的小波系數(shù)選取,但僅僅是達(dá)到較好的去噪效果,沒有達(dá)到最優(yōu)解。對閾值的選取需要具體問題具體分析,通用閾值在尋求最優(yōu)閾值時可作為參考。閾值函數(shù)同樣也影響信號的去噪質(zhì)量,硬閾值函數(shù)和軟閾值函數(shù)對信號的處理效果也會因閾值的變化有所差異。

硬閾值函數(shù)表達(dá)式為

軟閾值函數(shù)表達(dá)式為

1.2 遺傳算法去噪

為解決最優(yōu)閾值的選取問題,采用遺傳算法對紫外-可見光譜數(shù)據(jù)進(jìn)行小波去噪時的閾值進(jìn)行全局尋優(yōu)。遺傳算法的流程如圖1 所示。在求解最優(yōu)問題時,首先生成初始種群,對種群的每一個個體進(jìn)行編碼,根據(jù)適應(yīng)度函數(shù)對符合條件的個體進(jìn)行篩選,經(jīng)過交叉和變異重新組合后產(chǎn)生下一代個體,循環(huán)到適應(yīng)度函數(shù)最大時輸出最優(yōu)個體,此時完成最優(yōu)解的優(yōu)化過程。

圖1 遺傳算法流程圖Fig.1 Flow chart of genetic algorithm

遺傳算法應(yīng)用于紫外-可見光譜數(shù)據(jù)去噪領(lǐng)域,能夠有效去除噪聲。針對紫外-可見光譜數(shù)據(jù)存在的高頻噪聲難以有效去除的問題,采用基于遺傳算法的小波去噪方法能夠在保留光譜特征信息的條件下,極大地提高去噪效果。具體步驟如下:

1)對優(yōu)化參數(shù)的編碼:通常情況下,在求解不同問題時,遺傳算法采用不同的編碼方式。為提高運算速度,擴(kuò)大搜索空間,本研究采用十進(jìn)制進(jìn)行編碼;

2)初始種群的產(chǎn)生:隨機(jī)產(chǎn)生初始種群的個體,種群大小為30;

3)適應(yīng)度函數(shù)的選擇:選擇合適的適應(yīng)度函數(shù)對求解最優(yōu)閾值至關(guān)重要,這里選用信噪比RSN作為適應(yīng)度函數(shù)。其表達(dá)式為

式中:x(t)表示原始光譜信號,x(?t)表示去噪后光譜信號,N代表信號長度。

4)個體的選擇、交叉和變異:計算個體的適應(yīng)度,符合條件的個體將被保留。隨后個體間進(jìn)行交叉和變異,設(shè)置交叉概率為0.8,變異概率為0.01,然后進(jìn)入下一代的循環(huán),這樣在保存較好解的同時,保持了種群的多樣性,擴(kuò)大了搜索空間;

5)設(shè)定終止條件:將最大迭代次數(shù)設(shè)定為30,當(dāng)?shù)螖?shù)到達(dá)終止條件時,適應(yīng)度函數(shù)的最大值即為最優(yōu)參數(shù)。

2 實驗部分

2.1 鄰苯二甲酸氫鉀標(biāo)準(zhǔn)溶液實驗

為驗證基于遺傳算法的小波分析對紫外-可見光譜去噪的可行性,采用C10082CAH 光譜儀和DH2000光源實測化學(xué)需氧量(COD)為80 mg·L?1的鄰苯二甲酸氫鉀標(biāo)準(zhǔn)溶液,其紫外-可見吸收光譜圖如圖2(a)所示。為提高光譜信號的準(zhǔn)確性和消除末端吸收的影響,選取190～800 nm 波長范圍作為有效區(qū)間。由圖可知,紫外-可見原始光譜圖特征明顯且非常穩(wěn)定,在200～300 nm 之間出現(xiàn)兩個明顯的特征吸收峰,在200 nm左右存在少許噪聲,推測是由光源的不穩(wěn)定跳變引起的,可通過對光源的校正消除影響。300 nm 及以后波段非常穩(wěn)定,幾乎不含噪聲。

為了更為直觀地展示遺傳算法的去噪效果,在C10082CAH 光譜儀采集到的光譜數(shù)據(jù)上人為地加上噪聲,并將該原始光譜作為標(biāo)準(zhǔn)光譜使用。實驗中將采集到的光譜數(shù)據(jù)加上30 dB 的噪聲,加噪后的光譜圖如圖2(b)所示。由圖可知,光譜信號被噪聲污染,主要特征受到噪聲干擾,特別是在300 nm 之后,噪聲污染的現(xiàn)象更為嚴(yán)重。實驗分別采用小波閾值去噪、SG 平滑去噪、中值濾波去噪和遺傳算法去噪。

圖2 鄰苯二甲酸氫鉀標(biāo)液的原始(a)和加噪后(b)紫外-可見光譜圖Fig.2 Original(a)and noise-added(b)UV-Vis spectra of potassium hydrogen phthalate standard solution

2.2 不同方法對紫外-可見光譜的去噪分析

對C10082CAH 光譜儀和DH2000 光源組合測得的原始光譜數(shù)據(jù)人為加噪后進(jìn)行小波閾值去噪。首先需要確定恰當(dāng)?shù)男〔ɑ头纸鈱訑?shù),由于光譜數(shù)據(jù)的特征尤為重要,影響到后續(xù)水質(zhì)參數(shù)的測定和穩(wěn)定性,故選用常用小波基中的Haar 小波、Daubechies 小波和Symlet 小波作對比實驗,觀察各小波基對去噪效果的影響,實驗結(jié)果如圖3 所示。由圖可以看出,采用db4 小波基在4 層分解時均方根誤差(RMSE)值最小,此時小波重構(gòu)能夠達(dá)到最優(yōu)的去噪效果。值得一提的是,研究發(fā)現(xiàn),除Haar 小波在4 層分解時就出現(xiàn)失真現(xiàn)象外,其他小波基在第5 層分解時也都出現(xiàn)了不同程度的失真,因此選用4 層分解最為合適。

圖3 5 種小波基進(jìn)行不同分解層數(shù)的去噪對比Fig.3 Comparison of denoising effects of 5 wavelet bases at different decomposition layers

同時,選用曲線更為平滑、信號更穩(wěn)定的軟閾值對含噪光譜信號進(jìn)行處理。不同分解尺度下的小波軟閾值去噪光譜圖如圖4 所示,含噪光譜信號在第3 層分解時已經(jīng)有明顯的效果,在第4 層時去噪效果達(dá)到較好水平,而在第5 層時出現(xiàn)了輕微的失真現(xiàn)象。

圖4 不同尺度的小波軟閾值去噪。(a)3 層分解;(b)4 層分解;(c)5 層分解Fig.4 Wavelet soft threshold denoising at different scales.(a)Three layers decomposition,(b)four layers decomposition,(c)five layers decomposition

圖5 為四種不同去噪方法對鄰苯二甲酸氫鉀標(biāo)液的紫外-可見光譜數(shù)據(jù)去噪前后對比。選用4 層分解時的小波軟閾值去噪效果如圖5(a)所示,其中閾值λ1為0.1307。在實驗過程,還加入了SG 平滑和中值濾波方法對含噪光譜信號進(jìn)行處理作為對比實驗,去噪后的光譜圖分別如圖5(b)、(c)所示。遺傳算法對含噪光譜數(shù)據(jù)的去噪結(jié)果如圖5(d)所示,其中閾值λ2為0.0793。

圖5 四種不同去噪方法對鄰苯二甲酸氫鉀標(biāo)液的紫外-可見光譜數(shù)據(jù)去噪前后對比。(a)小波軟閾值去噪;(b)SG 平滑去噪;(c)中值濾波去噪;(d)遺傳算法去噪Fig.5 Comparison of UV-Vis spectrum data of potassium hydrogen phthalate standard solution before and after denoising by four different denoising methods.(a)Wavelet soft threshold denoising,(b)SG smoothing denoising,(c)median filter denoising,(d)genetic algorithm denoising

基于遺傳算法的小波去噪理論,其核心在于最優(yōu)閾值的選取。首先隨機(jī)生成初始種群,采用適應(yīng)度函數(shù)對個體進(jìn)行篩選,當(dāng)?shù)螖?shù)到達(dá)終止條件時,適應(yīng)度函數(shù)的最大值就是求解的最優(yōu)閾值,再對含噪光譜信號進(jìn)行小波軟閾值去噪,達(dá)到最佳去噪效果,遺傳算法迭代優(yōu)化過程如圖6 所示。由圖6 可以看出,遺傳算法在第1 代和第5 代時達(dá)到局部最優(yōu)解,最后在第10 代時達(dá)到了最優(yōu)解,曲線趨于平穩(wěn),此時求得的閾值就是最優(yōu)閾值。

圖6 遺傳算法優(yōu)化曲線Fig.6 Optimization curve of genetic algorithm

3 結(jié)果與分析

結(jié)果顯示,遺傳算法和小波閾值去噪都能有效地去除大部分噪聲,去噪后光譜曲線清晰。但是小波閾值去噪后的光譜信號在第二個特征吸收峰處出現(xiàn)了輕微的失真現(xiàn)象,相較于原始光譜而言其吸光度略有下降,在可見光波段存在少許噪聲。與之相對的是,遺傳算法的去噪方法在200～300 nm 之間的兩個特征吸收峰處與原始光譜保持一致,完整地還原了光譜特征,保留了重要的光譜信息,不存在失真現(xiàn)象。但在400～540 nm處還存在輕微的噪聲,說明此方法在雜散光的去噪處理方面還有待改進(jìn)的空間。同時,中值濾波雖然也能去除大量噪聲,但在第一個特征吸收峰處出現(xiàn)了輕微的失真現(xiàn)象,在第二個特征吸收峰附近還存在少量噪聲,可見光波段還存在明顯噪聲,去噪效果不佳;SG 平滑對含噪信號的去噪效果非常有限,不僅在兩個特征吸收峰處都出現(xiàn)了不同程度的失真,在可見光波段更是含有大量噪聲無法濾除。

此外,為了更好地評價各方法的去噪效果,引入了去噪的評價指標(biāo)均方根誤差ERMS和峰值信噪比RPSN,其表達(dá)式分別為

式中L為x(t)的長度。

四種去噪方法的評價參數(shù)值如表1 所示,其中R表示相關(guān)系數(shù)。由表可知,遺傳算法對于紫外-可見光譜去噪效果顯著,信噪比分別提高了2.2994、5.7066、2.6155 dB,均方根誤差分別提高了0.0028、0.0087、0.0033,峰值信噪比分別減小了2.0837、5.2569、2.7375 dB。不僅很好地抑制了噪聲,也有效地保留了光譜的特征信息,減小了誤差。由此可見,基于遺傳算法的小波去噪方法更適用于該系統(tǒng)采集的紫外-可見光譜去噪處理。

表1 不同方法去噪效果對比Table 1 Comparison of denoising effects of different methods

為了驗證遺傳算法去噪的實際可行性,對利用USB2000+光譜儀結(jié)合脈沖氙燈光源測得的實地水樣光譜數(shù)據(jù)進(jìn)行去噪處理。在實際測量中,USB2000+光譜儀能夠適應(yīng)復(fù)雜環(huán)境的檢測,實現(xiàn)水質(zhì)參數(shù)快速實時在線檢測,同時實際應(yīng)用中光譜數(shù)據(jù)也會受外界雜散光和光源非穩(wěn)定性跳變引起的噪聲干擾。因此,在證實基于遺傳算法的小波分析對實驗室含噪光譜數(shù)據(jù)處理效果顯著的基礎(chǔ)上,進(jìn)一步探究該方法應(yīng)用于USB2000+實際檢測光譜去噪的可行性。利用遺傳算法去噪對兩種不同實地水樣光譜數(shù)據(jù)的去噪結(jié)果如圖7 所示。

圖7 兩種實地水樣光譜遺傳算法去噪效果對比。(a)某污水處理廠排水口水樣;(b)某地排水溝水樣Fig.7 Comparison of denoising effects of two kinds of field water samples based on genetic algorithm.(a)Water samples of a sewage treatment plant,(b)water samples of a drainage ditch

結(jié)果表明,對于兩種實測水樣光譜的去噪效果良好,可有效去除采集過程中雜散光和系統(tǒng)不穩(wěn)定造成的噪聲影響。某污水處理廠排水口水樣去噪后保留了光譜的特征信息,具備較好的完整性;某地排水溝水樣在可見光波段存在大量非穩(wěn)定性跳變,經(jīng)過遺傳算法去噪后消除了信號的非穩(wěn)定跳變,光譜曲線清晰。綜上所述,本方法在保留光譜特征信息的前提下,有效地抑制了噪聲,為后續(xù)的建模分析提供了保障。

4 結(jié)論

針對紫外-可見光譜法檢測系統(tǒng)中光譜數(shù)據(jù)含有噪聲,同時小波閾值去噪無法達(dá)到預(yù)期結(jié)果的問題,引入了遺傳算法尋求最優(yōu)閾值的方法,主要結(jié)論為:

1)解決了傳統(tǒng)小波軟閾值在處理光譜信號時存在失真的問題,較好地留存了光譜的完整性,并與其他三種方法作了對比實驗,驗證了該算法的可行性。

2)為了更好地評價去噪效果,重點關(guān)注了去噪信號與原始光譜信噪比和均方根誤差。實驗結(jié)果表明,基于遺傳算法的小波閾值去噪對鄰苯二甲酸氫鉀標(biāo)液的紫外-可見光譜數(shù)據(jù)去噪效果顯著,明顯優(yōu)于其他三種去噪方法。

3)該方法能在保留光譜特征信息的前提下,有效去除噪聲,提高光譜的信噪比,減小誤差。同時,對工業(yè)級光譜儀采集的光譜數(shù)據(jù)進(jìn)行了去噪測試,結(jié)果表明去噪效果良好,驗證了該方法的實際可行性,為低成本水質(zhì)檢測系統(tǒng)的去噪提供了一種新的解決辦法。