基于FFT奇異值分解的光譜信號(hào)去噪算法

朱紅求,程 菲，胡浩南，周 燦,2*,李勇剛

1.中南大學(xué)自動(dòng)化學(xué)院,湖南 長(zhǎng)沙 410083 2.高性能復(fù)雜制造國(guó)家重點(diǎn)實(shí)驗(yàn)室,湖南 長(zhǎng)沙 410083

引 言

微型光譜儀是由光源、測(cè)量附件和光纖構(gòu)建的光學(xué)測(cè)量系統(tǒng)[1]，其具有模塊化和高速采集的特點(diǎn)。微型光譜儀在采集光譜數(shù)據(jù)時(shí)，特別容易受到電子元件組成電路噪聲的影響，比如，暗電流散粒噪聲、光子散粒噪聲、復(fù)位噪聲、讀出噪聲等等[2]。噪聲在光譜信號(hào)采集、信號(hào)調(diào)理、傳輸過(guò)程中逐步滲透到真實(shí)光譜信號(hào)中，并且會(huì)在一定波長(zhǎng)處出現(xiàn)光源特征峰，這無(wú)疑會(huì)對(duì)后期的數(shù)據(jù)分析產(chǎn)生巨大的影響。為提高信號(hào)信噪比和還原真實(shí)光譜信號(hào)圖譜特征[3]，在將采集到的光譜數(shù)據(jù)進(jìn)行模型預(yù)測(cè)之前，對(duì)光譜信號(hào)進(jìn)行預(yù)處理，從而提高光譜信息定量分析的穩(wěn)健性和準(zhǔn)確性顯得尤為重要。

到目前為止，對(duì)光譜數(shù)據(jù)降噪，國(guó)內(nèi)外眾多研究者已經(jīng)進(jìn)行了大量的研究工作，有自適應(yīng)濾波算法[4]、SG平滑濾波[5]和小波變換[6]等，但是不同的去噪算法仍然具有各自的局限性，尤其是傳統(tǒng)的去噪算法會(huì)將光譜信號(hào)中具有圖譜特征的突變細(xì)節(jié)濾除或者信號(hào)容易出現(xiàn)延時(shí)和失真。奇異值分解[7](singular value decomposition,SVD)具有無(wú)延時(shí)、相移小等特點(diǎn)，并且選取到合適的奇異值分解的階次可以使光譜信號(hào)的圖譜特征得到很好地保留。張瑩等提出用峭度和包絡(luò)熵指標(biāo)構(gòu)成綜合評(píng)價(jià)指標(biāo)對(duì)重構(gòu)矩陣的秩進(jìn)行優(yōu)化，根據(jù)綜合評(píng)價(jià)指標(biāo)值最優(yōu)確定信號(hào)重構(gòu)的階次[8]，趙學(xué)智等提出了基于差分譜理論來(lái)確定有用分量的個(gè)數(shù)[9]，代蕩蕩等[10]利用模糊C均值聚類算法對(duì)奇異值降噪階次選取進(jìn)行了改進(jìn),但是上述的量化判據(jù)方法在處理多重金屬離子紫外可見(jiàn)光譜信號(hào)時(shí)容易導(dǎo)致選取的奇異值降噪階次偏小而過(guò)降噪。Zheng等提出了一種多級(jí)奇異值分解降噪算法[11]，該判據(jù)方法對(duì)多重金屬離子紫外可見(jiàn)光譜信號(hào)處理后仍保留部分噪聲，導(dǎo)致去噪性能欠佳。

為此，本文提出了一種基于奇異值重構(gòu)信號(hào)分量頻率的光譜信號(hào)去噪算法。本算法根據(jù)每個(gè)奇異值分量信號(hào)快速傅里葉變換結(jié)果中振幅最大所對(duì)應(yīng)的頻率值，然后按照奇異值遞減方式對(duì)相應(yīng)分量信號(hào)頻率值進(jìn)行一階滯后差分，得到頻率差分譜。選擇差分譜第一個(gè)譜峰值大于設(shè)定閾值處所對(duì)應(yīng)的奇異值即為奇異值分解降噪的有效階次。

1 奇異值分解去噪

假設(shè)有含噪信號(hào)X=(x1,x2,…,xN)，其中原始信號(hào)S=(s1,s2,…，sN),噪聲信號(hào)V=(v1,v2,…，vN)，N為信號(hào)的長(zhǎng)度，并且滿足

X=S+V

(1)

按照式(2)將含噪信號(hào)X構(gòu)造成m×n(m≤n)的Hankel矩陣

(2)

其中1

將得到的Hankel矩陣進(jìn)行奇異值分解

H=UΣVT

(3)

其中，U=(u1，u2，…，um)∈Rm×m，V=(v1，v2，…，vm)∈Rn×n均為正交矩陣，Σ為m×n維矩陣。

(4)

其中Λ=diag(σ1，σ2，…，σr),并且σ1≥σ2≥…≥σr，σi為矩陣H的奇異值，r為Hankel矩陣的秩，0為零矩陣。

奇異值分解降噪的原理是通過(guò)取矩陣Λ的前k(k

2 奇異值分解階次選取方法的研究

為保證信號(hào)去除噪聲的同時(shí)，盡可能的保留信號(hào)的圖譜特征，本文提出了一種新的有效的奇異值分解階次選取的算法。

(5)

(6)

步驟3：將步驟2中得到的r個(gè)分量信號(hào)分別作快速傅里葉變換，即可得到每個(gè)信號(hào)分量快速傅里葉變換結(jié)果中振幅最大所對(duì)應(yīng)的頻率值。

步驟4：按照奇異值遞減方式對(duì)相應(yīng)分量信號(hào)頻率值進(jìn)行一階滯后差分，得到主頻差分譜，選擇差分譜第一個(gè)譜峰值大于所設(shè)閾值(預(yù)設(shè)差分閾值范圍為[30,50])所對(duì)應(yīng)的奇異值作為奇異值分解降噪的有效階次。

步驟5：根據(jù)步驟4所得到的有效階次，再將剩余奇異值置零，再反演重構(gòu)得到去噪后的光譜信號(hào)。

3 實(shí)驗(yàn)結(jié)果與討論

以濕法煉鋅為背景，配置Zn2+，Co2+，Cu2+和Fe3+濃度分別為33 g·L-1，4 mg·L-1，12 mg·L-1和6 mg·L-1的混合標(biāo)準(zhǔn)溶液，使用北京普析通用儀器的T9雙光束紫外可見(jiàn)分光光度計(jì)，掃描波長(zhǎng)為0.5 nm，掃描范圍為480～800 nm，混合溶液的實(shí)測(cè)紫外可見(jiàn)光譜信號(hào)如圖1所示。為了驗(yàn)證本文算法對(duì)紫外可見(jiàn)光譜信號(hào)的去噪的優(yōu)越性和有效性，我們對(duì)實(shí)測(cè)紫外可見(jiàn)光譜信號(hào)添加不同強(qiáng)度的隨機(jī)噪聲，得到信噪比在[12.4,32.4]區(qū)間內(nèi)的仿真信號(hào)，單位為dB，仿真數(shù)據(jù)總樣本量為55，其中圖2為信噪比為20 dB的含噪仿真光譜信號(hào)。

圖1 原始光譜信號(hào)Fig.1 Original spectral signal

將圖2信號(hào)構(gòu)造為m×n的Hankel矩陣，其中m的取值為320，n的取值為321。將其SVD，在對(duì)前8個(gè)奇異值反演求得相應(yīng)奇異值分量信號(hào)，如圖3、圖4所示。

圖2 信噪比為20 dB的含噪仿真光譜信號(hào)Fig.2 Simulation spectral signal with noise ratio of 20 dB

圖3 信噪比為20 dB含噪信號(hào)前4個(gè)奇異值分量信號(hào)分布圖Fig.3 Signal distribution diagram of the first four singular value components of noisy signal with signal-to-noise ratio of 20 dB

圖4 信噪比為20 dB含噪信號(hào)第5至8個(gè)奇異值分量信號(hào)分布圖Fig.4 Signal to noise ratio is 20 dB,the fifth to eighth singular value component signal distribution diagram of noisy signal

由于每一個(gè)奇異值分量信號(hào)都具有原始噪聲信號(hào)的特征，并且前k個(gè)奇異值分量信號(hào)之和代表著理想真實(shí)信號(hào)，從圖2和圖3中我們發(fā)現(xiàn)，當(dāng)隨著奇異值的增大，奇異值分量信號(hào)的頻率會(huì)有一個(gè)突變，相較于平穩(wěn)變化點(diǎn)而言，突變點(diǎn)往往攜帶了更重要信息，對(duì)于選擇奇異值階次，第一個(gè)較大突變點(diǎn)需要格外關(guān)注，這時(shí)我們可以認(rèn)為頻率突變點(diǎn)前k個(gè)奇異值即為我們需要選取的奇異值分解的階次。

對(duì)前50個(gè)奇異值分量信號(hào)分別作快速傅里葉變換，即可得到每個(gè)信號(hào)分量快速傅里葉變換結(jié)果中振幅最大所對(duì)應(yīng)的頻率值，然后按照奇異值遞減方式對(duì)相應(yīng)分量信號(hào)頻率值進(jìn)行一階滯后差分，得到主頻差分譜，選擇差分譜第一個(gè)譜峰值大于50所對(duì)應(yīng)的奇異值作為奇異值分解降噪的有效階次。如圖4所示，我們選取前50個(gè)奇異值分量信號(hào)主頻差分譜。

從圖5中我們發(fā)現(xiàn)差分譜第一個(gè)譜峰值大于所設(shè)閾值50所對(duì)應(yīng)的奇異值在第6個(gè)，因此該仿真含噪信號(hào)奇異值分解降噪的有效階次為6。

圖5 前50個(gè)奇異值分量信號(hào)主頻差分譜Fig.5 Main frequency difference spectrum of the first 50 singular value component signals

為了進(jìn)一步驗(yàn)證本文所提奇異值分解降噪算法的有效性，我們選擇奇異值差分譜算法、小波去噪算法、SG濾波算法同本文所提算法在提高信號(hào)信噪比和減少信號(hào)均方根誤差性能方面作了對(duì)比分析，其中SG去噪算法窗口寬度選擇9，多項(xiàng)式擬合次數(shù)選擇2次，小波去噪算法選擇“db4”作為小波基函數(shù)，同時(shí)進(jìn)行4層分解。選擇50組不同信噪比的仿真數(shù)據(jù)對(duì)比，本文所提算法相較于SG濾波算法和小波變換去噪算法信噪比分別提高了22.05%，10.88%，均方根誤差分別降低了74.28%，41.29%，而奇異值差分譜算法對(duì)部分信噪比的紫外可見(jiàn)光譜信號(hào)并無(wú)明顯去噪能力，對(duì)比結(jié)果如圖6和圖7所示。

圖6 不同算法去噪后的信噪比Fig.6 SNR after denoising by different algorithms

圖7 不同算法去噪后的均方根誤差Fig.7 Root mean square error after denoising by different algorithms

為進(jìn)一步驗(yàn)證本文算法對(duì)真實(shí)紫外可見(jiàn)光譜信號(hào)的去噪能力，以濕法煉鋅為背景，配置Zn2+，Co2+，Cu2+，F(xiàn)e3+和Ni2+濃度分別為33 g·L-1，1 mg·L-1，1.2 mg·L-1，1 mg·L-1和1.4 mg·L-1的混合標(biāo)準(zhǔn)溶液，使用廈門奧譜天成微型光譜儀掃描波長(zhǎng)為0.4 nm，掃描范圍為480～800 nm，混合溶液的實(shí)測(cè)紫外可見(jiàn)光譜信號(hào)如圖8所示。

圖8 實(shí)測(cè)光譜信號(hào)Fig.8 Measured spectral signal

如圖9—12所示,通過(guò)觀察虛線框中的去噪后的信號(hào)，本文算法不僅有效地去除了噪聲并且將光源特征峰干擾信號(hào)基本濾除，而奇異值差分譜算法得到的去噪后信號(hào)發(fā)生失真，SG濾波算法和小波變換去噪算法雖然可以起到信號(hào)平滑作用，但是也未能將光源特征峰干擾信號(hào)濾除，在一定程度影響光譜信號(hào)定量分析的精確性。

圖9 本文算法對(duì)實(shí)測(cè)光譜信號(hào)降噪效果Fig.9 The denoising results of the simulation data with the algorithm in this paper

圖10 奇異值差分譜算法對(duì)實(shí)測(cè)光譜信號(hào)降噪效果Fig.10 The denoising results of the simulation data with the singular value difference spectrum algorithm

圖11 SG濾波算法對(duì)實(shí)測(cè)光譜信號(hào)降噪效果Fig.11 The denoising results of the simulation data with the SG filtering algorithm

圖12 小波變換去噪算法對(duì)實(shí)測(cè)光譜信號(hào)降噪效果Fig.12 The denoising results of the simulation data with the denoising algorithm of wavelet transform

4 結(jié) 論

提出了一種基于奇異值重構(gòu)信號(hào)分量頻率的光譜信號(hào)去噪算法。本算法根據(jù)每個(gè)奇異值分量信號(hào)快速傅里葉變換結(jié)果中振幅最大所對(duì)應(yīng)的頻率值，然后按照奇異值遞減方式對(duì)相應(yīng)分量信號(hào)頻率值進(jìn)行一階滯后差分，得到頻率差分譜。選擇差分譜第一個(gè)譜峰值大于設(shè)定閾值處所對(duì)應(yīng)的奇異值即為奇異值分解降噪的有效階次。最后通過(guò)對(duì)比表明，本文所提算法相較于奇異值差分譜算法、SG濾波算法和小波變換去噪算法在處理真實(shí)紫外可見(jiàn)光譜信號(hào)中不僅抑制了噪聲影響，能更好提高信號(hào)的信噪比和減小均方根誤差，而且將微型光譜儀的光源特征峰有效濾除，在紫外可見(jiàn)光譜信號(hào)的定量分析中具有較好的應(yīng)用前景。