基于無(wú)基底扣除的數(shù)據(jù)趨勢(shì)累積譜峰檢測(cè)算法

賈夢(mèng)涵, 回朝妍, 張 輝, 高 宇, 佟美琪, 馬仡男

(北京科技大學(xué)能源與環(huán)境工程學(xué)院, 北京 100083)

隨著色譜技術(shù)的發(fā)展,譜圖的分析檢測(cè)技術(shù)也日益提高[1]。人們提出了許多譜峰檢測(cè)的方法,常見(jiàn)的有幅值法[2]、一階導(dǎo)數(shù)法[3,4]、二階導(dǎo)數(shù)法[5]、小波變換法[6-8]、曲線擬合法[9-11]和遺傳算法[12]等。幅值法實(shí)現(xiàn)簡(jiǎn)單,但過(guò)度依賴于閾值的確定,準(zhǔn)確率很低,較少被采用;一階、二階導(dǎo)數(shù)法需要數(shù)據(jù)光滑連續(xù),受波動(dòng)的影響大,不適合離散采集數(shù)據(jù);小波變換法和曲線擬合法均需要人工干預(yù),且需要操作者具備良好的專業(yè)知識(shí)儲(chǔ)備以及經(jīng)驗(yàn)積累,給實(shí)際應(yīng)用帶來(lái)一定的困難;遺傳算法對(duì)于經(jīng)驗(yàn)公式有很強(qiáng)的依賴,誤差很大。

目前已有的譜峰檢測(cè)算法大部分圍繞譜線平滑、基線校正與譜峰識(shí)別3個(gè)步驟[13],對(duì)數(shù)據(jù)去噪、曲線平滑的要求很高,增大了算法的復(fù)雜度以及難度。本文提出一種跳過(guò)譜線平滑與基線校正兩個(gè)步驟,在無(wú)基底扣除的情況下,利用數(shù)據(jù)趨勢(shì)累積的原理進(jìn)行譜峰定位的算法,簡(jiǎn)稱趨勢(shì)累積譜峰檢測(cè)算法。該算法穩(wěn)定可靠,準(zhǔn)確度高且普適性強(qiáng),具有較為廣泛的應(yīng)用前景。

1 算法原理

譜圖不同位置的峰代表著不同的信息。對(duì)于色譜圖,特定位置的峰代表某一組分,物質(zhì)含量與峰面積相關(guān);對(duì)于動(dòng)態(tài)比表面儀,特定位置的峰代表著氣體吸附或者脫附,氣體吸脫附量與峰面積相關(guān)。因此,確定峰起點(diǎn)、極值點(diǎn)和峰終點(diǎn)對(duì)于譜圖的分析十分重要。趨勢(shì)累積譜峰檢測(cè)算法計(jì)算過(guò)程如圖1所示,首先通過(guò)差分過(guò)程獲得數(shù)據(jù)的升降趨勢(shì),再根據(jù)趨勢(shì)的累積定位譜峰起點(diǎn)、極值點(diǎn)和峰終點(diǎn),計(jì)算所有譜峰的峰值,通過(guò)排序的方法對(duì)譜峰進(jìn)行篩選,最終獲得精準(zhǔn)的譜峰信息。趨勢(shì)累積譜峰檢測(cè)算法的驗(yàn)證實(shí)驗(yàn)均采用動(dòng)態(tài)比表面分析儀在不同條件下測(cè)得的吸脫附色譜圖。文中所有曲線圖的數(shù)據(jù)均取自于空樣品管吸脫附氮?dú)馍V曲線,實(shí)驗(yàn)中銅管采用70～65 ℃水浴,熱導(dǎo)池為恒溫50 ℃。

圖 1 趨勢(shì)累積譜峰檢測(cè)算法計(jì)算流程圖Fig. 1 Calculation flow chart of trend accumulation spectrum peak detection algorithm

1.1 數(shù)據(jù)預(yù)處理

浮點(diǎn)型數(shù)據(jù)存儲(chǔ)空間大,運(yùn)算時(shí)間長(zhǎng),不利于嵌入式終端的快速數(shù)據(jù)處理。為了減少運(yùn)算量,對(duì)數(shù)據(jù)進(jìn)行浮點(diǎn)型轉(zhuǎn)整型的預(yù)處理操作,如圖1所示,由于事先不知采樣數(shù)據(jù)類型,為了防止漏讀、錯(cuò)讀,前期均以浮點(diǎn)型格式讀入采樣數(shù)據(jù)隊(duì)列:F1,F2,F3, …,Fi(i=1, 2, 3, …,N;N為采樣點(diǎn)數(shù)),得到采樣隊(duì)列范圍(Fmin,Fmax)。

浮點(diǎn)型轉(zhuǎn)整型預(yù)處理不可直接進(jìn)行強(qiáng)制轉(zhuǎn)換,雖然在采樣隊(duì)列為整數(shù)的情況下不會(huì)產(chǎn)生較大的誤差,但對(duì)于小數(shù)采樣隊(duì)列,其小數(shù)位在轉(zhuǎn)換過(guò)程中將被全部舍去,數(shù)據(jù)可能會(huì)出現(xiàn)嚴(yán)重的偏差。例如:采樣數(shù)據(jù)均是小于0.1的數(shù),即0.01或者0.09,這種情況下如果進(jìn)行強(qiáng)制轉(zhuǎn)換,則采樣數(shù)據(jù)全部為0,數(shù)據(jù)失去本來(lái)特征,后續(xù)運(yùn)算將無(wú)法進(jìn)行。因此應(yīng)先將源數(shù)據(jù)乘以放大因子進(jìn)行放大,以確保后續(xù)轉(zhuǎn)換不會(huì)影響數(shù)據(jù)的精度和運(yùn)算。根據(jù)采樣隊(duì)列所有數(shù)據(jù)中最后一位非0小數(shù)位與小數(shù)點(diǎn)的距離的最大值Cmax即可確定放大因子。在不影響計(jì)算精度的情況下可適當(dāng)對(duì)放大因子進(jìn)行調(diào)整。

1.2 數(shù)據(jù)去噪

采樣數(shù)據(jù)在產(chǎn)生、激勵(lì)或傳輸?shù)倪^(guò)程中,會(huì)受到不同程度的噪聲干擾,特別是當(dāng)采樣信號(hào)差值較小時(shí),噪聲干擾的情況顯得尤為嚴(yán)重,直接影響采樣信號(hào)特性的準(zhǔn)確識(shí)別,出現(xiàn)曲線毛刺過(guò)多、基線不穩(wěn)定、拖尾峰等現(xiàn)象,對(duì)峰識(shí)別算法造成干擾,導(dǎo)致漏判或誤判。因此,減少噪聲對(duì)譜峰檢測(cè)算法的干擾至關(guān)重要,數(shù)據(jù)去噪要求能夠去除局部明顯的噪聲峰和曲線上的毛刺,平滑曲線,改善信噪比,增加譜峰檢測(cè)的準(zhǔn)確性。

目前已有很多數(shù)據(jù)去噪的算法,例如限幅濾波、中值濾波、遞推中值濾波、均值濾波等[14]。趨勢(shì)累積譜峰檢測(cè)算法對(duì)數(shù)據(jù)去噪的要求是濾除明顯的毛刺,無(wú)需進(jìn)行光滑處理,故采用遞推中值濾波法[15,16],主要原理是把連續(xù)N個(gè)采樣值看成一個(gè)隊(duì)列,隊(duì)列的長(zhǎng)度固定為N,將隊(duì)列中的N個(gè)數(shù)據(jù)進(jìn)行排序,取隊(duì)列中間位置的數(shù)值作為有效值輸出,再將采樣得到的新數(shù)據(jù)放在隊(duì)尾,替換掉原隊(duì)列首部的數(shù)據(jù),遵循先進(jìn)先出原則,保持隊(duì)列長(zhǎng)度始終為N。該濾波算法優(yōu)點(diǎn)是曲線不會(huì)失真,適用范圍廣泛;但由于排序次數(shù)多,運(yùn)算速度較慢。

圖 2 尖峰段、基底段源數(shù)據(jù)隊(duì)列與差分、累積隊(duì)列對(duì)比圖Fig. 2 Comparison of spike section and base section source data queues with differential and cumulative queues a. source data curve of spike section and base section; b. differential data curve of spike section and base section; c. cumulative data curve of spike section and base section.

圖 3 緩峰源數(shù)據(jù)隊(duì)列與差分、累積隊(duì)列對(duì)比圖Fig. 3 Comparison of slow peak source data queue with differential and cumulative queue a. source data curve of slow peak section; b. differential data curve of slow peak section; c. cumulative data curve of slow peak section.

1.3 離散差分

事實(shí)上,計(jì)算機(jī)并不像人一樣主觀判斷峰的形狀與位置,只能在大量的數(shù)據(jù)運(yùn)算中尋找符合特征描述的數(shù)據(jù),這就是譜峰檢測(cè)算法。譜峰檢測(cè)在大量的數(shù)據(jù)分析中十分重要,研究人員基于不同峰的特征對(duì)峰進(jìn)行了分類和描述,定義了峰曲線上的一些特殊點(diǎn)作為特征點(diǎn),峰的特征點(diǎn)包括峰的起點(diǎn)、前拐點(diǎn)、極值點(diǎn)、后拐點(diǎn)及終點(diǎn),譜峰檢測(cè)就是對(duì)這些特征點(diǎn)的識(shí)別。

理想情況下,譜圖曲線的基底部分是一條水平直線,而譜峰部分則是先逐漸上升(下降)后逐漸下降(上升)的曲線,與基底部分相比,譜峰部分存在數(shù)據(jù)升降的趨勢(shì),根據(jù)這種升降趨勢(shì)對(duì)基底與譜峰進(jìn)行區(qū)分。

離散差分過(guò)程是獲得數(shù)據(jù)變化趨勢(shì)的過(guò)程,對(duì)預(yù)處理后的數(shù)據(jù)隊(duì)列I1,I2,I3, …,Ii(i=1, 2, 3, …,N;N為采樣點(diǎn)數(shù))進(jìn)行差分,Si=Ii+1-Ii,Si為前后兩個(gè)數(shù)據(jù)的差值。

若Si大于0,表示數(shù)據(jù)增大,則令Si為1,表示數(shù)據(jù)上升趨勢(shì);若Si小于0,表示數(shù)據(jù)減小,則令Si為-1,表示數(shù)據(jù)下降趨勢(shì);若Si等于0,表示數(shù)據(jù)不變,用0來(lái)表示平穩(wěn)趨勢(shì);如圖2b所示。通過(guò)離散差分過(guò)程可得到數(shù)據(jù)趨勢(shì)隊(duì)列:S1,S2,S3, …,Si。

將數(shù)據(jù)隊(duì)列和趨勢(shì)隊(duì)列進(jìn)行對(duì)比,如圖2中a、b和圖3中a、b所示。根據(jù)圖2b可以看出,曲線基底部分經(jīng)過(guò)離散差分后得到的趨勢(shì)隊(duì)列處于震蕩狀態(tài)。尖峰部分經(jīng)過(guò)離散差分后得到的趨勢(shì)隊(duì)列規(guī)律十分明顯,其前半部分持續(xù)上升,后半部分持續(xù)下降。這類峰形是比較理想化的,實(shí)際上大多數(shù)峰都像圖3b中的緩峰一樣,震蕩上升或下降,或者在持續(xù)上升、下降的過(guò)程中夾雜出現(xiàn)部分下降、上升趨勢(shì)。這樣的峰形僅從趨勢(shì)隊(duì)列來(lái)看與圖2b中基底部分十分相似,難以區(qū)分,這兩種情況的出現(xiàn)使得譜峰檢測(cè)過(guò)程十分困難。

圖 4 譜峰段趨勢(shì)累積效果圖Fig. 4 Effect chart of trend accumulation of spectrum peak section A. extremum of basement peak; B. extremum of slow peak; C. extremum of spike; AI. cumulative maximum of basement peak; BI. cumulative maximum of slow peak; CI. cumulative maximum of spike.

1.4 趨勢(shì)累積

在理想情況下,通常根據(jù)升降趨勢(shì)的產(chǎn)生、結(jié)束確定譜峰的位置,但實(shí)際的譜圖中絕大多數(shù)情況下都會(huì)出現(xiàn)基底震蕩以及緩峰的現(xiàn)象。針對(duì)這種情況,仍然采用升降趨勢(shì)對(duì)譜峰進(jìn)行定位,通過(guò)趨勢(shì)累積判斷趨勢(shì)的產(chǎn)生和結(jié)束。

如圖2b所示,數(shù)據(jù)曲線上譜峰部分的趨勢(shì)隊(duì)列會(huì)先出現(xiàn)大量的上升趨勢(shì),后出現(xiàn)大量的下降趨勢(shì),形成一個(gè)完整的譜峰;而數(shù)據(jù)曲線上的基底部分,由于存在一些噪聲干擾的緣故,不會(huì)呈現(xiàn)完全持平的趨勢(shì),但絕大多數(shù)的基底部分均是在極少量的上升或者下降趨勢(shì)之間往復(fù)擺動(dòng),隨著時(shí)間的延長(zhǎng),兩者相互抵消,形成穩(wěn)定的平穩(wěn)趨勢(shì)。趨勢(shì)累積根據(jù)數(shù)據(jù)譜峰段與基底段趨勢(shì)上的數(shù)量差異對(duì)譜峰進(jìn)行識(shí)別,趨勢(shì)的數(shù)量Sum則是通過(guò)數(shù)據(jù)趨勢(shì)隊(duì)列S1,S2,S3, …,Si(i=1, 2, 3, …,N-1;N為采樣點(diǎn)數(shù))的累加獲得。

根據(jù)趨勢(shì)的數(shù)量Sum對(duì)譜峰檢測(cè)的原理是:在理想情況下,當(dāng)Sum大于0的時(shí)候,判斷為峰起點(diǎn);當(dāng)Sum達(dá)到最大值的時(shí)候,判斷為峰值點(diǎn);當(dāng)Sum重新歸零的時(shí)候,判斷為峰終點(diǎn)。如圖2c所示,對(duì)于理想的尖峰,這種判斷模式可以準(zhǔn)確地檢測(cè)譜峰。除此之外,該模式還可準(zhǔn)確檢測(cè)到非理想的緩峰,如圖3c所示,其優(yōu)點(diǎn)在于對(duì)譜峰的檢測(cè)不會(huì)遺漏,適用范圍廣,這也是該譜峰檢測(cè)算法較其他算法更為普適的原因之一。對(duì)于圖2尖峰后面的基底部分,按照這種判斷模式也會(huì)檢測(cè)出譜峰,說(shuō)明這種模式的缺點(diǎn)在于區(qū)分基底與譜峰的效率低。根據(jù)圖2c可看出基底段趨勢(shì)的數(shù)量Sum最大值較譜峰段小很多,針對(duì)Sum最大值設(shè)置閾值的方法可以區(qū)分基底和譜峰。

1.5 遍歷尋峰

趨勢(shì)累積的方法可以檢測(cè)出所有的峰,但并不能完全區(qū)分基底段與譜峰段,原因在于閾值的設(shè)定并不能做到準(zhǔn)確無(wú)誤。如圖4所示,AI、BI、CI 3種情況均被認(rèn)為是峰,但在源數(shù)據(jù)上A與B和C有較大的差異,從源數(shù)據(jù)上可以看出A為基底,B和C是譜峰,這種情況下,閾值的設(shè)定無(wú)法準(zhǔn)確無(wú)誤的將A區(qū)分出來(lái)。為了精準(zhǔn)識(shí)別,采用遍歷尋峰的方法對(duì)譜峰進(jìn)行篩選。首先計(jì)算檢測(cè)到的所有譜峰峰值點(diǎn)與峰起點(diǎn)的差值,然后進(jìn)行排序,眾數(shù)小且差值大的為所要檢測(cè)的譜峰。

如果要遍歷所有譜峰,將其進(jìn)行一遍排序,會(huì)增加計(jì)算機(jī)的工作量,降低算法的運(yùn)算速度。為提高運(yùn)算速度,降低工作量,可添加人工干預(yù),人工確定譜峰的數(shù)量,根據(jù)得到的譜峰數(shù)量從大到小進(jìn)行取舍,無(wú)需大量排序統(tǒng)計(jì)。

2 算法核心程序設(shè)計(jì)

算法程序采用C語(yǔ)言編寫,核心在于離散差分過(guò)程以及趨勢(shì)累積過(guò)程,遍歷尋峰是一個(gè)排序統(tǒng)計(jì)的過(guò)程,程序復(fù)雜度較低。

圖5為離散差分程序流程圖,圖中右側(cè)為程序的N-S圖,采用順序、選擇和循環(huán)結(jié)構(gòu)展示程序運(yùn)行邏輯;左側(cè)為對(duì)應(yīng)的程序核心源代碼,實(shí)現(xiàn)數(shù)據(jù)的放大、差分、覆蓋等功能?？杉尤胫悄芑挠脩裟K,根據(jù)用戶的需求調(diào)整數(shù)據(jù)放大因子。

圖 5 離散差分程序流程圖Fig. 5 Flow chart of discrete difference program

圖6為算法趨勢(shì)累積程序流程圖,同樣采用源程序與N-S圖相結(jié)合的模式。由于本程序譜峰數(shù)量未知,故采用鏈表結(jié)構(gòu)進(jìn)行譜峰數(shù)據(jù)的記錄,鏈表結(jié)構(gòu)可以克服數(shù)組需要預(yù)先知道數(shù)據(jù)大小的缺點(diǎn),充分利用計(jì)算機(jī)內(nèi)存空間,實(shí)現(xiàn)靈活的內(nèi)存動(dòng)態(tài)管理。本程序在鏈表中記錄譜峰各個(gè)點(diǎn)在源數(shù)據(jù)數(shù)組中的編號(hào),后期使用簡(jiǎn)單方便且節(jié)省空間。圖6算法程序中將趨勢(shì)累積過(guò)程閾值設(shè)置為3,實(shí)現(xiàn)基底與譜峰的第一步區(qū)分。關(guān)于這里的閾值,可添加用戶智能設(shè)置模塊,用戶可以通過(guò)對(duì)比觀察對(duì)閾值進(jìn)行修改。

圖 6 趨勢(shì)累積程序流程圖Fig. 6 Flow chart of trend accumulation procedure

3 分析與討論

為驗(yàn)證算法程序的可行性,選擇動(dòng)態(tài)比表面積分析儀測(cè)定的吸脫附譜圖進(jìn)行測(cè)試。圖7為運(yùn)行算法程序得出的譜峰識(shí)別效果圖。通過(guò)程序去除識(shí)別出來(lái)的譜峰部分,得到譜圖基底部分效果圖,見(jiàn)圖8。

圖 7 趨勢(shì)累積譜峰檢測(cè)算法程序的譜峰識(shí)別效果圖Fig. 7 Spectrum peak recognition effect map of trend accumulation spectrum peak detection algorithm program

圖 8 趨勢(shì)累積譜峰檢測(cè)算法程序的基底部分效果圖Fig. 8 Effect picture of base part of trend accumulation spectrum peak detection algorithm program

從圖7可以清晰地看出,本文的趨勢(shì)累積譜峰檢測(cè)算法程序檢測(cè)得到的譜峰起點(diǎn)、峰值點(diǎn)以及終點(diǎn)的位置十分準(zhǔn)確,且不受數(shù)據(jù)曲線毛刺、震蕩的影響。對(duì)于圖7中第1個(gè)尖峰尾部基線上升的情況也沒(méi)有出現(xiàn)峰終點(diǎn)定位不準(zhǔn)的現(xiàn)象,這表明該算法并不受基底的影響。

趨勢(shì)累積譜峰檢測(cè)算法中檢測(cè)的對(duì)象是譜峰,也就是連續(xù)的上升(下降)趨勢(shì)和連續(xù)的下降(上升)趨勢(shì)。傳統(tǒng)的譜峰檢測(cè)算法是根據(jù)基底的扣除將譜峰進(jìn)行分類歸納,分為單峰、拖尾峰、重疊峰等[17],這實(shí)際上為譜峰檢測(cè)增添了困難。本算法的不同之處就在于不經(jīng)過(guò)基底扣除這一步驟,直接對(duì)譜峰進(jìn)行檢測(cè),所有的譜峰只分為急劇變化的尖峰和震蕩變化的緩峰兩大類,大大降低了算法的復(fù)雜度,同時(shí)也保證了定位的準(zhǔn)確性,在尖峰、緩峰的識(shí)別上都取得了良好的效果。只要定位到各個(gè)譜峰的位置,扣除譜峰部分就可以得到基底部分,根據(jù)圖8可以看出通過(guò)譜峰扣除得到的基底部分也十分貼合原曲線。

圖 9 趨勢(shì)累積譜峰檢測(cè)算法與其他算法識(shí)別效果對(duì)比圖Fig. 9 Comparison of recognition effect between trend accumulation spectrum peak detection algorithm and other algorithms

為驗(yàn)證趨勢(shì)累積譜峰檢測(cè)算法程序的準(zhǔn)確性以及可靠性,選擇其他兩種已有的譜峰檢測(cè)算法與本算法進(jìn)行比較,依舊選取動(dòng)態(tài)比表面積分析儀測(cè)定的吸脫附譜圖進(jìn)行測(cè)試。如圖9所示,一階導(dǎo)數(shù)法除了變化迅速且急劇的尖峰可以準(zhǔn)確識(shí)別之外,其他類型的譜峰均無(wú)法識(shí)別。二階導(dǎo)數(shù)法對(duì)于尖峰的識(shí)別較為準(zhǔn)確,但對(duì)于緩峰則無(wú)法識(shí)別。綜合來(lái)看,趨勢(shì)累積譜峰檢測(cè)算法識(shí)別效果最為準(zhǔn)確且較其他二者更為普適。

4 結(jié)論

本文提出了一種在無(wú)基底扣除的情況下基于數(shù)據(jù)趨勢(shì)累積原理的新型譜峰檢測(cè)算法,通過(guò)算法程序的設(shè)計(jì)編寫以及大量數(shù)據(jù)的驗(yàn)證改進(jìn),總結(jié)得到以下結(jié)論:用整型信號(hào)量表征數(shù)據(jù)升降趨勢(shì),采用信號(hào)量進(jìn)行后續(xù)計(jì)算,對(duì)源數(shù)據(jù)的預(yù)處理過(guò)程要求較低,并且降低了算法的復(fù)雜度;將離散差分得到的趨勢(shì)數(shù)據(jù)累積,巧妙地實(shí)現(xiàn)了譜峰的精準(zhǔn)定位,計(jì)算過(guò)程簡(jiǎn)便且快速,針對(duì)復(fù)雜度很高的緩峰也能取得較好的效果,算法的普適性很高;將設(shè)置閾值與譜峰排序相結(jié)合,實(shí)現(xiàn)了譜峰與基底的分離,分離效果較好,算法穩(wěn)定且準(zhǔn)確度高。該算法適用于大部分譜圖的譜峰檢測(cè)分析,但在峰終點(diǎn)的定位上還需采用大量不同類型的數(shù)據(jù)進(jìn)行驗(yàn)證分析,根據(jù)實(shí)驗(yàn)結(jié)果改進(jìn)算法程序。