基于紫外可見光譜的水質(zhì)檢測算法分析

習(xí) 燕

(伊犁水文勘測局，新疆 伊犁 835000)

水質(zhì)安全關(guān)乎人們的身體健康，更與社會(huì)發(fā)展密切相關(guān)，隨著近年來社會(huì)發(fā)展進(jìn)程的不斷加快，水質(zhì)安全受愈來愈多的因素影響，具體包括自然、人為兩種，前者有洪水、暴雨等，后者有污水排放、危險(xiǎn)品泄露、投毒等。如何才能夠及時(shí)減輕或避免水質(zhì)污染，水質(zhì)預(yù)警系統(tǒng)應(yīng)運(yùn)而生，在系統(tǒng)工作中的核心組成就是水質(zhì)異常檢測，能夠運(yùn)用在線傳感器對水質(zhì)情況進(jìn)行檢測，加強(qiáng)供水系統(tǒng)預(yù)警能力保障用水安全[1]?，F(xiàn)有研究中有基于統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等不同檢測方法，有學(xué)者基于多元水質(zhì)數(shù)據(jù)序列，建立了水質(zhì)檢測指標(biāo)和決策樹，以實(shí)際采集數(shù)值與估值之間存在的殘差判斷水質(zhì)異常[2]。在未來分析技術(shù)也開始逐漸朝向自動(dòng)化、微小的發(fā)展方向，微型光譜儀器也作為如今在環(huán)境檢測、生物醫(yī)學(xué)監(jiān)控領(lǐng)域的重點(diǎn)技術(shù)，為了能夠保證水環(huán)境的長期穩(wěn)定，提供了實(shí)時(shí)迅速檢測。并且水質(zhì)分析技術(shù)也從最初人工采樣，發(fā)展至如今的自動(dòng)化采樣，與無線傳感網(wǎng)絡(luò)技術(shù)相結(jié)合，可以短時(shí)間內(nèi)迅速檢測多資源區(qū)域內(nèi)的水質(zhì)信息。根據(jù)以往研究的水質(zhì)檢測存在樣本采頻不高，耗時(shí)較久等問題。本文提出運(yùn)用紫外可見光譜檢測方法，是一種以被測物質(zhì)的分子對光譜達(dá)到的吸收、反射性為依據(jù)展開分析，能夠快速、方便、在線分析的優(yōu)勢。通過在此技術(shù)基礎(chǔ)上，提出運(yùn)用非對稱最小二乘基線校正結(jié)合PCA對Q統(tǒng)計(jì)量檢測水質(zhì)異常，驗(yàn)證該檢測算法的應(yīng)用有效性。當(dāng)然應(yīng)用智能微型檢測技術(shù)也將作為未來的主要發(fā)展方向，給人類社會(huì)創(chuàng)造更大的社會(huì)效益。

1 基礎(chǔ)理論

1.1 算法原理

在光譜采集中因?yàn)樗芩|(zhì)波動(dòng)、儀器設(shè)備等多因素影響，導(dǎo)致光譜存在噪聲與基線漂移問題。處理光譜中可以應(yīng)用非對稱最小二乘法基線擬合算法，優(yōu)化目標(biāo)公式如下[3]：

(1)

Δ2zi=(zi-zi-1)-(zi-1-zi-2)=zi-2zi-1+zi-2

(2)

公式(1)主要表達(dá)的是y原始光譜逼近z擬合光譜的程度，為了能夠?qū)で笠唤M能夠獲得最小化結(jié)果的z值。公式(2)中主要表達(dá)的是原始、擬合兩光譜存在的相似性，在第二項(xiàng)中代表了擬合光譜達(dá)到的平滑度。將p、λ這兩個(gè)參數(shù)引入之后非對稱選擇，對于yi>zi情況下，ω=p；在yi≤zi情況下，ω=1-p，通常p選值范圍在0.001～0.1數(shù)值較小，但是選值范圍一般在102～109數(shù)值較大[4]。

(3)

根據(jù)上述基于紫外線光譜水質(zhì)異常檢測的具體方法，就是評(píng)估Q統(tǒng)計(jì)量可得測試樣本的異常點(diǎn)，表征殘差空間中光譜殘差向量的歐氏距離平方值，假若存在異常水質(zhì)，那么Q統(tǒng)計(jì)量較閾值就明顯要大，殘差向量也可以反映存在的異常。Q統(tǒng)計(jì)量表達(dá)公式如下[6]：

Q=xT(I-PPT)x

(4)

Q統(tǒng)計(jì)量閾值表達(dá)公式如下：

(5)

Q統(tǒng)計(jì)量用于評(píng)估水質(zhì)變化情況，例如對隨機(jī)噪聲發(fā)生的變化情況，一旦超出既定閾值則表示隨機(jī)噪聲已經(jīng)出現(xiàn)明顯改變，也就代表出現(xiàn)異常。

1.2 評(píng)價(jià)指標(biāo)

水質(zhì)異常檢測算法在性能評(píng)價(jià)一般包括了檢出率(PD)、誤報(bào)率(FAR)，前者代表處于某一時(shí)間段內(nèi)，通過算法檢測發(fā)現(xiàn)存在的水質(zhì)異常情況，所占發(fā)生水質(zhì)總異常次數(shù)的占比；后者作為一定時(shí)間段內(nèi)，通過算法檢測虛假水質(zhì)異常所占決策次數(shù)百分比，計(jì)算檢出率、誤報(bào)率公式如下：

(6)

(7)

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)儀器

本次對水質(zhì)檢測實(shí)驗(yàn)基于飲用水循環(huán)官網(wǎng)模擬系統(tǒng)，包括了紫外可見光譜傳感器、工業(yè)計(jì)算機(jī)控制系統(tǒng)、官網(wǎng)循環(huán)系統(tǒng)，紫外可見光譜傳感器結(jié)構(gòu)組件(見圖1)。在本實(shí)驗(yàn)中注入污染物主要通過計(jì)量泵恒定速率，向官網(wǎng)內(nèi)注射后，使用紫外光譜傳感器對一條光譜數(shù)據(jù)的掃描時(shí)長在30s，在掃描之后可以自動(dòng)存儲(chǔ)并獲取數(shù)據(jù)。

圖1 城市飲用水管網(wǎng)結(jié)構(gòu)圖

2.2 數(shù)據(jù)采集

將注入苯酚試劑作為本試驗(yàn)的污染物，苯酚具有可溶于水作為常見有機(jī)污染物之一，將一定量苯酚注入飲用水中，會(huì)導(dǎo)致飲水者發(fā)生急性中毒癥狀，如果長期飲用水甚至?xí)霈F(xiàn)瘙癢、頭暈、貧血與神經(jīng)系統(tǒng)功能障礙情況。所以在本文中采集了25 h包括正常水質(zhì)，以及注入不同濃度苯酚污染物紫外光譜數(shù)據(jù)，每次注入10 min長度苯酚，分別注入50、100、200、500、1 000，采集光譜波長在200～750 nm之間，2.5 nm步長。因?yàn)楸椒幼⑷敕逯导s269.8 nm，最終確定了本試驗(yàn)的紫外波段光譜在240～400 nm之間，(見圖2)為本實(shí)驗(yàn)的光譜圖。

圖2 采集原始紫外可見光譜圖

3 結(jié)果與討論

3.1 數(shù)據(jù)預(yù)處理

本文運(yùn)用Savitzky-Golay平滑濾波減弱噪聲，提升信噪比，運(yùn)用ALS基線校正減弱光譜采集中基線漂移情況，應(yīng)用標(biāo)準(zhǔn)正態(tài)變換處理每條光譜，光譜曲線數(shù)據(jù)減去光譜曲線均值，所得結(jié)果與標(biāo)準(zhǔn)差相除，消除光程變化、散射及顆粒大小的干擾。在數(shù)據(jù)預(yù)處理后可得光譜(見圖3)，對原圖光譜基線漂移情況有所減弱，明顯的苯酚峰值，放大了有效信號(hào)。

圖3 預(yù)處理之后紫外光譜圖

3.2 方法對比

(見表1)根據(jù)單波長檢測效果，能夠發(fā)現(xiàn)此種檢測方法的異常水質(zhì)檢測率不高，僅僅能夠?qū)?shí)驗(yàn)200以上的注入苯酚污染情況成功檢出，無法檢測低濃度異常水質(zhì)。

表1 單波長法檢測效果

在根據(jù)上面單波長檢測方法的水質(zhì)異常檢測率較低情況，運(yùn)用本文紫外可見光譜全光譜檢測算法，結(jié)合上面分析的基線校正與主元分析紫外可見光光譜異常檢測法，在如上實(shí)驗(yàn)平臺(tái)中采集在線光譜數(shù)據(jù)，預(yù)處理后訓(xùn)練正常水質(zhì)PCA模型，ALS、SNV數(shù)據(jù)預(yù)處理，通過選擇正常水質(zhì)構(gòu)建PCA模型，獲得了Q統(tǒng)計(jì)量閾值Qa。

共計(jì)選擇500組正常水質(zhì)光譜數(shù)據(jù)模型在訓(xùn)練中，設(shè)計(jì)了累計(jì)住院分析成分90%，訓(xùn)練中將閾值以上的樣本篩除，直至訓(xùn)練樣本內(nèi)全部Q統(tǒng)計(jì)量低于閾值，訓(xùn)練結(jié)果可得Q統(tǒng)計(jì)量閾值最終結(jié)果為26.03，將50個(gè)誤差樣本剔除。運(yùn)用PCA模型訓(xùn)練檢測異常水質(zhì)與所得閾值，對殘差空間內(nèi)待檢測水質(zhì)進(jìn)行計(jì)算，將相較Q可獲立群點(diǎn)序列，運(yùn)用上截單波長方法對水質(zhì)異常檢測更新原則，完成離群點(diǎn)的概率更新后可得(見圖4)。

圖4 紫外可見全光譜檢測效果

通過圖4所示的紫外可見全光譜檢測效果，能夠?qū)θ庾V中全部包含的信息都做到有效利用，運(yùn)用PCA訓(xùn)練模型成功降維的同時(shí)，也做到了對有效光譜信息的很大程度保留，最終成功檢出了100μg·L-1的苯酚污染，相較僅僅可以檢測200μg·L-1以上苯酚污染的單波法，明顯提升了低濃度情況下的水質(zhì)異常檢測率。

由于考慮到光譜信息在實(shí)際采集過程中，因?yàn)橐资芩|(zhì)波動(dòng)以及檢測儀器設(shè)備的多因素影響，最終出現(xiàn)基線漂移問題，運(yùn)用ALS算法校正基線對此算法的應(yīng)用有效性，對比未基線校正的檢測效果(見表2)，發(fā)現(xiàn)ALS基線校正后所得檢測效果明顯更優(yōu)。

表2 紫外可見全光譜法檢測效果

紫外光譜分析技術(shù)所依據(jù)的檢測理論，作為基于朗播比爾定律，在A=kcl方程式這一表示公式，在水內(nèi)的苯酚均作為化學(xué)物質(zhì)，在紫外區(qū)存在較強(qiáng)光譜吸收，所以吸光度能夠應(yīng)用于檢測水質(zhì)內(nèi)COD中。經(jīng)過本次實(shí)驗(yàn)研究也發(fā)現(xiàn)如果僅僅使用單波長紫外光譜檢測，由于單波長吸收能力較弱，所以很大程度限制了應(yīng)用范圍，而本文提出這一全光譜檢測方法就成功解決了這一弊端。根據(jù)試驗(yàn)結(jié)果也能夠發(fā)現(xiàn)獲得水樣吸光度和COD存在線性關(guān)聯(lián)，運(yùn)用紫外水質(zhì)檢測設(shè)備能夠?qū)λ|(zhì)參數(shù)在短時(shí)間內(nèi)迅速檢測，并運(yùn)用最小二乘法構(gòu)建了優(yōu)化數(shù)學(xué)模型，分析了水質(zhì)內(nèi)的成分水樣，此方法可以對相同成分水樣和不同濃度水樣存在差異有效判斷。運(yùn)用提出此種分析方法及預(yù)測評(píng)價(jià)指數(shù)，能夠有效減少在實(shí)驗(yàn)中不同水樣差異造成的誤差，所以有效提高了本次水質(zhì)檢測實(shí)驗(yàn)中的精度。

4 結(jié)語

運(yùn)用紫外可見光譜法檢測異常水質(zhì)，為了解決光譜檢測算法中基線漂移、噪聲等異常問題，提出運(yùn)用Savitzky-Golay平滑濾波、非對稱最小二乘法基線校正還有正態(tài)變換一系列預(yù)處理方法，對基線漂移和噪聲產(chǎn)生的光譜檢測數(shù)據(jù)影響，建立了PCA訓(xùn)練模型改進(jìn)篩除誤差樣本，與Q統(tǒng)計(jì)量結(jié)合消除誤報(bào)后。注入不同量苯酚的試驗(yàn)結(jié)果表示，紫外可見全光譜檢測效果，最終成功檢出了100的苯酚污染，相較僅僅可以檢測200以上苯酚污染的單波法，明顯提升了低濃度情況下的水質(zhì)異常檢測率。