電子鼻結(jié)合機(jī)器學(xué)習(xí)對污泥異味特征的識別研究*

張珊珊 樓紫陽 王 川 張瑞娜 宋 佳 王羅春

(1.上海電力大學(xué)環(huán)境與化學(xué)工程學(xué)院,上海 200090;2.上海交通大學(xué)環(huán)境科學(xué)與工程學(xué)院,上海市固廢處理與資源化工程研究中心,上海 200240;3.上海環(huán)境衛(wèi)生工程設(shè)計院有限公司,上海市環(huán)境工程設(shè)計科學(xué)研究院有限公司,上海 200232)

污泥是污水處理過程中的重要副產(chǎn)物,其組分復(fù)雜、來源廣泛、產(chǎn)量極大,預(yù)計我國2025年污泥年產(chǎn)量將突破9 000萬t(以含水率80%計)[1]。污泥中可能含有重金屬、有機(jī)物與有毒有害污染物,堆填處理時易腐化發(fā)臭,其異味組分及異味特征與處理過程相關(guān)[2-3],即使是同一種污泥在不同處理階段其異味特征及強(qiáng)度也有所差異[4-5],不利于污泥異味污染的管控,目前針對污泥異味組分鑒別尚缺乏有效的檢測技術(shù)。

電子鼻是一種靈敏的異味檢測儀器,可以在短時間內(nèi)同時分辨多種化學(xué)成分,目前已有電子鼻產(chǎn)品用于惡臭組分分析,但其檢測準(zhǔn)確性仍有待提高。電子鼻結(jié)合機(jī)器學(xué)習(xí)算法可在一定程度上提高異味識別率,常用于分類的典型機(jī)器學(xué)習(xí)算法有多元邏輯回歸(MLR)、隨機(jī)森林(RF)、自適應(yīng)增強(qiáng)(AdaBoost)、梯度提升決策樹(GBDT)、樸素貝葉斯分類器(NBC)、支持向量機(jī)(SVM)、K近鄰(KNN)等。MLR是一種將邏輯回歸一般化為多類別問題而得到的分類方法[6];RF是通過集成學(xué)習(xí)的思想將多個決策樹集成的算法,可以取得更好的分類效果[7];AdaBoost與GBDT是提升法的典型代表,核心在于將多個弱分類器序貫式集成為強(qiáng)學(xué)習(xí)器[8-9];NBC是一種應(yīng)用廣泛的簡單分類算法[10];SVM是一種二分類模型[11],可用于支持向量回歸(SVR),又可用于支持向量分類(SVC);KNN是最簡單的有監(jiān)督學(xué)習(xí)方法之一[12],可解決分類或回歸問題,適用于數(shù)據(jù)分布很少或無先驗知識的情況。

為實現(xiàn)電子鼻對污泥異味特征的精準(zhǔn)分類和快速鑒別,本研究圍繞污泥異味組分及其異味特征之間的關(guān)系,對比了電子鼻對農(nóng)業(yè)、化工與居民生活等3類典型污泥異味特征的識別效果,并通過機(jī)器學(xué)習(xí)提升電子鼻對異味特征的識別能力,以期優(yōu)化電子鼻類產(chǎn)品對污泥異味組分的鑒別性能。

1 材料與方法

1.1 材料與儀器

分別從典型農(nóng)產(chǎn)品加工廠、化工染料廠和城鎮(zhèn)居民區(qū)采集大豆污泥(記為泥樣D)、印染污泥(記為泥樣I)、市政污泥(記為泥樣S),同時收集厭氧消化后的市政污泥(記為泥樣YS)、脫水處理后的市政污泥(記為TS)進(jìn)行異味特征識別。

檢測儀器為PEN3.5電子鼻惡臭分析儀(德國AIRSENSE),配套Winmuster分析軟件。電子鼻內(nèi)含有10個金屬氧化物傳感器(MOS),其型號情況見表1。Winmuster通過記錄待測氣體的電導(dǎo)率與傳感器經(jīng)標(biāo)準(zhǔn)活性炭過濾氣的電導(dǎo)率之比(RG),通過內(nèi)置主成分分析(PCA)、線性判別分析(LDA)等模式分析采集數(shù)據(jù)從而實現(xiàn)泥樣識別,數(shù)據(jù)采集頻率為1次/s。

表1 傳感器陣列Table 1 Sensor arrays

1.2 實驗方法

為了確保有足量的有效數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí),整個實驗分為兩批次進(jìn)行,第1批次為實驗組,第2批次為平行實驗組,兩個批次的實驗條件完全相同。在每批次的實驗中,將采集的5種測試泥樣裝瓶密封,靜置發(fā)酵1 h后開始檢測,每隔10 min采樣1次,共檢測20次。為減少誤差,當(dāng)電子鼻檢測基線值明顯偏離1時,關(guān)閉儀器20～25 min后再檢測。檢測期間實驗室平均溫度為16～21 ℃,平均濕度為51%～77%,通風(fēng)櫥風(fēng)速為3～4級。檢測方式為手動進(jìn)樣,將進(jìn)樣探針和補(bǔ)氣針插入裝有5 g泥樣的離心管中采集數(shù)據(jù),單次采樣時間為60 s,電子鼻采樣完成后產(chǎn)生1個包含60條數(shù)據(jù)的nos文件,鑒于57～60 s的響應(yīng)信號較為穩(wěn)定,最能反映氣味的綜合信息,最終選取每個nos文件中57～60 s的4條數(shù)據(jù)進(jìn)行分析。兩批次實驗共采集200組響應(yīng)數(shù)據(jù),將篩選后得到的800條數(shù)據(jù)讀入Python,按7∶3的比例劃分為訓(xùn)練集和測試集,進(jìn)行機(jī)器學(xué)習(xí)。

2 結(jié)果與討論

2.1 電子鼻對典型污泥組分異味特征的識別

2.1.1 典型污泥組分異味特征分析

分別取泥樣D、泥樣I和泥樣S的20個nos文件數(shù)據(jù)輸入Winmuster,建立3種泥樣異味特征的預(yù)測模式,利用Python進(jìn)行樣本響應(yīng)值的可視化呈現(xiàn),結(jié)果見圖1。PCA結(jié)果顯示,3種泥樣響應(yīng)值的第1主成分解釋率為70.3%,第2主成分解釋率為26.6%,2個主成分對泥樣異味響應(yīng)值的總解釋率高達(dá)96.9%,能綜合反映3種泥樣的異味特征信息,但泥樣D和泥樣S存在信息重疊區(qū),可能發(fā)生誤判。LDA結(jié)果顯示,LDA對樣本響應(yīng)值識別正確率為91.9%,3種泥樣異味特征的區(qū)分效果明顯。綜上可見,PCA與LDA皆可用于電子鼻對3種泥樣異味特征的響應(yīng)值分析,但PCA的區(qū)分效果不及LDA明顯。

圖1 3種泥樣電子鼻響應(yīng)值的PCA、LDA識別效果Fig.1 Identification performance of PCA and LDA for electronic nasal response values of three types of sludge

2.1.2 污泥異味特征隨處理過程的變化

在3種典型泥樣的基礎(chǔ)上加入泥樣YS及泥樣TS,深入探究電子鼻對于5種泥樣異味特征的識別效果。由于電子鼻最多只能分析400條污泥異味信息數(shù)據(jù),因此各泥樣分別取20個nos文件數(shù)據(jù)輸入Winmuster,建立5種泥樣的異味特征預(yù)測模式,利用Python進(jìn)行樣本響應(yīng)值的可視化呈現(xiàn),結(jié)果見圖2。5種泥樣響應(yīng)值的PCA結(jié)果顯示,第1主成分與第2主成分對樣本響應(yīng)數(shù)據(jù)總解釋率為96.6%,但5種泥樣響應(yīng)值出現(xiàn)兩處交叉區(qū),錯判率較高;5種泥樣響應(yīng)值LDA的識別正確率為87.7%,大于85%,可基本作為5種泥樣的區(qū)分依據(jù),但其正確率相較3種泥樣的LDA分析結(jié)果下降4.2百分點(diǎn)。綜合分析可知,在添加兩種不同處理的市政污泥后,電子鼻訓(xùn)練集數(shù)據(jù)從240條增加到400條,PCA與LDA的識別效果皆下降,誤判的可能性加大。由于電子鼻異味信息數(shù)據(jù)處理量有限,無法通過加大樣本量建立更靈敏的預(yù)測模式來提高電子鼻識別效果。

圖2 5種泥樣電子鼻響應(yīng)值的PCA、LDA識別效果Fig.2 Identification performance of PCA and LDA for electronic nasal response values of five types of sludge

2.2 機(jī)器學(xué)習(xí)模型對比分析

2.2.1 關(guān)鍵特征選擇及機(jī)器學(xué)習(xí)模型的搭建

利用Python分析10個傳感器響應(yīng)值的皮爾遜系數(shù)矩陣,發(fā)現(xiàn)MOS1、MOS3、MOS5之間,MOS6、MOS8、MOS10之間以及MOS9、MOS7之間的響應(yīng)值出現(xiàn)多次共線性,交叉響應(yīng)情況嚴(yán)重,故分別采用PCA降維(PCA-)或LDA降維(LDA-)剔除冗余特征。

通過分析特征數(shù)與精確度的關(guān)系,發(fā)現(xiàn)特征數(shù)為4時模型準(zhǔn)確率達(dá)到平穩(wěn)高峰期,為降低數(shù)據(jù)冗余度,在MLR、RF、AdaBoost、GBDT、NBC、SVC、KNN 7類機(jī)器學(xué)習(xí)模型搭建時均輸入4個特征。其中,SVC模型分別基于線性核函數(shù)、多項式核函數(shù)與徑向基核函數(shù)進(jìn)行構(gòu)建,分別標(biāo)記為SVClinear、SVCpoly、SVCRBF,為便于模型性能對比,各機(jī)器學(xué)習(xí)模型的隨機(jī)種子均取固定值。

將兩批次實驗共采集的200組響應(yīng)數(shù)據(jù)讀入Python,其中560條劃分為訓(xùn)練集,240條劃分為測試集,在Python中導(dǎo)入適當(dāng)?shù)膸旌秃瘮?shù),然后使用這些函數(shù)來計算模型的性能指標(biāo),具體結(jié)果見表2。

表2 不同機(jī)器學(xué)習(xí)模型的得分對比 Table 2 Comparison of scores of different types of machine learning algorithms

2.2.2 機(jī)器學(xué)習(xí)模型的分類結(jié)果

合理、科學(xué)、有效的評估模型預(yù)測效果可為模型優(yōu)化提供指導(dǎo)。十折交叉驗證是用于評估模型算法準(zhǔn)確性的一個重要指標(biāo),得分在0～1之間,得分越接近1,模型預(yù)測結(jié)果越準(zhǔn)確。F1得分是一種在統(tǒng)計學(xué)中常用的度量二分類的模型精確度指標(biāo),它綜合考慮了模型的準(zhǔn)確率和召回率。F1分?jǐn)?shù)可以看作是模型準(zhǔn)確率和召回率的一種加權(quán)調(diào)和平均,F1得分越接近1,表示模型泛化性能越優(yōu)越。

MLR模型在收斂最大迭代次數(shù)為252時性能最好,測試集正確率可達(dá)99.6%,結(jié)合PCA降維后MLR模型質(zhì)量不變,結(jié)合LDA降維后模型質(zhì)量上升,測試集預(yù)測正確率高達(dá)100.0%?？梢?MLR模型本身對5種泥樣異味特征已具備較好的辨別能力,PCA降維對其分類效果提升無較好貢獻(xiàn),LDA降維可以將模型性能優(yōu)化至最佳。

RF模型用于污泥異味特征的分類識別時,測試集預(yù)測正確率達(dá)99.2%,精確度為0.965,F1得分為0.966。結(jié)合PCA、LDA降維后,模型各項指標(biāo)得分均有提升,LDA降維對模型性能提升效果更好,測試集預(yù)測正確率最高可達(dá)100.0%,精確度最高達(dá)0.998。

GBDT模型是對AdaBoost模型的推廣,比較兩種模型對5種泥樣異味特征的分類性能差異,發(fā)現(xiàn)GBDT模型的精確度比AdaBoost高28.2%,F1得分高0.279,GBDT質(zhì)量優(yōu)于AdaBoost。LDA降維有利于GBDT模型分類性能的提升,AdaBoost模型精確度不到0.8,出現(xiàn)高偏差,且無法預(yù)測已知或未知數(shù)據(jù),極可能欠擬合。

NBC模型測試集預(yù)測正確率為97.1%,十折交叉驗證得分為0.953,模型分類效果良好。PCA與LDA降維后,模型質(zhì)量均有提高,兩種降維方式的提升效果相近。

對比SVClinear、SVCpoly、SVCRBF的分類情況,3類核函數(shù)構(gòu)建的SVC模型結(jié)合PCA、LDA降維處理后,對污泥異味特征判別均表現(xiàn)優(yōu)異,LDA降維效果更好,LDA-SVClinear模型分類性能最優(yōu),LDA-SVCpoly、LDA-SVCRBF模型分類準(zhǔn)確性略差,極可能是因為輸入模型的數(shù)據(jù)量少,且降維處理后復(fù)雜度不高,導(dǎo)致線性核函數(shù)構(gòu)建效果相對更好。

KNN模型分類質(zhì)量良好,F1得分達(dá)0.990,泛化能力好,測試集預(yù)測正確率高達(dá)100.0%。結(jié)合PCA降維后,模型質(zhì)量不變,結(jié)合LDA降維后,模型各項得分均達(dá)最高值。

綜上分析可知,AdaBoost模型算法可能出現(xiàn)欠擬合,其余機(jī)器學(xué)習(xí)模型預(yù)測正確率均在97.1%以上,基于LDA降維的LDA-MLR、LDA-KNN與LDA-SVC模型算法比電子鼻LDA識別正確率高12.3百分點(diǎn),對異味特征辨識度大大提高。此外,幾種機(jī)器模型中出現(xiàn)了F1得分為1.000的完美模型情況,現(xiàn)實中基本不存在預(yù)測效果完美的情況,此處是因為輸入模型的總樣本量僅為篩選后的800條響應(yīng)值,其特征信息進(jìn)行了良好的泛化處理,測試集與驗證集的數(shù)據(jù)量均不夠大[13]。

2.2.3 可視化驗證

借助Python實現(xiàn)MLR、KNN、SVC模型分類結(jié)果的二維平面可視化呈現(xiàn),比較PCA、LDA降維處理對決策邊界分類效果的差異。

由圖3可見,PCA-MLR與LDA-MLR基本完成異味特征響應(yīng)值分類,有少量樣本出現(xiàn)在決策邊界上。由圖4可見,PCA-KNN中5種泥樣異味特征響應(yīng)值可基本區(qū)分,類間距離不大,十折交叉驗證結(jié)果表明模型有1.0%的評價失真概率。LDA-KNN的類間距離在PCA-KNN的基礎(chǔ)上變大,模型泛化能力提高。KNN為不規(guī)則決策邊界,分類效果優(yōu)于MLR,但預(yù)測速度低于MLR,適用于特征數(shù)較少或類域交叉較多的情況,MLR多用于處理特征或變量數(shù)目不太大的線性可分問題,二者都不適用于樣本不平衡的情況。實際生產(chǎn)應(yīng)用中,難以保證每次輸入的樣本量平衡,這制約了KNN與MLR的應(yīng)用范圍,此處MLR與KNN模型均表現(xiàn)較好,部分原因是本實驗設(shè)置的5種泥樣輸入的樣本集均衡。

圖3 PCA-MLR、LDA-MLR分類的可視化情況Fig.3 Visualization of PCA-MLR and LDA-MLR classification

圖4 PCA-KNN、LDA-KNN分類的可視化情況Fig.4 Visualization of PCA-KNN and LDA-KNN classification

由圖5、圖6可見,基于3種核函數(shù)構(gòu)建的SVC模型分類效果均較好,結(jié)合LDA降維的SVC模型有部分樣本點(diǎn)在決策邊界上,但其泛化能力高于PCA降維的SVC模型。此外,SVC模型不受各類樣本容量大小的影響,可根據(jù)實際選擇相應(yīng)的核函數(shù)解決線性可分或非線性問題,應(yīng)用范圍廣泛。

圖5 PCA-SVClinear、PCA-SVCRBF、PCA-SVCpoly分類的可視化情況Fig.5 Visualization of PCA-SVClinear,PCA-SVCRBF and PCA-SVCpoly classification

圖6 LDA-SVClinear、LDA-SVCRBF、LDA-SVCpoly分類的可視化情況Fig.6 Visualization of LDA-SVClinear,LDA-SVCRBF and LDA-SVCpoly classification

綜上可知,LDA-SVClinear模型可視化分類程度高,實際可應(yīng)用范圍更廣,電子鼻系統(tǒng)結(jié)合LDA-SVClinear模型有助于污泥異味特征的快速判別,提升識別正確率,可為多場景的污泥處理質(zhì)量評估提供有效手段。

3 結(jié) 論

(1) 電子鼻通過PCA或LDA可以實現(xiàn)對3種典型泥樣異味特征的判別,PCA對異味特征響應(yīng)值總解釋率高達(dá)96.9%,LDA對樣本響應(yīng)值識別正確率為91.9%,但LDA的分類可視化效果更好,對污泥異味溯源工作有一定價值。在3種泥樣信息中再加兩種不同處理的市政污泥,原有預(yù)測模式的錯判概率增加,PCA總解釋率降低0.3百分點(diǎn),LDA識別正確率降低4.2百分點(diǎn),且訓(xùn)練樣本不能超過400條,無法通過增大樣本量建立更靈敏的預(yù)測模式來提高電子鼻識別效果。

(2) 將多種機(jī)器學(xué)習(xí)模型用于5種泥樣的異味特征判別,發(fā)現(xiàn)基于LDA降維的LDA-MLR、LDA-KNN與LDA-SVC模型算法比電子鼻LDA識別正確率高12.3百分點(diǎn),解決了電子鼻分析數(shù)據(jù)量受限的問題。此外,LDA-SVClinear模型可視化分類程度高,實際可應(yīng)用范圍更廣,電子鼻系統(tǒng)結(jié)合LDA-SVClinear模型有助于污泥異味特征的快速判別,提升識別正確率,可為污泥儲存場地檢測及污泥處理質(zhì)量評估等場景的應(yīng)用提供有效手段。