多光譜數(shù)據(jù)融合和GANs算法的COD濃度預(yù)測(cè)

陳 穎，許揚(yáng)眉，邸遠(yuǎn)見(jiàn)，崔行寧，張 杰，周鑫德，肖春艷，李少華

1. 燕山大學(xué)電氣工程學(xué)院，河北省測(cè)試計(jì)量技術(shù)及儀器重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004 2. 河南理工大學(xué)資源與環(huán)境學(xué)院，河南 焦作 454000 3. 河北先河環(huán)保科技股份有限公司，河北 石家莊 050000

引 言

大量的有機(jī)污染物排入到水體中，導(dǎo)致河流、湖泊和海洋都受到了不同程度的污染[1]?；瘜W(xué)需氧量(chemical oxygen demand, COD)指在一定環(huán)境下，水體中的還原性物質(zhì)被氧化分解時(shí)所消耗氧化劑的量，單位以耗氧量mg·L-1表示，化學(xué)需氧量表征水體受到有機(jī)物污染的程度[2]，因此，化學(xué)需氧量可作為有機(jī)污染物監(jiān)測(cè)的綜合指標(biāo)。

近年來(lái)，各國(guó)學(xué)者進(jìn)行了大量研究以致力于尋找快速、環(huán)保的COD檢測(cè)方法，紫外光譜(ultraviolet, UV)與近紅外光譜(near infrared, NIR)技術(shù)具有無(wú)損、快速、樣品制備簡(jiǎn)單及可實(shí)現(xiàn)在線分析等特點(diǎn)，因此廣泛應(yīng)用于水體的污染物監(jiān)測(cè)。在國(guó)外，Lepot等[3]將UV光譜與遺傳算法引入COD建模，效果良好； Abedinzadeh等[4]利用NIR光譜對(duì)造紙廠廢水的COD進(jìn)行了在線監(jiān)測(cè)，所得的預(yù)測(cè)誤差大約為被測(cè)水樣COD濃度的1/10； Martelo-Vidal等[5]采用UV光譜聯(lián)合NIR光譜，搭建了人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，取得了不錯(cuò)的預(yù)測(cè)精度。在國(guó)內(nèi)，趙友全等[6]利用主成分分析結(jié)合歐式距離分析UV光譜，并基于偏最小二乘法建模，實(shí)現(xiàn)了水樣的分類(lèi)預(yù)測(cè)； 仲洋等[7]基于UV和NIR光譜進(jìn)行多光譜融合對(duì)水質(zhì)COD進(jìn)行檢測(cè)，證明了多光譜融合建?？捎行岣逤OD的預(yù)測(cè)精度。

本文提出了一種基于UV光譜和NIR光譜的多光譜信息融合COD濃度預(yù)測(cè)模型，通過(guò)一階導(dǎo)數(shù)和S-G平滑對(duì)原始UV和NIR光譜預(yù)處理； 為了避免光譜融合過(guò)程中數(shù)據(jù)量不一致導(dǎo)致的融合失敗，提出并分析了標(biāo)準(zhǔn)歸一化(standard normal variation, SNV)、最大最小歸一化(max-min-nor, MMN)和矢量歸一化(vector normalization, VN)處理光譜的效果，篩選出最合適的歸一化方法； 采用數(shù)據(jù)級(jí)數(shù)據(jù)融合(data level fusion, LLDF)和特征級(jí)數(shù)據(jù)融合(feature level fusion, MLDF)[6]對(duì)歸一化后的光譜進(jìn)行融合； 基于生成對(duì)抗式網(wǎng)絡(luò)(generative adversarial networks, GANs)算法建立最終的多光譜COD濃度預(yù)測(cè)模型。

1 方法和原理

1.1 GANs算法

生成對(duì)抗式網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的模型，它包含兩個(gè)學(xué)習(xí)網(wǎng)絡(luò)：G(Generator)網(wǎng)絡(luò)和D(Discriminator)網(wǎng)絡(luò)。其中G網(wǎng)絡(luò)是一個(gè)生成模型的學(xué)習(xí)網(wǎng)絡(luò)，它接受樣本集的數(shù)據(jù)進(jìn)行訓(xùn)練，并生成一個(gè)預(yù)測(cè)模型，記作G(z)；D是一個(gè)判別網(wǎng)絡(luò)，判別預(yù)測(cè)模型的結(jié)果是不是“準(zhǔn)確的”。它的輸入?yún)?shù)是x，x代表準(zhǔn)確值，輸出D(x)代表x為準(zhǔn)確值的概率，如果為1，就代表預(yù)測(cè)準(zhǔn)確性為100%，依次類(lèi)推[8]。

Ez-pz(x)[log(1-D(G(z)))]

(1)

其中，x為真實(shí)值，z為輸入的訓(xùn)練樣本，而G(z)表示G網(wǎng)絡(luò)生成的預(yù)測(cè)模型；D(G(z))是D網(wǎng)絡(luò)判斷G生成的預(yù)測(cè)模型是否準(zhǔn)確的概率，G應(yīng)該希望自己生成的模型 “越接近準(zhǔn)確值越好”。G取D(G(z))最大值，V(D,G)變小，在式(1)標(biāo)記為min_G。同理，D的能力越強(qiáng)，D(x)越大，D(G(x))越小。V(D,G)會(huì)變大，此時(shí)標(biāo)記為max_D。

2 實(shí)驗(yàn)部分

2.1 光譜采集

實(shí)驗(yàn)室中，用U251UV分光光計(jì)和NIR光譜測(cè)試裝置(由激光器、待測(cè)樣品裝置、光譜儀、電腦以及相應(yīng)的連接光纖組成)完成UV光譜和NIR光譜檢測(cè)，德國(guó)Brand(1.5 mL)數(shù)字可調(diào)精密移液器、50 mL比色管，鄰苯二甲酸氫鉀標(biāo)準(zhǔn)液，配制1 000 mg·L-1的鄰苯標(biāo)準(zhǔn)液，用蒸餾水定容至標(biāo)線，搖勻，分別稀釋成1～500 mg·L-1濃度備用。

采用透射光譜法，將石英比色皿作為樣品池，空氣作參比，采集COD標(biāo)準(zhǔn)液的UV和NIR吸收光譜，如圖1所示，UV波段采集范圍為190～310 nm，NIR波段范圍為830～2 100 nm (12 500～830 cm-1)，分辨率為1 nm，積分時(shí)間為3 ms，每個(gè)樣本重復(fù)測(cè)量10次，結(jié)果取平均值。

圖1 COD水樣光譜 (a)： UV光譜； (b)： NIR光譜Fig.1 COD water sample spectra (a)： UV spectrum； (b)： NIR spectrum

由圖1可知，不同濃度的COD標(biāo)準(zhǔn)液的吸收譜在UV波段具有兩個(gè)典型特征吸收峰。從官能團(tuán)的角度來(lái)分析，第一個(gè)峰是羥基和羧基共同作用形成，且隨著鄰苯標(biāo)液濃度的升高，該官能團(tuán)吸收帶出現(xiàn)明顯紅移，并最終吸收趨于飽和； 第二個(gè)峰是苯環(huán)官能團(tuán)作用形成，且隨著標(biāo)液濃度的上升，該官能團(tuán)吸收帶的吸收明顯增強(qiáng)[9]。

水中有機(jī)物對(duì)NIR光的吸收很弱，常被水的強(qiáng)吸收峰掩蓋，不易從原始光譜中直接觀察到[10]。因此，在NIR波段建立模型之前，需要將NIR吸收光譜進(jìn)行處理以突出樣品中污染物主要官能團(tuán)的光譜特性。將吸收光譜進(jìn)行一階導(dǎo)數(shù)譜，在954，1 286，1 447和1 753 nm附近有明顯的吸收峰，這是污染水體含有的芳香烴化合物的C—H伸縮振動(dòng)的一、二級(jí)倍頻和羰基二、三級(jí)倍頻的吸收帶[10]。UV波段與NIR波段相比可知，UV波段的吸收峰的信息含量并不高，但穩(wěn)定較好； NIR波段覆蓋范圍廣，反映污染物的種類(lèi)也更加豐富。

2.2 光譜數(shù)據(jù)預(yù)處理

光譜數(shù)據(jù)的采集受到外界環(huán)境影響，通過(guò)對(duì)UV和NIR原始光譜進(jìn)行一定預(yù)處理，可以有效地降低外界環(huán)境的影響，提高最終定量預(yù)測(cè)模型的預(yù)測(cè)精度。采用一階導(dǎo)數(shù)、Savitzky-Golay平滑[11]等方法對(duì)光譜數(shù)據(jù)進(jìn)行預(yù)處理。一階導(dǎo)數(shù)譜可以有效消除基線漂移、旋轉(zhuǎn)以及背景干擾，然而，在放大信息的同時(shí)，噪聲也被放大。為了消除噪聲影響，采用S-G濾波，對(duì)一階導(dǎo)數(shù)譜進(jìn)行濾波。

將所有的水體樣本按照濃度隨機(jī)打亂，依照3∶1的比例分為校正集和預(yù)測(cè)集，測(cè)量值的最大最小樣本歸為校正集。

3 結(jié)果與討論

3.1 多光譜數(shù)據(jù)融合的歸一化方法選擇

基于UV和NIR光譜建立數(shù)據(jù)級(jí)和特征級(jí)的融合預(yù)測(cè)模型，對(duì)經(jīng)過(guò)預(yù)處理之后的UV和NIR光譜數(shù)據(jù)進(jìn)行融合。

在特征級(jí)融合的過(guò)程中，將經(jīng)過(guò)預(yù)處理之后的UV光譜數(shù)據(jù)和NIR光譜數(shù)據(jù)分別采用反向區(qū)間偏最小二乘算法[12]對(duì)其特征區(qū)間進(jìn)行挑選，其中反向區(qū)間偏最小二乘法劃分的信息區(qū)間數(shù)量為15個(gè)，最大因子數(shù)設(shè)為8，在設(shè)定子區(qū)間數(shù)下，具體篩選波段結(jié)果如表1所示。將篩選出的特征區(qū)間吸光度—濃度數(shù)據(jù)矩陣X，作為GANs模型的輸入，將真實(shí)測(cè)量COD值作為輸出值Y，獲得特征級(jí)融合UV-NIR的COD濃度預(yù)測(cè)模型。

同理，在數(shù)據(jù)級(jí)融合過(guò)程中，將經(jīng)過(guò)預(yù)處理之后的UV區(qū)間光譜數(shù)據(jù)和NIR區(qū)間數(shù)據(jù)直接串聯(lián)形成一個(gè)新的吸光度—濃度數(shù)據(jù)矩陣X，獲得數(shù)據(jù)級(jí)融合UV-NIR的COD濃度預(yù)測(cè)模型。

表1 未歸一化處理的數(shù)據(jù)級(jí)和特征級(jí)融合GANs模型Table 1 Data fusion and feature level fusion GANs models without normalized treatment

由表1可知，不論是數(shù)據(jù)級(jí)融合還是特征級(jí)融合，預(yù)測(cè)模型的精度都不夠令人滿意，其中數(shù)據(jù)級(jí)融合模型不論是校正集還是驗(yàn)證集的誤差都較大，其R2分別為0.978和0.915，RMSECV分別達(dá)到了2.356和1.659，偏差分別為0.318和0.764，這說(shuō)明模型的預(yù)測(cè)精度不高，泛化能力也不能讓人滿意； 對(duì)比數(shù)據(jù)級(jí)融合模型，雖然直接融合的特征級(jí)融合模型的R2，RMSEC，RMSEP和偏差較數(shù)據(jù)級(jí)融合有一定提高，但是模型評(píng)價(jià)參數(shù)也不夠理想，不能達(dá)到精準(zhǔn)預(yù)測(cè)的要求。

由于實(shí)驗(yàn)中得到的UV光譜(190～310 nm)和NIR光譜(830～2 100 nm)的數(shù)據(jù)量不均勻，數(shù)據(jù)量占有絕對(duì)優(yōu)勢(shì)的NIR光譜可能在光譜融合的過(guò)程中掩蓋掉UV光譜的貢獻(xiàn)，從而主導(dǎo)最終融合模型的結(jié)果。經(jīng)過(guò)反向區(qū)間偏最小二乘算法篩選過(guò)的優(yōu)選區(qū)間也剛好處于NIR波段，波段分別為820～952和1 719～1 836 nm，而UV波段被掩蓋住，這就驗(yàn)證了在UV光譜和NIR光譜融合的過(guò)程中，確實(shí)存在兩種光譜對(duì)預(yù)測(cè)模型貢獻(xiàn)度不平衡的問(wèn)題，其中NIR的貢獻(xiàn)度遠(yuǎn)遠(yuǎn)大于UV光譜的貢獻(xiàn)度，從而導(dǎo)致UV波段被掩蓋，相應(yīng)的多光譜的預(yù)測(cè)模型的精度也達(dá)不到要求，讓光譜融合失去了意義。為了解決這一問(wèn)題，采用歸一化方法處理UV和NIR光譜，并討論不同歸一化方法對(duì)建模的影響，分別采用標(biāo)準(zhǔn)歸一化、最大最小歸一化和矢量歸一化對(duì)光譜數(shù)據(jù)進(jìn)行歸一化處理，將經(jīng)過(guò)歸一化后的UV和NIR光譜數(shù)據(jù)進(jìn)行融合，并使用反向區(qū)間偏最小二乘算法進(jìn)行特征區(qū)間選擇，分別作為GANs模型的輸入X，將真實(shí)測(cè)量COD值作為輸出值Y，建立不同歸一化方法處理后的COD預(yù)測(cè)模型，具體如表2所示。

通過(guò)表2可知，不論是數(shù)據(jù)級(jí)融合模型還是特征級(jí)融合模型的預(yù)測(cè)精度較未歸一化之前都有明顯的提高，其中基于最大最小歸一化進(jìn)行數(shù)據(jù)處理后得到的多光譜的預(yù)測(cè)模型的性能最好，不論從相關(guān)系數(shù)R2還是RMSECV，RMSEP和偏差，都表現(xiàn)出很高的預(yù)測(cè)精度。

表2 不同歸一化方法的GAN預(yù)測(cè)模型結(jié)果統(tǒng)計(jì)Table 2 Statistics of the result of GAN prediction model using different normalization methods

3.2 LLDF和MLDF預(yù)測(cè)模型

基于上面的研究進(jìn)行數(shù)據(jù)級(jí)融合，對(duì)UV區(qū)間光譜數(shù)據(jù)和NIR區(qū)間預(yù)處理后的數(shù)據(jù)進(jìn)行歸一化處理(采用Max-Min-Nor預(yù)處理)，直接串聯(lián)形成一個(gè)新的吸光度-濃度數(shù)據(jù)矩陣X，并獲得最終的UV-NIR的COD濃度預(yù)測(cè)模型。通過(guò)驗(yàn)證集實(shí)驗(yàn)驗(yàn)證模型的預(yù)測(cè)精度情況，如圖2(a)所示。

同理，進(jìn)行特征級(jí)數(shù)據(jù)融合，對(duì)UV區(qū)間光譜數(shù)據(jù)和NIR區(qū)間預(yù)處理后的數(shù)據(jù)進(jìn)行歸一化處理(Max-Min-Nor預(yù)處理)，通過(guò)反向區(qū)間偏最小二乘法篩選出特征區(qū)間，并進(jìn)行特征級(jí)數(shù)據(jù)(MLDF)融合，采用GANs算法建立MLDF多光譜融合的COD濃度預(yù)測(cè)模型。通過(guò)驗(yàn)證集實(shí)驗(yàn)驗(yàn)證模型的預(yù)測(cè)精度情況，如圖2(b)所示。

圖2 基于GANs算法建立COD預(yù)測(cè)模型 (a)： 數(shù)據(jù)級(jí)融合； (b)： 特征級(jí)融合Fig.2 COD prediction model based on GANs algorithms (a)： Data level fusion； (b)： Feature level fusion

3.3 不同預(yù)測(cè)模型的評(píng)價(jià)

根據(jù)光譜類(lèi)別以及融合方式的差異性，建立不同的基于GANs算法的COD濃度預(yù)測(cè)模型，包括單一譜源的UV全波段GANs模型、單一譜源的NIR全波段GANs模型、UV+NIR數(shù)據(jù)級(jí)融合的GANs模型和UV+NIR特征級(jí)融合的GANs模型，并進(jìn)行預(yù)測(cè)性能對(duì)比，結(jié)果如圖3和表3所示。

依據(jù)模型校正集和驗(yàn)證集的評(píng)價(jià)參數(shù)： 決定系數(shù)R2、交叉均方根誤差RMSECV，RMSEP和加標(biāo)回收率，可以得到以下結(jié)論： 對(duì)于校正集的水質(zhì)COD預(yù)測(cè)模型而言，NIR吸收光譜的模型效果最差； UV吸收光譜模型的預(yù)測(cè)效果也較差； 而基于UV+NIR的數(shù)據(jù)級(jí)融合(LLDF)模型和特征級(jí)融合(MLDF)模型的校正集評(píng)價(jià)指標(biāo)較單一譜源的預(yù)測(cè)模型提升明顯，其中MLDF模型的RMSECV較單一譜源UV模型、NIR模型和LLDF提高189%，261%和91%，R2提高5.4%，9.3%和1.1%。

圖3 不同定量預(yù)測(cè)模型評(píng)價(jià)參數(shù)的對(duì)比圖 (a)： 校正集評(píng)價(jià)參數(shù)； (b)： 驗(yàn)證集評(píng)價(jià)參數(shù)Fig.3 Comparison of evaluation parameters of different quantitative prediction models (a)： Correction sets； (b)： Verification sets

表3 不同定量預(yù)測(cè)模型評(píng)價(jià)參數(shù)表Table 3 Evaluation parameters of different quantitative prediction models

而對(duì)于驗(yàn)證集而言，單一譜源的UV和NIR預(yù)測(cè)模型的評(píng)價(jià)參數(shù)較差，不能滿足監(jiān)測(cè)的精度要求； UV+NIR的數(shù)據(jù)級(jí)融合模型的評(píng)價(jià)參數(shù)下降、回收率不佳，也不能滿足實(shí)際的水體環(huán)境監(jiān)測(cè)； UV+NIR的特征級(jí)融合則預(yù)測(cè)效果最佳，模型的R2達(dá)到了0.994 7、RMSEP為1.325，回收率達(dá)到了98.4～103.1，都是所有模型中效果最佳的，其中MLDF模型的RMSEP較單一譜源UV模型、NIR模型和LLDF模型提升了183%，210%和124%，R2提升了10.1%，11.8%和4.9%。說(shuō)明在實(shí)際日常監(jiān)測(cè)中，基于特征級(jí)信息融合的多光譜COD模型能夠取得最佳的預(yù)測(cè)效果。

4 結(jié) 論

提出了一種基于多光譜融合和GANs算法的COD濃度預(yù)測(cè)模型，該模型是基于UV光譜和NIR光譜進(jìn)行信息融合，結(jié)合GANs算法建立的非線性多光譜COD預(yù)測(cè)模型。

(1)基于未經(jīng)歸一化的UV和NIR光譜，直接搭建數(shù)據(jù)級(jí)和特征級(jí)數(shù)據(jù)融合的COD濃度預(yù)測(cè)模型，模型的整體效果不理想。分析得知UV和NIR光譜的數(shù)據(jù)量不均衡，讓NIR光譜掩蓋了UV光譜的貢獻(xiàn)度。

(2)采取歸一化方法處理UV光譜和NIR光譜，克服光譜數(shù)據(jù)量不均衡的問(wèn)題。并討論了不同歸一化方法對(duì)建立COD濃度預(yù)測(cè)模型精度的影響。

(3)實(shí)驗(yàn)驗(yàn)證表明該模型相關(guān)系數(shù)的平方為0.994 7，預(yù)測(cè)均方根誤差為1.325，比數(shù)據(jù)級(jí)融合的預(yù)測(cè)模型誤差降低了52.9%，預(yù)測(cè)回收率為98.4%～103.1%，遠(yuǎn)低于其他幾組，模型的泛化能力更強(qiáng)，預(yù)測(cè)精度也更高。與單一譜源的監(jiān)測(cè)模型相比，多光譜數(shù)據(jù)融合能反映更多的水體樣品的化學(xué)信息，更加全面揭示水體的污染物程度，提高最終的COD預(yù)測(cè)準(zhǔn)確率。