基于數(shù)據(jù)挖掘的銅綠微囊藻試驗(yàn)?zāi)M數(shù)據(jù)分析

許云峰，馬春子，霍守亮，席北斗，錢(qián)光人*

1.上海大學(xué)環(huán)境與化學(xué)工程學(xué)院，上海 200444

2.中國(guó)環(huán)境科學(xué)研究院，北京 100012

富營(yíng)養(yǎng)化已經(jīng)成為全世界關(guān)注的熱點(diǎn)問(wèn)題［1-4］，人們進(jìn)行了大量室內(nèi)模擬試驗(yàn)探討富營(yíng)養(yǎng)化的發(fā)生機(jī)制。其中，銅綠微囊藻等藍(lán)藻細(xì)菌是引起湖泊夏季水華的主要藻類［5］，會(huì)導(dǎo)致水處理費(fèi)用增加［6-7］、水的娛樂(lè)價(jià)值降低并產(chǎn)生惡臭及微囊藻毒素［8］等，針對(duì)銅綠微囊藻的研究成為室內(nèi)研究水體富營(yíng)養(yǎng)化的主要關(guān)注點(diǎn)，且得到了大量試驗(yàn)?zāi)M數(shù)據(jù)。然而，這些試驗(yàn)?zāi)M數(shù)據(jù)所反映的規(guī)律是非常有限的，同時(shí)又耗費(fèi)了大量的人力物力。因此為更好地掌握由室內(nèi)模擬試驗(yàn)得到的湖泊富營(yíng)養(yǎng)化發(fā)生機(jī)制，并節(jié)省人力和資源，需尋求一種從數(shù)據(jù)中總結(jié)規(guī)律，據(jù)以指導(dǎo)試驗(yàn)及實(shí)際湖泊富營(yíng)養(yǎng)化治理的方法。

數(shù)據(jù)挖掘是從一個(gè)新的角度將數(shù)據(jù)庫(kù)技術(shù)、機(jī)器學(xué)習(xí)、模式識(shí)別和統(tǒng)計(jì)學(xué)等領(lǐng)域結(jié)合起來(lái)［9］，從大量不完全的、有噪聲的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中人們事先不知道的，但又有潛在價(jià)值的規(guī)律和知識(shí)的過(guò)程。目前已經(jīng)廣泛應(yīng)用于金融［10］、零售［11］、醫(yī)藥［12-14］、通訊［15］、化學(xué)工程［9，16］和航空［17］等領(lǐng)域。筆者運(yùn)用數(shù)據(jù)挖掘方法對(duì)收集的銅綠微囊藻試驗(yàn)?zāi)M數(shù)據(jù)進(jìn)行定性分析，以探求抑制藻類生長(zhǎng)的主要影響因素。

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)分析

查閱國(guó)內(nèi)外研究機(jī)構(gòu)發(fā)表的文獻(xiàn)，收集銅綠微囊藻的試驗(yàn)?zāi)M數(shù)據(jù)，對(duì)其進(jìn)行分類整理與分析。收集的數(shù)據(jù)主要涉及:試驗(yàn)時(shí)間(T，d)、試驗(yàn)水溫(Tw，℃)、總氮的初始濃度(TN0，mg/L)、總磷的初始濃度(TP0，mg/L)、試驗(yàn)初始 pH(pH0)、水中鐵的初始濃度(Fe0，mg/L)、藻密度(N，106個(gè)/mL)、接種藻密度(N0，106個(gè)/mL)、水流速度(v，cm/s)、擾動(dòng)(R，r/min)、光照強(qiáng)度(E，lx)、光暗比(L，h/h)。

藻類水華是湖泊富營(yíng)養(yǎng)化發(fā)生的顯著特征，這就增加了藻密度作為湖泊水質(zhì)評(píng)價(jià)指標(biāo)的重要性。藻密度是衡量藻濃度的主要常規(guī)性監(jiān)測(cè)指標(biāo)［18］。當(dāng)藻密度達(dá)到106個(gè)/mL時(shí)有可能爆發(fā)水華現(xiàn)象［19］。因此將藻密度N作為目標(biāo)變量，以藻密度為1×106個(gè)/mL作為湖泊能否發(fā)生富營(yíng)養(yǎng)化的分界線。

目標(biāo)變量 N，N＜1×106個(gè)/mL為 1類樣本(Class 1)，N≥1×106個(gè)/mL為2類樣本(Class 2)。影響因素 11 個(gè)，分別為 N0、Fe0、TN0、TP0、T、Tw、pH0、v、R、E 和 L。樣本數(shù)共1052 個(gè)，其中1 類樣本615個(gè)，占58.46%，2類樣本437個(gè)，占41.54%。

1.2 數(shù)據(jù)挖掘方法

數(shù)據(jù)挖掘技術(shù)必須通過(guò)多種計(jì)算方法加以實(shí)現(xiàn)，目前主要包括模式識(shí)別(主成分分析法、白化變換-線性映照法、最佳映照識(shí)別法、模式識(shí)別逆映照法)、人工神經(jīng)網(wǎng)絡(luò)及支持向量機(jī)等。

主要采用數(shù)據(jù)挖掘中的主成分分析法(Principal Component Analysis，PCA)作為非參數(shù)的分類方法［20］，對(duì)銅綠微囊藻試驗(yàn)?zāi)M數(shù)據(jù)進(jìn)行定性分析。傳統(tǒng)的主成分分析法是直接對(duì)數(shù)據(jù)樣本進(jìn)行分析，找出對(duì)信息量貢獻(xiàn)較大的主成分，繼而構(gòu)成二維或三維投影圖剖析數(shù)據(jù)結(jié)構(gòu)，并未對(duì)樣本事先分類。而筆者先將數(shù)據(jù)樣本分類，并且將主成分分析法中所有的主成分全部找出，每?jī)蓚€(gè)主成分構(gòu)成投影平面，對(duì)投影平面上投影點(diǎn)分類效果最好的圖進(jìn)行定性分析［21］。

主成分(PC)的表達(dá)式可定義為［22］:

式中，a為變量系數(shù);V為原始變量的值;i和n分別為主成分?jǐn)?shù)和變量總數(shù)。

2 結(jié)果與討論

2.1 變量篩選

在影響銅綠微囊藻目標(biāo)變量的11個(gè)變量中，并不是所有變量都會(huì)對(duì)目標(biāo)變量產(chǎn)生重要影響，因此先對(duì)11個(gè)變量進(jìn)行逐個(gè)篩選，找出影響銅綠微囊藻生長(zhǎng)的主要變量。

用主成分分析法(PCA)將1052個(gè)樣本點(diǎn)投影到由n個(gè)變量構(gòu)成的n維空間，并映射在兩維特征面上，即可得到特征圖。

影響銅綠微囊藻生長(zhǎng)的關(guān)鍵特征變量由建立在PCA基礎(chǔ)上的可分性判據(jù)P(即分類率［23］)來(lái)決定?？煞中耘袚?jù)的定義為:

式中，Z1為1類樣本點(diǎn)的數(shù)目;Z2為特征圖上包含所有1類樣本點(diǎn)的矩形框內(nèi)2類樣本點(diǎn)的數(shù)目。

表1列出了變量逐步刪除后得到的相應(yīng)分類率。從表1可以看出，在所有變量存在的條件下分類率較低，僅為31.22%，變量逐步減少后分類率不斷上升，說(shuō)明不是所有變量都對(duì)銅綠微囊藻的生長(zhǎng)產(chǎn)生很大影響。當(dāng)繼續(xù)刪除變量R后，特征圖的分類率又出現(xiàn)下降，說(shuō)明R是影響銅綠微囊藻生長(zhǎng)的主要因素，不能刪除。

圖1和圖2分別是變量篩選前后的特征圖。比較圖1和圖2可見(jiàn)，雖然逐步刪除了 Fe0、TN0、E、L、v和Tw六個(gè)變量，但數(shù)據(jù)規(guī)律依然明顯，說(shuō)明這六個(gè)變量對(duì)目標(biāo)變量的影響較小，可以刪除。篩選后剩余的變量為 N0、T、pH0、R 和 TP0，與表1 得出的結(jié)論一致。下面對(duì)這五個(gè)變量進(jìn)行詳細(xì)分析。

圖2中的橫坐標(biāo)PC1和縱坐標(biāo)PC2分別為以上五個(gè)變量的線性組合，具體表示為以下方程(非標(biāo)準(zhǔn)化方程):

表1 特征變量篩選表Table 1 The screening list of feature variables

并且特征圖上的每個(gè)點(diǎn)都是五個(gè)變量的組合，由圖2可知，藻密度較小的樣本(N＜1×106個(gè)/mL，實(shí)心樣本點(diǎn))和藻密度較大的樣本(N≥1×106個(gè)/mL，空心樣本點(diǎn))明顯分布在圖的不同部位，實(shí)心樣本分布在特征圖的中間位置，空心樣本主要分布在其兩邊，數(shù)據(jù)有著較好的規(guī)律性。數(shù)據(jù)分界面在原始變量空間的方程為:

這說(shuō)明可以通過(guò)調(diào)節(jié)五個(gè)變量來(lái)控制銅綠微囊藻的藻密度。當(dāng)N0、T、pH0、R和 TP0五個(gè)變量滿足式(5)和式(6)時(shí)，銅綠微囊藻的藻密度可以控制在1×106個(gè)/mL以下，湖泊可能不會(huì)發(fā)生水華;不滿足式(5)和式(6)時(shí)藻密度會(huì)高于1×106個(gè)/mL，有可能會(huì)發(fā)生水華。這為湖泊的富營(yíng)養(yǎng)化治理提出了一定的理論依據(jù)。

2.2 變量重要性的分析

采用主成分分析的載荷圖(圖3)可以對(duì)變量的重要性進(jìn)行分析。通常變量在圖形中的位置代表了變量影響目標(biāo)值變化的方向，遠(yuǎn)離原點(diǎn)的變量對(duì)目標(biāo)變量的影響最大。根據(jù)主成分的載荷值在圖3的不同位置上標(biāo)出了五個(gè)變量，將該圖與圖2對(duì)應(yīng)，就可以根據(jù)五個(gè)變量所處的位置分析變量對(duì)目標(biāo)變量的影響趨勢(shì)。

圖2的中間部分是目標(biāo)變量(藻密度)的優(yōu)類區(qū)域，即目標(biāo)變量減少的方向，說(shuō)明圖3中的變量向中間移動(dòng)會(huì)使2類樣本點(diǎn)變?yōu)?類樣本點(diǎn)，使目標(biāo)變量降低。

由圖3可以看出，根據(jù)各變量的坐標(biāo)到原點(diǎn)的距離有如下順序:pH0＞N0＞TP0＞R＞T，可見(jiàn)對(duì)銅綠微囊藻生長(zhǎng)影響較大的變量是pH0、N0和TP0。適當(dāng)減小藻類的初始接種量、水體初始pH或初始TP濃度，都可以使目標(biāo)變量降低，有效抑制銅綠微囊藻的生長(zhǎng)。

圖3 銅綠微囊藻數(shù)據(jù)載荷圖Fig.3 The load diagram of Microcystis aeruginosa

3 結(jié)論

(1)主成分分析法作為非參數(shù)的分類方法可以對(duì)變量的重要性進(jìn)行篩選，并能得到分類效果較好的特征圖。

(2)通過(guò)運(yùn)用主成分分析的載荷圖，得到影響銅綠微囊藻生長(zhǎng)的主要因素，且適當(dāng)減小藻類的初始接種量N0、水體的初始pH或初始TP濃度都可以抑制銅綠微囊藻的生長(zhǎng)。

［1］XUE X，LANDIS A E.Eutrophication potential of food consumption patterns［J］.Environ Sci Technol，2010，44(16):6450-6456.

［2］GRUNDY R D.Strategies for control of man-made eutrophication［J］.Environ Sci Technol，1971，5(12):1184-1190.

［3］LEE G F，RAST W，JONES R A.Water report:eutrophication of water bodies:insights for an age old problem［J］.Environ Sci Technol，1978，12(8):900-908.

［4］LEE G F，JONES R A.Detergent phosphate bans and eutrophication［J］.Environ Sci Technol，1986，20(4):330-331.

［5］AHN C Y，PARK M H，JOUNG S H，et al.Growth inhibition of cyanobacteria by ultrasonic radiation:laboratory and enclosure studies［J］.Environ Sci Technol，2003，37(13):3031-3037.

［6］TEIXEIRA M R，ROSA M J.Comparing dissolved air flotation and conventional sedimentation to remove cyanobacterial cells of Microcystis aeruginosa:Part I.the key operating conditions［J］.Separation and Purification Technology，2006，52(1):84-94.

［7］TAKAARA T，SANO D，MASAGO Y，et al.Surface-retained organic matter of Microcystis aeruginosa inhibiting coagulation with polyaluminum chloride in drinking water treatment［J］.Water Res，2010，44(13):3781-3786.

［8］SANGOLKAR L N，MASKE S S，CHAKRABARTI T.Methods for determining microcystins(peptide hepatotoxins)and microcystin-producing cyanobacteria［J］.Water Res，2006，40(19):3485-3496.

［9］楊善升，陸文聰，陳念貽.數(shù)據(jù)挖掘技術(shù)在化工優(yōu)化中的應(yīng)用［J］.江蘇化工，2004，32(4):1-4，8.

［10］HO H S，KRISHNAN R.Predicting repayment of the credit card debt［J］.Computers ＆ Operations Research，2012，39(4):765-773.

［11］KARGARI M，SEPEHRI M M.Stores clustering using a data mining approach for distributing automotive spare-parts to reduce transportation costs［J/OL］.Expert Systems with Applications，2012，39(5):4740-4748［2011-10-01］.http://dx.doi.org/10.1016/j.bbr.2011.03.031.

［12］郭立瑋，潘林梅，朱華旭，等.關(guān)于復(fù)雜系統(tǒng)理論和方法應(yīng)用于中醫(yī)藥研究領(lǐng)域的思考與實(shí)踐［C］//中華中醫(yī)藥學(xué)會(huì)中成藥學(xué)術(shù)研討會(huì).北京:中華中醫(yī)藥學(xué)會(huì)，2007:9-15.

［13］郭立瑋，董潔，樊文玲，等.數(shù)據(jù)挖掘方法用于中藥水提液膜過(guò)程優(yōu)化的研究［J］.世界科學(xué)技術(shù)，2005，7(3):42-47，88.

［14］陳瑞蘭，陸文聰，劉旭，等.支持向量機(jī)算法研究頭發(fā)微量元素與高血壓的相關(guān)性［J］.計(jì)算機(jī)與應(yīng)用化學(xué)，2003，20(5):567-570.

［15］SENG J L，CHEN T C.An analytic approach to select data mining for business decision［J］.Expert Systems with Applications，2010，37(12):8042-8057.

［16］楊善升，陸文聰，顧天鴻，等.基于數(shù)據(jù)挖掘的合成氨過(guò)程優(yōu)化和監(jiān)測(cè)系統(tǒng)應(yīng)用研究［J］.化工自動(dòng)化及儀表，2010，37(7):76-78.

［17］GüRBüZ F，ZBAKIR L，YAPICI H.Data mining and preprocessing application on component reports of an airline company in Turkey［J］.Expert Systems with Applications，2011，38(6):6618-6626.

［18］RODRIGUES L H R，ARENZON A，RAYA-RODRIGUEZ M T，et al.Algal density assessed by spectrophotometry:a calibration curve for the unicellsular algae Pseudokirchneriella subcapitata［J］.Journal of Environmental Chemistry and Ecotoxicology，2011，3(8):225-228.

［19］Wikipedia contributors.Algal bloom［EB/OL］.［2011-12-10］.http://en.wikipedia.org/wiki/Algal_bloom.

［20］VEGA M，PARDO R，BARRADO E，etal.Assessment of seasonal and polluting effects on the quality of river water by exploratory data analysis［J］.Water Res，1998，32(12):3581-3592.

［21］陳念怡，秦沛，陳瑞亮，等，模式識(shí)別方法在化學(xué)化工中的應(yīng)用［M］.北京:科學(xué)出版社，2000.

［22］STATHEROPOULOS M，VASSILIADIS N，PAPPA A.Principal component and canonical correlation analysis for examining air pollution and meteorological data［J］.Atmos Environ，1998，32(6):1087-1095.

［23］BAO X H，LU W C，LIU L，et al.Hyper-polyhedron model applied to molecular screening of guanidines as Na/H exchange inhibitors［J］.Acta Pharmacologica Sinica，2003，24(5):472-476.?