大數(shù)據(jù)解析技術(shù)在大氣環(huán)境監(jiān)測(cè)中的應(yīng)用研究

李 蔚，胡 昊，徐富春，程子峰

環(huán)境保護(hù)部信息中心，北京 100029

當(dāng)今社會(huì)發(fā)展已經(jīng)進(jìn)入了信息爆炸的時(shí)代。各行各業(yè)每時(shí)每刻產(chǎn)生大量的信息，通過(guò)高速發(fā)展的通訊、傳媒通道，傳送到社會(huì)各個(gè)數(shù)據(jù)層面和節(jié)點(diǎn)，為公眾服務(wù)。巨量信息的產(chǎn)生、流動(dòng)、交互、反饋已成為現(xiàn)今社會(huì)的一個(gè)顯著特點(diǎn)。伴隨巨量信息的產(chǎn)生，信息的計(jì)算和處理技術(shù)也取得了日新月異的進(jìn)展，全球最快的超級(jí)計(jì)算機(jī)“天河二號(hào)”的運(yùn)算能力已達(dá)到每秒33.86千萬(wàn)億次的浮點(diǎn)運(yùn)算速度。同時(shí)，應(yīng)需而生的大量基礎(chǔ)和應(yīng)用軟件的開(kāi)發(fā)，也為數(shù)據(jù)的存儲(chǔ)、運(yùn)算、處理提供了多種方式和能力。環(huán)境保護(hù)各部門(mén)、各系統(tǒng)每日每時(shí)都產(chǎn)生大量信息:環(huán)境監(jiān)測(cè)部門(mén)所得到的大氣、水、土壤、海洋等環(huán)境要素的質(zhì)量信息，環(huán)境監(jiān)察部門(mén)獲得的污染源排放數(shù)據(jù)，環(huán)境統(tǒng)計(jì)所獲得的社會(huì)、經(jīng)濟(jì)、環(huán)境保護(hù)工作數(shù)據(jù)，環(huán)境科研、調(diào)研獲取的科研信息。另外，環(huán)保部門(mén)還從與環(huán)境保護(hù)工作密切相關(guān)的氣象、水利、海洋、農(nóng)林漁業(yè)、能源、衛(wèi)生、交通等部門(mén)交換了大量信息，這些信息為環(huán)境科學(xué)研究人員提供了認(rèn)識(shí)、分析、研究環(huán)境問(wèn)題的機(jī)遇和條件，也為環(huán)境管理、環(huán)境決策提供了分析、認(rèn)識(shí)問(wèn)題的基礎(chǔ)。但是，由于環(huán)境問(wèn)題的多樣性和復(fù)雜性，從不同渠道獲取的數(shù)據(jù)之間可比性較差，不同類(lèi)型的數(shù)據(jù)之間呈現(xiàn)多元、非線(xiàn)性的相互關(guān)系，這對(duì)數(shù)據(jù)的分析、利用帶來(lái)了巨大的困難和挑戰(zhàn)。

面對(duì)巨量信息及不同數(shù)據(jù)類(lèi)型之間的復(fù)雜關(guān)系，一種探求數(shù)據(jù)類(lèi)與類(lèi)之間的相互關(guān)系、相互影響的大數(shù)據(jù)解析技術(shù)迅速發(fā)展起來(lái)［1］。大數(shù)據(jù)解析技術(shù)應(yīng)用數(shù)據(jù)采集、統(tǒng)計(jì)計(jì)算、系統(tǒng)模擬和參數(shù)識(shí)別、隨機(jī)過(guò)程分析、神經(jīng)網(wǎng)絡(luò)分析、系統(tǒng)智能自學(xué)及半自學(xué)等各種數(shù)據(jù)分析技術(shù)，對(duì)多元、非線(xiàn)性的數(shù)據(jù)類(lèi)之間的關(guān)系進(jìn)行解析，達(dá)到分析預(yù)測(cè)研究目標(biāo)函數(shù)的變化規(guī)律，為利用巨量信息分析研究環(huán)境問(wèn)題提供了一種有力的手段。

本文擬以大數(shù)據(jù)解析技術(shù)在城市局地PM2.5濃度計(jì)算為例，對(duì)大數(shù)據(jù)解析技術(shù)在環(huán)境科學(xué)研究中的應(yīng)用方法進(jìn)行一些探索性的分析，企盼對(duì)從事環(huán)境科學(xué)研究的從業(yè)者有所啟迪。

1 選題依據(jù)

中國(guó)近年頻發(fā)大范圍的PM2.5污染問(wèn)題，引起了社會(huì)公眾的高度關(guān)注，PM2.5已成為環(huán)境保護(hù)工作的突出問(wèn)題。公眾關(guān)心PM2.5的污染問(wèn)題，自然關(guān)切自身所在地點(diǎn)PM2.5濃度問(wèn)題。由于設(shè)置大氣自動(dòng)監(jiān)測(cè)站(含PM2.5濃度的監(jiān)測(cè))一次投資金額較大(一個(gè)站點(diǎn)大約需人民幣200萬(wàn)元)，加上運(yùn)行維修費(fèi)、人工成本等費(fèi)用，就一個(gè)城市而言，不可能投資建設(shè)太多的大氣自動(dòng)監(jiān)測(cè)站。以北京為例，每100 km2左右才有一個(gè)大氣自動(dòng)監(jiān)測(cè)站，難以代表該區(qū)域內(nèi)每個(gè)局地點(diǎn)的PM2.5濃度。因此，研究計(jì)算局地PM2.5的濃度是有意義的。

2 大數(shù)據(jù)解析技術(shù)方法和原理簡(jiǎn)介

應(yīng)用大數(shù)據(jù)解析技術(shù)對(duì)局地大氣污染濃度計(jì)算的流程見(jiàn)圖1:

圖1 大數(shù)據(jù)解析技術(shù)預(yù)測(cè)大氣污染濃度流程

2．1 研究對(duì)象和研究?jī)?nèi)容

由于大數(shù)據(jù)解析技術(shù)面對(duì)的是眾多相互之間關(guān)系復(fù)雜的數(shù)據(jù)類(lèi)，因此大數(shù)據(jù)解析技術(shù)在遵循數(shù)據(jù)分析原理的基礎(chǔ)上，在處理和解決不同的問(wèn)題類(lèi)型時(shí)具有多樣性、靈活性的特點(diǎn)。應(yīng)用大數(shù)據(jù)解析技術(shù)時(shí)，要先確定研究對(duì)象和研究?jī)?nèi)容。以城市的局部地區(qū)為研究對(duì)象，以城市局部地區(qū)PM2.5的平均濃度為研究?jī)?nèi)容。首先將目標(biāo)城市按一定的標(biāo)準(zhǔn)劃分為單元網(wǎng)格(如1 km×1 km)，研究對(duì)象可表達(dá)成 G(g1，g2，… ，gi，… ，gn)，每個(gè)gi代表一個(gè)范圍為1 km2的地點(diǎn);研究?jī)?nèi)容可表達(dá)為 C(cg1，cg2，… ，cgi，… cgn)，其中 cgi表示 gi局地網(wǎng)格的PM2.5濃度。研究?jī)?nèi)容在大數(shù)據(jù)解析中被稱(chēng)為目標(biāo)函數(shù)，可表示為J(Ci)。J(Ci)中的Ci有兩類(lèi)，一類(lèi)是設(shè)有大氣自動(dòng)監(jiān)測(cè)站的網(wǎng)格C1，其PM2.5的濃度已知，另一類(lèi)是未設(shè)有大氣自動(dòng)監(jiān)測(cè)站的網(wǎng)格C2，C2所在的局地網(wǎng)格PM2.5濃度未知，是需要應(yīng)用大數(shù)據(jù)技術(shù)進(jìn)行解析的目標(biāo)值。

2．2 數(shù)據(jù)類(lèi)及特征量的選擇

為了盡可能準(zhǔn)確的獲知C2，需要選擇大量與C2相關(guān)的城市數(shù)據(jù)進(jìn)行解析。選擇這些數(shù)據(jù)類(lèi)的原則是“可能”“需要”?！翱赡堋笔鞘滓?，只有有數(shù)據(jù)才能選擇;“需要”則需對(duì)各種數(shù)據(jù)類(lèi)進(jìn)行分析，選取與目標(biāo)函數(shù)J(Ci)有一定相關(guān)性的數(shù)據(jù)類(lèi)。相關(guān)性可強(qiáng)可弱，與目標(biāo)函數(shù)J(Ci)的關(guān)系也可簡(jiǎn)單可復(fù)雜。就環(huán)境研究領(lǐng)域中的問(wèn)題而言，數(shù)據(jù)類(lèi)之間的關(guān)系，大多呈現(xiàn)多樣性、非線(xiàn)性的復(fù)雜關(guān)系，這也是大數(shù)據(jù)解析技術(shù)研究問(wèn)題的難點(diǎn)所在。為了研究局地PM2.5濃度，根據(jù)環(huán)境科學(xué)的基本原理和基礎(chǔ)知識(shí)，以及現(xiàn)有數(shù)據(jù)條件，可選擇以下幾類(lèi)數(shù)據(jù):1)有大氣自動(dòng)監(jiān)測(cè)站所在網(wǎng)格的PM2.5濃度歷史數(shù)據(jù);2)氣象條件數(shù)據(jù);3)交通狀況數(shù)據(jù);4)人群活動(dòng)情況數(shù)據(jù);5)網(wǎng)格道路狀況數(shù)據(jù);6)網(wǎng)格內(nèi)與空氣污染有關(guān)的特征單位數(shù)據(jù)，例如:工廠(chǎng)、加油站、餐飲業(yè)、車(chē)站、購(gòu)物中心、運(yùn)動(dòng)場(chǎng)、公園等數(shù)據(jù);7)每個(gè)網(wǎng)格的坐標(biāo)。

在大數(shù)據(jù)解析技術(shù)中，對(duì)目標(biāo)函數(shù)的研究，主要是通過(guò)各類(lèi)數(shù)據(jù)所包含的特征量對(duì)目標(biāo)函數(shù)的影響來(lái)解析的，因此，必須合理的從各類(lèi)數(shù)據(jù)中確定特征量。對(duì)已知濃度網(wǎng)格的PM2.5濃度數(shù)據(jù)，由于研究目標(biāo)是網(wǎng)格PM2.5小時(shí)平均濃度，取網(wǎng)格內(nèi)PM2.5濃度值也應(yīng)將歷史上PM2.5小時(shí)平均濃度作為特征量;對(duì)氣象條件，取氣溫、氣壓、風(fēng)速、相對(duì)濕度等作為特征量;對(duì)交通狀況，取總車(chē)輛數(shù)、平均車(chē)速、平均車(chē)速方差及在不同車(chē)速下的車(chē)輛數(shù)(例如:可采用將車(chē)速分為三檔，0＜V1≤20，20＜V2≤40，V3＞40)作為特征量，此處車(chē)速單位均為km/h;對(duì)人群活動(dòng)情況，取進(jìn)出網(wǎng)格的人數(shù)作為特征量;對(duì)網(wǎng)格道路狀況，取高速公路長(zhǎng)度、一般公路長(zhǎng)度、交叉路口的數(shù)量等作為特征量;對(duì)網(wǎng)格內(nèi)與空氣污染有關(guān)的特征單位數(shù)據(jù)，可取工廠(chǎng)、加油加氣站、餐飲業(yè)、車(chē)站、購(gòu)物中心、運(yùn)動(dòng)場(chǎng)、公園、旅館等的數(shù)量作為特征量。

從上述所選取的各個(gè)特征量，要計(jì)算其對(duì)目標(biāo)函數(shù)J(Ci)的影響，須對(duì)特征量數(shù)據(jù)進(jìn)行歸一化處理，計(jì)算公式如下

式(1)～式(3)中:xik為歸一化前的特征量數(shù)據(jù)，下標(biāo)K為第k個(gè)特征量，i為第K個(gè)特征量的第i個(gè)數(shù)值;x—k為第k個(gè)特征量的平均值;sk為第k個(gè)特征量的標(biāo)準(zhǔn)差;x'ik為歸一化后的特征量k的第i個(gè)數(shù)據(jù)，n為第k個(gè)特征量數(shù)據(jù)個(gè)數(shù)。

當(dāng)選定特征量并對(duì)每個(gè)網(wǎng)格的特征量數(shù)據(jù)進(jìn)行采集時(shí)，有直接和間接兩種途徑，其中間接數(shù)據(jù)采集是在直接采集數(shù)據(jù)的基礎(chǔ)進(jìn)行分析和處理得到的再分析數(shù)據(jù)，例如人群的進(jìn)或出的數(shù)量、車(chē)輛的平均車(chē)速及數(shù)量的采集是根據(jù)文獻(xiàn)［2、5］的方法進(jìn)行處理后得到的。

上述選擇的特征量有兩個(gè)明顯不同屬性:一類(lèi)特征量隨時(shí)間的變化而變化，另一類(lèi)特征量不隨時(shí)間而變化。由于這兩類(lèi)不同的特征量對(duì)目標(biāo)函數(shù)J(Ci)的影響過(guò)程及解析途徑有所不同，在大數(shù)據(jù)解析過(guò)程中，通常將特征量分成兩類(lèi):一類(lèi)是與空間相關(guān)的數(shù)據(jù)集(Spatial Data Set)，在分析這類(lèi)數(shù)據(jù)對(duì)目標(biāo)函數(shù)的影響過(guò)程中，是通過(guò)自學(xué)或半自學(xué)的方法，構(gòu)建成空間分類(lèi)器(Spatial Classifier，SC)，運(yùn)用SC對(duì)目標(biāo)函數(shù)進(jìn)行預(yù)算得到預(yù)期結(jié)果。另一類(lèi)是隨時(shí)間變化的相關(guān)數(shù)據(jù)集(Temporal Data Set)，在分析這類(lèi)數(shù)據(jù)對(duì)目標(biāo)函數(shù)的影響過(guò)程中，也通過(guò)自學(xué)或半自學(xué)的方法，構(gòu)建成時(shí)間分類(lèi)器(Temporal Classifier，TC)，運(yùn)用TC對(duì)目標(biāo)函數(shù)進(jìn)行運(yùn)算得到預(yù)期結(jié)果。

選取的數(shù)據(jù)類(lèi)中，其中網(wǎng)格道路狀況、網(wǎng)格內(nèi)與空氣污染有關(guān)的特征單位數(shù)據(jù)，以及每個(gè)網(wǎng)格的坐標(biāo)數(shù)據(jù)類(lèi)所包含的特征量應(yīng)歸為與空間相關(guān)的數(shù)據(jù)集;PM2.5濃度的歷史數(shù)據(jù)、氣象條件、交通狀況及人群活動(dòng)情況數(shù)據(jù)類(lèi)所包含的特征量應(yīng)歸為與隨時(shí)間變化的相關(guān)數(shù)據(jù)集。由于SC和TC的性質(zhì)特征不同，其建立和訓(xùn)練的途徑和方法也不同，SC和TC的建立是大數(shù)據(jù)解析技術(shù)的關(guān)鍵步驟。

2．3 空間分類(lèi)器

SC所包含的特征量不隨時(shí)間的變化而變化，它是一個(gè)靜態(tài)過(guò)程。SC所包含的特征量對(duì)目標(biāo)函數(shù)的影響是多層多節(jié)點(diǎn)的傳遞過(guò)程，傳遞路線(xiàn)是線(xiàn)性的，傳遞過(guò)程在節(jié)點(diǎn)的輸出可以是線(xiàn)性的或非線(xiàn)性的，因而SC具有靜態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的特征。神經(jīng)網(wǎng)絡(luò)法本身是模擬復(fù)雜系統(tǒng)、解析大數(shù)據(jù)非常有用的工具，因此選用由輸入部分(Input Generation，IG)、人造神經(jīng)網(wǎng)絡(luò)部分(Artificial Neural Network，ANN)組成的 SC來(lái)模擬預(yù)測(cè)局地網(wǎng)格PM2.5濃度。

IG的作用是用各類(lèi)空間特征量構(gòu)建ANN的輸入值。從建有大氣自動(dòng)監(jiān)測(cè)站的網(wǎng)格中隨機(jī)選取兩個(gè)局地坐標(biāo)為l1和l2的網(wǎng)格，每個(gè)網(wǎng)格中包含二個(gè)特征量和污染物濃度值，分別用f11、f12，f21、f22和c1、c2表示;x代表某一待預(yù)測(cè)的網(wǎng)格，其局地坐標(biāo)用lx表示，x網(wǎng)格中二個(gè)特征量和待估污染物濃度用fx1、fx2和cx表示。由IG構(gòu)成的對(duì)ANN的輸入數(shù)據(jù)生成流程見(jiàn)圖2。

圖2 空間分類(lèi)器IG數(shù)據(jù)生成流程

圖2中，d表示一種算法，例如:兩網(wǎng)格坐標(biāo)點(diǎn)之間的幾何距離;D也表示一種算法，例如:兩網(wǎng)格某一特征量間的皮爾遜(Pearson)距離。p、d則表示計(jì)算結(jié)果，構(gòu)成ANN的輸入數(shù)據(jù)。其數(shù)學(xué)表達(dá)公式如下

ANN是在接受輸入數(shù)據(jù)后，通過(guò)神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)和傳遞，最終產(chǎn)生對(duì)目標(biāo)值的影響。為理解神經(jīng)網(wǎng)絡(luò)的傳遞過(guò)程，神經(jīng)網(wǎng)絡(luò)某節(jié)點(diǎn)的傳遞過(guò)程見(jiàn)圖3。

圖3 神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)輸入輸出流程

圖3表示神經(jīng)網(wǎng)絡(luò)一個(gè)節(jié)點(diǎn)輸入輸出關(guān)系。f1x、f2x表示該節(jié)點(diǎn)的兩個(gè)輸入;f'x表示該節(jié)點(diǎn)的輸出;w1x、w2x表示兩個(gè)輸入權(quán)重;bx表示該節(jié)點(diǎn)輸入輸出的偏移，即神經(jīng)感知偏移;φ表示輸出為非線(xiàn)性輸出的變換函數(shù)。則該節(jié)點(diǎn)的輸入輸出之間的關(guān)系見(jiàn)公式(7):

若神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)輸出為線(xiàn)性輸出，則式(7)可簡(jiǎn)化表示為式(8):

在神經(jīng)網(wǎng)絡(luò)分析中，廣泛采用只有一個(gè)隱藏層的網(wǎng)絡(luò)結(jié)構(gòu)。若輸入有P項(xiàng)，神經(jīng)網(wǎng)絡(luò)的第一層接受節(jié)點(diǎn)有q個(gè)，輸出層的節(jié)點(diǎn)有r個(gè)，則神經(jīng)網(wǎng)絡(luò)輸出結(jié)果可由式(7)擴(kuò)展成式(9):

式中:fp表示輸入特征量，w表示各層各節(jié)點(diǎn)輸入特征量的權(quán)重，w'表示隱藏層權(quán)重，bq、b'r、b″表示各層各節(jié)點(diǎn)的神經(jīng)感知偏移，節(jié)點(diǎn)輸出非線(xiàn)性變換函數(shù)(φ)最常選用的是sigmoid函數(shù)［5］，cx表示最終輸出值。

從式(9)中可以看出，由神經(jīng)網(wǎng)絡(luò)構(gòu)造的空間分類(lèi)器SC預(yù)測(cè)某局地點(diǎn)大氣污染濃度，要解決神經(jīng)網(wǎng)絡(luò)中各感受層、各個(gè)節(jié)點(diǎn)的權(quán)重、節(jié)點(diǎn)神經(jīng)感知偏移和非線(xiàn)性函數(shù)變換問(wèn)題。目前廣泛使用解決該問(wèn)題的方法是反演法(Back-Propagation)，或稱(chēng)BP法［6］。其思路是與實(shí)際神經(jīng)網(wǎng)絡(luò)感受由左向右相反，由右向左將殘差(估算值與實(shí)測(cè)值之差)分配到各輸入權(quán)重上，一層一層向左進(jìn)行，直到最后分配到IG的輸出特征量的各權(quán)重上。按最優(yōu)模擬模型參數(shù)估值最小二乘法推演［7］，殘差分配到各權(quán)重上，即權(quán)重的更新，是將殘差按輸入值大小比例分配到各權(quán)重上。這種方法在模型學(xué)習(xí)過(guò)程中稱(chēng)為Widrow-Hoff學(xué)習(xí)規(guī)則。φ的影響亦是以線(xiàn)性方式體現(xiàn)的，即在權(quán)重上加一個(gè)比例系數(shù)。在解決實(shí)際問(wèn)題時(shí)，k可選用有大氣污染自動(dòng)監(jiān)測(cè)站的網(wǎng)格數(shù)據(jù)，不斷反復(fù)模擬訓(xùn)練SC，即SC的不斷反復(fù)的自學(xué)習(xí)過(guò)程。SC模擬學(xué)習(xí)過(guò)程是否完成，是用殘差大小來(lái)判別的，當(dāng)殘差值小于設(shè)定值，表示SC模型趨于完善。

2．4 時(shí)間分類(lèi)器

綜上所述，大數(shù)據(jù)解析過(guò)程中，包含對(duì)隨時(shí)間變化的特征量的解析。在對(duì)局地點(diǎn)大氣污染濃度預(yù)測(cè)的實(shí)例中，氣象條件類(lèi)中的氣溫、氣壓、風(fēng)速、相對(duì)溫度;交通狀況中的網(wǎng)格內(nèi)車(chē)輛總數(shù)、平均車(chē)速、平均車(chē)速方差、不同車(chē)速車(chē)輛的分配值;網(wǎng)格中人員進(jìn)出的數(shù)量，都為此類(lèi)特征量，記為xij，i表示某網(wǎng)格點(diǎn)，j表示某個(gè)特征量，則可進(jìn)一步表示為 X={x1，x2，…，xn}，其中:xi={xi1，xi2，…，xij，t}，t表示某一時(shí)刻。

局地點(diǎn)大氣污染物濃度亦是一個(gè)隨時(shí)間變化的特征量，記為yi，i表示某網(wǎng)格點(diǎn)，則可記:Y={y1，y2，…，yn}，它代表了某一時(shí)刻要被預(yù)測(cè)的大氣污染物濃度值，是某一時(shí)刻的狀態(tài)函數(shù)，為一隨機(jī)變量。當(dāng)特征量X確定的條件下，隨機(jī)變量yi具有馬和科夫特性，即yi僅與相鄰的yi－1的值有關(guān)，而與其他的yk值無(wú)關(guān)，其數(shù)學(xué)表達(dá)為

式中:P表示概率，i～j表示i狀態(tài)變量與j狀態(tài)變量在給定域中相鄰。

在給定特征量X序列條件下，估計(jì)值y出現(xiàn)的概率被定義為正態(tài)分布函數(shù)，它由x條件下?tīng)顟B(tài)特征函數(shù)exp(u·s(yi，xi，i))和由狀態(tài)i－ 1 轉(zhuǎn)移到 i時(shí)的轉(zhuǎn)移特征函數(shù) exp(λ·t(yi－1，yi，x，i))決定。在這兩個(gè)特征函數(shù)中，yi、yi－1定義同前，x表示某特征量，i表示某狀態(tài)，s表示狀態(tài)函數(shù)，t表示轉(zhuǎn)移函數(shù)，u、λ是訓(xùn)練過(guò)程中的待估參數(shù)。由概率論而知，兩事件相交的概率為兩事件概率相乘。當(dāng)特征量X有k個(gè)狀態(tài)，特征量為j個(gè)時(shí)，則估計(jì)值y出現(xiàn)的概率為

式(11)可改寫(xiě)為

式(12)中:Z(x)為正態(tài)分布標(biāo)準(zhǔn)化因子，文獻(xiàn)［8］中有詳細(xì)介紹，fj表示j個(gè)特征量。為解決權(quán)重參數(shù)λ的估值問(wèn)題，可對(duì)式(12)作簡(jiǎn)單的對(duì)數(shù)變換，得到:

由式(13)可以看出，條件概率函數(shù)已變換成線(xiàn)性函數(shù)關(guān)系，可使用常用的線(xiàn)性函數(shù)參數(shù)估值的方法，估出λ值。與SC中的權(quán)重w一樣，條件概率函數(shù)的權(quán)重λ值也是在不斷自身學(xué)習(xí)過(guò)程中加以修正。經(jīng)反復(fù)學(xué)習(xí)，構(gòu)建成了訓(xùn)練好的TC。TC構(gòu)建的整個(gè)過(guò)程實(shí)質(zhì)上是對(duì)條件隨機(jī)場(chǎng)(Conditional Random Field，CRF)的解析過(guò)程［8］。

通過(guò)對(duì)大數(shù)據(jù)集中相關(guān)特征值的解析、推演，可得到趨于最優(yōu)的TC、SC，使其能對(duì)各研究對(duì)象中的研究?jī)?nèi)容進(jìn)行估算。在計(jì)算城市局地大氣污染物濃度的應(yīng)用中，能用訓(xùn)練好的SC、TC，對(duì)各未知網(wǎng)格中的 PM2.5濃度進(jìn)行估算，得出最終估算值:

3 討論

大數(shù)據(jù)解析技術(shù)的基本思路是篩選出某些具有相關(guān)關(guān)系的數(shù)據(jù)類(lèi)，精心選擇數(shù)據(jù)類(lèi)的特征量，針對(duì)各種不同的研究對(duì)象和研究?jī)?nèi)容，采用靈活、多樣的數(shù)學(xué)分析方法對(duì)特征量進(jìn)行解析運(yùn)算，對(duì)包含不同特征量的各種因素之間相關(guān)關(guān)系進(jìn)行分析，達(dá)到解決研究問(wèn)題的目的。該技術(shù)提供了一種研究解決多元、非線(xiàn)性因素之間關(guān)系的方法。目前，大數(shù)據(jù)解析技術(shù)在各行各業(yè)中的應(yīng)用越來(lái)越活躍，其研究應(yīng)用的深度和廣度都在不斷向前取得進(jìn)展，該文所進(jìn)行的介紹還是相當(dāng)粗淺的，許多問(wèn)題有待進(jìn)一步實(shí)踐和探討。

大數(shù)據(jù)解析過(guò)程中有幾個(gè)關(guān)鍵點(diǎn)，需要特別予以注意。1)基礎(chǔ)數(shù)據(jù)的收集和處理:現(xiàn)有的數(shù)據(jù)經(jīng)常會(huì)有不準(zhǔn)(甚至錯(cuò)誤的數(shù)據(jù))、不全、不能直接獲取等問(wèn)題，有些不能直接獲取的特征量，還需運(yùn)用各種統(tǒng)計(jì)分析方法獲取。2)數(shù)據(jù)類(lèi)和數(shù)據(jù)類(lèi)中特征量的選取，是分析研究問(wèn)題的關(guān)鍵所在:合理的特征量的篩選對(duì)解決所研究問(wèn)題起相當(dāng)重要的作用，并且對(duì)保證研究結(jié)論的準(zhǔn)確度也會(huì)有相當(dāng)大的幫助。3)解析數(shù)據(jù)類(lèi)特征量數(shù)學(xué)工具的選擇:對(duì)同一問(wèn)題的解析，往往可有若干種數(shù)據(jù)處理的途徑和方法，準(zhǔn)確選擇數(shù)學(xué)工具對(duì)解決研究問(wèn)題的重要性是不容置疑的。

環(huán)境問(wèn)題是典型的多因素、多元、非線(xiàn)性相互關(guān)系問(wèn)題。城市、農(nóng)村、流域、區(qū)域都有大量關(guān)系復(fù)雜的因素包含在其中;大氣、水體(河流、湖泊、海洋、地下水)、土壤、固體廢物堆放等種種環(huán)境污染問(wèn)題，有許許多多數(shù)據(jù)類(lèi)之間的相互影響需要解析;研究當(dāng)今能源、氣候變化、生態(tài)系統(tǒng)破壞等重大環(huán)境問(wèn)題的對(duì)策，大數(shù)據(jù)解析也是一種有用的工具;人口、資源、交通發(fā)展變化趨勢(shì)需要進(jìn)行預(yù)測(cè);有毒有害物質(zhì)、食品安全、人群身體健康等許多問(wèn)題需要進(jìn)行風(fēng)險(xiǎn)評(píng)估。凡此種諸多環(huán)境問(wèn)題，大數(shù)據(jù)解析都有用武之地?？傊髷?shù)據(jù)解析技術(shù)在環(huán)境問(wèn)題應(yīng)用中前景廣闊。

［1］黃哲學(xué)，曹付元，李俊杰，等．面向大數(shù)據(jù)的海云數(shù)據(jù)系統(tǒng)關(guān)鍵技術(shù)研究［J］．網(wǎng)絡(luò)新媒體技術(shù)，2012，1(6):20-26．

［2］Yuan J，Zheng Y，Xie X．Discovery regions of different functions in a city using human mobility and POIs［C］//The 18th ACM SigKdd Conference on Knowledge Discovery and Data Mining．New York:Association for Computing Machinery，2012:186-194．

［3］Zheng Y，LiuY， XieX．Urbancomputingwith Taxicabs［C］．Proc of the 13th Int Conf on Ubiquitous Computing．New York:Association forComputing Machinery，2011:89-98．

［4］Rodgers J L，Nicewander W A．Thirteen ways to look at the correlation coefficient［J］． The American Statistician，1988，42(1):59-67．

［5］羅兵，黃萬(wàn)杰，楊帥．基于Tan-Sigmoid函數(shù)參數(shù)調(diào)整的BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法［J］．重慶大學(xué)學(xué)報(bào):自然科學(xué)版，2006，29(1):150-154．

［6］劉鷹，趙琳．神經(jīng)網(wǎng)絡(luò)BP算法的改進(jìn)和仿真［J］．計(jì)算機(jī)仿真，1999，16(3):12-15．

［7］程子峰，徐富春．環(huán)境數(shù)據(jù)統(tǒng)計(jì)分析基礎(chǔ)［M］．北京:化學(xué)工業(yè)出版社，2006．

［8］Lafferty J，Callum A M，Pereira F．Conditional random field:Probabilistie models for segmenting and labeling sequence data［C］//In Proceeding of 18th International Conference on Machine Learning．Massachusetts:International Machine Learning Society，2001:282-289．