萊特準(zhǔn)則改進(jìn)算法的呼倫湖環(huán)境信息采集系統(tǒng)的設(shè)計(jì)

杜永興+張志濤+李寶山+秦嶺

摘 要： 由傳感器采集后經(jīng)ZigBee上傳到數(shù)據(jù)中心的環(huán)境數(shù)據(jù)已經(jīng)被廣泛地使用到工業(yè)應(yīng)用的各個(gè)領(lǐng)域，但是由于ZigBee采集的信息數(shù)據(jù)受到硬件和外界環(huán)境因素的影響會(huì)隨機(jī)出現(xiàn)野值，這導(dǎo)致最終數(shù)據(jù)的偏離或者錯(cuò)誤。提出改進(jìn)的萊特準(zhǔn)則剔除野值算法，該算法通過(guò)與最大誤差和標(biāo)準(zhǔn)差的比較，得出需要保留的數(shù)據(jù)，最后剔除錯(cuò)誤數(shù)據(jù)。通過(guò)對(duì)改進(jìn)算法剔除的系統(tǒng)誤差數(shù)據(jù)進(jìn)行分析，與傳統(tǒng)萊特準(zhǔn)則算法相比，改進(jìn)算法提高了剔除野值的準(zhǔn)確性。現(xiàn)場(chǎng)試驗(yàn)結(jié)果表明，改進(jìn)萊特準(zhǔn)則算法對(duì)采集到的數(shù)據(jù)進(jìn)行處理，得到的環(huán)境信息數(shù)據(jù)更加準(zhǔn)確。

關(guān)鍵詞： ZigBee； 數(shù)據(jù)采集； 萊特準(zhǔn)則； 剔除野值

中圖分類(lèi)號(hào)： TN911?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）24?0030?04

Design of Hulun Lake environment information acquisition system based on Letts criterion improved algorithm

DU Yongxing， ZHANG Zhitao， LI Baoshan， QIN Ling

（Information College， Inner Mongolia University of Science & Technology， Baotou 014010， China）

Abstract： The environmental data collected by sensors and uploaded to the data center via ZigBee has been widely used in industrial application fields， but the information data collected by ZigBee may appear in outliers randomly due to the influences of hardware and external environment， which leads to the final data deviation or error. The improved Letts criterion algorithm to eliminate outliers is proposed in this paper. The algorithm can obtain the data needs to be kept by means of comparing the maximum error and standard deviation， and finally eliminate the wrong data. By analyzing the system error data eliminated by the improved algorithm and comparing with the traditional Wright algorithm， the improved algorithm can enhance the accuracy of outliers elimination. The field test results show that the improved algorithm can get more accurate environmental information data comparing with traditional algorithm.

Keywords： ZigBee； data acquisition； Letts criterion； outlier elimination

0 引 言

隨著工業(yè)的發(fā)展，環(huán)境監(jiān)測(cè)是環(huán)境管理的重要內(nèi)容之一，是環(huán)境監(jiān)管的基本手段，也是環(huán)境保護(hù)事業(yè)最具基礎(chǔ)性戰(zhàn)略性的一個(gè)支撐體。環(huán)境是人們賴(lài)以生存的基礎(chǔ)和保障。必須對(duì)一些特殊地方的（工廠(chǎng)、水域、河流等）環(huán)境進(jìn)行合理的監(jiān)管，這就需要對(duì)環(huán)境進(jìn)行監(jiān)測(cè)，以便采取相應(yīng)的措施解決人們所面臨的亟需解決的問(wèn)題。

目前采集環(huán)境數(shù)據(jù)的方法多種多樣，傳統(tǒng)的環(huán)境監(jiān)測(cè)有采集樣品，在實(shí)驗(yàn)室中進(jìn)行分析得到最終結(jié)果。有的方法是布置硬件設(shè)備對(duì)環(huán)境進(jìn)行監(jiān)測(cè)[1]。通常采取布線(xiàn)連接方式，將各個(gè)傳感器組成一個(gè)或多個(gè)網(wǎng)絡(luò)，但是這樣會(huì)帶來(lái)布線(xiàn)的麻煩和成本的增加。目前比較常用的方法是傳感器結(jié)合ZigBee技術(shù)[2]進(jìn)行數(shù)據(jù)的采集和上傳，它比傳統(tǒng)環(huán)境監(jiān)測(cè)組網(wǎng)更靈活、成本更低。

對(duì)于Zigbee采集方法而言[3]，系統(tǒng)采集得到的環(huán)境數(shù)據(jù)由于硬件和環(huán)境因素的影響會(huì)隨機(jī)出現(xiàn)野值。不同的檢測(cè)環(huán)境也有不同的隨機(jī)野值出現(xiàn)[4?6]，不同的隨機(jī)野值需要不同的處理方法。針對(duì)一般環(huán)境變化平緩的野值錯(cuò)誤數(shù)據(jù)采用的是肖維涅剔除算法或改進(jìn)后的肖維涅剔除算法。對(duì)于環(huán)境噪聲比較大和惡劣的環(huán)境采用的是卡爾曼濾波Grubbs檢驗(yàn)和Dixon檢驗(yàn)等方法[7?8]。

呼倫湖是中國(guó)第五大湖[9?10]，也是中國(guó)北部地區(qū)重要的生態(tài)屏障。由于自然和人為的原因，湖水質(zhì)量惡化且水位逐年下降，影響了湖區(qū)漁業(yè)及周邊生態(tài)。所以對(duì)呼倫湖的環(huán)境監(jiān)測(cè)尤為重要。呼倫湖冬季晝夜溫差大，采用傳統(tǒng)的野值剔除方法會(huì)造成有效數(shù)據(jù)的丟失。本文從呼倫湖的特點(diǎn)出發(fā)，針對(duì)采集的環(huán)境數(shù)據(jù)變化趨勢(shì)，提出剔除野值改進(jìn)算法。設(shè)計(jì)了將無(wú)線(xiàn)傳感器網(wǎng)用于環(huán)境系統(tǒng)，通過(guò)ZigBee終端節(jié)點(diǎn)連接傳感器絡(luò)采集了呼倫湖的部分環(huán)境信息數(shù)據(jù)，并驗(yàn)證了本文算法的正確性。

1 采集數(shù)據(jù)的剔除算法

1.1 萊特準(zhǔn)則剔除野值

采集的環(huán)境數(shù)據(jù)由于受硬件環(huán)境等眾多的因素影響，會(huì)采集到一些隨機(jī)錯(cuò)誤即野值，這樣就需要進(jìn)行數(shù)據(jù)剔除。萊特準(zhǔn)則[4]，當(dāng)上傳的數(shù)據(jù)服從正態(tài)分布時(shí)，殘落在3倍標(biāo)準(zhǔn)差[-3σ，3σ]的概率超過(guò)了99.7%，落在此區(qū)域外的概率不超過(guò)0.3%，這樣就可以認(rèn)為殘差落于該區(qū)域以外的采集數(shù)值為野值。假設(shè)1組觀測(cè)序列為[x1，][x2，]…[，xn]，其在[xk]中存在野值數(shù)據(jù)點(diǎn)。用萊特準(zhǔn)則剔除野值首先要計(jì)算該采集數(shù)據(jù)的算術(shù)平均值：

再計(jì)算標(biāo)準(zhǔn)差σ：

根據(jù)原始采集序列x（i）和算術(shù)平均值[x]計(jì)算數(shù)據(jù)殘值[xb]：

將殘差[xb]逐一與3倍標(biāo)準(zhǔn)進(jìn)行比較，進(jìn)行野值檢驗(yàn)。如果[xb（i）≥3σ]，則與[xb（i）]對(duì)應(yīng)的采集數(shù)據(jù)[x（i）]為野值，應(yīng)當(dāng)剔除。由于野值本身會(huì)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)差求取精度產(chǎn)生影響，因此，萊特準(zhǔn)則一般需要循環(huán)進(jìn)行，即在一次野值剔除后的觀測(cè)數(shù)據(jù)基礎(chǔ)上，重新計(jì)算均值，并重新求取標(biāo)準(zhǔn)差[σ]，再次進(jìn)行野值剔除，直到得到滿(mǎn)意的結(jié)果為止。實(shí)驗(yàn)表明，一般循環(huán)2～3次就可以滿(mǎn)足要求。

由此可見(jiàn)，采用萊特準(zhǔn)則進(jìn)行野值剔除非常簡(jiǎn)單，容易實(shí)現(xiàn)；但是，萊特準(zhǔn)則存在一個(gè)約束條件，就是要求觀測(cè)數(shù)據(jù)服從正態(tài)分布。對(duì)于環(huán)境采集數(shù)據(jù)，如果采樣點(diǎn)數(shù)足夠長(zhǎng)，根據(jù)大數(shù)定律，可近似認(rèn)為其服從正態(tài)分布，直接利用萊特準(zhǔn)則可以獲得較好的野值剔除效果。而對(duì)于呼倫湖在夏、秋季溫濕度采集的數(shù)據(jù)，其變化緩慢，在冬季晝夜溫差大。此時(shí)，用萊特準(zhǔn)則進(jìn)行野值剔除難以得到理想的結(jié)果。

1.2 剔除野值方法的改進(jìn)

由于環(huán)境信息出錯(cuò)的概率比較小，根據(jù)大量實(shí)驗(yàn)觀察，以每大于20次以上出現(xiàn)一次，出現(xiàn)的最大概率為0.05%。由于每次信息采集傳輸?shù)臄?shù)據(jù)是相互獨(dú)立事件，所以?xún)纱芜B續(xù)出現(xiàn)錯(cuò)誤信息的概率為0.002 5%。連續(xù)三次以上出現(xiàn)錯(cuò)誤信息的概率更小，所以在數(shù)據(jù)剔除時(shí)就剔除一次的和連續(xù)兩次的。以剔除溫度野值為例，溫度在一天變化之中最大差值為[ΔT]，所以在t分鐘的變化最大值為[Tmax1=ΔTt24×60]，假設(shè)傳感器的最大誤差為[Te]，[Tmax]=[Tmax1+Te]。

取觀測(cè)值[x1，x2，…，xn]并求其平均值[S1][=1ni=1nx（i）]，并計(jì)算其標(biāo)準(zhǔn)差：

每隔t分鐘之后得到的溫度值[x（1），x（2），…，x（i）]。得到正確數(shù)據(jù)時(shí)，[S（k）]也是在時(shí)時(shí)更新：

如果[x（i）-S（k）≥Tmax]，這樣的數(shù)據(jù)屬于偏離真實(shí)值比較大的，則被認(rèn)為是錯(cuò)誤數(shù)據(jù)不再進(jìn)行比較，直接予以剔除。這樣就不需要每次與標(biāo)準(zhǔn)差進(jìn)行比較，可以提高剔除的效率。

如果[x（i）-S（k）≥Tmax]，則可能是合理數(shù)據(jù)也有可能是偏離真實(shí)值比較近的錯(cuò)誤值，這樣需要在進(jìn)行下一步的判斷。由于溫度、水位等信息變化比較平緩，概率分布圖像比較陡峭，所以采取直接與標(biāo)準(zhǔn)差進(jìn)行判斷。依然根據(jù)觀察值序列x（i）和算術(shù)平均值[S（k）]并計(jì)算數(shù)據(jù)殘值[xb]：

將殘差[xb]逐一與標(biāo)準(zhǔn)進(jìn)行比較，進(jìn)行野值檢驗(yàn)。如果[xb（i）≤σ]，則被認(rèn)為是準(zhǔn)確的環(huán)境信息數(shù)據(jù)。如果[xb（i）≥σ]，則與[xb（i）]對(duì)應(yīng)的采集數(shù)據(jù)[x（i）]為野值，應(yīng)當(dāng)剔除。若連續(xù)兩次且小于3次采集得到的數(shù)據(jù)[x（i）-S（k）≥Tmax]，則認(rèn)為是野值，這樣的值予以剔除。如果[x（i）-S（k）≤Tmax]，那么就需要在進(jìn)行之前與標(biāo)準(zhǔn)差比較，得出是否為野值。如果是就剔除，如果不是就保留，且時(shí)時(shí)更新[S（k）]。

在惡劣的天氣下，可能在某個(gè)短時(shí)間內(nèi)連續(xù)降溫將超過(guò)平常的最值。連續(xù)下雨也會(huì)影響到水位的大幅度變化。這樣需要進(jìn)行這樣特殊情況的判斷。假如三次及以上連續(xù)采集得到的數(shù)據(jù)都滿(mǎn)足[x（i）-S（k）≥Tmax]，這樣需要再進(jìn)行判斷是否為惡劣天氣所致。因?yàn)榄h(huán)境在惡劣下降時(shí)，也會(huì)在一個(gè)范圍之內(nèi)，假設(shè)下降或上升的最大值為[T1max]，若得到的三次及以上數(shù)據(jù)它們相互之間前一項(xiàng)和后一項(xiàng)的差值[x（i）-x（i-1）≥T1max，]則直接剔除。如果[x（i）-x（i-1）≤T1max，]則還需要進(jìn)行下一步的判斷。這時(shí)需要變化比較數(shù)據(jù)的第一個(gè)和S（k），如果[x（i）-S（k）≤T1max，]則視為正確的數(shù)據(jù)，予以保留更新S（k）。但是如果不滿(mǎn)足[x（i）-S（k）≤T1max，]則予以剔除。野值數(shù)據(jù)剔除整體的流程圖如圖1所示。

2 試驗(yàn)系統(tǒng)的搭建

本系統(tǒng)主要實(shí)現(xiàn)環(huán)境信息數(shù)據(jù)的采集和傳輸。由于現(xiàn)場(chǎng)復(fù)雜情況的制約，使用有線(xiàn)網(wǎng)絡(luò)時(shí)布線(xiàn)困難，所以采用技術(shù)先進(jìn)、價(jià)格低廉的ZigBee無(wú)線(xiàn)傳輸網(wǎng)絡(luò)，免除布線(xiàn)困擾的同時(shí)也節(jié)約了成本。本系統(tǒng)主要由四大部分組成：第一，環(huán)境信息采集的ZigBee終端節(jié)點(diǎn)、ZigBee網(wǎng)絡(luò)以及協(xié)調(diào)器；第二，接收Z(yǔ)igBee信息和控制GPRS環(huán)境信息的單片機(jī)MSP430[11]；第三，接收和存儲(chǔ)環(huán)境信息的后臺(tái)上位機(jī)；第四，由VC++ 6.0和SQL Server 2008制作的環(huán)境信息系統(tǒng)。系統(tǒng)的整體構(gòu)架圖見(jiàn)圖2。

本系統(tǒng)的ZigBee和不同傳感器作為環(huán)境信息采集的終端。選用的ZigBee的核心板CC2591自身集成了12位的ADC片內(nèi)資源，就直接可以測(cè)一些模擬量（如溫度、壓力、位移、圖像等）。獲取一些通過(guò)轉(zhuǎn)化得到的模擬量信息，通過(guò)ZigBee無(wú)線(xiàn)網(wǎng)絡(luò)傳輸給協(xié)調(diào)器。

2.1 ZigBee無(wú)線(xiàn)傳感器網(wǎng)絡(luò)

無(wú)線(xiàn)傳感器網(wǎng)絡(luò)由多個(gè)傳感器網(wǎng)絡(luò)節(jié)點(diǎn)構(gòu)成，本系統(tǒng)傳感器網(wǎng)絡(luò)節(jié)點(diǎn)的核心板采用CC2591芯片，該芯片是一種低功耗、低成本的無(wú)線(xiàn)微控制器，適用于IEEE 802.15.4協(xié)議和 ZigBee 軟件應(yīng)用。本系統(tǒng)接收多個(gè)不同終端節(jié)點(diǎn)采集的環(huán)境信息，網(wǎng)絡(luò)的通信方式采用的是廣播。無(wú)線(xiàn)傳感器網(wǎng)絡(luò)的傳感器如圖3所示。

2.2 控制器MSP430模塊設(shè)計(jì)

系統(tǒng)的核心控制器MSP430F149是美國(guó)德州儀器公司（TI）生產(chǎn)的一款16位RISC混合信號(hào)處理器，控制器的主要功能與用途是：接收通過(guò)ZigBee協(xié)調(diào)器的串口發(fā)送采集的環(huán)境信息數(shù)據(jù)；對(duì)信息進(jìn)行初加工和處理（主要是格式）；通過(guò)發(fā)送AT指令控制SIM900A模塊發(fā)送處理后的環(huán)境信息數(shù)據(jù)給上位機(jī)。

GPRS模塊選用SIM900A，它支持GSM和GPRS900[12]兩種模式?？刂破鞑糠值娜鐖D4所示。

2.3 傳感器模塊搭建

（1） 湖水液面高度：靜壓液位變送器[13]采用的是上海威爾太的WRT?136。通過(guò)測(cè)量由液位產(chǎn)生的靜壓力來(lái)確定液位高度。

（2） 水流量：流速傳感器由兩部分組成分別為流速傳感器和壓力變送器。

（3） pH值傳感器：pH值傳感器選用的是龍戈電子pH值檢測(cè)采集傳感器模塊（酸堿度傳感器）加pH復(fù)合電極 （酸度計(jì)電極）。

（4） 地面溫濕度傳感器：STH11單芯片傳感器是一款含有已校準(zhǔn)數(shù)字信號(hào)輸出的溫濕度復(fù)合傳感器。

（5） 水體溫度傳感器：水體溫度傳感器選用的是DS18B20，其具有體積小、硬件開(kāi)銷(xiāo)低、抗干擾能力強(qiáng)、精度高的特點(diǎn)。

2.4 系統(tǒng)的后臺(tái)設(shè)計(jì)

后臺(tái)上位機(jī)軟件編程使用VC++ 6.0，數(shù)據(jù)庫(kù)使用SQL Server 2008。監(jiān)控主機(jī)接收Z(yǔ)igBee協(xié)調(diào)器節(jié)點(diǎn)的各種數(shù)據(jù)并進(jìn)行處理，同時(shí)存儲(chǔ)到不同的界面窗口內(nèi)。系統(tǒng)上位機(jī)結(jié)構(gòu)如圖5所示。

3 實(shí)驗(yàn)結(jié)果

經(jīng)過(guò)幾個(gè)不同時(shí)間和地點(diǎn)進(jìn)行1 000次數(shù)據(jù)采集，得到改進(jìn)的萊特算法比傳統(tǒng)的算法正確率提高了。剔除前后的正確率如表1所示。

表1 采集數(shù)據(jù)剔除處理結(jié)果

由實(shí)驗(yàn)數(shù)據(jù)可知，經(jīng)過(guò)不同時(shí)間和不同時(shí)間間隔得到1 000次數(shù)據(jù)，在沒(méi)有數(shù)據(jù)剔除前數(shù)據(jù)正確率在94.5%～96.5%，傳統(tǒng)的萊特準(zhǔn)則剔除野值后得到的正確率在96.7%～98.0%。改進(jìn)后的萊特準(zhǔn)則剔除野值后得到的正確率為99.1%～99.9%。從實(shí)驗(yàn)數(shù)據(jù)可以得出改進(jìn)后的萊特剔除野值算法提高了數(shù)據(jù)的準(zhǔn)確性，且得到了驗(yàn)證。

4 結(jié) 語(yǔ)

本文設(shè)計(jì)了基于ZigBee無(wú)線(xiàn)傳感器網(wǎng)絡(luò)的環(huán)境信息監(jiān)測(cè)系統(tǒng)的軟硬件。實(shí)現(xiàn)了環(huán)境信息的采集與數(shù)據(jù)準(zhǔn)確性的判斷與保留更新。提出了萊特準(zhǔn)則改進(jìn)剔除野值的算法，在呼倫湖環(huán)境信息采集實(shí)驗(yàn)中，驗(yàn)證了該算法的有效性。

參考文獻(xiàn)

[1] 顧志銘.基于Zigbee的高壓電力電纜溫度監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].上海：上海交通大學(xué)，2012.

[2] 趙政華.基于ZigBee技術(shù)的無(wú)線(xiàn)溫、濕度監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北方工業(yè)大學(xué)，2010.

[3] 熊雙橋.基于ZigBee的遠(yuǎn)程無(wú)線(xiàn)倉(cāng)庫(kù)溫濕度環(huán)境智能監(jiān)測(cè)系統(tǒng)設(shè)計(jì)[D].成都：西華大學(xué)，2013.

[4] 貢麗潔.基于改進(jìn)Zigbee網(wǎng)絡(luò)算法的希尼爾水庫(kù)水情數(shù)據(jù)采集[J].云南水力發(fā)電，2015（4）：6?9.

[5] 金學(xué)軍.基于最小二乘擬合的外彈道測(cè)量數(shù)據(jù)野值剔除方法[J].四川兵工學(xué)報(bào)，2011（1）：20?23.

[6] 張婷，汪渤.連續(xù)型野值判別的新方法[J].東南大學(xué)學(xué)報(bào)（自然科學(xué)版），2005（z2）：225?227.

[7] 趙清華，趙立春.Dixon、Grubbs和Cochran法檢驗(yàn)程序在環(huán)境監(jiān)測(cè)中的應(yīng)用[J].山東環(huán)境，1997（3）：15?16.

[8] 張向東，潭洪恩.pc?1500袖珍計(jì)算機(jī)在數(shù)理統(tǒng)計(jì)中的應(yīng)用兼談Grubbs和Dixon檢驗(yàn)在應(yīng)用中的體會(huì)[J].干旱環(huán)境監(jiān)測(cè)，1987（2）：69?71.

[9] 顧潤(rùn)源，李思慧，趙慧穎，等.呼倫湖流域徑流對(duì)氣候變化的響應(yīng)[J].生態(tài)學(xué)雜志，2012（6）：1517?1524.

[10] 趙偉，楊培嶺，李海山，等.呼倫湖流域3種利用方式草場(chǎng)水土及氮磷流失特征[J].農(nóng)業(yè)工程學(xué)報(bào)，2011（9）：220?225.

[11] 楊平，王威.MSP430系列超低功耗單片機(jī)及應(yīng)用[J].國(guó)外電子測(cè)量技術(shù)，2008（12）：48?50.

[12] 翟順，王衛(wèi)紅，張衎，等.基于SIM900A的物聯(lián)網(wǎng)短信報(bào)警系統(tǒng)[J].現(xiàn)代電子技術(shù)，2012，35（5）：86?89.

[13] 汪遠(yuǎn).壓力式光纖液位傳感器的研究[D].西安：西北工業(yè)大學(xué)，2005.

[14] 龐娜，程德福.基于ZigBee無(wú)線(xiàn)傳感器網(wǎng)絡(luò)的溫室監(jiān)測(cè)系統(tǒng)設(shè)計(jì)[J].吉林大學(xué)學(xué)報(bào)（信息科學(xué)版），2010（1）：55?60.