k近鄰算法在空氣質(zhì)量測定方面的應用—臭氧日判斷

呂昊芝

（山東省濰坊第一中學，山東濰坊，261000）

1 概述

1.1 重要性和意義

臭氧（O3）又稱為超氧，是氧氣的同素異形體，大氣中的臭氧層可以吸收太陽釋放出來的絕大部分紫外線，使人免遭紫外線造成的侵害。然而，超標的地表臭氧會對人體造成傷害，它會強烈刺激人的眼睛和呼吸道，還會造成人的神經(jīng)中毒，對人體皮膚中的維生素E也會起到破壞作用。因此，測定地標臭氧濃度是否超標必須引起人們的高度重視。

國內(nèi)外的許多專家投身于對該指標的分析和預測中，臭氧日一詞隨之誕生，本文選用臭氧八小時作為臭氧日污染衡量標準，即一天中臭氧最高的連續(xù)8小時的平均濃度值。相較于過去落后的針對空氣質(zhì)量的人工推算，利用機器學習分析大氣問題可以極大提高預測的準確率，同時也可以縮短分析預測所需時間，從而保證空氣質(zhì)量預報的時效性，因此該研究具有極其深刻的現(xiàn)實意義。

1.2 國內(nèi)外研究現(xiàn)狀

隨著我國科技水平的快速提高、大氣領域數(shù)據(jù)量的增多，傳統(tǒng)空氣質(zhì)量測定方法的弊端不斷暴露，傳統(tǒng)法易出現(xiàn)主觀判斷失誤、分析預測速度較慢等一系列問題。相對比而言，人工智能應用于空氣質(zhì)量預測能夠?qū)Υ髿庀嚓P的海量數(shù)據(jù)進行極其有效的處理，并且其本身在進行數(shù)據(jù)挖掘時的高效性和準確性都成為了它獨特的優(yōu)勢。

由于“人工智能+空氣測定”前景廣闊，政府部門及企業(yè)都紛紛布局該領域。比如，由微軟亞洲互聯(lián)網(wǎng)工程院在2014年發(fā)布的人工智能機器人能夠收集能夠整合來自全國3000多個站點的數(shù)據(jù)，在極短的時間內(nèi)作出對霧霾的預測；IBM推出的“綠色地平線”項目也能夠通過機器學習方式對數(shù)據(jù)進行學習，完善對不同地區(qū)污染程度的預測；騰訊公司也在2017年與深圳市氣象局攜手打造了“互聯(lián)網(wǎng)+氣象”的新模式，它能夠依托騰訊擁有的海量用戶基礎，打造面向個人的定制化氣象服務。 由此可見，人工智能與環(huán)境科學的結合正在一步步走進我們的生活。

1.3 本研究創(chuàng)新點

本研究在空氣質(zhì)量領域?qū)崿F(xiàn)了與機器學習的融合，通過已知的臭氧日數(shù)據(jù)集和k近鄰機器學習算法來構建概率模型，之后收集某一天天氣狀況和大氣各項指標的輸入信息，通過該機器學習模型對輸入數(shù)據(jù)進行分析，從而判斷該天大氣臭氧是否超標，即是否為臭氧日，極大提高了大氣預測的準確度和時效性。

2 機器學習和訓練數(shù)據(jù)集介紹

2.1 機器學習背景知識介紹

本文通過機器學習算法對某天是否為臭氧日進行分析和預測，是個典型的二分類監(jiān)督學習問題。

機器學習研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學習行為，以獲取新的知識或技能，從而使自身擁有更強大的預測能力，它是使計算機具有智能的根本途徑。監(jiān)督式機器學習是從標記的訓練數(shù)據(jù)來構建概率模型的機器學習方法，在監(jiān)督學習中，每個實例都是由一個輸入對象即該實例的特征向量和一個期望的輸出值即該實例的標簽組成。

2.2 訓練數(shù)據(jù)集介紹

本文利用的數(shù)據(jù)集來自UC Irvine Machine Learning Repository 網(wǎng) 站 (http：//archive.ics.uci.edu/ml/index.php)，數(shù)據(jù)集名稱為《Ozone Level Detection Data Set》，該數(shù)據(jù)集包含七年內(nèi)（1998至2004年）美國Houston、Galveston以及Brazoria地區(qū)每一天的大氣相關數(shù)據(jù)。其中共有2536個樣本，每個樣本具有73個特征，其中第1項特征為日期，不包含在機器學習建模內(nèi)；其余特征值為大氣相關特征指標，均為連續(xù)值，用于機器學習建模。該數(shù)據(jù)集的目的為預測某天是否為臭氧日，其中標簽0表示該日不是臭氧日，1表示該日為臭氧日。

臭氧日數(shù)據(jù)集中各特征極其特征解釋如表1所示。

表1 特征名稱及含義

RH85 在850hpa環(huán)境下的相對濕度U85 在850hpa環(huán)境下的東西方向的風速V85 在850hpa環(huán)境下的南北方向的風速HT85 在850hpa環(huán)境下的位勢高度T70 在700hpa環(huán)境下的氣溫RH70 在700hpa環(huán)境下的相對濕度U70 在700hpa環(huán)境下的東西方向的風速V70 在700hpa環(huán)境下的南北方向的風速HT70 在700hpa環(huán)境下的位勢高度T50 在500hpa環(huán)境下的氣溫RH50 在500hpa環(huán)境下的相對濕度U50 在500hpa環(huán)境下的東西方向的風速V50 在500hpa環(huán)境下的南北方向的風速HT50 在500hpa環(huán)境下的位勢高度KI K指數(shù)TT 氣溫總值SLP 海平面氣壓SLP_ 海平面氣壓相較于前一天的變化Precp 降水量

3 k近鄰模型

3.1 k近鄰算法介紹

3.1.1 算法原理

k近鄰法于1968年由Cover和Hart提出，是一種基本分類與回歸方法，它的優(yōu)點是易于理解、精度高、理論成熟。其原理為：將新樣本數(shù)據(jù)點輸入到包含所有訓練數(shù)據(jù)集所有樣本點的n維空間中，利用距離度量計算所有訓練集樣本點與新樣本點之間的距離，選取k個最近點，最后利用某種分類決策規(guī)則確定新樣本所屬類別。

圖1 為k近鄰算法的原理圖。

圖1 算法原理圖

K近鄰算法的一個例子可以從圖1中看到，未知點有兩類：三角形或方形。如果K=3，新樣本點就被分為三角形類，因為在與它距離最小的3個點中，有2個三角形和1個方形；而如果k=5，新樣本點就被分為方形類，因為在與它距離最小的5個點中，有2個三角形和3個方形；當k=9時，新樣本點就會被分為三角形類，因為此時與它距離最小的9個點中有5個三角形和4個方形。

3.1.2 基本要素

針對以上原理，可見k近鄰算法包含三個基本要素，即k值的選擇、距離度量、分類決策規(guī)則。

①k值的選擇會對k近鄰算法的結果產(chǎn)生很大影響，如果k值過小，即使用較小鄰域內(nèi)的訓練樣本點對新樣本進行預測，則會使預測結果依賴近鄰的個別實例點，從而產(chǎn)生過擬合現(xiàn)象；相反，如果k值過大，即使用較大鄰域內(nèi)的訓練樣本點對新樣本進行預測，則容易忽略訓練樣本中與新樣本相似的樣本點的大量有用信息，使得k近鄰模型過于簡單，從而產(chǎn)生欠擬合現(xiàn)象。本文利用交叉驗證法來選取對于該預測問題的最優(yōu)的k值。

②距離度量衡量兩個實例點之間的距離，用于判斷兩個點的相似程度。本文使用的是歐式距離，公式為：

其中，d(x,y)表示點x與點y的歐式距離，xi表示點x的第i項特征，yi表示點y的第i項特征。

③分類決策規(guī)則的作用為決定新輸入樣本點x的類別y，本文所采用的是多數(shù)表決，公式為：

其中 i=1,2,...,N ；j=1,2,...,K，Nk(x)為涵蓋k個最近的訓練樣本點的x的鄰域。I為指示函數(shù)， yi為新樣本標簽，cj為第j類，當yi=cj時I為1，否則為0。

3.2 基于k近鄰算法的模型構建

k近鄰算法的模型是包含訓練數(shù)據(jù)集所有樣本點的n維空間，其中n為樣本特征數(shù)。本文構建該模型即把臭氧日數(shù)據(jù)集中2536個樣本根據(jù)其特征值輸入到維數(shù)為72的特征空間中。

3.3 利用模型對新數(shù)據(jù)進行分析和預測

通過信息采集得到一個某天的天氣相關數(shù)據(jù)指標，后將該數(shù)據(jù)傳入上文構建完成的k近鄰機器學習算法模型中，計算出所有樣本點與新樣本點的歐式距離，并將距離由小到大排序，取與新本點距離最近的k個訓練集樣本點，所選取樣本點中哪個類別出現(xiàn)的頻率最多，新樣本點就被歸為哪個類別標簽。

3.4 交叉驗證衡量模型準確率

將臭氧日數(shù)據(jù)集分為訓練集和測試集兩部分，分別為70%和30%，樣本個數(shù)分別為1775和761。其中，訓練集用來構建模型，測試集用來測試模型的準確率。本研究k值在10至50內(nèi)選取，針對k的每個取值構建模型，因此k近鄰模型個數(shù)為41，利用交叉驗證計算每個模型的預測準確率，選擇準確率最高的模型作為本研究的臭氧日預測評估模型，其中準確率表達式為：

其中m表示測試集被正確分類的樣本，m′為測試集總樣本。

3.5 試驗結果及評價

本研究利用Python的sklearn機器學習庫來訓練模型并得到模型的準確度，將當k取10至50時的模型訓練結果即準確率保存在名為kvalues的列表中,將列表中的最大值保存在max_value變量中，機器執(zhí)行結果如圖2所示。

圖2 執(zhí)行結果圖

由圖2可知，當k取不同值時，k近鄰模型準確率在0.92和0.96之間，最好的準確率為95.8%,程序運行時間約為7.89秒，很好地體現(xiàn)了人工智能應用于空氣質(zhì)量測定的高準確度和及時性的優(yōu)點。

4 研究整體過程總結

本研究流程圖如圖3所示。

圖3 總流程圖

整體流程分為兩大部分，即模型構建階段和預測分析階段。

①模型構建階段：本研究從臭氧日訓練數(shù)據(jù)集出發(fā)，利用k近鄰機器學習算法對該數(shù)據(jù)進行建模分析，得到該系統(tǒng)的核心，即臭氧日預測概率模型。

②預測分析階段：收集某一天的大氣相關數(shù)據(jù)，總結出數(shù)據(jù)集中所包含的72項特征，接著系統(tǒng)自動將該特征值進行格式化，即利用Excel電子表格進行封裝。之后將封裝好的新樣本的特征傳入到第①階段所構建的臭氧日預測概率模型中，經(jīng)過系統(tǒng)模型的分析，最終預測出樣本的標簽（1或0），即表示該日是否臭氧超標的結果。

5 結語

隨著近年來人們生活水平的提高，人們對空氣質(zhì)量預測的要求也越來越高，但如今氣象預測不準確、有延遲的弊端嚴重影響了人們的生活質(zhì)量。本研究從該角度入手，將人工智能與氣象領域進行結合，以提高氣象預測的準確率和時效性，從而使人們能夠享有較高質(zhì)量的生活。

但是，受到科技水平的限制，使得供機器學習使用的數(shù)據(jù)集不夠充分，格式也不夠規(guī)范，這兩個因素共同導致了本文機器學習模型預測不能達到完全正確。不過，隨著我國科技發(fā)展和國家政府對于氣象預測領域的重視，筆者相信，機器學習終將登上歷史的舞臺，對人們的生活做出不可忽視的貢獻。