龔 榮,謝寧新,李德倫,洪麗啦
(廣西民族大學(xué) a.人工智能學(xué)院,b.電子信息學(xué)院,廣西 南寧 530006)
隨著經(jīng)濟(jì)快速發(fā)展,城市工業(yè)和城鎮(zhèn)化排放的大量污染氣體造成嚴(yán)重的空氣污染。空氣污染對(duì)人類健康的危害逐日遞增,環(huán)保部門逐漸重視空氣質(zhì)量監(jiān)測(cè),并實(shí)時(shí)發(fā)布監(jiān)測(cè)數(shù)據(jù)。為增強(qiáng)空氣質(zhì)量預(yù)警能力和提高預(yù)警的精確度,學(xué)者們提出了多種空氣質(zhì)量指數(shù)(Air Quality Index,AQI)預(yù)測(cè)模型。精準(zhǔn)的預(yù)測(cè)模型能夠有效改善城市人民的生活,更是有效治理城市大氣污染的突破口之一??諝赓|(zhì)量指數(shù)通常反映了空氣污染的變化趨勢(shì),可為空氣污染治理措施提供數(shù)據(jù)支撐。由于AQI的復(fù)雜性和非線性等原因?qū)е骂A(yù)測(cè)精度低、穩(wěn)定性差。[1]
目前,學(xué)者提出了多種模型來(lái)預(yù)測(cè)空氣質(zhì)量指數(shù),主要有時(shí)間序列模型、回歸統(tǒng)計(jì)模型、神經(jīng)網(wǎng)絡(luò)模型[2]、組合預(yù)測(cè)模型[3]、機(jī)器學(xué)習(xí)預(yù)測(cè)模型[4]以及人工智能模型[5]等。這些模型在預(yù)測(cè)空氣質(zhì)量指數(shù)上都各有優(yōu)勢(shì)和不足。神經(jīng)網(wǎng)絡(luò)模型在處理非線性問(wèn)題中表現(xiàn)良好的性能,引起學(xué)者的廣泛關(guān)注。張辰等人[6]提出深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)空氣質(zhì)量,在一定程度上提高了預(yù)測(cè)準(zhǔn)確性,但預(yù)測(cè)模型在訓(xùn)練大量數(shù)據(jù)過(guò)程中需要耗費(fèi)較多的時(shí)間。張旭等人[7]運(yùn)用粒子群算法和遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)PM2.5濃度,較單獨(dú)使用BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)具有更強(qiáng)的性能。但BP網(wǎng)絡(luò)的反向傳播更新參數(shù)過(guò)程中存在訓(xùn)練速度慢、訓(xùn)練過(guò)程比較復(fù)雜等問(wèn)題。
極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)[8]是Huang等人基于廣義逆矩陣?yán)碚撎岢龅囊环N神經(jīng)網(wǎng)絡(luò),該方法能夠在極短時(shí)間內(nèi)快速獲得較好的泛化能力,且能夠避免神經(jīng)網(wǎng)絡(luò)因訓(xùn)練網(wǎng)絡(luò)而產(chǎn)生的耗時(shí)問(wèn)題。周伯榮等人[9]將ELM用于短時(shí)交通流預(yù)測(cè),比其他模型耗時(shí)更少。ELM預(yù)測(cè)模型通常采取隨機(jī)生成輸入權(quán)重和偏置,從而導(dǎo)致了預(yù)測(cè)精度不高。針對(duì)這個(gè)問(wèn)題,學(xué)者們運(yùn)用優(yōu)化算法的強(qiáng)大優(yōu)化能力優(yōu)化ELM的參數(shù),鄭皓天等人[10]將粒子群算法和ELM結(jié)合運(yùn)用在火災(zāi)探測(cè)模型中,提高了火災(zāi)探測(cè)能力;汪慧陽(yáng)等人[11]將遺傳算法和ELM結(jié)合用于通信干擾評(píng)估,相比傳統(tǒng)方法具有更優(yōu)的評(píng)估結(jié)果。隨著對(duì)優(yōu)化算法的深入研究,學(xué)者提出了一系列優(yōu)化能力更強(qiáng)的優(yōu)化算法。其中海洋捕食者算法(Marine Predator Algorithm,MPA)[12]同其他算法相比具有更好的優(yōu)化能力,該算法是由Faramarzi等人提出的一種新的元啟發(fā)式算法。MPA在解決實(shí)際問(wèn)題中展現(xiàn)出了較好的優(yōu)化能力,但仍然存在優(yōu)化能力不足的問(wèn)題。
為了提升MPA的性能,本文提出了一系列改進(jìn)方法來(lái)提高算法優(yōu)化能力。首先在MPA中通過(guò)隨機(jī)生成初始種群,使得初始解在搜索空間分布不均,導(dǎo)致初始種群多樣性不足。本文運(yùn)用準(zhǔn)反射學(xué)習(xí)策略對(duì)MPA種群進(jìn)行初始化,增強(qiáng)算法種群的多樣性,提升算法的探索能力。其次MPA的全局搜索能力不足,本文使用柯西擾動(dòng)思想降低算法陷入局部桎梏的可能,在一定程度上能夠提升算法的全局搜索能力。由于MPA算法在迭代過(guò)程中部分維度還未達(dá)到最優(yōu),本文通過(guò)縱橫交叉策略實(shí)現(xiàn)對(duì)維度間的學(xué)習(xí),進(jìn)一步提升搜索精度。最后將改進(jìn)后的算法優(yōu)化ELM的參數(shù),構(gòu)建了一種IMPA-ELM模型用于空氣質(zhì)量指數(shù)預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明本文所提IMPA-ELM模型在空氣質(zhì)量指數(shù)預(yù)測(cè)方面具有較高的精度和可靠性。
MPA的靈感來(lái)源于海洋生物的萊維運(yùn)動(dòng)和布朗運(yùn)動(dòng)捕食策略,以及捕食者和獵物之間的最佳遭遇策略。MPA也是一種基于種群的優(yōu)化算法,若種群數(shù)量為n并且個(gè)體維度為d,則用公式(1)表示初始種群。
公式(1)中,Xij表示第i個(gè)個(gè)體在第j維上的值,i∈[0,n],j∈[0,d]。Xmin和Xmax分別表示搜索空間的下界和上界。
MPA中的精英矩陣和獵物矩陣,分別用公式(2)、公式(3)表示:
公式(2)中,XI表示精英捕食者向量,精英矩陣是由該向量復(fù)制n次而構(gòu)建。MPA的優(yōu)化過(guò)程是根據(jù)不同的速度比分為3個(gè)階段。第1階段:高速比階段(v≥10),該階段發(fā)生在迭代前期。該階段主要進(jìn)行勘探行為,其位置更新如下:
在上述公式中,表示服從布朗運(yùn)動(dòng)的隨機(jī)數(shù)向量。P=0.5是一個(gè)常數(shù),∈(0,1)是一個(gè)均勻分布的隨機(jī)向量。
第2階段:?jiǎn)挝凰俣缺入A段(v=1),該階段發(fā)生在迭代中期。該階段表示種群從勘探到開(kāi)發(fā)的過(guò)渡,此時(shí)整個(gè)種群被劃分為兩個(gè)部分,其中一部分負(fù)責(zé)勘探,另一部分負(fù)責(zé)開(kāi)發(fā)。其位置更新如下:
在上述公式中,表示萊維分布的隨機(jī)數(shù)向量;CF表示移動(dòng)步長(zhǎng)。
第3階段:低速比階段(v=0.1),該階段發(fā)生在迭代后期。該階段主要負(fù)責(zé)開(kāi)發(fā)。其位置更新如下:
MPA中考慮到捕食環(huán)境變化對(duì)捕食者的影響,此階段的位置更新所示:
公式(13)中,F(xiàn)ADs=0.2表示受捕食環(huán)境變化影響的概率,U→是一個(gè)只包含0和1的二進(jìn)制向量。r是[0,1]中的均勻隨機(jī)數(shù)表示種群中兩個(gè)不重復(fù)的隨機(jī)個(gè)體。
極限學(xué)習(xí)機(jī)是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidden Layer Feedforward Neural Network,SLFNs)[8]。極限學(xué)習(xí)機(jī)不需要像BP神經(jīng)網(wǎng)絡(luò)中通過(guò)反向傳播訓(xùn)練使誤差降低。所以ELM不僅能減少預(yù)測(cè)模型的運(yùn)算量,并且該模型的學(xué)習(xí)效率高、泛化能力強(qiáng)。
極限學(xué)習(xí)機(jī)由輸入層、隱藏層、輸出層組成。假設(shè)有N個(gè)樣本數(shù)據(jù)為1,2,3,…,N},若具有L個(gè)隱藏層神經(jīng)元,激活函數(shù)為g( ? ),則輸出層的輸出結(jié)果可用下式表示:
在ELM模型中,ω和b的值是隨機(jī)生成的,而參數(shù)β則需要計(jì)算,因此ELM模型的主要任務(wù)是對(duì)參數(shù)β的計(jì)算。而在模型訓(xùn)練過(guò)程中,其輸出結(jié)果表示為:
公式(15)中,H為隱藏層節(jié)點(diǎn)的輸出,β為輸出權(quán)重,T為輸出層節(jié)點(diǎn)的期望輸出。其H,β,T用矩陣分別表示為:
為了能夠在模型訓(xùn)練結(jié)束后,期望訓(xùn)練的結(jié)果最大程度接近真實(shí)值,只需要ELM模型滿足公式(18)即可。
公式(18)通過(guò)數(shù)學(xué)方法可以求出:
其中,H+為矩陣H的Moore-Penrose廣義逆。
在MPA中種群的初始化是隨機(jī)生成的。這種方式使得初始解在搜索空間分布不均,導(dǎo)致初始種群多樣性不足。因此本文提出準(zhǔn)反射學(xué)習(xí)(quasi-reflection-based learning,QRBL)[13]初始化種群來(lái)增強(qiáng)MPA初始種群的多樣性,提升算法的探索能力。
準(zhǔn)反射學(xué)習(xí)也稱擬反射學(xué)習(xí),是反向?qū)W習(xí)(opposition-based learning, OBL)的一種變體。文獻(xiàn)[14]表明準(zhǔn)反射學(xué)習(xí)比反向?qū)W習(xí)更可能接近全局最優(yōu)解。定義1和定義2給出了準(zhǔn)反射學(xué)習(xí)的概念。
定義1若x為實(shí)數(shù)并且x∈[a,b],那么x的準(zhǔn)反射數(shù)可表示為xˉqr=rand((a+b)/2,x),其中rand()表示服從均勻分布的隨機(jī)數(shù)。
定 義2若P={x1,x2,…,xn}為 一 個(gè)n維 向 量 空 間 的 點(diǎn),其 中x1,x2,…,xn都 為 實(shí) 數(shù) 且xi∈[a,b],?i∈{1,2,…,n}。則P的 準(zhǔn) 反 射 點(diǎn),其 中可 表 示 為,而rand((ai+bi)/2,xi)表示在(ai+bi)/2與xi之間均勻分布的隨機(jī)點(diǎn)。
準(zhǔn)反射學(xué)習(xí)引入到MPA中的種群初始化階段生成初始種群的具體步驟為:假設(shè)算法初始種群數(shù)量為n,首先通過(guò)隨機(jī)策略生成n個(gè)個(gè)體,再用準(zhǔn)反射學(xué)習(xí)方法生成n個(gè)個(gè)體。然后計(jì)算適應(yīng)度函數(shù)值,根據(jù)適應(yīng)度函數(shù)值選擇最優(yōu)個(gè)體,這種方法能夠有效地遍歷搜索空間,一定程度上能夠增加找到全局最優(yōu)解的概率。
柯西變異[15]來(lái)源于柯西分布,一維標(biāo)準(zhǔn)柯西分布的概率密度函數(shù)表達(dá)式為:
圖1為兩種常見(jiàn)分布的概率密度函數(shù)曲線,從圖1可以看出柯西分布兩端更扁平,趨近于0的趨勢(shì)更平緩,速度更緩慢,并在原點(diǎn)附近的峰值小于高斯分布。本文將柯西變異引入MPA的位置更新中,發(fā)揮其擾動(dòng)能力,能夠在一定程度上提升算法的全局尋優(yōu)能力?;诳挛髯儺惖奈恢酶路绞綖椋?/p>
圖1 標(biāo)準(zhǔn)高斯分布、柯西分布概率密度函數(shù)曲線
公式(21)中,Cauchy表示服從柯西分布的柯西算子,Xi為當(dāng)前獵物的位置,Xnewi為柯西擾動(dòng)后獵物的位置。
MPA算法在迭代過(guò)程中,尤其是在迭代后期過(guò)程中,個(gè)體同化程度逐漸升高,某些個(gè)體的部分維度未達(dá)到最優(yōu),導(dǎo)致了這些個(gè)體的適應(yīng)度差。因此在FADs影響后的種群中引入縱橫交叉策略[16-17]對(duì)種群個(gè)體進(jìn)行修正,該策略能夠加快算法的收斂速度,提高算法的精度。
2.3.1 水平交叉
水平交叉是指對(duì)兩個(gè)不同的個(gè)體在所有維度上進(jìn)行算術(shù)交叉,使得不同個(gè)體之間能夠相互學(xué)習(xí),增強(qiáng)搜索能力。在執(zhí)行水平交叉時(shí),將設(shè)置兩兩不重復(fù)的父代個(gè)體X(i)和X(j),并且以交叉概率p1進(jìn)行算術(shù)交叉,通常設(shè)置p1=1。父代交叉通過(guò)公式(22)、(23)產(chǎn)生子代個(gè)體:
公式(22)、(23)中,r1、r2均為[0,1]之間的隨機(jī)數(shù);c1、c2均為[-1,1]之間的隨機(jī)數(shù);X(i,d)、X(j,d)分別表示為第d維的父代X(i)和X(j)分別表示為父代X(i)、X(j)在第d維交叉后產(chǎn)生的子代。生成的子代個(gè)體與父代個(gè)體進(jìn)行競(jìng)爭(zhēng),最終保留最優(yōu)個(gè)體。
2.3.2 垂直交叉
垂直交叉是指兩個(gè)不同維度之間對(duì)所有個(gè)體進(jìn)行算術(shù)交叉。在迭代過(guò)程中,垂直交叉搜索的父種群是來(lái)自水平交叉的優(yōu)勢(shì)種群,這就能夠防止種群陷入局部最優(yōu)。垂直交叉只產(chǎn)生一個(gè)子代個(gè)體,為停滯維度提供跳出局部最優(yōu)的機(jī)會(huì),而不會(huì)破壞另一個(gè)可能是全局最優(yōu)的維度。假設(shè)對(duì)個(gè)體i的第d1維和d2維進(jìn)行垂直交叉,子代個(gè)體可通過(guò)公式(24)得到:
基于上述分析,改進(jìn)后的海洋捕食者算法流程圖如圖2所示。
圖2 改進(jìn)后的海洋捕食者算法流程圖
ELM中輸入權(quán)重和偏置這兩個(gè)參數(shù)具有不確性,導(dǎo)致ELM預(yù)測(cè)出現(xiàn)精度低的問(wèn)題。為解決該問(wèn)題,本文利用IMPA對(duì)ELM的輸入權(quán)重和偏置這兩個(gè)參數(shù)優(yōu)化,從而建立IMPA-ELM模型并將應(yīng)用到空氣質(zhì)量指數(shù)預(yù)測(cè)中。
在建立預(yù)測(cè)模型中首先需要對(duì)數(shù)據(jù)進(jìn)行歸一化處理。歸一化處理便于消除量綱差異對(duì)預(yù)測(cè)結(jié)果的干擾,能夠加快程序收斂速度。歸一化公式如公式(25)所示:
其中,X為歸一化后的數(shù)據(jù),x為原始數(shù)據(jù),xmin、xmax分別代表原始數(shù)據(jù)中的最小值和最大值。
基于IMPA-ELM的空氣質(zhì)量指數(shù)預(yù)測(cè)流程圖如圖3所示。
圖3 IMPA-ELM模型預(yù)測(cè)流程圖
為驗(yàn)證本文所提方法的有效性,本文使用的數(shù)據(jù)來(lái)自華為杯第十八屆中國(guó)研究生數(shù)學(xué)建模提供的數(shù)據(jù)。該數(shù)據(jù)集提供了從2019年4月16日至2021年7月12日的6種污染物,包括SO2、NO2、O3、CO、PM2.5、PM10的監(jiān)測(cè)濃度。由于受監(jiān)測(cè)數(shù)據(jù)權(quán)限和監(jiān)測(cè)設(shè)備功能限制,部分污染物監(jiān)測(cè)數(shù)據(jù)缺失,經(jīng)過(guò)分析所給數(shù)據(jù)的關(guān)聯(lián)性,利用各污染物的日均值對(duì)數(shù)據(jù)的缺失值進(jìn)行填充。在應(yīng)用預(yù)測(cè)算法前,應(yīng)將數(shù)據(jù)集中的異常值作為噪聲去除,否則預(yù)測(cè)結(jié)果會(huì)出現(xiàn)較大的誤差。經(jīng)過(guò)處理后的數(shù)據(jù)集的各項(xiàng)統(tǒng)計(jì)指標(biāo)如表1所示。本文按照大約8∶2的比例劃分訓(xùn)練集和測(cè)試集,選取2019年4月16日至2021年3月15日的數(shù)據(jù)作為訓(xùn)練集,選取2021年3月16日至2021年7月12日的數(shù)據(jù)作為測(cè)試集。實(shí)驗(yàn)環(huán)境是在操作系統(tǒng)為Windows 11、處理器為Intel Core i7 2.90 GHz、內(nèi)存為16 GB和MATLAB R2014b上完成的。
表1 各項(xiàng)數(shù)據(jù)統(tǒng)計(jì)指標(biāo)
為了定量評(píng)估所提模型的預(yù)測(cè)性能,本文采用表2所示的3個(gè)指標(biāo)對(duì)不同模型的預(yù)測(cè)結(jié)果進(jìn)行比較。這3個(gè)指標(biāo)主要衡量了預(yù)測(cè)值和真實(shí)值之間的偏差,反映了模型的預(yù)測(cè)精度,其值越小則表明模型預(yù)測(cè)精度越高。
表2 三種評(píng)估指標(biāo)
為了比較所提出的IMPA-ELM預(yù)測(cè)模型的有效性,本文將粒子群算法(Particle Swarm Optimization,PSO)[18]、鯨魚優(yōu)化算法(Whale Optimization Algorithm,WOA)[19]分別和ELM結(jié)合構(gòu)造了兩種預(yù)測(cè)模型,簡(jiǎn)寫為PSO-ELM和WOA-ELM。同時(shí)也使用ELM作為對(duì)比實(shí)驗(yàn)。為確保實(shí)驗(yàn)的公平性,本文將優(yōu)化算法的種群規(guī)模設(shè)為20,優(yōu)化參數(shù)的搜索范圍設(shè)為[-1,1],算法的最大迭代次數(shù)設(shè)為100。由于智能算法存在一定的隨機(jī)性,因此本文將每種算法獨(dú)立重復(fù)運(yùn)行10次。此外ELM的隱含層節(jié)點(diǎn)數(shù)設(shè)為100,激活函數(shù)使用sigmoid。在實(shí)驗(yàn)過(guò)程中粒子群算法的相關(guān)參數(shù)設(shè)置為c1=1.495,c2=1.495,ω=1,ωdamp=0.99;鯨魚優(yōu)化算法的相關(guān)參數(shù)設(shè)置為b=1。
為了直觀說(shuō)明IMPA-ELM預(yù)測(cè)模型的效果,圖4給出了四種模型預(yù)測(cè)空氣質(zhì)量指數(shù)的預(yù)測(cè)結(jié)果圖,表3給出了四種模型在預(yù)測(cè)空氣質(zhì)量指數(shù)的預(yù)測(cè)誤差;圖5為對(duì)應(yīng)的直方圖。從表3可以看出在各個(gè)誤差指標(biāo)下誤差最小的是IMPA-ELM模型,表明本文所提的預(yù)測(cè)模型能顯著提升空氣質(zhì)量指數(shù)的預(yù)測(cè)能力;在預(yù)測(cè)誤差上,IMPA-ELM模型的平均RMSE、平均MAE和平均MAPE分別為4.287、2.188、3.933%,和ELM相比,IMPA-ELM的三種誤差平均值分別降低了30.78%、40.98%、43.84%;和PSO-ELM模型相比,IMPAELM模型的誤差分別降低了34.35%、18.11%、11.38%;和WOA-ELM模型相比,IMPA-ELM模型的誤差分別降低了32.55%、20.35%、16.50%。
表3 四種模型的平均預(yù)測(cè)誤差
從圖4可以看出IMPA-ELM模型在預(yù)測(cè)中能體現(xiàn)出更好的效果,相比其他幾種預(yù)測(cè)模型在部分單點(diǎn)處的預(yù)測(cè)效果更好,這說(shuō)明IMPA-ELM模型的泛化能力更好,能實(shí)現(xiàn)較高的擬合精度。圖5表明IMPA-ELM模型在空氣質(zhì)量指數(shù)預(yù)測(cè)問(wèn)題上和其他模型相比具有明顯的優(yōu)勢(shì),而PSO和WOA優(yōu)化的ELM模型在預(yù)測(cè)中泛化能力差,導(dǎo)致RMSE高于ELM預(yù)測(cè)結(jié)果。表明IMPA算法可以進(jìn)一步提高全局搜索能力,能有效優(yōu)化ELM的權(quán)重和偏置。
圖4 四種模型的空氣質(zhì)量指數(shù)預(yù)測(cè)值與真實(shí)值的比較
圖5 四種模型的平均預(yù)測(cè)誤差對(duì)比圖
本文針對(duì)ELM預(yù)測(cè)過(guò)程中輸入層到隱藏層權(quán)重和偏置隨機(jī)初始化導(dǎo)致預(yù)測(cè)結(jié)果精度不高的問(wèn)題,提出了IMPA-ELM的預(yù)測(cè)模型。利用改進(jìn)后的海洋捕食者算法優(yōu)化ELM的權(quán)重和偏置,將優(yōu)化后的ELM模型用于空氣質(zhì)量指數(shù)預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明,本文所提出的預(yù)測(cè)方法相對(duì)于其他幾種預(yù)測(cè)方法在預(yù)測(cè)精度和可靠性方面更具有優(yōu)勢(shì)。