謝乃明
(1.南京航空航天大學 灰色系統(tǒng)研究所,江蘇 南京 211106;2.南京航空航天大學 經(jīng)濟與管理學院,江蘇 南京 211106)
預測是決策的基礎,決策是預測的結果,較為準確的預測能夠提高決策的科學性和有效性。系統(tǒng)預測是指根據(jù)現(xiàn)有系統(tǒng)或擬建系統(tǒng)的過去和現(xiàn)在發(fā)展規(guī)律,借助科學的方法和手段,對系統(tǒng)未來的發(fā)展進行估計和測定,形成科學的假設和判斷。近年來,預測分析發(fā)展迅速,以預測分析為主體的數(shù)據(jù)挖掘技術變得炙手可熱且愈發(fā)流行,這種現(xiàn)象的出現(xiàn)既有以大數(shù)據(jù)分析為基礎的預測挖掘技術的推波助瀾,更得益于人們對預測建模的深度理解。而預測分析的核心是針對不同的問題情景構建系統(tǒng)預測演化的數(shù)學模型或其他模型,因此,掌握系統(tǒng)演化規(guī)律和預測建模機理成為有效預測的關鍵。隨著不同預測主題的深入研究,預測方法理論研究也逐步細分為統(tǒng)計與經(jīng)濟預測、貝葉斯預測、組合預測、數(shù)據(jù)驅動的預測等不同類型,預測方法應用研究也分成了供應鏈預測、金融預測、能源預測、環(huán)境預測、社會和人口預測等。[1]
由于系統(tǒng)內外擾動的客觀存在和人們認識水平和能力的局限,人們在構建系統(tǒng)預測模型時所收集的信息常常帶有某種不確定性,20世紀后半葉,包括模糊數(shù)學[2]、粗糙集[3]、灰色系統(tǒng)理論[4]等各種測度不確定性的新理論涌現(xiàn),也不斷和已有的系統(tǒng)預測思想相融合,形成了一系列系統(tǒng)預測新模型、新方法。灰色系統(tǒng)理論由中國學者鄧聚龍教授所創(chuàng)立,其研究出發(fā)點是研究“部分信息已知、部分信息未知”的“少數(shù)據(jù)”“灰元信息”等貧信息不確定現(xiàn)象的系統(tǒng),通過對系統(tǒng)的部分已知貧信息的挖掘、生成和建模,使得系統(tǒng)演化特征得以涌現(xiàn),進而能夠實現(xiàn)對系統(tǒng)進行科學評價、預測、決策和控制優(yōu)化?;疑A測模型是灰色系統(tǒng)理論核心內容之一,其思想是通過特有的累加生成變換進行序列數(shù)據(jù)建模,把原始數(shù)據(jù)序列不明顯的變化趨勢通過累加變換后呈現(xiàn)明顯的增長趨勢,并用灰色差分方程和灰色微分方程對變換后的數(shù)據(jù)進行建模,最后用累減生成進行數(shù)據(jù)模擬和預測。
根據(jù)文獻檢索,最早見諸報道的灰色預測模型提出于1984年,灰色系統(tǒng)理論創(chuàng)始人鄧聚龍教授在對糧食長期預測中首次提出灰色動態(tài)模型[5]。依據(jù)鄧聚龍教授最初的建模思想,灰色預測模型可以簡單表達為定義1。
定義1
設原始時間數(shù)據(jù)序列為{xi(t1),xi(t2),…,,若為{xi(t1),xi(t2),…,xi(tn)}的累加生成序列,則
稱為GM(n,h)模型,其中式(1)稱為GM(n,h)模型的微分形式或連續(xù)形式,式(2)稱為GM(n,h)模型的差分形式或離散形式,n代表微分或者差分的階數(shù),h代表模型變量個數(shù)。當n=1,h=1時,GM(n,h)模型變成GM(1,1)模型;當n=2,h=1時,GM(n,h)模 型 變 成GM(2,1)模 型;當n=1,h=N時,GM(n,h)模型變成GM(1,N)模型;以此類推。
根據(jù)鄧聚龍教授對灰色預測模型的定義和內涵解析,灰色預測模型與其他預測方法相比有幾個新的建模思想:一是不同于其他預測模型的直接數(shù)據(jù)建模,而是通過對數(shù)據(jù)序列的映射處理,為微分擬合建模提供中間信息;二是通過數(shù)據(jù)的序列生成弱化原始數(shù)據(jù)序列的隨機性,尤其是對非平穩(wěn)數(shù)據(jù)序列隨機性的弱化;三是提出模塊預測和累加生成思想進行建模。在此基礎上采用微分擬合建模方法構建了灰色預測模型的上述通用形式GM(n,h)模型。其后,鄧聚龍教授基于現(xiàn)實案例的總結提煉,針對灰色預測模型在社會經(jīng)濟應用案例進一步提煉了五步建模思想[6]。并根據(jù)灰色預測建模所面臨的單變量情景和多變量情景分別細化為GM(1,1)模型和GM(1,N)模型。其中,序列生成是灰色預測模型與其他預測方法的重要區(qū)別之一,在實際問題建模過程中,考慮時間序列數(shù)據(jù)的隨機性以及數(shù)據(jù)量的有限性,難以準確度量數(shù)據(jù)序列潛在的演化規(guī)律,鄧聚龍教授提出建立時間序列數(shù)據(jù)的累加結構,即累加生成算子,通過序列的累加生成挖掘出序列的動態(tài)變動規(guī)律[7],再根據(jù)累加生成后的數(shù)據(jù)進行建模,從而取得良好的模擬和預測效果。本質上,累加生成是對原始數(shù)據(jù)序列演化規(guī)律的挖掘,起到對系統(tǒng)演化的非參數(shù)可視化模式辨識作用;主要適用于系統(tǒng)演化規(guī)律相對穩(wěn)定,且數(shù)據(jù)量有限導致系統(tǒng)規(guī)律可視化不明顯情景,對于系統(tǒng)演化規(guī)律相對穩(wěn)定數(shù)據(jù)量大的情景也可以取得較好的模擬和預測效果。對于系統(tǒng)演化規(guī)律不夠穩(wěn)定的情景,則需要對于數(shù)據(jù)序列進一步挖掘才能取得良好的建模效果,如系統(tǒng)演化過程加速增長、加速衰減及振蕩變化等情景,采用常規(guī)性累加生成數(shù)據(jù)挖掘效果就不夠好。針對這些復雜情景,劉思峰教授提出了緩沖算子的思想,包括強化緩沖算子和弱化緩沖算子,在深入研究緩沖算子性質與作用機理基礎上,形成了包括平均弱化緩沖算子、加權平均弱化緩沖算子、分數(shù)階平均弱化緩沖算子、分數(shù)階加權平均弱化緩沖算子、平均強化緩沖算子,加權平均強化緩沖算子、分數(shù)階平均強化緩沖算子、分數(shù)階加權平均強化緩沖算子等在內的緩沖算子體系;通過運用緩沖算子對沖系統(tǒng)演化的沖擊擾動干擾,還原了系統(tǒng)的演化規(guī)律,提高了預測效果,詳細內容可見劉思峰教授的經(jīng)典著作[8],此處不再贅述。
灰色預測模型的建模過程與其他預測模型的建模過程基本一致,大致可以分成模型變量選擇、原始數(shù)據(jù)收集與處理、建模數(shù)據(jù)序列生成、模型結構選擇、背景值序列生成、模型參數(shù)求解、模型性質分析、數(shù)值模擬誤差分析、預測應用等步驟(如圖1所示)。但其中建模數(shù)據(jù)序列生成和背景值序列生成是灰色預測模型所獨有,與其他預測模型不同。
圖1 灰色預測模型的一般步驟
以GM(1,1)模型為例,其建模步驟可以簡單總結為以下幾步:
步驟1:收集建模指標原始序列數(shù)據(jù)x={x(t1),x(t2),…,x(tn)};
步驟2:計算建模序列生成數(shù)據(jù)y=
步驟4:結合模型離散形式x(tk)+ay(tk)=b或均值形式,運用最小二乘方法求解參數(shù)a和b的估計值;
步驟7:誤差分析及預測。
從定義1可以看出,經(jīng)典的灰色預測模型既包括連續(xù)形式(式(1))也包括離散形式(式(2)),大量公開發(fā)表的論著表明灰色預測模型能夠符合應用需求,取得較高的預測精度。然而,從理論研究的視角有時候還存在一些難以解釋的現(xiàn)象,比如針對一些特殊案例也會出現(xiàn)模擬和預測誤差很大的情況,對于不同類型模型的機理探討不夠,以及灰色預測模型體系框架還不夠完善等等。針對灰色預測模型預測精度不穩(wěn)定現(xiàn)象,作者從理論分析和實驗分析視角進行深入探討,發(fā)現(xiàn)問題存在的根本原因在于:盡管累加生成建模能夠有效地發(fā)現(xiàn)數(shù)據(jù)變化趨勢,但是由于灰色微分方程和灰色差分方程之間的變換存在著微小的近似誤差。當所收集的數(shù)據(jù)增長率變化較小時,微分方程和差分方程互換所帶來的模型誤差往往比較小,并不顯著影響預測模型的精度;然而,當所收集的數(shù)據(jù)增長率變化較大時,微分方程和差分方程互換所帶來的模型誤差就比較大,會影響到模型的預測效果,嚴重時甚至導致模型不可用。針對這一突出問題,作者在繼承累加生成變換的基礎上通過構建離散形式的灰色預測模型來解決誤差問題,形成了離散灰色預測模型[9]。之后,陸續(xù)發(fā)展出近似非齊次指數(shù)序列離散灰色模型、多變量離散灰色模型、灰數(shù)序列離散灰色模型等灰色預測新模型[10-12],2016年作者將系列離散灰色預測模型研究集結成冊,出版了專著《離散灰色預測模型及其應用》[13]。
近年來,灰色預測模型取得了非常大的研究進展,絕大部分已構建的模型都是源于GM(1,1)模型或者GM(1,N)模型,后來根據(jù)模型形式是連續(xù)型、離散型以及變量個數(shù)是單變量、多變量的情形,分別派生成連續(xù)型單變量灰色預測模型、離散型單變量灰色預測模型、連續(xù)型多變量灰色預測模型、離散型多變量灰色預測模型。此外,還出現(xiàn)了一些非線性灰色預測模型、灰數(shù)序列預測模型等,形成了現(xiàn)有的灰色預測模型的基本分類體系(如圖2所示)。
圖2 新型灰色預測模型分類
連續(xù)型單變量灰色預測模型源于GM(1,1)模型,GM(1,1)模型的連續(xù)形式和離散形式分別為該 模 型 可以簡單理解為是一種自回歸模型,系統(tǒng)變量x(tk)只與自身的累積量y(tk)有關,而與其他變量無關,其中首項是針對時間序列的數(shù)據(jù)間間隔為1的情形下的特殊表達,當時間間隔不為1時該模型轉變?yōu)榉堑乳g距GM(1,1)模型。經(jīng)過30多年的發(fā)展,在該模型的基礎上已經(jīng)衍化發(fā)展出一系列新模型,這些模型的共性是保留了GM(1,1)模型的建模思路。主要思想是只考慮單一變量數(shù)據(jù)序列{x(t1),x(t2),…,x(tn)}及其累加形式來建模表征系統(tǒng)的演化規(guī)律,不考慮其他變量的影響,模型形式上既保留了微分形式也保留了差分形式,建模過程中用微分形式表征系統(tǒng)變量隨時間的演化關系,而差分方程則主要用于模型參數(shù)的求解。其共性表達形式可以歸納為模型中和y(t)的關系保持不變,參數(shù)a(發(fā)展系數(shù))用于表征系統(tǒng)的演化趨勢??梢娫谶@些衍生模型中對系統(tǒng)演化的發(fā)展趨勢測度是保持不變的,變化的部分主要是剩余項b(作用量),從常數(shù)項逐步變化為和時間t相關的量b+f(t),f(t)表達形式基本上屬于類似多項式的線性關系,這些模型可以很好地表征近似非齊次增長、波動性增長等多種情景的系統(tǒng)演化特征[14-21]。特殊地,當f(tk)=b1tk時,模型變?yōu)榻品驱R次指數(shù)增長的灰色預測模型。
離散型單變量灰色預測模型源于作者提出的DGM(1,1)模型[9]。該模型繼承了灰色預測模型的累加生成建模思想,但舍棄了GM(1,1)模型微分方程形式而直接構造離散形式y(tǒng)(tk)=β1y(tk-1)+β2來表征系統(tǒng)演化規(guī)律,該離散形式可以等價轉換為GM(1,1)模型的差分形式;該模型及其諸多衍生模型保留了y(tk)和β1y(tk-1)項,其中參數(shù)β1類似于GM(1,1)模型中的發(fā)展系數(shù)a,用于表征累加生成序列的迭代演化關系。當β1〉1時,表明系統(tǒng)演化趨勢是增長的;當β1〈1時,表明系統(tǒng)演化趨勢是衰減的。用β1來調節(jié)y(tk)和y(tk-1)差異契合了鄧聚龍教授提出灰色預測模型時所陳述的差異信息思想。類似于GM(1,1)模型的衍生形式[22-34],離散型單變量灰色預測模型變化的部分也是在常數(shù)項β2,將常數(shù)項變化為和序數(shù)k相關的量,其表達形式也類似多項式的線性關系,少量衍生模型還加入了三角函數(shù)等信息。這些模型也可以很好地表征近似非齊次增長、冪次變化以及波動性增長等多種情景的系統(tǒng)演化特征。
連續(xù)型多變量灰色預測模型源于GM(1,N)模型,模型形式上既保留了微分形式也保留了差分形式,建模過程中用微分形式表征系統(tǒng)變量隨時間的演化關系,而差分方程則主要用于模型參數(shù)的求解。模型中和y(t)的關系保持不變,參數(shù)a(發(fā)展系數(shù))用于表征系統(tǒng)的演化趨勢,而作用量從GM(1,1)模型的b變?yōu)榧纯紤]其他變量對于系統(tǒng)主變量的影響關系,影響形式是線性結構的,且影響變量也進行了累加生成,說明測度的是影響變量的累積性效果。與單變量灰色預測模型不同,連續(xù)型多變量灰色預測模型的眾多衍生形式考慮了時滯效應的影響,即影響變量不一定與系統(tǒng)主變量同步變化,而是有一定的時間差,即滯后作用效果[35-47]。
離散型多變量灰色預測模型和離散型單變量灰色預測模型類似,繼承了累加生成思想,并且采用離散形式直接建模,最早出現(xiàn)的離散型多變量灰色預測模型是DGM(1,N)模型以及離散型多變量灰色預測模型的通用形式DGM(r,h)模型;模型趨勢性部分與連續(xù)型多變量灰色預測模型一樣,保留了y1(tk)+β1y1(tk-1)的關系,用β1來調節(jié)y1(tk)和y1(tk-1)差異,表征系統(tǒng)主變量的自我演化關系,表示其他變量對于系統(tǒng)主變量的影響關系,影響形式是線性結構的,且影響變量也進行了累加生成,說明測度的是影響變量的累積性效果;部分衍生模型也考慮了時滯因素的影響[48-53]。
非線性灰色預測模型與前文所總結的4類模型不同,建模過程中只繼承了累加生成建模思想,模型的形式上不是固定的,沒有保留或y(tk)+β1y(tk-1)的單一線性演化關系,而是包括了y2(t)、yγ(t)等多種形式。迄今為止,非線性灰色預測模型還相對較少,僅限于Verhulst模型、Bernoulli模型、冪模型、Lokta-Volterra模型等少數(shù)幾種形式,用于測度有極限的、波動的等演化趨勢。比如Verhulst模型可以用來表示,Bernoulli模型可以用byγ(t)來表示。[54-59]
向量型灰色預測模型是對單變量、多變量灰色預測模型的進一步拓展,傳統(tǒng)的灰色預測模型不管是單變量、多變量模型都是單輸出的,而現(xiàn)實問題中常常出現(xiàn)多輸入、多輸出的系統(tǒng)。假設有xi={xi(t1),xi(t2),…,xi(tn)},i=1,2,…,m的m個 輸入變量,yi是xi的累加生成序列,基于該思想構架了形如模型,該式是一系列方程組成的方程組的矩陣形式,A代表變量之間的影響系數(shù)矩陣,B代表作用量的影響向量。與前文所述的其他類型的模型一樣,作用量可以進行多種形式的拓展,特殊地,該模型也可以拓展到包含內生變量和外生變量的復雜形式[60-66]。
以上所述的模型分類及新模型構建的研究,極大豐富了灰色預測模型的方法體系,取得了較多研究進展。除此之外,還有大量文獻聚焦于提升已有模型的模擬和預測精度,主要包括數(shù)據(jù)變換、背景值優(yōu)化、參數(shù)優(yōu)化和初值優(yōu)化等方面。數(shù)據(jù)變換上主要是依賴于提高建模數(shù)據(jù)序列的光滑比、運用緩沖算子變換以及函數(shù)變換等形式提升建模精度。鄧聚龍教授首先定義光滑比概念并以提升數(shù)據(jù)的光滑比來提高建模精度,后來李群、何斌等學者提出用對數(shù)變換、函數(shù)變換提升建模效果[67-70]。背景值是累加生成序列中y(tk)和y(tk-1)的加權值,用于表征時序從k-1到k的區(qū)間段的系統(tǒng)演化規(guī)律,起初簡單用0.5和0.5來表示權重值,后來考慮數(shù)值偏差,提出了多種背景值優(yōu)化的方法[71-73]。初值是灰色預測模型求解的初始條件,起初簡單以x(t1)為初始值,后來考慮初值可能存在偏差,一些學者提出優(yōu)化的設計思想,提出以終值x(tn)為初始條件,也有提出加一個調節(jié)項c,改為x(t1)+c,x(tk)+c和x(tn)+c等多種不同形式。參數(shù)優(yōu)化是指針對灰色預測模型的參數(shù)a和b進行的優(yōu)化求解,傳統(tǒng)灰色預測模型都是以最小二乘方法求解參數(shù)值,有學者認為灰色預測模型中數(shù)據(jù)的規(guī)律并不一定符合最小二乘原理,因此提出目標規(guī)劃、智能優(yōu)化等多種方法對參數(shù)進行優(yōu)化求解,取得了較好的改善效果。[74-75]
應用方面,灰色預測模型解決了大量社會經(jīng)濟預測、能源預測、交通流量預測、電力預測、工程預測等實際問題。能源預測是近年來最熱門的領域,涌現(xiàn)了大量的論文,如Wang等使用混合ARIMA和非線性新陳代謝灰色模型預測美國頁巖氣月產(chǎn)量[76]。Zhao等提出了滾動機制優(yōu)化的灰色模型Rolling-ALO-GM(1,1),用于優(yōu)化年度電力負荷預測[77]。Shaikh等基于優(yōu)化的非線性灰色模型預測中國的天然氣需求[78]。Wu等通過參數(shù)優(yōu)化和分數(shù)累積的概念,提出了FAGMO(1,1,k)來預測核能消耗[79]。Xiao等建立Riccati-Bernoulli微分方程,用改進的花授粉算法優(yōu)化冪指數(shù),并利用該模型對中國和印度的清潔能源消費進行了估算和預測[80]。Luo從Verhulst模型的白化方程Logistic方程出發(fā),引入常系數(shù)Riccati方程對白化方程進行優(yōu)化,建立了基于Riccati方程的灰色預測CCRGM(1,1)模型,利用模擬退火算法對非線性項進行了優(yōu)化,預測了2019—2028年北美地區(qū)的核能和水力發(fā)電能耗[81]。這些論文將灰色預測模型與實際問題有機結合,得出了有價值的研究結論,并為能源政策制定等提供了有益的參考。此外,如Wang、Hipel和Wang提出NGBM(1,1)模型,并將參數(shù)優(yōu)化方法表述為組合優(yōu)化問題,應用該模型對2001—2011年中國31個省的工業(yè)廢水年合格排放率進行了模擬和預測[82]。Ou將背景值優(yōu)化、遺傳算法和GM(1,1)模型相結合提出新的灰色預測模型,并將其應用于模擬1998—2010年我國臺灣農(nóng)業(yè)產(chǎn)量數(shù)據(jù)的年值,取得較 好 的 預 測 效果[83]。Intharathirat、Salam和Kumar采用多變量灰色模型預測發(fā)展中國家的城市固體廢物量[84]。Evans提出估計廣義灰色Verhulst模型參數(shù)優(yōu)化方法,并以英國某鋼材使用強度預測中加以應用,取得了較好的預測效果[85]。類似的應用也大量出現(xiàn)在交通流量預測、社會經(jīng)濟預測、工程應用等領域,此處不再贅述。
盡管灰色預測模型體系日益豐富,應用領域日益廣泛,但灰色預測模型的理論體系還不夠完善,還有較多問題值得深入研究。如灰色預測模型的建模適用條件和建模機理,即灰色預測模型區(qū)別于其他預測模型的獨有特征還要深入研究;考慮灰信息的灰色預測模型構建及應用需要進一步研究;對于一些特殊情形,如具有增長閾值限制、具有波動性變動特征、具有競爭演化關系及結構演化關系等情形的灰色預測模型還可以深入研究。