基于關鍵特征排序的可解釋碳排放預測模型

摘要：提出基于關鍵特征排序的可解釋碳排放預測模型（EEMD-LSTM-ATT），選取人口總數(shù)、城鎮(zhèn)化率、第一產業(yè)國內生產總值、第二產業(yè)國內生產總值、第三產業(yè)國內生產總值與進出口貿易總額這6個變量，以非線性預測能力強的長短時記憶網絡為基線模型，采用注意力機制提取影響因素與時間屬性的權重信息。結果表明：該模型一方面能夠抑制模態(tài)混疊的產生，減少數(shù)據(jù)非線性對于模型預測帶來的影響；另一方面能夠解釋不同時間屬性與不同影響因素對于碳排放的重要性程度，使得預測結果具備可解釋性；將影響因素與時間屬性的權重信息加入模型的訓練過程能夠促進碳排放影響因素與模型預測有機結合；本文方法可實現(xiàn)高精度碳排放預測，均方根誤差為3.772，平均絕對誤差為3.416，擬合優(yōu)度為0.880。

關鍵詞：集合經驗模態(tài)分解； 長短期記憶模型； 注意力機制； 預測模型

中圖分類號：X 192"" 文獻標志碼：A

引用格式：張向陽，劉樹仁，劉寶亮，等.基于關鍵特征排序的可解釋碳排放預測模型［J］.中國石油大學學報（自然科學版），2024，48（4）：190-197.

ZHANG Xiangyang， LIU Shuren， LIU Baoliang，et al. Interpretable carbon emission prediction model based on" key feature ranking［J］. Journal of China University of Petroleum （Edition of Natural Science），2024，48（4）：190-197.

Interpretable carbon emission prediction model based" on key feature ranking

ZHANG Xiangyang1，2，3， LIU Shuren1，2， LIU Baoliang 4 ， LI Changchun1，2， FU Zhanbao1，2

（1.The Institute of Computer Technology， Northwest Branch of China Petroleum Exploration and Development Research Institute， Lanzhou 730020， China;

2.The Key Laboratory of Internet of Things for China National Petroleum Corporation， Lanzhou 730020， China;

3.School of Mechanical Science and Engineering in Northeast Petroleum University， Daqing 163318， China;

4.Heze Maternal and Child Health Care Hospital， Heze 274000， China）

Abstract： An interpretable carbon emission prediction model （EEMD-LSTM-ATT） based on the key feature ranking was proposed， where six variables were selected， i.e. the total population， the urbanization rate， the primary industry GDP， the secondary industry GDP， the tertiary industry GDP， and the total import/export trade. Using the long and short-term memory network， which has a strongly nonlinear prediction ability， as the baseline model，" innovatively adopts the attention mechanism to extract the influencing factors and the total amount of trade. The attention mechanism was used to extract the weight information of the influencing factors and time attributes. The results show that， on one hand， the model can inhibit the generation of modal overlap and reduce the influence of data nonlinearity on the model prediction; on the other hand， it can explain the importance of different time attributes and different influencing factors on the carbon emission， which makes the prediction results interpretable.

In addition， the weighting information of influencing factors and time attributes is added to the training process of the model， which can promote the organic combination of carbon emission influencing factors and model prediction. The method of this paper can achieve a high-precision carbon emission prediction， with the RMSE being 3.772， the RMAE being 3.416， and the R2 being 0.880.

Keywords： ensemble empirical mode decomposition； long and short-term memory model; attention mechanism； prediction model

二氧化碳排放是全球變暖的重要原因之一，引發(fā)了廣泛關注。中國作為碳排放大國，需預測和監(jiān)測排放量，評估環(huán)境影響和可持續(xù)發(fā)展水平。劉淳森等［1］提出了多種碳排放預測方法，主要分為組合預測模型與單一預測模型。組合預測模型采用投入產出關系［2］與可計算一般均衡［3］模型進行預測，組合預測模型復雜且應用困難。單一預測模型使用深度學習算法，但受限于數(shù)據(jù)非線性，缺乏對于碳排放影響因素和預測模型有機結合的討論［4］。現(xiàn)有方法仍面臨數(shù)據(jù)非線性、結果缺乏可解釋性和模型與因素結合不足的問題。筆者針對這些問題提出基于關鍵特征排序的可解釋碳排放預測模型（EEMD-LSTM-ATT），該模型的訓練包括使用集合經驗模態(tài)分解（EEMD）［5］將碳排放相關數(shù)據(jù)分解為內在模函數(shù)（IMF）進行數(shù)據(jù)預處理；選擇長短期記憶模型（LSTM）［6］作為基礎模型進行碳排放預測；在訓練過程中應用注意力機制［7］提取影響因素和時間屬性的權重信息，完成模型訓練；借鑒宋杰鯤等［8-10］的研究，從宏觀、經濟和高耗能3個角度選擇6個變量作為碳排放預測的主要影響因素。

1 國內外研究現(xiàn)狀

目前國內外對于碳排放預測做了大量研究。許多研究者選取碳排放的主要影響因素，將其作為訓練數(shù)據(jù)投入碳排放預測模型進行訓練。Wen等［11］用改進粒子群優(yōu)化算法的支持向量機，以經濟、生活、社會、教育等因素預測碳排放。Chang等［12］用LSTM，以火電發(fā)電比重、產業(yè)結構、人均能耗、GDP為影響因素。Boamah等［13］用頭腦風暴算法，以經濟、城市化率、進出口為因素。認為數(shù)據(jù)缺乏是碳排放預測研究的限制，但時間序列預測仍受到數(shù)據(jù)波動和非線性特征的影響。

為了克服數(shù)據(jù)非線性對碳排放預測的影響，Huang等［14］提出了EEMD方法，減少數(shù)據(jù)波動。Sun等［15］建立了結合EEMD和粒子群優(yōu)化的反向傳播神經網絡模型，用于中國短期碳排放預測。盡管采用了數(shù)據(jù)處理和機器學習模型相結合的訓練框架，提高了預測準確性，但機器學習模型的黑盒特性導致預測結果缺乏可解釋性。

李宗民等 ［7］在油藏儲量預測任務中加入注意力機制，發(fā)現(xiàn)加入注意力機制的模型在多種環(huán)境下表現(xiàn)更優(yōu)秀，且注意力機制的權重分配過程使得各影響因素的重要程度得到量化體現(xiàn)，因此預測結果具備可解釋性。李成龍 ［16］在雙向GRU神經網絡的基礎上引入注意力機制對空氣質量進行預測，得到了較高的預測精度。然而，目前的碳排放預測任務并未考慮注意力機制的使用。

盡管注意力機制能提高模型性能并使結果更可解釋，但其應用仍存在缺陷。一些研究者強調了時間的重要性，并結合了時間序列預測和ARIMA模型來預測碳排放。然而，他們通常將時間屬性與影響因素分開處理，缺乏對二者有機結合的討論。

目前的碳排放預測工作還存在如下挑戰(zhàn)：①數(shù)據(jù)非線性。由于歷史原因，碳排放數(shù)據(jù)和相關影響因素數(shù)據(jù)存在較大波動和非線性，影響了模型的準確性；②預測結果缺乏解釋性。碳排放預測模型通常采用深度學習算法，其黑盒特性導致結果缺乏解釋性，缺乏影響因素與預測模型有機結合的討論。

3 基于關鍵特征排序的可解釋碳排放預測模型

碳排放及其影響因素數(shù)據(jù)是一組隨時間變化且受多因素影響的非線性時間序列數(shù)據(jù)。在預測過程中需要同時考慮數(shù)據(jù)的波動特性和時間維度上的變化。EEMD通過數(shù)據(jù)分解抑制了模態(tài)混疊的產生。注意力機制記錄時間點和影響因素之間的隱藏狀態(tài)，評估它們之間的聯(lián)系，并賦予關鍵特征注意力權重。此外注意力機制揭示了模型在決策中關注的重要特征，增強了模型的可解釋性。因此基于關鍵特征排序的可解釋碳排放預測模型使用EEMD將碳排放數(shù)據(jù)分解為IMF函數(shù)，抑制模態(tài)混疊的產生，減少數(shù)據(jù)波動。然后通過訓練LSTM網絡考慮碳排放在時間維度上的變化。最后引入注意力機制提取特征屬性和時間屬性的相關性，計算它們之間的聯(lián)系，用于最終的碳排放預測，流程如圖3所示。

3.3 基于關鍵特征排序的可解釋碳排放預測模型構建

為了使基于關鍵特征排序的可解釋的碳排放預測模型的預測過程更加清晰，用流程圖表達模型的構建過程，如圖4所示。預測過程如下。

（1）數(shù)據(jù)預處理。圖4中用灰色表示，對人口總數(shù)、城鎮(zhèn)化率、第一產業(yè)國內生產總值、第二產業(yè)國內生產總值、第三產業(yè)國內生產總值、進出口貿易總額這6個變量與碳排放量進行歸一化處理，用以去除量綱差別。訓練過程中選取數(shù)據(jù)集X中前T期值作為訓練數(shù)據(jù)。采用EEMD進行經驗模式分解，進行平滑處理，分解為一系列高度正則的內模函數(shù)IMF=［IMF1，IMF2，IMF3，IMF4，IMF5，IMF6，IMFc］T1×7。

（2）采用LSTM-ATT結合注意力機制，將第T+1期數(shù)據(jù)集作為訓練標簽進行誤差校正，前T期數(shù)據(jù)集與第T+1期數(shù)據(jù)集構成一個訓練批次。在LSTM模型的基礎上添加影響因素注意力模塊與時間屬性注意力模塊，輸出序列經過注意力模塊被自動賦予相應的影響因素與時間屬性注意力權重信息。最后通過對IMF各分量的預測結果進行累加，得到最終結果。

（3）對比試驗。為了證明所提模型的準確性和穩(wěn)定性，構建了3組對比試驗。通過將分解算法與預測模型相結合，得到EEMD- LSTM-ATT等8個比較模型，如圖5所示。

4 試 驗

4.1 試驗環(huán)境

試驗環(huán)境硬件由NVIDIA Titan X顯卡、128 G運行內存和Intel E5-2678V3 CPU組成，使用集成開發(fā)環(huán)境Python 3.9.7+Tensorflow 3.13.0進行試驗。

4.2 試驗數(shù)據(jù)

為了對中國碳排放預測進行合理可靠的預測，從宏觀、經濟與高耗能因素3個角度選取人口總數(shù)、城鎮(zhèn)化率、第一產業(yè)國內生產總值、第二產業(yè)國內生產總值、第三產業(yè)國內生產總值與進出口貿易總額這6個變量作為中國碳排放的主要驅動因素。圖6為碳排放及其影響因素數(shù)據(jù)。

本文使用的試驗數(shù)據(jù)為中國碳核算數(shù)據(jù)庫發(fā)布的逐時數(shù)據(jù)，時間跨度為1980—2019年。中國1980—2019年的人口總數(shù)、城鎮(zhèn)化率、第一產業(yè)國內生產總值、第二產業(yè)國內生產總值、第三產業(yè)國內生產總值與進出口貿易總額均來自2022年中國統(tǒng)計年鑒。

試驗中采用1980—2009年的數(shù)據(jù)作為訓練集，2010—2019年的數(shù)據(jù)為驗證集。由于訓練樣本有限，試驗中的LSTM模型隱藏層設置為2，訓練步長為1。

4.3 模型評估指標

為了量化模型的預測精度采用均方根誤差（RMSE），平均絕對誤差（RMAE）和擬合優(yōu)度（R2）作為評價預測效果的評估指標。RMSE與RMAE的取值范圍為0，+∞，RMSE與RMAE的差值越大，R2越接近0，表明預測模型的預測誤差越大。三者計算公式分別為

RMSE=1n∑ni=1（yi-i）2 ，（22）

RMAE=1n∑ni=1yi-i，（23）

R2=1-∑ni=1（yi-i）2∑ni=1（yi-

t）2 .（24）

式中，yi為預測值；i為真實值。

4.4 數(shù)據(jù)預處理

圖6中的數(shù)據(jù)具有高度非線性與非平穩(wěn)的性質，直接輸入LSTM會影響碳排放預測的效率與準確性，這將大大增加碳排放預測的難度。為了解決這個問題，基于關鍵特征排序的可解釋碳排放預測模型采用EEMD對碳排放及其影響因素進行處理。圖7為中國碳排放數(shù)據(jù)的EEMD分解結果。對比圖6中的原始碳排放數(shù)據(jù)與圖7中的EEMD分解結果可以發(fā)現(xiàn)，經過EEMD分解的模態(tài)函數(shù)更有規(guī)則性。

4.5 關鍵特征排序

EEMD- LSTM-ATT在碳排放預測過程中采用注意力機制提取影響因素與時間屬性的權重信息，加入模型的訓練過程。一方面，使得碳排放影響因素與模型預測有機結合；另一方面，使得預測結果具備可解釋性。圖8為不同影響因素對于本文預測模型的注意力權重信息，體現(xiàn)了不同影響因素對于模型預測的重要程度。

圖9為不同時間節(jié)點對于本文預測模型的注意力權重信息，體現(xiàn)了不同時間節(jié)點對于模型預測的重要程度。

從碳排放影響因素角度分析，發(fā)現(xiàn)碳排放預測模型主要關注第一產業(yè)國內生產總值、第二產業(yè)國內生產總值與城鎮(zhèn)化率。從時間屬性的角度分析，可以發(fā)現(xiàn)碳排放預測模型不僅關注近些年的數(shù)據(jù)，過去任意時刻的數(shù)據(jù)都會受到關注；但是時間節(jié)點離現(xiàn)在越遠，數(shù)據(jù)重要程度越小。

4.6 碳排放預測試驗結果

為了更直觀地體現(xiàn)EEMD- LSTM-ATT的準確性與穩(wěn)定性，設置了多組對比試驗。圖10為基于關鍵特征排序的可解釋碳排放預測模型的碳排放預測結果，表1為各模型的誤差結果。試驗中首先對單個模型進行比較，比較模型包括ELM、BP以及LSTM。LSTM在碳排放預測中表現(xiàn)出較強的預測能力，更適合作為碳排放預測模型。

通過結合EMD和EEMD數(shù)據(jù)處理方法，模型的預測能力得到了顯著提升，驗證了Sun等［4］關于數(shù)據(jù)預處理提升預測精度的結論。EEMD-LSTM-ATT采用注意力機制，提取了影響因素和時間屬性的權重信息，并將其納入模型的訓練過程。與基于LSTM模型的預測相比，本文算法的預測精度有很大提升。這是因為EEMD能夠減少數(shù)據(jù)非線性對模型預測的影響，而注意力機制能夠捕捉數(shù)據(jù)的動態(tài)變化特征，使相關性分析更準確。因此本文算法在碳排放預測精度上優(yōu)于其他類似算法。

4.7 模型正確性驗證

為了驗證EEMD- LSTM-ATT的正確性，設置消融試驗。以LSTM模型為基線模型進行碳排放預測，在基線模型的基礎上依次增加EEMD數(shù)據(jù)處理方法與注意力機制，比較3類模型在同一個訓練數(shù)據(jù)集下的預測結果。圖11為4類模型的預測指標變化。由圖11可知，EEMD與注意力機制能夠有效提升基線模型的碳排放預測精度，有效驗證了模型的正確性。

5 結 論

（1）在碳排放預測模型中使用注意力機制可提升預測結果的可解釋性。

（2）將影響因素和時間屬性的權重信息加入預測過程，有機結合，提高了預測精度。

（3）基于關鍵特征排序的可解釋碳排放預測模型能夠很好的完成碳排放預測，解決了目前碳排放預測存在的樣本數(shù)量受限，以及且缺乏對于碳排放影響因素和預測模型有機結合的問題。試驗驗證EEMD-LSTM-ATT模型比現(xiàn)有方法具有更高的預測精度和可解釋性。

參考文獻：

［1］ 劉淳森，曲建升，葛鈺潔，等.基于LSTM模型的中國交通運輸業(yè)碳排放預測［J］.中國環(huán)境科學，2023，43（5）：2574-2582.

LIU Chunsen， QU Jiansheng， GE Yujie，et al. LSTM model-based prediction of carbon emissions from Chinas transportation sector［J］. China Environmental Science， 2023，43（5）：2574-2582.

［2］ 王海建．中國能源消費與溫室氣體排放預測分析［J］.上海環(huán)境科學，1999，18（2）：67-69．

WANG Haijian. Energy consumption and prediction of greenhouse gas emission in China［J］. Shanghai Environmental Sciences， 1999，18（2）：67-69．

［3］ 王燦，陳吉寧，鄒驥．基于CGE模型的減排對中國經濟的影響［J］．清華大學學報（自然科學版），2005，45（12）：1620-1624.

WANG Can， CHEN Jining， ZOU Ji. Impact assessment of CO2 mitigation on China economy based on a CGE model［J］. Journal of Tsinghua University（Science and Technology）， 2005，45（12）：1620-1624.

［4］ SUN W， REN C. Short-term prediction of carbon emissions based on the EEMD-PSOBP model［J］. Environmental Science and Pollution Research， 2021，28：56580-56594.

［5］ WANG T， ZHANG M， YU Q， et al. Comparing the applications of EMD and EEMD on time-frequency analysis of seismic signal［J］. Journal of Applied Geophysics， 2012，29：29-34.

［6］ MEMARZADEH G， KEYNIA F. A new short-term wind speed forecasting method based on fine-tuned LSTM neural network and optimal input sets［J］. Energy Convers Manage，2020，213：112824.

［7］ 李宗民，李亞傳，赫俊民，等.專注智能油藏儲量預測的深度時空注意力模型［J］.中國石油大學學報（自然科學版），2020，44（4）：77-82.

LI Zongmin， LI Yachuan， HE Junmin， et al. A deep spatio-temporal attention model focusing on intelligent reserve prediction［J］. Journal of China University of Petroleum（Edition of Natural Scince），2020，44（4）：77-82.

［8］ 宋杰鯤.基于支持向量回歸機的中國碳排放預測模型［J］. 中國石油大學學報（自然科學版），2012，36（1）：182-187.

SONG Jiekun. Chinas carbon emissions prediction model based on support vector regression［J］. Journal of China University of Petroleum（Edition of Natural Scince）， 2012，36（1）：182-187.

［9］ HUANG Y， SHEN L， LIU H. Grey relational analysis，grey relational analysis， principal component analysis and forecasting of carbon emissions based on long short-term memory in China［J］. Journal of Cleaner Production， 2019，209：415-423.

［10］ ASLAM B， HU J， ALI S ， et al. Malaysias economic growth， consumption of oil， industry and CO2 emissions： evidence from the ARDL model［J］. International Journal of Environmental Science and Technology， 2022，19（1）：3189-3200.

［11］ WEN L， CAO Y. Influencing factors analysis and forecasting of residential energy-related CO2 emissions utilizing optimized support vector machine ［J］. Journal of Cleaner Production， 2020，250：119492.

［12］ CHANG-IL K， IN-KEUN Y Y H. Song Kohonen neural network and wavelet transform based approach to short-term load forecasting［J］. Electric Power Systems Research， 2002，63（3）：169-176.

［13］ BOAMAH K B， DU J， ADU D， et al. Predicting the carbon dioxide emission of China using a novel augmented hypo-variance brain storm optimization and the impulse response function［J］. Environmental Technology，2021，42（27）：4342-4354.

［14］ HUANG N E. Ensemble empirical mode decomposition： a noise assisted data analysis method center for ocean land atmosphere studies［J］.Handbook of Systemic Autoimmune Diseases， 2006，85：1-41.

［15］ SUN W， HUANG C. A novel carbon price prediction model combines the secondary decomposition algorithm and the long short-term memory network［J］. Energy， 2020，207：118294.

［16］ 李成龍.基于GRU和注意力機制的空氣質量預測研究［D］.太原：山西大學，2021.

LI Chenglong. Research on the prediction of air quality based on GRU and attention mechanism［D］. Taiyuan： Shanxi University， 2021.

［17］ TING C， SUNG H J， WEI L， et al. Short-term memory to long-term memory transition in a nanoscale memristor［J］. ACS Nano， 2011，5（9）：7669-7676.

［18］ OLIVER F， SHENFIELD A，" KAREEM M， et al. Automated detection of atrial fibrillation using long short-term memory network with RR interval signals［J］. Computers in Biology and Medicine， 2018：102327-102335.

［19］ YANG H， OCONNELL J F. Short-term carbon emissions forecast for aviation industry in Shanghai［J］. Journal of Cleaner Production，2020，275：122734.

（編輯 沈玉英）

收稿日期：2023-09-20

基金項目：國家自然科學基金面上項目（52374067）

第一作者：張向陽（1985-），男，

高級工程師，博士研究生， 研究方向為人工智能、云計算和物聯(lián)網。E-mail：xy_zhang@petrochina.com.cn。

通信作者：劉寶亮（1977-），男，高級工程師，研究方向為大數(shù)據(jù)、軟件工程和網絡安全。 E-mail：lblclly@163.com。

文章編號：1673-5005（2024）04-0190-08"" doi：10.3969/j.issn.1673-5005.2024.04.021