計及用戶貢獻度的電動汽車主從博弈差異化充電套餐設計

王華昕，張高麗，劉 雋，孫華本，湯 波

（1. 上海電力大學 電氣工程學院，上海 200090；2. 上海蔚來汽車有限公司，上海 201805）

0 引言

電力和交通行業(yè)是實現(xiàn)“3060”目標的主力軍［1］，作為傳統(tǒng)汽車的替代品，電動汽車EV（Electric Vehicle）作為一種需求側(cè)的靈活資源，在參與節(jié)能減排與需求響應方面具有極大的發(fā)展?jié)摿?。依?jù)EV用戶反映制訂適宜的需求響應策略，可以完善EV與智能電網(wǎng)的雙向互動，保證電網(wǎng)的安全穩(wěn)定運行，提高電動汽車聚合商EVA（Electric Vehicle Aggregator）的經(jīng)濟利益。

由于EV 車主行為差異較大并具有較強的主觀性，參與需求響應時的積極性較低，加之我國大部分省份的電力公司尚未出臺激勵EV 用戶參與需求響應市場的差異性策略，EVA 如何制定策略激勵用戶參與需求響應成為研究的熱點。

充電電價作為EVA 引導EV 用戶的重要手段，國內(nèi)外學者已對其進行了相關的分析探索。在分時電價的策略下，文獻［2］提出了考慮EV 移動特性的EV 最優(yōu)分時充電電價定價策略；文獻［3］考慮EV 用戶行為模式，將積分制與分時電價進行結合。但上述文獻僅從時空角度考慮用戶充電行為制定分時電價，具有一定的局限性。對比之下，實時電價可以更精準地引導EV 用戶。文獻［4］基于實時電價的需求，探究EV 如何與充電樁匹配；文獻［5］在EV 用戶不愿意泄露隱私的前提下預測用戶行為來制定電價策略。實時電價囿于政策和市場機制，因此僅處于理論研究層面。電價型策略使充電負荷的波動性較大，文獻［6］以激勵性電價為基礎，提高了用戶參與需求響應的積極性。

隨著電力市場改革不斷深化，EVA 可以聚合EV參與更多的輔助服務［7］，如綠色證書市場交易、碳排放市場交易等。文獻［8］驗證了EV在商業(yè)區(qū)進行綠電交易可以為EV 用戶節(jié)省充電成本，同時提高了EVA的利潤；文獻［9］分析了充電設施參與碳市場交易的可行性，引入風險態(tài)度建立了碳交易決策模型。因此為加強用戶參與車網(wǎng)互動的積極性，實現(xiàn)與智能電網(wǎng)的良好互動，通過引導EV用戶參與多種輔助服務，改善僅通過固定的物理充電電價誘導EV用戶響應積極性較低的問題。

國外為了提高EV 用戶參與電網(wǎng)多種輔助服務的積極性，在探究充電策略的同時充分考慮了用戶偏好［10］。文獻［11］指出充電站要想盈利，必須采用手機服務商那樣的資費方式。雖然國內(nèi)針對EV 用戶畫像、充電套餐方面的研究比較少，但是金融行業(yè)、電信行業(yè)［12］、電力行業(yè)［13］已經(jīng)針對用戶畫像開展了多年的研究，并且基于畫像的移動套餐［14］、電力套餐［15］已經(jīng)得到了廣泛的應用，具有一定的借鑒意義。文獻［16］采用數(shù)據(jù)挖掘技術和k-means 聚類算法對EV 進行分類，提出用戶價值評價方法；文獻［17］建立運營平臺對EV用戶進行服務，并且在充電服務模塊中添加了套餐定制服務?；谏鲜鲅芯?，本文借助大數(shù)據(jù)技術，研究基于用戶畫像的多元輔助服務充電套餐，為差異化的EV用戶推送精準個性化信息，極大地激勵了用戶參與輔助服務市場的主動性。

綜合上述研究，本文從EVA、EV 用戶和電網(wǎng)三者的角度出發(fā)，充分考慮EV 用戶的響應意愿，結合客觀充電特征和用戶主觀感知對用戶進行精準畫像；根據(jù)畫像后的結果，為EV 用戶制訂合適的充電套餐。首先，針對EVA 與多元EV 用戶之間的主從博弈關系進行概述，構建了主方以EVA 利潤最大化為目標的套餐制定模型和從方以EV 用戶效用最大化為目標的套餐決策模型；然后，設計了低谷階梯套餐、低谷包月套餐、低谷月租套餐等多元套餐形式；最后，采用強化學習求解納什均衡NE（Nash-Equilibrium）解。算例結果表明，針對不同用戶設計精準化充電套餐可提高EV 用戶對電網(wǎng)的貢獻率，擴寬EVA的運營規(guī)模，從而實現(xiàn)多方互利共贏。

1 基于大數(shù)據(jù)平臺的EV用戶精準畫像

借助大數(shù)據(jù)平臺采集EV用戶的相關數(shù)據(jù)，為充分保證用戶隱私，采集數(shù)據(jù)前獲得用戶授權，并且所用數(shù)據(jù)均經(jīng)過脫敏、解綁身份信息、加密等技術手段進行處理。建立標簽數(shù)據(jù)庫，采用機器算法對標簽進行分類來完成對用戶的精細化畫像，增加EV用戶對激勵策略的匹配程度。

1.1 數(shù)據(jù)特征及數(shù)據(jù)來源

EV 用戶的充電行為具備較強的主觀性和隨意性，海量的EV 用戶數(shù)據(jù)涉及EVA 的多個業(yè)務領域，包含了靜態(tài)數(shù)據(jù)、動態(tài)數(shù)據(jù)等多種數(shù)據(jù)標簽形式。用于完成EV用戶畫像的數(shù)據(jù)來源渠道如下。

1）充電數(shù)據(jù)，來源于EVA充電管理系統(tǒng)。

EVA充電管理系統(tǒng)采集與電網(wǎng)聯(lián)系最緊密的數(shù)據(jù)，其實時采集EV 用戶的單次充電信息，即并網(wǎng)持續(xù)時間、充電持續(xù)時間、充電功率、單日充電負荷、充電地點、充電履約率等，同時將采集到的充電數(shù)據(jù)上傳至相關數(shù)據(jù)庫并進行處理，通過大數(shù)據(jù)平臺挖掘生成用戶月度充電信息。

2）用戶數(shù)據(jù)，來源于EVA營銷系統(tǒng)。

EVA 營銷系統(tǒng)采集EV 用戶的年齡、性別、工作、城市、車型等自然屬性，這些數(shù)據(jù)可用于側(cè)面分析EV 用戶自然屬性對充電套餐類型的接受程度和偏好。

3）app數(shù)據(jù)，來源于EVA的app系統(tǒng)。

EVA 的app 系統(tǒng)借助大數(shù)據(jù)平臺充分挖掘EV用戶行為數(shù)據(jù)，即用戶瀏覽歷史、參與活動響應情況、發(fā)表觀點偏好等。通過這些數(shù)據(jù)的收集豐富用戶畫像的顆粒度，充分考慮用戶充電滿意度以及主觀感知情況。

4）社會數(shù)據(jù)，來源于地圖軟件、氣象軟件。

社會數(shù)據(jù)主要是指充電站地理信息以及當?shù)靥鞖忸A報信息，通過多種平臺融合可實現(xiàn)對用戶需求的預測。

1.2 用戶畫像標簽庫的構建

全面、精準的標簽體系是對EV用戶進行精準畫像的基礎，對海量的用戶數(shù)據(jù)進行清洗，然后進行相關性檢驗、去除冗余信息，挖掘具有行為評估能力的指標，最終建立用戶畫像標簽庫。用戶畫像標簽庫如表1所示。

表1 用戶畫像標簽庫Table 1 User portrait label library

1.3 基于大數(shù)據(jù)平臺和利用層次方法的平衡迭代規(guī)約和聚類算法的電動汽車用戶聚類畫像

EV 用戶數(shù)據(jù)具有實時性強、數(shù)量眾多等特征，聚類分析方法的性能是否優(yōu)良決定著用戶畫像的精準性。因此，本文采用利用層次方法的平衡迭代規(guī)約和聚類BIRCH（Balanced Iterative Reducing and Clustering using Hierarchies）算法完成聚類研究，與大數(shù)據(jù)平臺有效結合，完成模型的并行化運行計算，從而實現(xiàn)對用戶充電行為精準畫像。

1）BIRCH算法簡介。

BIRCH 算法融合了層次聚類和其他聚類算法，主要由聚類特征CF（Clustering Feature）和聚類特征樹CF-Tree（Clustering Feature-Tree）構成［18］，具體說明見附錄A。BIRCH 算法的特點是在聚類前可對數(shù)據(jù)進行預處理，能快速實現(xiàn)增量、動態(tài)數(shù)據(jù)對象的聚類分析，彌補了k-means算法聚類前需事先輸入數(shù)字確定分類個數(shù)、僅適用于中小型數(shù)據(jù)庫聚類的弊端。

2）BRICH算法的步驟。

（1）將所有數(shù)據(jù)樣本讀入內(nèi)存中，建立CF-Tree。

（2）刪除數(shù)據(jù)異常值后合并過于擁擠的集群，形成更加緊湊的CF-Tree。

（3）借鑒k-means 算法完成對所有CF 元組的聚類研究，分析后得到一棵性能較完善的CF-Tree，消除由于樣本讀入順序造成的不合理的樹結構。

（4）將步驟（3）中形成的新CF-Tree 的質(zhì)心作為種子，重新分布數(shù)據(jù)到距離其最近的種子集群中；按照距離遠近對所有樣本點排序后進行聚類，獲得可靠性較強的聚類結果。

（5）判別能否滿足程序運行終止條件，若滿足條件，則輸出聚類結果；否則，繼續(xù)更新k中心值，循環(huán)程序。

2 差異化充電套餐設計

2.1 差異化用電套餐

為充分激發(fā)EV 用戶的潛在價值，增強EV 用戶對電網(wǎng)的貢獻度，EVA 提出主動激勵策略-差異化充電套餐。對畫像后的用戶定制化推薦充電套餐［19］，以充電業(yè)務和需求響應業(yè)務作為基礎套餐，碳市場業(yè)務和綠色電力市場業(yè)務作為附加套餐。靈活的充電套餐策略可以提高EV 用戶與智能電網(wǎng)互動的積極性。EVA收入構成如圖1所示。

圖1 EVA收入構成圖Fig.1 Revenue composition of EVA

2.2 套餐形式

借鑒移動通信資費套餐設計的思想，充分考慮EV 用戶對電網(wǎng)的貢獻度和響應積極性，將所有套餐使用時段限制為00:00—07:00、22:00—24:00，其他時段用戶為保證出行需求可正常充電，但將不能享受電費優(yōu)惠，拉開套餐用戶與普通用戶差距。收費模式可以分為動態(tài)比例收費模式-階梯套餐、固定收費模式-包月套餐以及保底加動態(tài)收費模式-月租套餐。

1）低谷階梯套餐。

階梯充電套餐與傳統(tǒng)的電力階梯收費方式的不同之處在于，其對階梯不采取疊加的方式，而是采取每檔直接計算的方式，極大地激發(fā)了高質(zhì)量用戶的積極性。該類套餐的充電費用是隨著充電量動態(tài)變化的，因此EVA 屬于動態(tài)比例固定收費模式，此類套餐的收費IⅠ的計算公式為：

3 EVA-EV用戶最優(yōu)決策模型

EVA 和EV 用戶2 個主體的決策行為相互影響，EVA在電力市場決策購電完成后設計充電套餐的價格，在博弈中處于領導地位；EV 用戶在套餐發(fā)布后決定自身充電計劃，套餐選購結果和充電響應信息將會反饋至EVA，在博弈互動中處于跟隨地位。

3.1 購電成本

EVA 購電成本Ii主要來自雙邊和集中交易購電，如式（5）所示。

Ii=CB+CP，t=QBPB(QB)λ1+∑tQP，t PP，t(QP，t)λ2（5）

式中：CB、CP，t分別為雙邊交易購電成本、t時段集中交易購電成本；PB、Pp，t分別為雙邊交易購電價格、t時段集中交易購電價格；QB、QP，t分別為雙邊集中交易購電量、t時段集中交易購電量；λ1、λ2分別為雙邊、集中交易比例。

在中長期電力市場中通常以簽訂雙邊合約的形式購電，以減輕雙方營業(yè)風險；在日前市場中通過集中交易的方式進行購電，以彌補中長期交易之外的差額。隨著電力現(xiàn)貨市場試點制度的不斷完善，短期集中交易的比例逐漸增加。

3.2 售電收入

1）需求響應收益。

充電收益和需求響應收益相結合作為基礎套餐部分。當用戶將充電時間由高峰時刻轉(zhuǎn)移至低谷時刻時，電網(wǎng)對EV 用戶的貢獻給予一定的激勵，將需求響應收益融入電價，形成折扣電價的一部分。EVA的需求響應收益ID如式（6）所示。

式中：WD為需求響應的削減量，指實際EV 充電負荷與基線負荷（EV 用戶沒有參與需求響應時的若干相似日負荷的平均值）的差值，但在實際結算時，為充分調(diào)動用戶積極性，低谷時刻充電的用戶也享受該套餐優(yōu)惠；VD為需求響應出清價格，根據(jù)已實施需求響應試點的情況，經(jīng)濟型削峰時VD=2.4 元／（kW·h），填谷時VD=0.9元／（kW·h）。

2）綠電收益。

綠電套餐作為附加套餐的部分，目標客戶是熱衷環(huán)保并且理解能力較強的高質(zhì)量用戶。各EVA通過對電網(wǎng)的貢獻率認購不同比例的綠電，其中貢獻率是指同一基準值下EVA 的充電曲線與電網(wǎng)綠電出力曲線的匹配程度，其計算公式如式（7）所示，各EVA的不同貢獻率如圖2所示。

圖2 EVA的不同貢獻率Fig.2 Different contribution rates of EVA

EVA通過對精準畫像后的用戶行為進行綜合分析判斷，從電力市場購買一定份額的綠電，借助大數(shù)據(jù)手段將所獲得的綠色證書轉(zhuǎn)移，作為用戶踐行環(huán)保的憑證，實現(xiàn)了用戶的個性化需求運營。同時，緩解了國家對可再生能源資金補貼的壓力，擴寬了EVA的盈利渠道。

EVA的綠電收益Ig如式（8）所示。

式中：Wg為綠電電量，根據(jù)EVA 與電網(wǎng)新能源出力曲線的匹配度來確定最大占比，本文套餐設計中以15%為例；Vg為每千瓦時的綠電價格，綠電價格通過在電力市場出清得到，月度套餐下選擇1 個月的平均值，根據(jù)相關省份的試點情況，Vg比燃煤電價高0.044元／（kW·h）。

3）碳交易收益。

碳套餐也作為附加套餐的一部分，EVA 在EV充電的同時精準預測用戶充電負荷曲線，由貢獻率確定各電能種類比例，進而確定各能源的碳減排量。所認購的綠電部分認為是完全減碳的，而火電形式的電能則是將發(fā)電側(cè)的碳排放轉(zhuǎn)移至用戶充電側(cè)，相較于傳統(tǒng)燃油車的碳減排量WC的計算公式如式（10）所示［20］。

式中：等號右側(cè)第1 項為基期燃油汽車碳排放量，第2 項為報告期EV 充電量等效于發(fā)電機組的碳排放量；tc、td分別為EV 充電、行駛時段；θy為第y年新型項目減排量折算系數(shù)，體現(xiàn)社會平均碳排放水平隨時間下降對減排量計算的影響；ξCpetro，ev為汽車燃油-CO2轉(zhuǎn)化因子；ξev-drive，td為行駛時段td內(nèi)消耗電量占上次充電電量的百分比；Hele為電能熱值；ηc為充電樁充電效率；ηbatt為電池充放電效率；ηev為電動機效率；Qev，tc為充電時段tc內(nèi)充電樁的充電量計量；μlossev為運輸汽油損耗率；ηpetrol為石油提煉汽油平均收率；Hpetrol為汽油熱值；ηfuel為發(fā)動機燃油效率；ξCgen為火電機組的燃煤-CO2轉(zhuǎn)化因子；γClosstc為EV 充電時段tc內(nèi)計及網(wǎng)損的電力煤耗系數(shù)。

綜合上述兩部分碳減排量，可得到各EVA 碳減排量的份額。EVA 聚合EV 用戶自愿參與碳排放交易，將碳減排量出售給需要購買碳減排份額來完成減碳任務的相關機構和企業(yè)，獲取一定的利潤，在充分提高用戶與聚合商互動黏性的同時，增加了EV在全壽命周期內(nèi)的經(jīng)濟利益。

EVA碳交易收益IC如式（11）所示。

式中：VC為碳減排交易出清價格，根據(jù)相關試點情況取值為40元／t。

3.3 EVA目標函數(shù)

EVA 的購售電組合決策模型的數(shù)學表達如式（12）所示。

3.4 EV用戶決策模型

3.4.1 EV用戶效用模型

現(xiàn)實中的EV用戶并非完全理性的人，在進行決策時容易偏離傳統(tǒng)意義上的經(jīng)濟學理論做出超出預期結果的決策。采用行為經(jīng)濟學來評估用戶的套餐選擇行為具有重要意義［21］。本文以不同套餐下的自身綜合用電滿意度最大為目標進行套餐選擇和用電方式的決策，數(shù)學表達如下：

式中：n取值1—3 分別表示低谷階梯、低谷包月、低谷月租套餐；Ui為EV 用戶i選擇最優(yōu)套餐的效用函數(shù)；Un，i、U′n，i、U″n，i分別為用戶i選擇第n類套餐中的基礎套餐、附加綠色電力套餐、附加碳交易套餐時的效用函數(shù)；UBn，i、UCn，i、UDn，i分別為用戶i選擇第n類套餐時的充電成本滿意度、充電方式滿意度、外界綜合影響的滲透率；ω1、ω2、ω3分別為用戶綜合充電效用對充電滿意度、充電成本、外界影響的比重；Qmint，i、Qmaxt，i分別為t時段為滿足用戶i出行計劃設定的最小充電量、t時段用戶i電池狀態(tài)下所允許充電的最大電量；Vlni為用戶i初始充電成本，考慮基于固定單一電價計算；Vn，i為用戶i選擇第n類套餐后的充電成本；Qbeforet，i、Qd分別為用戶i在t時段的初始充電量、選擇第n類套餐后的第d檔充電量；λn為用戶對第n類套餐的偏好系數(shù)；p( )AB|A為用戶在營銷手段下的接受概率。

3.4.2 基于韋伯-費希納的用戶響應模型

EV 用戶選擇套餐的決策行為受到套餐價格、充電滿意度、營銷手段等多種因素的影響，在眾多影響因素中，充電價格的影響較為顯著。本文將韋伯-費希納定律作為理論研究依據(jù)，構建EV用戶選擇套餐時的套餐價格對心理意愿影響的模型，尋找用戶對套餐價格反映的閾值。當用戶受到的心理影響越大、訂購套餐的意愿越迫切時，對電網(wǎng)削峰填谷的貢獻越大。因此，可以認為不同用戶對套餐的訂購比例是套餐價格的對數(shù)函數(shù)。

式中：K和C為常系數(shù)；Pcomp為EVA 設計的充電套餐價格。

則EVA 在低谷時刻聚合不同用戶的充電量如式（19）所示，用戶響應度與套餐電價之間的關系如附錄B圖B1所示。

式中：Prespond，t為t時段選擇套餐策略響應負荷；Pt為t時段的總充電負荷。

3.5 求解算法

在求解套餐價格的主從博弈動態(tài)優(yōu)化問題中，設計的套餐價格除了影響車網(wǎng)互動時用戶的單次行為，還會長久影響用戶行為，從而影響長期的收益。采用Nash-Q算法來求解這種前后時間狀態(tài)耦合的動態(tài)優(yōu)化問題［22］。

3.5.1 NE決策模型

本文采用主從博弈刻畫EVA 和EV 用戶之間的行為特征，如式（20）所示。

1）Θ、Ψ為博弈雙方的參與者。其中：Θ為上層（領導者）EVA 智能體1—m的集合，EVA 會根據(jù)各用戶群體充電量做出套餐定價決策；Ψ為下層用戶智能體集合，用戶通過選擇套餐實現(xiàn)自身效用最大化，處于主從博弈的下層（跟隨者）。

2）Ag為博弈雙方參與博弈雙方行為的集合，即EVA的套餐電價Pj、用戶的套餐電量Qi的集合。

3）ug為博弈雙方策略集，即EVA 的目標函數(shù)I（如式（12）所示）和用戶的效用函數(shù)Ui（如式（14）所示）。

3.5.2 NE存在性和唯一性分析

在預學習過程中EVA 和EV 用戶進行交互，最終會收斂到NE，具體的NE證明過程詳見附錄C。

3.5.3 Nash-Q強化學習流程

1）NE解求解流程。

求解博弈過程的關鍵就是求解各智能體在各時段下的NE解。快速求解某一時段的NE解的流程如附錄D圖D1所示。

2）Nash-Q算法。

4 算例分析

4.1 參數(shù)設置及相關場景分析

算例選取上海某EVA 10 000 輛電池容量為80～100 kW·h 的EV 充電行為實測數(shù)據(jù)，根據(jù)行為差異，按比例選取7 254 個公共樁充電用戶、2 746 個家充樁用戶。根據(jù)前期調(diào)研得知，目前EVA 對用戶充電大多采用統(tǒng)一的固定電價收費模式，家充樁的收費和普通電價無異，見附錄E 表E1，公共樁的收費標準見附錄E 表E2。本文的激勵策略是通過訂購月度套餐的形式來調(diào)整EV用戶充電行為。

在算例分析中，設定充電成本滿意度、充電方式滿意度以及綜合影響的比重對用戶的影響分別為0.60、0.25、0.15。通過綜合評估分析，設定K=0.2276、C=1.048。本算例采用Nash-Q算法對EV 用戶和EVA全部博弈過程進行求解，設置α=0.01、β=0.9。

4.2 EV用戶個性化畫像

4.2.1 用戶個性化畫像結果分析

本文采用Python 語言Sklearn 機器學習庫中的BIRCH 算法進行聚類分析，選取區(qū)別性較強的充電屬性標簽對用戶進行初步畫像，得到了A、B、C 類用戶，如附錄E 圖E1 所示，3 類用戶的占比分別為23%、45%、37%。由圖可知，各類用戶特征比較明顯。精細化畫像分析結果如下。

1）A 類用戶月度充電量處于較高水平，由于受到各種主客觀因素的限制，較大比例的用戶仍選擇在白天、高峰進行充電（紅色、深綠部分）；經(jīng)過進一步分析可知，該部分用戶充電功率較大、用戶綜合素質(zhì)較高，更易于接受充電資費形式的轉(zhuǎn)變。對于EVA 而言，這部分用戶就是所尋找移峰填谷目標客戶，后續(xù)應通過套餐策略激勵其改變充電行為。而在低谷時期充電的用戶，群體數(shù)量相差不大（深綠色、淺綠色、深藍色部分），針對本身充電行為在低谷時刻的用戶，應該維持其與電網(wǎng)的黏性，最大限度地發(fā)揮對電網(wǎng)的貢獻率。

2）B 類用戶在群體中占比較大，聚合充電行為在高峰（淺綠色部分），低谷（紫紅色部分）的用戶轉(zhuǎn)移充電行為對于降低電網(wǎng)的峰谷率具有較大的潛力。與之相對應地，C 類用戶充電量較小，由于充電時間較分散以及并網(wǎng)時長過長，聚合起來存在一定的難度。

進一步豐富畫像顆粒度，將得到的3 類用戶的用戶屬性、價值觀屬性等標簽進一步聚類，最終得到的精細化聚類結果，其中A 類用戶的精細化聚類結果如附錄E圖E2所示。

4.2.2 BIRCH與k-means算法對比分析

為驗證BIRCH 算法在EV 用戶畫像構建中的聚類精度和收斂速度，在k-means算法中事先輸入畫像后的類別，將本文算法與傳統(tǒng)k-means 算法進行對比，結果如表2 所示。由表可知，在計算時間以及聚類效果中，BIRCH 算法都略優(yōu)于k-means 算法，并且隨著數(shù)據(jù)增多，效果會更加明顯。

表2 BIRCH算法與k-means算法的性能對比Table 2 Performance comparison between BIRCH algorithm and k-means algorithm

4.2.3 大數(shù)據(jù)平臺可視化展示

本文借助大數(shù)據(jù)平臺Fine BI，構建了EVA可視化展示面板，展示EV 用戶對充電套餐的訂購情況，如附錄E 圖E3 所示。EVA 可視化展示面板包括各類EV 用戶對電網(wǎng)的貢獻率模塊、套餐訂購影響模塊、EVA盈利模塊等，其通過可視化管理平臺連接動態(tài)數(shù)據(jù)庫，及時更新EV 用戶的標簽數(shù)據(jù)，實時展示各個公共站點的用戶充電行為以及套餐訂購情況，增強目標EV 用戶與EVA 的黏性，提高參與車網(wǎng)互動的積極性。

4.3 Nash-Q算法分析

本文將Q算法用于線下學習階段，需要對Q表進行預學習，學習訓練數(shù)據(jù)來源于某EVA 試點項目中產(chǎn)生的數(shù)據(jù)。數(shù)據(jù)中包括各分檔用戶的充電量，以及EVA 對畫像后的電量實施激勵后用戶的反映量。表初始值為0，將上述數(shù)據(jù)進行離散化處理，進行3輪博弈，每輪博弈80次，EVA智能體博弈的情況如圖3所示。

圖3 EVA競價博弈過程Fig.3 EVA bidding game process

在完成對Q表預學習的基礎上，對本文的算例概況進行分析，EVA 根據(jù)模型博弈優(yōu)化后的套餐結果如表3 所示。家充樁的充電套餐價格優(yōu)化過程和上述步驟是相同的，但公共樁在成本支出上有充電站建設成本和充電樁維護成本。

表3 套餐優(yōu)化結果Table 3 Package optimization results

4.4 結果分析

4.4.1 EVA和EV用戶對多元套餐的選擇分析

通過Nash-Q算法求解多元套餐的優(yōu)化價格，分析EV 用戶在選擇不同充電套餐時充電成本的變化及各類用戶對不同套餐的偏好；同時，分析EVA 在EV 用戶做出決策后的經(jīng)濟效益變化情況（如附錄E圖E4所示），具體如下。

1）對于月度充電量處于較高水平的EV用戶（用戶1、2）而言，選擇包月套餐（套餐B）時充電成本最低，月度充電成本節(jié)省了29.42%左右，EVA 的利潤增加了59.8%。該類用戶的月度充電量大，選擇附加套餐的比例也是相對較高的。

2）由于分時電價的低谷電價相對較低，低谷用戶（用戶3）節(jié)省的充電成本相對并不顯著，約節(jié)省了14.4%的月度充電費用，而為了維持這部分用戶，EVA 的利潤下降了42.1%。因此，應主動采取策略對日高峰用戶、晚高峰用戶進行激勵，改變充電行為，為電網(wǎng)平移峰谷做貢獻。

3）對于月充電量處于中等的用戶（用戶4—6），套餐選擇后充電成本下降了18.7%左右，套餐策略的激勵效果會受到影響；但由于該類用戶的數(shù)量較多，仍然會成為與電網(wǎng)互動的重要負荷。并且由EVA 的利潤可知，EVA 在用戶4、5選擇套餐后，利潤提升了約23.74%，但由于用戶6 的充電行為沒有改變，結算時貢獻負荷不能與電網(wǎng)進行結算，并對充電價格進行適當?shù)慕档?，使得EVA的利潤有所下降。

3）對于月均充電量較少的用戶（用戶7、8），選擇階梯套餐（套餐A）充電費用節(jié)省17.9%左右，其原因在于：用戶月度充電量少，動態(tài)比例收費模式使得用戶無需繳納固定費用；同時，該類用戶對附加套餐的選擇比例下降。但EVA 的利潤相對于未選擇套餐時有所增加。采用雷達圖繪制了影響用戶進行套餐決策時的效用因素，如附錄E 圖E5 所示。套餐制定充分考慮了消費者響應的主觀意愿，對于EVA而言，剖析影響用戶選擇套餐時的因素，可在運營過程中實現(xiàn)對EV合理的引導調(diào)度。

4.4.2 套餐策略實施后性能分析

EVA 可以聚合EV 這一需求側(cè)資源積極與電網(wǎng)互動，不同EV 響應度下的電網(wǎng)負荷曲線如圖4所示。由圖可見，00:00—07:00、23:00—24:00 時段電網(wǎng)處于用電低谷時期，11:00—21:00 時段電網(wǎng)負荷處于高峰時期，此時電網(wǎng)基礎負荷的峰谷差為50 MW，峰谷差率為42%。當EV用戶選擇月度充電套餐策略時，改變自身充電行為，將充電負荷從晚高峰、日高峰時段轉(zhuǎn)移至低谷時刻充電，平抑了電網(wǎng)的峰谷，避免了EV 無序充電造成的電網(wǎng)電能質(zhì)量下降，減少了配電網(wǎng)基礎設置的規(guī)模擴建。

圖4 不同EV響應度下電網(wǎng)負荷曲線Fig.4 Power grid load curve under different EV responsiveness

00:00—07:00、22:00—24:00 時段內(nèi)電網(wǎng)負荷增加了30.2 MW，A 類用戶的貢獻率最高，該時段負荷用電與風能出力較為相似，可以充分平衡風能這一清潔能源的出力，減少棄風現(xiàn)象的發(fā)生。充電高峰時段，尤其是18:00—22:00時段內(nèi)削減負荷明顯，減少了15.6 MW，峰谷差率優(yōu)化為36%。填谷效果優(yōu)于削峰效果，這是由于充電設施以及行為習慣的原因，部分EV 用戶不能轉(zhuǎn)移負荷。隨著激勵EV 數(shù)量的增多，對電網(wǎng)的貢獻率更加明顯，峰谷差率提升至30%左右達到相應閾值，同時電網(wǎng)的支出成本也增大。

4.5 不同算法性能分析

相比之下經(jīng)由Nash-Q強化學習算法得到的EVA的長期利潤更高，其最大優(yōu)勢在于新的環(huán)境下，可通過Q表根據(jù)歷史行為進行預測做出動作決策，求解過程中對模型依賴程度較低，改善了KKT 求解方法模型因簡化處理存在建模殘差的不足，可以通過與環(huán)境交互中更新自身策略，降低殘差對策略影響。同時該算法展現(xiàn)了良好的學習記憶性能，不會像遺傳算法一樣尋求局部最優(yōu)解，在與環(huán)境互動過程中獲得長遠收益。

5 結論

本文基于大數(shù)據(jù)技術對規(guī)?；疎V 用戶進行高維精細化畫像，降低了預測EV 用戶充電行為的難度；探究EVA 與EV 用戶之間的主從博弈關系，設計了激勵與價格相結合的月度充電套餐，為EVA 聚合電動汽車參與輔助服務市場提供了新思路。研究表明，靈活的充電套餐能夠在為用戶節(jié)省充電成本的同時為電網(wǎng)削峰填谷做貢獻，達到節(jié)能減排目的，實現(xiàn)雙碳目標，通過算例得到以下結論：

1）差異化的月度充電套餐策略與傳統(tǒng)電價策略、激勵策略相比能夠更好地吸引EV用戶參與輔助服務，改善了對電網(wǎng)的貢獻率，電網(wǎng)峰谷差率提升12%，用戶月均節(jié)省22.64%的充電成本，EVA 的經(jīng)濟利益提高21.41%；

2）在EVA 智能體與EV 用戶智能體的博弈中采用Nash-Q算法求解，能夠?qū)崿F(xiàn)與環(huán)境的互動，進行智能學習，充分保證各方利益，實現(xiàn)雙方利益最大化。

由于算例數(shù)據(jù)存在一定的局限性，Q表仍然在不斷更新中。未來伴隨著相關政策的完善以及電力市場的逐漸放開，EV 所能參與的輔助服務種類會增多，下一步研究工作將擴展套餐形式，優(yōu)化套餐價格，提高套餐方案的針對性，為EVA 的精準營銷提供思路。

附錄見本刊網(wǎng)絡版（http：//www.epae.cn）。