大語言模型在電網(wǎng)企業(yè)的應(yīng)用前景研究

摘 要：大語言模型是自然語言處理領(lǐng)域的重要研究方向之一，廣泛應(yīng)用于包括電力在內(nèi)的諸多行業(yè)。該文首先從大語言模型的發(fā)展歷程出發(fā)，在大規(guī)模預(yù)訓(xùn)練語言模型和發(fā)展趨勢(shì)2個(gè)方面闡述相關(guān)研究發(fā)展;然后探討大語言模型在電網(wǎng)企業(yè)電力營銷、電力運(yùn)檢、電力調(diào)度和輿情風(fēng)險(xiǎn)識(shí)別等方面的應(yīng)用前景和研究成果;最后提出電力大語言模型需解決的安全和技術(shù)問題，為進(jìn)一步推動(dòng)大語言模型在電網(wǎng)企業(yè)的應(yīng)用提供參考。

關(guān)鍵詞：大語言模型;自然語言處理;人工智能;電力營銷;電力運(yùn)維;電力調(diào)度

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2024）22-0009-05

Abstract： Large language model is one of the important research directions in the field of natural language processing， which is widely used in many industries， including electric power. Starting with the development process of large language model， this paper expounds the related research and development in two aspects of large-scale pre-training language model and development trend， and then discusses the application prospect and research results of large language model in power grid enterprise power marketing， power operation and inspection， power dispatching， public opinion risk identification and so on. Finally， this paper puts forward the security and technical problems that need to be solved in the power large language model， which provides a reference for further promoting the application of the large language model in power grid enterprises.

Keywords： large language model; natural language processing; artificial intelligence（AI）; power marketing; power operation and maintenance; power dispatching

20世紀(jì)90年代以來，互聯(lián)網(wǎng)技術(shù)的發(fā)展加速了人工智能的創(chuàng)新研究，推動(dòng)了人工智能技術(shù)的實(shí)用和落地。當(dāng)前，人工智能領(lǐng)域的大量研究集中在深度學(xué)習(xí)技術(shù)，而自然語言處理是重要研究方向之一。隨著深度學(xué)習(xí)技術(shù)的發(fā)展及預(yù)訓(xùn)練模型的流行，大規(guī)模預(yù)訓(xùn)練語言模型又稱大語言模型（Large Language Model，LLM）成為自然語言處理領(lǐng)域關(guān)注的焦點(diǎn)[1-2]。大語言模型是通過大規(guī)模的無監(jiān)督訓(xùn)練來理解、處理、生成自然語言的一種人工智能模型。與傳統(tǒng)的自然語言處理模型相比，LLM可以更好地處理復(fù)雜語義解析，并表現(xiàn)出一定的邏輯思維和推理能力。以ChatGPT、GPT-3為代表，LLM帶動(dòng)互聯(lián)網(wǎng)行業(yè)快速發(fā)展并掀起研發(fā)浪潮，國內(nèi)科技公司百度的“文心一言”，華為的“盤古”系列，阿里云的“通義”也隨之發(fā)布。

電力行業(yè)是人工智能的主戰(zhàn)場(chǎng)之一。國家電網(wǎng)公司推出“國網(wǎng)云平臺(tái)”企業(yè)中臺(tái)、中國大唐建立“智能燃料管控平臺(tái)”等，電力信息化總體呈現(xiàn)向數(shù)字化和智能化發(fā)展的趨勢(shì)[3]。隨著電力行業(yè)數(shù)字化和信息化步伐不斷加快，電網(wǎng)企業(yè)已積累了各業(yè)務(wù)領(lǐng)域的海量數(shù)據(jù)，這也為深度學(xué)習(xí)技術(shù)尤其是自然語言處理模型的研究與應(yīng)用提供了新的機(jī)遇與發(fā)展。

1 大語言模型發(fā)展歷程

1.1 大規(guī)模預(yù)訓(xùn)練語言模型

隨著深度學(xué)習(xí)技術(shù)的興起，基于神經(jīng)網(wǎng)絡(luò)的自然語言處理（NLP）模型開始取得突破性進(jìn)展。其中，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）是最早的神經(jīng)網(wǎng)絡(luò)架構(gòu)之一，但RNN和CNN在長期保存狀態(tài)信息、處理長序列等問題方面存在局限性[4]。

為了解決上述問題，Google在2017年提出了基于自注意力機(jī)制的深度學(xué)習(xí)架構(gòu)Transformer模型[5]。

Transformer使用的綻放點(diǎn)積注意力的原理如圖1所示，將矩陣Q和K通過點(diǎn)積相乘來計(jì)算每個(gè)位置的注意力權(quán)重，再通過尺度變換、添加掩碼、歸一化操作（SoftMax）處理，得到矩陣，最后與V進(jìn)行點(diǎn)乘計(jì)算，計(jì)算規(guī)則表示為

式中：Q為query查詢矩陣;K為key鍵矩陣;V為value值矩陣，均來自輸入的同一線性變換;dk為Q、K、V的維度;為尺度標(biāo)度。

Transformer由Encoder和Decoder組成。Encoder即編碼，用于對(duì)輸入進(jìn)行指定的特征提取過程，由N個(gè)完全一樣的網(wǎng)絡(luò)層組成，每個(gè)網(wǎng)絡(luò)層都包含一個(gè)多頭自注意力子層和全連接前向神經(jīng)網(wǎng)絡(luò)子層，如圖2所示。Decoder即解碼，根據(jù)編碼器的結(jié)果及上一次預(yù)測(cè)的結(jié)果， 對(duì)下一次可能出現(xiàn)的值進(jìn)行特征表示，相比Encoder存在一個(gè)多頭自注意力子層。為了更好地優(yōu)化深度網(wǎng)絡(luò)，每個(gè)子層都加了殘差連接并歸一化處理，如圖3所示。

基于注意力機(jī)制的Transformer模型并行計(jì)算能力強(qiáng)，在處理大規(guī)模數(shù)據(jù)集時(shí)非常高效地捕捉到豐富的上下文信息，可以更好地處理復(fù)雜的自然語言任務(wù)，因此衍生出了一系列基于Transformer的預(yù)訓(xùn)練模型。根據(jù)預(yù)訓(xùn)練架構(gòu)可以分為三大類別，基于Encoder的模型、基于Decoder的模型、基于Encoder-Decoder的模型。

1.1.1 基于Encoder的模型

表1為基于Encoder模型的典型代表。2018年Google Brain提出的基于雙向Transformer的自然語言表示框架BERT（Bidirectional Encoder Representations from Transformers）[6]是基于Encoder模型的典型代表，其采取Pre-training + Fine-tuning的訓(xùn)練方式，通過雙向上下文信息來學(xué)習(xí)語言表示，在分類、標(biāo)注等任務(wù)下都獲得了更好的效果。在2019年，Google又提出ALBERT（A Lite BERT）[7]，繼承了BERT的雙向上下文理解能力，同時(shí)具備輕量級(jí)、跨層參數(shù)共享、句子順序預(yù)測(cè)等優(yōu)勢(shì)。同年，F(xiàn)acebook AI提出了基于BERT模型的改進(jìn)模型RoBERTa（Robustly Optimized Bert Approach）[8]，從模型規(guī)模、訓(xùn)練時(shí)間、訓(xùn)練策略等多方面進(jìn)行了改進(jìn)，從而提高了模型的泛化能力、訓(xùn)練效率及穩(wěn)定性。

1.1.2 基于Decoder的模型

2018年，OpenAI團(tuán)隊(duì)提出了GPT （Generative Pre-trained Transformer），是一種基于單相Transformer Decoder 的生成式語言模型，可以生成流暢、連貫的文本[9]。在GPT之后，OpenAI團(tuán)隊(duì)對(duì)Transformer模型進(jìn)行了改進(jìn)和擴(kuò)展，提出了GPT-2和GPT-3更高級(jí)的版本，見表2[10-11]。GPT-2繼續(xù)利用單向Transformer的優(yōu)勢(shì)，通過大容量、無監(jiān)督訓(xùn)練，在生成文本的質(zhì)量和連貫性方面有了很大的提高，同時(shí)可以應(yīng)用于更多的自然語言處理任務(wù)。GPT-3則引入了更多的新特性和能力，針對(duì)特定任務(wù)進(jìn)行微調(diào)，在許多自然語言處理任務(wù)及基準(zhǔn)測(cè)試中性能獲得顯著提升，實(shí)現(xiàn)用更少的特定領(lǐng)域數(shù)據(jù)且不經(jīng)過精調(diào)步驟來解決目標(biāo)問題的目的。引起廣泛關(guān)注的ChatGPT是基于GPT-3架構(gòu)進(jìn)行改進(jìn)開發(fā)的完整的Web聊天機(jī)器人產(chǎn)品，可以用于各種自然語言處理任務(wù)，如問答、對(duì)話生成、文本摘要和機(jī)器翻譯等。

1.1.3 基于Encoder-Decoder的模型

BART（Bidirectional and Auto-Regressive Transformers）和T5 （Text-to-Text Transfer Transformer）是基于Encoder-Decoder的典型代表。BART和T5都是在2019年發(fā)表，兩者都采用了Transformers原始結(jié)構(gòu)，BART由Facebook提出，T5由Google提出[12-13]。BART的預(yù)訓(xùn)練任務(wù)中對(duì)輸入加各種類型的噪聲，模型能夠?qū)W習(xí)到不同的語言表達(dá)方式，以及句子的結(jié)構(gòu)和語法，其在自然語言理解任務(wù)上和RoBERTa差不多，但在摘要、翻譯、對(duì)話等自然語言生成的任務(wù)上表現(xiàn)更好。T5的預(yù)訓(xùn)練任務(wù)中把所有的自然語言理解和自然語言生成任務(wù)都轉(zhuǎn)化為文本生成任務(wù)，可以更加靈活地適應(yīng)不同的任務(wù)。因?yàn)槭褂昧她嫶蟮念A(yù)訓(xùn)練庫，在大規(guī)模語言處理時(shí)效果顯著。

1.2 大語言模型的發(fā)展趨勢(shì)

大語言模型的未來發(fā)展趨勢(shì)主要體現(xiàn)在以下幾個(gè)方面。

1.2.1 跨語言

跨語言模型正處于高速發(fā)展時(shí)期，不僅是狹義上的機(jī)器翻譯，還包括支持上百種語言的自然語言處理任務(wù)模型。但對(duì)于語料貧乏的許多小語言，尤其是雙語平行數(shù)據(jù)的缺乏，效果仍然不是很好，未來研究的重點(diǎn)在于如何把大語言豐富的語料知識(shí)遷移到小語言上。

1.2.2 多模態(tài)

語言模型將越來越趨向于多模態(tài)學(xué)習(xí)，將文本、圖像、音頻和視頻等不同模態(tài)的數(shù)據(jù)進(jìn)行融合，以實(shí)現(xiàn)更加全面和多樣化的信息處理和分析，更好地適應(yīng)各種應(yīng)用場(chǎng)景。

1.2.3 常識(shí)和推理

在小范圍、閉域及具體的特定領(lǐng)域，人工智能具有一定的常識(shí)和推理能力，但在開放領(lǐng)域人工智能的未來發(fā)展需要與腦科學(xué)、心理學(xué)、神經(jīng)學(xué)多個(gè)學(xué)科進(jìn)行深度融合。

2 大語言模型在電網(wǎng)企業(yè)的應(yīng)用前景

大語言模型作為一種先進(jìn)的自然語言處理技術(shù)，在電網(wǎng)企業(yè)營銷、運(yùn)檢、調(diào)度及輿情風(fēng)險(xiǎn)識(shí)別等方面展現(xiàn)出了良好的應(yīng)用前景。

2.1 電力營銷

電力營銷業(yè)務(wù)以滿足客戶電力消費(fèi)需求為目的，是電網(wǎng)企業(yè)的核心業(yè)務(wù)，其工作質(zhì)量直接關(guān)系到電網(wǎng)企業(yè)的前途與命運(yùn)。在電力營銷服務(wù)方面，可以利用分析電力營銷中采集系統(tǒng)、客戶視圖、業(yè)務(wù)流程和電費(fèi)賬單等模塊或業(yè)務(wù)中的大量數(shù)據(jù)，深度學(xué)習(xí)輸電、售電過程中營銷數(shù)據(jù)的知識(shí)和語言規(guī)律，實(shí)現(xiàn)對(duì)不同業(yè)務(wù)需求進(jìn)行綜合預(yù)測(cè)處理。一方面可以應(yīng)用于供電企業(yè)收費(fèi)管理、線損管理等業(yè)務(wù)，實(shí)現(xiàn)電力營銷數(shù)據(jù)的智能化查詢、分析、統(tǒng)計(jì)工作，提升企業(yè)市場(chǎng)競爭力和供電服務(wù)能力。另一方面可以建立客戶精準(zhǔn)畫像，為客戶個(gè)性化需求定制專屬方案，實(shí)現(xiàn)從“保供電”到“個(gè)性化供電”。文獻(xiàn)[14]提出了結(jié)合BERT和BiGRU-AT的電力營銷客服工單分類模型，利用BERT進(jìn)行工單文本特征表示，用BiGRU-AT模型進(jìn)行二次語義特征學(xué)習(xí)，解決傳統(tǒng)深度學(xué)習(xí)模型特征提取能力弱及詞向量無法表示多義詞等問題。該文獻(xiàn)對(duì)安全隱患、停電、停電未送電及供電故障等7個(gè)工單類別進(jìn)行測(cè)試，結(jié)果表明，相比于傳統(tǒng)的Word2Vec-BiGRU和Elmo-BiGRU分類方法，BERT、BiGRU-AT模型分類準(zhǔn)確率分別提升了3.31%和2.20%。

2.2 電力運(yùn)檢

電力設(shè)備的運(yùn)維和檢修是保障電力系統(tǒng)安全穩(wěn)定運(yùn)行的關(guān)鍵環(huán)節(jié)，關(guān)系著經(jīng)濟(jì)社會(huì)的發(fā)展和人民用電的穩(wěn)定性與安全。由于存在信息壁壘，傳統(tǒng)運(yùn)維檢修方法往往需要耗費(fèi)大量時(shí)間和人力，大語言模型憑借其自然語言處理技術(shù)和知識(shí)圖譜構(gòu)建能力，通過學(xué)習(xí)歷史維修記錄、設(shè)備故障數(shù)據(jù)、設(shè)備參數(shù)等信息，建立設(shè)備的故障模式識(shí)別模型。當(dāng)設(shè)備出現(xiàn)故障時(shí)，根據(jù)實(shí)時(shí)采集的設(shè)備運(yùn)行數(shù)據(jù)，對(duì)故障現(xiàn)象進(jìn)行分析和描述，并與知識(shí)圖譜中的設(shè)備信息、故障案例等進(jìn)行匹配，識(shí)別出設(shè)備的故障模式，快速定位故障原因，根據(jù)故障的特點(diǎn)和程度，提供相應(yīng)的故障診斷和維修方案。文獻(xiàn)[15]結(jié)合BERT預(yù)訓(xùn)練模型、自注意力模型、雙向長短記憶網(wǎng)絡(luò)，提出了一種BE-SAT-BT的電力變壓器故障診斷模型。在該模型中BERT預(yù)訓(xùn)練模型替代常規(guī)嵌入模型進(jìn)行數(shù)據(jù)嵌入分析，利用自注意力模型和雙向長短記憶網(wǎng)絡(luò)共同對(duì)特征信息進(jìn)行提取。實(shí)驗(yàn)結(jié)果表明，相比常用的電力變壓器故障診斷模型，該BE-SAT-BT模型具有更高的預(yù)測(cè)準(zhǔn)確率，能有效提高電力變壓器故障預(yù)測(cè)能力。

2.3 電力調(diào)度

電力調(diào)度是確保電力系統(tǒng)安全、穩(wěn)定、經(jīng)濟(jì)運(yùn)行的核心任務(wù)，它涉及輸電、配電等多個(gè)環(huán)節(jié)，關(guān)乎社會(huì)經(jīng)濟(jì)的發(fā)展和人民的用電需求。然而，傳統(tǒng)的電力調(diào)度方法面臨著流程復(fù)雜、數(shù)據(jù)處理量大等問題，導(dǎo)致調(diào)度效率和準(zhǔn)確性受到挑戰(zhàn)?；诖笳Z言模型的智能調(diào)度與優(yōu)化可以實(shí)時(shí)監(jiān)控電力系統(tǒng)的運(yùn)行狀態(tài)，通過學(xué)習(xí)歷史調(diào)度數(shù)據(jù)、電網(wǎng)結(jié)構(gòu)信息、發(fā)電和負(fù)荷預(yù)測(cè)數(shù)據(jù)等，建立電網(wǎng)運(yùn)行狀態(tài)的識(shí)別模型。當(dāng)電網(wǎng)運(yùn)行狀態(tài)發(fā)生變化時(shí)，實(shí)時(shí)采集電網(wǎng)運(yùn)行數(shù)據(jù)，對(duì)運(yùn)行狀態(tài)進(jìn)行分析和描述，并與知識(shí)圖譜中的電網(wǎng)結(jié)構(gòu)、調(diào)度規(guī)則等進(jìn)行匹配，快速識(shí)別出電網(wǎng)的運(yùn)行狀態(tài)，及時(shí)發(fā)現(xiàn)潛在問題和風(fēng)險(xiǎn)，自動(dòng)預(yù)警，以便調(diào)度人員及時(shí)采取措施，可極大提高電力調(diào)度的效率。文獻(xiàn)[16]提出了一種基于 Bert 模型的序列標(biāo)注方法，用于電網(wǎng)調(diào)度及電網(wǎng)故障處置預(yù)案中關(guān)鍵信息的抽取。該方法解決了一詞多義問題，提高了模型處理復(fù)雜數(shù)據(jù)集的能力，實(shí)現(xiàn)電網(wǎng)故障處置預(yù)案的關(guān)鍵信息自動(dòng)、高效抽取，更好地輔助調(diào)度員進(jìn)行故障自動(dòng)處置。

2.4 電網(wǎng)企業(yè)輿情風(fēng)險(xiǎn)識(shí)別

電網(wǎng)企業(yè)面臨著輿情多樣化、信息龐大、傳播速度快的挑戰(zhàn)。傳統(tǒng)的輿情監(jiān)測(cè)方法往往難以滿足實(shí)時(shí)性和準(zhǔn)確性的要求。在此背景下，大語言模型可以通過輿情識(shí)別、信息提取、風(fēng)險(xiǎn)預(yù)警的方式進(jìn)行輿情識(shí)別，提高輿情識(shí)別的效率和準(zhǔn)確度，有利于提升電力企業(yè)對(duì)外部信息的感知能力，及時(shí)發(fā)現(xiàn)并應(yīng)對(duì)負(fù)面輿情，從而保護(hù)企業(yè)聲譽(yù)和業(yè)務(wù)穩(wěn)定。文獻(xiàn)[17]將視角放置于社交媒體平臺(tái)，將情感分析與危機(jī)事件輿情進(jìn)行結(jié)合，基于微博評(píng)論數(shù)據(jù)，采用BERT模型進(jìn)行情感訓(xùn)練，對(duì)危機(jī)事件下微博評(píng)價(jià)進(jìn)行情感分類預(yù)測(cè)，以此探究情感在信息輿情中的影響和危機(jī)事件下的詞頻關(guān)系，從而對(duì)危機(jī)事件的輿情管控提出建議。

綜上所述，目前電力大語言模型的應(yīng)用研究以“規(guī)模小、場(chǎng)景少、特征提取有限”為主要特點(diǎn)，尚處在起步階段，未來大規(guī)模大語言模型的應(yīng)用泛化能力更強(qiáng)，具有更廣泛的適用場(chǎng)景，提取特征的能力更強(qiáng)，能夠更好地理解和處理復(fù)雜的電力數(shù)據(jù)，在電網(wǎng)企業(yè)具有良好應(yīng)用前景。

3 電力大語言模型需解決的問題

3.1 安全層面，存在數(shù)據(jù)隱私泄露風(fēng)險(xiǎn)

電力大語言模型需要處理大量的電力數(shù)據(jù)，如何保障如客戶的個(gè)人信息、設(shè)備的運(yùn)行數(shù)據(jù)等敏感信息，避免數(shù)據(jù)泄露和濫用是亟待解決的問題。另一方面，電力大語言模型主要依賴科技巨頭提供的基礎(chǔ)模型“預(yù)訓(xùn)練+微調(diào)”和調(diào)用對(duì)外開放服務(wù)接口， 難以避免由此帶來安全方面的風(fēng)險(xiǎn)和問題。

3.2 技術(shù)層面，基本數(shù)據(jù)集存在缺陷

大語言模型本身屬于生成式語言模型，更注重生成而非準(zhǔn)確，其數(shù)據(jù)集主要來源于網(wǎng)頁、社交媒體等公共互聯(lián)網(wǎng)，盡管應(yīng)用過濾技術(shù)剔除低質(zhì)量及錯(cuò)誤內(nèi)容，但輸出內(nèi)容仍然存在偏見和錯(cuò)誤，與電力系統(tǒng)運(yùn)行要求指令精準(zhǔn)、信息明確相違背，需要過濾技術(shù)的不斷發(fā)展和進(jìn)步。

4 結(jié)束語

電網(wǎng)企業(yè)目前正朝著數(shù)字化、智能化方向發(fā)展，目前大語言模型作為深度學(xué)習(xí)技術(shù)的重點(diǎn)研究技術(shù)已經(jīng)在電網(wǎng)企業(yè)電力營銷、電力運(yùn)檢、電力調(diào)度和輿情風(fēng)險(xiǎn)識(shí)別等方面具有良好的應(yīng)用效果。大規(guī)模大語言模型具有更強(qiáng)的數(shù)據(jù)處理能力、更廣泛的適用場(chǎng)景，在電網(wǎng)企業(yè)具有良好的應(yīng)用前景，但如何保障電網(wǎng)企業(yè)和電力客戶的隱私，防止信息泄露，以及如何提高大語言模型生成內(nèi)容的準(zhǔn)確度和可靠性是目前亟待解決的問題。

參考文獻(xiàn)：

[1] 趙鐵軍，許木璠，陳安東.自然語言處理研究綜述[J/OL].新疆師范大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），1-23[2024-07-10].https：//doi.org/10.14100/j.cnki.65-1039/g4.20230804.001.

[2] 王昀，胡珉，塔娜，等.大語言模型及其在政務(wù)領(lǐng)域的應(yīng)用[J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，64（4）：649-658.

[3] 辛保安.國家電網(wǎng)：搶抓數(shù)字新基建機(jī)遇推動(dòng)電網(wǎng)數(shù)字化轉(zhuǎn)型[EB/OL].（2020-12-03）[2024-01-06].http：//www.sasac.gov.cn/n4470048/n13461446/n15927611/n15927638/n16135038/c16135143/content.html.

[4] 米碩，孫瑞彬，李欣，等.基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)電子郵件的作者識(shí)別[J].科技創(chuàng)新與應(yīng)用，2018（10）：24-25.

[5] ASHISH V， NOAM S， NIKI P， et al. Attention Is All You Need[J/OL]. arXiv. （2017-06-12）[2024-01-06].https：//arxiv.org/abs/1706.03762.

[6] DEVLIN J， CHANG M W， LEE K， et al. BERT： Pre-training of deep bidirectional transformers for language understanding [C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， 2018： 4171-4186.

[7] LAN Z Z， CHEN M D， GOODMAN S， et al. ALBERT： A lite BERT for self-supervised learning of language representations [J/OL]. arXiv. （2019-09-26） [2024-01-06]. https：//arxiv.org/abs/1909.11942.

[8] LIU Y H， OTT M， GOYAL N， et al. RoBERTa： A robustly optimized BERT pretraining approach [J/OL]. arXiv. （2019-07-26） [2024-01-06]. https：//arxiv.org/abs/1907.11692.

[9] RADFORD A， NARASIMHAN K， SALIMANS T， et al. Improving Language Understanding by Generative Pre-Training [J/OL].OpenAI.（2018-06-11） [2024-01-06].https：//cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf.

[10] RADFORD A， WU J， CHILD 0QvNaSIYevT3fRiKSC2YRA==R， et al. Language models are unsupervised multitask learners [J/OL]. OpenAI. （2019-02-14）[2024-01-06]. https：//paperswithcode.com/paper/language-models-are-unsupervised-multitask.

[11] BROWN T B， MANN B， RYDER N， et al. Language models are few-shot learners [C]//Proceedings of the 34th International Conference on Neural Information Processing Systems， 2020： 1877-1901.

[12] LEWIS M， LIU Y H， GOYAL N， et al. BART： Denoising sequence-to-sequence pre-training for natural language generation， translation，and comprehension[J/OL].arXiv. （2019-10-29）[2024-01-06].https：//arxiv.org/abs/1910.13461.

[13] RAFFEL C， SHAZEER N， ROBERTS A， et al. Exploring the limits of transfer learning with a unified text-to-text transformer[J].The Journal of Machine Learning Research， 2020，21（1）：140.

[14] 蔡穎凱，曹世龍，張冶，等.應(yīng)用BERT和BiGRU-AT的電力營銷客服工單分類模型[J].微型電腦應(yīng)用，2023，39（4）：6-9.

[15] 黃錦波，周榮生，羅龍波，等.基于BERT預(yù)訓(xùn)練的電力變壓器故障預(yù)測(cè)[J].制造業(yè)自動(dòng)化，2023，45（9）：89-93.

[16] 肖大軍，張逸茹，徐遐齡，等.基于Bert的電網(wǎng)故障處置預(yù)案信息抽取研究與實(shí)現(xiàn)[J].電力信息與通信技術(shù)，2023，21（3）：26-32.

[17] 朱子賢.基于BERT的危機(jī)事件微博評(píng)價(jià)情感分析及聚類研究[D].哈爾濱：黑龍江大學(xué)，2023.

作者簡介：左星宇（1995-），女，碩士。研究方向?yàn)殡娏I銷。