大語言模型在數(shù)學(xué)建模領(lǐng)域的應(yīng)用探索

摘 要：隨著大語言模型在自然語言處理領(lǐng)域的廣泛應(yīng)用，其在數(shù)學(xué)建模領(lǐng)域中的準(zhǔn)確性成為研究的焦點(diǎn)。該文通過引入命名實(shí)體識別（NER）和提示詞工程（Prompt Engineering）的方法，提高大語言模型在數(shù)學(xué)建模問題中的回答準(zhǔn)確率?；贕PT-3.5模型，通過對數(shù)學(xué)建模領(lǐng)域特定問題的語境和結(jié)構(gòu)進(jìn)行深入分析，闡述一套有效的NER策略和提示詞工程方法，以優(yōu)化大模型對數(shù)學(xué)問題的理解和響應(yīng)。

關(guān)鍵詞：大語言模型;ChatGPT;命名實(shí)體識別;提示詞工程;數(shù)學(xué)建模

中圖分類號：TP18 文獻(xiàn)標(biāo)志碼：A 文章編號：2095-2945（2024）22-0018-04

Abstract： With the wide application of large language model in the field of natural language processing， its accuracy in the field of mathematical modeling has become the focus of research. In this paper， named entity recognition （NER） and prompt engineering are introduced to improve the accuracy of large language model in mathematical modeling. Based on the GPT-3.5 model， through the in-depth analysis of the context and structure of specific problems in the field of mathematical modeling， this paper expounds a set of effective NER strategies and prompt engineering methods to optimize the understanding and response of the large model to mathematical problems.

Keywords： large language model; ChatGPT; named entity recognition; prompt word engineering; mathematical modeling

近年來，深度學(xué)習(xí)領(lǐng)域取得了巨大的成功，其中Transformer模型的出現(xiàn)標(biāo)志著自然語言處理、計(jì)算機(jī)視覺等多個(gè)任務(wù)的性能突破。Transformer作為一種創(chuàng)新性的神經(jīng)網(wǎng)絡(luò)架構(gòu)，在其問世后引起了廣泛的關(guān)注和研究。其獨(dú)特的自注意力機(jī)制和并行化能力使其在處理長序列和捕捉全局上下文信息方面表現(xiàn)出色，成為深度學(xué)習(xí)領(lǐng)域的重要里程碑。

大語言模型是深度學(xué)習(xí)的應(yīng)用之一，尤其在自然語言處理（Natural Language Processing，NLP）領(lǐng)域。它在大規(guī)模語料庫上進(jìn)行預(yù)訓(xùn)練的巨大神經(jīng)語言模型深度神經(jīng)網(wǎng)絡(luò)，其基于Transormer架構(gòu)，學(xué)習(xí)大量的文本數(shù)據(jù)，理解和生成人類語言。隨著大語言模型在自然語言處理領(lǐng)域的快速發(fā)展，其在數(shù)學(xué)建模中的應(yīng)用為提高大模型在問題理解和準(zhǔn)確回答提供了新的機(jī)遇。大語言模型能夠通過學(xué)習(xí)大規(guī)模文本數(shù)據(jù)中的語言模式，自動(dòng)提取問題陳述中的關(guān)鍵信息，并生成相應(yīng)的回答。在數(shù)學(xué)建模領(lǐng)域，這種能力尤為重要，因?yàn)閱栴}通常涉及復(fù)雜的數(shù)學(xué)概念和關(guān)系以及模型的各類專業(yè)知識。例如，OpenAI的GPT（Generative Pre-trained Transformer）系列和BERT（Bidirectional Encoder Representations from Transformers），這些模型利用了Transformer的架構(gòu)，并通過預(yù)訓(xùn)練學(xué)習(xí)了大量的語言表示。這些表示在各種自然語言處理任務(wù)中表現(xiàn)出色，包括文本生成、文本分類、命名實(shí)體識別等。主要體現(xiàn)在層數(shù)深、參數(shù)量大、訓(xùn)練數(shù)據(jù)量大。這些模型的目標(biāo)是理解和生成人類語言。為了實(shí)現(xiàn)這個(gè)目標(biāo)，模型需要在大量文本數(shù)據(jù)上進(jìn)行訓(xùn)練，以學(xué)習(xí)語言的各種模式和結(jié)構(gòu)。如 ChatGPT[1]，就是一個(gè)大語言模型的例子。其被訓(xùn)練來理解和生成人類語言，以便進(jìn)行有效的對話和解答各種問題。

在數(shù)學(xué)建模領(lǐng)域當(dāng)中，涉及到了分類模型、預(yù)測模型、微分方程和規(guī)劃算法等各類專有名詞，精準(zhǔn)的語言理解對于模型輸出的準(zhǔn)確性至關(guān)重要。大語言模型的引入為解決這一問題提供了新的思路和工具，但是大多數(shù)的通用領(lǐng)域預(yù)訓(xùn)練大語言模型并不能準(zhǔn)確識別其名詞所屬領(lǐng)域，進(jìn)而導(dǎo)致了模型的回答與問題形成了答非所問的現(xiàn)象。本文通過構(gòu)建命名實(shí)體識別與提示詞工程對數(shù)學(xué)建模問題中涉及到的專有名詞進(jìn)行識別，并通過提示詞工程使得模型偏向于這一特定領(lǐng)域，提高模型對數(shù)學(xué)建模問題回答的準(zhǔn)確率。

1 相關(guān)工作

ChatGPT是由OpenAI開發(fā)的真正智能的聊天機(jī)器人，其核心采用通過大量語料進(jìn)行訓(xùn)練的GPT架構(gòu)，整個(gè)程序通過GPT-3.5架構(gòu)的生成式大規(guī)模語言模型搭建而成，支持用戶以文字方式互動(dòng)，并可以使用人類自然對話的方式進(jìn)行交互，還可以用于相對復(fù)雜的語言工作，包括文本生成、解決文本類的數(shù)學(xué)問題，實(shí)現(xiàn)代碼編寫，修改代碼等多種任務(wù)。如在文本生成方面，其可以根據(jù)輸入的文本推理輸出文本內(nèi)容。在解決文本類的數(shù)學(xué)問題方面，ChatGPT可以根據(jù)輸入的問題自動(dòng)生成答案。在代碼編寫、修改代碼方面，可以根據(jù)用戶想要實(shí)現(xiàn)的程序需求自動(dòng)生成代碼，并可以根據(jù)用戶自行編寫的代碼邏輯基礎(chǔ)上，向GPT發(fā)送相關(guān)的報(bào)錯(cuò)信息即可自動(dòng)生成修改后的代碼。而想要真正地實(shí)現(xiàn)人工智能化的問答大模型，需要使得模型準(zhǔn)確理解用戶發(fā)送的信息內(nèi)容，通過正確的模型推理，對大模型輸出的回答進(jìn)行一定程度上的優(yōu)化以及微調(diào)才能使其盡可能給出正確的回答，避免模型“幻覺”問題。

一個(gè)大模型為了實(shí)現(xiàn)更高水平的智能問答，以更準(zhǔn)確地理解和回應(yīng)用戶的需求。就必須對模型進(jìn)行進(jìn)一步的訓(xùn)練，引入更多多樣性的語料，以涵蓋更廣泛的主題和語境。另外，對模型進(jìn)行細(xì)粒度的微調(diào)也是關(guān)鍵的一步。通過針對特定領(lǐng)域或任務(wù)的微調(diào)，可以提高模型在這些特定情境下的表現(xiàn)。這種微調(diào)不僅包括語言層面的優(yōu)化，還可能涉及領(lǐng)域?qū)I(yè)知識的注入，以使大模型在特定領(lǐng)域的問題上更具專業(yè)性和可靠性。

1.1 命名實(shí)體識別

隨著社會信息化的飛速發(fā)展，大量文本數(shù)據(jù)的迅猛增長已經(jīng)成為當(dāng)下的常態(tài)。這些文本數(shù)據(jù)涵蓋了從日常交流到新聞報(bào)道、學(xué)術(shù)研究等各個(gè)領(lǐng)域的豐富內(nèi)容。在這海量信息中，蘊(yùn)含著大量實(shí)體信息，包括但不限于人物、地點(diǎn)、組織機(jī)構(gòu)等，這構(gòu)成了信息世界的基本構(gòu)成要素。這些實(shí)體信息承載著文本的關(guān)鍵語義和內(nèi)在關(guān)聯(lián)，對于深化對信息的理解、挖掘潛在知識至關(guān)重要。為了有效處理和利用這些龐大文本數(shù)據(jù)中的實(shí)體信息，命名實(shí)體識別（Named Entity Recognition， NER）應(yīng)運(yùn)而生，成為信息提取不可或缺的組成部分。NER的主要任務(wù)是在文本中識別命名實(shí)體，并將其歸類到相應(yīng)的實(shí)體類型中。然而，由于文本的多樣性和復(fù)雜性，涉及多語言表達(dá)方式、文化背景以及領(lǐng)域?qū)I(yè)術(shù)語，這項(xiàng)任務(wù)充滿了挑戰(zhàn)。然而，解決這些挑戰(zhàn)對于提高信息處理和理解的水平至關(guān)重要。

在過去，為了實(shí)現(xiàn)命名實(shí)體識別，人們主要采用手工設(shè)計(jì)的規(guī)則系統(tǒng)[2]。這些規(guī)則系統(tǒng)通過對文本中的語言規(guī)律進(jìn)行建模，識別實(shí)體并將其分類。這種方法的優(yōu)勢在于對領(lǐng)域?qū)I(yè)知識的靈活運(yùn)用，能夠捕捉特定實(shí)體的上下文環(huán)境、語法結(jié)構(gòu)等信息，從而提高識別的準(zhǔn)確性和效率。然而，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的方法逐漸成為命名實(shí)體識別領(lǐng)域的新趨勢。這些方法通過構(gòu)建復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，使模型能夠自動(dòng)學(xué)習(xí)文本中的特征表示，進(jìn)而提高系統(tǒng)的自動(dòng)化和泛化能力。深度學(xué)習(xí)的優(yōu)勢在于其能夠處理更復(fù)雜的語境和語言表達(dá)，對于具有挑戰(zhàn)性的實(shí)體識別問題表現(xiàn)出更強(qiáng)大的性能。以“請使用隨機(jī)森林分類模型預(yù)測未來5年中嬰兒出生率屬于高中低哪一類”為例，應(yīng)提取信息隨機(jī)森林分類模型。

NER的應(yīng)用領(lǐng)域非常廣泛，不僅在傳統(tǒng)的信息檢索、問答系統(tǒng)、機(jī)器翻譯等領(lǐng)域有著廣泛應(yīng)用，還在社交媒體分析、金融輿情監(jiān)測等方面具有重要意義。通過對海量文本數(shù)據(jù)進(jìn)行命名實(shí)體識別，能夠更好地理解社會、把握信息動(dòng)向，為決策提供有力支持。

綜合而言，命名實(shí)體識別作為信息處理領(lǐng)域的重要工具，不斷在理論和技術(shù)上取得突破。其發(fā)展和創(chuàng)新將為信息挖掘、知識發(fā)現(xiàn)等領(lǐng)域帶來更廣闊的可能性，助力推動(dòng)社會信息化進(jìn)程向更深層次邁進(jìn)。

1.2 提示詞工程

提示詞工程作為自然語言處理領(lǐng)域的一個(gè)關(guān)鍵研究方向，其核心目標(biāo)在于設(shè)計(jì)具有針對性和有效性的提示詞，以應(yīng)對智能系統(tǒng)在處理自然語言時(shí)所面臨的挑戰(zhàn)。這一研究方向的興起源于對大語言模型在特定領(lǐng)域中對上下文理解能力的限制。在特定領(lǐng)域中，大語言模型的上下文理解能力有限，可能無法準(zhǔn)確捕捉領(lǐng)域?qū)I(yè)術(shù)語、潛在關(guān)聯(lián)以及特定背景知識。提示詞工程的任務(wù)就是通過設(shè)計(jì)和優(yōu)化合理的提示詞，提高智能系統(tǒng)在語言理解和生成任務(wù)中的性能。這涉及到如何通過提示詞引導(dǎo)模型更準(zhǔn)確地理解用戶輸入的內(nèi)容，或者生成特定領(lǐng)域的語境。在語言處理任務(wù)中，大型語言模型通常需要一些提示詞來引導(dǎo)其理解用戶生成的內(nèi)容或生成特定的語境。這些提示詞的設(shè)計(jì)需要考慮到領(lǐng)域的特殊性，以及用戶在該領(lǐng)域中的期望和需求。合理的提示詞設(shè)計(jì)可以彌補(bǔ)大型語言模型對上下文理解的不足，使其更好地適應(yīng)特定領(lǐng)域的語境，提高系統(tǒng)的性能表現(xiàn)[3]。

2 大語言模型在數(shù)學(xué)建模中的應(yīng)用

在數(shù)學(xué)建模中，特定的領(lǐng)域知識和結(jié)構(gòu)性信息的引入變得尤為關(guān)鍵。本文以ChatGPT為實(shí)驗(yàn)大模型，通過引入命名實(shí)體識別與提示詞工程，能夠在數(shù)學(xué)建模問題中實(shí)現(xiàn)更高層次的語義理解。這意味著模型可以更好地理解問題的背景、要求和約束條件，從而更準(zhǔn)確地為用戶提供有針對性的解答。

2.1 基于詞匯表的命名實(shí)體識別

目前能夠直接應(yīng)用于命名實(shí)體識別當(dāng)中的數(shù)學(xué)建模語料并不完整，缺乏大規(guī)模標(biāo)注數(shù)據(jù)，在這種情況下，通過預(yù)定義的詞匯表可以提供一種有效的解決方案?；谠~匯表的NER模型是一種規(guī)則驅(qū)動(dòng)的方法，其核心思想是通過手工構(gòu)建包含命名實(shí)體的詞匯表，利用這一詞匯表來識別文本中的實(shí)體。以數(shù)學(xué)建模優(yōu)秀論文中的答案進(jìn)行整理合并后為例，將以下內(nèi)容“#算法*圖像分割算法。#解答*針對問題一，首先我們用 MATLAB 提取附件1—附件4中所有球團(tuán)礦相的灰度圖像，再應(yīng)用圖像分割算法分離出電鏡掃描圖像中礦相微觀結(jié)構(gòu)孔隙的二值圖和礦相元素顆粒分布的二值圖。隨后根據(jù)分割出圖像的幾何特征和分布特征，我們提出礦相孔隙平均直徑（MA）、孔隙比（PO）、孔隙分形維數(shù)（Dim）、礦相元素聚集區(qū)域分形維數(shù)（Dimbox）、聚集體延展方向發(fā)散度（StdD）、聚集體發(fā)散方向均勻度（StdU）、礦相元素格子均值（NorM）、礦相元素格子分布均勻度（NorS）8種特征參數(shù)用于表征礦相電鏡掃描圖像的視覺特征。應(yīng)用圖像圖形處理算法，通過分析研究附件1—附件4中的球團(tuán)礦相，提取可以表征礦相的視覺特征。首先我們需要通過 MATLAB 提取附件1—附件4中所有球團(tuán)礦相的灰度圖像， 再應(yīng)用圖像分割算法分離出電鏡掃描圖像中礦相微觀結(jié)構(gòu)孔隙的二值圖和礦相元素顆粒分布的二值圖。隨后根據(jù)分割出圖像的幾何特征和分布特征，我們提出了礦相孔隙平均直徑（MA）、孔隙比（PO）、孔隙分形維數(shù)（Dim）、礦相元素聚集區(qū)域分形維數(shù)（Dimbox）、聚集體延展方向發(fā)散度（StdD）、聚集體發(fā)散方向均勻度（StdU）、礦相元素格子均值（NorM）、礦相元素格子分布均勻度（NorS）8個(gè)指標(biāo)表征礦相電鏡掃描圖像的視覺特征?！痹谶@個(gè)答案中，構(gòu)建詞匯表識別和描述電鏡掃描圖像中的礦相特征。本文首先定義此任務(wù)屬于數(shù)學(xué)建模領(lǐng)域，將上述內(nèi)容中的命名實(shí)體進(jìn)行標(biāo)注后構(gòu)建出的詞匯表見表1，以此類推，搜集數(shù)學(xué)建模常用的模型構(gòu)建詞匯表。然后可以通過直接將相關(guān)詞匯表內(nèi)容輸入給模型使其進(jìn)行記憶，然后再提出待解決的問題。亦或者通過嵌入層將詞匯表中的術(shù)語映射為向量表示，然后將這些向量作為大語言模型的輸入，這樣，每個(gè)術(shù)語都會與一個(gè)連續(xù)的向量表示相關(guān)聯(lián)，可以一定程度上避免AI的誤解現(xiàn)象。

2.2 數(shù)學(xué)建模領(lǐng)域的提示詞

數(shù)學(xué)建模競賽，其因知識面廣，涉及領(lǐng)域深等多種因素，一度成為了所有專業(yè)的高校大學(xué)生趨之若鶩的黃金競賽，黃金競賽在于其綜合性強(qiáng)，涉及了基礎(chǔ)數(shù)學(xué)、機(jī)器學(xué)習(xí)模型、深度學(xué)習(xí)模型、概率論與數(shù)理統(tǒng)計(jì)、數(shù)據(jù)挖掘等多個(gè)領(lǐng)域的內(nèi)容，同時(shí)其賽題具有很明顯的特點(diǎn)，賽題較難，著重考察參賽選手的綜合能力，因此對大模型采用提示詞工程，使其理解提問的問題是否屬于數(shù)學(xué)建模領(lǐng)域，而不是答非所問具有重要意義，利用提示詞可以讓大模型鎖定數(shù)學(xué)建模領(lǐng)域，更好地發(fā)揮其邏輯能力，更好地解決用戶的問題。

本文通過采用指定AI身份的方式，使其提前定位于數(shù)學(xué)建模領(lǐng)域，例如：“請你扮演一名數(shù)學(xué)建模領(lǐng)域的專家，幫我解決一些問題”用戶的輸入與ChatGPT的回答示例見表2，使得大模型在面對復(fù)雜的自然語言任務(wù)時(shí)取得更為顯著的性能提升。

面對數(shù)學(xué)建模中伴隨的長文本的問題介紹以及多個(gè)問題的現(xiàn)象，用戶想要利用AI解決這些問題，需要進(jìn)行任務(wù)拆解，本文設(shè)定將多個(gè)問題拆分為小問題，例如，在一個(gè)數(shù)學(xué)建模賽題中含有4個(gè)問題，可以先將賽題的背景介紹刪除，只向AI發(fā)送賽題的核心部分使其加深對待解決問題的理解，避免答非所問的現(xiàn)象出現(xiàn)，再加入附件數(shù)據(jù)的介紹以及當(dāng)前待求解的賽題當(dāng)中的問題，可以大大提高模型對于問題的解決能力，直接給出可以應(yīng)用的智能模型類型以及問題的相關(guān)求解步驟?？傊锰崾驹~工程對模型的回答范圍進(jìn)行確定，進(jìn)而使用“賽題核心+附件數(shù)據(jù)介紹+問題”的提問范式進(jìn)行提問，以2023年華數(shù)杯全國大學(xué)生數(shù)學(xué)建模競賽C題為例，用戶的輸入與ChatGPT的回答示例內(nèi)容見表3。

3 結(jié)束語

本文主要闡述了以GPT-3.5為例的大語言模型在數(shù)學(xué)建模領(lǐng)域中的應(yīng)用，通過引入命名實(shí)體識別和提示詞工程的方法，致力于提高其在數(shù)學(xué)建模問題中的回答準(zhǔn)確率。在這一研究中，本文對數(shù)學(xué)建模領(lǐng)域特定問題的語境和結(jié)構(gòu)進(jìn)行了深入分析。

首先，介紹了大語言模型在自然語言處理領(lǐng)域的廣泛應(yīng)用，并指出了其在數(shù)學(xué)建模方面的潛在優(yōu)勢。隨后，本文詳細(xì)闡述了引入NER策略的重要性，闡述了構(gòu)建基于詞匯表的命名識別方法，識別并理解文本中的模型各類命名實(shí)體，大幅提高了模型對數(shù)學(xué)建模問題的概念和模型的準(zhǔn)確理解。

其次，本文探討了提示詞工程在數(shù)學(xué)建模中的作用。通過設(shè)計(jì)并引入合適的提示詞，有效地引導(dǎo)了模型關(guān)注關(guān)鍵信息，提高了其對問題的敏感度和回答的準(zhǔn)確性。

在未來的研究中，將進(jìn)一步探索如何結(jié)合更多領(lǐng)域?qū)I(yè)知識和先進(jìn)技術(shù)，進(jìn)一步提升大語言模型在數(shù)學(xué)建模中的應(yīng)用水平。期待這一領(lǐng)域的持續(xù)深入研究，為科學(xué)研究和實(shí)際應(yīng)用帶來更多創(chuàng)新和突破。

參考文獻(xiàn)：

[1] 胡靖宇，楊博，高海軍.科技期刊對ChatGPT沖擊的應(yīng)對策略[J].編輯學(xué)刊，2024（1）：80-85.

[2] 李宏杰，黃薇，王奔.基于BERT的廣西非遺知識圖譜構(gòu)建[J].現(xiàn)代計(jì)算機(jī)，2023，29（21）：56-60.

[3] 秦濤，杜尚恒，常元元，等.ChatGPT的工作原理、關(guān)鍵技術(shù)及未來發(fā)展趨勢[J].西安交通大學(xué)學(xué)報(bào)，2024，58（1）：1-12.

基金項(xiàng)目：太原科技大學(xué)校級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（XJ2023181）

*通信作者：孫寶（1981-），男，博士，副教授。研究方向?yàn)樽顑?yōu)化理論及應(yīng)用。