融合群體智能策略的AI鏈在大壩防汛搶險(xiǎn)知識(shí)推理中的應(yīng)用

楊陽(yáng)蕊，朱亞萍，陳思思，劉雪梅，2，李慧敏

(1.華北水利水電大學(xué) 信息工程學(xué)院，河南 鄭州 450000；2.黃河流域水資源高效利用省部共建協(xié)同創(chuàng)新中心，河南 鄭州 450000；3.華北水利水電大學(xué) 水利學(xué)院，河南 鄭州 450000)

1 研究背景

精準(zhǔn)高效完成防汛搶險(xiǎn)工作對(duì)維護(hù)水利工程項(xiàng)目安全運(yùn)行、保障國(guó)家水安全至關(guān)重要[1]。在大壩防汛搶險(xiǎn)工作中涉及到的知識(shí)包括防汛實(shí)體(如風(fēng)險(xiǎn)事件、發(fā)生部位、搶護(hù)方法等)和實(shí)體間關(guān)系[2](如存在風(fēng)險(xiǎn)、采取方法、功能相似等)。這些知識(shí)廣泛存在于水利工程文本中，將非結(jié)構(gòu)化工程文本中散亂分布的防汛搶險(xiǎn)實(shí)體與關(guān)系表示為知識(shí)圖譜結(jié)構(gòu)化形式，為防汛搶險(xiǎn)工作提供有力知識(shí)支撐，對(duì)推進(jìn)防汛搶險(xiǎn)工作數(shù)字化、智能化發(fā)展意義重大[3-4]。

目前水利工程文本大多以非結(jié)構(gòu)化文檔形式存儲(chǔ)，內(nèi)容關(guān)聯(lián)性弱，且實(shí)體關(guān)系語(yǔ)句分布不集中。由于文本的非結(jié)構(gòu)化特性，文本中豐富的防汛搶險(xiǎn)知識(shí)不易被有效利用，提高該知識(shí)可訪問(wèn)性的現(xiàn)有方法是從可利用文本中直接抽取防汛實(shí)體間關(guān)系?，F(xiàn)有方法有基于總結(jié)句型的方法[5-6]，以及利用標(biāo)注實(shí)體關(guān)系標(biāo)簽的句子訓(xùn)練或微調(diào)模型[7-9]的監(jiān)督或半監(jiān)督方法。這些方法[10-12]可在一定程度上提高防汛實(shí)體關(guān)系知識(shí)的可訪問(wèn)性，但存在兩方面局限：(1)可利用工程文本數(shù)量過(guò)少，即公開(kāi)可利用的工程文本有限，可能無(wú)法充分涵蓋各種防汛實(shí)體間關(guān)系，此外，句型描述多變使得總結(jié)句型需要大量人力成本；(2)文本質(zhì)量偏低，主要表現(xiàn)為文本中表達(dá)防汛實(shí)體間關(guān)系的語(yǔ)句分布散亂，現(xiàn)有方法只能從當(dāng)前輸入句子中抽取明確陳述的防汛實(shí)體間關(guān)系[13-15]，但實(shí)際中多數(shù)防汛實(shí)體間關(guān)系不是在一個(gè)句子中找到的，而是分散在可以組合的句子中通過(guò)推理得出兩實(shí)體間關(guān)系，例如通過(guò)組合“發(fā)生超標(biāo)準(zhǔn)洪水時(shí)，應(yīng)增大水庫(kù)蓄洪能力”與“在壩頂搶筑子埝，利用大壩超高蓄洪”兩條語(yǔ)句，可推理出超標(biāo)準(zhǔn)洪水與壩頂搶筑子埝之間的“采取方法”關(guān)系，進(jìn)而得到<超標(biāo)準(zhǔn)洪水，采取方法，壩頂搶筑子埝>三元組知識(shí)。此外輸入文本極易因非規(guī)范描述產(chǎn)生語(yǔ)義模糊現(xiàn)象，且多數(shù)復(fù)雜句包含代詞指稱和冗余描述，而現(xiàn)有方法對(duì)高質(zhì)量輸入文本的強(qiáng)依賴性決定了其從復(fù)雜語(yǔ)句中抽取領(lǐng)域知識(shí)的能力有限。

為了克服這些限制，與從現(xiàn)有文本中進(jìn)行知識(shí)抽取的方法不同，本文采取一種截然不同的思想，即通過(guò)大型語(yǔ)言模型LLM(Large Language Model，如GPT-3.5[16]，GPT-4)進(jìn)行大壩防汛搶險(xiǎn)知識(shí)推理(Flood Control and Rescue Knowledge Inference，F(xiàn)CRKI)。與抽取不同，推理的方法不要求輸入語(yǔ)句中具有明確的防汛實(shí)體間關(guān)系，而是通過(guò)LLM分別挖掘出防汛實(shí)體相關(guān)描述，將相關(guān)語(yǔ)句組合，進(jìn)而根據(jù)這些組合語(yǔ)句分析推理出防汛實(shí)體間關(guān)系。LLM經(jīng)過(guò)整個(gè)互聯(lián)網(wǎng)中語(yǔ)料的預(yù)訓(xùn)練[17]，是擁有世界知識(shí)的人工智能AI(Artificial Intelligence)引擎，被稱為基礎(chǔ)模型[18]，通過(guò)LLM挖掘防汛實(shí)體相關(guān)知識(shí)，可利用整個(gè)互聯(lián)網(wǎng)作為知識(shí)庫(kù)，不依賴有限的文本源，從而避免可利用工程文本數(shù)量過(guò)少的限制。LLM學(xué)習(xí)到互聯(lián)網(wǎng)中多樣的語(yǔ)言表達(dá)模式，且其上下文學(xué)習(xí)能力支持組合不同語(yǔ)句進(jìn)行關(guān)系推理而不依賴于特定的文本輸入，因此可避免輸入文本質(zhì)量偏低的限制。然而若直接使用LLM查詢防汛實(shí)體間關(guān)系，其很可能由于無(wú)法深入理解領(lǐng)域知識(shí)產(chǎn)生無(wú)效響應(yīng)。為了避免直接查詢生成無(wú)效回答，受任務(wù)分解[19]與提示鏈接[20]等研究的啟發(fā)，本文設(shè)計(jì)一種大壩防汛搶險(xiǎn)知識(shí)推理新范式，這種范式將總體推理任務(wù)分解為子任務(wù)，為各個(gè)子任務(wù)設(shè)計(jì)任務(wù)提示，按特定結(jié)構(gòu)將任務(wù)提示鏈接形成“AI鏈”，以驅(qū)動(dòng)LLM根據(jù)AI鏈中任務(wù)提示逐步完成各個(gè)推理子任務(wù)，最終解決防汛實(shí)體間關(guān)系推理問(wèn)題。具體來(lái)說(shuō)，將防汛搶險(xiǎn)實(shí)體間關(guān)系推理整體流程詳細(xì)分解為三個(gè)步驟，依次為防汛實(shí)體抽取、實(shí)體相關(guān)知識(shí)挖掘與實(shí)體間關(guān)系推斷，針對(duì)三個(gè)步驟設(shè)計(jì)三個(gè)模塊與LLM進(jìn)行實(shí)時(shí)交互，分別是防汛實(shí)體抽取器(Entity Extractor，Eer)、防汛實(shí)體知識(shí)解析器(Knowledge Parser，KPer)和防汛實(shí)體間關(guān)系決策器(Relation Decider，RDer)，在三個(gè)模塊中通過(guò)設(shè)計(jì)一系列提示，逐步引導(dǎo)LLM根據(jù)提示從知識(shí)庫(kù)中對(duì)目標(biāo)知識(shí)進(jìn)行抽取、挖掘與推理。為了提高防汛實(shí)體間關(guān)系推理的可靠性，本文設(shè)計(jì)了一種群體智能策略[21]，即由RDer以三種不同方式(開(kāi)放式提問(wèn)、限制性判斷、限制性選擇)對(duì)該實(shí)體對(duì)間關(guān)系做出三次決策，采用多數(shù)投票決定最終結(jié)果，從而完成防汛實(shí)體間關(guān)系推理。FCRKI主要利用LLM豐富的語(yǔ)言知識(shí)及上下文學(xué)習(xí)能力進(jìn)行防汛實(shí)體間關(guān)系推理，打破了可利用工程文本數(shù)量過(guò)少和防汛實(shí)體關(guān)系語(yǔ)句分布散亂的局限。這一新范式給水利領(lǐng)域各種信息抽取任務(wù)提供了新的解決思路，將使研究人員更高效率地完成不僅限于大壩防汛搶險(xiǎn)知識(shí)推理等水利信息化任務(wù)中任何一種需要AI參與的任務(wù)。

2 防汛搶險(xiǎn)知識(shí)推理方法

2.1 關(guān)系類型描述大壩防汛搶險(xiǎn)工作涉及的關(guān)系類型眾多，以5種關(guān)系類型為例介紹防汛搶險(xiǎn)知識(shí)推理方法，關(guān)系類型分別是：存在風(fēng)險(xiǎn)、連帶險(xiǎn)情、采取方法、功能相似、功能對(duì)比[12]。其中“存在風(fēng)險(xiǎn)”關(guān)系，即某一工程部位會(huì)出現(xiàn)某種風(fēng)險(xiǎn)事件；“連帶險(xiǎn)情”關(guān)系，即某一工程險(xiǎn)情可能會(huì)連帶另一種工程險(xiǎn)情的發(fā)生；“采取方法”關(guān)系，即出現(xiàn)某種險(xiǎn)情時(shí)需要采取某種方法搶護(hù)；“功能相似”關(guān)系，即不同物料之間的可替代；“功能對(duì)比”關(guān)系，即物料之間的效率對(duì)比。

2.2 總體任務(wù)分解現(xiàn)有的基于監(jiān)督或半監(jiān)督學(xué)習(xí)的方法，需要大量人力成本對(duì)數(shù)據(jù)進(jìn)行收集、清理和標(biāo)記[22]，從而完成模型訓(xùn)練、評(píng)估和優(yōu)化。與之不同，本文提出的知識(shí)推理方法利用LLM的強(qiáng)大語(yǔ)言處理能力以無(wú)監(jiān)督學(xué)習(xí)方法進(jìn)行防汛實(shí)體間關(guān)系推理。為完成知識(shí)推理總?cè)蝿?wù)，該方法模仿人類思維，將推理流程分解為三個(gè)串行子任務(wù)，分別是抽取防汛實(shí)體并配對(duì)、挖掘防汛實(shí)體相關(guān)知識(shí)并組合、基于組合知識(shí)推理出防汛實(shí)體間關(guān)系。同時(shí)，針對(duì)三個(gè)子任務(wù)設(shè)計(jì)了三個(gè)子模塊，分別是防汛實(shí)體抽取器Eer、防汛實(shí)體知識(shí)解析器KPer和防汛實(shí)體間關(guān)系決策器RDer，總體框架如圖1(圖中黑體為突出重點(diǎn)，下同)。在知識(shí)推理過(guò)程中，首先，Eer旨在引導(dǎo)LLM從輸入文本中提取大壩防汛實(shí)體，將實(shí)體兩兩配對(duì)，這里Eer只做實(shí)體抽取，不考慮實(shí)體間關(guān)系，不受當(dāng)前輸入文本語(yǔ)義復(fù)雜度的影響。隨后KPer基于LLM的龐大知識(shí)庫(kù)挖掘與防汛實(shí)體對(duì)相關(guān)的語(yǔ)句描述，并對(duì)語(yǔ)句進(jìn)行合并處理，最后RDer基于此組合語(yǔ)句推理總結(jié)出防汛實(shí)體間關(guān)系，各子模塊通過(guò)串行方式完成推理工作。

圖1 FCRKI總體框架

2.3 子模塊分解為了更好的解決子任務(wù)，進(jìn)一步將每個(gè)子模塊分解為責(zé)任單一的兩個(gè)子問(wèn)題，針對(duì)各模塊中單一子問(wèn)題設(shè)計(jì)功能單元，分別是AI單元與非AI單元，如圖2所示。AI單元是指基于LLM(AI知識(shí)庫(kù))進(jìn)行推理的單元，非AI單元是指遵循客觀規(guī)則或邏輯的單元。

圖2 功能單元圖

防汛實(shí)體知識(shí)解析器分解為一個(gè)AI單元(防汛實(shí)體知識(shí)挖掘)和一個(gè)非AI單元(實(shí)體知識(shí)組合)。即給定一個(gè)實(shí)體對(duì)，該模塊中AI單元通過(guò)LLM挖掘?qū)嶓w對(duì)中每個(gè)實(shí)體的相關(guān)知識(shí)，再由非AI單元將兩條知識(shí)合并為一組完整的、綜合的段落?？紤]到該模塊需要推理5種類型的關(guān)系，為每種關(guān)系類型設(shè)計(jì)單獨(dú)的知識(shí)解析器，5個(gè)知識(shí)解析器通過(guò)并行方式完成相關(guān)知識(shí)挖掘工作。

防汛實(shí)體間關(guān)系決策器分解為三個(gè)AI單元(防汛實(shí)體間關(guān)系決策1、防汛實(shí)體間關(guān)系決策2、防汛實(shí)體間關(guān)系決策3)和一個(gè)非AI單元(結(jié)果組合)。即給定一個(gè)實(shí)體對(duì)及與實(shí)體對(duì)相關(guān)的完整知識(shí)段落，該模塊的三個(gè)AI單元將從不同角度和風(fēng)格(直接提問(wèn)、判斷聲明正誤、制定選項(xiàng))，獨(dú)立地評(píng)估實(shí)體間關(guān)系，再由非AI單元將三個(gè)AI單元的輸出匯總，通過(guò)多數(shù)投票最終確認(rèn)實(shí)體間關(guān)系。此外，為了提高FCRKI的魯棒性，將為每種防汛實(shí)體間關(guān)系類型設(shè)計(jì)單獨(dú)的關(guān)系決策器，各個(gè)決策器并行操作。

2.4 AI單元的有效提示設(shè)計(jì)充分利用LLM的上下文學(xué)習(xí)能力，通過(guò)AI單元中的有效任務(wù)提示和案例來(lái)激活LLM執(zhí)行特定任務(wù)的能力。上下文學(xué)習(xí)方式無(wú)需梯度更新[23-24]，只需一個(gè)任務(wù)提示和很少的案例，就可以使LLM適應(yīng)新任務(wù)[25]。此外，一項(xiàng)實(shí)驗(yàn)研究[26]表明，任務(wù)提示和相關(guān)案例對(duì)語(yǔ)境學(xué)習(xí)十分重要。為了使提示設(shè)計(jì)更加標(biāo)準(zhǔn)，通過(guò)一系列研究[27-29]的啟發(fā)開(kāi)發(fā)一個(gè)模板，如圖3所示，該模板包括任務(wù)提示(例如：從輸入文本中抽取防汛實(shí)體)和相關(guān)輸入輸出案例。其中任務(wù)提示用于指導(dǎo)LLM完成指定任務(wù)，輸入輸出案例則使LLM學(xué)習(xí)到任務(wù)相關(guān)語(yǔ)境特征。為了確保FCRKI的準(zhǔn)確性不受相同風(fēng)格句式的影響，以非連續(xù)實(shí)體、嵌套實(shí)體、非常規(guī)縮略語(yǔ)、長(zhǎng)難句、并列排比句5個(gè)不同風(fēng)格特征為選取標(biāo)準(zhǔn)，選取了5個(gè)代表性案例以供LLM完成語(yǔ)境學(xué)習(xí)，5個(gè)特征對(duì)應(yīng)的輸入輸出案例依次為：(1)輸入：細(xì)顆粒被帶走，使壩體或地基產(chǎn)生較大沉陷；輸出：壩體沉陷、地基沉陷；(2)輸入：壩頂漫溢常因原設(shè)計(jì)標(biāo)準(zhǔn)偏低或暴雨集中；輸出：壩頂、壩頂漫溢；(3)輸入：當(dāng)口門溜勢(shì)稍緩，即應(yīng)抓緊推枕拋石盤筑裹頭；輸出：口門、盤筑裹頭；(4)輸入：設(shè)有事故檢修閘門門槽而無(wú)檢修閘門時(shí)，將臨時(shí)調(diào)用的鋼(木)疊梁逐條放入門槽；輸出：檢修閘門門槽、鋼(木)疊梁；(5)輸入：土壩裂縫包括龜狀裂縫、橫向裂縫、縱向裂縫；輸出：龜狀裂縫、橫向裂縫、縱向裂縫。這5個(gè)案例有不同的文本長(zhǎng)度和實(shí)體特征。

圖3 防汛實(shí)體抽取器

2.4.1 防汛實(shí)體抽取器中的AI單元 Eer包含一個(gè)AI單元(防汛實(shí)體提取)。該單元提供給LLM的任務(wù)提示為“從輸入文本中抽取防汛實(shí)體”。具體工作為AI單元根據(jù)任務(wù)提示提取輸入文本中的實(shí)體并將其輸出，非AI單元接收AI單元的輸出實(shí)體作為輸入，并根據(jù)客觀規(guī)則和邏輯將其配對(duì)。抽取案例及其對(duì)應(yīng)的輸出如圖3所示。

2.4.2 防汛實(shí)體知識(shí)解析器中的AI單元 為每種關(guān)系關(guān)聯(lián)的實(shí)體設(shè)置獨(dú)立的防汛實(shí)體知識(shí)解析器(KPer)。每個(gè)KPer都有一個(gè)AI單元(防汛實(shí)體知識(shí)挖掘)，每個(gè)AI單元對(duì)應(yīng)一種關(guān)系，該AI單元的重點(diǎn)是挖掘防汛搶險(xiǎn)實(shí)體的相關(guān)知識(shí)。LLM是擁有世界知識(shí)的AI知識(shí)庫(kù)，其不局限于有限的現(xiàn)存文本，可根據(jù)有效提示挖掘相關(guān)知識(shí)并將知識(shí)返回。由于使用5種關(guān)系類型測(cè)試，因此設(shè)計(jì)5組有效提示引導(dǎo)LLM挖掘防汛實(shí)體相關(guān)知識(shí)。提示設(shè)計(jì)如表1所示。

表1 知識(shí)挖掘的提示設(shè)計(jì)

KPer中AI單元的任務(wù)提示為“回答實(shí)體相關(guān)問(wèn)題”，以“存在風(fēng)險(xiǎn)”關(guān)系為例，AI單元根據(jù)提示生成相關(guān)知識(shí)，隨后，非AI單元根據(jù)規(guī)則將知識(shí)組合。實(shí)例輸入及輸出如圖4所示。

課堂教學(xué)模式的優(yōu)化需要一個(gè)具體的過(guò)程，并不是一兩節(jié)課就能夠解決的。它需要我們化學(xué)教師扎扎實(shí)實(shí)地進(jìn)行工作，認(rèn)認(rèn)真真地分析自己在教學(xué)中的問(wèn)題，并仔仔細(xì)細(xì)地思考其中的緣由和解決措施，從而摸索出一條具有自身教學(xué)特色的課堂優(yōu)化之路，提升教學(xué)的質(zhì)量。

圖4 防汛實(shí)體知識(shí)解析器

2.4.3 防汛實(shí)體間關(guān)系決策器中的AI單元 為了確保關(guān)系推理的可靠性，為每種關(guān)系都設(shè)置獨(dú)立的防汛實(shí)體間關(guān)系決策器(RDer)，通過(guò)分裂-投票-合并的方式實(shí)現(xiàn)群體智能策略。具體來(lái)講，將RDer分裂出三個(gè)子決策，每個(gè)子決策設(shè)置一個(gè)獨(dú)立AI單元，分別是防汛實(shí)體間關(guān)系決策1、防汛實(shí)體間關(guān)系決策2和防汛實(shí)體間關(guān)系決策3，三個(gè)AI單元并行工作，根據(jù)LLM生成的知識(shí)通過(guò)直接提問(wèn)、判斷聲明正誤和限制性選擇答案三種方式做出三次回答，最后將答案進(jìn)行合并得到一個(gè)更全面、更合理的結(jié)果從而完成關(guān)系推理。決策1和決策2中有效提示需根據(jù)每種關(guān)系類型量身定制，由于中文中一詞多義性，單一詞語(yǔ)可能造成歧義，導(dǎo)致LLM生成無(wú)效的回答。例如：“實(shí)體_1和實(shí)體_2之間是否具有存在風(fēng)險(xiǎn)關(guān)系”，由于存在風(fēng)險(xiǎn)在不同領(lǐng)域中關(guān)聯(lián)到知識(shí)不同，LLM會(huì)生成“它們之間具有一定的關(guān)系”這種模糊的無(wú)效回答，而不是做出“是”或“否”的直接判斷。為此，本文在提示中將每種關(guān)系替換為該關(guān)系的描述，防汛實(shí)體間關(guān)系決策1中各關(guān)系類型提示如下：

存在風(fēng)險(xiǎn)：基于上述知識(shí)回答，{實(shí)體_1}和{實(shí)體_2}是否具有“某一工程部位會(huì)出現(xiàn)某種風(fēng)險(xiǎn)事件”這種關(guān)系？

連帶險(xiǎn)情：基于上述知識(shí)回答，{實(shí)體_1}和{實(shí)體_2}是否具有“某一工程險(xiǎn)情可能會(huì)連帶另一種工程險(xiǎn)情的發(fā)生”這種關(guān)系？

采取方法：基于上述知識(shí)回答，{實(shí)體_1}和{實(shí)體_2}是否具有“出現(xiàn)某種險(xiǎn)情時(shí)需要采取某種方法搶護(hù)”這種關(guān)系？

功能相似：基于上述知識(shí)回答，{實(shí)體_1}和{實(shí)體_2}是否具有“不同物料之間可替代”這種關(guān)系？

功能對(duì)比：基于上述知識(shí)回答，{實(shí)體_1}和{實(shí)體_2}是否具有“物料之間的效率對(duì)比”這種關(guān)系？

防汛實(shí)體間關(guān)系決策2中通過(guò)判斷聲明正誤，再次對(duì)實(shí)體間關(guān)系類型進(jìn)行決策，各關(guān)系類型聲明如下：

存在風(fēng)險(xiǎn)：基于上述知識(shí)判斷，{實(shí)體_1}和{實(shí)體_2}具有“某一工程部位會(huì)出現(xiàn)某種風(fēng)險(xiǎn)事件”這種關(guān)系。

連帶險(xiǎn)情：基于上述知識(shí)判斷，{實(shí)體_1}和{實(shí)體_2}具有“某一工程險(xiǎn)情可能會(huì)連帶另一種工程險(xiǎn)情的發(fā)生”這種關(guān)系。

采取方法：基于上述知識(shí)判斷，{實(shí)體_1}和{實(shí)體_2}具有“出現(xiàn)某種險(xiǎn)情時(shí)需要采取某種方法搶護(hù)”這種關(guān)系。

功能相似：基于上述知識(shí)判斷，{實(shí)體_1}和{實(shí)體_2}具有“不同物料之間可替代”這種關(guān)系。

功能對(duì)比：基于上述知識(shí)判斷，{實(shí)體_1}和{實(shí)體_2}具有“物料之間的效率對(duì)比”這種關(guān)系。

防汛實(shí)體間關(guān)系決策3中，將5種關(guān)系視為5個(gè)選項(xiàng)作為提示，引導(dǎo)LLM做第三次決策，如圖5-Ⅰ中決策3所示。

圖5 防汛實(shí)體間關(guān)系決策器

以存在風(fēng)險(xiǎn)關(guān)系推理為例，RDer將KPer挖掘并組合的實(shí)體相關(guān)知識(shí)以固定格式輸入到LLM中。防汛實(shí)體間關(guān)系決策1通過(guò)開(kāi)放式提問(wèn)得到“是”或“否”的準(zhǔn)確回答。防汛實(shí)體間關(guān)系決策2通過(guò)判斷所設(shè)聲明的正誤得到“正確”或“不正確”的回答。防汛實(shí)體間關(guān)系決策3通過(guò)限制性選擇答案，從5個(gè)給定選項(xiàng)中選擇一項(xiàng)關(guān)系，如果無(wú)法確定，則選擇“未知”。如圖5-Ⅰ所示。為提高關(guān)系推理的準(zhǔn)確性，最終結(jié)果采用群體智能策略確定，即三個(gè)決策中有2個(gè)及以上對(duì)“實(shí)體對(duì)之間存在該種關(guān)系”表示肯定，則認(rèn)為此關(guān)系成立并輸出最終三元組。群體智能策略實(shí)現(xiàn)如圖5-Ⅱ所示。

3 實(shí)驗(yàn)設(shè)置

3.1 文本預(yù)處理本文主要以防洪搶險(xiǎn)應(yīng)急預(yù)案文檔、防汛條例、防汛搶險(xiǎn)知識(shí)文本作為主要案例源。在獲得相關(guān)文本后，對(duì)文本進(jìn)行段落篩選，過(guò)濾掉與防汛知識(shí)無(wú)關(guān)的描述，利用自然語(yǔ)言處理工具PyLTP(Python Language Technology Platform)[30]對(duì)篩選后的段落以句號(hào)為分隔符進(jìn)行分句處理，最終獲得3104條文本，將3104條文本輸入到防汛搶險(xiǎn)實(shí)體抽取器中，獲得5601個(gè)實(shí)體對(duì)。以此5601個(gè)實(shí)體對(duì)為基礎(chǔ)測(cè)試數(shù)據(jù)，通過(guò)實(shí)驗(yàn)檢驗(yàn)防汛搶險(xiǎn)知識(shí)推理方法的有效性。

3.2 基準(zhǔn)實(shí)驗(yàn)設(shè)置

3.2.1 子模塊中AI單元的有效性檢驗(yàn) 采用抽樣方法[31]檢驗(yàn)AI單元準(zhǔn)確性。對(duì)于防汛實(shí)體抽取單元的檢驗(yàn)將從初始3104條文本中隨機(jī)抽取310條文本進(jìn)行評(píng)估；對(duì)于防汛實(shí)體間關(guān)系決策單元的檢驗(yàn)，將從5601個(gè)實(shí)體對(duì)中隨機(jī)抽取560個(gè)進(jìn)行評(píng)估；對(duì)于防汛實(shí)體知識(shí)挖掘單元，該單元主要用來(lái)挖掘防汛搶險(xiǎn)實(shí)體相關(guān)知識(shí)，此單元所返回的答案是利用LLM從廣泛的世界知識(shí)中抽取并生成的，所涉及知識(shí)并無(wú)標(biāo)準(zhǔn)答案，故允許防汛實(shí)體知識(shí)挖掘單元存在噪聲。因此本文不對(duì)該單元進(jìn)行評(píng)估，只要該單元能提取到相關(guān)的、正確的防汛搶險(xiǎn)知識(shí)，即認(rèn)為KPer模塊可靠。

針對(duì)防汛實(shí)體抽取單元，對(duì)該單元抽取所得實(shí)體進(jìn)行判斷，判斷其是否屬于防汛搶險(xiǎn)實(shí)體。針對(duì)防汛實(shí)體間關(guān)系決策單元，通過(guò)判斷最終推理所得結(jié)果的準(zhǔn)確率來(lái)評(píng)估該單元的可靠程度。

3.2.2 防汛知識(shí)推理有效性驗(yàn)證 將FCRKI與實(shí)體關(guān)系聯(lián)合抽取框架WRERJE[12]進(jìn)行比較，驗(yàn)證FCRKI在防汛實(shí)體關(guān)系三元組知識(shí)推理任務(wù)中的可靠性。將3.2.1節(jié)中得到的310條初始文本作為輸入，分別使用WRERJE 和FCRKI提取防汛實(shí)體關(guān)系三元組。此外，為了驗(yàn)證文本特征對(duì)FCRKI的影響，將310條樣本分為簡(jiǎn)單文本和復(fù)雜文本，如果1條文本中含有兩個(gè)以上的防汛搶險(xiǎn)實(shí)體且模式復(fù)雜，即劃定為復(fù)雜文本，否則為簡(jiǎn)單文本，最終得到156條簡(jiǎn)單文本和154條復(fù)雜文本。分別測(cè)試FCRKI方法對(duì)復(fù)雜文本和簡(jiǎn)單文本的推理性能。

3.2.3 AI鏈和群體智能策略有效性檢驗(yàn) 為了驗(yàn)證本文所提AI鏈的有效性，設(shè)計(jì)2種方法：(1)FCRKIw/oAI，其不使用AI鏈思想，采取直接詢問(wèn)實(shí)體間關(guān)系的方式，如圖6中FCRKIw/oAI，輸入為1條工程文本，輸出為L(zhǎng)LM根據(jù)自身邏輯推理出的該條語(yǔ)句中表達(dá)的關(guān)系；(2)FCRKIAI-CoT，其使用AI鏈思想，但不進(jìn)行子模塊和功能單元的劃分，只在1個(gè)文本塊中描述所有步驟，LLM通過(guò)任務(wù)步驟來(lái)完成防汛實(shí)體間關(guān)系推理，如圖6中所示，輸入為1條工程文本，輸出為L(zhǎng)LM根據(jù)步驟推理得到的文本中表達(dá)關(guān)系。采用初始310條工程文本進(jìn)行上述兩種方法的測(cè)試。

為了評(píng)估群體智能策略對(duì)FCRKI魯棒性的影響，設(shè)計(jì)了4種方法，第1種方法為FCRKIw/OMV，該方法省略多數(shù)投票環(huán)節(jié)，在3個(gè)決策單元的輸出結(jié)果中，只要有一個(gè)輸出為正，該結(jié)果就為正，該方法主要驗(yàn)證多數(shù)投票的有效性。其余3種方法則是針對(duì)防汛實(shí)體間關(guān)系決策單元設(shè)計(jì)了3種獨(dú)立變體，分別是只回答開(kāi)放式問(wèn)題的決策1(RDer_1)、只判斷聲明正誤的決策2(RDer_2)、只做限制性選擇的決策3(RDer_3)，每種方法都將其對(duì)應(yīng)的獨(dú)立決策單元的輸出作為最終結(jié)果，3種獨(dú)立變體用于驗(yàn)證群體智能策略的有效性。

4 實(shí)驗(yàn)結(jié)果

4.1 子模塊中AI單元有效性檢驗(yàn)結(jié)果對(duì)于子模塊和AI單元的準(zhǔn)確性檢驗(yàn)結(jié)果如表2所示。防汛實(shí)體抽取器的準(zhǔn)確率取決于該子模塊內(nèi)進(jìn)行實(shí)體抽取的AI單元準(zhǔn)確率，實(shí)體抽取AI單元對(duì)初始的310條文本進(jìn)行抽取，共抽取出525個(gè)實(shí)體，通過(guò)人工對(duì)525個(gè)實(shí)體進(jìn)行注釋，其中正確的有457個(gè)，準(zhǔn)確率為87%。防汛實(shí)體間關(guān)系決策器從3.2.1中得到的560個(gè)實(shí)體對(duì)中推理出769條關(guān)系三元組，通過(guò)人工對(duì)769條關(guān)系三元組進(jìn)行注釋，正確數(shù)量為661，準(zhǔn)確率為86%。在769條關(guān)系三元組中，通過(guò)開(kāi)放式提問(wèn)方式進(jìn)行決策的決策1回答正確個(gè)數(shù)為630，準(zhǔn)確率為82%；通過(guò)限制性判斷聲明正誤方式進(jìn)行決策的決策2判斷正確個(gè)數(shù)為607，準(zhǔn)確率為79%。通過(guò)限制性選擇方式進(jìn)行決策的決策3選擇正確個(gè)數(shù)為592，準(zhǔn)確率為77%。

實(shí)體抽取錯(cuò)誤主要表現(xiàn)為無(wú)效實(shí)體與文本中不存在實(shí)體，具體案例如表3。從第1條文本中抽取出的“土?！睂?shí)體，與從第2條文本中抽取出的“填筑”實(shí)體，其在日常生活和各個(gè)領(lǐng)域中被廣泛使用，這類實(shí)體屬于通用實(shí)體，對(duì)于大壩防汛搶險(xiǎn)任務(wù)缺乏針對(duì)性，本文注釋時(shí)將該類實(shí)體視為無(wú)效實(shí)體。從第1條文本中抽取的“堤壩”實(shí)體，雖屬于該領(lǐng)域內(nèi)特定實(shí)體，但并不存在于文本中，這是由于LLM有時(shí)可能會(huì)根據(jù)語(yǔ)義生成與當(dāng)前文本語(yǔ)義較相似，但實(shí)際不存在于文本中的實(shí)體，本文中注釋時(shí)將該實(shí)體視為錯(cuò)誤實(shí)體。關(guān)系推斷不正確主要由于進(jìn)行實(shí)體相關(guān)知識(shí)挖掘時(shí)，LLM生成的防汛實(shí)體相關(guān)知識(shí)可能存在噪聲，因?yàn)榇四K所返回的答案是利用LLM從廣泛的世界知識(shí)中挖掘并生成的，所涉及知識(shí)并無(wú)標(biāo)準(zhǔn)答案，而本文設(shè)計(jì)的群體智能策略可以緩解噪聲帶來(lái)的挑戰(zhàn)，提高關(guān)系推理結(jié)果的可靠性?？傮w來(lái)看，AI單元表現(xiàn)出的高準(zhǔn)確率，證實(shí)了融合群體智能策略的AI鏈能夠有效地連接AI單元完成大壩防汛搶險(xiǎn)知識(shí)推理任務(wù)。

表3 實(shí)體抽取錯(cuò)誤案例

4.2 防汛知識(shí)推理有效性檢驗(yàn)結(jié)果FCRKI和WRERJE的對(duì)比結(jié)果如表4。FCRKI和WRERJE分別從隨機(jī)抽取的310條初始工程文本中推理得到335條和274條防汛實(shí)體關(guān)系三元組。對(duì)于簡(jiǎn)單文本，F(xiàn)CRKI能夠正確推理出192條防汛實(shí)體關(guān)系三元組，高于WRERJE提取的169條，對(duì)于復(fù)雜文本，F(xiàn)CRKI正確推理出143條防汛實(shí)體關(guān)系三元組，多于WRERJE提取的105條關(guān)系三元組。因?yàn)楹?jiǎn)單文本的語(yǔ)義復(fù)雜度較低，對(duì)方法推理能力要求不高。復(fù)雜文本的語(yǔ)義復(fù)雜度較高，涉及到很多從句和代詞指稱，使得WREEJE提取關(guān)系較為困難，因?yàn)閃RERJE僅從輸入文本中提取表意明確關(guān)系三元組，推理能力弱。而FCRKI利用LLM具備的世界知識(shí)和強(qiáng)大的生成能力來(lái)推理出防汛實(shí)體間關(guān)系，不受文本來(lái)源和語(yǔ)義復(fù)雜度的限制，因此，F(xiàn)CRKI可以更好的地處理復(fù)雜文本中的實(shí)體與實(shí)體間關(guān)系。

表4 FCRKI和WRERJE的驗(yàn)證結(jié)果

4.3 AI鏈和群體智能策略有效性檢驗(yàn)結(jié)果6種方法的結(jié)果如表5所示。從表中得知FCRKIw/oAI準(zhǔn)確預(yù)測(cè)180條關(guān)系三元組，少于FCRKI的335條，這表明即便LLM學(xué)習(xí)到海量互聯(lián)網(wǎng)知識(shí)，但沒(méi)有明確的任務(wù)提示，也很難直接推理出二者關(guān)系。FCRKIAI-CoT準(zhǔn)確預(yù)測(cè)198條關(guān)系三元組，這表明在單個(gè)文本塊中進(jìn)行全部步驟的描述，LLM很難將各部分的輸入輸出緊密聯(lián)系起來(lái)，這兩種方法驗(yàn)證了AI鏈思想和子模塊以及功能單元設(shè)計(jì)對(duì)FCRKI魯棒性的影響。FCRKIw/OMV準(zhǔn)確預(yù)測(cè)361個(gè)關(guān)系，雖高于FCRKI的335個(gè)，但其準(zhǔn)確率遠(yuǎn)低于FCRKI，驗(yàn)證了多數(shù)投票的有效性。而對(duì)于獨(dú)立的防汛實(shí)體間關(guān)系決策單元(RDer_1，RDer_2，RDer_3)，表4結(jié)果表明，RDer_1的準(zhǔn)確率為3個(gè)獨(dú)立決策單元中最高，但也遠(yuǎn)遠(yuǎn)低于FCRKI，這驗(yàn)證了引入群體智能策略可以提高FCRKI的魯棒性。此外，獨(dú)立的防汛實(shí)體間關(guān)系決策單元結(jié)果也表明，在3種提示風(fēng)格(開(kāi)放式問(wèn)題風(fēng)格、限制性判斷風(fēng)格、限制性選擇風(fēng)格)中開(kāi)放式風(fēng)格對(duì)防汛實(shí)體間關(guān)系推理是最有效的。與直接向LLM查詢防汛知識(shí)相比，通過(guò)設(shè)計(jì)一系列提示組成AI鏈在實(shí)體抽取、知識(shí)挖掘和關(guān)系推理多個(gè)步驟中與LLM逐步進(jìn)行交互可以有效提高LLM響應(yīng)的可靠性。群體智能策略可以緩解設(shè)計(jì)完美提示帶來(lái)的挑戰(zhàn)，進(jìn)一步提高防汛知識(shí)推理的魯棒性。

表5 AI鏈和群體智能策略有效性檢驗(yàn)結(jié)果

將采用FCRKI方法推理得到的防汛三元組知識(shí)存儲(chǔ)進(jìn)圖數(shù)據(jù)庫(kù)Neo4j以構(gòu)建防汛知識(shí)圖譜，其中部分實(shí)體關(guān)系三元組如圖7所示。

圖7 部分防汛搶險(xiǎn)實(shí)體關(guān)系知識(shí)

5 結(jié)論及展望

本文提出使用LLM作為AI知識(shí)庫(kù)進(jìn)行大壩防汛知識(shí)推理的思路。FCRKI通過(guò)將任務(wù)分解為單步的執(zhí)行流程，并設(shè)計(jì)有效提示來(lái)提高LLM響應(yīng)的可靠性。所總結(jié)3個(gè)任務(wù)分析原則：(1)模塊化任務(wù)分解，即將總?cè)蝿?wù)分解為子問(wèn)題，設(shè)計(jì)子模塊，并進(jìn)一步設(shè)計(jì)功能單元；(2)子模塊鏈接，即以特定結(jié)構(gòu)鏈接各子模塊；(3)AI單元與非AI單元組合，即編程邏輯清晰，規(guī)則定義明確的作為非AI單元，設(shè)計(jì)提示引導(dǎo)LLM作用于AI單元。

與現(xiàn)有方法相比，F(xiàn)CRKI有3個(gè)主要優(yōu)點(diǎn)：(1)利用LLM豐富世界知識(shí)，打破了可利用文本數(shù)量過(guò)少和文本質(zhì)量偏低的局限；(2)使用無(wú)監(jiān)督學(xué)習(xí)方法，省去了傳統(tǒng)監(jiān)督或半監(jiān)督學(xué)習(xí)方法中由于人工標(biāo)注大規(guī)模數(shù)據(jù)帶來(lái)的勞動(dòng)開(kāi)銷；(3)上下文學(xué)習(xí)能力，可通過(guò)上下文學(xué)習(xí)有效捕捉到復(fù)雜長(zhǎng)難句中實(shí)體之間的關(guān)系。此外為了降低LLM響應(yīng)錯(cuò)誤的潛在風(fēng)險(xiǎn)，采用AI鏈思想，分解任務(wù)步驟、設(shè)計(jì)有效提示以及群體智能策略，大大提高了FCRKI的可靠性和魯棒性，實(shí)驗(yàn)結(jié)果表明，F(xiàn)CRKI可以高效率地推理不同類型的防汛實(shí)體間關(guān)系。

FCRKI在防汛知識(shí)推理任務(wù)上取得了較好的效果，但仍存在問(wèn)題，由于本文使用5種關(guān)系類型進(jìn)行測(cè)試，但大壩防汛領(lǐng)域還存在其他關(guān)系類型，后續(xù)工作中需要進(jìn)一步探索不同關(guān)系類型中不同風(fēng)格的提示對(duì)FCRKI推理性能的影響，并嘗試將這一新范式應(yīng)用到各種水利工程文本中領(lǐng)域知識(shí)的智能推理任務(wù)上，以推進(jìn)新階段水利工程文本處理數(shù)字化、智能化發(fā)展。