融合圖推理的交通樞紐知識(shí)服務(wù)大模型

摘 要：城市交通樞紐的業(yè)務(wù)功能復(fù)雜，高效的信息服務(wù)對(duì)樞紐運(yùn)營(yíng)和旅客體驗(yàn)十分重要。針對(duì)現(xiàn)有系統(tǒng)在處理復(fù)雜查詢方面的不足，本文研究融合知識(shí)圖譜推理的知識(shí)服務(wù)大模型。首先，收集數(shù)據(jù)構(gòu)建交通樞紐知識(shí)庫(kù)，并建立知識(shí)圖譜。其次，利用知識(shí)庫(kù)對(duì)大模型進(jìn)行領(lǐng)域微調(diào)，將大模型有效地適配于交通樞紐領(lǐng)域。最后，采用圖推理技術(shù)，大模型結(jié)合樞紐知識(shí)圖譜進(jìn)行檢索推理，提高查詢的準(zhǔn)確性。試驗(yàn)結(jié)果顯示，該知識(shí)服務(wù)大模型能為復(fù)雜查詢提供精準(zhǔn)的回答和建議。該研究能夠提升樞紐用戶的知識(shí)獲取體驗(yàn)，也為未來(lái)智能交通服務(wù)系統(tǒng)的發(fā)展提供了新思路。

關(guān)鍵詞：大模型；知識(shí)圖譜；交通樞紐

中圖分類號(hào)： TU 984 文獻(xiàn)標(biāo)志碼：A

隨著城市化進(jìn)程加速和交通需求日益增長(zhǎng)，綜合交通樞紐逐漸成為城市交通網(wǎng)絡(luò)的關(guān)鍵節(jié)點(diǎn)[1]。樞紐通常涉及各類交通方式的銜接服務(wù)，對(duì)維持城市交通流暢和旅客出行安全至關(guān)重要。傳統(tǒng)樞紐的信息服務(wù)系統(tǒng)經(jīng)常出現(xiàn)孤島現(xiàn)象[2]，在理解自然語(yǔ)言查詢和提供精確回答方面存在局限性[3]。人工智能技術(shù)發(fā)展迅速，大語(yǔ)言模型（Large Language Models，LLM）在信息檢索和復(fù)雜查詢等領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力[4]，這也為交通樞紐知識(shí)服務(wù)大模型提供了新思路。然而，當(dāng)通用大模型直接應(yīng)用于垂直領(lǐng)域時(shí)，通常難以獲取領(lǐng)域內(nèi)最新知識(shí)，幻覺問(wèn)題也會(huì)導(dǎo)致模型生成的回復(fù)與真實(shí)信息存在偏差[5]。知識(shí)圖譜（Knowledge Graph，KG）利用圖結(jié)構(gòu)來(lái)組織和管理大量結(jié)構(gòu)化信息[6]，可以幫助大模型減少推理偏差和獲取動(dòng)態(tài)知識(shí)。鑒于此，本文基于大語(yǔ)言模型和知識(shí)圖譜技術(shù)，研究了一種交通樞紐知識(shí)服務(wù)大模型，通過(guò)構(gòu)建知識(shí)庫(kù)和領(lǐng)域微調(diào)策略，將大模型適配于樞紐領(lǐng)域，結(jié)合知識(shí)圖譜推理技術(shù)，為樞紐用戶提供精準(zhǔn)、有效的知識(shí)查詢響應(yīng)。

1 樞紐知識(shí)服務(wù)大模型

本研究針對(duì)交通樞紐領(lǐng)域的知識(shí)服務(wù)大模型，其構(gòu)建流程如圖1所示，主要包括3個(gè)部分：知識(shí)庫(kù)構(gòu)建、大模型微調(diào)和知識(shí)圖譜推理。首先，從多渠道收集交通樞紐相關(guān)源數(shù)據(jù)，整合成包括問(wèn)答數(shù)據(jù)、偏好數(shù)據(jù)和知識(shí)圖譜的樞紐知識(shí)庫(kù)。其次，針對(duì)樞紐領(lǐng)域內(nèi)數(shù)據(jù)微調(diào)大模型，通過(guò)指令微調(diào)和直接偏好優(yōu)化技術(shù)對(duì)預(yù)訓(xùn)練大模型進(jìn)行領(lǐng)域調(diào)優(yōu)，以提高對(duì)交通樞紐相關(guān)查詢的理解和響應(yīng)能力。最后，融合知識(shí)圖譜推理策略對(duì)樞紐知識(shí)查詢進(jìn)行分析處理，幫助大模型生成準(zhǔn)確且可解釋的回答。

2 樞紐知識(shí)庫(kù)構(gòu)建

2.1 源數(shù)據(jù)收集與整合

為構(gòu)建一個(gè)全面的軌道交通樞紐知識(shí)庫(kù)，本研究選擇包括交通樞紐相關(guān)主題的專業(yè)文檔，以構(gòu)建領(lǐng)域數(shù)據(jù)集。具體涵蓋了樞紐歷史交通數(shù)據(jù)、樞紐常用客服用語(yǔ)、樞紐運(yùn)維技術(shù)手冊(cè)、社交媒體內(nèi)容和公共交通數(shù)據(jù)庫(kù)等。此外，針對(duì)收集的大量領(lǐng)域內(nèi)數(shù)據(jù)，采取一系列數(shù)據(jù)處理技術(shù)，例如數(shù)據(jù)清洗、去重和格式化，以確保所收集數(shù)據(jù)的質(zhì)量，為訓(xùn)練模型和構(gòu)建知識(shí)圖譜提供數(shù)據(jù)基礎(chǔ)。

2.2 問(wèn)答數(shù)據(jù)集構(gòu)建

為構(gòu)建適用于微調(diào)大語(yǔ)言模型的問(wèn)答數(shù)據(jù)集，本研究首先通過(guò)分析用戶查詢?nèi)罩緛?lái)識(shí)別常見的查詢模式，涵蓋時(shí)刻表查詢、票價(jià)信息、站點(diǎn)設(shè)施及緊急情況響應(yīng)等需求。基于這些分析結(jié)果，設(shè)計(jì)一系列大模型提示詞，以模擬真實(shí)用戶查詢場(chǎng)景，從而引導(dǎo)開源大模型生成問(wèn)答數(shù)據(jù)集。如圖2所示，展示了問(wèn)答數(shù)據(jù)集的構(gòu)建流程，這一方法使問(wèn)答數(shù)據(jù)集的構(gòu)建更便捷，同時(shí)知識(shí)服務(wù)大模型能夠滿足用戶的實(shí)際查詢需求。

2.3 知識(shí)圖譜構(gòu)建

構(gòu)建軌道交通樞紐知識(shí)圖譜，采用與問(wèn)答數(shù)據(jù)集構(gòu)建相似的方法，即利用開源大模型和精心設(shè)計(jì)的提示詞來(lái)提取源數(shù)據(jù)文本中的三元組信息。通過(guò)定義涵蓋車站布局、列車時(shí)刻、維護(hù)活動(dòng)等方面的提示詞，引導(dǎo)大模型識(shí)別文本數(shù)據(jù)中隱含的實(shí)體和關(guān)系，形成結(jié)構(gòu)化的三元組信息，例如電扶梯故障、征兆、出現(xiàn)異常聲音等。大量三元組被用于構(gòu)建和豐富知識(shí)圖譜，其中每個(gè)實(shí)體轉(zhuǎn)化為圖中的節(jié)點(diǎn)，實(shí)體間的關(guān)系則通過(guò)邊來(lái)表示，并將其導(dǎo)入Neo4j（圖數(shù)據(jù)庫(kù)）。知識(shí)圖譜能夠反映軌道交通樞紐的運(yùn)營(yíng)和管理狀況，為用戶提供準(zhǔn)確全面的查詢響應(yīng)和決策支持。

3 大模型在交通樞紐領(lǐng)域的微調(diào)

3.1 指令微調(diào)

考慮開源預(yù)訓(xùn)練大模型在原始狀態(tài)下處理垂直領(lǐng)域查詢能力較差，本研究采用低秩自適應(yīng)（Low-Rank Adaptation，LoRA）微調(diào)技術(shù)來(lái)優(yōu)化模型在軌道交通樞紐對(duì)話場(chǎng)景中的性能。LoRA微調(diào)技術(shù)通過(guò)在預(yù)訓(xùn)練模型基礎(chǔ)上引入低秩矩陣對(duì)模型權(quán)重進(jìn)行調(diào)整，該方法能夠在不顯著增加參數(shù)量的情況下，提升模型在特定任務(wù)上的表現(xiàn)。

當(dāng)大模型在交通樞紐領(lǐng)域內(nèi)進(jìn)行指令微調(diào)時(shí)，將模型預(yù)訓(xùn)練權(quán)重凍結(jié)，使用低秩矩陣來(lái)近似每個(gè)權(quán)重矩陣的變化。變化矩陣可以分解為2個(gè)低秩矩陣的乘積，將可訓(xùn)練的低秩矩陣添加到每個(gè)變換器層中，從而減少需要更新的參數(shù)量。如圖 3 所示，預(yù)訓(xùn)練大模型權(quán)重矩陣W的維度為d×d，旁路低秩矩陣的秩為r，矩陣A的維度為d×r，矩陣B的維度為d×r，指令微調(diào)過(guò)程中僅對(duì)旁路矩陣A和B進(jìn)行調(diào)整，而預(yù)訓(xùn)練大模型的權(quán)重矩陣保持不變。指令微調(diào)階段數(shù)據(jù)集包括交通樞紐相關(guān)的實(shí)際指令對(duì)話數(shù)據(jù)，能夠覆蓋多種常見知識(shí)服務(wù)場(chǎng)景，大模型關(guān)鍵參數(shù)在微調(diào)過(guò)程中得到精細(xì)調(diào)整。

3.2 直接偏好優(yōu)化

為進(jìn)一步滿足用戶知識(shí)查詢的實(shí)際需求和偏好，本研究采用直接偏好優(yōu)化（DirectPreferenceOptimization，DPO）方法來(lái)優(yōu)化大模型知識(shí)服務(wù)大模型的交互質(zhì)量和提升用戶滿意度。DPO優(yōu)化方法通過(guò)收集用戶對(duì)回答的偏好反饋，直接調(diào)整模型，以生成更符合用戶期望的回答。本研究通過(guò)模擬樞紐用戶知識(shí)查詢來(lái)收集偏好數(shù)據(jù)，以表示樞紐用戶的偏好響應(yīng)，表示非偏好的響應(yīng)，這些數(shù)據(jù)用于進(jìn)一步優(yōu)化指令微調(diào)后的大語(yǔ)言模型，用戶偏好的獎(jiǎng)勵(lì)函數(shù)和非偏好的獎(jiǎng)勵(lì)函數(shù)公式（1）、公式（2）所示。

（1）

（2）

式中：x為用戶輸入的查詢；yw和yl分別為用戶偏好和非偏好的響應(yīng)；πref和πθ分別為優(yōu)化前和優(yōu)化后的策略模型。

在直接偏好優(yōu)化階段，為增加大模型生成樞紐用戶偏好回答的可能性，損失函數(shù)定義為用戶偏好回答得分之間的差異，該階段的偏好損失如公式（3）所示。

L（πθ；πref）=-E（x，yw，yl）∈D[logσ（βrw-βrl）] （3）式中：（x，yw，yl）為一個(gè)問(wèn)答對(duì)數(shù)據(jù)；D為問(wèn)答對(duì)的集合；πref和πθ分別為優(yōu)化前和優(yōu)化后的策略模型；rw和rl分別為用戶偏好和非偏好的獎(jiǎng)勵(lì)函數(shù)；σ為Sigmoid激活函數(shù)；β為獎(jiǎng)勵(lì)模型的縮放參數(shù)。

通過(guò)比較生成回復(fù)的偏好來(lái)優(yōu)化大模型，確保被偏好回答得分比不被偏好的回答高，大模型能夠?qū)W習(xí)生成更符合用戶偏好的回答。本研究采用直接偏好優(yōu)化策略，進(jìn)一步優(yōu)化樞紐領(lǐng)域大模型，生成更符合樞紐用戶需要的偏好響應(yīng)，提供更個(gè)性化的對(duì)話體驗(yàn)。

4 知識(shí)圖譜推理機(jī)制

4.1 圖推理機(jī)制

在交通樞紐知識(shí)服務(wù)大模型中，知識(shí)圖譜推理機(jī)制是提升查詢準(zhǔn)確性的關(guān)鍵。知識(shí)圖譜作為軌道交通樞紐知識(shí)的事實(shí)庫(kù)，包括大量真實(shí)信息，例如車站布局、列車時(shí)刻表、運(yùn)營(yíng)狀態(tài)等，這些信息對(duì)提升模型回復(fù)的準(zhǔn)確度至關(guān)重要。為進(jìn)一步提升樞紐知識(shí)服務(wù)大模型在處理用戶復(fù)雜查詢時(shí)回復(fù)的準(zhǔn)確率，本研究設(shè)計(jì)了一種融合知識(shí)圖譜的推理策略。

該推理機(jī)制通過(guò)分析樞紐知識(shí)圖譜實(shí)體間的關(guān)系，確定連接查詢實(shí)體的最優(yōu)推理路徑。具體來(lái)說(shuō)，樞紐知識(shí)圖譜由大量事實(shí)三元組構(gòu)成，將三元組的實(shí)體和關(guān)系分別表示為e和r，則樞紐知識(shí)圖譜可以表示為G={（e，r，e'）|e，e'∈E，r∈R}，E和R分別為樞紐事實(shí)庫(kù)涉及的實(shí)體集合和關(guān)系集合。以q表示用戶提交的查詢問(wèn)題，大模型首先識(shí)別查詢中的關(guān)鍵實(shí)體e，并將此實(shí)體與知識(shí)圖譜中的相應(yīng)實(shí)體進(jìn)行匹配。隨后，大模型生成預(yù)定關(guān)系路徑作為推理規(guī)劃，并根據(jù)這些規(guī)劃在知識(shí)圖譜中進(jìn)行答案檢索。在此過(guò)程中，獲取最大化推理答案的概率如公式（4）所示。

Pθ（a|q，G）=∑z∈ZPθ（a|q，z，G）Pθ（z|q） （4）式中：G為樞紐知識(shí)圖譜；q為用戶查詢的問(wèn)題；a為知識(shí)圖譜中檢索的答案；θ為大模型的參數(shù)；z為大模型生成的關(guān)系路徑；Z為關(guān)系路徑集合。

該機(jī)制不僅能夠利用知識(shí)圖譜的結(jié)構(gòu)化知識(shí)，而且還可以結(jié)合大模型的深層語(yǔ)義理解能力，從而提升推理過(guò)程的可解釋性和準(zhǔn)確度。

4.2 答案的構(gòu)建

在確定推理路徑之后，需要將推理結(jié)果轉(zhuǎn)化為用戶易于理解的自然語(yǔ)言回答。本研究采用提示詞方式，將從知識(shí)圖譜中檢索到的答案整合為提示詞，輸入大模型以生成查詢回復(fù)。在構(gòu)建回復(fù)過(guò)程中引入知識(shí)圖譜作為事實(shí)依據(jù)，并通過(guò)大模型整合知識(shí)圖譜推理結(jié)果，生成的回復(fù)更豐富、更準(zhǔn)確，從而提升用戶查詢的滿意度。

5 案例分析

為了評(píng)估本研究的有效性及準(zhǔn)確性，以下采用Llama2-7b模型在Ubuntu 20.04操作系統(tǒng)環(huán)境中進(jìn)行實(shí)踐驗(yàn)證。試驗(yàn)結(jié)果表明，交通樞紐知識(shí)服務(wù)大模型能夠?yàn)橛脩籼峁┲R(shí)查詢指導(dǎo)和幫助，在交通樞紐專業(yè)領(lǐng)域內(nèi)更具有優(yōu)勢(shì)。

本文研究的交通樞紐知識(shí)服務(wù)大模型，對(duì)預(yù)訓(xùn)練大模型進(jìn)行指令微調(diào)和直接偏好優(yōu)化，能更好地適應(yīng)樞紐領(lǐng)域知識(shí)查詢服務(wù)。樞紐知識(shí)圖譜能提供更真實(shí)全面的信息支持，結(jié)合圖推理策略能夠幫助大模型更準(zhǔn)確地回答用戶問(wèn)題。此外，大模型展示出強(qiáng)大的對(duì)話能力，能夠快速準(zhǔn)確地識(shí)別用戶需求，并提供相關(guān)知識(shí)和解決方案。由此可見，樞紐知識(shí)服務(wù)大模型在專業(yè)領(lǐng)域內(nèi)極具應(yīng)用潛力，這不僅體現(xiàn)在其能夠理解復(fù)雜查詢并回應(yīng)專業(yè)術(shù)語(yǔ)，而且也包括其在提供決策支持和專業(yè)建議時(shí)的高準(zhǔn)確度。

6 結(jié)語(yǔ)

本文基于大語(yǔ)言模型和知識(shí)圖譜推理技術(shù)研究了交通樞紐的知識(shí)服務(wù)大模型。通過(guò)構(gòu)建領(lǐng)域內(nèi)知識(shí)庫(kù)提供全面的信息查詢支持，一系列微調(diào)策略使大模型能夠更好地適應(yīng)交通樞紐領(lǐng)域，而知識(shí)圖推理策略能夠進(jìn)一步提升模型回復(fù)的準(zhǔn)確性。未來(lái)的工作將繼續(xù)優(yōu)化知識(shí)圖譜的構(gòu)建過(guò)程、提高大模型的可擴(kuò)展性，以探索人工智能在交通系統(tǒng)中更廣泛的應(yīng)用。

參考文獻(xiàn)

[1]張欣.深圳市西麗綜合交通樞紐產(chǎn)站城一體化規(guī)劃設(shè)計(jì)探索[J].城市軌道交通研究，2023，26（12）：1-5，10.

[2]張濤，賈真，李天瑞，等.基于知識(shí)庫(kù)的開放領(lǐng)域問(wèn)答系統(tǒng)[J].智能系統(tǒng)學(xué)報(bào)，2018，13（4）：557-563.

[3]趙京勝，宋夢(mèng)雪，高祥，等.自然語(yǔ)言處理中的文本表示研究[J].軟件學(xué)報(bào)，2022，33（1）：102-128.

[4]王麗.基于ChatGPT4.0的人工智能藝術(shù)設(shè)計(jì)走向分析[J].中國(guó)新技術(shù)新產(chǎn)品，2023（19）：38-41.

[5]趙月，何錦雯，朱申辰，等.大語(yǔ)言模型安全現(xiàn)狀與挑戰(zhàn)[J].計(jì)算機(jī)科學(xué)，2024，51（1）：68-71.

[6]馬亞中，張聰聰，徐大鵬，等.城市大腦知識(shí)圖譜構(gòu)建及應(yīng)用研究[J].中文信息學(xué)報(bào)，2022，36（4）：48-56.