LLMs在經(jīng)濟責(zé)任審計中的應(yīng)用研究

自2022年11月OpenAI（美國的一家人工智能研究與開發(fā)公司）發(fā)布ChatGPT以來，人工智能進入了快速發(fā)展階段。ChatGPT是一種基于Transformer架構(gòu)（一種在自然語言處理領(lǐng)域具有革命性意義的架構(gòu)）的自然語言處理技術(shù)，廣泛應(yīng)用于對話生成、文本創(chuàng)作。它標(biāo)志著AI（人工智能）從過去的“小模型+判別式”轉(zhuǎn)變?yōu)椤按竽Ｐ?生成式”，即大語言模型（LLMs）。從功能方面來看，LLMs屬于生成式人工智能（GAI）。

目前，人工智能技術(shù)在各行各業(yè)得到了廣泛應(yīng)用，并呈現(xiàn)出明顯的長尾效應(yīng)。截至2023年底，關(guān)于ChatGPT的學(xué)術(shù)研究已橫跨計算機科學(xué)、法學(xué)、信息管理、哲學(xué)等多個領(lǐng)域。另外，在金融科技、智慧醫(yī)療、智慧交通等實際應(yīng)用領(lǐng)域，ChatGPT已取得了顯著成績。借助企業(yè)級計算平臺（服務(wù)器）與微型計算工具（個人電腦與智能手機），LLMs正融入人類的生產(chǎn)生活中。

當(dāng)各行各業(yè)紛紛尋求數(shù)字化、網(wǎng)絡(luò)化、智能化，力圖實現(xiàn)“人、機、物”三元融合時，審計模式也會隨之發(fā)生改變?；诖?，本文以人工智能與LLMs的發(fā)展為切入點，以大型企業(yè)集團審計平臺建設(shè)為基礎(chǔ)，結(jié)合S集團經(jīng)濟責(zé)任審計案例，探討了LLMs在經(jīng)濟責(zé)任審計中的實際應(yīng)用。

一、文獻綜述

新技術(shù)的應(yīng)用會帶來審計證據(jù)形態(tài)與審計取證模式的變革。秦榮升（2014年）認(rèn)為，審計技術(shù)和方法會隨著科學(xué)與管理技術(shù)的變化而變化。自現(xiàn)代審計理論從西方傳入中國以來，我國審計發(fā)展經(jīng)歷了傳統(tǒng)手工審計、計算機輔助審計、大數(shù)據(jù)審計三個階段，審計方法也從賬表導(dǎo)向?qū)徲?、制度?dǎo)向?qū)徲?、風(fēng)險導(dǎo)向?qū)徲嬔葑優(yōu)閿?shù)據(jù)式審計。秦榮生（2014年）提出，云審計平臺和大數(shù)據(jù)審計分析平臺能夠以審計大數(shù)據(jù)為中心，進行遠(yuǎn)程存儲和移動計算，從而減少數(shù)據(jù)移動帶來的損耗。在許多企業(yè)認(rèn)識到數(shù)據(jù)審計平臺的重要性并紛紛搭建該平臺后，秦榮生（2023年）繼續(xù)提出，構(gòu)建數(shù)據(jù)審計平臺是實施數(shù)據(jù)導(dǎo)向?qū)徲嫷幕A(chǔ)，并且數(shù)據(jù)審計平臺應(yīng)打通不同行業(yè)、不同領(lǐng)域、不同單位之間的數(shù)據(jù)關(guān)系，繪制數(shù)據(jù)關(guān)聯(lián)網(wǎng)絡(luò)，構(gòu)建數(shù)據(jù)關(guān)系網(wǎng)，從而為實施數(shù)據(jù)導(dǎo)向?qū)徲嬏峁┓较?。黃佳佳等人（2023年）指出，智慧審計是指將人工智能、物聯(lián)網(wǎng)、云計算、區(qū)塊鏈等新一代信息技術(shù)應(yīng)用于審計業(yè)務(wù)活動中，基于人工智能技術(shù)將“專家經(jīng)驗”轉(zhuǎn)換為數(shù)字化大知識和大智能模型，并運用智能化人機交互方式開展審計作業(yè)，從而提高審計效率、提升審計質(zhì)量的審計思維與審計方法的總稱。他們還認(rèn)為數(shù)據(jù)審計平臺應(yīng)包含基礎(chǔ)設(shè)施層、數(shù)據(jù)中臺層與審計知識層。其中，基礎(chǔ)設(shè)施層的主要功能是為智慧審計平臺提供基礎(chǔ)軟硬件支持；數(shù)據(jù)中臺層的主要功能是通過多種方式，采集多源異構(gòu)數(shù)據(jù)，對這些數(shù)據(jù)進行清洗、轉(zhuǎn)換、分類等處理，將處理后的數(shù)據(jù)儲存在平臺的數(shù)據(jù)倉庫中；審計知識層的主要功能是根據(jù)審計業(yè)務(wù)模型需求，從海量數(shù)據(jù)中凝練出審計領(lǐng)域知識，并構(gòu)建審計領(lǐng)域知識庫、審計領(lǐng)域知識模型和審計領(lǐng)域大語言模型。

綜上所述，大數(shù)據(jù)與云計算等新技術(shù)的發(fā)展促進了審計技術(shù)和方法的創(chuàng)新，推動了數(shù)據(jù)審計平臺的建設(shè)。同時，經(jīng)濟責(zé)任審計等審計業(yè)務(wù)的實施也依賴數(shù)據(jù)審計平臺的建設(shè)與大模型的部署。

二、經(jīng)濟責(zé)任審計概述

經(jīng)濟責(zé)任審計是指審計機關(guān)依法依規(guī)對黨政主要領(lǐng)導(dǎo)干部和國有企業(yè)領(lǐng)導(dǎo)人員經(jīng)濟責(zé)任履行情況進行監(jiān)督、評價和鑒證的行為。經(jīng)濟責(zé)任審計有利于加強對黨政主要領(lǐng)導(dǎo)干部和國有企業(yè)領(lǐng)導(dǎo)人員的管理監(jiān)督，強化對權(quán)力運行的制約和監(jiān)督，推進黨風(fēng)廉政建設(shè)和反腐敗工作，推進國家治理體系和治理能力現(xiàn)代化。1986年9月，中共中央和國務(wù)院頒布的《全民所有制工業(yè)企業(yè)廠長工作條例》明確規(guī)定，廠長離任前，企業(yè)主管機關(guān)（或會同干部管理機關(guān)）可以提請審計機關(guān)對廠長進行經(jīng)濟責(zé)任審計評議。這是黨中央和國務(wù)院第一次對企業(yè)領(lǐng)導(dǎo)人員經(jīng)濟責(zé)任審計提出明確要求，標(biāo)志著廠長（經(jīng)理）離任經(jīng)濟責(zé)任審計制度的初步建立。此后，經(jīng)濟責(zé)任審計的審計對象和范圍不斷擴大。1999年5月，中共中央辦公廳、國務(wù)院辦公廳印發(fā)的《中共中央辦公廳、國務(wù)院辦公廳關(guān)于印發(fā)〈縣級以下黨政領(lǐng)導(dǎo)干部任期經(jīng)濟責(zé)任審計暫行規(guī)定〉和〈國有企業(yè)及國有控股企業(yè)領(lǐng)導(dǎo)人員任期經(jīng)濟責(zé)任審計暫行規(guī)定〉的通知》（中辦發(fā)〔1999〕20號）提出，對縣級以下黨政領(lǐng)導(dǎo)干部進行經(jīng)濟責(zé)任審計；2005年，黨政領(lǐng)導(dǎo)干部經(jīng)濟責(zé)任審計范圍擴大到地廳級；2010年10月，中共中央辦公廳、國務(wù)院辦公廳印發(fā)的《黨政主要領(lǐng)導(dǎo)干部和國有企業(yè)領(lǐng)導(dǎo)人員經(jīng)濟責(zé)任審計規(guī)定》，進一步明確了經(jīng)濟責(zé)任審計對象，擴大了審計對象范圍，使經(jīng)濟責(zé)任審計對象涵蓋了從鄉(xiāng)鎮(zhèn)級到省部級的黨政領(lǐng)導(dǎo)干部，以及國有企業(yè)的法定代表人。

需要注意的是，我國經(jīng)濟責(zé)任審計內(nèi)容往往涉及宏觀政策落實、重大事項決策、風(fēng)險隱患排查、黨風(fēng)廉政建設(shè)等，覆蓋政策、業(yè)務(wù)、財務(wù)與法律等多個領(lǐng)域，同時文件數(shù)據(jù)量大且較為分散，難以進行整合與分析。因此，經(jīng)濟責(zé)任審計需要借助數(shù)據(jù)審計平臺來打通數(shù)據(jù)關(guān)系，繪制數(shù)據(jù)網(wǎng)，實現(xiàn)對“實體、人員、行為、信息”四類審計客體的全面分析與整體把握。

三、LLMs與經(jīng)濟責(zé)任審計

目前，數(shù)據(jù)審計平臺往往將單一的數(shù)值計算作為審計的方法，并采用編程方法將不同的數(shù)據(jù)輸入算法模型中得出相應(yīng)的分析結(jié)果，但這種分析結(jié)果難以反映業(yè)務(wù)與財務(wù)之間的邏輯關(guān)系，也無法作為審計證據(jù)。未來，數(shù)據(jù)審計平臺可以引入人機交互系統(tǒng)，使人與機器雙方可以準(zhǔn)確、自然地傳達(dá)信息，而無須通過編程來實現(xiàn)。同時，LLMs可以憑借語言理解和記憶功能，聯(lián)系上下文，主動串聯(lián)起業(yè)財數(shù)據(jù)中的信息點，為審計人員提供審計疑點與證據(jù)。因此，在數(shù)據(jù)審計平臺部署LLMs以輔助審計人員執(zhí)行審計，既具有必要性，也具有可行性。

簡單來說，語言模型就是一串詞序列的概率分布，而LLMs是基于深度學(xué)習(xí)技術(shù)的神經(jīng)網(wǎng)絡(luò)模型，擅長理解和生成人類語言。提示詞是LLMs在人機交互過程中輸出的關(guān)鍵要素，能夠幫助人類實現(xiàn)認(rèn)知超越。近年來，越來越多的學(xué)者開始關(guān)注提示技術(shù)領(lǐng)域。

目前，提示技術(shù)可以根據(jù)人機交互方式分為在線提示技術(shù)與離線提示技術(shù)，在線提示技術(shù)通常適用于需要實時交互和即時反饋的情境，而離線提示技術(shù)適用于需要大規(guī)模處理或預(yù)生成文本的情境。另外，提示技術(shù)可以根據(jù)組織方式，分為輸入輸出提示技術(shù)、思維鏈提示技術(shù)、思維樹提示技術(shù)、思維圖提示技術(shù)與思維算法提示技術(shù)；可以根據(jù)樣本數(shù)量，分為零樣本提示技術(shù)與少樣本提示技術(shù)。其中，思維鏈提示技術(shù)是指通過給模型提供多個相關(guān)提示，使模型能夠在生成文本時沿著用戶給定的邏輯思維鏈條進行連貫推理的一種提示技術(shù)。Jason Wei（2022年）通過研究發(fā)現(xiàn)，思維鏈提示技術(shù)可以顯著提升LLMs的推理與問題解決能力。Kim等人（2024年）的研究結(jié)果顯示，通過使用思維鏈提示技術(shù)，LLMs可以模仿人類分析師的思維來分析財務(wù)報表數(shù)據(jù)，其分析預(yù)測效果要優(yōu)于人類分析師的分析預(yù)測效果，甚至可與財報分析領(lǐng)域最先進的機器學(xué)習(xí)算法相媲美。

需要注意的是，在審計領(lǐng)域，不同的經(jīng)濟責(zé)任審計項目通常具有不同的審計內(nèi)容。例如：貫徹執(zhí)行重大政策措施情況審計應(yīng)重點關(guān)注是否存在被審計領(lǐng)導(dǎo)干部及其所在單位貫徹執(zhí)行重大政策措施不堅決、不全面、不到位等情況；重大經(jīng)濟事項決策及執(zhí)行情況審計主要對被審計領(lǐng)導(dǎo)干部貫徹執(zhí)行重大經(jīng)濟事項決策制度和執(zhí)行效果情況開展審查評價；組織治理情況審計主要依據(jù)國家法律法規(guī)、政策和標(biāo)準(zhǔn)及相關(guān)規(guī)定，對組織治理環(huán)境的完善性和監(jiān)督約束機制運行的有效性等方面進行審查和評價；黨風(fēng)廉政建設(shè)責(zé)任和個人遵守廉潔從業(yè)規(guī)定情況審計主要審查被審計領(lǐng)導(dǎo)干部在任職期間落實職責(zé)范圍內(nèi)黨風(fēng)廉政建設(shè)責(zé)任、遵守中央八項規(guī)定及實施細(xì)則精神和廉潔從業(yè)有關(guān)規(guī)定的情況；等等。因此，審計人員首先應(yīng)根據(jù)經(jīng)濟責(zé)任審計項目的內(nèi)容，綜合考慮角色、背景、任務(wù)、步驟、示例、風(fēng)格、語氣等因素，編寫模塊化的提示詞；然后在與LLMs實時交互的過程中，以思維鏈的方式確定提問的內(nèi)容、方式與順序。

四、S集團應(yīng)用LLMs開展經(jīng)濟責(zé)任審計的案例研究

本文以S集團審計中心對子公司某技術(shù)研究院董事長開展的經(jīng)濟責(zé)任審計為例，并基于相關(guān)資料與數(shù)據(jù)，探索應(yīng)用LLMs開展經(jīng)濟責(zé)任審計的方法與步驟。

在應(yīng)用LLMs開展經(jīng)濟責(zé)任審計工作開始前，審計人員首先會研究被審計對象與被審計單位的相關(guān)資料，即在LLMs中創(chuàng)建具體的審計場景，使LLMs扮演審計人員的角色，提前知曉審計項目的背景、任務(wù)，以及最終輸出分析結(jié)果的格式要求等。離線模塊化提示詞在這一過程中發(fā)揮著重要作用，能夠幫助審計人員在審計伊始搭建好具體的審計場景。離線模塊化提示詞如圖1所示。

在搭建好審計場景后，LLMs可以運用思維鏈提示技術(shù)模仿審計人員分析數(shù)據(jù)的思路與步驟，按照宏觀、中觀、微觀三個分析維度將提示思路設(shè)定為“企業(yè)發(fā)展定位—領(lǐng)導(dǎo)權(quán)責(zé)劃分—領(lǐng)導(dǎo)畫像刻寫—內(nèi)控審查測試—數(shù)據(jù)分析查疑”，將相應(yīng)的分析資料按照“黨政方針政策—集團黨組戰(zhàn)略部署—領(lǐng)導(dǎo)個人簡歷、履歷與會議講話—內(nèi)控風(fēng)控體系—業(yè)務(wù)財務(wù)數(shù)據(jù)”的順序進行排列。這樣一來，審計人員能夠通過LLMs來把握被審計對象，快速發(fā)現(xiàn)審計疑點與線索。提示詞與分析結(jié)果如圖2所示。

五、結(jié)語

LLMs在經(jīng)濟責(zé)任審計中的應(yīng)用研究結(jié)果顯示，隨著人工智能的快速發(fā)展，在數(shù)據(jù)審計平臺上使用LLMs實施審計是實現(xiàn)審計全覆蓋、提高審計質(zhì)量與效率的必由之路。在該數(shù)據(jù)審計平臺上，審計人員能夠應(yīng)用LLMs全面分析經(jīng)濟責(zé)任審計數(shù)據(jù)，從而快速發(fā)現(xiàn)審計疑點與線索。未來，筆者將繼續(xù)探索如何使用LLMs開展其他審計（如工程審計、績效審計等）。

（作者單位：南京審計大學(xué)）