前置審查：學(xué)術(shù)出版應(yīng)對(duì)人工智能生成內(nèi)容的策略

曹聯(lián)養(yǎng)

摘 要：本文探討人工智能生成內(nèi)容（AIGC）在學(xué)術(shù)研究中的風(fēng)險(xiǎn)和前置審查這一學(xué)術(shù)出版可以采取的應(yīng)對(duì)策略。AIGC技術(shù)飛速發(fā)展，在學(xué)術(shù)研究中的應(yīng)用勢(shì)不可當(dāng)，但AIGC生成內(nèi)容或存在嚴(yán)重質(zhì)量問(wèn)題，在學(xué)術(shù)研究中使用存在重要風(fēng)險(xiǎn)，包括來(lái)源不可溯且準(zhǔn)確性存疑、重要事實(shí)信息可信度存疑、內(nèi)容創(chuàng)新性存疑等。為了規(guī)避這些風(fēng)險(xiǎn)，本文首次提出了前置審查的應(yīng)對(duì)策略，包括更新作者反學(xué)術(shù)不端承諾、在常規(guī)查重外使用自動(dòng)化工具檢查辨識(shí)AIGC、對(duì)成果中重要觀點(diǎn)的來(lái)源進(jìn)行核查、對(duì)學(xué)術(shù)成果所依據(jù)的主要事實(shí)和數(shù)據(jù)進(jìn)行核查等。前置審查與學(xué)術(shù)出版常規(guī)操作相銜接，將有效規(guī)避AIGC可能帶來(lái)的潛在風(fēng)險(xiǎn)，保證學(xué)術(shù)出版不因AIGC的應(yīng)用而降低質(zhì)量甚或造假等學(xué)術(shù)不端。

關(guān)鍵詞：學(xué)術(shù)出版 人工智能生成內(nèi)容 前置審查

出版業(yè)的發(fā)展始終與技術(shù)進(jìn)步同步，廣泛應(yīng)用的人工智能技術(shù)不可避免地會(huì)對(duì)內(nèi)容生產(chǎn)領(lǐng)域和出版行業(yè)產(chǎn)生重大影響。2023年10月，《互聯(lián)網(wǎng)周刊》發(fā)布了“2023人工智能分類排行榜”，推選出基礎(chǔ)層（芯片、服務(wù)器、數(shù)據(jù)生產(chǎn)）、技術(shù)層（人工智能算法、人工智能平臺(tái)）、應(yīng)用層（智能機(jī)器人、智慧政務(wù)服務(wù)、自動(dòng)駕駛、智慧醫(yī)療、AIGC、人臉識(shí)別算法、虹膜識(shí)別算法、智慧金融、智慧農(nóng)業(yè)、智能安防、智能家居、智能客服、智能SaaS）、學(xué)術(shù)科研等4個(gè)大類19個(gè)子類的領(lǐng)軍企業(yè)及機(jī)構(gòu)340余家。[1]該榜單大致反映了中國(guó)人工智能的最新發(fā)展，從中亦可感知人工智能技術(shù)在中國(guó)發(fā)展應(yīng)用之快、之廣、之深。

該榜單中人工智能生成內(nèi)容（AIGC）被單列為一個(gè)子類。本文聚焦于人工智能技術(shù)中的人工智能生成內(nèi)容技術(shù)，探討其在學(xué)術(shù)研究中應(yīng)用的主要風(fēng)險(xiǎn)，提出了在學(xué)術(shù)出版中應(yīng)對(duì)AIGC風(fēng)險(xiǎn)的策略——前置審查。

一、人工智能生成內(nèi)容（AIGC）在學(xué)術(shù)研究中的應(yīng)用勢(shì)不可當(dāng)

2022年底Open AI發(fā)布聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器ChatGPT后，谷歌推出了能夠生成音視頻內(nèi)容的多模態(tài)第二代通用語(yǔ)言模型PaLM2，微軟推出了集成多模態(tài)生成式預(yù)訓(xùn)練大模型4（GPT-4）的新必應(yīng)（New Bing）搜索引擎，亞馬遜也發(fā)布了大型語(yǔ)言模型泰坦（Titan）。[2]2023年5月中國(guó)科學(xué)技術(shù)信息研究所在中關(guān)村論壇上發(fā)布的《中國(guó)人工智能大模型地圖研究報(bào)告》顯示，中國(guó)已發(fā)布的人工智能大模型數(shù)量為79個(gè)。[3]

中國(guó)的AIGC技術(shù)居于世界第一方陣，領(lǐng)先的企業(yè)、工具及應(yīng)用領(lǐng)域見(jiàn)表1。

表中信息顯示了中國(guó)領(lǐng)先的AIGC企業(yè)及其產(chǎn)品。在制造業(yè)、服務(wù)業(yè)及日常生活中，自動(dòng)生成文本、圖像、視頻、音樂(lè)、游戲等內(nèi)容的AIGC技術(shù)已得到廣泛應(yīng)用，公眾使用AIGC已沒(méi)有技術(shù)障礙。自然地，AIGC也在人文社科領(lǐng)域得到應(yīng)用，為學(xué)術(shù)研究帶來(lái)了新思路和新方法。

張萌、朱鴻軍認(rèn)為ChatGPT在學(xué)術(shù)研究中的輔助創(chuàng)新方式是多維度的，貫穿于整個(gè)創(chuàng)作流程中，其可能完成的輔助性任務(wù)包括翻譯、簡(jiǎn)潔呈現(xiàn)研究結(jié)果、文本生成、提煉摘要、上下文理解、數(shù)據(jù)分析等，其在推理、對(duì)話和總結(jié)方面的突出表現(xiàn)，可充分滿足人們?cè)诙虝r(shí)間內(nèi)低成本獲取密集知識(shí)的需求。[4]

駱飛、馬雨璇認(rèn)為AIGC對(duì)學(xué)術(shù)生態(tài)的生產(chǎn)、評(píng)價(jià)、傳播三個(gè)環(huán)節(jié)均產(chǎn)生了重要影響。在學(xué)術(shù)生產(chǎn)環(huán)節(jié)，AIGC可以輔助文獻(xiàn)梳理和收集工作，可以輔助進(jìn)行觀點(diǎn)評(píng)述與討論，可以輔助提升寫(xiě)作質(zhì)量。[6]

作為新的能夠提升學(xué)術(shù)研究生產(chǎn)力的工具，AIGC逐漸被研究者接受和掌握，得到越來(lái)越廣泛的使用。

二、人工智能生成內(nèi)容（AIGC）在學(xué)術(shù)研究中的主要風(fēng)險(xiǎn)

AIGC在學(xué)術(shù)研究中得到廣泛應(yīng)用，但也暴露出嚴(yán)重的質(zhì)量問(wèn)題。學(xué)術(shù)研究應(yīng)熱情擁抱AIGC技術(shù)，同時(shí)也應(yīng)警惕AIGC帶來(lái)的風(fēng)險(xiǎn)。

（一）AIGC或存在嚴(yán)重質(zhì)量問(wèn)題

施普林格·自然集團(tuán)大中華區(qū)暨全球圖書(shū)業(yè)務(wù)總裁Niels Peter Thomas認(rèn)為，AIGC產(chǎn)生大量文本，可減少重復(fù)性勞動(dòng)，但同時(shí)導(dǎo)致信息冗余、數(shù)據(jù)爆炸；其語(yǔ)言、評(píng)論相對(duì)中立，但可能存在科學(xué)性、邏輯性缺陷，與事實(shí)存在偏差；可幫助研究人員提高效率，集中精力攻克核心問(wèn)題，但其僅總結(jié)歸納現(xiàn)有知識(shí)，缺乏創(chuàng)新性想法；可協(xié)助找到針對(duì)性內(nèi)容，匹配合適信息，但難以識(shí)別或發(fā)現(xiàn)突破性成果。[7]

AIGC技術(shù)雖廣泛應(yīng)用，但其生成內(nèi)容的質(zhì)量卻并不令人滿意。2023年3月20日至4月16日，莫祖英等使用ChatGPT、Microsoft Designer等工具對(duì)22個(gè)問(wèn)題進(jìn)行測(cè)試，包括數(shù)據(jù)、客觀事實(shí)、新聞、文學(xué)作品、學(xué)術(shù)信息、健康信息等不同類別，共獲得AIGC信息28條，其中虛假信息21條，錯(cuò)誤率為75%。[8]2023年5月28日，Douglas Johnson等發(fā)布的研究成果表明，ChatGPT回答醫(yī)學(xué)問(wèn)題的正確率為57.8%、全面率為53.5%。[9]

AIGC存在的質(zhì)量問(wèn)題，需要學(xué)術(shù)研究者及出版者高度關(guān)注。

（二）AIGC質(zhì)量風(fēng)險(xiǎn)的根源

1.大規(guī)模語(yǔ)言模型（LLM）天然的算法缺陷

AIGC的核心是基于數(shù)據(jù)集預(yù)訓(xùn)練產(chǎn)生的大規(guī)模語(yǔ)言模型（LLM）。在大模型中，以語(yǔ)言符號(hào)表達(dá)的人類知識(shí)被抽象為字詞token的參數(shù)與權(quán)重特征，這些參數(shù)與權(quán)重形成了模型理解的知識(shí)結(jié)構(gòu)。在用戶提出問(wèn)題時(shí)，AIGC以概率算法的方式預(yù)測(cè)用戶期望獲取的內(nèi)容并通過(guò)復(fù)制底層數(shù)據(jù)來(lái)實(shí)現(xiàn)內(nèi)容生成。

大模型模仿人類語(yǔ)言和信息模式，在技術(shù)上卻并不理解其概念和語(yǔ)義內(nèi)涵。這種天然的算法缺陷會(huì)使其僅關(guān)注信息在數(shù)據(jù)集中的權(quán)重，卻忽略信息本身的真實(shí)、準(zhǔn)確和客觀，導(dǎo)致基于錯(cuò)誤或虛假的信息而生成新的錯(cuò)誤或虛假信息。

2.AIGC受限于預(yù)訓(xùn)練數(shù)據(jù)集的質(zhì)量

人工智能專家Alan D.Thompson博士于2023年3月對(duì)全球主要人工智能大語(yǔ)言模型數(shù)據(jù)集的來(lái)源進(jìn)行了估測(cè)，其中GPT-3模型所使用的數(shù)據(jù)集容量為753GB，該數(shù)據(jù)集中維基百科的占比為1.51%，書(shū)籍的占比為2.79%，期刊的占比為13.41%，Reddit鏈接的占比為6.64%，常見(jiàn)網(wǎng)絡(luò)爬蟲(chóng)數(shù)據(jù)的占比則高達(dá)75.65%。[10]

預(yù)訓(xùn)練數(shù)據(jù)集的局限性會(huì)自然傳導(dǎo)成為大規(guī)模語(yǔ)言模型的局限性。預(yù)訓(xùn)練數(shù)據(jù)集包括了大量利用爬蟲(chóng)從互聯(lián)網(wǎng)上抓取的信息，這些信息可能是錯(cuò)誤的、過(guò)時(shí)的、有偏見(jiàn)的或人為精心策劃的，還包含來(lái)自社會(huì)和歷史的偏差。對(duì)于如此龐大的預(yù)訓(xùn)練數(shù)據(jù)集，要進(jìn)行徹底的人工數(shù)據(jù)審計(jì)與加工幾乎是不可能的。這也導(dǎo)致AIGC生成內(nèi)容必然面臨準(zhǔn)確性、真實(shí)性和客觀性的問(wèn)題。

3.AIGC的質(zhì)量取決于人工標(biāo)注

為提高AIGC質(zhì)量，通常由人類專家對(duì)數(shù)據(jù)集中的樣本數(shù)據(jù)進(jìn)行標(biāo)注，AIGC基于專家對(duì)數(shù)據(jù)所做標(biāo)記、分類或注釋進(jìn)行機(jī)器學(xué)習(xí)和算法優(yōu)化。另外，AIGC的評(píng)估和反饋也以人工方式進(jìn)行，標(biāo)注最佳答案，進(jìn)一步優(yōu)化模型，以提高生成內(nèi)容的真實(shí)性、準(zhǔn)確性和相關(guān)性，減少歧視和偏見(jiàn)。

顯見(jiàn)，標(biāo)注人員的專業(yè)水準(zhǔn)、政治傾向、教育背景、成長(zhǎng)經(jīng)歷、社會(huì)文化環(huán)境等會(huì)對(duì)人工標(biāo)注的質(zhì)量產(chǎn)生決定性的影響。有報(bào)道指出，OpenAI在肯尼亞進(jìn)行了剝削性標(biāo)注工作，由一群工資過(guò)低、不穩(wěn)定的工人承擔(dān)了數(shù)據(jù)人工標(biāo)注工作。[11]不全面的標(biāo)注和低質(zhì)量的標(biāo)注必然會(huì)降低AIGC的質(zhì)量。

（三）人工智能生成內(nèi)容（AIGC）的主要學(xué)術(shù)風(fēng)險(xiǎn)

1.人工智能生成內(nèi)容（AIGC）來(lái)源不可追溯且準(zhǔn)確性存疑

生成式人工智能的模型訓(xùn)練過(guò)程是通過(guò)對(duì)大量數(shù)據(jù)的統(tǒng)計(jì)學(xué)習(xí)和模仿來(lái)實(shí)現(xiàn)的，并非直接依賴于特定的來(lái)源。由于生成式人工智能的模型具有創(chuàng)造性和靈活性，它可以生成與訓(xùn)練數(shù)據(jù)集中不同的新文本。對(duì)于這些新生成的文本，可能無(wú)法直接追溯到具體的來(lái)源。事實(shí)上，AIGC一般不包含來(lái)源信息，要求AIGC同時(shí)提供來(lái)源信息時(shí)，其輸出內(nèi)容在很大程度上也是錯(cuò)誤的或虛假的。不可追溯來(lái)源而使用他人學(xué)術(shù)成果會(huì)造成學(xué)術(shù)研究的倫理失范問(wèn)題，導(dǎo)致潛在的剽竊和抄襲風(fēng)險(xiǎn)。

2.人工智能生成內(nèi)容（AIGC）重要事實(shí)信息可信度存疑

AIGC生成的內(nèi)容主要是通過(guò)已有的數(shù)據(jù)進(jìn)行學(xué)習(xí)和模擬，其工作機(jī)理是基于形式的邏輯關(guān)系，并非基于對(duì)事實(shí)和觀點(diǎn)的理解。以“時(shí)間”信息為例，一方面，AIGC擅長(zhǎng)使用文本邏輯，或?qū)r(shí)間等重要信息并不敏感，或時(shí)間等重要信息有很強(qiáng)的重復(fù)性、相似性，因而所生成內(nèi)容常不包含時(shí)間信息或提供了虛假的時(shí)間信息，這一點(diǎn)已被大量測(cè)試所證明；另一方面，AIGC依賴于龐大的訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練，而這些數(shù)據(jù)往往存在一些不準(zhǔn)確或者錯(cuò)誤的時(shí)間信息，因此其生成內(nèi)容中也可能包含這些錯(cuò)誤的信息。

類似地，AIGC所表現(xiàn)出的“一本正經(jīng)地胡說(shuō)八道”“人工智能幻覺(jué)”等錯(cuò)誤比比皆是。如果查詢一個(gè)根本不存在的人物，AIGC必然會(huì)生成內(nèi)容，但生成的內(nèi)容卻會(huì)讓人啼笑皆非。明顯的錯(cuò)誤容易分辨，但隱性的錯(cuò)誤將產(chǎn)生導(dǎo)致學(xué)術(shù)研究基礎(chǔ)崩塌的可能。

3.人工智能生成內(nèi)容（AIGC）其創(chuàng)新性存疑

AIGC是基于已有的數(shù)據(jù)集進(jìn)行學(xué)習(xí)和模擬的，雖然AIGC可以生成新的內(nèi)容，但其基礎(chǔ)是已有的知識(shí)或信息，且這些數(shù)據(jù)可能是重復(fù)的、低質(zhì)量的或者老舊的。圍繞AIGC智能“涌現(xiàn)”的不少討論認(rèn)為，在大模型、大數(shù)據(jù)、大算力的條件下，AIGC“涌現(xiàn)”出智能或類似于人的意識(shí)是可能的。關(guān)鍵在于，在瞬間生成的大量?jī)?nèi)容中浪里淘沙，以人力找出并確認(rèn)什么是AIGC涌現(xiàn)的智能而不是已有知識(shí)的重復(fù)是困難的，即便識(shí)別出了AIGC涌現(xiàn)的智能，以人力判斷其創(chuàng)新性在成本上也是不合算的?；贏IGC目前的技術(shù)水平，其在開(kāi)拓新的研究領(lǐng)域、使用新的研究方法、運(yùn)用新的資料、創(chuàng)新闡述已有觀點(diǎn)或理論等方面能夠創(chuàng)新的可能性也是存疑的。

三、前置審查：學(xué)術(shù)出版中應(yīng)對(duì)AIGC生成內(nèi)容風(fēng)險(xiǎn)的策略

使用AIGC進(jìn)行學(xué)術(shù)研究的風(fēng)險(xiǎn)會(huì)給學(xué)術(shù)出版造成新的壓力?！犊茖W(xué)》系列期刊規(guī)定來(lái)自AI、機(jī)器學(xué)習(xí)或類似算法工具生成的文本不能用于在科學(xué)期刊上發(fā)表的論文中；除非得到編輯的明確許可，否則不得使用此類工具生成的圖表、圖像或圖形；AI程序不能成為科學(xué)期刊論文的作者，違反此政策構(gòu)成科學(xué)不端行為。[12]《自然》雜志不接受任何LLM工具作為研究論文的合格作者，認(rèn)為AI工具無(wú)法承擔(dān)著作者責(zé)任；可使用LLM工具但應(yīng)在方法或致謝部分說(shuō)明使用情況。[13]

為了既擁抱AIGC技術(shù)帶給學(xué)術(shù)研究的便利，也有效規(guī)避AIGC可能帶來(lái)的風(fēng)險(xiǎn)，筆者認(rèn)為，可在學(xué)術(shù)出版常規(guī)流程之前，增設(shè)AIGC前置審查環(huán)節(jié)，以有效剔除AIGC創(chuàng)作的成果，識(shí)別并提升學(xué)術(shù)成果中應(yīng)用AIGC生成內(nèi)容的質(zhì)量。AIGC前置審查要點(diǎn)如下。

（一）更新作者反學(xué)術(shù)不端承諾，要求聲明成果中包含的AIGC

學(xué)術(shù)出版機(jī)構(gòu)應(yīng)更新作者反學(xué)術(shù)不端承諾，增加作者使用AIGC相關(guān)規(guī)定。要求作者負(fù)責(zé)任和誠(chéng)實(shí)地使用生成式人工智能，可要求作者具體說(shuō)明論文是如何使用AIGC的，提供所使用AIGC的名稱、版本、型號(hào)和來(lái)源。限于不同研究者的不同情況，僅靠個(gè)人自覺(jué)不能徹底解決AIGC生成內(nèi)容的判別問(wèn)題，還需要后續(xù)配套措施。

（二）在查重之外，使用自動(dòng)化工具檢查辨識(shí)AIGC生成內(nèi)容

常用的查重工具較難識(shí)別AIGC生成內(nèi)容。Khalil等使用ChatGPT生成了50篇論文，對(duì)一半的論文使用Turnitin軟件進(jìn)行檢查，其平均相似度為13.72%；對(duì)另一半的論文使用iThenticate平臺(tái)進(jìn)行檢查，其平均相似度為8.76%。[14]這表明，ChatGPT生成的論文可能會(huì)被一般的查重工具誤判為高度原創(chuàng)的作品。筆者以ChatGPT 3.0生成的文本為樣例，利用國(guó)內(nèi)使用較廣的中文查重工具進(jìn)行檢測(cè)，其識(shí)別AIGC生成內(nèi)容的效率也并不高。

目前，已有多種反作弊檢測(cè)器被運(yùn)用于識(shí)別機(jī)器生成的文本。如普林斯頓大學(xué)研發(fā)的反作弊檢測(cè)器DetectGPT和GPTZeroX，OpenAI推出的人工智能文本分類器，抄襲檢測(cè)服務(wù)公司Turnitin研發(fā)的AI寫(xiě)作檢測(cè)工具等，在一定程度上能夠識(shí)別人工智能的抄襲痕跡，檢測(cè)出未做聲明和標(biāo)識(shí)的人工智能生成內(nèi)容。[15]國(guó)內(nèi)首個(gè)AI機(jī)器生成文本檢測(cè)工具包括AIGC-X已于2023年3月1日開(kāi)始公測(cè)，可對(duì)人工撰寫(xiě)與機(jī)器生成文本進(jìn)行區(qū)分，對(duì)內(nèi)容抄襲、信息造假、垃圾郵件等方面進(jìn)行識(shí)別和標(biāo)記。[16]

出版機(jī)構(gòu)的編輯在收到稿件后，在常規(guī)查重之外，還應(yīng)使用自動(dòng)化工具檢查辨識(shí)稿件中的AIGC生成內(nèi)容，為審稿決策及編校加工提供參考。

（三）對(duì)成果中的重要觀點(diǎn)的引用來(lái)源進(jìn)行核查

如前文所述，AIGC生成內(nèi)容的來(lái)源通常不可追溯，因而，稿件中如有重要支撐性觀點(diǎn)卻沒(méi)有標(biāo)注來(lái)源，使用常用學(xué)術(shù)檢索工具也未能查詢到準(zhǔn)確來(lái)源，則有較大可能為AIGC生成內(nèi)容。如有多處類似情況，可高度懷疑稿件大量使用了AIGC生成內(nèi)容。學(xué)術(shù)出版單位可制訂業(yè)務(wù)指引，對(duì)類似稿件是否退稿及如何處理做出規(guī)定。

（四）對(duì)學(xué)術(shù)成果所依據(jù)的主要事實(shí)和數(shù)據(jù)進(jìn)行核查

與上條類似，如果稿件中使用了重要的支撐性事實(shí)和數(shù)據(jù)卻沒(méi)有標(biāo)注來(lái)源，使用常用學(xué)術(shù)檢索工具核查確認(rèn)其為錯(cuò)誤的或虛假的，可高度懷疑其為AIGC生成內(nèi)容。對(duì)于使用虛假事實(shí)、數(shù)據(jù)的稿件，應(yīng)作退稿處理。

針對(duì)AIGC生成內(nèi)容存在的質(zhì)量問(wèn)題及在學(xué)術(shù)研究中使用AIGC存在的重要風(fēng)險(xiǎn)，本文首次提出了增設(shè)“前置審查”應(yīng)對(duì)策略，這一策略與后續(xù)學(xué)術(shù)出版常規(guī)操作有機(jī)銜接，將有效規(guī)避AIGC可能帶來(lái)的風(fēng)險(xiǎn)，避免學(xué)術(shù)出版因研究者使用AIGC而降低質(zhì)量甚或造假等學(xué)術(shù)不端。

（作者單位系陜西師范大學(xué)出版總社）