ChatGPT：研究進(jìn)展、模型創(chuàng)新及醫(yī)學(xué)信息研究應(yīng)用場景優(yōu)化*

陳凌云 姚寬達(dá) 王 茜 方 安 李 剛

(1中國醫(yī)學(xué)科學(xué)院/北京協(xié)和醫(yī)學(xué)院醫(yī)學(xué)信息研究所 北京100020 2中國農(nóng)業(yè)銀行 北京100005)

1 引言

自2022年11月，ChatGPT迅速成為現(xiàn)象級焦點(diǎn)，引發(fā)市場廣泛關(guān)注，掀起新一輪人工智能浪潮。推出僅兩個(gè)多月，ChatGPT全球用戶已突破1億，成為歷史上用戶增長速度最快的應(yīng)用程序。

ChatGPT是一種基于語言模型的人工智能系統(tǒng)，由開放人工智能(OpenAI)公司開發(fā)，是GPT系列模型的一部分，旨在進(jìn)行對話式交互。ChatGPT經(jīng)過大規(guī)模預(yù)訓(xùn)練，可以理解和生成自然語言文本，能夠與用戶對話，并根據(jù)上下文生成連貫的回復(fù)。可被用于提供智能客服、虛擬助手、在線聊天等場景，為用戶提供實(shí)時(shí)的問題解答和交流服務(wù)。ChatGPT在自然語言處理領(lǐng)域具有廣泛的應(yīng)用前景，可以幫助人們更方便地與計(jì)算機(jī)交流和獲取信息。

ChatGPT引入基于人類反饋的強(qiáng)化學(xué)習(xí)模型，并使用高質(zhì)量大數(shù)據(jù)，特別是其訓(xùn)練流程與理論模型在學(xué)術(shù)界引起極大關(guān)注[1]，在需要算法與技術(shù)、組織與檢索、人機(jī)智能交互[2]與協(xié)同支持的醫(yī)學(xué)領(lǐng)域產(chǎn)生了范式轉(zhuǎn)換、方法創(chuàng)新的巨大影響[3]。其預(yù)訓(xùn)練監(jiān)督、自動評估以及強(qiáng)化學(xué)習(xí)近端策略優(yōu)化(proximal policy optimization，PPO)模型3個(gè)層次技術(shù)創(chuàng)新，在醫(yī)學(xué)信息研究應(yīng)用方面具有重要意義，能夠在醫(yī)療大數(shù)據(jù)臨床文本處理和知識發(fā)現(xiàn)、醫(yī)學(xué)文獻(xiàn)知識提取、優(yōu)化醫(yī)學(xué)問診、改善醫(yī)患交流和溝通，以及在醫(yī)院管理和科研中提供決策支持和數(shù)據(jù)分析。

2 模型研究進(jìn)展

自2018年GPT被OpenAI[4]公司開發(fā)以來，經(jīng)歷神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)，以及Transformer模型等多種模型迭代累積，逐步完善與成熟[5]，見圖1。

圖1 GPT迭代對比

GPT-1是GPT系列第1個(gè)版本，使用12個(gè)Transformer編碼器，采用自回歸語言模型，創(chuàng)新性地將語境信息編碼為隱藏向量，在此基礎(chǔ)上生成任務(wù)[6]。GPT-2是GPT系列的第2個(gè)版本，于2019年發(fā)布，具有更多參數(shù)和更多層網(wǎng)絡(luò)結(jié)構(gòu)，使用48個(gè)Transformer編碼器和1.5億個(gè)參數(shù)，進(jìn)一步使用無監(jiān)督預(yù)訓(xùn)練方法，自動學(xué)習(xí)語言規(guī)律和特征，獲得更強(qiáng)的語言泛化生成能力[7]。GPT-3是GPT系列第3個(gè)版本，于2020年發(fā)布，使用1 750億個(gè)參數(shù)，采取零樣本和多樣本學(xué)習(xí)方法，甚至在沒有樣本的情況下生成解決方案，具有較強(qiáng)對話交互能力，并在對話中實(shí)現(xiàn)邏輯推斷，獲得生成連貫和富有邏輯性的語言能力[8]。

2022年ChatGPT繼續(xù)基于Transformer模型架構(gòu)，在微軟Azure AI超級計(jì)算基礎(chǔ)設(shè)施上訓(xùn)練，吸收GPT-1、GPT-2、GPT-3模型經(jīng)驗(yàn)，參數(shù)由億級迭代至千億級，使用人類反饋的強(qiáng)化學(xué)習(xí)模型，應(yīng)用強(qiáng)化學(xué)習(xí)PPO模型，成功實(shí)現(xiàn)多問題提示、動態(tài)交互的大規(guī)模預(yù)訓(xùn)練語言能力[9]。

GPT模型系列從GPT-1到ChatGPT，其算法區(qū)別體現(xiàn)在：GPT-1采用單向Transformer模型，利用自回歸方式預(yù)訓(xùn)練和生成。GPT-2引入更大模型規(guī)模和參數(shù)量，采用更多層Transformer模型，提升生成能力和語言表達(dá)連貫性。GPT-3進(jìn)一步增加模型的規(guī)模和參數(shù)量，引入零樣本和小樣本學(xué)習(xí)概念，展現(xiàn)更強(qiáng)的通用性和泛化能力。ChatGPT是基于GPT-3.5架構(gòu)訓(xùn)練的版本，具備更強(qiáng)的語言理解和生成能力，但具體算法細(xì)節(jié)并未公開。應(yīng)用方面區(qū)別體現(xiàn)在：GPT-1主要應(yīng)用于生成文本、回答問題和完成填空題等自然語言處理任務(wù)。GPT-2在生成任務(wù)方面取得顯著進(jìn)展，可用于生成新聞、故事、代碼和對話等任務(wù)。GPT-3具備較強(qiáng)的通用性和泛化能力，可適應(yīng)多個(gè)自然語言處理任務(wù)，包括翻譯、問答、摘要生成、對話交互等。ChatGPT作為語言模型，可被應(yīng)用于回答問題、生成文本、提供建議等任務(wù)，但其基于已有數(shù)據(jù)進(jìn)行訓(xùn)練。

近期，OpenAI公司公布GPT-4模型[9]，繼續(xù)優(yōu)化大規(guī)模預(yù)訓(xùn)練模型，支持圖文混合輸入，實(shí)現(xiàn)更準(zhǔn)確、更真實(shí)的機(jī)器翻譯、自然語言輸出等能力，表現(xiàn)出專業(yè)和學(xué)術(shù)方面與人類基本相同的能力。

ChatGPT采用多種模式疊加的方法。其中，對比預(yù)訓(xùn)練是指預(yù)訓(xùn)練多個(gè)模型，并將其結(jié)果對比和融合。通過對比預(yù)訓(xùn)練，ChatGPT能夠獲得更全面和多樣化的語言表達(dá)能力。ChatGPT還進(jìn)行多種微調(diào)，包括人工加工數(shù)據(jù)微調(diào)、指令微調(diào)和代碼數(shù)據(jù)微調(diào)。這些微調(diào)過程可以提高ChatGPT在特定領(lǐng)域或任務(wù)中的性能表現(xiàn)，使其更適用于醫(yī)學(xué)信息應(yīng)用等特定場景。人工加工數(shù)據(jù)微調(diào)是指利用人工標(biāo)注或編輯的數(shù)據(jù)微調(diào)，以增強(qiáng)ChatGPT在特定領(lǐng)域的理解和表達(dá)能力。指令微調(diào)是通過針對特定任務(wù)或指令的訓(xùn)練樣本微調(diào)，使ChatGPT能夠更好地理解和遵循給定的指令。代碼數(shù)據(jù)微調(diào)是指使用編程代碼相關(guān)的數(shù)據(jù)微調(diào)，使ChatGPT能夠更好地理解和生成與編程相關(guān)的內(nèi)容。

3 模型創(chuàng)新

ChatGPT 由GPT-3.5模型提供支持，采用“人類反饋強(qiáng)化學(xué)習(xí)”訓(xùn)練方式，包括人類提問機(jī)器回答、機(jī)器提問人類回答，不斷迭代和反饋，模型逐漸具有生成答案和相應(yīng)的評判能力，見圖2[10]。為下一階段醫(yī)學(xué)研究提供思路和方法。ChatGPT創(chuàng)新主要體現(xiàn)在以下3方面。

圖2 ChatGPT訓(xùn)練流程

3.1 微調(diào)GPT模型，更好適應(yīng)任務(wù)

微調(diào)預(yù)訓(xùn)練模型是ChatGPT第1層級創(chuàng)新。ChatGPT預(yù)訓(xùn)練模型初始層主要負(fù)責(zé)提取原始文本中特征，輸出層和附近層級負(fù)責(zé)生成語言任務(wù)，并在模型輸出層添加具體分類器，將生成的響應(yīng)與真實(shí)響應(yīng)比較和計(jì)算打分，調(diào)整模型參數(shù)，適應(yīng)特定對話目標(biāo)。同時(shí)，ChatGPT不斷微調(diào)學(xué)習(xí)率和正則化方法，初始階段學(xué)習(xí)率較大，后續(xù)階段逐漸減小，以幫助模型更好地適應(yīng)對話任務(wù)；正則化則分別采用dropout、L1、L2等方法，避免模型過度擬合訓(xùn)練數(shù)據(jù)，提高泛化能力，降低模型復(fù)雜度[11]。

3.2 通過人工標(biāo)注，訓(xùn)練生成打分模型

生成自動獎勵模型、采用自動評估機(jī)制是ChatGPT第2層級重要創(chuàng)新。首先，ChatGPT模型對輸出結(jié)果進(jìn)行人工標(biāo)注排序，舍棄常用的直接打分方法，提升模型的普適性和準(zhǔn)確性。其次，獎勵模型對排序結(jié)果兩兩組合，計(jì)算差值，遍歷所有排序靠前與排序靠后結(jié)果的差值，對數(shù)處理計(jì)算整體值，生成獎勵模型。獎勵模型的損失函數(shù)：

(1)

其中rθ(x，y)是獎勵模型對提問信息x和輸出信息y的標(biāo)量輸出，θ為參數(shù)，yw是yw和yl輸出信息對的排序靠前的項(xiàng)，D是比較數(shù)據(jù)集[12]。

最后，ChatGPT采用梯度下降法最小化損失函數(shù)，學(xué)習(xí)優(yōu)化策略，生成獎勵模型。據(jù)此，采用此自動獎勵函數(shù)打分，ChatGPT有效改進(jìn)預(yù)訓(xùn)練模型，即當(dāng)原始模型輸出的結(jié)果在打分模型中獲得較低分值，或者輸出結(jié)果偏離人類認(rèn)知時(shí)，模型將受到懲罰，被要求重新學(xué)習(xí)。通過不斷循環(huán)，初始模型逐漸被迭代升級，逐漸掌握人類偏好，成為人類滿意的模型。

3）現(xiàn)場物資的精準(zhǔn)控制和物資采購的精準(zhǔn)預(yù)測。在工程項(xiàng)目中標(biāo)之后，借助信息化手段及時(shí)建立本工程項(xiàng)目數(shù)據(jù)管理平臺，將項(xiàng)目的總體進(jìn)度計(jì)劃錄入到該工程項(xiàng)目數(shù)據(jù)管理平臺中。在工程項(xiàng)目實(shí)施中，將物資庫存狀況，記載物資入場、損耗、退庫等詳細(xì)內(nèi)容實(shí)時(shí)錄入倉庫管理子系統(tǒng)，快捷地統(tǒng)計(jì)現(xiàn)場物資狀況并反饋到工程項(xiàng)目數(shù)據(jù)管理平臺中。工程管理子系統(tǒng)實(shí)時(shí)追蹤工程項(xiàng)目的進(jìn)度過程，報(bào)告剩余未完成工程和已批復(fù)變更；預(yù)算管理子系統(tǒng)依據(jù)實(shí)時(shí)更新的物資信息精準(zhǔn)預(yù)測物資需求。

3.3 應(yīng)用強(qiáng)化學(xué)習(xí)PPO模型，持續(xù)優(yōu)化自主學(xué)習(xí)能力

應(yīng)用強(qiáng)化學(xué)習(xí)PPO模型是ChatGPT第3層級關(guān)鍵創(chuàng)新?；谏鲜霆剟钅Ｐ停珻hatGPT獲取預(yù)訓(xùn)練模型輸出結(jié)果的分值后，返回強(qiáng)化學(xué)習(xí)PPO模型，進(jìn)一步優(yōu)化微調(diào)GPT模型參數(shù)。在此階段，強(qiáng)化學(xué)習(xí)PPO模型為ChatGPT的發(fā)展起到極大推動作用。強(qiáng)化學(xué)習(xí)PPO模型目標(biāo)函數(shù)：

(2)

對于傳統(tǒng)PPO強(qiáng)化學(xué)習(xí)模型，包含策略、動作空間和獎勵函數(shù)等基本要素[13]。策略指基于語言模型，接收prompt提問作為輸入，輸出一系列文本(或文本的概率分布)；動作空間是詞表標(biāo)記的排列組合；傳統(tǒng)PPO模型目標(biāo)通常包括模型值和“裁剪項(xiàng)”，以獲得穩(wěn)定輸出結(jié)果：

(3)

相比較而言，ChatGPT模型的目標(biāo)函數(shù)是創(chuàng)新性地增加KL懲罰和預(yù)訓(xùn)練梯度兩個(gè)部分，成為獎勵函數(shù)、模型值與人工值差距，以及特定場景的泛化值3個(gè)部分組成的函數(shù)，可準(zhǔn)確獲得符合人類需求和認(rèn)知的結(jié)果，最重要的是能夠主動適應(yīng)泛化場景，獲得自主學(xué)習(xí)能力[14]。

4 面向醫(yī)學(xué)信息領(lǐng)域應(yīng)用的優(yōu)化方向

目前，醫(yī)學(xué)研究主要基于規(guī)則、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法進(jìn)行研究，大都可以歸為有監(jiān)督學(xué)習(xí)模型。醫(yī)學(xué)文獻(xiàn)、病理研究、基因研究等在無監(jiān)督學(xué)習(xí)研究方面，已經(jīng)取得長足進(jìn)步，取得較好研究成果[15]。但結(jié)合ChatGPT訓(xùn)練流程和模型創(chuàng)新點(diǎn)，基因、文獻(xiàn)、問診平臺建設(shè)等將能產(chǎn)生新的研究成果。ChatGPT賦能醫(yī)學(xué)信息應(yīng)用可體現(xiàn)在以下兩方面。一是數(shù)據(jù)加工與語料庫構(gòu)建。ChatGPT可以用于處理和加工醫(yī)學(xué)領(lǐng)域大規(guī)模數(shù)據(jù)，包括醫(yī)學(xué)文獻(xiàn)、臨床數(shù)據(jù)、病歷信息等，通過ChatGPT的語言理解和生成能力，可以實(shí)現(xiàn)對數(shù)據(jù)的自動化整理、分類和標(biāo)注，構(gòu)建更豐富、結(jié)構(gòu)化的醫(yī)學(xué)語料庫。二是醫(yī)學(xué)信息或情報(bào)智能分析。通過ChatGPT的語義理解和推理能力，可以理解和解析醫(yī)學(xué)文本、病歷描述等信息，并從中提取關(guān)鍵信息、推斷相關(guān)關(guān)系和趨勢，進(jìn)而輔助醫(yī)學(xué)專業(yè)人員進(jìn)行信息檢索、知識發(fā)現(xiàn)和決策支持，提供更準(zhǔn)確和智能化的醫(yī)學(xué)信息分析服務(wù)。ChatGPT面向醫(yī)學(xué)信息領(lǐng)域應(yīng)用的優(yōu)化方向主要涉及以下3個(gè)方面。

4.1 進(jìn)一步研究自動獎勵模型，提升動態(tài)準(zhǔn)確性

OpenAI公司爬蟲數(shù)據(jù)集超萬億，GPT-3模型擁有多達(dá)1 750億個(gè)參數(shù)，ChatGPT模型參數(shù)達(dá)數(shù)十億級。但是模型參數(shù)越大，擬合效果和準(zhǔn)確性未必越好。ChatGPT創(chuàng)新性地應(yīng)用自動獎勵模型，進(jìn)一步發(fā)揮自動校準(zhǔn)作用，準(zhǔn)確、真實(shí)實(shí)現(xiàn)語言生成能力。ChatGPT自動獎勵模型也不是一成不變的，而是不斷動態(tài)生成的，其本身就是“GPT”模型，隨著ChatGPT預(yù)訓(xùn)練模型的改進(jìn)，打分獎勵模型也在優(yōu)化改進(jìn)。

醫(yī)學(xué)文獻(xiàn)自動化閱讀與知識提取方向的應(yīng)用潛力巨大。通過應(yīng)用ChatGPT等技術(shù)，可以實(shí)現(xiàn)文獻(xiàn)篩選、知識抽取與整合，疾病診斷與治療指南的自動化，探索新興研究領(lǐng)域，促進(jìn)學(xué)術(shù)交流與合作，提高醫(yī)學(xué)研究效率和質(zhì)量，為醫(yī)學(xué)領(lǐng)域帶來巨大的變革和進(jìn)步。

在醫(yī)學(xué)研究中，無監(jiān)督學(xué)習(xí)模型無法最大成效地發(fā)揮作用，原因之一是沒有自動評估機(jī)制和自動獎勵模型，不能對初始模型動態(tài)校準(zhǔn)，更無法對模型參數(shù)迭代升級。而ChatGPT模型中的自動獎勵模型為此類研究提供了思路。

進(jìn)一步看，在醫(yī)療大數(shù)據(jù)臨床文本處理與知識發(fā)現(xiàn)研究中，數(shù)據(jù)準(zhǔn)備、文本挖掘、評估反饋等研究都較深入，成果也較豐富，后續(xù)可應(yīng)用ChatGPT自動獎勵模型方法，研究知識發(fā)現(xiàn)領(lǐng)域相應(yīng)的獎勵模型，動態(tài)評估文本處理與知識發(fā)現(xiàn)研究，進(jìn)一步提升準(zhǔn)確性和自動化。

在生物醫(yī)學(xué)科技文獻(xiàn)知識對象挖掘中，數(shù)據(jù)和信息量較大，專業(yè)術(shù)語較復(fù)雜。前期在結(jié)合專業(yè)術(shù)語和語言特征語料庫標(biāo)注的基礎(chǔ)上，應(yīng)用ChatGPT自動獎勵模型方法，訓(xùn)練相應(yīng)的自動獎勵模型，見圖3，既能提升對醫(yī)學(xué)文獻(xiàn)評估的準(zhǔn)確性，又可以提升專業(yè)人員梳理文獻(xiàn)資料的效率。

圖3 訓(xùn)練生物醫(yī)學(xué)科技文獻(xiàn)自動獎勵模型流程

4.2 進(jìn)一步研究強(qiáng)化學(xué)習(xí)，提升模型的學(xué)習(xí)能力

現(xiàn)階段，人工智能的研究過程中存在3種不同研究思路。一種是基于人工神經(jīng)網(wǎng)絡(luò)的方法，試圖從結(jié)構(gòu)方面模擬人類智能。另一種是基于物理符號系統(tǒng)的方法，從功能方面模擬人類智能。第3種是基于感知動作系統(tǒng)的方法，試圖從行為方面模擬人類智能[16]。隨著數(shù)據(jù)信息量不斷增長，未來10年生成式人工智能的能力和需求可能會增長超過1 000倍，因此自動學(xué)習(xí)知識技能已成為人工智能研究的主要方向。ChatGPT采用強(qiáng)化學(xué)習(xí)模型，從行為方面模擬人類智能的感知動作系統(tǒng)，為人工智能賦予自主學(xué)習(xí)能力。進(jìn)一步分析，ChatGPT獲得自主學(xué)習(xí)能力和邏輯推理能力，得益于應(yīng)用強(qiáng)化學(xué)習(xí)PPO模型，特別是馬爾科夫鏈決策過程不斷動態(tài)調(diào)整前后語義策略，使前后策略更加一致，真實(shí)準(zhǔn)確生成結(jié)果。

目前，國內(nèi)醫(yī)學(xué)信息量呈指數(shù)級增長，但僅能通過關(guān)鍵詞和問題檢索方式訪問醫(yī)學(xué)數(shù)據(jù)庫。在龐大的數(shù)據(jù)海洋中，精確檢索所需的數(shù)據(jù)信息仍是一項(xiàng)相當(dāng)困難的任務(wù)，缺乏針對性。為此，醫(yī)學(xué)研究可以借鑒ChatGPT強(qiáng)化學(xué)習(xí)PPO模型，標(biāo)注人工檢索過程、停留時(shí)間等，獲得前后概率分布，并以檢索時(shí)間和對象生成檢索模型，為下一步人工檢索提供支持?；诖?，指數(shù)級的醫(yī)學(xué)數(shù)據(jù)可以整合成強(qiáng)大而智能的知識庫，見圖4。

圖4 PPO模型處理海量醫(yī)學(xué)數(shù)據(jù)的流程

ChatGPT也可以成為輔助醫(yī)生診斷和選擇治療方法的智力支持。目前，在醫(yī)學(xué)研究中，慢性病等病因形成時(shí)間較長、較多、較復(fù)雜，前后病因的邏輯和相互影響對疾病治療都非常重要。借鑒ChatGPT中PPO強(qiáng)化學(xué)習(xí)模型，應(yīng)用馬爾科夫鏈決策過程，動態(tài)學(xué)習(xí)前后病因影響大小、不同地域病因的影響關(guān)系，強(qiáng)化模型值與人工值差距研究，可以建立有成效的分析和決策系統(tǒng)，為慢性病等病因分析和治療提供人工智能支持。

強(qiáng)化學(xué)習(xí)還可以為基因研究和疾病風(fēng)險(xiǎn)評估提供幫助。目前醫(yī)學(xué)研究已經(jīng)從成千上萬患者樣本中，生成數(shù)以萬計(jì)的數(shù)據(jù)集，數(shù)據(jù)集通常包括突變DNA序列、DNA甲基化、單個(gè)基因活性以及細(xì)胞通路中蛋白質(zhì)相互作用信息。近幾年來的研究表明，蛋白質(zhì)和基因的相互作用可以映射成一個(gè)數(shù)學(xué)網(wǎng)絡(luò)，即相互作用網(wǎng)絡(luò)圖，因此也可以借鑒ChatGPT中PPO強(qiáng)化學(xué)習(xí)模型，應(yīng)用馬爾科夫鏈決策過程，在前期生物信息學(xué)和人工智能算法結(jié)合的基礎(chǔ)上，強(qiáng)化泛化場景研究，突出基因序列突變之外的隱性基因研究，為基因研究和疾病風(fēng)險(xiǎn)評估提供全場景的研究方法。

4.3 加強(qiáng)上下文學(xué)習(xí)能力，提升問答對話系統(tǒng)能力和交互體驗(yàn)

以往醫(yī)學(xué)問答系統(tǒng)存在數(shù)據(jù)缺失[17]、簡寫、拼音代替、錯別字[18]等問題，影響準(zhǔn)確性。借鑒ChatGPT提問等模式，開發(fā)基于ChatGPT模型的醫(yī)學(xué)問答系統(tǒng)，系統(tǒng)以高度擬人化對話問答模式，帶來較好交互體驗(yàn)，還可以收集整合問題集。此外，醫(yī)生結(jié)合患者病歷信息以及回答，給出患者問診、解答等建議，進(jìn)一步提升問答對話系統(tǒng)能力和交互體驗(yàn)，同時(shí)豐富“答案”集，為后續(xù)標(biāo)注和自動評估機(jī)制打下基礎(chǔ)。

在醫(yī)院管理和衛(wèi)生系統(tǒng)管理方面，ChatGPT可應(yīng)用于醫(yī)院內(nèi)部的自動化客服和咨詢系統(tǒng)，為患者提供在線預(yù)約、掛號、查詢檢查結(jié)果等服務(wù)，減輕人工接待壓力，提高工作效率；醫(yī)院知識庫管理和知識查詢，幫助醫(yī)護(hù)人員快速獲取醫(yī)學(xué)知識和臨床指南，支持決策和診斷過程，提升醫(yī)療質(zhì)量和安全性；衛(wèi)生系統(tǒng)公眾健康教育，通過智能問答和健康咨詢，為大眾提供個(gè)性化健康建議和預(yù)防措施，促進(jìn)公眾健康管理和健康意識。這些應(yīng)用可以提高服務(wù)效率、增強(qiáng)醫(yī)學(xué)知識的傳播和應(yīng)用、促進(jìn)公眾健康意識，為醫(yī)療行業(yè)的改進(jìn)和發(fā)展作出積極貢獻(xiàn)。

借鑒GPT-N預(yù)訓(xùn)練大模型應(yīng)用程序接口(application programming interface，API)，開放接口研究和對話框提示研究，患者輸入個(gè)人信息、健康狀況信息以及病歷信息，拓展信息采集時(shí)間寬度和靈活性，對話框提示能提升問答準(zhǔn)確性，API接口能提升醫(yī)學(xué)數(shù)據(jù)自動化傳輸水平。同時(shí)，醫(yī)生可自主靈活選擇時(shí)間，根據(jù)患者問題，起草診斷計(jì)劃，提高治療效率。根據(jù)問題數(shù)據(jù)集和答案集，再結(jié)合脫敏臨床知識數(shù)據(jù)，可進(jìn)一步提高醫(yī)學(xué)科研效率。

5 結(jié)語

ChatGPT迅速成為現(xiàn)象級焦點(diǎn)，掀起新一輪人工智能浪潮，需要客觀分析其流程、模型和創(chuàng)新價(jià)值，并探討其在醫(yī)學(xué)研究中的應(yīng)用。自動獎勵模型可以提高評估準(zhǔn)確性和效率，強(qiáng)化學(xué)習(xí)PPO模型突顯研究對象的多樣性和相互影響，通過應(yīng)用馬爾科夫鏈決策過程、分析前后邏輯，縮小模型值與人工值的差距，增強(qiáng)特定場景的泛化能力。問答系統(tǒng)可以提升對話能力和交互體驗(yàn)，并拓寬時(shí)間范圍和數(shù)據(jù)集。綜合考慮ChatGPT的訓(xùn)練流程和模型創(chuàng)新點(diǎn)，可以將其應(yīng)用于醫(yī)學(xué)研究領(lǐng)域，從而開創(chuàng)出更多、更好、更有價(jià)值的研究。