基于數(shù)字孿生的醫(yī)保宏觀決策深度強化智能應(yīng)用研究

吳永飛 王彥博 解立偉 楊璇 劉曦子 徐奇 宮雅菲 何姍 巨春武

摘要：醫(yī)療保障體系的健康發(fā)展一直以來都是事關(guān)國計民生的重要工作?；诖?，提出醫(yī)保宏觀決策的“4S”框架，聚焦“基本醫(yī)療保險基金的定額分配”應(yīng)用場景，構(gòu)建數(shù)字孿生仿真模擬環(huán)境，并將智能圍棋機器人AlphaGo Zero底層的深度強化學(xué)習(xí)技術(shù)進(jìn)行了優(yōu)化改進(jìn)，將該類人工智能技術(shù)應(yīng)用于醫(yī)保領(lǐng)域。運用構(gòu)建在數(shù)字孿生仿真模擬基礎(chǔ)之上的深度強化學(xué)習(xí)技術(shù)，旨在解決由道德風(fēng)險和逆向選擇所導(dǎo)致的醫(yī)保基金運行風(fēng)險問題，探索實現(xiàn)該領(lǐng)域社會資源分配達(dá)到社會效用最優(yōu)的智能化解決方案。

關(guān)鍵詞：數(shù)字孿生;仿真模擬;深度強化學(xué)習(xí);醫(yī)保;宏觀決策

0 引言

我國現(xiàn)行社會醫(yī)療保險體系由2種制度組成：一種是城鎮(zhèn)職工基本醫(yī)療保險制度;另一種是城鄉(xiāng)居民醫(yī)療保險制度。2021年，全國基本醫(yī)療保險參保人數(shù)達(dá)13.64億人，參保率穩(wěn)定在95%以上。2021年，全國基本醫(yī)療保險基金（含生育保險）總收入達(dá)28 710.28億元。本文聚焦城鎮(zhèn)職工醫(yī)療保險制度，探索如何智能化地合理分配醫(yī)?；?，以期為醫(yī)?；鸬暮侠磉\行及風(fēng)險規(guī)避提供借鑒。

1 醫(yī)保業(yè)務(wù)背景概述

1.1 我國主要醫(yī)保支付制度

當(dāng)前我國主要醫(yī)保支付制度為總額預(yù)付制和DRGs預(yù)付制2種[1]?？傤~預(yù)付制是指在考慮宏觀經(jīng)濟(jì)因素的前提下，根據(jù)一定區(qū)域內(nèi)參保人數(shù)、年均接診總?cè)舜螖?shù)和次均接診費用水平等信息，對區(qū)域內(nèi)年度統(tǒng)籌費用總額進(jìn)行測算。DRGs預(yù)付制全稱為診斷相關(guān)組—預(yù)付費制度（Diagnosis Related Groups-Prospective Payment System），是指在國際疾病診斷分類的基礎(chǔ)上，對各個分類組別的付費標(biāo)準(zhǔn)進(jìn)行科學(xué)測算，并進(jìn)行預(yù)先支付。該機制由美國率先研究，已在我國北京進(jìn)行試點，近年來在全國范圍內(nèi)逐漸推廣。

1.2 醫(yī)保行業(yè)中的道德風(fēng)險和逆向選擇

醫(yī)保行業(yè)中的道德風(fēng)險和逆向選擇問題自20世紀(jì)60年代以來就成為困擾人類社會的世界性難題。自諾貝爾經(jīng)濟(jì)學(xué)獎得主肯尼斯·約瑟夫·阿羅于1963年提出社會醫(yī)療保險存在逆向選擇和道德風(fēng)險的問題以來[2]，全球各國的大量實證資料不斷印證了上述難題的存在。

道德風(fēng)險主要體現(xiàn)為事后風(fēng)險。在醫(yī)保資金充足的情況下，對于醫(yī)療服務(wù)的需求方，即患者來說，醫(yī)?；鸬目犊Ц稌?dǎo)致參保人員過度醫(yī)療，浪費醫(yī)?；鹳Y源;對醫(yī)療服務(wù)的供給方，即醫(yī)療機構(gòu)來說，可能存在憑借信息壟斷優(yōu)勢增加患者醫(yī)療支出的情況;更進(jìn)一步，還可能催生供需雙方合謀的道德風(fēng)險，即醫(yī)療機構(gòu)與參保人員通過合謀騙保，以套取醫(yī)療保障資金等情況。

逆向選擇主要體現(xiàn)為事前風(fēng)險。對醫(yī)療服務(wù)的需求方來說，共付制作為一種個人與社會醫(yī)療保險機構(gòu)共同負(fù)擔(dān)一定比例醫(yī)療費用的機制，參保人的醫(yī)療費用在起付線以上、封頂線以下部分主要由統(tǒng)籌基金支付，但個人仍需負(fù)擔(dān)一定比例，在醫(yī)保資金不足的情況下，可能導(dǎo)致部分健康人員參保意愿下降;而對醫(yī)療服務(wù)的供給方來說，在醫(yī)保資金有限的條件下，醫(yī)療機構(gòu)在醫(yī)療技術(shù)和設(shè)備方面投入不足往往使服務(wù)質(zhì)量下降，參保人員住院困難，會導(dǎo)致患者不愿意到水平較低的醫(yī)療機構(gòu)就醫(yī)，從而導(dǎo)致該類機構(gòu)的投入浪費。同時，逆向選擇也會引起醫(yī)保基金的道德風(fēng)險和運行風(fēng)險，因此在預(yù)付制環(huán)境下構(gòu)建一套可以精確分配并可通過極端壓力測試的資源配置機制是當(dāng)前降低醫(yī)保基金運營風(fēng)險的破局之道。

2 基于數(shù)字孿生的醫(yī)保宏觀決策深度強化智能解決方案

2.1 醫(yī)保宏觀決策“4S”框架

為進(jìn)一步清晰定義醫(yī)保行業(yè)業(yè)務(wù)需求，本文首先從醫(yī)保行業(yè)全局視角出發(fā)，提出醫(yī)保宏觀決策“4S”框架，將醫(yī)保體系劃分為4個領(lǐng)域，即業(yè)務(wù)經(jīng)辦體系（Standard operation & supply chain）、公共服務(wù)體系（Social service）、業(yè)務(wù)監(jiān)管體系（Supervision & regulatory affairs）和決策分析體系（Strategy making & decision support）。其中，業(yè)務(wù)經(jīng)辦體系側(cè)重醫(yī)保行業(yè)主要的業(yè)務(wù)流轉(zhuǎn)和管理環(huán)節(jié);公共服務(wù)體系側(cè)重醫(yī)保體系面向接受服務(wù)的社會公眾及利益相關(guān)機構(gòu)的交互路徑與信息傳導(dǎo)機制;業(yè)務(wù)監(jiān)管體系從防控醫(yī)保資源濫用、減少欺詐的立足點出發(fā)，對醫(yī)保領(lǐng)域業(yè)務(wù)監(jiān)管事務(wù)進(jìn)行梳理;決策分析體系立足服務(wù)于醫(yī)保決策機構(gòu)，對醫(yī)保體系中涉及宏觀決策和分析的重要課題進(jìn)行難點梳理。

當(dāng)前，隨著信息科技的不斷發(fā)展，人工智能針對醫(yī)保領(lǐng)域上述四大體系的需求均可提供針對性解決方案——醫(yī)保全流程中涉及的業(yè)務(wù)經(jīng)辦、公共服務(wù)、業(yè)務(wù)監(jiān)管和決策分析四大體系分別對應(yīng)了該領(lǐng)域“業(yè)務(wù)流程精細(xì)化”“用戶體驗便捷化”“欺詐識別自動化”“宏觀決策智能化”四大核心需求。當(dāng)前，“業(yè)務(wù)流程精細(xì)化”和“用戶體驗便捷化”2項需求已在市場環(huán)境中得到了較充分的滿足。然而，對“欺詐識別自動化”和“宏觀決策智能化”2項需求的充分滿足一直以來都是痛點和難點。

本文聚焦“4S”框架中的決策分析（Strategy making & decision support）領(lǐng)域，針對“城鄉(xiāng)居民基本醫(yī)療保險籌資標(biāo)準(zhǔn)”“醫(yī)保支付管理”“基金監(jiān)督管理”等一系列典型醫(yī)保宏觀智能決策場景展開針對性研究，基于數(shù)字孿生和深度強化的通用智能解決框架，為上述工作提供全新的策略及解決方案。

2.2 數(shù)字孿生環(huán)境構(gòu)建

數(shù)字孿生仿真環(huán)境的構(gòu)建是開展深度強化學(xué)習(xí)的基礎(chǔ)[3]，深度強化智能適于解決醫(yī)保宏觀決策中的多層次動態(tài)博弈決策問題，本文以服務(wù)醫(yī)保體系完成年度定點醫(yī)療機構(gòu)醫(yī)保基金費用配置為起點展開研究。相關(guān)方案可遷移至如下場景：醫(yī)療保障局對于總額預(yù)算管理的定點醫(yī)療機構(gòu)進(jìn)行年度醫(yī)?；鹳Y源分配;定點醫(yī)療機構(gòu)內(nèi)設(shè)的績效運營辦公室等部門通過科主任聯(lián)席會等方式在醫(yī)院內(nèi)部進(jìn)行分配;定點醫(yī)療的科室內(nèi)部將醫(yī)?；鸬馁Y源配置到每位醫(yī)生身上，確?？傤~控制等。

基于情況調(diào)研和現(xiàn)有數(shù)據(jù)，本文分別構(gòu)建了轄區(qū)參保人員人口統(tǒng)計學(xué)數(shù)據(jù)仿真、定點醫(yī)療機構(gòu)醫(yī)療資源數(shù)據(jù)仿真、醫(yī)療保障涉及疾病及醫(yī)療資源消耗數(shù)據(jù)仿真3種數(shù)字孿生仿真環(huán)境。在轄區(qū)參保人員人口統(tǒng)計學(xué)數(shù)據(jù)仿真方面，本文根據(jù)參保人員的統(tǒng)計學(xué)特征，從性別、年齡、職業(yè)、有無過往病史、參保類型、居住區(qū)域及就醫(yī)類型7個維度構(gòu)建參保人員的數(shù)據(jù)仿真體系，見圖1。

在定點醫(yī)療機構(gòu)醫(yī)療資源數(shù)據(jù)仿真方面，根據(jù)各個定點醫(yī)療機構(gòu)的醫(yī)療資源及就診現(xiàn)狀等情況，從醫(yī)院類型、級別/資質(zhì)、規(guī)模、?？铺亻L、所在區(qū)域、服務(wù)質(zhì)量、所在地區(qū)人口密度及人群死亡率、是否為教學(xué)醫(yī)院、診斷質(zhì)量、上年財政結(jié)余/赤字10個維度構(gòu)建了醫(yī)院機構(gòu)的數(shù)據(jù)仿真體系，見圖2。

在醫(yī)療保障涉及疾病及醫(yī)療資源消耗數(shù)據(jù)仿真方面，綜合醫(yī)療保障涉及的疾病，從疾病類型、平均住院天數(shù)、治療均次費用、醫(yī)療結(jié)果、藥品消耗、病情嚴(yán)重及復(fù)雜程度、治療方式及資源消耗8個維度構(gòu)建醫(yī)療資源數(shù)據(jù)仿真體系。其中，疾病類型細(xì)分為內(nèi)外科、急慢性、是否感染及是否功能性疾病;平均住院天數(shù)按照科室進(jìn)行統(tǒng)計;治療均次費用根據(jù)歷年真實統(tǒng)計數(shù)據(jù)進(jìn)行合理推算;醫(yī)療結(jié)果分為痊愈、并發(fā)癥及死亡3種;病情嚴(yán)重程度按照國家現(xiàn)有分類分為瀕危、危重、急癥和非急癥4種;治療方式分為手術(shù)治療、藥物治療和物理療法3種;藥品消耗分為藥店購買和住院消耗;資源消耗從醫(yī)療費用、醫(yī)療用品和醫(yī)療儀器3個維度進(jìn)行統(tǒng)計。醫(yī)療保障涉及疾病及醫(yī)療資源消耗數(shù)據(jù)仿真邏輯見圖3。

2.3 醫(yī)?；鸱峙鋸娀瘜W(xué)習(xí)模型

強化學(xué)習(xí)（Reinforcement Learning）是一種通過與環(huán)境的一步步交互，調(diào)整相應(yīng)的策略，從而追求最優(yōu)回報的自我學(xué)習(xí)方法。其關(guān)注的問題是一個算法智能代理（Agent）在特定環(huán)境下如何通過與其交互來學(xué)習(xí)

在不同狀態(tài)（State）下的行為（Action），使其獲得最多的累計回報（Reward），其原理見圖4。

強化學(xué)習(xí)在全球范圍內(nèi)已取得了令人矚目的發(fā)展。DeepMind團(tuán)隊將深度強化學(xué)習(xí)應(yīng)用到圍棋游戲上并擊

敗世界頂級圍棋選手;智能體AlphaStar在星際爭霸Ⅱ的游戲天梯排名中達(dá)到了前1%;卡耐基梅隆大學(xué)團(tuán)隊研發(fā)德州撲克AI冷撲大師輕松擊敗頂級玩家;微軟研發(fā)的Suphx麻將人工智能系統(tǒng)被認(rèn)為已達(dá)到專業(yè)十段水平。此外，深度強化學(xué)習(xí)還在數(shù)學(xué)猜想的證明、電子相互作用的理解，以及控制核聚變等多個前沿領(lǐng)域?qū)伊⑵婀?，相關(guān)成果先后在《自然》和《科學(xué)》雜志發(fā)表。然而在國內(nèi)，深度強化學(xué)習(xí)目前的應(yīng)用領(lǐng)域還非常有限，騰訊公司的深度強化學(xué)習(xí)智能體王者榮耀“絕悟”于2019年在職業(yè)選手賽水平測試中獲勝，此外深度強化學(xué)習(xí)也被應(yīng)用于銀行風(fēng)險定價領(lǐng)域并初步展現(xiàn)出良好的應(yīng)用潛力[4]。基于此背景，本文創(chuàng)新探索利用深度強化學(xué)習(xí)技術(shù)實現(xiàn)醫(yī)?；鸱峙錄Q策問題，以期進(jìn)一步拓展強化學(xué)習(xí)的應(yīng)用范圍。

本文使用強化學(xué)習(xí)的優(yōu)點是可以通過數(shù)字孿生技術(shù)模擬出不同醫(yī)?；鸱峙淝闆r下各家醫(yī)院的經(jīng)營環(huán)境，根據(jù)當(dāng)前醫(yī)院的運營狀態(tài)，通過深度強化學(xué)習(xí)技術(shù)應(yīng)用，智能地給出在“醫(yī)院的經(jīng)營效益”和“病人就診的滿足率”達(dá)到最佳時的基金分配策略。

在算法環(huán)境的定義上，對于醫(yī)?；饛娀瘜W(xué)習(xí)問題，首先需要準(zhǔn)確地定義環(huán)境、狀態(tài)、動作及其獎勵。環(huán)境以某區(qū)域3家醫(yī)院為例，分別為專科醫(yī)院、普通醫(yī)院和綜合醫(yī)院，根據(jù)上文提到的仿真模擬邏輯，可以模擬出醫(yī)院端的環(huán)境;狀態(tài)為在模擬環(huán)境中，各醫(yī)院醫(yī)保資金的數(shù)量、各醫(yī)院的就診人數(shù);動作為各家醫(yī)院基金分配比例;獎勵為根據(jù)基金分配情況以及醫(yī)院的就診情況，計算得到的“醫(yī)院的經(jīng)營效益”和“病人就診的滿足率”函數(shù)。此問題屬于連續(xù)決策空間問題，可適應(yīng)于深度確定性策略梯度（DDPG）算法，給出“醫(yī)院的經(jīng)營效益”和“病人就診的滿足率”達(dá)到最佳時的基金分配情況。

在深度強化學(xué)習(xí)算法的選擇上，本文采用深度確定性策略梯度算法。在DDPG的原理中，最核心的部分是如何給出兩個網(wǎng)絡(luò)的損失函數(shù)，對于Actor網(wǎng)絡(luò)而言，希望Critic網(wǎng)絡(luò)對預(yù)測出來的動作評分越高越好，所以Actor網(wǎng)絡(luò)的損失函數(shù)為

loss1=-Q（s，a|θQ）（1）

a=μ（s|θμ）

對于Critic網(wǎng)絡(luò)的損失函數(shù)，給出如下定義

loss2={r+γQ′（s′，a′|θQ′）-Q（s，a|θQ）}2（2）

式（1）（2）中，Q（s，a|θQ）為在狀態(tài)s下采取動作a所得的回報;r為未來收益。

式（2）可簡單理解為在使用某動作下Critic網(wǎng)絡(luò)的評價會逐漸接近在此動作下的回報和未來收益，其中在計算未來收益時需要用到Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)的定期“軟更新”。

軟更新的目標(biāo)網(wǎng)絡(luò)參數(shù)更新方式為

θQtarnew=ηθπ+（1-η）θQtarold

θμtarnew=ηθπ+（1-η）θμtarold

式中，η為更新參數(shù)比例系數(shù)，通常為0.01或0.1。

通過不斷和環(huán)境進(jìn)行交互，優(yōu)化Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)的參數(shù)，最終能夠獲得一個可以適應(yīng)環(huán)境變化的強化學(xué)習(xí)模型。此時根據(jù)醫(yī)?；鸱峙鋯栴}的環(huán)境狀態(tài)，可以給出“醫(yī)院的經(jīng)營效益”和“病人就診的滿足率”達(dá)到最佳時的基金分配智能化策略。

在算法的表現(xiàn)上，以強化學(xué)習(xí)結(jié)果為例，見圖5。通過模擬3家醫(yī)院（其中醫(yī)院A為?？漆t(yī)院、醫(yī)院B為普通醫(yī)院、醫(yī)院C為重點醫(yī)院），不難看出，針對仿真模擬的標(biāo)的醫(yī)院在指定時間窗口內(nèi)的表現(xiàn)，與真實情況相比，DDPG算法可以較為準(zhǔn)確地給出最佳的醫(yī)保分配比例智能化策略。

本文所使用的強化學(xué)習(xí)算法有以下明顯優(yōu)勢：一是節(jié)省數(shù)據(jù)存儲和計算資源，不同于以往的大數(shù)據(jù)智能建設(shè)，本文相關(guān)技術(shù)無須消耗大量存儲資源來對海量明細(xì)數(shù)據(jù)進(jìn)行存儲，規(guī)避數(shù)據(jù)安全風(fēng)險，并使得數(shù)據(jù)傳輸?shù)炔僮魈幚碛行Ч?jié)省計算資源;二是節(jié)約時間，按照傳統(tǒng)方法至少需要2個月的時間才能得到較優(yōu)解，而通過強化智能可以快速給出合理的結(jié)果;三是智能可遷移，數(shù)據(jù)和智能可以分離，醫(yī)療機構(gòu)可按照自己對業(yè)務(wù)的理解來建立數(shù)字化仿真醫(yī)保醫(yī)療醫(yī)藥數(shù)據(jù)體系，而后直接通過強化學(xué)習(xí)系統(tǒng)來獲得基于各種仿真環(huán)境的最優(yōu)智能化決策策略。

3 結(jié)語

本文運用構(gòu)建在數(shù)字孿生仿真模擬基礎(chǔ)上的深度強化學(xué)習(xí)技術(shù)，探索解決由社會醫(yī)保存在道德風(fēng)險和逆向選擇所導(dǎo)致的醫(yī)?；疬\行風(fēng)險問題，探索實現(xiàn)該領(lǐng)域社會資源分配達(dá)到社會效用最優(yōu)的智能化解決方案。本文聚焦于醫(yī)保宏觀決策4S框架中“基本醫(yī)療保險基金的定額分配”應(yīng)用場景，通過構(gòu)建數(shù)字孿生仿真模擬環(huán)境，建立醫(yī)保基金分配強化學(xué)習(xí)模型，探索合理分配醫(yī)保基金的智能化道路，以期降低醫(yī)療保障宏觀決策中的基金運行風(fēng)險，為醫(yī)?；鸬暮侠磉\行進(jìn)行有益嘗試。

參考文獻(xiàn)

[1]徐偉偉，胡振產(chǎn).醫(yī)保支付制度改革的“浙江范式”[J].衛(wèi)生經(jīng)濟(jì)研究，2021，38（12）：3-10.

[2]ARROW K J.Uncertainty and the welfare economics of medical care[M].New York ：Academic Press， 1978.

[3]吳永飛，孫靜，王彥博，等.基于數(shù)字孿生視角的商業(yè)銀行風(fēng)險定價決策探析[J]. 財務(wù)管理研究，2022（3）：28-32.

[4]基于深度強化學(xué)習(xí)技術(shù)的商業(yè)銀行風(fēng)險定價決策支持系統(tǒng)研發(fā)及示范應(yīng)用課題組，石言，王彥博，等.基于深度強化學(xué)習(xí)的銀行風(fēng)險定價策略探析[J].中國金融電腦，2020（10）：33-37.

收稿日期：2021-10-14

作者簡介：

吳永飛，男，1965年生，博士，高級工程師，主要研究方向：金融科技。

王彥博，男，1981年生，博士，博士后，主要研究方向：大數(shù)據(jù)、人工智能、區(qū)塊鏈、量子金融科技。

解立偉，男，1982年生，本科，主要研究方向：面向產(chǎn)業(yè)數(shù)字孿生技術(shù)應(yīng)用。

楊璇（通信作者），女，1990年生，碩士，注冊金融分析師、金融風(fēng)險管理師，主要研究方向：金融科技。

劉曦子，男，1986年生，博士，研究方向：區(qū)塊鏈、大數(shù)據(jù)。

徐奇，男，1994年生，碩士，研究方向：數(shù)據(jù)挖掘與機器學(xué)習(xí)、量子金融科技。

宮雅菲，女，1995年生，碩士，研究方向：金融科技。

何姍，女，1990年生，本科，主要研究方向：金融信貸風(fēng)險控制。

巨春武，男，1991年生，碩士，主要研究方向：數(shù)據(jù)治理、圖像處理。