基于機(jī)器學(xué)習(xí)算法的醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型研究

【作 者】馬玉春，秦航，殷小進(jìn)

1 江蘇省盱眙縣人民醫(yī)院 設(shè)備科，淮安市，211700

2 江蘇省南京市第一醫(yī)院 醫(yī)療設(shè)備處，南京市，210006

0 引言

大中型醫(yī)療機(jī)構(gòu)配置的醫(yī)療設(shè)備運(yùn)維管控主要涉及多維載體設(shè)備運(yùn)維狀態(tài)感知與挖掘融合、潛在的故障分析與主動預(yù)警、最優(yōu)耗費(fèi)比下的故障識別策略自主生成等，醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警作為醫(yī)療設(shè)備運(yùn)維管控機(jī)制完整生命周期中的重要決策依據(jù)[1]，在保證醫(yī)療設(shè)備系統(tǒng)長期安全穩(wěn)定運(yùn)行、醫(yī)療設(shè)備系統(tǒng)多維運(yùn)行狀態(tài)感知、醫(yī)療設(shè)備系統(tǒng)故障診斷與預(yù)警等多維度具有支撐作用。大型醫(yī)療設(shè)備系統(tǒng)運(yùn)維工作過程中多維狀態(tài)模式全壽命過程中產(chǎn)生的故障數(shù)據(jù)結(jié)構(gòu)涵蓋結(jié)構(gòu)化與非結(jié)構(gòu)化[2]，具有明顯的多源異構(gòu)屬性，利用多源異構(gòu)數(shù)據(jù)融合技術(shù)構(gòu)建海量數(shù)據(jù)共享池，為醫(yī)療設(shè)備領(lǐng)域的非結(jié)構(gòu)化數(shù)據(jù)挖掘提供案例實(shí)證支撐。構(gòu)建拓?fù)鋭討B(tài)變化場景下的醫(yī)療設(shè)備多源異構(gòu)故障智能感知與預(yù)警模型是智慧醫(yī)療設(shè)備系統(tǒng)的底層數(shù)據(jù)需求，在智慧醫(yī)療設(shè)備系統(tǒng)構(gòu)建的全局中發(fā)揮基礎(chǔ)作用，是保障智慧醫(yī)療設(shè)備系統(tǒng)全鏈條暢通的關(guān)鍵一環(huán)[3]。

1 模型體系架構(gòu)設(shè)計(jì)

醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型體系架構(gòu)涵蓋醫(yī)療設(shè)備多維運(yùn)維狀態(tài)感知層、非結(jié)構(gòu)化的醫(yī)療設(shè)備多源異構(gòu)故障數(shù)據(jù)樣本池構(gòu)建層、醫(yī)療設(shè)備故障智能感知與主動預(yù)警層、可視化人機(jī)交互層等，具體如圖1所示。其中，醫(yī)療設(shè)備多維運(yùn)維狀態(tài)感知層采用傳感器集群采集醫(yī)療設(shè)備運(yùn)維信息并進(jìn)行暫存與計(jì)算，為故障感知提供底層數(shù)據(jù)；非結(jié)構(gòu)化的醫(yī)療設(shè)備多源異構(gòu)故障數(shù)據(jù)樣本池構(gòu)建層針對底層數(shù)據(jù)進(jìn)行非結(jié)構(gòu)化處理[4]，形成可供機(jī)器學(xué)習(xí)應(yīng)用的故障數(shù)據(jù)樣本池；醫(yī)療設(shè)備故障智能感知與主動預(yù)警層引入機(jī)器學(xué)習(xí)多維感知醫(yī)療設(shè)備多源異構(gòu)故障數(shù)據(jù)訓(xùn)練樣本特征，迭代更新故障感知與主動預(yù)警之間的映射關(guān)系，構(gòu)建醫(yī)療設(shè)備故障主動預(yù)警機(jī)制，實(shí)現(xiàn)醫(yī)療設(shè)備容錯(cuò)性能自主進(jìn)化；可視化人機(jī)交互層通過可視化動態(tài)技術(shù)實(shí)現(xiàn)跨平臺下的友好人機(jī)交互。

圖1 醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型體系架構(gòu)邏輯示意圖Fig.1 Schematic diagram of perception and early warning model architecture logic

以醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型體系架構(gòu)為狀態(tài)流頂層設(shè)計(jì)指導(dǎo)，對基于機(jī)器學(xué)習(xí)算法的醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型控制流邏輯進(jìn)行設(shè)計(jì)，通過多傳感器集群獲取大數(shù)據(jù)量級的醫(yī)療設(shè)備正常運(yùn)維狀態(tài)數(shù)據(jù)，形成訓(xùn)練樣本數(shù)據(jù)集，將這些正常的樣本數(shù)據(jù)集輸入基于卷積自編碼器的深度殘差網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲取正常運(yùn)維狀態(tài)的數(shù)據(jù)分布特征。在推理階段，將待感知狀態(tài)輸入到網(wǎng)絡(luò)進(jìn)行重構(gòu)[5]，引入強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)測試樣本故障特征自主決策，迭代更新故障感知與主動預(yù)警之間的映射關(guān)系，構(gòu)建醫(yī)療設(shè)備故障主動預(yù)警機(jī)制，實(shí)現(xiàn)醫(yī)療設(shè)備運(yùn)維狀態(tài)容錯(cuò)性能自主進(jìn)化。硬件部分由安裝于醫(yī)療設(shè)備上的多傳感器集群采集醫(yī)療設(shè)備正常運(yùn)維狀態(tài)數(shù)據(jù)[6]，將正常運(yùn)維狀態(tài)數(shù)據(jù)特征輸入計(jì)算機(jī)儲存為樣本數(shù)據(jù)集和待檢測數(shù)據(jù)集，將樣本數(shù)據(jù)集通過嵌入式電腦進(jìn)行訓(xùn)練得到帶參數(shù)的模型，將待感知運(yùn)維狀態(tài)數(shù)據(jù)輸入到嵌入式電腦的模型中進(jìn)行推理，得到檢測結(jié)果，給出故障分類指令對醫(yī)療設(shè)備運(yùn)維狀態(tài)進(jìn)行主動預(yù)警，之后交給下一級執(zhí)行設(shè)備進(jìn)行處理。基于機(jī)器學(xué)習(xí)算法的醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型控制流邏輯示意圖，如圖2所示。

圖2 醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型控制流邏輯示意圖Fig.2 Schematic diagram of perception and early warning model control flow logic

2 模型實(shí)現(xiàn)及仿真驗(yàn)證

基于醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型控制流邏輯走向，分階段對基于機(jī)器學(xué)習(xí)算法的醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型核心子模型進(jìn)行建模設(shè)計(jì)，首先給出醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知子模型，然后給出醫(yī)療設(shè)備故障主動預(yù)警子模型，最后給出平臺典型環(huán)境下的仿真驗(yàn)證，全景還原多維參數(shù)約束下醫(yī)療設(shè)備真實(shí)工作狀態(tài)，給出基于機(jī)器學(xué)習(xí)算法的醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型定量化實(shí)現(xiàn)過程，為工程化效能分析提供模型支撐。

2.1 醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知子模型

策略的概率分布進(jìn)行采樣，而且在迭代過程中每一步都要對整個(gè)動作空間進(jìn)行積分[7]，在目標(biāo)Q網(wǎng)絡(luò)的基礎(chǔ)上采取了確定性策略，根據(jù)行為直接通過函數(shù)μ確定感知策略，公式中的μ一般理解成一個(gè)最優(yōu)行為策略at=μ(st│θμ)，則面向多源異構(gòu)數(shù)據(jù)分布式感知的最優(yōu)函數(shù)可以表征如下：

考慮到式（2）在大數(shù)據(jù)流環(huán)境下的不穩(wěn)定性，對式（2）進(jìn)行一階求導(dǎo)處理，則多重Q網(wǎng)絡(luò)結(jié)構(gòu)最優(yōu)生成機(jī)制可以表征為式（3），具有很強(qiáng)的兼容性[8]，可以通過自我學(xué)習(xí)實(shí)現(xiàn)醫(yī)療設(shè)備多源異構(gòu)故障數(shù)據(jù)訓(xùn)練樣本特征多維動態(tài)感知，可以較好實(shí)現(xiàn)大數(shù)據(jù)量級多源異構(gòu)采購約束因素自主感知與記憶。

利用面向大型設(shè)備狀態(tài)感知的Puhws-hgwd開源數(shù)據(jù)集構(gòu)建非結(jié)構(gòu)化的醫(yī)療設(shè)備多源異構(gòu)故障數(shù)據(jù)樣本池，引入機(jī)器學(xué)習(xí)多維感知醫(yī)療設(shè)備多源異構(gòu)故障數(shù)據(jù)訓(xùn)練樣本特征，實(shí)現(xiàn)醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知，實(shí)現(xiàn)醫(yī)療設(shè)備運(yùn)維狀態(tài)容錯(cuò)性能自主進(jìn)化。基于醫(yī)療設(shè)備狀態(tài)數(shù)據(jù)載體參數(shù)復(fù)雜多變且多源異構(gòu)的特點(diǎn)，使用策略網(wǎng)絡(luò)μ來充當(dāng)actor，使用價(jià)值網(wǎng)絡(luò)來擬合（s,a）函數(shù)，來充當(dāng)critic的角色，則表征拓?fù)鋭討B(tài)變化情境下的醫(yī)療設(shè)備多維運(yùn)維狀態(tài)自主感知策略μ的優(yōu)劣性能的評估函數(shù)如下：

基于式（1），給出多重Q網(wǎng)絡(luò)結(jié)構(gòu)確定性策略公式，因?yàn)槎嘀豎網(wǎng)絡(luò)結(jié)構(gòu)采取隨機(jī)性策略，所以要想獲取當(dāng)前動作action就需要對最優(yōu)

2.2 醫(yī)療設(shè)備故障主動預(yù)警子模型

根據(jù)醫(yī)療設(shè)備多維運(yùn)維參數(shù)復(fù)雜多變且多源異構(gòu)的特點(diǎn)，使用策略網(wǎng)絡(luò)μ來充當(dāng)actor，使用價(jià)值網(wǎng)絡(luò)來擬合(s,a)函數(shù)，來充當(dāng)critic的角色，所以將融合經(jīng)驗(yàn)緩沖因子的深度確定性策略梯度算法的預(yù)警目標(biāo)函數(shù)就可以定義為式（4）：

此時(shí)Q函數(shù)表示為在采用確定性策略μ下選擇動作的獎(jiǎng)勵(lì)期望值，在策略網(wǎng)絡(luò)與Q網(wǎng)絡(luò)耦合環(huán)節(jié)引入經(jīng)驗(yàn)緩沖因子，算法迭代收斂速度跨數(shù)量級提升，從經(jīng)驗(yàn)緩沖因子池中隨機(jī)采樣Mini-batch數(shù)據(jù)[9]，由于不同子策略將會在不同回合執(zhí)行，因此，針對每一個(gè)訓(xùn)練回合，可以得到一個(gè)記憶回放池，最后針對每一個(gè)訓(xùn)練回合的子策略參數(shù)求解融合目標(biāo)函數(shù)的梯度，自主識別故障信息框架并標(biāo)記，則主動預(yù)警觸發(fā)函數(shù)表征為式（5）：

基于式（5）的融合共享效應(yīng)，多重Q網(wǎng)絡(luò)中的參數(shù)θQ具有較好的自主進(jìn)化性能，借助Qμ(s,μ(s))利用μ策略在s狀態(tài)選取動作所獲取的回報(bào)期望值，自主構(gòu)建故障信息的特征框架，可以較好實(shí)現(xiàn)大數(shù)據(jù)量級多源異構(gòu)運(yùn)維數(shù)據(jù)故障信息自主主動預(yù)警。

2.3 模型典型環(huán)境下的仿真驗(yàn)證

為了多維度驗(yàn)證基于機(jī)器學(xué)習(xí)算法的醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型的實(shí)際工作效能，分析醫(yī)療設(shè)備多維運(yùn)維狀態(tài)自主感知機(jī)制、大數(shù)據(jù)量級多源異構(gòu)運(yùn)維數(shù)據(jù)故障信息自主主動預(yù)警的實(shí)際協(xié)同效能，為了具有一般性和客觀性，利用江蘇省盱眙縣人民醫(yī)院設(shè)備科2019年第二季度至2020年第二季度記錄的全院醫(yī)療設(shè)備運(yùn)維狀態(tài)數(shù)據(jù)文本作為初始訓(xùn)練數(shù)據(jù)，基于PyTorch開源框架，在Gym Torcs環(huán)境下對模型進(jìn)行了效能仿真驗(yàn)證，設(shè)定初始損失函數(shù)，從多源異構(gòu)運(yùn)維數(shù)據(jù)下的模型運(yùn)維狀態(tài)自主感知性能仿真圖、深度強(qiáng)化學(xué)習(xí)算法控制下的模型主動預(yù)警性能仿真圖等多維度對算法進(jìn)行了仿真驗(yàn)證，在Keras 2.2.2和Gym 0.10.8環(huán)境下進(jìn)行圖形化示意仿真，采用顯著差異標(biāo)識在仿真圖中給出對比曲線，最終仿真結(jié)果如圖3、4所示。

圖3 多源異構(gòu)運(yùn)維數(shù)據(jù)下的模型運(yùn)維狀態(tài)自主感知性能仿真圖Fig.3 Schematic diagram of model operation and maintenance status autonomous perception performance simulation

3 模型工程化應(yīng)用效能驗(yàn)證

為了實(shí)際驗(yàn)證文中所提醫(yī)療設(shè)備多維運(yùn)維狀態(tài)實(shí)時(shí)全景感知、多源異構(gòu)故障數(shù)據(jù)快速計(jì)算與融合、大數(shù)據(jù)量級多源異構(gòu)通信故障數(shù)據(jù)實(shí)時(shí)感知與主動預(yù)警等機(jī)制在一線運(yùn)維環(huán)境下的實(shí)際效能，選取醫(yī)療設(shè)備比較集中的江蘇省盱眙縣人民醫(yī)院醫(yī)技檢驗(yàn)中心為模型工程化應(yīng)用效能驗(yàn)證布置載體，忽略臨近醫(yī)療設(shè)備多維之間的蘊(yùn)含諧波干擾[10]，對模型進(jìn)行工程應(yīng)用分析，采集特定醫(yī)療設(shè)備前一季度狀態(tài)序列作為訓(xùn)練參數(shù)集，后一季度狀態(tài)序列作為測試訓(xùn)練集，利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)醫(yī)療設(shè)備故障智能感知，強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)測試樣本故障特征自主決策，迭代更新故障感知與主動預(yù)警之間的映射關(guān)系，構(gòu)建具有工程應(yīng)用意義的醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警機(jī)制，具體如圖5所示。

圖4 深度強(qiáng)化學(xué)習(xí)算法控制下的模型主動預(yù)警性能仿真圖Fig.4 Schematic diagram of simulation of model active warning performance under the control of deep reinforcement learning algorithm

圖5 模型工程化應(yīng)用效能驗(yàn)證布置邏輯示意圖Fig.5 Schematic diagram of engineering application effectiveness verification layout logic

為了進(jìn)一步從定性、定量兩個(gè)層面對比分析原型系統(tǒng)的工程化應(yīng)用效能，選取江蘇省盱眙縣人民醫(yī)院設(shè)備科為模型效能驗(yàn)證載體，以目前醫(yī)療機(jī)構(gòu)主流應(yīng)用的醫(yī)療設(shè)備運(yùn)維狀態(tài)綜合管控系統(tǒng)為對照系統(tǒng)，從設(shè)備狀態(tài)感知覆蓋率、數(shù)據(jù)處理策略有效率、設(shè)備故障發(fā)現(xiàn)周期效率、模型主動預(yù)警精確率、模型工程化應(yīng)用友好性、預(yù)警信息推送便捷性等層面對比了目前醫(yī)療機(jī)構(gòu)主流應(yīng)用的醫(yī)療設(shè)備運(yùn)維狀態(tài)綜合管控系統(tǒng)與本文基于機(jī)器學(xué)習(xí)算法的醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型的綜合性能，具體如表1所示。通過表1可以從定性和定量兩個(gè)層面分析得出，模型可以較好實(shí)現(xiàn)醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警，具有運(yùn)維狀態(tài)信息感知全面、醫(yī)療設(shè)備兼容性強(qiáng)、主動預(yù)警有效率高等方面具有明顯優(yōu)勢，初步具備實(shí)際推廣應(yīng)用的價(jià)值，對進(jìn)一步推動智慧醫(yī)療落地實(shí)施具有積極意義。

表1 自主感知及主動預(yù)警模型工程化應(yīng)用效能對比Tab.1 Comparison of engineering application efficiency of autonomous sensing and active early warning models

4 結(jié)論

為了著重改善目前醫(yī)療機(jī)構(gòu)主流應(yīng)用的醫(yī)療設(shè)備運(yùn)維狀態(tài)綜合管控系統(tǒng)存在的多源異構(gòu)故障數(shù)據(jù)動態(tài)調(diào)整實(shí)時(shí)感知失效、異構(gòu)醫(yī)療設(shè)備多維參數(shù)約束下容錯(cuò)性敏感、故障主動預(yù)警泛化能力與學(xué)習(xí)能力失衡、最優(yōu)狀態(tài)收斂速度隨時(shí)間呈遲滯變化、高壓環(huán)境下的系統(tǒng)性能下降嚴(yán)重等固有弊端，筆者提出了一種基于機(jī)器學(xué)習(xí)算法的醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知及主動預(yù)警模型。借助多傳感器數(shù)據(jù)融合下的醫(yī)療設(shè)備運(yùn)維狀態(tài)采集中心，構(gòu)建非結(jié)構(gòu)化的醫(yī)療設(shè)備多源異構(gòu)故障數(shù)據(jù)樣本池，引入深度學(xué)習(xí)多維感知醫(yī)療設(shè)備多源異構(gòu)故障數(shù)據(jù)訓(xùn)練樣本特征，實(shí)現(xiàn)醫(yī)療設(shè)備運(yùn)維狀態(tài)自主感知，引入強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)測試樣本故障特征自主決策，迭代更新故障感知與主動預(yù)警之間的映射關(guān)系，構(gòu)建醫(yī)療設(shè)備故障主動預(yù)警機(jī)制，實(shí)現(xiàn)醫(yī)療設(shè)備運(yùn)維狀態(tài)容錯(cuò)性能自主進(jìn)化，借助TensorFlow開源訓(xùn)練平臺，在Pycharm集成開發(fā)環(huán)境下進(jìn)行模型效能仿真驗(yàn)證。以江蘇省盱眙縣人民醫(yī)院設(shè)備科為模型效能驗(yàn)證載體，對模型進(jìn)行了工程應(yīng)用分析，一線運(yùn)維驗(yàn)證結(jié)果表明原型系統(tǒng)較好協(xié)調(diào)了醫(yī)療資源配置自主化、醫(yī)療機(jī)構(gòu)應(yīng)急處理智能化、醫(yī)療設(shè)備運(yùn)維狀態(tài)可視化之間的信息流通關(guān)系，可以較好實(shí)現(xiàn)大數(shù)據(jù)量級多源異構(gòu)故障數(shù)據(jù)實(shí)時(shí)感知與主動預(yù)警，具有故障信息感知全面、醫(yī)療設(shè)備兼容性強(qiáng)、主動預(yù)警有效率高等優(yōu)勢。