智能流調(diào)系統(tǒng)建設(shè)關(guān)鍵問題探討

萬源 羅 俊 章詩韻

武漢市疾病預(yù)防控制中心信息科，湖北武漢 430022

系統(tǒng)開發(fā)是一個復(fù)雜的軟件工程，充分的需求調(diào)研、穩(wěn)健的技術(shù)支撐、全面的安全防護(hù)、暢通的數(shù)據(jù)交換等都直接影響到系統(tǒng)的使用效果。武漢市疾病預(yù)防控制中心于2021 年開始建設(shè)武漢市智能流調(diào)系統(tǒng)，目前已完成系統(tǒng)的開發(fā)工作并進(jìn)入試運(yùn)行階段。為確保該系統(tǒng)能高效服務(wù)于現(xiàn)場流行病學(xué)調(diào)查工作，項目管理團(tuán)隊從開始的需求調(diào)研，到專家的可行性論證，再到軟件的程序開發(fā)，每一個環(huán)節(jié)都進(jìn)行充分的思考和論證。本研究擬結(jié)合實踐經(jīng)驗對系統(tǒng)建設(shè)的關(guān)鍵點(diǎn)進(jìn)行總結(jié)，以期為其他地區(qū)類似系統(tǒng)的開發(fā)設(shè)計提供參考。

1 需求設(shè)計

開展頭腦風(fēng)暴和滾動式磋商。在系統(tǒng)建設(shè)前期，開展多輪頭腦風(fēng)暴，充分了解流調(diào)工作的業(yè)務(wù)需求和應(yīng)用場景，集中研究后形成初步的需求規(guī)格說明書。基于需求規(guī)格說明書初稿開展?jié)L動式磋商，論證需求的合理性和可落地性，進(jìn)而形成最終的需求規(guī)格說明書，保證需求的嚴(yán)謹(jǐn)性。

優(yōu)先選用優(yōu)化管理級能力成熟度模型認(rèn)證的企業(yè)。這樣的企業(yè)會對項目管理過程進(jìn)行量化反饋，并學(xué)習(xí)新思想、新技術(shù)，促使管理過程不斷改進(jìn)，規(guī)范軟件開發(fā)流程，提高產(chǎn)品質(zhì)量，解決人員流動帶來的問題，降低開發(fā)成本。

采用敏捷開發(fā)項目管理機(jī)制。在項目建設(shè)管理過程中，采用敏捷開發(fā)的項目管理機(jī)制，促進(jìn)跨部門協(xié)作，加快需求的迭代開發(fā)，保證開發(fā)完成一部分功能就投入使用一部分，通過實戰(zhàn)快速檢驗設(shè)計的合理性。另外，在每個需求投入開發(fā)前，繪制產(chǎn)品原型，進(jìn)行流程推演，減少開發(fā)返工概率。

建立需求的可追蹤性。使用需求跟蹤矩陣跟蹤每個需求的狀態(tài)。在需求變更、設(shè)計變更、代碼變更、測試用例變更時，需求跟蹤矩陣對變更波及范圍及影響進(jìn)行分析避免遺漏某些連鎖變化。在軟件部署生命周期結(jié)束時，需求跟蹤矩陣從提供的單個文檔中捕獲流調(diào)系統(tǒng)需求方提出的所有需求，通過測試用例檢測需求是否實現(xiàn)，實現(xiàn)需求的可追溯性。

2 系統(tǒng)性能

2.1 軟件性能

（1）引入異步處理機(jī)制。通過建立消息隊列，將一部分非實時業(yè)務(wù)轉(zhuǎn)換成異步處理，減輕同步響應(yīng)和并發(fā)訪問帶來的性能瓶頸。（2）采用微服務(wù)架構(gòu)。利用開源的輕量級微服務(wù)的分布式服務(wù)技術(shù)框架，將后端業(yè)務(wù)進(jìn)行拆分，采用分布式部署。對運(yùn)行壓力大的模塊，多部署幾個節(jié)點(diǎn)，通過建立負(fù)載均衡機(jī)制，有針對性地提高系統(tǒng)運(yùn)算能力。對分布式系統(tǒng)建立熔斷機(jī)制，一旦有節(jié)點(diǎn)出現(xiàn)故障，能及時進(jìn)行自動切換，保證系統(tǒng)正常運(yùn)行。（3）利用邊緣計算。采用渲染方式將一些圖表、圖片和文檔的生成導(dǎo)出功能前置到客戶端完成，減少服務(wù)端計算壓力和帶寬傳輸壓力。（4）自動化測試覆蓋。使用自動化測試工具，提高測試用例覆蓋率，將大部分系統(tǒng)的功能用自動化測試進(jìn)行檢驗，嚴(yán)格控制需求變更帶來的系統(tǒng)風(fēng)險。

2.2 數(shù)據(jù)庫性能

（1）引入Redis 緩存中間件。通過建立Redis緩存，減少非實時數(shù)據(jù)查詢對服務(wù)器造成的壓力；同時為保證Redis 的高可用，引入哨兵機(jī)制等，防止Redis 的單點(diǎn)故障。（2）建立數(shù)據(jù)庫集群。提供負(fù)載均衡能力和自動優(yōu)化能力，采用高級別開源關(guān)系數(shù)據(jù)庫系統(tǒng)，支持云架構(gòu)部署的主流數(shù)據(jù)庫，利用數(shù)據(jù)讀寫分離、數(shù)據(jù)分區(qū)、并行查詢等技術(shù)提高系統(tǒng)性能和可伸縮性。

2.3 服務(wù)器性能

（1）資源動態(tài)優(yōu)化配置。采用虛擬化和云計算技術(shù)實現(xiàn)應(yīng)用系統(tǒng)資源的動態(tài)優(yōu)化和配置，以保證業(yè)務(wù)系統(tǒng)實時處理接收數(shù)據(jù)的高性能和穩(wěn)定性，將各個微服務(wù)模塊通過docker 打包在虛擬機(jī)之上，并能夠進(jìn)行動態(tài)資源分配和動態(tài)服務(wù)遷移；在關(guān)鍵子系統(tǒng)計算資源緊張時能夠自動從空閑的子系統(tǒng)分配的資源中調(diào)動中央處理器、內(nèi)存等資源，防止關(guān)鍵系統(tǒng)宕機(jī)或超負(fù)載運(yùn)行。（2）建立完善的日志管理系統(tǒng)。使用Raft 算法，實現(xiàn)日志的分布式管理；同時本項目中采用基于云計算的NoSQL 數(shù)據(jù)庫統(tǒng)一管理操作日志和系統(tǒng)監(jiān)控日志，防止數(shù)據(jù)庫負(fù)載過大引起超負(fù)載運(yùn)行等危險運(yùn)行狀態(tài)。（3）使用內(nèi)存數(shù)據(jù)緩存技術(shù)。將Session 數(shù)據(jù)存入內(nèi)存緩存，采用內(nèi)存緩存技術(shù)存儲業(yè)務(wù)規(guī)則和經(jīng)常使用的代碼數(shù)據(jù)，減少集群間Session 復(fù)制對資源的耗費(fèi)。

3 數(shù)據(jù)安全

3.1 訪問安全

一是系統(tǒng)部署在衛(wèi)生專網(wǎng)內(nèi)，通過網(wǎng)絡(luò)隔離保證安全性。二是采用最小化管理數(shù)據(jù)庫的用戶權(quán)限，禁止使用root 賬號遠(yuǎn)程登陸數(shù)據(jù)庫所在服務(wù)器。三是對用戶進(jìn)行權(quán)限管理，防止非授權(quán)用戶訪問和操作系統(tǒng)。系統(tǒng)主要通過以下兩種授權(quán)機(jī)制保障訪問安全：（1）訪問控制列表（access control lists，ACL）。通過應(yīng)用中間件的ACL 實現(xiàn)對特定數(shù)據(jù)庫連接池、消息連接池的訪問安全控制；（2）行級數(shù)據(jù)訪問權(quán)限。對于特別重要的數(shù)據(jù)，表級數(shù)據(jù)訪問控制權(quán)限若仍不能滿足需求，可建立行級訪問控制策略。為啟用行級訪問控制的每一張數(shù)據(jù)庫表增加行級訪問控制權(quán)限列，并為數(shù)據(jù)庫用戶授予數(shù)據(jù)庫表中相應(yīng)行的訪問權(quán)限及訪問類型，對用戶實施行級訪問控制。

3.2 存儲安全

（1）數(shù)據(jù)備份與恢復(fù)。通過硬件和軟件的方式定期對重要數(shù)據(jù)進(jìn)行備份，使用數(shù)據(jù)庫自帶的備份Server 完成對數(shù)據(jù)的備份，結(jié)合人工備份的方式，將歷史數(shù)據(jù)定期備份到其他磁盤或磁帶上。建立數(shù)據(jù)庫鏡像。同步數(shù)據(jù)庫鏡像會話時，數(shù)據(jù)庫鏡像提供了熱備用服務(wù)器，可支持在已提交事務(wù)不丟失數(shù)據(jù)的情況下進(jìn)行快速故障轉(zhuǎn)移。在一般的鏡像會話期間，如果生產(chǎn)服務(wù)器出現(xiàn)故障，客戶端應(yīng)用程序可通過重新連接到備用服務(wù)器來快速恢復(fù)數(shù)據(jù)。（2）關(guān)鍵數(shù)據(jù)加密。對系統(tǒng)中的關(guān)鍵數(shù)據(jù)進(jìn)行加密，包括所有用戶的登錄密碼、權(quán)限信息、重要的配置信息等，在系統(tǒng)開發(fā)過程中提供兩種方式對關(guān)鍵數(shù)據(jù)進(jìn)行加密：一是采用非對稱密鑰體系，使用數(shù)字證書對需要進(jìn)行保護(hù)的數(shù)據(jù)進(jìn)行算法加密；二是使用國產(chǎn)密碼進(jìn)行加密后保存。

3.3 傳輸安全

一是本項目中所有用戶認(rèn)證數(shù)據(jù)、簽名數(shù)據(jù)等關(guān)鍵隱私數(shù)據(jù)都是加密傳輸，以保證數(shù)據(jù)的安全可靠性。二是采用安全套接層（secure sockets layer，SSL）協(xié)議中相關(guān)算法進(jìn)行傳輸層的加密，在智能流調(diào)系統(tǒng)進(jìn)行縱向數(shù)據(jù)傳輸或通過網(wǎng)頁提交重要數(shù)據(jù)時，均通過Https 協(xié)議實現(xiàn)SSL 的數(shù)據(jù)加密傳輸，防止通過網(wǎng)絡(luò)傳輸?shù)闹匾畔⒒蛎舾行畔⒈唤孬@。三是對系統(tǒng)的管理數(shù)據(jù)、鑒別信息等重要業(yè)務(wù)數(shù)據(jù)在傳輸過程中進(jìn)行完整性檢測，并在檢測到完整性錯誤時采取必要的恢復(fù)措施。

3.4 訪問安全

智能流調(diào)系統(tǒng)建立統(tǒng)一的門戶認(rèn)證體系，對所有用戶進(jìn)行統(tǒng)一授權(quán)管理，見圖1。

圖1 統(tǒng)一門戶認(rèn)證體系

智能流調(diào)系統(tǒng)建立主認(rèn)證機(jī)制。主認(rèn)證包含用戶驗證和Token 驗證，先通過Token 驗證獲取資源，再將獲取的資源傳入另外一個接口參數(shù)中，進(jìn)一步調(diào)用用戶驗證接口，見圖2。

圖2 主認(rèn)證機(jī)制

4 互聯(lián)互通

4.1 數(shù)據(jù)交換系統(tǒng)

數(shù)據(jù)交換系統(tǒng)是在數(shù)據(jù)交換時使用的（extract–transform–load，ETL）數(shù)據(jù)交換工具，通過實時數(shù)據(jù)采集配置、ETL 參數(shù)配置和監(jiān)控節(jié)點(diǎn)配置實現(xiàn)數(shù)據(jù)資源管理、ETL 運(yùn)行管理等功能。通過建立數(shù)據(jù)交換系統(tǒng)，實現(xiàn)與疾控機(jī)構(gòu)內(nèi)部系統(tǒng)之間的數(shù)據(jù)互通及與本級衛(wèi)生行政部門、上下級疾控機(jī)構(gòu)的數(shù)據(jù)交換和信息共享，這種模式主要適用于庫表數(shù)據(jù)交換方式，見圖3。

圖3 數(shù)據(jù)交換系統(tǒng)

4.2 ESB 中間件技術(shù)

智能流調(diào)系統(tǒng)的數(shù)據(jù)交換除了庫表方式，還有外部接口方式。智能流調(diào)系統(tǒng)的外部接口需求主要包括與上級疾控機(jī)構(gòu)數(shù)據(jù)交換接口、與疫情系統(tǒng)數(shù)據(jù)交換接口、與衛(wèi)生行政部門指揮平臺數(shù)據(jù)交換接口。企業(yè)服務(wù)總線（enterprise service bus，ESB）是傳統(tǒng)中間件技術(shù)與可擴(kuò)展標(biāo)記語言（extensible markup language，XML）、Web 服務(wù)等技術(shù)結(jié)合的產(chǎn)物。ESB 能夠識別不同的應(yīng)用系統(tǒng)類型及數(shù)據(jù)接口，方便地與各類型的數(shù)據(jù)庫、文件、消息接口等建立集成機(jī)制，實現(xiàn)數(shù)據(jù)通信及數(shù)據(jù)交換。此外，它支持任意系統(tǒng)之間實現(xiàn)主動發(fā)送、請求/應(yīng)答、訂閱/發(fā)布交換模式，并通過路由控制實現(xiàn)分布式網(wǎng)絡(luò)中的信息交換。在流調(diào)系統(tǒng)的建設(shè)中存在大量與其他系統(tǒng)集成的需求，采用ESB 技術(shù)可快速完成數(shù)據(jù)互通，可實現(xiàn)不同業(yè)務(wù)系統(tǒng)的整合和應(yīng)用集成，見圖4。

圖4 ESB 總線圖例

4.3 業(yè)務(wù)中臺

智能流調(diào)系統(tǒng)是武漢市公衛(wèi)云項目整體規(guī)劃的子系統(tǒng)之一，其數(shù)據(jù)除了需要服務(wù)于自身的數(shù)據(jù)鏈路外，還需要交換至武漢市全民健康信息市區(qū)一體化平臺。公衛(wèi)云項目在建設(shè)中，對業(yè)務(wù)層進(jìn)行抽象，搭建業(yè)務(wù)中臺，實現(xiàn)業(yè)務(wù)邏輯的前后端分層，實現(xiàn)大部分組件的共建共用，提升代碼復(fù)用性和運(yùn)行效率。智能流調(diào)系統(tǒng)基于業(yè)務(wù)中臺實現(xiàn)與武漢市全民健康信息市區(qū)一體化平臺的交換，見圖5。

圖5 業(yè)務(wù)中臺內(nèi)容

4.4 統(tǒng)一數(shù)據(jù)管理

按照武漢市全民健康保障信息化工程要求的“統(tǒng)一數(shù)據(jù)采集、業(yè)務(wù)應(yīng)用共享”的建設(shè)思路，智能流調(diào)系統(tǒng)與衛(wèi)生行政部門、公安、民政等系統(tǒng)進(jìn)行數(shù)據(jù)互聯(lián)互通時，必須堅持一數(shù)一源，統(tǒng)一入口。在設(shè)計上，以人為核心的生產(chǎn)數(shù)據(jù)庫依托武漢市全民健康信息市區(qū)一體化平臺的統(tǒng)一采集交換平臺采集，從平臺的核酸檢測庫、陽性感染庫及全員人口數(shù)據(jù)庫中自動抽取相關(guān)業(yè)務(wù)協(xié)同信息，構(gòu)建電子疾病檔案管理庫，統(tǒng)一交換到各個業(yè)務(wù)系統(tǒng)，智能流調(diào)系統(tǒng)即為其中之一。

5 結(jié)語

智能流調(diào)系統(tǒng)的建設(shè)，其主要目的是為流調(diào)工作提能增效。圍繞這個目標(biāo)，對系統(tǒng)建設(shè)需求優(yōu)化完善，對系統(tǒng)性能升級優(yōu)化，對數(shù)據(jù)安全加固防護(hù)，對互聯(lián)互通進(jìn)行嘗試，都是非常有必要的。目前該系統(tǒng)處于試運(yùn)行階段，顯示系統(tǒng)功能覆蓋業(yè)務(wù)場景，系統(tǒng)自動獲取相關(guān)基礎(chǔ)數(shù)據(jù)，極大減少了現(xiàn)場詢問和錄入工作量，PAD 設(shè)備使用便捷。待系統(tǒng)正式上線推廣使用后，將對比系統(tǒng)使用前后流調(diào)工作的質(zhì)量和效率，科學(xué)評估系統(tǒng)的運(yùn)行效果。