健康大數(shù)據(jù)智能采集與挖掘系統(tǒng)平臺(tái)的軟件架構(gòu)實(shí)踐

饒啟聰 許丹 蔣海洪

摘要：健康大數(shù)據(jù)智能采集與挖掘系統(tǒng)平臺(tái)即能滿足醫(yī)學(xué)院校實(shí)訓(xùn)室建設(shè)需求，又能滿足未來(lái)的社會(huì)化需求，為學(xué)生提供一個(gè)創(chuàng)新創(chuàng)業(yè)平臺(tái)?文中從平臺(tái)功能需求出發(fā)，利用先進(jìn)的大數(shù)據(jù)云計(jì)算技術(shù)，采用合理的層次理論將平臺(tái)分割成多層，本文主要介紹了該平臺(tái)架構(gòu)層次。

關(guān)鍵詞：大數(shù)據(jù)；云計(jì)算；分析挖掘；創(chuàng)新創(chuàng)業(yè)；實(shí)訓(xùn)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.3969/j.issn.l003-6970.2017.08.040

引言

指導(dǎo)我國(guó)未來(lái)大數(shù)據(jù)發(fā)展方向的綱領(lǐng)性文件《國(guó)務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知》（國(guó)發(fā)〔2015〕50號(hào)）的發(fā)布，在全社會(huì)引起廣泛影響。文件重點(diǎn)體現(xiàn)了在全球范圍內(nèi)，運(yùn)用大數(shù)據(jù)推動(dòng)經(jīng)濟(jì)發(fā)展、完善社會(huì)治理、提升政府服務(wù)和監(jiān)管能力正成為趨勢(shì)的核心思想。國(guó)務(wù)院辦公廳《關(guān)于促進(jìn)和規(guī)范健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展的指導(dǎo)意見(jiàn)》（國(guó)辦發(fā)〔2016〕47號(hào)）則將健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展納入國(guó)家大數(shù)據(jù)戰(zhàn)略布局，并從夯實(shí)應(yīng)用基礎(chǔ)、全面深化應(yīng)用、規(guī)范和推動(dòng)“互聯(lián)網(wǎng)+健康醫(yī)療”服務(wù)、加強(qiáng)保障體系建設(shè)等四個(gè)方面部署了14項(xiàng)重點(diǎn)任務(wù)和重大工程。

基于此，上海健康醫(yī)學(xué)院從2016年開(kāi)始籌建健康大數(shù)據(jù)智能采集與挖掘系統(tǒng)平臺(tái)（以下簡(jiǎn)稱平臺(tái)），以滿足健康數(shù)據(jù)采集、清洗、存儲(chǔ)、數(shù)據(jù)挖掘、數(shù)據(jù)展示的需要，并結(jié)合健康管理課程實(shí)驗(yàn)的要求，滿足應(yīng)用場(chǎng)景實(shí)驗(yàn)實(shí)訓(xùn)的目標(biāo)，以讓學(xué)生在實(shí)訓(xùn)室可以體驗(yàn)健康管理的完整流程、操作方式等，并進(jìn)行科學(xué)實(shí)驗(yàn)，同時(shí)結(jié)合我校健康管理課程教學(xué)和科研需要，充分利用前沿的大數(shù)據(jù)、云計(jì)算技術(shù)，滿足各種教學(xué)、科研場(chǎng)景的技術(shù)支撐需求。長(zhǎng)遠(yuǎn)來(lái)看，平臺(tái)還可以實(shí)現(xiàn)社會(huì)化，與市場(chǎng)各種健康管理系統(tǒng)實(shí)現(xiàn)很好的對(duì)接，并可以把平臺(tái)系統(tǒng)功能應(yīng)用走出圍墻，走向社會(huì)，結(jié)合“互聯(lián)網(wǎng)+”技術(shù)，把平臺(tái)的功能和作用發(fā)揮到更大的空間和領(lǐng)域，更多的應(yīng)用場(chǎng)景，能給健康管理概率的普及及應(yīng)用提供支撐，為學(xué)生的未來(lái)就業(yè)和創(chuàng)業(yè)提供創(chuàng)新創(chuàng)業(yè)平臺(tái)。

1 整體架構(gòu)

平臺(tái)由基礎(chǔ)存儲(chǔ)、能力服務(wù)、創(chuàng)新應(yīng)用四大層組成，分別實(shí)現(xiàn)平臺(tái)的數(shù)據(jù)采集、清洗、存儲(chǔ)、挖掘與展示以及功能擴(kuò)展，如下圖1所示：

2 基礎(chǔ)設(shè)施

2.1 健康大數(shù)據(jù)基礎(chǔ)設(shè)施云計(jì)算平臺(tái)

云計(jì)算平臺(tái)基于互聯(lián)網(wǎng)的計(jì)算方式，通過(guò)這種方式，共享的軟硬件資源和信息按照需求提供給計(jì)算機(jī)和其他設(shè)備。像使用“水”、“電”、“煤氣”一樣，將資源集中起來(lái)，按需供給，從而降低成本，提高利用率。云計(jì)算一般被定義為在網(wǎng)絡(luò)環(huán)境下計(jì)算資源的交付和使用方式，用戶通過(guò)網(wǎng)絡(luò)按需、易擴(kuò)展的方式獲得所需服務(wù)。它的目的是實(shí)現(xiàn)計(jì)算資源能夠像自來(lái)水和電一樣按需供應(yīng)，從這個(gè)意義上，云計(jì)算也可以稱為“自來(lái)計(jì)算”。云計(jì)算以新的計(jì)算資源交付和使用方式作為出發(fā)點(diǎn)，將從根本上顛覆傳統(tǒng)信息技術(shù)。

云計(jì)算的核心思想是將大量用網(wǎng)絡(luò)連接的IT資源統(tǒng)一管理和調(diào)度，構(gòu)成一個(gè)資源池向用戶按需服務(wù)。而實(shí)現(xiàn)將資源池化的核心技術(shù)，也就是虛擬化。

大家對(duì)云計(jì)算的特殊的需求和其本身的技術(shù)手段決定了云計(jì)算具有可自動(dòng)部署、透明、安全，可面向服務(wù)、可混合交付，按需角度，彈性擴(kuò)展等特點(diǎn)。健康大數(shù)據(jù)專有云建設(shè)，理由難過(guò)有限的硬件資源可提供至少100臺(tái)虛擬服務(wù)器，根據(jù)數(shù)據(jù)采集、清洗、存儲(chǔ)及挖掘分析、可視化展示以及擴(kuò)展等需要提供動(dòng)態(tài)分配和調(diào)用，初步形成“基礎(chǔ)設(shè)施即服務(wù)”的云服務(wù)模式。目前已將相關(guān)應(yīng)用遷移到健康大數(shù)據(jù)云平臺(tái)，提升了設(shè)備資源利用率，增強(qiáng)了系統(tǒng)的穩(wěn)定性和安全性，同時(shí)大大節(jié)約物理服務(wù)器和存儲(chǔ)服務(wù)器。

2.2 安全體系

大數(shù)據(jù)以淺顯易懂的概念、廣泛潛在的應(yīng)用需求和可展望的巨大經(jīng)濟(jì)效益，成為繼移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一熱點(diǎn)。但是，隨之而來(lái)的數(shù)據(jù)安全和隱私保護(hù)問(wèn)題給大數(shù)據(jù)發(fā)展帶來(lái)相應(yīng)的挑。

平臺(tái)通過(guò)梳理健康領(lǐng)域大數(shù)據(jù)安全需求，分析健康大數(shù)據(jù)環(huán)境下的安全特性，建成了雙活數(shù)據(jù)中心，統(tǒng)一配置了鏈路負(fù)載均衡、數(shù)據(jù)庫(kù)安全審計(jì)和下一臺(tái)防火墻、安全認(rèn)證網(wǎng)關(guān)等安全設(shè)備。

2.3 通訊基礎(chǔ)設(shè)施

通訊基礎(chǔ)設(shè)施包括骨干容量達(dá)百G的光纖有線網(wǎng)絡(luò)，以及覆蓋面廣的移動(dòng)4G網(wǎng)絡(luò)，用于健康據(jù)的快速有效傳輸。

3 數(shù)據(jù)處理及存儲(chǔ)

數(shù)據(jù)的采集、清洗融合和存儲(chǔ)是數(shù)據(jù)處理及存儲(chǔ)層要實(shí)現(xiàn)的主要功能目標(biāo)。

3.1 數(shù)據(jù)交換平臺(tái)

健康大數(shù)據(jù)共享交換平臺(tái)，可以打通校內(nèi)以及校內(nèi)與校外各健康數(shù)據(jù)來(lái)源系統(tǒng)之間的數(shù)據(jù)鏈路，打破行業(yè)組織間的數(shù)據(jù)壁壘，通過(guò)對(duì)數(shù)據(jù)的授權(quán)使用，從而實(shí)現(xiàn)數(shù)據(jù)之間的共享和交換，取代之前的紙張打印、光盤(pán)、U盤(pán)、硬盤(pán)拷貝等傳統(tǒng)的獲取數(shù)據(jù)的方式，可以顯著提升各系統(tǒng)間的信息化工作效率。健康大數(shù)據(jù)智能采集與挖掘系統(tǒng)平臺(tái)目前已建設(shè)完成的健康信息交換平臺(tái)和健康信息資源目錄體系，可以作為健康醫(yī)療大數(shù)據(jù)的一部分，融入到更大級(jí)別的健康醫(yī)療大數(shù)據(jù)共享交換能力建設(shè)中數(shù)據(jù)共享交換平臺(tái)可以按照項(xiàng)目實(shí)際建設(shè)需求，通過(guò)接口的適配，采集到各來(lái)源系統(tǒng)不同種類、不同格式的數(shù)據(jù)。采集后的數(shù)據(jù)保存在數(shù)據(jù)共享交換中心，通過(guò)集中的數(shù)據(jù)清洗整合，建成健康大數(shù)據(jù)基礎(chǔ)庫(kù)。通過(guò)一定的數(shù)據(jù)授權(quán)，各數(shù)據(jù)需求方可通過(guò)數(shù)據(jù)共享交換平臺(tái)訪問(wèn)健康大數(shù)據(jù)基礎(chǔ)庫(kù)內(nèi)容。同時(shí)，各系統(tǒng)之間，也可以獨(dú)立地對(duì)自身數(shù)據(jù)進(jìn)行授權(quán)，實(shí)現(xiàn)系統(tǒng)之間的數(shù)據(jù)共享傳輸。

3.2 數(shù)據(jù)清洗融合平臺(tái)

各個(gè)數(shù)據(jù)來(lái)源系統(tǒng)通過(guò)數(shù)據(jù)共享交換平臺(tái)共享出來(lái)的數(shù)據(jù)，是一些支離破碎的某一個(gè)支域的數(shù)據(jù)，互相沒(méi)有關(guān)聯(lián)起來(lái)，并且可能互相矛盾，還無(wú)法形成基礎(chǔ)數(shù)據(jù)庫(kù)和數(shù)據(jù)資產(chǎn)。數(shù)據(jù)清洗融合平臺(tái)承接數(shù)據(jù)共享交換平臺(tái)共享出來(lái)的數(shù)據(jù)，識(shí)別出這些數(shù)據(jù)所對(duì)應(yīng)的基礎(chǔ)實(shí)體，將關(guān)于同一個(gè)實(shí)體的數(shù)據(jù)關(guān)聯(lián)起來(lái)，并對(duì)同一實(shí)體的數(shù)據(jù)屬性進(jìn)行值比對(duì)和邏輯關(guān)系的比對(duì)，發(fā)現(xiàn)不同來(lái)源數(shù)據(jù)中互相印證（好數(shù)據(jù)）和互相矛盾（壞數(shù)據(jù)）的部分，通過(guò)數(shù)據(jù)管控流程將不一致的數(shù)據(jù)發(fā)給數(shù)據(jù)源單位修復(fù)，從而將同一個(gè)實(shí)體的不同來(lái)源互相重疊的可能不一致的數(shù)據(jù)屬性融合起來(lái)。建立基礎(chǔ)數(shù)據(jù)庫(kù)的模型，將融合后的數(shù)據(jù)裝入基礎(chǔ)數(shù)據(jù)庫(kù)。這個(gè)關(guān)聯(lián)、比對(duì)、清洗、融合、建模、裝人的過(guò)程是由數(shù)據(jù)清洗融合平臺(tái)完成的。其核心是數(shù)據(jù)的清洗和數(shù)據(jù)模型的重構(gòu)，將數(shù)據(jù)由面向業(yè)務(wù)的應(yīng)用數(shù)據(jù)模型重構(gòu)為面向數(shù)據(jù)資產(chǎn)的基礎(chǔ)數(shù)據(jù)模型。

4 能力服務(wù)

本層主要實(shí)現(xiàn)數(shù)據(jù)的價(jià)值，通過(guò)數(shù)據(jù)挖掘分析體現(xiàn)數(shù)據(jù)基本價(jià)值，并通過(guò)能力中間件平臺(tái)，給其它方應(yīng)用提供接口，更大程度釋放數(shù)據(jù)價(jià)值。

4.1 數(shù)據(jù)挖掘分析平臺(tái)

建設(shè)健康數(shù)據(jù)挖掘分析平臺(tái)，可以對(duì)平臺(tái)運(yùn)行過(guò)程中產(chǎn)生、積累的各類數(shù)據(jù)（基礎(chǔ)數(shù)據(jù)、行業(yè)數(shù)據(jù)、主題數(shù)據(jù)等）通過(guò)各種挖掘算法、分析工具來(lái)發(fā)現(xiàn)數(shù)據(jù)背后的價(jià)值，提供更加豐富和精確的統(tǒng)計(jì)分析結(jié)果，更好地服務(wù)健康管理和實(shí)訓(xùn)教學(xué)。

數(shù)據(jù)挖掘分析平臺(tái)可提供OLAP分析、分布式圖挖掘、多媒體智能分析、報(bào)表、搜索引擎等各種數(shù)據(jù)挖掘和分析工具，支持復(fù)雜多樣的應(yīng)用需求和靈活動(dòng)態(tài)的擴(kuò)展能力，為各種上層應(yīng)用提供完善的支撐。

4.2 能力中間件平臺(tái)

能力中間件平臺(tái)，可以將健康大數(shù)據(jù)平臺(tái)中的各種數(shù)據(jù)和能力，以服務(wù)的方式進(jìn)行封裝，在確保安全的前提下，給其它各種應(yīng)用開(kāi)放接口，使這些應(yīng)用能夠高效地獲取到健康大數(shù)據(jù)統(tǒng)一平臺(tái)的多種數(shù)據(jù)和能力，從而豐富和增強(qiáng)了各類應(yīng)用的功能，實(shí)現(xiàn)了能力互補(bǔ)。通過(guò)能力中間件平臺(tái)的建設(shè)，可以將健康大數(shù)據(jù)統(tǒng)一平臺(tái)和各種應(yīng)用打造成一個(gè)擴(kuò)展性強(qiáng)、可持續(xù)生長(zhǎng)的健康大數(shù)據(jù)生態(tài)圈系統(tǒng)。

能力中間件平臺(tái)包含業(yè)務(wù)協(xié)同和能力開(kāi)放。業(yè)務(wù)協(xié)同既可實(shí)現(xiàn)各種跨系統(tǒng)、跨機(jī)構(gòu)的復(fù)雜政務(wù)流程的無(wú)縫對(duì)接，又可實(shí)現(xiàn)各類政務(wù)應(yīng)用系統(tǒng)的快速實(shí)施和部署；能力開(kāi)放將數(shù)據(jù)交換、分析挖掘等各類能力進(jìn)行封裝開(kāi)放，為第三方應(yīng)用提供基礎(chǔ)能力支撐。

5 創(chuàng)新應(yīng)用

平臺(tái)的適用范圍不只局限于當(dāng)前實(shí)訓(xùn)室建設(shè)的需要，最終目標(biāo)是可以實(shí)現(xiàn)社會(huì)化，結(jié)合市場(chǎng)各種健康管理的系統(tǒng)應(yīng)用，可以很好的與之對(duì)接，并可以把系統(tǒng)功能應(yīng)用走出圍墻，走向社區(qū)，走向社會(huì)，結(jié)合“互聯(lián)網(wǎng)+”技術(shù)，把平臺(tái)的功能和作用發(fā)揮到更大的空間和領(lǐng)域，更多的應(yīng)用場(chǎng)景，能給健康管理概率的普及及應(yīng)用提供支撐，為學(xué)生的未來(lái)就業(yè)和創(chuàng)業(yè)提供創(chuàng)新創(chuàng)業(yè)平臺(tái)。

6 結(jié)束語(yǔ)

通過(guò)基于大數(shù)據(jù)云計(jì)算技術(shù)搭建一個(gè)性能卓越、技術(shù)先進(jìn)、安全可靠、易于擴(kuò)展，并具備創(chuàng)新應(yīng)用的健康大數(shù)據(jù)智能采集與挖掘系統(tǒng)平臺(tái)，即能滿足醫(yī)學(xué)院校實(shí)訓(xùn)室建設(shè)需求，服務(wù)于參與健康管理教學(xué)過(guò)程的教師、學(xué)生及醫(yī)務(wù)工作者，又能滿足未來(lái)的社會(huì)化需求，結(jié)合市場(chǎng)各種健康管理的系統(tǒng)應(yīng)用，并實(shí)現(xiàn)相互之間的完美對(duì)接，讓平臺(tái)系統(tǒng)功能應(yīng)用走出圍墻，走向社區(qū)、邁向社會(huì)，結(jié)合“互聯(lián)網(wǎng)+”技術(shù)，把平臺(tái)功能發(fā)揮到更大的空間和領(lǐng)域，給醫(yī)學(xué)院校甚至其它行業(yè)的學(xué)生提供一個(gè)創(chuàng)新創(chuàng)業(yè)平臺(tái)。

平臺(tái)的架構(gòu)實(shí)現(xiàn)借鑒了不少網(wǎng)上公開(kāi)的方案和開(kāi)源技術(shù)，由于時(shí)間有限、以及項(xiàng)目參與人員的學(xué)識(shí)局限性，不足之處在所難免，期待在實(shí)訓(xùn)教學(xué)過(guò)程中不斷完善與提局。