應(yīng)用驅(qū)動(dòng)的大數(shù)據(jù)融合平臺(tái)建設(shè)

孟祥飛，馮景華，趙洋，夏梓峻

國(guó)家超級(jí)計(jì)算天津中心，天津 300457

應(yīng)用驅(qū)動(dòng)的大數(shù)據(jù)融合平臺(tái)建設(shè)

孟祥飛，馮景華，趙洋，夏梓峻

國(guó)家超級(jí)計(jì)算天津中心，天津 300457

論述了大數(shù)據(jù)在信息社會(huì)發(fā)展中的核心地位和對(duì)信息技術(shù)創(chuàng)新的全方位驅(qū)動(dòng)；重點(diǎn)闡述了應(yīng)用驅(qū)動(dòng)的大數(shù)據(jù)和超級(jí)計(jì)算、云計(jì)算融合平臺(tái)層次結(jié)構(gòu)，在物理設(shè)施、系統(tǒng)軟件、管理體系幾個(gè)方面系統(tǒng)介紹了該融合平臺(tái)的體系架構(gòu)和實(shí)現(xiàn)；同時(shí)，也以生物基因、氣象與空氣污染為典型應(yīng)用具體介紹了平臺(tái)應(yīng)用實(shí)現(xiàn)；最后結(jié)合大數(shù)據(jù)發(fā)展和融合平臺(tái)建設(shè)，形成了一些如何推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的思考，為政府和產(chǎn)業(yè)領(lǐng)域等提供參考。

大數(shù)據(jù)融合平臺(tái)；應(yīng)用驅(qū)動(dòng)；超級(jí)計(jì)算；云計(jì)算

1 引言

近幾年，信息技術(shù)的發(fā)展正在不斷推動(dòng)全面和深入的社會(huì)變革，如沒(méi)有售貨員的超市、不用開燈的車間、無(wú)人駕駛汽車、全自動(dòng)化的物流基地等，傳統(tǒng)零售業(yè)、制造業(yè)、交通、物流都曾是工業(yè)社會(huì)勞動(dòng)密集、資源密集的支柱產(chǎn)業(yè)，而由于信息技術(shù)的驅(qū)動(dòng)，這些傳統(tǒng)的社會(huì)生產(chǎn)和社會(huì)關(guān)系都在進(jìn)行重塑，也就是世界正在從工業(yè)社會(huì)向一個(gè)真正新興的信息社會(huì)轉(zhuǎn)變。

信息社會(huì)重要的體現(xiàn)是它要以信息技術(shù)或信息化手段改造傳統(tǒng)產(chǎn)業(yè)，并解放傳統(tǒng)產(chǎn)業(yè)領(lǐng)域的人力資源，同時(shí)衍生出更多新興的產(chǎn)業(yè)（如互聯(lián)網(wǎng)、機(jī)器人、3D打印等）轉(zhuǎn)移人力資源，構(gòu)建信息驅(qū)動(dòng)的社會(huì)格局。信息社會(huì)的重要支撐涉及互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、人工智能、電子信息、云計(jì)算、大數(shù)據(jù)等信息技術(shù)的方方面面，而信息社會(huì)的核心體現(xiàn)在大數(shù)據(jù)。

2 對(duì)大數(shù)據(jù)的理解

大數(shù)據(jù)最初提出與互聯(lián)網(wǎng)密切相關(guān)，對(duì)應(yīng)提出了4V特征：海量的數(shù)據(jù)規(guī)模（volume）、多樣的數(shù)據(jù)類型（variety）、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系（velocity）和低價(jià)值密度（value）。但是，隨著大數(shù)據(jù)的不斷發(fā)展和融合，特別是大數(shù)據(jù)超出互聯(lián)網(wǎng)領(lǐng)域與更多產(chǎn)業(yè)、領(lǐng)域融合后，對(duì)大數(shù)據(jù)的理解也更深入和全面。從更廣泛的產(chǎn)業(yè)領(lǐng)域看，大數(shù)據(jù)最重要的特征是多源異構(gòu)特征明顯，如醫(yī)療衛(wèi)生、基因科學(xué)、智慧城市、能源等領(lǐng)域的數(shù)據(jù)各有特點(diǎn)，與互聯(lián)網(wǎng)大數(shù)據(jù)相比，不僅數(shù)據(jù)具有的特征、處理技術(shù)存在區(qū)別，同時(shí)每個(gè)行業(yè)都帶有本行業(yè)歷史發(fā)展、區(qū)域發(fā)展等各種特質(zhì)或約束，比如行業(yè)內(nèi)機(jī)構(gòu)個(gè)體間數(shù)據(jù)的封閉性、數(shù)據(jù)標(biāo)準(zhǔn)和質(zhì)量差異、數(shù)據(jù)安全及隱私等諸多方面的問(wèn)題，形成的技術(shù)和社會(huì)發(fā)展領(lǐng)域的挑戰(zhàn)要遠(yuǎn)高于互聯(lián)網(wǎng)領(lǐng)域。

因此，大數(shù)據(jù)的意義不僅體現(xiàn)在技術(shù)層面，還體現(xiàn)了社會(huì)網(wǎng)絡(luò)化、信息化、標(biāo)準(zhǔn)體系建設(shè)發(fā)展到高度完善水平，經(jīng)濟(jì)、社會(huì)、科研、國(guó)防等應(yīng)用需求創(chuàng)新進(jìn)入了新階段。

（1）應(yīng)用驅(qū)動(dòng)的數(shù)據(jù)價(jià)值再創(chuàng)造是大數(shù)據(jù)發(fā)展的目標(biāo)

大數(shù)據(jù)技術(shù)是為了解決數(shù)據(jù)管理困難、數(shù)據(jù)溝通不暢、數(shù)據(jù)價(jià)值密度低等實(shí)際問(wèn)題而出現(xiàn)的，但這些都源自于應(yīng)用本身的需求。如醫(yī)療行業(yè)，我國(guó)各大綜合醫(yī)院、?？漆t(yī)院或許都有某位就診患者的信息，但目前彼此信息相互獨(dú)立，形成信息孤島，無(wú)法進(jìn)行信息的高效共享，更談不上關(guān)聯(lián)分析，但在區(qū)域性疾病分析、個(gè)人健康關(guān)聯(lián)分析等實(shí)際應(yīng)用需求中，發(fā)展醫(yī)療大數(shù)據(jù)就應(yīng)解決信息獨(dú)立、信息孤島的問(wèn)題。

（2）數(shù)據(jù)獲取、標(biāo)準(zhǔn)體系構(gòu)建與科學(xué)管理是大數(shù)據(jù)發(fā)展的基礎(chǔ)

大數(shù)據(jù)的一個(gè)重要特點(diǎn)就是數(shù)據(jù)源多樣化，包括數(shù)據(jù)庫(kù)、文本、圖片、視頻、網(wǎng)頁(yè)等各類結(jié)構(gòu)化、非結(jié)構(gòu)化及半結(jié)構(gòu)化數(shù)據(jù)。因此，大數(shù)據(jù)處理的第一步是從數(shù)據(jù)源采集數(shù)據(jù)，并進(jìn)行預(yù)處理和集成操作，為后續(xù)流程提供統(tǒng)一的高質(zhì)量的數(shù)據(jù)集。如果單純將數(shù)據(jù)保存，不加以預(yù)處理和管理，硬盤最終將成為數(shù)據(jù)的墳?zāi)埂?/p>

（3）網(wǎng)絡(luò)設(shè)施能力、高端電子信息技術(shù)發(fā)展等是大數(shù)據(jù)發(fā)展的保障

大數(shù)據(jù)產(chǎn)業(yè)是社會(huì)信息化、網(wǎng)絡(luò)化和標(biāo)準(zhǔn)系統(tǒng)建設(shè)發(fā)展到一定階段的產(chǎn)物。社會(huì)高度信息化會(huì)產(chǎn)生海量多源異構(gòu)數(shù)據(jù)，同時(shí)產(chǎn)生更多的數(shù)據(jù)分析需求；高度網(wǎng)絡(luò)化使得數(shù)據(jù)獲取和訪問(wèn)變得更為便捷，為數(shù)據(jù)的自由流動(dòng)提供了基礎(chǔ)；標(biāo)準(zhǔn)系統(tǒng)的建設(shè)使得各類數(shù)據(jù)的存儲(chǔ)更為高效，更利于數(shù)據(jù)整合和分析。放眼全球，之所以美國(guó)率先提出大數(shù)據(jù)研究和發(fā)展計(jì)劃，并在大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展勢(shì)頭迅猛，主要是由于其已建立了較為完善的網(wǎng)絡(luò)基礎(chǔ)設(shè)施，已擁有領(lǐng)先的高端信息技術(shù)。

應(yīng)用驅(qū)動(dòng)的數(shù)據(jù)價(jià)值再創(chuàng)造，更體現(xiàn)出大數(shù)據(jù)發(fā)展對(duì)信息技術(shù)和信息社會(huì)的驅(qū)動(dòng)，具體體現(xiàn)在以下幾點(diǎn)：

● 數(shù)據(jù)要“從無(wú)到有”，也就是要解決數(shù)字化和信息化問(wèn)題，這將驅(qū)動(dòng)物聯(lián)網(wǎng)、模式識(shí)別、人工智能等領(lǐng)域的興起；

● 數(shù)據(jù)要“從散到融”，也就是數(shù)據(jù)要流動(dòng)和融合，這將驅(qū)動(dòng)互聯(lián)通信、信息安全等領(lǐng)域的發(fā)展；

● 數(shù)據(jù)要在復(fù)雜的背景下，高效處理有價(jià)值的信息，這又驅(qū)動(dòng)了超級(jí)計(jì)算、云計(jì)算、機(jī)器學(xué)習(xí)等領(lǐng)域的創(chuàng)新。

近年來(lái)，隨著互聯(lián)網(wǎng)、云計(jì)算與物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)規(guī)模迅速增長(zhǎng)，已成為全球創(chuàng)新發(fā)展的重要驅(qū)動(dòng)。國(guó)家、企業(yè)及相關(guān)行業(yè)機(jī)構(gòu)都在向大數(shù)據(jù)看齊，搶占數(shù)據(jù)創(chuàng)新的先機(jī)，努力成為數(shù)據(jù)創(chuàng)新的最大獲益者。

3 大數(shù)據(jù)平臺(tái)建設(shè)新需求

自“十二五”以來(lái)，我國(guó)就著力推動(dòng)大數(shù)據(jù)發(fā)展，進(jìn)入“十三五”以后更是將大數(shù)據(jù)提升到國(guó)家發(fā)展戰(zhàn)略，推動(dòng)大數(shù)據(jù)快速發(fā)展和國(guó)家戰(zhàn)略實(shí)施，成為國(guó)家在新的社會(huì)、技術(shù)發(fā)展階段推動(dòng)國(guó)家創(chuàng)新發(fā)展的重要手段，促使大數(shù)據(jù)應(yīng)用不斷泛化。由互聯(lián)網(wǎng)領(lǐng)域發(fā)展來(lái)的大數(shù)據(jù)平臺(tái)由于業(yè)務(wù)、技術(shù)和企業(yè)自身利益局限，無(wú)法滿足醫(yī)療健康、油氣能源、生物基因、智慧制造等這些關(guān)系國(guó)計(jì)民生的重要行業(yè)和傳統(tǒng)支柱產(chǎn)業(yè)領(lǐng)域的大數(shù)據(jù)應(yīng)用需求，重點(diǎn)體現(xiàn)在如下幾個(gè)方面。

（1）行業(yè)系統(tǒng)性需求

例如，工業(yè)領(lǐng)域的大數(shù)據(jù)應(yīng)用涉及工業(yè)設(shè)備運(yùn)行監(jiān)控和管理、產(chǎn)品研發(fā)設(shè)計(jì)與仿真、供應(yīng)鏈管理和優(yōu)化、市場(chǎng)輿情等綜合數(shù)據(jù)的獲取、整合和系統(tǒng)性分析；在生物基因領(lǐng)域，各基因庫(kù)數(shù)據(jù)和測(cè)序數(shù)據(jù)類型復(fù)雜多樣的特點(diǎn)、大規(guī)模群體數(shù)據(jù)分析、檢測(cè)信息服務(wù)等對(duì)平臺(tái)提出了存儲(chǔ)管理、高性能處理、高業(yè)務(wù)并發(fā)等不同層面的挑戰(zhàn)；氣象和空氣污染等領(lǐng)域，對(duì)初始多樣性數(shù)據(jù)的獲取和管理、高精度長(zhǎng)效數(shù)值預(yù)報(bào)、預(yù)報(bào)產(chǎn)品的處理和服務(wù)同樣要求平臺(tái)具備系統(tǒng)性的大數(shù)據(jù)支撐能力?；ヂ?lián)網(wǎng)企業(yè)的大數(shù)據(jù)平臺(tái)無(wú)法滿足這些應(yīng)用場(chǎng)景的需求，構(gòu)建面向產(chǎn)業(yè)需求的大數(shù)據(jù)綜合平臺(tái)是應(yīng)用的必然驅(qū)動(dòng)。

（2）大數(shù)據(jù)長(zhǎng)時(shí)效管理需求

對(duì)于大數(shù)據(jù)，除了互聯(lián)網(wǎng)領(lǐng)域的電子商務(wù)、社交網(wǎng)絡(luò)、輿情等能夠快速積累大規(guī)模數(shù)據(jù)并應(yīng)用外，其他很多的行業(yè)領(lǐng)域，如教育、醫(yī)療健康、科學(xué)研究等，需要一個(gè)長(zhǎng)期數(shù)據(jù)積累和標(biāo)準(zhǔn)化管理的過(guò)程，醫(yī)療健康對(duì)大病慢病的數(shù)據(jù)積累甚至要以10年為單元。這些特點(diǎn)要求大數(shù)據(jù)平臺(tái)要有良好的擴(kuò)展性和穩(wěn)定性，并形成第三方公信力。

4 大數(shù)據(jù)和超級(jí)計(jì)算、云計(jì)算融合平臺(tái)

4.1 大數(shù)據(jù)融合平臺(tái)層次結(jié)構(gòu)

大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)相比，在規(guī)模性、處理方式、理論方法等方面存在諸多不同的特點(diǎn)，如多源異構(gòu)、存儲(chǔ)分散、動(dòng)態(tài)變化、先有數(shù)據(jù)后有模式等，這些特點(diǎn)決定了在大數(shù)據(jù)時(shí)代進(jìn)行數(shù)據(jù)的科學(xué)管理和處理時(shí)面臨的問(wèn)題和挑戰(zhàn)。所以，大數(shù)據(jù)融合平臺(tái)的設(shè)計(jì)和構(gòu)建，不僅要能夠應(yīng)對(duì)大數(shù)據(jù)應(yīng)用的現(xiàn)實(shí)需求，還要能夠適應(yīng)未來(lái)技術(shù)發(fā)展和應(yīng)用需求的動(dòng)態(tài)變化。這里，重點(diǎn)針對(duì)當(dāng)前大數(shù)據(jù)對(duì)信息技術(shù)形成的數(shù)據(jù)海量存儲(chǔ)、數(shù)據(jù)高效處理、數(shù)據(jù)服務(wù)多樣性及安全等多方面的挑戰(zhàn)，提出基于超級(jí)計(jì)算和云計(jì)算的大數(shù)據(jù)融合平臺(tái)層次結(jié)構(gòu)，如圖1所示。這個(gè)平臺(tái)結(jié)構(gòu)也體現(xiàn)其構(gòu)建的整體邏輯，就是大數(shù)據(jù)是應(yīng)用驅(qū)動(dòng)，超級(jí)計(jì)算和云計(jì)算是能力與技術(shù)保障，從而可有效為行業(yè)和領(lǐng)域大數(shù)據(jù)應(yīng)用提供服務(wù)支撐。

在該結(jié)構(gòu)下，基于超級(jí)計(jì)算和云計(jì)算相關(guān)軟硬件設(shè)施，配合大數(shù)據(jù)融合平臺(tái)關(guān)鍵模塊，實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)共享和數(shù)據(jù)安全，最終實(shí)現(xiàn)了應(yīng)用驅(qū)動(dòng)的大數(shù)據(jù)融合處理服務(wù)能力?；谠朴?jì)算虛擬化技術(shù)、集成技術(shù)支撐大數(shù)據(jù)采集獲取、服務(wù)等需求；基于超級(jí)計(jì)算大規(guī)模并行計(jì)算能力支撐大數(shù)據(jù)分析處理需求；基于海量層次式動(dòng)態(tài)可擴(kuò)展存儲(chǔ)技術(shù)支撐大數(shù)據(jù)存儲(chǔ)需求。

圖1 大數(shù)據(jù)融合平臺(tái)層次結(jié)構(gòu)

4.2 融合平臺(tái)系統(tǒng)整體架構(gòu)

應(yīng)用驅(qū)動(dòng)的大數(shù)據(jù)與超級(jí)計(jì)算、云計(jì)算融合平臺(tái)，從整體架構(gòu)上主要涉及以下3個(gè)層面。

● 物理設(shè)施層：支撐大數(shù)據(jù)獲取、流動(dòng)、處理、備份等的網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)和災(zāi)備物理設(shè)施。

● 系統(tǒng)軟件層：完成大數(shù)據(jù)整合、處理、展示、安全的系統(tǒng)軟件環(huán)境，進(jìn)行大數(shù)據(jù)的一體化處理。

● 平臺(tái)管理層：對(duì)大數(shù)據(jù)融合平臺(tái)的監(jiān)控、調(diào)度、安全管理等。

大數(shù)據(jù)融合平臺(tái)系統(tǒng)環(huán)境總體框架如圖2所示。

4.2.1 融合平臺(tái)物理設(shè)施層的關(guān)鍵技術(shù)和建設(shè)內(nèi)容

（1）高度穩(wěn)定的網(wǎng)絡(luò)設(shè)施

網(wǎng)絡(luò)設(shè)施用于支撐多個(gè)數(shù)據(jù)系統(tǒng)接收發(fā)自客戶端（Web、應(yīng)用或者傳感器形式、設(shè)備等）的數(shù)據(jù)，用戶可通過(guò)這些數(shù)據(jù)系統(tǒng)進(jìn)行簡(jiǎn)單的查詢和處理工作。平臺(tái)要求建設(shè)和配備高帶寬公共互聯(lián)網(wǎng)絡(luò)和多網(wǎng)冗余，以滿足大數(shù)據(jù)用戶和企業(yè)對(duì)數(shù)據(jù)傳輸速度和效率的要求；對(duì)于數(shù)據(jù)傳輸要求非常高的大數(shù)據(jù)應(yīng)用企業(yè)和用戶，建設(shè)點(diǎn)對(duì)點(diǎn)的高帶寬專網(wǎng)，以提升網(wǎng)絡(luò)帶寬。通過(guò)互聯(lián)網(wǎng)、專網(wǎng)建設(shè)構(gòu)建和完善高效的服務(wù)網(wǎng)絡(luò)體系，保障用戶數(shù)據(jù)傳輸?shù)母咝Ш蛯?shí)時(shí)性。

（2）高效多態(tài)的計(jì)算處理設(shè)施

應(yīng)用驅(qū)動(dòng)的大數(shù)據(jù)計(jì)算處理需求是多樣性顯著、時(shí)效性高。因此，大數(shù)據(jù)融合平臺(tái)中為了支撐這種復(fù)雜性處理需求，需要具備超級(jí)計(jì)算與云計(jì)算融合的計(jì)算處理設(shè)施，實(shí)現(xiàn)對(duì)事務(wù)并發(fā)、數(shù)據(jù)并發(fā)高效處理的系統(tǒng)需求。底層的計(jì)算能力要具有分布式計(jì)算、異構(gòu)高性能計(jì)算、內(nèi)存計(jì)算等多態(tài)計(jì)算設(shè)施。

（3）大規(guī)模動(dòng)態(tài)可擴(kuò)展存儲(chǔ)設(shè)施

大規(guī)模動(dòng)態(tài)可擴(kuò)展存儲(chǔ)設(shè)施重點(diǎn)針對(duì)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)等不同來(lái)源和格式的數(shù)據(jù)對(duì)底層存儲(chǔ)系統(tǒng)的要求不同，數(shù)據(jù)處理的時(shí)效性要求不同，應(yīng)用處理需求與底層存儲(chǔ)系統(tǒng)要求不同，按需而建（如圖3所示），形成可支撐大量大數(shù)據(jù)應(yīng)用的存儲(chǔ)和處理的解決方案，解決大數(shù)據(jù)分級(jí)存儲(chǔ)構(gòu)建、分級(jí)存儲(chǔ)性能優(yōu)化、數(shù)據(jù)共享、數(shù)據(jù)遷移和去重等關(guān)鍵問(wèn)題。

存儲(chǔ)設(shè)施建設(shè)的重點(diǎn)是分級(jí)存儲(chǔ)系統(tǒng)，其主要由3層組成：高速內(nèi)存存儲(chǔ)層、在線存儲(chǔ)層、近線存儲(chǔ)層。高速內(nèi)存存儲(chǔ)層可以極大地滿足數(shù)據(jù)分析對(duì)性能和處理速度的需求，滿足實(shí)時(shí)性大數(shù)據(jù)處理應(yīng)用的需求；在線存儲(chǔ)層提供較大容量的同時(shí)，滿足多數(shù)大數(shù)據(jù)應(yīng)用的處理性能需求，主要用于滿足在線處理業(yè)務(wù)的存儲(chǔ)需求；近線存儲(chǔ)層主要滿足數(shù)據(jù)的規(guī)模性需求，可以擴(kuò)展至EB以上，滿足在線存儲(chǔ)之外的累積數(shù)據(jù)的大規(guī)模存儲(chǔ)需求，同時(shí)支撐數(shù)據(jù)的跨平臺(tái)交換。

圖2 應(yīng)用驅(qū)動(dòng)的大數(shù)據(jù)融合平臺(tái)系統(tǒng)環(huán)境總體框架

同時(shí)，在不同應(yīng)用環(huán)境下，根據(jù)用戶數(shù)據(jù)的屬性不同，將數(shù)據(jù)分成3類進(jìn)行虛擬化存儲(chǔ)：塊存儲(chǔ)、文件化存儲(chǔ)和對(duì)象存儲(chǔ)。

當(dāng)為用戶提供的虛擬機(jī)的硬盤空間不足時(shí)，通過(guò)傳統(tǒng)方式（如本地存儲(chǔ)、共享存儲(chǔ)）提供硬盤空間，將會(huì)出現(xiàn)不易管理，I/O瓶頸等一系列問(wèn)題，需要采用塊存儲(chǔ)解決。

圖3 按需而建的存儲(chǔ)設(shè)施環(huán)境

在為用戶提供的虛擬化環(huán)境中，為了避免運(yùn)行虛擬機(jī)對(duì)計(jì)算節(jié)點(diǎn)造成I/O、存儲(chǔ)壓力，提高虛擬機(jī)的可靠性，采用文件化存儲(chǔ)（即分布式文件系統(tǒng)）。

對(duì)象存儲(chǔ)（即云存儲(chǔ)）的存儲(chǔ)容量可達(dá)PB級(jí)，是一個(gè)適合存儲(chǔ)靜態(tài)數(shù)據(jù)的永久性存儲(chǔ)系統(tǒng)，適合存儲(chǔ)的數(shù)據(jù)包括：虛擬機(jī)映像、郵件、備份文檔等。由于沒(méi)有“單點(diǎn)”或者主控節(jié)點(diǎn)，云存儲(chǔ)平臺(tái)具有更強(qiáng)的擴(kuò)展性、冗余和持久性。

（4）數(shù)據(jù)災(zāi)備設(shè)施

重點(diǎn)建設(shè)成本地運(yùn)行與同步備份中心、異地災(zāi)備中心的“兩地三中心”數(shù)據(jù)安全災(zāi)備環(huán)境，實(shí)現(xiàn)數(shù)據(jù)運(yùn)行中心和備份中心及本地?cái)?shù)據(jù)多副本平臺(tái)，同時(shí)建立異地災(zāi)備中心和數(shù)據(jù)同步平臺(tái)，保障大數(shù)據(jù)融合平臺(tái)的有效和可靠運(yùn)行。

4.2.2 平臺(tái)系統(tǒng)軟件層重點(diǎn)環(huán)節(jié)環(huán)境構(gòu)建

（1）數(shù)據(jù)標(biāo)準(zhǔn)體系與數(shù)據(jù)整合

在應(yīng)用驅(qū)動(dòng)的大數(shù)據(jù)融合平臺(tái)上，數(shù)據(jù)整合和數(shù)據(jù)標(biāo)準(zhǔn)體系的建設(shè)緊密相關(guān)。首先，數(shù)據(jù)表示標(biāo)準(zhǔn)包括數(shù)據(jù)編碼規(guī)范、元數(shù)據(jù)規(guī)范、非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一描述規(guī)范、大數(shù)據(jù)集統(tǒng)一描述規(guī)范等，同時(shí)這些表示又需要與各行業(yè)領(lǐng)域的行業(yè)標(biāo)準(zhǔn)對(duì)應(yīng)，所以數(shù)據(jù)表示標(biāo)準(zhǔn)既有底層相對(duì)統(tǒng)一的數(shù)據(jù)規(guī)范，又有上層行業(yè)的個(gè)性需求，充分考慮才是解決多源異構(gòu)數(shù)據(jù)融合的核心。其次，數(shù)據(jù)存儲(chǔ)標(biāo)準(zhǔn)包括非關(guān)系型數(shù)據(jù)庫(kù)規(guī)范、非結(jié)構(gòu)數(shù)據(jù)管理系統(tǒng)規(guī)范等新型存儲(chǔ)系統(tǒng)相關(guān)規(guī)范，對(duì)應(yīng)的具體研究?jī)?nèi)容是分布式文件系統(tǒng)、非關(guān)系型數(shù)據(jù)庫(kù)等技術(shù)實(shí)現(xiàn)，重點(diǎn)是實(shí)現(xiàn)數(shù)據(jù)一致性、數(shù)據(jù)放置、故障檢測(cè)、可擴(kuò)展性等方面。

融合平臺(tái)應(yīng)該構(gòu)建基于數(shù)據(jù)總線的數(shù)據(jù)整合系統(tǒng)，如圖4所示，主要包括數(shù)據(jù)總線和ETL（extract、transform、load）封裝件，其中每個(gè)數(shù)據(jù)源對(duì)應(yīng)一個(gè)ETL封裝件，中間件通過(guò)ETL封裝件和各個(gè)數(shù)據(jù)源交互。用戶在全局?jǐn)?shù)據(jù)模式的基礎(chǔ)上向中間件發(fā)出查詢請(qǐng)求。數(shù)據(jù)總線處理用戶請(qǐng)求，將其轉(zhuǎn)換成各個(gè)數(shù)據(jù)源能夠處理的子查詢請(qǐng)求，并對(duì)此過(guò)程進(jìn)行并行優(yōu)化，以提高查詢處理的并發(fā)性，減少響應(yīng)時(shí)間。封裝件對(duì)特定數(shù)據(jù)源進(jìn)行了封裝，將其數(shù)據(jù)模型轉(zhuǎn)換為系統(tǒng)采用的通用模型，并提供一致的訪問(wèn)機(jī)制。

（2）面向特定應(yīng)用的大數(shù)據(jù)分析處理

由于大數(shù)據(jù)的大數(shù)據(jù)量、分布存儲(chǔ)、并行處理等特點(diǎn)以及數(shù)據(jù)查詢、處理作業(yè)的多樣性，使得傳統(tǒng)的性能模型不適合于數(shù)據(jù)查詢與處理平臺(tái)，為有效估算作業(yè)成本，提高作業(yè)查詢、調(diào)度效率，縮短作業(yè)執(zhí)行時(shí)間，可重點(diǎn)構(gòu)建如下幾個(gè)方面的能力。

● 大數(shù)據(jù)處理的性能模型：針對(duì)大數(shù)據(jù)處理，建立數(shù)據(jù)查詢和處理作業(yè)的性能模型，準(zhǔn)確預(yù)測(cè)作業(yè)的執(zhí)行成本和作業(yè)的執(zhí)行時(shí)間，為作業(yè)參數(shù)優(yōu)化、作業(yè)時(shí)間預(yù)測(cè)、基于成本的調(diào)度等提供參考依據(jù)。

● 基于成本的作業(yè)調(diào)度方法和優(yōu)化技術(shù)：針對(duì)數(shù)據(jù)查詢?nèi)蝿?wù)到數(shù)據(jù)處理作業(yè)的一對(duì)多映射問(wèn)題，研究高級(jí)數(shù)據(jù)查詢語(yǔ)言與作業(yè)的映射規(guī)則，研究面向大數(shù)據(jù)的查詢優(yōu)化技術(shù)；針對(duì)大數(shù)據(jù)查詢、處理作業(yè)的調(diào)度問(wèn)題，研究一種基于成本的作業(yè)調(diào)度策略。

● 高性能大數(shù)據(jù)處理原型系統(tǒng)及數(shù)據(jù)處理集成工具集：整合目前已有的大數(shù)據(jù)分析方法，利用現(xiàn)有的Spark、Hadoop等工具，構(gòu)建一個(gè)處理工具集，并提供一個(gè)簡(jiǎn)單、直觀的用戶接口，避免繁瑣的算法參數(shù)、數(shù)據(jù)類型、數(shù)據(jù)類別等因素影響，降低數(shù)據(jù)處理使用門檻，為高效能環(huán)境的大數(shù)據(jù)應(yīng)用數(shù)據(jù)分析平臺(tái)提供支持。

（3）大數(shù)據(jù)可視化技術(shù)

主要關(guān)注基于平臺(tái)的數(shù)據(jù)處理流程可視化和高維數(shù)據(jù)結(jié)果展示可視化兩個(gè)方面。數(shù)據(jù)處理流程可視化指數(shù)據(jù)解析、查詢、統(tǒng)計(jì)、挖掘與預(yù)測(cè)等流程的可視化處理，通過(guò)全可視化操作界面構(gòu)建整個(gè)流程，由具備動(dòng)態(tài)、智能的可視化引擎和圖形組件進(jìn)行構(gòu)建，從而將應(yīng)用數(shù)據(jù)進(jìn)行靈活自動(dòng)的分析處理。該技術(shù)以可視化圖形組件形式提供給用戶端，用戶可根據(jù)需求自由組合、靈活切換各類模塊，實(shí)現(xiàn)特定數(shù)據(jù)分析處理需求。

圖4 數(shù)據(jù)整合框架

在用戶端提供一個(gè)全可視化操作界面，界面中包括：通用化系統(tǒng)API；系統(tǒng)化處理方法組合，支持自由組合數(shù)十個(gè)大數(shù)據(jù)領(lǐng)先機(jī)器智能算法；高性能集成若干個(gè)通用數(shù)據(jù)源，支持若干數(shù)據(jù)庫(kù)，如DB2、MySQL、MongoDB、Cassandra、Redis等；數(shù)據(jù)虛擬層支持異構(gòu)關(guān)系型、非關(guān)系型數(shù)據(jù)；靈活切換各類完整智能可視化方法。

如圖5所示，可視化交互系統(tǒng)構(gòu)建成多個(gè)可被調(diào)用的控件，把各種用戶交互功能打包成控件的API，易于其與外部各種信息平臺(tái)、網(wǎng)絡(luò)、系統(tǒng)進(jìn)行集成和交互工作。各應(yīng)用平臺(tái)根據(jù)用戶需要建立客戶端，利用接口對(duì)分析結(jié)果信息進(jìn)行多維可視化顯示與各種交互操作以及進(jìn)行功能的擴(kuò)展。

高維數(shù)據(jù)結(jié)果展示可視化主要是指針對(duì)高維數(shù)據(jù)結(jié)果進(jìn)行多層次可視化展示，從而更加直觀地挖掘有價(jià)值的信息。高維數(shù)據(jù)可視化的難點(diǎn)之一是如何在保證數(shù)據(jù)有效性的基礎(chǔ)上進(jìn)行降維并行處理。

（4）大數(shù)據(jù)安全防護(hù)系統(tǒng)環(huán)境

安全防護(hù)服務(wù)為平臺(tái)的基本服務(wù)，包括入侵防御、網(wǎng)絡(luò)監(jiān)控、病毒防護(hù)等模塊。

入侵防御模塊：按照設(shè)定的安全防御策略，對(duì)網(wǎng)絡(luò)、系統(tǒng)的運(yùn)行狀況進(jìn)行監(jiān)視，盡可能發(fā)現(xiàn)各種攻擊企圖、攻擊行為或者攻擊結(jié)果，以保證網(wǎng)絡(luò)系統(tǒng)資源的機(jī)密性、完整性和可用性，重點(diǎn)內(nèi)容如下。

● 網(wǎng)絡(luò)監(jiān)控對(duì)所有路由器、交換機(jī)、防火墻、入侵防御系統(tǒng)（intrusion prevention system，IPS）的運(yùn)行狀況、網(wǎng)絡(luò)流量、用戶行為等進(jìn)行日志記錄；

● 對(duì)相應(yīng)的訪問(wèn)記錄進(jìn)行自動(dòng)審查，包括事件的日期和時(shí)間、用戶、事件類型、事件是否成功及其他與審計(jì)相關(guān)的信息；

● 能夠根據(jù)記錄數(shù)據(jù)進(jìn)行分析，并生成審計(jì)報(bào)表（日?qǐng)?bào)、周報(bào)、月報(bào)）；

● 應(yīng)對(duì)審計(jì)記錄進(jìn)行保護(hù)，避免受到未預(yù)期的刪除、修改或覆蓋等。

不論是防火墻、入侵防御系統(tǒng)還是入侵檢測(cè)系統(tǒng)（intrusion detection system，IDS），都應(yīng)設(shè)置定期更新攻擊特征庫(kù)，并當(dāng)檢測(cè)到攻擊行為時(shí)，應(yīng)記錄攻擊源IP、攻擊類型、攻擊目的、攻擊時(shí)間，在發(fā)生嚴(yán)重入侵事件時(shí)應(yīng)提供報(bào)警。

網(wǎng)絡(luò)監(jiān)控模塊：網(wǎng)絡(luò)監(jiān)控能夠?qū)λ新酚善?、交換機(jī)、防火墻、IPS的運(yùn)行狀況、網(wǎng)絡(luò)流量、用戶行為等進(jìn)行日志記錄，能夠?qū)崟r(shí)記錄用戶在系統(tǒng)中發(fā)起的網(wǎng)絡(luò)行為，根據(jù)網(wǎng)絡(luò)監(jiān)控模塊的日志記錄信息，一方面能夠進(jìn)一步分析用戶在時(shí)空維度、操作習(xí)慣等方面的優(yōu)勢(shì)，另一方面也能夠作為系統(tǒng)調(diào)整網(wǎng)絡(luò)設(shè)施布局、帶寬分配、安全策略調(diào)整等的參考依據(jù)。

圖5 可視化交互技術(shù)

病毒防護(hù)模塊：在平臺(tái)部署病毒防護(hù)設(shè)備和系統(tǒng)，阻斷來(lái)自外部的病毒傳播和攻擊行為，并在內(nèi)網(wǎng)部署網(wǎng)絡(luò)病毒監(jiān)控系統(tǒng)（virus detection system，VDS），發(fā)現(xiàn)來(lái)自內(nèi)部的病毒傳播和攻擊行為。可以通過(guò)在核心路由器和專網(wǎng)接入路由器上增加具有防病毒功能的模塊實(shí)現(xiàn)防病毒網(wǎng)關(guān)的功能；通過(guò)將接入交換機(jī)的數(shù)據(jù)鏡像到VDS設(shè)備，可以監(jiān)控內(nèi)網(wǎng)傳輸數(shù)據(jù)中是否含有計(jì)算機(jī)病毒等惡意代碼。目前市場(chǎng)上防病毒網(wǎng)關(guān)的VDS設(shè)備大量采用云安全技術(shù)，雖然云安全技術(shù)可以在一定程度上提高對(duì)新惡意代碼的響應(yīng)速度，但可能會(huì)造成內(nèi)部敏感信息的泄露。采用離線升級(jí)方式，即在內(nèi)部網(wǎng)絡(luò)搭建病毒定義碼升級(jí)服務(wù)器，獲得最新的病毒定義碼，不斷更新病毒碼，降低內(nèi)部敏感信息泄露風(fēng)險(xiǎn)。

4.2.3 平臺(tái)全方位管理體系建設(shè)

平臺(tái)全方位管理體系建設(shè)是涵蓋大數(shù)據(jù)融合平臺(tái)的監(jiān)控、調(diào)度、安全管理等策略的完善解決方案，這也是平臺(tái)能否高效發(fā)揮作用的重要環(huán)節(jié)：平臺(tái)的監(jiān)控管理涉及底層硬件設(shè)施的監(jiān)控（包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等）、應(yīng)用處理任務(wù)監(jiān)控（應(yīng)用任務(wù)）、安全監(jiān)控；平臺(tái)調(diào)度管理涉及任務(wù)調(diào)度、資源調(diào)度；平臺(tái)安全管理涉及制度、人員、過(guò)程、操作規(guī)范等，重點(diǎn)包括安全管理制度、安全管理機(jī)構(gòu)、人員安全管理、系統(tǒng)建設(shè)管理、系統(tǒng)運(yùn)維管理。

5 大數(shù)據(jù)融合平臺(tái)典型應(yīng)用

應(yīng)用驅(qū)動(dòng)的大數(shù)據(jù)與超級(jí)計(jì)算、云計(jì)算融合平臺(tái)，目標(biāo)是最大化地滿足大數(shù)據(jù)應(yīng)用對(duì)信息技術(shù)平臺(tái)的要求，因此可以實(shí)現(xiàn)大數(shù)據(jù)業(yè)務(wù)流程的系統(tǒng)性覆蓋和對(duì)局部處理需求業(yè)務(wù)的廣泛覆蓋?，F(xiàn)在這一平臺(tái)方案已經(jīng)在生物基因、醫(yī)療健康、智慧港口、油氣能源、建筑信息模型（building information model，BIM）+地理信息系統(tǒng)（geographic information system）智慧城市、電子政務(wù)等產(chǎn)業(yè)大數(shù)據(jù)應(yīng)用領(lǐng)域開展服務(wù)支撐和應(yīng)用示范，其中有些領(lǐng)域目前利用了這一平臺(tái)方案中的部分能力，而生物基因、氣象霧霾、油氣能源開發(fā)等已經(jīng)逐步成為融合平臺(tái)系統(tǒng)能力充分施展的典型代表。

5.1 生物基因領(lǐng)域的應(yīng)用

生物基因領(lǐng)域各類數(shù)據(jù)庫(kù)物理位置相對(duì)分散、數(shù)據(jù)類型多樣，使得數(shù)據(jù)采集效率低、數(shù)據(jù)整合困難、數(shù)據(jù)分析處理時(shí)效性低。通過(guò)完善基因數(shù)據(jù)庫(kù)和細(xì)胞分析數(shù)據(jù)庫(kù)，可為用戶提供高效數(shù)據(jù)采集與傳輸、數(shù)據(jù)存儲(chǔ)、生物信息分析處理等一體化的多功能服務(wù)，用戶可以通過(guò)互聯(lián)網(wǎng)遠(yuǎn)程操作進(jìn)行測(cè)序數(shù)據(jù)的處理，隨時(shí)隨地獲取生物信息分析資源。

基于融合平臺(tái)形成的基因大數(shù)據(jù)處理平臺(tái)的對(duì)外提供服務(wù)的流程：首先由醫(yī)療機(jī)構(gòu)采集測(cè)試樣本，并進(jìn)行相關(guān)預(yù)處理，然后將樣本中的基因數(shù)據(jù)信息上傳至本平臺(tái)進(jìn)行基因比對(duì)、測(cè)序等工序，然后將處理結(jié)果整合回傳給醫(yī)療機(jī)構(gòu)。同時(shí)，在這個(gè)過(guò)程中不斷進(jìn)行數(shù)據(jù)積累，形成群體基因分析大數(shù)據(jù)，支撐疾病預(yù)防或個(gè)性化診斷等。

5.2 氣象霧霾預(yù)警預(yù)報(bào)

研究氣象霧霾的成因和機(jī)理需要大量多源異構(gòu)數(shù)據(jù)的支撐，涉及衛(wèi)星云圖數(shù)據(jù)、雷達(dá)數(shù)據(jù)、氣象監(jiān)測(cè)點(diǎn)數(shù)據(jù)、區(qū)域污染源排放清單等，這類數(shù)據(jù)存在數(shù)據(jù)量大、物理存儲(chǔ)分散、存儲(chǔ)格式多樣、數(shù)據(jù)實(shí)時(shí)更新等特點(diǎn)。通過(guò)網(wǎng)絡(luò)獲取衛(wèi)星、雷達(dá)、污染源等數(shù)據(jù)，基于數(shù)據(jù)獲取和超級(jí)計(jì)算能力構(gòu)建自動(dòng)化實(shí)時(shí)霧霾預(yù)警預(yù)報(bào)平臺(tái)，開展大規(guī)模數(shù)值預(yù)報(bào)，預(yù)報(bào)數(shù)據(jù)通過(guò)云平臺(tái)處理成產(chǎn)品，并對(duì)外發(fā)布，如圖6所示。

圖6 自動(dòng)化實(shí)時(shí)霧霾預(yù)警預(yù)報(bào)平臺(tái)系統(tǒng)框架

基于該平臺(tái)已構(gòu)建區(qū)域氣象、空氣污染預(yù)報(bào)業(yè)務(wù)化平臺(tái)，為氣象部門、環(huán)保部門提供穩(wěn)定的長(zhǎng)效高分辨率預(yù)報(bào)結(jié)果，滿足社會(huì)公共服務(wù)，在保障亞洲太平洋經(jīng)濟(jì)合作組織（Asia-Pacific Economic Cooperation，APEC）會(huì)議、冬季奧林匹克運(yùn)動(dòng)會(huì)的申辦等重大氣象服務(wù)保障方面發(fā)揮了重要作用。同時(shí)，通過(guò)不斷積累觀測(cè)數(shù)據(jù)和預(yù)報(bào)數(shù)據(jù)，利用大數(shù)據(jù)分析完善預(yù)警預(yù)報(bào)模型，并為研究區(qū)域長(zhǎng)效氣象和環(huán)境變化、環(huán)境治理方案提供支撐。

6 結(jié)束語(yǔ)

應(yīng)用驅(qū)動(dòng)的大數(shù)據(jù)融合平臺(tái)可進(jìn)一步解決我國(guó)大數(shù)據(jù)領(lǐng)域創(chuàng)新能力和創(chuàng)新支撐平臺(tái)不足的現(xiàn)實(shí)問(wèn)題。產(chǎn)業(yè)領(lǐng)域大數(shù)據(jù)研究、應(yīng)用轉(zhuǎn)化是一個(gè)跨界融合的系統(tǒng)工程，需要信息技術(shù)領(lǐng)域和產(chǎn)業(yè)行業(yè)領(lǐng)域深入合作，建立聯(lián)合實(shí)驗(yàn)室、協(xié)同創(chuàng)新中心，實(shí)現(xiàn)強(qiáng)強(qiáng)聯(lián)合、相互推動(dòng)和支撐，這是非常有效的協(xié)同發(fā)展方式。

大數(shù)據(jù)對(duì)國(guó)家治理模式，企業(yè)的決策、組織和業(yè)務(wù)流程，個(gè)人生活方式都將產(chǎn)生巨大的影響，同高性能計(jì)算、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)融合，支撐一個(gè)信息技術(shù)的新時(shí)代。在引導(dǎo)和推動(dòng)大數(shù)據(jù)發(fā)展方面，國(guó)家要抓電子信息基礎(chǔ)產(chǎn)業(yè)發(fā)展，掌握芯片、通信、系統(tǒng)軟件等核心技術(shù)將掌握大數(shù)據(jù)發(fā)展的主動(dòng)權(quán)；在經(jīng)濟(jì)、社會(huì)發(fā)展的過(guò)程中，注重標(biāo)準(zhǔn)化和信息化體系建設(shè)；加大網(wǎng)絡(luò)基礎(chǔ)設(shè)施建設(shè)，提升數(shù)據(jù)流通效率，降低流通成本；向民生（如醫(yī)療健康、環(huán)境、交通、能源等）、政務(wù)、國(guó)防等領(lǐng)域傾斜，構(gòu)建具有第三方公信力的大數(shù)據(jù)平臺(tái)或開放機(jī)構(gòu)，特別是基于大數(shù)據(jù)融合平臺(tái)的解決方案和成功應(yīng)用，可以進(jìn)一步推動(dòng)區(qū)域或者國(guó)家數(shù)據(jù)中心體系建設(shè)，形成社會(huì)開發(fā)、政府可控的大數(shù)據(jù)科學(xué)發(fā)展生態(tài)。

[1]鄭緯民. 從系統(tǒng)角度審視大數(shù)據(jù)計(jì)算[J]. 大數(shù)據(jù), 2015002.

ZHENG W M. Reviewing big datacomputation from a system perspective[J]. Big Data Research, 2015002.

[2]陳文光. 大數(shù)據(jù)與高性能計(jì)算[J]. 大數(shù)據(jù), 2015003. C H E N W G. B i g d a t a a n d h i g h performance computing[J]. Big Data Research, 2015003.

[3]方濱興, 賈焰, 李愛(ài)平, 等. 大數(shù)據(jù)隱私保護(hù)技術(shù)綜述[J].大數(shù)據(jù), 2016001. FANG B X, JIA Y, LI A P, et al. Privacy preservation in big data： a survey[J]. Big Data Research, 2006001.

[4]黎建輝, 周園春, 胡良霖. 中國(guó)科學(xué)院科學(xué)數(shù)據(jù)云建設(shè)與服務(wù)[J]. 大數(shù)據(jù), 2016061.

LI J H, ZHOU Y C, HU L L. Scientific data cloud construction and service of Chinese Academy of Sciences[J]. Big Data Research, 2016061.

Application-oriented integration platform construction on big data

MENG Xiangfei, FENG Jinghua, ZHAO Yang, XIA Zijun
National Supercomputer Center in Tianjin, Tianjin 300457, China

Big data from information society reform was introduced. The application-oriented platform architecture integrating big data with supercomputing and cloud computing was introduced in detail, which including physical infrastructure, system software and management system. Moreover, some typical applications were introduced, such as biology and genomes, meteorology and air pollution. Finally, the opinions on how to promote application development of big data, which can provide reference for the decision-making of the governments and industries, were proposed.

integration platform on big data, application-oriented, supercomputing, cloud computing

G202

A

10.11959/j.issn.2096-0271.2017020

孟祥飛（1979-），男，博士，國(guó)家超級(jí)計(jì)算天津中心教授級(jí)高級(jí)工程師，主任助理，應(yīng)用研發(fā)部部長(zhǎng)，中華人民共和國(guó)國(guó)家發(fā)展和改革委員會(huì)“大數(shù)據(jù)處理技術(shù)與應(yīng)用”國(guó)家地方聯(lián)合實(shí)驗(yàn)室主任工程師；中國(guó)計(jì)算機(jī)學(xué)會(huì)高性能計(jì)算專家委員會(huì)常委，中國(guó)醫(yī)促會(huì)醫(yī)學(xué)數(shù)據(jù)與醫(yī)學(xué)計(jì)量分會(huì)副主委，主要研究方向?yàn)榇笠?guī)模并行處理技術(shù)、大數(shù)據(jù)技術(shù)研發(fā)與應(yīng)用等。

馮景華（1984-），男，國(guó)家超級(jí)計(jì)算天津中心主任助理、系統(tǒng)管理部部長(zhǎng)，中國(guó)計(jì)算機(jī)學(xué)會(huì)YOCSEF天津AC委員，主要研究方向?yàn)楦咝阅苡?jì)算、云計(jì)算、大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)等。

趙洋（1988-），男，國(guó)家超級(jí)計(jì)算天津中心中級(jí)工程師、科學(xué)計(jì)算組組長(zhǎng)，負(fù)責(zé)高性能計(jì)算的應(yīng)用技術(shù)開發(fā)，主要研究方向?yàn)楦咝阅苡?jì)算、并行編程和GPU優(yōu)化。

夏梓峻（1986-），男，國(guó)家超級(jí)計(jì)算天津中心應(yīng)用研發(fā)部副部長(zhǎng)，主要研究方向?yàn)閿?shù)據(jù)分析與處理、大規(guī)模并行計(jì)算性能優(yōu)化、大規(guī)模并行計(jì)算程序開發(fā)和異構(gòu)并行程序開發(fā)和優(yōu)化。

2017-01-23