基于大數(shù)據(jù)環(huán)境的科技管理數(shù)據(jù)集成平臺(tái)研究

張耀日

（中科云智（深圳）科技有限公司，廣東深圳 518000）

近年來(lái)，隨著大數(shù)據(jù)處理平臺(tái)體系架構(gòu)的完善和容器技術(shù)的發(fā)布應(yīng)用，基于大數(shù)據(jù)處理環(huán)境的數(shù)據(jù)集成技術(shù)越來(lái)越流行，這也使得大數(shù)據(jù)集成平臺(tái)的架構(gòu)和建設(shè)更加簡(jiǎn)單和快速。與傳統(tǒng)的數(shù)據(jù)集成平臺(tái)相比，它在數(shù)據(jù)處理效率、可擴(kuò)展性、容錯(cuò)性等方面有了很大的提高。

1 數(shù)據(jù)集成技術(shù)概述

1.1 數(shù)據(jù)集成技術(shù)

信息集成化，是指把不同部門(mén)、不同系統(tǒng)、不同形式的異相信息，加以提取、轉(zhuǎn)化、添加到共同統(tǒng)一標(biāo)準(zhǔn)數(shù)據(jù)存儲(chǔ)庫(kù)的流程。信息集成化的主要目標(biāo)，是為了能夠?qū)λ挟愊嘈畔⑦M(jìn)行一個(gè)統(tǒng)一的存儲(chǔ)、管理與顯示。數(shù)據(jù)分析集成化可以完全遮蔽各類(lèi)異構(gòu)數(shù)據(jù)之間的差異性、實(shí)現(xiàn)資源共享，并提升了數(shù)據(jù)共享的效率、更高效地提取數(shù)據(jù)的價(jià)值資訊。但數(shù)據(jù)分析集成化流程并非單純地將數(shù)據(jù)分析信息內(nèi)容堆砌，必須在集成化過(guò)程中將“臟數(shù)據(jù)信息”加以清理、對(duì)各類(lèi)表現(xiàn)形式（存儲(chǔ)格式、數(shù)據(jù)庫(kù)類(lèi)型、語(yǔ)義等）的數(shù)據(jù)分析信息內(nèi)容加以轉(zhuǎn)化、并重新統(tǒng)一裝載三個(gè)步驟。

1.2 數(shù)據(jù)集成模型

在大數(shù)據(jù)集成應(yīng)用的領(lǐng)域，目前已經(jīng)有了一些方式方法來(lái)建立集成模式以及相關(guān)的平臺(tái)體系，目前普遍使用的方式主要有聯(lián)邦式、基于中間件模式以及數(shù)據(jù)倉(cāng)庫(kù)等，并且已經(jīng)較為普遍地運(yùn)用于各類(lèi)大數(shù)據(jù)集成行業(yè)中，在不同方面都能夠解決大數(shù)據(jù)間的相互訪(fǎng)問(wèn)以及數(shù)據(jù)共享。

1.2.1 聯(lián)邦式數(shù)據(jù)庫(kù)

聯(lián)邦數(shù)據(jù)庫(kù)（FDBS）由半自治數(shù)據(jù)庫(kù)組成，在分散的數(shù)據(jù)源間彼此提供訪(fǎng)問(wèn)連接，因此彼此也可以共享信息。這種數(shù)據(jù)庫(kù)的好處在于數(shù)據(jù)仍可以保存在一個(gè)分散的主系統(tǒng)下，不需形成一個(gè)集中統(tǒng)一的數(shù)據(jù)庫(kù)；但它的弊端也很明顯，即檢索速度較低，易產(chǎn)生死鎖、數(shù)據(jù)沖突等問(wèn)題。

1.2.2 中間件模式模型

中間件模式模型是在大數(shù)據(jù)集成框架下處于分散的數(shù)據(jù)源體系（數(shù)據(jù)層）和系統(tǒng)應(yīng)用（應(yīng)用層）的中間，結(jié)構(gòu)如圖1所示。中間件模型使用戶(hù)能夠通過(guò)統(tǒng)一的訪(fǎng)問(wèn)入口進(jìn)行存取數(shù)據(jù)，將所有分散的主數(shù)據(jù)庫(kù)系統(tǒng)視為一個(gè)統(tǒng)一的集合。該模型的最大優(yōu)點(diǎn)是用戶(hù)不需要特別注意與底層主數(shù)據(jù)庫(kù)的關(guān)聯(lián)，從而提高了查詢(xún)結(jié)果。所有分散的主數(shù)據(jù)庫(kù)系統(tǒng)都可以描述為一個(gè)統(tǒng)一的數(shù)據(jù)集，使用單一的全局訪(fǎng)問(wèn)入口。設(shè)計(jì)架構(gòu)模型的最大困難是如何建立這種統(tǒng)一的全局訪(fǎng)問(wèn)可見(jiàn)性，能夠使在語(yǔ)義、格式上都有很大不同的主數(shù)據(jù)庫(kù)系統(tǒng)，能夠反映在這個(gè)中間層。

圖1 中間件模式模型架構(gòu)圖

1.2.3 數(shù)據(jù)倉(cāng)庫(kù)模式模型

資料倉(cāng)庫(kù)是近年來(lái)在信息行業(yè)最常用的一種詞語(yǔ)和方法，倉(cāng)庫(kù)一般形容的是儲(chǔ)存東西的載體，在信息行業(yè)，是具體的存放信息的倉(cāng)庫(kù)。同時(shí)數(shù)據(jù)倉(cāng)庫(kù)又不同于資料庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)有著基于時(shí)間的、集成的、無(wú)易失性的、具有時(shí)間相關(guān)的特性，可以為公司、機(jī)構(gòu)進(jìn)行信息服務(wù)的信息集合。模型結(jié)構(gòu)如圖2所示。數(shù)據(jù)存儲(chǔ)模式是一種多層次的結(jié)構(gòu)模式，一般包括信息收集、數(shù)據(jù)加工整理、信息存儲(chǔ)、統(tǒng)計(jì)分析等，數(shù)據(jù)儲(chǔ)存儲(chǔ)型是把離散的異構(gòu)數(shù)據(jù)資源加以綜合統(tǒng)一存儲(chǔ)，以便建立一個(gè)高質(zhì)量、標(biāo)準(zhǔn)化的信息集合體，以供公司、機(jī)構(gòu)研究決策。

圖2 數(shù)據(jù)倉(cāng)庫(kù)模式模型架構(gòu)圖

2 科技管理數(shù)據(jù)集成平臺(tái)需求分析

2.1 需求特性分析

大數(shù)據(jù)時(shí)期，由于數(shù)據(jù)集成平臺(tái)應(yīng)用要求逐漸呈現(xiàn)出多元、個(gè)體化的特點(diǎn)，加之各主體之間差異也更加突出，所以對(duì)數(shù)據(jù)集成平臺(tái)要重視技術(shù)要求的收集工作，以找出應(yīng)用的實(shí)際需要、潛在要求以及未來(lái)需求，并對(duì)其準(zhǔn)確認(rèn)識(shí)、描述和集成，同時(shí)又按技術(shù)要求維度、集成層次和集成方式等方面加以分類(lèi)整合，科學(xué)有效地解決技術(shù)要求問(wèn)題，為數(shù)據(jù)集成平臺(tái)的順利開(kāi)展技術(shù)業(yè)務(wù)打下了根基。

2.1.1 時(shí)效性

隨著市場(chǎng)競(jìng)爭(zhēng)的越來(lái)越活躍，企業(yè)在產(chǎn)品創(chuàng)新和技術(shù)創(chuàng)業(yè)孵化的過(guò)程中對(duì)產(chǎn)品的使用要具備相應(yīng)的時(shí)效性，從而保持了市場(chǎng)競(jìng)爭(zhēng)優(yōu)勢(shì)。

2.1.2 剛性

區(qū)域科技創(chuàng)新創(chuàng)業(yè)主體，通常并不會(huì)因?yàn)榧夹g(shù)資源成本的降低而改變對(duì)人才的實(shí)際要求，所以用戶(hù)對(duì)技術(shù)的要求也缺少了相應(yīng)的柔性。

2.1.3 復(fù)雜性

大數(shù)據(jù)處理環(huán)境下，應(yīng)用中對(duì)技術(shù)的要求不僅單一化，而且還更加復(fù)雜，因此，除單純的技術(shù)要求之外，可能還要求與之相配套的專(zhuān)業(yè)隊(duì)伍、儀器設(shè)備等，甚至更可能的還是需要科技創(chuàng)業(yè)需求方案。

2.2 需求類(lèi)型分析

（1）根據(jù)技術(shù)需求的不同環(huán)節(jié)，可以將其分為不同需求，例如，初始階段主要對(duì)科技群體有較強(qiáng)的需求，中試階段主要對(duì)中試基地有較強(qiáng)的要求，產(chǎn)業(yè)化階段主要對(duì)市場(chǎng)條件有較強(qiáng)的要求。

（2）根據(jù)需求主體的不同可將需求分類(lèi)為用戶(hù)科技創(chuàng)業(yè)需要、科研機(jī)構(gòu)及高?？萍紕?chuàng)業(yè)需要以及行政管理機(jī)關(guān)需要等。

（3）根據(jù)技術(shù)要求領(lǐng)域的不同，可將其分類(lèi)為新能源、生物工業(yè)、新材料、高端裝備工業(yè)、現(xiàn)代服務(wù)業(yè)等，但各個(gè)領(lǐng)域之間由于政策環(huán)境、資源基礎(chǔ)條件等原因，對(duì)技術(shù)要求也存在著很大差別。

2.3 整合需求分析

2.3.1 縱向整合

數(shù)據(jù)融合平臺(tái)技術(shù)的縱向集成方法，指的是面向科技創(chuàng)新主體在各個(gè)技術(shù)創(chuàng)新環(huán)節(jié)中對(duì)某一個(gè)要求進(jìn)行組合集成的技術(shù)方法。由于研究環(huán)節(jié)、成果轉(zhuǎn)化環(huán)節(jié)和工業(yè)化環(huán)節(jié)的資本市場(chǎng)技術(shù)需求程度略有差異，基于異構(gòu)技術(shù)需求的垂直整合，大數(shù)據(jù)整合平臺(tái)還可以為科技金融行業(yè)提供融資渠道，如科技風(fēng)險(xiǎn)投資、風(fēng)險(xiǎn)投資和天使投資，以滿(mǎn)足全球商業(yè)技術(shù)融資的需要。

2.3.2 橫向整合

數(shù)據(jù)融合平臺(tái)技術(shù)需求橫向集成方法，指的是面向創(chuàng)新創(chuàng)業(yè)主體或某一特殊創(chuàng)業(yè)環(huán)節(jié)，對(duì)各類(lèi)技術(shù)要求所進(jìn)行的組合集成的方法。如在研究成果轉(zhuǎn)移過(guò)程各個(gè)環(huán)節(jié)的研究轉(zhuǎn)化團(tuán)隊(duì)、轉(zhuǎn)移資本、技術(shù)工程化等方面的要求，以及在對(duì)異質(zhì)性技術(shù)需求橫向集成的基礎(chǔ)上，數(shù)據(jù)集成平臺(tái)將能夠提供研究成果轉(zhuǎn)移的子平臺(tái)，并融入到整個(gè)數(shù)據(jù)集成平臺(tái)體系中去，從而為科技創(chuàng)業(yè)主體在整個(gè)研究成果轉(zhuǎn)移流程中提供必要的技術(shù)支撐與服務(wù)，同時(shí)促進(jìn)公司在技術(shù)研究與產(chǎn)業(yè)化的各環(huán)節(jié)中進(jìn)行了無(wú)縫銜接。

2.3.3 網(wǎng)絡(luò)化整合

從數(shù)據(jù)融合平臺(tái)整合技術(shù)需求網(wǎng)絡(luò)化的方法，是指將各種技術(shù)需求橫向和縱向交叉整合到各種應(yīng)用程序中的方法，科技企業(yè)家的技術(shù)鏈接。網(wǎng)絡(luò)化集成可以通過(guò)技術(shù)問(wèn)題和需求的有效集成，有效緩解技術(shù)需求在環(huán)境中分散分布的資源問(wèn)題，提出了一個(gè)大數(shù)據(jù)集成平臺(tái)，通過(guò)大數(shù)據(jù)分析提出了一個(gè)服務(wù)解決方案，實(shí)現(xiàn)了企業(yè)之間的有效協(xié)作和交互技術(shù)要求和有關(guān)資源。

3 科技管理數(shù)據(jù)集成平臺(tái)構(gòu)建

為提升科技對(duì)信息整合的效率與成果，同時(shí)減少信息整合系統(tǒng)的運(yùn)營(yíng)與管理成本，本文介紹了以容器為代表的大數(shù)據(jù)分析與科技，來(lái)打造信息整合系統(tǒng)。容器是一個(gè)輕量級(jí)的虛擬化產(chǎn)品，具備空間占用低、執(zhí)行效率高的特性。容器通過(guò)進(jìn)程分離的形式完成對(duì)工作平臺(tái)的分離，非常適合進(jìn)行集群管理，能夠簡(jiǎn)單、快捷地構(gòu)建各種大數(shù)據(jù)處理應(yīng)用系統(tǒng)。

3.1 整體架構(gòu)

3.1.1 云平臺(tái)層

云平臺(tái)層是整個(gè)平臺(tái)的基石，負(fù)責(zé)管理和調(diào)配分布式信息；同樣，通過(guò)對(duì)容器空間結(jié)構(gòu)加以重新安排，達(dá)到更多用戶(hù)的租戶(hù)空間資源配置與隔離。

3.1.2 大數(shù)據(jù)基礎(chǔ)能力層

大數(shù)據(jù)管理平臺(tái)技術(shù)層通過(guò)整合各項(xiàng)大數(shù)據(jù)管理產(chǎn)品，以及通過(guò)云平臺(tái)層帶來(lái)的各項(xiàng)優(yōu)勢(shì)，為技術(shù)企業(yè)管理信息集成的上層應(yīng)用領(lǐng)域供給各項(xiàng)必備的軟件。

3.1.3 數(shù)據(jù)集成層

作為整個(gè)平臺(tái)的運(yùn)行核心，信息集成層將通過(guò)大數(shù)據(jù)管理基礎(chǔ)能力層所提出的各類(lèi)方法，對(duì)大科技管理信息系統(tǒng)涉及的各類(lèi)信息進(jìn)行收集、轉(zhuǎn)換、處理和分類(lèi)運(yùn)算，從而為服務(wù)層提供大數(shù)據(jù)服務(wù)。

3.1.4 應(yīng)用服務(wù)層

通過(guò)對(duì)數(shù)據(jù)集成層加工、處理之后的大數(shù)據(jù)分析，應(yīng)用服務(wù)層能夠面向不同的使用場(chǎng)合進(jìn)行定制化的業(yè)務(wù)，包括大數(shù)據(jù)分析可視化、科研關(guān)系分析、項(xiàng)目管理風(fēng)險(xiǎn)評(píng)估等。同時(shí)，在應(yīng)用服務(wù)層可以使用由云平臺(tái)層開(kāi)發(fā)的應(yīng)用統(tǒng)一調(diào)度體系，對(duì)應(yīng)用實(shí)施容器式管控。

3.2 大數(shù)據(jù)基礎(chǔ)能力層

大數(shù)據(jù)能力的基本層是計(jì)算架構(gòu)層，它可以快速整合所有重要的大數(shù)據(jù)處理部門(mén)，并提供更有效的工具來(lái)解決大數(shù)據(jù)收集的業(yè)務(wù)需求數(shù)據(jù)、數(shù)據(jù)存儲(chǔ)、信息處理等。大數(shù)據(jù)處理核心能力層的每個(gè)組件都可以更高效、更合理地利用各種分布式大型計(jì)算材料和資源云平臺(tái)層提供的存儲(chǔ)。大多數(shù)組件（與數(shù)據(jù)存儲(chǔ)相關(guān)的組件除外）都可以以容器形式部署，也因此，它能夠使用由云平臺(tái)層提供的統(tǒng)一資源調(diào)度機(jī)制來(lái)管理。大數(shù)據(jù)分析基礎(chǔ)能力層中所集成的組件則大致包括了如下五種。

3.2.1 數(shù)據(jù)采集組件

都是采用了分布式的數(shù)據(jù)采集平臺(tái)，整合了各種主要數(shù)據(jù)庫(kù)系統(tǒng)、各種網(wǎng)絡(luò)服務(wù)端口和本地操作系統(tǒng)，并具備容錯(cuò)管理與修復(fù)機(jī)制，從而可以進(jìn)行高安全、高速可用的數(shù)據(jù)收集與傳輸服務(wù)。常見(jiàn)的相關(guān)組件為Kafka 和Flume 等。

3.2.2 數(shù)據(jù)存儲(chǔ)組件

具有分布式的保存高度結(jié)構(gòu)化、半構(gòu)造化和非構(gòu)造化的科技管理信息，并有利于進(jìn)行快速搜索和查找的功能。常用的相關(guān)組件為HDFS、MPP（massively parallel processing）、HBase、Elas‐ticsearch、Redis 等。

3.2.3 計(jì)算引擎組件

大多都是分布式運(yùn)算架構(gòu)，支撐對(duì)大量的科技管理信息實(shí)施批數(shù)據(jù)處理，因此能夠有效提升大數(shù)據(jù)分析整體的運(yùn)算效能。常見(jiàn)的相關(guān)組件為MapReduce、Spark 等。

3.2.4 數(shù)據(jù)處理組件

提供信息檢索與分析的數(shù)據(jù)倉(cāng)庫(kù)手段，如能夠?qū)崿F(xiàn)大量的離線(xiàn)統(tǒng)計(jì)分析。同時(shí)，通過(guò)數(shù)據(jù)處理軟件可以完成對(duì)MySQL、HBase、HDFS 等大數(shù)據(jù)文件的提取、轉(zhuǎn)化和加載等操作。目前使用的相關(guān)軟件主要有Hive、SparkETL 等。

3.2.5 其他組件

除這些組件之外，在大數(shù)據(jù)分析技術(shù)基礎(chǔ)能力層還有一系列機(jī)器教學(xué)組成部分，如SparkMLIB、TensorFlow、PyTorch 等；數(shù)據(jù)分析挖掘與數(shù)據(jù)分析的組件，如RapidMiner 等；數(shù)據(jù)分析組件，如Atlas、Grinffin 等。

3.3 數(shù)據(jù)集成層

數(shù)據(jù)集成層也是該系統(tǒng)的運(yùn)行核心，它主要采用了ETL 技術(shù)，先從各個(gè)數(shù)據(jù)中提取出最初的數(shù)據(jù)管理信息，接著再根據(jù)預(yù)定義的數(shù)據(jù)模型，對(duì)原始數(shù)據(jù)信息進(jìn)行轉(zhuǎn)化運(yùn)算，然后再把轉(zhuǎn)化后的信息重新添加到原始數(shù)據(jù)庫(kù)中。其中，原始資料包含多深度、多維度、多領(lǐng)域的科學(xué)信息、技術(shù)資料、信息化業(yè)務(wù)數(shù)據(jù)資料等，這些原始數(shù)據(jù)共同組成了科技財(cái)務(wù)信息系統(tǒng)的數(shù)字財(cái)富，針對(duì)不同的使用情景，可將上述的數(shù)據(jù)資產(chǎn)以不同的方法整合出來(lái)。比如，將技術(shù)人員在各個(gè)階段出具的申請(qǐng)書(shū)、任務(wù)書(shū)、匯報(bào)資料等數(shù)據(jù)整合出來(lái)，能夠復(fù)現(xiàn)出相應(yīng)項(xiàng)目的全部研發(fā)經(jīng)歷；再比如，通過(guò)把同一個(gè)科學(xué)指南研究方向下全部的項(xiàng)目和課題數(shù)據(jù)整合到一起，就能夠便于管理者了解該科學(xué)領(lǐng)域各個(gè)方面的研究成果。而科技管理數(shù)據(jù)整合的具體過(guò)程則包含了數(shù)據(jù)提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載等。

4 結(jié)束語(yǔ)

本文從當(dāng)前科技管理工作實(shí)際業(yè)務(wù)需要入手，并根據(jù)以往的調(diào)研工作，提供了一個(gè)基于大數(shù)據(jù)處理環(huán)境下的科技管理工作大數(shù)據(jù)分析綜合平臺(tái)，該平臺(tái)充分利用了大數(shù)據(jù)處理的各種控制、運(yùn)算、儲(chǔ)存等組件，具有不錯(cuò)的穩(wěn)定性、可維護(hù)性和容錯(cuò)性。利用這個(gè)網(wǎng)絡(luò)平臺(tái)，對(duì)高科技企業(yè)管理信息系統(tǒng)中產(chǎn)生的海量、多源、異構(gòu)性數(shù)據(jù)資源加以整合，企業(yè)能夠高效地運(yùn)用科技管理數(shù)據(jù)資源，為支撐企業(yè)科學(xué)技術(shù)經(jīng)營(yíng)決策、綜合統(tǒng)籌管理提供理論方法與科技保證。