基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)中心建設(shè)路徑研究

鄧汝和

（廣東長高通信服務(wù)有限公司，廣東清遠 511500）

0 引言

隨著互聯(lián)網(wǎng)等新一代信息技術(shù)的快速發(fā)展，全球各行各業(yè)產(chǎn)生了海量的數(shù)據(jù)，這些數(shù)據(jù)包含著寶貴的信息和價值，但如何高效的管理和分析這些數(shù)據(jù)成為一個挑戰(zhàn)。大數(shù)據(jù)技術(shù)的出現(xiàn)和發(fā)展為有效處理這些海量數(shù)據(jù)提供了新的解決方案。數(shù)據(jù)中心作為大數(shù)據(jù)技術(shù)的重要載體，承擔著數(shù)據(jù)存儲、處理、分析和交換的重要任務(wù)，成為信息社會中不可或缺的基礎(chǔ)設(shè)施。

1 數(shù)據(jù)中心建設(shè)目標

1.1 統(tǒng)一數(shù)據(jù)源及數(shù)據(jù)口徑

數(shù)據(jù)中心目標的實現(xiàn)有助于提高數(shù)據(jù)管理的效率和質(zhì)量，統(tǒng)一數(shù)據(jù)源及數(shù)據(jù)口徑可以確保不同部門或系統(tǒng)使用的數(shù)據(jù)是一致的，這有助于避免數(shù)據(jù)之間的矛盾或不一致，提升數(shù)據(jù)的可信度和可靠性。其中，統(tǒng)一數(shù)據(jù)源能夠減少數(shù)據(jù)的重復存儲和冗余，優(yōu)化數(shù)據(jù)存儲結(jié)構(gòu)，節(jié)約存儲資源，并簡化數(shù)據(jù)管理和維護流程。統(tǒng)一數(shù)據(jù)口徑則意味著數(shù)據(jù)的格式、標準和定義統(tǒng)一規(guī)范，這有助于提高數(shù)據(jù)分析的效率[1]。分析人員無須花費過多時間在數(shù)據(jù)解釋和清洗上，可以更專注于數(shù)據(jù)分析和挖掘價值。統(tǒng)一數(shù)據(jù)源和口徑有助于不同業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)交互和集成，這樣可以更順暢地實現(xiàn)業(yè)務(wù)流程的整合和協(xié)同，提高企業(yè)整體運作效率。同時也提供了更加可靠和一致的數(shù)據(jù)基礎(chǔ)，有利于企業(yè)管理層進行準確、可靠的決策制定，從而推動企業(yè)發(fā)展。因此通過統(tǒng)一數(shù)據(jù)源及數(shù)據(jù)口徑，數(shù)據(jù)中心可以更好地滿足不同部門和業(yè)務(wù)需求，提高數(shù)據(jù)的管理和應(yīng)用效率，為企業(yè)的發(fā)展提供更可靠的數(shù)據(jù)支持，統(tǒng)一數(shù)據(jù)模型如圖1 所示。

圖1 統(tǒng)一數(shù)據(jù)模型

1.2 一致的數(shù)據(jù)出入口

實現(xiàn)一致的數(shù)據(jù)出入口意味著在數(shù)據(jù)中心內(nèi)部，所有數(shù)據(jù)的進出流程是經(jīng)過統(tǒng)一規(guī)范和管理的，這一目標的實現(xiàn)對于數(shù)據(jù)中心的運作和數(shù)據(jù)管理具有重要的意義。數(shù)據(jù)出入口流程如圖2 所示。

圖2 數(shù)據(jù)出入口流程

一致的數(shù)據(jù)出入口要求數(shù)據(jù)流程按照統(tǒng)一的規(guī)范進行，包括數(shù)據(jù)的采集、傳輸、存儲、處理和交換等各個環(huán)節(jié)，這有助于確保數(shù)據(jù)的質(zhì)量和完整性，減少數(shù)據(jù)在傳輸和處理過程中的錯誤和丟失。還可以加強數(shù)據(jù)的安全性管理，通過統(tǒng)一的出入口，可以實現(xiàn)對數(shù)據(jù)進行嚴格的訪問控制和權(quán)限管理，確保只有授權(quán)人員能夠訪問和操作數(shù)據(jù)，從而防止數(shù)據(jù)的泄露和濫用。一致的數(shù)據(jù)出入口有助于優(yōu)化數(shù)據(jù)管理流程，通過規(guī)范數(shù)據(jù)的輸入和輸出，可以降低數(shù)據(jù)管理的復雜性和難度，提高數(shù)據(jù)管理的效率和準確性。這種一致性也為數(shù)據(jù)的整合和共享提供了基礎(chǔ)，不同部門或系統(tǒng)之間的數(shù)據(jù)可以通過統(tǒng)一的出入口進行交互和共享，實現(xiàn)數(shù)據(jù)的一致性和集成，促進企業(yè)內(nèi)部各個部門之間的協(xié)同工作。通過規(guī)范數(shù)據(jù)的出入流程，可以減少數(shù)據(jù)的清洗和整理工作，使數(shù)據(jù)分析師能夠更快地獲得可靠的數(shù)據(jù)，從而提高數(shù)據(jù)分析的準確性和效率。

1.3 構(gòu)建管控中心

管控中心應(yīng)能夠?qū)崟r監(jiān)控數(shù)據(jù)中心內(nèi)部的各項運行指標，可以及時發(fā)現(xiàn)并解決潛在的問題，確保數(shù)據(jù)中心的穩(wěn)定運行。管控中心負責對數(shù)據(jù)中心的資源進行合理的分配和優(yōu)化，通過監(jiān)測各個服務(wù)器、存儲設(shè)備和網(wǎng)絡(luò)設(shè)備的利用率，可以根據(jù)需求進行資源的動態(tài)調(diào)整，確保資源的高效利用和避免資源的浪費。管控中心應(yīng)具備故障診斷和應(yīng)急響應(yīng)的能力，一旦發(fā)生故障或異常情況，管控中心應(yīng)能夠迅速定位問題并采取相應(yīng)的應(yīng)急措施，以最小化對數(shù)據(jù)中心運行的影響。管控中心負責數(shù)據(jù)中心的安全監(jiān)控工作，包括對入侵、攻擊和數(shù)據(jù)泄露等安全事件的監(jiān)測和響應(yīng)，通過建立完善的安全體系，可以保障數(shù)據(jù)中心的信息安全。管控中心應(yīng)通過監(jiān)測和分析數(shù)據(jù)中心的性能指標，提出性能優(yōu)化的建議，這包括提高數(shù)據(jù)處理速度、降低延遲、優(yōu)化網(wǎng)絡(luò)帶寬等方面，以確保數(shù)據(jù)中心的高效運行，管控中心的執(zhí)行架構(gòu)如圖3 所示

圖3 管控中心的執(zhí)行架構(gòu)

管控中心需要負責確保數(shù)據(jù)中心的運作符合相關(guān)法規(guī)和標準，這包括數(shù)據(jù)隱私法規(guī)、安全標準等，保障數(shù)據(jù)中心的合規(guī)性，防范法律風險。通過建立強大的管控中心，數(shù)據(jù)中心能夠更加靈活、高效地應(yīng)對各種挑戰(zhàn)，確保數(shù)據(jù)中心的穩(wěn)定、安全和可靠運行。

2 大數(shù)據(jù)技術(shù)下數(shù)據(jù)中心的具體建設(shè)

2.1 集成異構(gòu)數(shù)據(jù)

在建設(shè)路徑的初期階段進行充分的需求分析是關(guān)鍵，了解業(yè)務(wù)部門和用戶的需求，確定需要集成的異構(gòu)數(shù)據(jù)類型和來源，明確數(shù)據(jù)中心的整體目標。確定數(shù)據(jù)中心需要集成的異構(gòu)數(shù)據(jù)源，包括數(shù)據(jù)庫、文件系統(tǒng)、日志文件等，建立標準的數(shù)據(jù)接入接口，確保能夠順利地接入各種不同類型的數(shù)據(jù)源。針對不同的數(shù)據(jù)源進行數(shù)據(jù)格式的標準化工作，主要包括統(tǒng)一數(shù)據(jù)的字段命名、數(shù)據(jù)單位、時間格式等，以確保數(shù)據(jù)在集成過程中能夠保持一致性和可比性[2]。進行數(shù)據(jù)清洗和轉(zhuǎn)換操作，解決異構(gòu)數(shù)據(jù)之間的差異，確保數(shù)據(jù)質(zhì)量。這可能涉及缺失值的處理、異常值的處理、數(shù)據(jù)格式的轉(zhuǎn)換等工作。建立元數(shù)據(jù)管理系統(tǒng)，記錄和維護各種異構(gòu)數(shù)據(jù)的元數(shù)據(jù)信息，包括數(shù)據(jù)源、數(shù)據(jù)格式、數(shù)據(jù)所有權(quán)等，元數(shù)據(jù)管理有助于數(shù)據(jù)的可理解性和可維護性。部署數(shù)據(jù)集成平臺，通過該平臺實現(xiàn)對異構(gòu)數(shù)據(jù)的集成，例如，可以采用ETL 工具，也可以選擇其他適合的數(shù)據(jù)集成解決方案，確保數(shù)據(jù)集成的過程能夠高效、穩(wěn)定地進行。異構(gòu)數(shù)據(jù)集成涉及多個數(shù)據(jù)源，因此需要嚴格的數(shù)據(jù)安全措施和權(quán)限控制機制，確保只有授權(quán)人員能夠訪問敏感數(shù)據(jù)，防止數(shù)據(jù)泄露和濫用。針對需要實時處理的異構(gòu)數(shù)據(jù)，考慮引入實時集成和流處理技術(shù)，可以通過使用流處理平臺或類似的技術(shù)來實現(xiàn)，確保數(shù)據(jù)的實時性和及時性。對數(shù)據(jù)集成的過程進行性能優(yōu)化，包括優(yōu)化數(shù)據(jù)傳輸速度、降低延遲等，確保在大數(shù)據(jù)環(huán)境下，異構(gòu)數(shù)據(jù)的集成能夠高效運行，實現(xiàn)系統(tǒng)的穩(wěn)定性和可靠性。

2.2 采用追溯法進行數(shù)據(jù)疏理

在建設(shè)數(shù)據(jù)中心時，可以采用追溯法進行數(shù)據(jù)疏理，追溯法是一種從末端數(shù)據(jù)逐步追溯到源頭數(shù)據(jù)的數(shù)據(jù)分析方法，其主要目的是通過對數(shù)據(jù)流向、轉(zhuǎn)換和處理過程的追溯，了解數(shù)據(jù)的來源、流向和轉(zhuǎn)換規(guī)則，從而實現(xiàn)數(shù)據(jù)的疏理和清晰化。首先明確數(shù)據(jù)中心的建設(shè)需求和數(shù)據(jù)范圍，確定需要疏理的數(shù)據(jù)類型和數(shù)據(jù)來源。從數(shù)據(jù)中心的末端數(shù)據(jù)開始，即最終被使用的數(shù)據(jù)，追溯其來源和處理過程，這些末端數(shù)據(jù)可能是報表、分析結(jié)果、業(yè)務(wù)應(yīng)用數(shù)據(jù)等。逐步追溯末端數(shù)據(jù)的流向，了解數(shù)據(jù)是如何從源頭到達末端的，包括數(shù)據(jù)經(jīng)過的系統(tǒng)、應(yīng)用、處理流程等。在追溯過程中識別數(shù)據(jù)經(jīng)歷的轉(zhuǎn)換規(guī)則和處理過程，這可能涉及數(shù)據(jù)清洗、加工、整合等過程。記錄并整理追溯過程中得到的數(shù)據(jù)元數(shù)據(jù)，包括數(shù)據(jù)的來源、流向、轉(zhuǎn)換規(guī)則、格式等信息。根據(jù)追溯的結(jié)果疏理和整理數(shù)據(jù)的流程，建立數(shù)據(jù)流程圖或數(shù)據(jù)地圖，清晰展示數(shù)據(jù)的流向和處理過程。在追溯的過程中評估數(shù)據(jù)的質(zhì)量，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題并提出改進建議。根據(jù)追溯結(jié)果制定數(shù)據(jù)管理策略和規(guī)范，包括數(shù)據(jù)采集、存儲、處理、共享等方面的管理規(guī)定。

2.3 建立概念模型，開展數(shù)據(jù)整合

概念模型是對業(yè)務(wù)領(lǐng)域中數(shù)據(jù)和信息關(guān)系的抽象表示，它有助于理清業(yè)務(wù)流程、數(shù)據(jù)關(guān)系和數(shù)據(jù)元素之間的聯(lián)系，為數(shù)據(jù)整合提供指導。利用業(yè)務(wù)建模工具或方法，繪制業(yè)務(wù)流程圖、數(shù)據(jù)流程圖等，理清業(yè)務(wù)過程和數(shù)據(jù)流動，這有助于識別業(yè)務(wù)實體、業(yè)務(wù)規(guī)則和業(yè)務(wù)事件[3]。通過分析業(yè)務(wù)流程，標識出業(yè)務(wù)領(lǐng)域中的實體和實體之間的關(guān)系，實體可以是業(yè)務(wù)對象、概念或事件，而關(guān)系則表示實體之間的聯(lián)系。為每個實體定義屬性，即實體所包含的數(shù)據(jù)項。這有助于明確數(shù)據(jù)的內(nèi)容和特征。基于上述分析，繪制概念模型圖，其中包括實體、關(guān)系和屬性，這可以采用實體關(guān)系圖（ER 圖）或其他概念建模工具，概念邏輯模型如圖4 所示。

圖4 概念邏輯模型

建立數(shù)據(jù)字典詳細記錄概念模型中每個實體和屬性的定義，以及它們之間的關(guān)系，數(shù)據(jù)字典是整合數(shù)據(jù)的參考工具，確保數(shù)據(jù)的一致性和標準化。在概念模型的基礎(chǔ)上，確定數(shù)據(jù)整合的策略和方法，這可能涉及數(shù)據(jù)的抽取、轉(zhuǎn)換和加載（ETL），數(shù)據(jù)集成平臺的選擇，以及數(shù)據(jù)標準化和清洗等步驟。根據(jù)概念模型和整合策略，開始實施數(shù)據(jù)整合工作，包括數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換和加載，確保數(shù)據(jù)能夠按照概念模型的定義進行整合[4]。

2.4 數(shù)據(jù)建設(shè)

數(shù)據(jù)建設(shè)涉及數(shù)據(jù)的采集、存儲、處理、分析和應(yīng)用等方面，旨在建立一個高效、可靠、可管理的數(shù)據(jù)基礎(chǔ)設(shè)施，以支持業(yè)務(wù)需求和決策。設(shè)計數(shù)據(jù)存儲架構(gòu)，包括選擇合適的數(shù)據(jù)庫技術(shù)、存儲設(shè)備和數(shù)據(jù)備份策略，考慮數(shù)據(jù)的結(jié)構(gòu)化和非結(jié)構(gòu)化存儲需求，并確保存儲方案能夠支持業(yè)務(wù)的快速發(fā)展。實施數(shù)據(jù)集成，確保不同系統(tǒng)之間的數(shù)據(jù)能夠無縫流通，使用合適的集成工具和標準接口，確保數(shù)據(jù)的一致性和完整性。制定數(shù)據(jù)質(zhì)量管理策略，包括數(shù)據(jù)清洗、去重、驗證等步驟，確保數(shù)據(jù)質(zhì)量符合業(yè)務(wù)需求，提高決策的準確性和可信度[5]元數(shù)據(jù)是描述數(shù)據(jù)的信息，建立元數(shù)據(jù)管理體系有助于理解數(shù)據(jù)的含義、來源和關(guān)系，確保元數(shù)據(jù)的準確性和及時更新。利用數(shù)據(jù)分析和挖掘技術(shù)，發(fā)掘數(shù)據(jù)中的潛在信息和模式，建立數(shù)據(jù)分析模型，支持業(yè)務(wù)決策和優(yōu)化業(yè)務(wù)流程。數(shù)據(jù)建設(shè)流程如圖5 所示。

圖5 數(shù)據(jù)建設(shè)流程

3 結(jié)語

綜上所述，在大數(shù)據(jù)技術(shù)下，建設(shè)數(shù)據(jù)中心能夠提升數(shù)據(jù)的處理和分析能力，更好的滿足日益增長的數(shù)據(jù)需求。在進行數(shù)據(jù)中心建設(shè)的時候，主要是從異構(gòu)數(shù)據(jù)、數(shù)據(jù)疏理、數(shù)據(jù)整合、數(shù)據(jù)建設(shè)等方面入手，讓數(shù)據(jù)中心的建設(shè)更加高效，保障數(shù)據(jù)的完整性和保密性，降低數(shù)據(jù)泄漏和損壞的風險。