數據倉庫與大數據融合的探討

郭光福

摘 要 數據倉庫與大數據技術的融合應用，對提高數據提取、采集、存儲、應用水平等有積極作用。因此，針對不同業(yè)務的非結構化數據應用問題，在對數據倉庫與大數據融合過程進行分析中，結合數據倉庫建設的理論思想，對大數據進行存儲、處理、加工與分析，并在大數據技術的視角下，對數據庫倉庫優(yōu)化進行調整，旨在實現大數據與數據倉庫的綜合應用效果提升。

關鍵詞 數據倉庫 大數據 數據分析與整合

中圖分類號：TP311 文獻標識碼：A 文章編號：1007-0745（2021）11-0007-03

隨著數據庫技術的多元化發(fā)展，其在各行業(yè)、各領域都有廣泛的應用，所以在業(yè)務管理系統中，針對數據倉庫與大數據之間的數據融合進行分析，對進一步提高數據倉庫的實際應用效果有積極作用。在數據庫技術實現多樣化發(fā)展中，數據倉庫是通過現有的數據庫，對數據信息進行抽取、加工以及使用，并為管理工作的開展提供管理決策。在這一視角下，數據倉庫建設與發(fā)展應用數據庫技術，對現有數據信息進行管理，滿足業(yè)務管理與控制的綜合發(fā)展需求。在利用數據庫技術的基礎上，可通過數據挖掘與信息處理的方式，實現數據管理與業(yè)務管理水平的綜合提升。

1 數據倉庫的概念

數據倉庫并不是單純的多數據庫集合，而是通過數據處理技術針對現有的數據庫，對數據信息進行提取、清洗、加工、處理以及使用，并為業(yè)務管理以及管理決策等提供依據。在實現數據信息處理的過程中，則需要通過大數據技術，對數據倉庫的數據進行分析與處理，按照數據特征進行分類與處理，從而提高數據信息的有效利用率。數據倉庫與數據技術具有聯系性，利用數據庫技術對數據信息進行處理，其中包含云數據處理、數據挖掘、AI技術應用等，在數據信息處理與調整的基礎上，可實現數據處理水平提升[1]。大數據在實際應用中，可以減少數據冗余，并消除數據壁壘，在數據挖掘以及智能處理技術的應用下，對數據信息進行融合與處理，從而實現數據采集與挖掘。大數據在對數據處理與分析時，可以對大規(guī)模的、結構復雜的數據信息進行處理，從而實現預測與決策分析水平的提升。從數據管理的角度進行分析，數據倉庫與大數據之間具有一定的關聯性，但是大數據對數據類型、數據處理等有積極作用，在數據處理與信息控制的基礎上，可實現數據倉庫的數據信息融合與控制。

對大數據的需求進行分析時，則是在數據分析與數據管理的基礎上，實現數據預測與決策水平提升。從大數據與數據倉庫融合的角度進行分析，大數據與數據倉庫之間比較相似，但是數據量、數據類型、處理速度、數據結構準確性等方面存在一定的差異性，所以在利用數據倉庫技術的過程中，則是在預測大數據的基礎上，對數據倉庫的數據處理過程進行完善，從而滿足數據統計與數據分析的綜合需求[2]。

2 大數據技術及其困境

在對大數據技術的實際應用進行分析中，則是在非結構化數據庫以及數據信息處理過程等方面進行分析，在數據集合與數據挖掘處理的基礎上，可實現數據信息的綜合處理效果提升。但是，數據信息處理技術在實際應用中，則需要對數據處理過程、數據處理參數等方面進行優(yōu)化，在實現數據集中處理與分析處理的基礎上，可滿足數據倉庫的數據處理與控制需求。但是，大數據技術在實際應用中，仍然存在以下幾個難點。

1.從技術層面進行分析，大數據的研究與應用仍然處在初級階段，缺少完善、有效的數據解決方案，對大數據信息處理以及數據挖掘處理等會產生直接的影響。在對大數據的實際應用進行分析中，缺少體系化的模型，雖然開源的Hadoop可以實際應用，但是在數據信息處理的過程中，數據處理技術的應用水平不足，對數據應用以及數據倉庫的數據挖掘等會產生直接的影響。在大數據信息處理與控制的過程中，則可以通過數據挖掘與信息處理的方式，實現數據挖掘與數據信息處理效果的綜合提升[3]。在建立完整化數據信息處理模型的基礎上，可通過數據處理以及信息評估的方式，實現大數據處理效果提升。

2.從大數據處理過程的角度進行分析，在大數據技術的實踐應用中，大多是以Hadoop為框架，但是在實際應用時，其仍然存在非結構化數據，在數據處理與數據分析中，對數據倉庫的數據挖掘與信息挖掘會產生直接的影響。通過數據倉庫的應用，在實現數據信息處理與控制的過程中，數據倉庫的處理過程仍然存在問題，對數據信息處理以及數據管理等會產生直接的影響，也會影響數據倉庫與大數據技術融合的實際應用水平。而且，在對結構數據進行優(yōu)化的過程中，仍然存在數據信息處理不到位的情況，影響大數據技術的實際應用效果與應用價值。

3.數據安全問題。在大數據技術多樣化應用的過程中，面對數據安全問題，對數據信息處理過程以及數據冗余等會產生直接影響。在Hadoop、MPP數據庫、MySQL數據流處理中，仍然存在數據庫系統不完善的情況，對數據結構的安全性以及數據處理過程等會產生直接的影響。因此，在數據信息處理與數據開元處理的基礎上，仍然需要對數據安全問題進行調整，從而實現大數據的數據安全控制水平提升[4]。

4.大數據應用與開發(fā)不足。大數據的實際應用與云計算過程相似，在對基礎數據建設體系進行完善與優(yōu)化的基礎上，仍然需要從數據處理、數據維護以及數據分析等方面進行優(yōu)化，在對數據處理過程進行優(yōu)化的基礎上，可通過數據倉庫的信息處理與數據控制，解決大數據的操作與數據處理的綜合問題。但是，在大數據處理的過程中，智能化、多元化的系統框架搭建，仍然存在數據倉庫的開發(fā)問題，而且基礎數據建設比較困難，后期的數據處理與資源維護等不足，對大數據技術的操作與控制等會產生直接的影響。

5.大數據對業(yè)務管理決策的影響仍需進一步研究。大數據技術在實際應用中，對網絡中的海量數據進行挖掘，可以發(fā)現數據中隱含的價值，但是在獲取數據的過程中，仍然需要對每一個數據進行處理、加工以及分析，要對數據處理過程、數據分析準確性等方面進行探究，在數據分析與預測等方面仍有不足，對數據處理過程會產生直接的影響。在大數據信息處理與控制的過程中，數據存儲與數據提取等不足，會影響數據挖掘與信息處理綜合水平。大數據技術可以對數據倉庫中的數據信息進行統計與分析，但是在數據信息處理與數據應用控制中，仍然存在數據挖掘與預測準確性不足等問題，對大數據應用會產生直接的影響。

3 數據倉庫與大數據融合措施

3.1 數據倉庫體系架構設計

為實現數據倉庫的架構應用水平提升，在業(yè)務數據處理與管理的過程中，需要在數據倉庫處理的基礎上，對數據信息處理過程、數據分析等方面進行優(yōu)化，可實現數據倉庫的數據處理水平提升[5]。在大數據技術需求分析的視角下，可通過數據管理與信息處理的方式，對數據倉庫的不同特征數據進行提取與處理，從而實現數據應用效率的進一步提升。在加強對列式數據庫內數據獲取與分析的過程中，則需要對數據處理以及數據挖掘等方面進行優(yōu)化，從而達到提高數據應用效率的目的。在對數據應用以及信息處理過程等方面進行分析時，則需要從業(yè)務數據源處理以及數據非關系型結構等方面進行處理，在實現數據融合的基礎上，利用Hadoop對數據信息進行處理，從而實現數據倉庫的數據分析處理效果提升。

從行業(yè)應用的角度進行分析，根據結構化程度共同作用進行分析，則是在行業(yè)應用、決策分析的視角下，對分布式處理以及數據安全等方面進行處理，在數據分布與信息整合的基礎上，可滿足數據分析與技術處理的綜合需求。大數據的架構在應用中，需要通過技術要素對行業(yè)數據、決策支持、分布式處理等方面進行優(yōu)化，通過數據信息處理與業(yè)務整合，可滿足數據倉庫的數據挖掘處理需求。大數據架構在實際應用中，則可以對不同特征的數據信息處理過程、數據倉庫的數據存儲等方面進行完善，在數據結構化程度檢驗與分析的視角下，可滿足數據分析與開發(fā)的綜合需求。展示層是針對數據關系、請求響應、數據處理等方面進行優(yōu)化，數據應用中，則是通過預測性建模與模擬，對數據源進行分析與處理，滿足大數據挖掘與信息處理的綜合需求。在對數據流進行處理的過程中，則是在建立分布式處理關系的基礎上，對網絡自動抓取的業(yè)務數據處理，并實現數據挖掘與信息處理的綜合分析。

3.2 數據倉庫與大數據的融合

從大數據需求分析的角度進行分析，在實現數據融合與信息處理的過程中，則需要在數據倉庫的視角下，對業(yè)務數據關系以及數據處理過程等方面進行優(yōu)化，在建立數據倉庫的視角下，對數據提取過程、數據處理方式等方面進行優(yōu)化，滿足數據分析與處理的綜合需求。因此，數據倉庫與大數據在實現融合中，可實現數據的相互促進、補充與協作，將大數據技術下的數據倉庫處理過程結合在一起，并對非結構化數據的采集、存儲與傳輸等方面進行優(yōu)化，從而實現數據信息的綜合處理效果提升。非結構化數據信息的處理與控制，則是在數據倉庫分析與信息處理的視角下，對Hadoop技術與數據倉庫結合過程進行優(yōu)化，并對數據采集、ETL、存儲、處理、提取等方面進行綜合分析，在數據信息處理與優(yōu)化的基礎上，將數據信息傳輸到數據倉庫，從而實現數據處理與分析的目的。在建立數據倉庫的基礎上，可以在數據管理層通過數據倉庫與Hadoop的結合，對數據處理方式進行優(yōu)化，并通過數據分工來滿足數據處理與數據分析的綜合需求。利用數據倉庫對非結構化數據進行處理，并對數據處理過程以及數據參數等方面進行調整，提高數據管理與信息處理的綜合水平[6]。

在創(chuàng)建BI層的基礎上，可對數據存儲的結構化數據庫進行調整與優(yōu)化，在實現數據信息處理與數據分解后，對不同數據進行分析與處理，對實現數據信息處理與數據分析水平提升等有積極作用。從技術層面進行分析，數據倉庫與大數據技術在融合的視角下，其實際應用中，則可以通過數據處理與數據分析等方式，對數據驅動過程以及數據信息處理方式等進行優(yōu)化，在實現數據調研與分析中，可從數據需求設計、ETL、數據建模、元數據管理等方面進行優(yōu)化，在突破數據倉庫與大數據融合的視角下，可為后續(xù)的數據應用于數據分析處理等提供參考依據。數據倉庫與大數據的融合是在系統平臺優(yōu)化的基礎上，對數據管理過程、數據處理過程等方面進行優(yōu)化，從而提高數據分析與業(yè)務處理的綜合水平。

3.3 數據分析與數據整合

在創(chuàng)建BI層、數據管理以及源數據層的基礎上，對不同數據關系進行整合與處理，可實現數據倉庫技術的實際應用效果提升。在實際應用與處理的過程中，則需要在數據分析與業(yè)務處理的基礎上，對數據關系進行分析，在數據建模與處理的前提下，利用數據倉庫技術，對數據關系以及數據整合等方面進行調整，從而滿足數據倉庫建設與應用的綜合發(fā)展需求。在數據倉庫的搭建與分析中，可利用數據傳輸機制，對數據關系、信息處理過程等方式，落實數據訪問服務。結構化、半結構以及非結構化數據的處理分析，則可以在ETL處理以及Hadoop平臺，對不同數據關系進行調整與處理，在BI層實現數據分析與數據優(yōu)化。在數據信息處理與分析的過程中，則需要利用數據挖掘的方式，對數據關系進行處理，從而提高數據分析水平。

4 結語

數據倉庫與大數據的融合，則是在數據信息處理的基礎上，對數據庫技術的實際應用進行分析，在優(yōu)化數據管理機制的前提下，可實現業(yè)務數據管理水平的進一步提升。數據倉庫與大數據技術的融合，則是在數據挖掘與信息處理的基礎上，對數據管理過程、業(yè)務處理方式等方面進行優(yōu)化，從而實現數據管理與數據信息處理效果提升。在大數據技術分析與業(yè)務處理的基礎上，可通過技術融合的方式，對技術方案以及數據倉庫等方面進行優(yōu)化，通過數據分析處理與數據信息處理，建立數據架構，并建立數據倉庫與大數據技術融合方案，從而實現大數據業(yè)務數據處理效果提升。

參考文獻：

[1] 劉強.試論數據倉庫與大數據融合[J].電腦知識與技術，2020，16（10）：7-9.

[2] 楊磊.大數據的發(fā)展及數據倉庫的融合應用[J].數字技術與應用，2019，37（06）：62，64.

[3] 李巖巖，潘文彬，汪新.數據融合技術在倉庫監(jiān)測系統中的應用[J].蚌埠學院學報，2016，05（06）：5-8.

[4] 于鵑.數據倉庫與大數據融合的探討[J].電信科學，2015， 31（03）：166-170.

[5] 萬抒，馮中華，余文杰，裴華.針對攻擊鏈的安全大數據多維融合分析架構和機制研究[J].通信技術，2021，54（08）： 1975-1980.

[6] 周靜，余浩然，米清奎，黃忠，龔偉.統計數據與大數據源的融合應用[J].重慶師范大學學報（自然科學版），2021，38 （02）：77-83.