對基于云計算技術的數(shù)據(jù)挖掘分析

【摘要】? ? 本文簡要介紹數(shù)據(jù)挖掘、云計算等技術概念，從通信、鐵路、電力等行業(yè)分析了現(xiàn)階段數(shù)據(jù)挖掘技術的使用情況，指出了數(shù)據(jù)挖掘程序現(xiàn)存問題，圍繞云計算技術進行程序開發(fā)，以Hadoop為運行環(huán)境，增強數(shù)據(jù)挖掘程序的運行能力，最大化發(fā)揮云計算技術功能，帶動各行業(yè)量化分析工作有序進行。

【關鍵詞】? ? 通信? ? 云計算? ? 市場預測? ? 數(shù)據(jù)挖掘

在物聯(lián)網(wǎng)環(huán)境中，人們使用多種電子設備，進行網(wǎng)絡連接。結合視覺網(wǎng)絡數(shù)據(jù)統(tǒng)計可知：國內移動終端客戶數(shù)量處于穩(wěn)步增長狀態(tài)，在[2016，2021]年間，移動客戶數(shù)量增加了18倍。預計在2023年，移動用戶數(shù)量將會是2016年用戶數(shù)的10倍，移動終端總數(shù)將會達到120億。在此種較大基數(shù)的網(wǎng)絡數(shù)據(jù)資料環(huán)境下，積極使用云計算技術，各行業(yè)開展數(shù)據(jù)挖掘工作，能夠有效獲取市場預測信息。

一、技術概述

1.1數(shù)據(jù)挖掘

數(shù)據(jù)智能分析是從大量的數(shù)據(jù)資料中提取有用信息的過程，表現(xiàn)為多級加工程序，含有多個運行流程。在數(shù)據(jù)挖掘時，按照一定法則進行源數(shù)據(jù)的提煉、優(yōu)化，在前期處理完成時，再使用數(shù)據(jù)挖掘、智能匹配等技術，選擇適用算法開展資料分析，繼而有效獲取數(shù)據(jù)分析結果。

數(shù)據(jù)挖掘是數(shù)據(jù)智能分析的一個環(huán)節(jié)，在較大數(shù)據(jù)量、完整性不足、規(guī)則性不強、含有噪聲、清晰度不高等各類數(shù)據(jù)資料中，借助特定算法捕獲數(shù)據(jù)中的特定規(guī)律，進行有效信息挖掘。此技術的應用，在一定程度上符合特定業(yè)務的數(shù)據(jù)資料分析需求，比如客戶消費傾向、學生成績優(yōu)勢科目等。數(shù)據(jù)挖掘過程，融合了多個領域的專業(yè)內容，比如數(shù)據(jù)統(tǒng)計、智能學習、規(guī)律識別等。數(shù)據(jù)挖掘技術能夠在大規(guī)模數(shù)據(jù)量中，有效捕獲價值信息，具有較強的市場預測功能[1]。在數(shù)據(jù)挖掘技術使用與推廣的各項工作中，能夠在短時間內完成資料分析，給予人們決策、市場投資等多重參考依據(jù)，以量化分析結果獲得合理公正的決策方案。

1.2云計算

其一，虛擬化技術。此技術的使用旨在有效解決硬件性能分配不均、老舊硬件運行能力欠佳等問題。虛擬化技術的使用，有效改善了底層物理硬件，使其具有更為透明的特點，對軟件、硬件兩個模塊未進行融合處理。在單個性能硬件中，有效衍生出多組虛擬資源，有效整合虛擬資源，提升物理硬件利用效果。其二，大規(guī)模數(shù)據(jù)處理技術。在云計算技術中，是使用大規(guī)模數(shù)據(jù)處理程序，以并聯(lián)運行模型為基礎形式。在此技術程序中，含有Map、Reduce兩種函數(shù)。在Map函數(shù)處理時，采取逐行數(shù)據(jù)文件的提取與分析，對預處理完成數(shù)據(jù)，將其劃分至新節(jié)點。在數(shù)據(jù)分配完成后，進入Reduce函數(shù)處理環(huán)節(jié)，完整讀取Map處理結果，對中間資料進行合并分析。組合型數(shù)據(jù)處理技術，對于較大數(shù)據(jù)量的資料，具有較強的處理能力。與此同時，此技術表現(xiàn)出數(shù)據(jù)監(jiān)控能力，能夠自主排查數(shù)據(jù)處理異常位置，進行數(shù)據(jù)處理任務重啟，確保數(shù)據(jù)處理質量。

二、各行業(yè)數(shù)據(jù)挖掘的使用分析

2.1通信行業(yè)應用

“云計算”強大的數(shù)據(jù)處理能力被廣為運用在通信行業(yè)。在這個信息化時代下，人們在使用電視、手機、電腦等終端設備時所產生的上網(wǎng)行為數(shù)據(jù)如果能進行處理和分析就可以挖掘出具有極高價值的信息，例如對用戶進行清晰的定位，除了統(tǒng)計學意義上的基礎數(shù)據(jù)之外，還能洞察出他們的喜愛偏好、行為習慣、消費水平等等。信息化程度越高，收集到的信息也越多，云計算能夠存儲海量的數(shù)據(jù)，運用分析處理技術，從中為用戶得出更有價值的分析。運營商可以運用云計算，根據(jù)用戶的行業(yè)特性從而制定差異化的解決方案 [1]。

2.2鐵路行業(yè)應用

以運維系統(tǒng)為例，探索云計算技術為基礎的智能數(shù)據(jù)挖掘平臺運行情況。

2.2.1智能感知網(wǎng)絡

在運維系統(tǒng)中，添加了智能感知網(wǎng)絡，有效集成了感知程序、信息處理等技術，以較大數(shù)字量形式進行信息傳輸，具有較強的故障診斷、信息校正、功能補償能力。系統(tǒng)中以列車感知為主，兼有站場、線路等感知模塊。各類感知網(wǎng)絡結構中，擁有多個設備檢測模塊，能夠有效捕獲設備運行資料，以數(shù)據(jù)化形式展示運維資料，對于設備運行資料給予量化分析。

2.2.2云計算融合的運維系統(tǒng)

云計算以數(shù)據(jù)分析、數(shù)據(jù)處理為技術融合目標。在互聯(lián)網(wǎng)平臺中，較大數(shù)量的硬件，依據(jù)特定規(guī)則進行硬件連接。同時在需求改變的情況下，形成了低能耗、高效率的資源處理體系，在優(yōu)化基礎設施成本的基礎上，合理控制設備運維支出。與此同時，云計算表現(xiàn)出較強的計算能力，在存儲能力、數(shù)據(jù)安全等方面具有高性能，在特定硬盤發(fā)生質量損壞時，數(shù)據(jù)不會有丟失情況。在泛式通信體系中，便于用戶自由獲取數(shù)據(jù)資料[2]。智能運維系統(tǒng)中，融合了智能感知系統(tǒng)架構中的各類數(shù)據(jù)，比如監(jiān)測、檢測等。在進行數(shù)據(jù)整合分析、按類存儲時，能夠有效處理動態(tài)的、非動態(tài)的各類數(shù)據(jù)，確保數(shù)據(jù)查詢有效性，增強數(shù)據(jù)查詢便利性。與此同時，結合各組設備各時段的運行情況，積極使用智能算法，高效率、精準獲取故障位置，有效解決系統(tǒng)之間聯(lián)通問題。

2.2.3運維資料數(shù)據(jù)挖掘

數(shù)據(jù)挖掘技術在新型處理體系中，表現(xiàn)出更強的數(shù)據(jù)決策、數(shù)據(jù)分析、系統(tǒng)優(yōu)化各項能力，有效應對數(shù)據(jù)量較大、增長能力較強、樣式多種的信息資源。數(shù)據(jù)挖掘技術的融合價值，集中體現(xiàn)在有效數(shù)據(jù)的整合分析方面，確保數(shù)據(jù)加工精準性，有效提升數(shù)據(jù)挖掘層次。在鐵路運維體系中，采用人工智能算法，進行數(shù)據(jù)分析，以往期設備運行積存的大量數(shù)據(jù)為基礎，高效運行人工智能算法。

數(shù)據(jù)挖掘的運行依賴于云計算技術，以分布式架構程序為基礎，對數(shù)據(jù)資料進行高效處理，確保初始資料、處理后數(shù)據(jù)存儲的完整性。在使用數(shù)據(jù)人工分析技術時，應對較大規(guī)模數(shù)據(jù)量，需要加強數(shù)據(jù)分析，減少數(shù)據(jù)判斷失誤問題。在使用數(shù)據(jù)挖掘技術時，能夠高效獲取事件本質與特征。

在鐵路行車安全視角下，加強運維系統(tǒng)運行，有效進行車輛性能分析，積極制定預防整治措施，減少鐵路行車故障問題，緩解運維人員數(shù)據(jù)處理、分類、分析的工作壓力。運維系統(tǒng)的運行，能夠對業(yè)務文本、語音圖文、音頻各類資源進行預測分析，具有較強的決策指導功能。

2.3電力行業(yè)應用

以電網(wǎng)企業(yè)為視角，圍繞canopy-k-means算法進行數(shù)據(jù)挖掘實例分析。選擇某電網(wǎng)服務的企業(yè)用戶，調取其24小時時間范圍內的用電資料，用作數(shù)據(jù)分析資料。數(shù)據(jù)采集頻率為15秒一次。數(shù)據(jù)采集完成時，對數(shù)據(jù)資料進行聚類分析，結合分析結果，掌握企業(yè)用電特點。

使用ETL對于采集獲取的數(shù)據(jù)進行有效處理，使用canopy-k-means算法高效處理數(shù)據(jù)，獲取兩個部分數(shù)據(jù)，開展數(shù)據(jù)有效分析，獲得兩種分析結果。其中A類分析的用電規(guī)律為：用電集中時段為晚上10點至次日五點，白天用電量較少，電價政策對于A類分析結果而言，有助于企業(yè)減少電費支出。B類分析結果為：用電集中時段為上午7點至晚上7點，晚上用電量較少，結合電價與企業(yè)用電特點，企業(yè)需要適當改變集中用電時間，優(yōu)化用電成本。結合數(shù)據(jù)挖掘獲得的用電特點、用電規(guī)劃建議，能夠促使企業(yè)有效規(guī)劃用工時間，確保企業(yè)運行順暢，優(yōu)化用電費用。

2.4教育行業(yè)應用

圍繞云計算技術，進行案例教學系統(tǒng)創(chuàng)建，同時在系統(tǒng)融合數(shù)據(jù)挖掘技術，確保各項教學資源高效率使用。教學智能管理系統(tǒng)的構建思路：系統(tǒng)創(chuàng)建時，分別從教育規(guī)劃、案例資源庫、訓練題庫為模塊開發(fā)視角，以教學應用為主體，進行系統(tǒng)開發(fā)。在系統(tǒng)開發(fā)時，依據(jù)模型、平臺逐一完善系統(tǒng)功能。某高校進行案例教學系統(tǒng)創(chuàng)建，旨在加強案例教學資源收集，為實踐教學提供發(fā)展平臺。教師群體作為案例資源庫的主要管理人員，教師在平臺中，可有效檢測學生學習情況，調取學生在線答題的資料，結合數(shù)據(jù)分析結果，進行學生分組，開展針對性教學工作。同時，此平臺可擴展功能，以資源庫原有的案例項目為基礎，進行案例題型的標模建設，有效豐富新型案例，完善案例題庫，便于學生自主學習。

三、系統(tǒng)設計

3.1數(shù)據(jù)挖掘程序現(xiàn)存問題

在未融合云計算技術時，數(shù)據(jù)挖掘系統(tǒng)的運行，依賴于單機、服務器。因此系統(tǒng)結構中，以二層機構為主要類型。更為完善的系統(tǒng)是運行在網(wǎng)絡終端的三層架構。在系統(tǒng)運行時，會使用數(shù)據(jù)移向計算，具有信息前期存儲、數(shù)據(jù)后續(xù)集中處理等特點。系統(tǒng)此種運行方式，產生較大時耗、通訊傳輸成本，甚至提升了數(shù)據(jù)空間的復雜性。

3.2云計算為視角的系統(tǒng)設計

在云計算技術支持下，能夠有效解決數(shù)據(jù)挖掘系統(tǒng)運行存在的各類問題，兼容數(shù)據(jù)量計算、數(shù)據(jù)存儲等多項技術，能夠對多種數(shù)據(jù)進行同步分析，表現(xiàn)出較強的數(shù)據(jù)分析、挖掘技術優(yōu)勢。在系統(tǒng)構建時，含有多種結構層次。

其一，支撐平臺。此結構層的運行依賴于數(shù)據(jù)挖掘技術，能夠確?；A信息資料存儲完整性。此程序中融合了數(shù)據(jù)分析、云計算等信息，組建成資源豐富的信息處理環(huán)境。其二，功能層。此結構層的使用功能，是圍繞用戶需求開展多種數(shù)據(jù)分析與有效信息挖掘，結合用戶數(shù)據(jù)特點，進行市場預測。其三，服務層。在服務層體系中，以客戶端為視角，使用數(shù)據(jù)挖掘技術，能夠有效連接客戶端、用戶，形成信息交互體系，以期從中挖掘較高價值的信息，以信息服務形式向用戶傳送分析結果。

3.3以Hadoop為運行環(huán)境

以Hadoop為運行平臺，搭建數(shù)據(jù)挖掘系統(tǒng)，能夠有效運行數(shù)據(jù)挖掘系統(tǒng)，掌握數(shù)據(jù)資料的處理過程[3]。

其一，數(shù)據(jù)預處理。數(shù)據(jù)挖掘技術在實踐應用時，是以大量數(shù)據(jù)資料為基礎。在數(shù)據(jù)預處理程序中，借助多種先進性技術，對數(shù)據(jù)進行并行測算、數(shù)據(jù)更迭，確保數(shù)據(jù)共享效果。其二，數(shù)據(jù)存儲。數(shù)據(jù)挖掘技術獲得的數(shù)據(jù)資料，可對其進行多種存儲處理，為后續(xù)中間數(shù)據(jù)調取與使用提供便利條件。在進行數(shù)據(jù)存儲時，可搭建不確定關系體系，確保數(shù)據(jù)存儲高效率。其三，數(shù)據(jù)分析。在挖掘技術中含有多種計算方法，能夠對數(shù)據(jù)信息進行有效處理。在處理靜態(tài)數(shù)據(jù)時，處理難度不高，對于數(shù)據(jù)挖掘技術未提出較高要求。在處理動態(tài)變化、類型繁雜的數(shù)據(jù)時，可使用數(shù)據(jù)挖掘技術，確保分析質量，提升算法優(yōu)化性。

四、結束語

綜上所述，在未融合云計算技術時，初期的數(shù)據(jù)挖掘技術在數(shù)據(jù)量處理、數(shù)據(jù)分析方面表現(xiàn)出局限性，應對數(shù)據(jù)量增加、數(shù)據(jù)類型復雜的情況下，需要進行算法更新、技術升級，以期發(fā)揮數(shù)據(jù)挖掘技術的應用價值，準確獲取市場預測信息，為各行業(yè)發(fā)展給出清晰方向。

參? 考? 文? 獻

[1]黃璐輝.云計算在通信行業(yè)的特點和應用[J].中國新通信，2020，22（12）：19.

[2]李長鵬，程濤.云計算與物聯(lián)網(wǎng)技術的數(shù)據(jù)挖掘分析[J].電子測試，2021（13）：139-140+36.

[3]高曉川.云計算平臺下物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究[J].電子世界，2021（10）：45-46.

[4]黃敏.基于云計算技術視角的大數(shù)據(jù)挖掘技術分析[J].數(shù)字技術與應用，2019，37（11）：96+98.

文新懿（1988.01），男，漢族，廣東潮州，電子與通信工程碩士學位，電子技術工程師，研究方向：工程技術（信息通信） 。