基于大數(shù)據(jù)的計算機數(shù)據(jù)分析管理系統(tǒng)設(shè)計

周迪民 歐 嵬

（1.湖南科技學(xué)院 教師教育學(xué)院，湖南 永州425199；2.湖南科技學(xué)院 電子與信息工程學(xué)院，湖南 永州425199）

大數(shù)據(jù)云計算云服務(wù)讓全球的 IT 業(yè)發(fā)生巨大的轉(zhuǎn)變[1]。隨著大數(shù)據(jù)時代的到來，信息處理技術(shù)面臨新的挑戰(zhàn)[2]，大數(shù)據(jù)時代的信息具有數(shù)據(jù)量大、數(shù)據(jù)類型多、增長速度快、價值密度低等特點[3]，在大數(shù)據(jù)平臺中，大數(shù)據(jù)處理系統(tǒng)特別是基于服務(wù)的數(shù)據(jù)處理系統(tǒng)有大量應(yīng)用同時在平臺中運行[4]，用于數(shù)據(jù)處理的計算機系統(tǒng)是否穩(wěn)定運行，在大數(shù)據(jù)云服務(wù)中起著關(guān)鍵性的作用。本文提出一個基于大數(shù)據(jù)的計算機數(shù)據(jù)分析管理系統(tǒng)，實時分析系統(tǒng)的具體使用狀況，當計算機系統(tǒng)超負荷運行時，能及時預(yù)警，并給出相關(guān)問題的解決方案。

1 大數(shù)據(jù)概述

大數(shù)據(jù)主要是能夠獲取、存儲、分析以及整理數(shù)據(jù)的綜合能力，有相關(guān)人士認為，大數(shù)據(jù)時代的到來將會從根本上改變?nèi)藗兊纳罘绞揭约艾F(xiàn)代社會的發(fā)展模式。通過大數(shù)據(jù)技術(shù)在海量的數(shù)據(jù)中挖掘出滿足用戶的真正需求的信息，提供給客戶更多優(yōu)質(zhì)和精準的服務(wù)。

大數(shù)據(jù)擁有數(shù)據(jù)量大、數(shù)據(jù)儲存方式多樣化、信息獲取速度快以及低值密度等特點。其中數(shù)據(jù)量大是與以前相比，大數(shù)據(jù)處理的數(shù)據(jù)規(guī)模從TB 級上升到PB、EB 甚至ZB 級；數(shù)據(jù)儲存多樣化，對新數(shù)據(jù)儲存為具有實時到達、持續(xù)不間斷、到達速度快等特征的“流數(shù)據(jù)（streaming data）”[5]；獲取信息速度快是因為計算機網(wǎng)絡(luò)技術(shù)在不斷的進步，在海量的數(shù)據(jù)中能及時響應(yīng)；價值密度低，通過對大量的數(shù)據(jù)采集、運算、分析，最終得到少量的真實的信息。隨著電子信息技術(shù)的不斷發(fā)展，大數(shù)據(jù)技術(shù)與云服務(wù)等技術(shù)進一步融合，能夠?qū)崿F(xiàn)大數(shù)據(jù)進一步發(fā)展。

2 大數(shù)據(jù)環(huán)境下的計算機信息處理技術(shù)研究

網(wǎng)絡(luò)大數(shù)據(jù)時代下，各行各業(yè)中蘊含著海量的計算機數(shù)據(jù)信息，這些大數(shù)據(jù)具有海量化、多元化與共享化的特征，不同數(shù)據(jù)之間又有著緊密的關(guān)聯(lián)性。這一方面使得網(wǎng)絡(luò)信息的業(yè)務(wù)處理具有更多的量化性選擇，但也促使單一計算機的數(shù)據(jù)處理工作量大大增加，并導(dǎo)致多種潛在數(shù)據(jù)管理風(fēng)險的產(chǎn)生。因此需要引入計算機信息處理技術(shù)，采用數(shù)據(jù)挖掘、云計算、智能算法等技術(shù)在大數(shù)據(jù)系統(tǒng)平臺上實現(xiàn)網(wǎng)絡(luò)復(fù)雜數(shù)字信息的收集、分類、運算、處理分析與存儲，從而滿足用戶多樣化的需求。

現(xiàn)階段計算機信息處理技術(shù)，主要包括信息采集、加工、傳播技術(shù)、信息存儲技術(shù)、虛擬化技術(shù)、自動化資源調(diào)度等內(nèi)容。通過大數(shù)據(jù)管理平臺、云計算、Hadoop 框架、虛擬機、數(shù)據(jù)訪問控制、數(shù)據(jù)共享等方法，協(xié)同完成計算機數(shù)據(jù)采集、運算分析與存儲過程，實現(xiàn)數(shù)據(jù)資源配置、信息處理工作。

3 計算機數(shù)據(jù)分析管理系統(tǒng)模型設(shè)計

本文提出一個基于大數(shù)據(jù)的計算機數(shù)據(jù)分析管理系統(tǒng)，實時分析計算機的具體使用狀況，并在計算機超負荷使用時，及時預(yù)警和給出相關(guān)問題的解決方案。本系統(tǒng)包括數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)判比模塊、數(shù)據(jù)分析模塊、讀取模塊、數(shù)據(jù)庫、信息收集模塊、控制器、指示燈、信息互通模塊等，詳見圖1。

圖1 系統(tǒng)框圖

3.1 數(shù)據(jù)采集

數(shù)據(jù)采集模塊用于采集計算機的數(shù)據(jù)信息和文檔信息。在高性能計算領(lǐng)域，持續(xù)性能一般是指在高性能計算機上運行實際應(yīng)用測試的性能，與應(yīng)用相關(guān)[6]，所以數(shù)據(jù)信息只包括計算機的使用時長、計算機風(fēng)扇的工作時長和計算機文件的緩存量，而計算機的使用時長界定為計算機屏幕常亮?xí)r的總時長，而計算機風(fēng)扇的工作時長界定為計算機溫度異常時的總時長，而計算機文件的緩存量界定為計算機中的過期文件、日志文件和臨時文件的存儲總量，且文檔信息表示為每個本地路徑中的各文檔打開時長。

3.2 數(shù)據(jù)處理

數(shù)據(jù)處理模塊獲取到上周內(nèi)的數(shù)據(jù)信息，標定時間系數(shù)Q，負荷系數(shù)W，緩存系數(shù)E，獲取計算機使用系數(shù)。具體過程如下：

⑴獲取到數(shù)據(jù)信息中的計算機的使用時長、風(fēng)扇的工作時長、文件的緩存量，并對其進行賦值；

⑵當計算機的使用時長分別為第一、第二和第三時間級時，此時的時間系數(shù)Q 依次對應(yīng)著預(yù)設(shè)值A(chǔ)1、A2和 A3，且 A1大于 A2大于 A3；當計算機風(fēng)扇的工作時長分別為第一、第二和第三時間節(jié)時，此時的負荷系數(shù)W 依次對應(yīng)著預(yù)設(shè)值B1、B2和B3，且B1大于B2大于B3；當計算機文件的緩存量分別為高量級、中量級和低量級時，此時的緩存系數(shù)E依次對應(yīng)著預(yù)設(shè)值 C1、C2和 C3，且 C1大于 C2大于C3。

⑶數(shù)據(jù)處理模塊在獲取到時間系數(shù)Q、負荷系數(shù) W 和緩存系數(shù)E 時，將其對計算機使用程度的影響占比進行權(quán)重分配，依次分配為預(yù)設(shè)值 q、w和e，且q 小于w 小于e，求計算機使用系數(shù)公式如下：

并將其傳輸至數(shù)據(jù)判比模塊；所述數(shù)據(jù)判比模塊在接收到計算機使用系數(shù)R 時，將其與預(yù)設(shè)值r 相比較，當滿足R 大于等于r 時，生成過度使用信號，當滿足R 小于r 時，生成正常使用信號，且將過度使用信號或正常使用信號傳輸至數(shù)據(jù)分析模塊。

3.3 數(shù)據(jù)分析

數(shù)據(jù)分析模塊將接收到的正常使用信號傳輸至控制器，而控制器在接收到正常使用信號時，控制指示燈閃爍，控制器與指示燈之間通信連接，數(shù)據(jù)分析模塊在接收到過度使用信號時，從讀取模塊中提取上周內(nèi)，計算機每次使用時的CPU 占用率、內(nèi)存占用率和硬盤讀寫速率，并對其進行分析操作：

⑴獲取到上周內(nèi)，計算機每次使用時的 CPU占用率、內(nèi)存占用率和硬盤讀寫速率，并將其依次標定為 Ti、Yi和 Ui，i=1...n，且 Ti、Yi和 Ui一一對應(yīng)；

⑵先依據(jù)上述中的Ti、Yi 和Ui 來分別計算出各自的變化量：

求出上周內(nèi)計算機每次使用時的 CPU 占用率的平均變化量、內(nèi)存占用率的平均變化量和硬盤讀寫速率的平均變化量，公式如下：

最后求得上周內(nèi)，計算機每次使用時的 CPU占用率的均值、內(nèi)存占用率的均值和硬盤讀寫速率的均值，公式如下：

將T、Y 和U，以及t、y 和u 分別與預(yù)設(shè)值a、s 和d，以及f、g 和h 相比較，當滿足T 大于a、t大于f 時，生成CPU 異常信號并傳輸至數(shù)據(jù)庫中調(diào)取對應(yīng)的CPU 占用過度解決文檔，并與T 和t 一同生成CPU 解決信號，當滿足Y 大于s、y 大于g 時，生成內(nèi)存異常信號并傳輸至數(shù)據(jù)庫中調(diào)取對應(yīng)的內(nèi)存過度解決文檔，并與Y 和y 一同生成內(nèi)存解決信號，當滿足U 大于d、u 大于h 時，生成硬盤讀寫異常信號并傳輸至數(shù)據(jù)庫中調(diào)取對應(yīng)的硬盤讀寫緩慢解決文檔，并與U 和u 一同生成硬盤讀寫解決信號，且將 CPU 解決信號、內(nèi)存解決信號或硬盤讀寫解決信號經(jīng)由控制器傳輸至信息互通模塊；信息互通模塊將接收到的 CPU 解決信號、內(nèi)存解決信號或硬盤讀寫解決信號發(fā)送至用戶手機中進行顯示；而在 T 與 a、t 與 f，Y 與 s、y 與 g 或 U 與d、u 與h 處于其它情況下時，不生成任何信號與數(shù)據(jù)庫之間進行數(shù)據(jù)交流，只是將T、t，Y、y 和U、u 一同發(fā)送至用戶手機中進行顯示，便于用戶對上周計算機的使用程度進行了解，實現(xiàn)了計算機系統(tǒng)的實時掌控。

結(jié) 語

高性能計算機的穩(wěn)定運行直接關(guān)系到大數(shù)據(jù)服務(wù)的有效性和實時性。本系統(tǒng)能實時掌握高性能計算機工作狀態(tài)，并其在過度使用時，對計算機核心部分的工作狀況進行分析，同時提供相應(yīng)的解決方案，及時調(diào)整計算機系統(tǒng)工作狀態(tài)，保障大數(shù)據(jù)服務(wù)的正常運行。