面向計量管理的大數(shù)據(jù)技術(shù)研發(fā)及創(chuàng)新應(yīng)用

吳晶

【摘 要】在計量工程中，計量管理是十分重要的一項任務(wù)及內(nèi)容，對于計量工作的有效開展比較有利，因而需要有效落實計量管理工作。在目前計量管理工作中，大數(shù)據(jù)技術(shù)有著越來越廣泛的應(yīng)用，且發(fā)揮著重要作用，而為能夠使大數(shù)據(jù)更要應(yīng)用于計量管理，應(yīng)當對大數(shù)據(jù)技術(shù)進一步研發(fā)及創(chuàng)新，以實現(xiàn)其更理想的作用，為計量管理提供更理想的基礎(chǔ)技術(shù)支持與保障。

【關(guān)鍵詞】計量管理；大數(shù)據(jù)技術(shù)；創(chuàng)新應(yīng)用

在目前計量管理工作實際開展中，為能夠使計量管理水平得到提升，使相關(guān)要求得到更好滿足，很多現(xiàn)代化技術(shù)均得以應(yīng)用，而大數(shù)據(jù)技術(shù)就是其中比較重要的一種，對大數(shù)據(jù)技術(shù)進行有效應(yīng)用也就十分必要。為能夠使大數(shù)據(jù)應(yīng)用取得更滿意效率，相關(guān)人員應(yīng)針對計量管理對該技術(shù)進一步研發(fā)，并且對其進行進一步創(chuàng)新應(yīng)用，從而使大數(shù)據(jù)技術(shù)能夠更好應(yīng)用于計量管理工作中，為計量管理水平的提升提供更好支持與保障。

1計量管理概述

在計量管理業(yè)務(wù)實際開展過程中，需要對計量管理業(yè)務(wù)系統(tǒng)進行利用，在此基礎(chǔ)上才能夠使計量管理業(yè)務(wù)實現(xiàn)更理想開展。而對于計量管理業(yè)務(wù)系統(tǒng)而言，其主要就是對企業(yè)中現(xiàn)有計量管理業(yè)務(wù)實行統(tǒng)一管理的相關(guān)平臺，其管理過程主要包括建檔、檢定申請以及審核等，可使質(zhì)檢部門能夠?qū)φw計量管理業(yè)務(wù)實行實時監(jiān)控以及監(jiān)督。首先，對于計量管理業(yè)務(wù)系統(tǒng)而言，可將其劃分為三個相互分離的工作模式，分別為受理、審查以及許可，在此基礎(chǔ)上可使計量管理業(yè)務(wù)的相關(guān)信息資源庫得以形成。其次，對于許可審批，質(zhì)檢部門可提供相關(guān)計量授權(quán)，對于獲得授權(quán)的有關(guān)檢驗檢測機構(gòu)，可依據(jù)抽查計劃具體要求，對于抽查產(chǎn)品實行抽樣以及檢驗檢測，并且應(yīng)當依據(jù)標準報告模板將相關(guān)檢驗報告給出。第三，質(zhì)檢部門對計量器具制造許可證，實行證后監(jiān)督檢查管理，對于授權(quán)計量技術(shù)結(jié)構(gòu)，實行監(jiān)督檢查管理，對于計量建標季候?qū)嵭斜O(jiān)管，在實際檢查過程中，可選擇兩種不同檢查方式，即企業(yè)自查方式與監(jiān)督部門組織檢查方式。

2大數(shù)據(jù)技術(shù)進展

目前，大數(shù)據(jù)領(lǐng)域每年都會涌現(xiàn)出大量新的技術(shù)，成為大數(shù)據(jù)獲取、存儲、處理分析或可視化的有效手段。大數(shù)據(jù)技術(shù)能夠?qū)⒋笠?guī)模數(shù)據(jù)中隱藏的信息和知識挖掘出來，為人類社會經(jīng)濟活動提供依據(jù)，提高各個領(lǐng)域的運行效率，甚至整個社會經(jīng)濟的集約化程度。

2.1大數(shù)據(jù)生命周期

數(shù)據(jù)分析和可視化基于計算處理層。分析包括簡單的查詢分析、流分析以及更復(fù)雜的分析（如機器學(xué)習(xí)、圖計算等）。查詢分析多基于表結(jié)構(gòu)和關(guān)系函數(shù)，流分析基于數(shù)據(jù)、事件流以及簡單的統(tǒng)計分析，而復(fù)雜分析則基于更復(fù)雜的數(shù)據(jù)結(jié)構(gòu)與方法，如圖、矩陣、迭代計算和線性代數(shù)。一般意義的可視化是對分析結(jié)果的展示。但是通過交互式可視化，還可以探索性地提問，使分析獲得新的線索，形成迭代的分析和可視化?；诖笠?guī)模數(shù)據(jù)的實時交互可視化分析以及在這個過程中引入自動化的因素是目前研究的熱點

2.2大數(shù)據(jù)技術(shù)生態(tài)大數(shù)據(jù)的基本處理流程與傳統(tǒng)數(shù)據(jù)處理流程并無太大差異，主要區(qū)別在于：由于大數(shù)據(jù)要處理大量、非結(jié)構(gòu)化的數(shù)據(jù)，所以在各處理環(huán)節(jié)中都可以采用并行處理。目前，Hadoop、MapReduce和Spark等分布式處理方式已經(jīng)成為大數(shù)據(jù)處理各環(huán)節(jié)的通用處理方法。Hadoop是一個由Apache基金會開發(fā)的大數(shù)據(jù)分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細節(jié)的情況下，輕松地在Hadoop上開發(fā)和運行處理大規(guī)模數(shù)據(jù)的分布式程序，充分利用集群的威力高速運算和存儲。Hadoop是一個數(shù)據(jù)管理系統(tǒng)，作為數(shù)據(jù)分析的核心，匯集了結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)分布在傳統(tǒng)的企業(yè)數(shù)據(jù)棧的每一層。Hadoop也是一個大規(guī)模并行處理框架，擁有超級計算能力，定位于推動企業(yè)級應(yīng)用的執(zhí)行。Hadoop又是一個開源社區(qū)，主要為解決大數(shù)據(jù)的問題提供工具和軟件。雖然Hadoop提供了很多功能，但仍然應(yīng)該把它歸類為多個組件組成的Hadoop生態(tài)圈，這些組件包括數(shù)據(jù)存儲、數(shù)據(jù)集成、數(shù)據(jù)處理和其他進行數(shù)據(jù)分析的專門工具

2.3大數(shù)據(jù)采集與預(yù)處理

在大數(shù)據(jù)的生命周期中，數(shù)據(jù)采集處于第一個環(huán)節(jié)。根據(jù)MapReduce產(chǎn)生數(shù)據(jù)的應(yīng)用系統(tǒng)分類，大數(shù)據(jù)的采集主要有4種來源：管理信息系統(tǒng)、Web信息系統(tǒng)、物理信息系統(tǒng)、科學(xué)實驗系統(tǒng)。對于不同的數(shù)據(jù)集，可能存在不同的結(jié)構(gòu)和模式，如文件、XML樹、關(guān)系表等，表現(xiàn)為數(shù)據(jù)的異構(gòu)性。對多個異構(gòu)的數(shù)據(jù)集，需要做進一步集成處理或整合處理，將來自不同數(shù)據(jù)集的數(shù)據(jù)收集、整理、清洗、轉(zhuǎn)換后，生成到一個新的數(shù)據(jù)集，為后續(xù)查詢和分析處理提供統(tǒng)一的數(shù)據(jù)視圖。

3計量管理中大數(shù)據(jù)技術(shù)的創(chuàng)新應(yīng)用

3.1全生命周期管理中的應(yīng)用

對于計量資產(chǎn)的全生命管理而言，其包括設(shè)備的整個使用過程，即設(shè)備生產(chǎn)制造、設(shè)備驗收管理以及設(shè)備檢定檢測管理與倉儲配送管理，還包括設(shè)備安裝管理、設(shè)備運行管理及設(shè)備拆除管理，還有設(shè)備報廢管理等內(nèi)容。在計量資產(chǎn)全生命周期管理中，大數(shù)據(jù)技術(shù)的應(yīng)用主要體現(xiàn)在以下方面。首先，在生產(chǎn)制造中的應(yīng)用。在實際進行計量管理中，在應(yīng)用大數(shù)據(jù)技術(shù)的基礎(chǔ)上，利用相關(guān)許可資質(zhì)，對于生產(chǎn)制造企業(yè)中各個方面條件可實行把控，主要就是場地、人員及生產(chǎn)設(shè)備，對于計量裝置實際生產(chǎn)過程中廠商的元器件信息及生產(chǎn)進度等相關(guān)情況實行跟蹤管理，從而使計量資產(chǎn)全生命周期管理中相關(guān)質(zhì)量管控能夠?qū)崿F(xiàn)遷移，可在根本上對質(zhì)量風(fēng)險進行合理控制。其次，在超期未檢中的應(yīng)用。以大數(shù)據(jù)挖掘及大數(shù)據(jù)分析技術(shù)為就基礎(chǔ)，依據(jù)有關(guān)檢定規(guī)程以及相關(guān)技術(shù)規(guī)范，并且與設(shè)備運行數(shù)據(jù)、檢定數(shù)據(jù)及現(xiàn)場檢驗相差數(shù)據(jù)相結(jié)合，對于所存在的檢定質(zhì)量問題，能夠?qū)崿F(xiàn)實時報警及及時預(yù)警，對于檢定質(zhì)量問題成因可精確進行定位，將存在的缺陷能夠及時發(fā)現(xiàn)，在計量器具以及計量機構(gòu)實際評價方面，可提供較好依據(jù)，進行合理指導(dǎo)，使設(shè)備運行可靠性能夠得以有效提升。在對計量設(shè)備及器具進行未檢判定方面，主要注意以下內(nèi)容：其一，觀察計量器具及設(shè)備中相關(guān)檢測日期以及周期檢測日期；其二觀察證書有效性；第三，對檢定機構(gòu)所選擇計量標準設(shè)備進行判斷，確定其檢定證書是否處于有效期。再次，在故障處理方面的應(yīng)用。通過對計量器具信息以及計量設(shè)備檢定與校準信息等實行長期跟蹤，可對相關(guān)運行數(shù)據(jù)進行統(tǒng)計，依據(jù)型號、管理單位以及使用時間與狀態(tài)等因素，從多個方面對其故障情況事項分析。對于現(xiàn)場運行故障，應(yīng)當依據(jù)人為因素、外力因素及設(shè)備質(zhì)量等因素實行科學(xué)分類統(tǒng)計分析，在此基礎(chǔ)上提供較好數(shù)據(jù)支持。依據(jù)計量器具以及計量設(shè)備有關(guān)數(shù)據(jù)，可對計量器具中存在的故障實行分析，并且可對故障原因深入追溯，找出元器件所存在的問題。

3.2量值溯源及傳遞方面的應(yīng)用

對于這一方面的應(yīng)用主要就是以計量器具管理角度為入手點，促使量值溯源及驗證對比得以實現(xiàn)，具有包括以下幾點內(nèi)容。首先，新計量器具有關(guān)檢定及校準信息。對于生產(chǎn)制造的相關(guān)儀器設(shè)備，應(yīng)當依據(jù)檢定規(guī)程及校準規(guī)范實行檢定及校準。其次，周期檢定相關(guān)信息，依據(jù)不同計量機構(gòu)內(nèi)部所編制相關(guān)“檢定校準周期表”，定期實行檢定及校準。再次，臨時檢定相關(guān)信息，在儀器有故障發(fā)生且經(jīng)過維修能夠正常使用情況下，對于故障有關(guān)部門量值，應(yīng)當實行檢定校準。此外，通過對計量器具規(guī)格、型號以及標準度與校準時間等相關(guān)信息實行查詢，對于計量標準及工作計量器具可實行組合比較，并且能夠進行衡量比較，在此基礎(chǔ)上也就能夠?qū)@些內(nèi)容更好把握。

結(jié)語

在目前計量管理工作實際開展過程中，大數(shù)據(jù)技術(shù)已經(jīng)成為十分重要的一門技術(shù)，在實際應(yīng)用中發(fā)揮著十分重要的優(yōu)勢。因此，在現(xiàn)代計量管理工作開展中，相關(guān)人員應(yīng)當對計量管理加強認識，并且要對大數(shù)據(jù)技術(shù)創(chuàng)新應(yīng)用較好把握，以便能夠使計量管理工作實現(xiàn)更理想的開展，促使其得以更好發(fā)展。

參考文獻：

[1]胡耀兵.探析計量檢定工作的標準化管理[J].現(xiàn)代經(jīng)濟信息，2018.

[2]楊陽.大數(shù)據(jù)和計量——計量信息管理系統(tǒng)在實驗室的應(yīng)用[J].中國計量，2018.

（作者單位：國網(wǎng)寧夏電力有限公司銀川供電公司）