• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于內(nèi)存計算技術(shù)的大數(shù)據(jù)平臺推動電網(wǎng)企業(yè)實時運(yùn)營

      2015-05-30 01:20:13吳飛
      中國新通信 2015年23期
      關(guān)鍵詞:決策支持數(shù)據(jù)分析大數(shù)據(jù)

      吳飛

      【摘要】 隨著智能電網(wǎng)和企業(yè)信息化的大規(guī)模建設(shè),電力企業(yè)積累了海量的大數(shù)據(jù),如何基于這些數(shù)據(jù)形成實時業(yè)務(wù)洞察和分析決策,是目前電力企業(yè)廣泛思考的問題?;诖?,本文主要介紹了基于內(nèi)存計算技術(shù)的實時數(shù)據(jù)管理和分析平臺,進(jìn)行性能加速,全面提升系統(tǒng)運(yùn)行分析效率,讓企業(yè)根據(jù)不斷變化的海量數(shù)據(jù)進(jìn)行快速處理與分析,實時掌握企業(yè)運(yùn)營情況,提高企業(yè)整體效益和競爭力。

      【關(guān)鍵詞】 大數(shù)據(jù) 內(nèi)存計算 性能加速 數(shù)據(jù)分析 決策支持

      眾所周知,我們正處于一個信息爆炸的時代,全球數(shù)據(jù)量的復(fù)合增長率將達(dá)到59%,越來越多的企業(yè)利用大數(shù)據(jù)分析和挖掘技術(shù),來實現(xiàn)更大的業(yè)務(wù)價值。同樣,隨著智能電網(wǎng)的建設(shè)、自動化和信息技術(shù)的應(yīng)用,電力企業(yè)數(shù)據(jù)量快速增長,但是,基于大數(shù)據(jù)實現(xiàn)實時業(yè)務(wù)洞察和分析決策,目前還存在很多問題和挑戰(zhàn):

      1)數(shù)據(jù)量的急劇增加使得業(yè)務(wù)應(yīng)用系統(tǒng)響應(yīng)變慢,影響業(yè)務(wù)應(yīng)用系統(tǒng)生產(chǎn)效率。

      2)海量數(shù)據(jù)統(tǒng)計分析性能低下,管理者無法及時了解業(yè)務(wù)生產(chǎn)總體狀況,動態(tài)監(jiān)管滯后。

      3)隨著總部、省(市)公司兩級數(shù)據(jù)中心的建設(shè),實現(xiàn)了將不同來源的業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行統(tǒng)一存儲和對外提供數(shù)據(jù)服務(wù),跨部門、跨專業(yè)的綜合性應(yīng)用分析需求日益增多,現(xiàn)有技術(shù)無法滿足決策層快速智能分析和輔助決策的要求。

      基于此,本文介紹了基于內(nèi)存計算實時數(shù)據(jù)平臺的技術(shù)架構(gòu)和特點(diǎn),以及在電力行業(yè)的典型應(yīng)用,并介紹了相關(guān)的技術(shù)驗證和實踐;利用基于內(nèi)存計算的實時數(shù)據(jù)平臺,可以有效地支持電力行業(yè)實現(xiàn)實時業(yè)務(wù)洞察和分析決策,將大數(shù)據(jù)轉(zhuǎn)化為巨大的業(yè)務(wù)價值。

      一、內(nèi)存計算技術(shù)簡介

      1.1內(nèi)存計算技術(shù)概述

      內(nèi)存計算技術(shù)是指CPU直接從內(nèi)存而不是硬盤上讀取數(shù)據(jù),進(jìn)行計算、分析,是對傳統(tǒng)數(shù)據(jù)處理方式的一種加速。內(nèi)存計算技術(shù)利用計算機(jī)硬件(多核心CPU和超大內(nèi)存)方面的優(yōu)勢,巧妙的將數(shù)據(jù)放在計算機(jī)內(nèi)存里進(jìn)行處理,并在內(nèi)存中進(jìn)行大量的數(shù)據(jù)分析和計算,以實現(xiàn)更快速的數(shù)據(jù)處理能力。因此,內(nèi)存計算非常適合處理海量的數(shù)據(jù),以及需要實時獲得結(jié)果的數(shù)據(jù),相對于傳統(tǒng)數(shù)據(jù)處理方式,內(nèi)存計算技術(shù)在商務(wù)智能分析、數(shù)據(jù)挖掘加速器、模擬分析預(yù)測、在線交易處理和在線分析處理等業(yè)務(wù)領(lǐng)域,更具有優(yōu)勢。當(dāng)前,內(nèi)存計算主要以下四種關(guān)鍵技術(shù):海量內(nèi)存管理技術(shù) 、數(shù)據(jù)壓縮存儲技術(shù)、并行計算技術(shù)和高效計算模型。

      1.2 SAP HANA

      SAP HANA是SAP公司于2011年推出的基于內(nèi)存計算技術(shù),面向企業(yè)分析性應(yīng)用的產(chǎn)品。利用SAP數(shù)據(jù)同步復(fù)制技術(shù)將源系統(tǒng)數(shù)據(jù)同步到HANA內(nèi)存數(shù)據(jù)庫中,再利用SAP高效的內(nèi)存計算引擎對數(shù)據(jù)運(yùn)算分析后,提供給前臺進(jìn)行數(shù)據(jù)展現(xiàn)。SAP HANA內(nèi)存計算平臺具有以下特點(diǎn):

      (1)高效的并行處理機(jī)制

      SAP HANA內(nèi)存計算平臺整體的體系架構(gòu)基于Inter X處理器平臺支持多服務(wù)器、多處理器的高效并行處理。在底層開發(fā)中,Inter為SAP HANA提供專門的開發(fā)包,讓HANA的應(yīng)用能夠最高效、充分的利用多處理器的并發(fā)能力。

      (2)基于內(nèi)存的高效數(shù)據(jù)讀取和處理

      從硬盤中讀取數(shù)據(jù)的速度是毫米級的,而從內(nèi)存中讀取數(shù)據(jù)的速度是納秒級的。SAP HANA是將數(shù)據(jù)直接存儲在內(nèi)存中,比傳統(tǒng)的將數(shù)據(jù)從硬盤中讀取性能要快100萬倍,大量提高了數(shù)據(jù)的讀取和處理時間。

      (3)高效的數(shù)據(jù)壓縮

      SAP HANA采用基于智能數(shù)數(shù)據(jù)字典的高效數(shù)據(jù)壓縮機(jī)制,能夠?qū)?shù)據(jù)壓縮5~20倍,從而節(jié)省硬件投資。

      (4)行存儲和列存儲混合模式

      SAP HANA是行業(yè)中唯一能同時支持行存儲和列存儲的內(nèi)存數(shù)據(jù)庫,所以能夠?qū)LAP交易系統(tǒng)和OLTP分析系統(tǒng)同時提供高效的支持。

      (5)在數(shù)據(jù)庫層面進(jìn)行數(shù)據(jù)運(yùn)算

      SAP HANA除了提供完善的數(shù)據(jù)庫功能外,其內(nèi)置的內(nèi)存計算引擎可以將原本在應(yīng)用層進(jìn)行的運(yùn)算轉(zhuǎn)移到數(shù)據(jù)庫層進(jìn)行運(yùn)算處理,這樣能夠優(yōu)化應(yīng)用層和數(shù)據(jù)庫層之間的數(shù)據(jù)交互,從而從整體上提升系統(tǒng)的效率。

      二、基于HANA內(nèi)存計算的大數(shù)據(jù)優(yōu)化

      目前基于HANA內(nèi)存計算的大數(shù)據(jù)優(yōu)化方法主要有兩種:一是加速器架構(gòu)方式,二是ON HANA架構(gòu)方式,具體說明如下:

      2.1 HANA加速器架構(gòu)

      加速器架構(gòu)是指將HANA數(shù)據(jù)庫作為源系統(tǒng)的第二數(shù)據(jù)庫,利用SLT數(shù)據(jù)實時復(fù)制工具將ERP系統(tǒng)中的表實時增量復(fù)制到HANA中,再利用HANA高速的內(nèi)存計算特性對數(shù)據(jù)進(jìn)行加速處理,最終返回給源系統(tǒng)應(yīng)用層進(jìn)行展現(xiàn)。對于用戶而言,其操作界面仍在源系統(tǒng)中,操作方式未作任何形式改變,僅感到系統(tǒng)運(yùn)行速度變快。同時,通過配置或程序控制,報表程序能自動優(yōu)先選擇從HANA數(shù)據(jù)庫中查詢數(shù)據(jù),當(dāng)HANA服務(wù)器出現(xiàn)故障時,報表程序會自動切換到連接原系統(tǒng)數(shù)據(jù)庫(如源系統(tǒng)為Oracle)中,從而全面保證業(yè)務(wù)流程的正常執(zhí)行。基于HANA加速器的技術(shù)架構(gòu)如圖2所示。

      (1)SLT實時抽數(shù)工具:基于源系統(tǒng)數(shù)據(jù)庫觸發(fā)器的數(shù)據(jù)抽取策略。

      (2)DS定時抽數(shù)工具:基于源系統(tǒng)數(shù)據(jù)庫時間戳的數(shù)據(jù)復(fù)制策略,同時具體數(shù)據(jù)轉(zhuǎn)換功能。

      (3)RS實時抽數(shù)臣僚:基于源系統(tǒng)數(shù)據(jù)庫歸檔日志的數(shù)據(jù)實時策略。

      2.1.1適用范圍

      HANA加速器架構(gòu)主要適用范圍為僅需改善查詢統(tǒng)計分析效率的業(yè)務(wù)場景且不要求對數(shù)據(jù)寫入進(jìn)行優(yōu)化,項目投資成本有限,項目周期要求短、成果見效快等方面。

      2.2 ON HANA架構(gòu)

      ON HANA架構(gòu)是指將源系統(tǒng)數(shù)據(jù)庫(如源系統(tǒng)為Oracle)的數(shù)據(jù)全部遷移到HANA數(shù)據(jù)庫的過程。ON HANA的技術(shù)架構(gòu)如圖3。

      2.2.1適用范圍

      ON HANA架構(gòu)主要適用范圍為查詢統(tǒng)計分析和數(shù)據(jù)寫入需作一并優(yōu)化,對系統(tǒng)后期擴(kuò)展性要求高,與外圍系統(tǒng)交互頻繁等方面。

      2.3關(guān)鍵技術(shù)

      (1)數(shù)據(jù)建模

      在SAP HANA中,數(shù)據(jù)建模有別于傳統(tǒng)數(shù)據(jù)倉庫。HANA中的數(shù)據(jù)模型都是虛擬的,系統(tǒng)只保存這些數(shù)據(jù)模型內(nèi)表的勾稽關(guān)系以及數(shù)據(jù)的運(yùn)算邏輯,但不會把數(shù)據(jù)另外進(jìn)行存儲,只有當(dāng)前端提交分析請求時,HANA才會根據(jù)虛擬數(shù)據(jù)模型進(jìn)行數(shù)據(jù)的計算并將結(jié)果提交給前端。這意味著HANA中不會存在冗余的數(shù)據(jù),從而大大節(jié)約的硬件的投資和維護(hù)成本。

      SAP HANA包含了屬性視圖、分析視圖、計算視圖和存儲過程等4種分析建模方法。

      (2)應(yīng)用層(代碼)改造

      主要是對源系統(tǒng)的代碼進(jìn)行優(yōu)化,減少應(yīng)用層的運(yùn)行及訪問壓力。

      例如,可以將復(fù)雜的運(yùn)算邏輯、多重循環(huán)、多次與數(shù)據(jù)庫交互等嚴(yán)重影響系統(tǒng)性能的語句移植HANA數(shù)據(jù)模型中,這樣子就可以大大減少應(yīng)用層運(yùn)算壓力及與數(shù)據(jù)庫交互的次數(shù),以全面提升系統(tǒng)的性能。

      三、福建電力在HANA內(nèi)存計算的技術(shù)驗證和實踐

      3.1研究內(nèi)容

      基于內(nèi)存計算技術(shù)和大數(shù)據(jù)平臺,福建電力主要開展的工作包括兩個層面,一是在大數(shù)據(jù)環(huán)境下提高現(xiàn)有系統(tǒng)的數(shù)據(jù)分析性能,二是基于內(nèi)存計算技術(shù)優(yōu)勢,探索預(yù)測性分析技術(shù)在電力行業(yè)的應(yīng)用。主要研究內(nèi)容如下:

      1、ERP系統(tǒng)報表優(yōu)化:基于HANA加速器架構(gòu),采用ABAP展現(xiàn)技術(shù),不改變現(xiàn)有ERP報表操作界面,開展ERP系統(tǒng)報表性能優(yōu)化提升工作。這項工作是國網(wǎng)首例。

      2、營銷系統(tǒng)報表加速驗證:基于HANA加速營銷報表,采用Java為展現(xiàn)技術(shù),開展?fàn)I銷系統(tǒng)報表性能優(yōu)化的驗證。

      3、基于HANA構(gòu)建配變重過載風(fēng)險中期預(yù)警模型驗證:采用HANA 內(nèi)置的預(yù)測分析庫函數(shù)構(gòu)建配變重過載風(fēng)險中期預(yù)警模型,驗證HANA的預(yù)測分析能力。

      3.2 研究成效和收益

      通過研究和實際驗證,基于內(nèi)存計算的大數(shù)據(jù)平臺技術(shù)能大大提升大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析能力,能夠有效地支撐業(yè)務(wù)部門對海量數(shù)據(jù)的應(yīng)用和分析需求;并且架構(gòu)簡單,易于實施。具體表現(xiàn)在:

      1)提升了ERP用戶的工作效率和滿意度,縮短財務(wù)結(jié)算時間

      ? 使用HANA后,ERP系統(tǒng)報表運(yùn)行速度平均提升63倍,且不改變用戶原有的操作習(xí)慣

      ? 縮短財務(wù)年結(jié)、月結(jié)時間:財務(wù)年結(jié)報表平均運(yùn)行時間由原來的291秒(1張報表運(yùn)行超時)下降為9.9秒,為財務(wù)年結(jié)提供有力技術(shù)支撐。

      ? 架構(gòu)簡單,易于實施,標(biāo)準(zhǔn)報表通過ERP升級補(bǔ)丁即可支持HANA加速器方式,實施周期短、風(fēng)險低,見效快。

      2)提升營銷數(shù)據(jù)實時處理能力和分析精益化程度,提高使用者的體驗,簡化開發(fā)難度

      ? 將目前需要4-6天的報表處理時間縮短到1~2天,提升業(yè)務(wù)響應(yīng)時間。

      ? 實時處理數(shù)據(jù),數(shù)據(jù)使用部門可以及時得到數(shù)據(jù)并可以對數(shù)據(jù)進(jìn)行下一步的處理,提高使用部門的用戶滿意度。

      ? 為進(jìn)一步增加分析維度提供足夠空間,有助于進(jìn)一步提高營銷管理分析精細(xì)度。

      3)建立重過載配變風(fēng)險預(yù)警模型,支撐電網(wǎng)安全運(yùn)行,有效提升配網(wǎng)規(guī)劃建設(shè)水平

      ? 結(jié)合客戶信息、設(shè)備信息,針對重過載配變風(fēng)險預(yù)警模型輸出結(jié)果,不僅支撐電網(wǎng)企業(yè)資產(chǎn)管理水平與客戶服務(wù)能力,最終有效提升配網(wǎng)規(guī)劃建設(shè)水平。

      ? 內(nèi)存計算技術(shù)大大提升當(dāng)前海量數(shù)據(jù)體積的處理速度,SAP HANA SQL/SQL Script支持直接在HANA數(shù)據(jù)庫端實現(xiàn)現(xiàn)有的預(yù)處理邏輯,從而避免網(wǎng)絡(luò)傳輸瓶頸,避免中間過程CSV文件的生成與存儲,大大縮減計算時間和空間。

      ? 開發(fā)模式簡單便利,SAP HANA的SQL/SQL Script可以非常靈活地實現(xiàn)非常復(fù)雜的計算邏輯,這樣既可以讓更多計算邏輯貼近數(shù)據(jù),進(jìn)而提高運(yùn)算速度,也可以讓開發(fā)人員用一門語言完成更多的業(yè)務(wù)邏輯,減輕開發(fā)人員的負(fù)擔(dān)。

      四、結(jié)束語

      充分利用和分析挖掘日益增加的海量數(shù)據(jù),實現(xiàn)實時業(yè)務(wù)洞察和決策支持,優(yōu)化電網(wǎng)和企業(yè)運(yùn)營,提高效率,已經(jīng)越來越成為電力企業(yè)的共識和重要工作內(nèi)容。面對大數(shù)據(jù)管理和應(yīng)用的問題,利用內(nèi)存計算技術(shù),可有效解決海量數(shù)據(jù)信息系統(tǒng)的運(yùn)行分析效率,為全面提升公司管理決策提供信息化支撐。

      目前,本研究成果已在國網(wǎng)福建省電力有限公司應(yīng)用,取得了預(yù)期效果,為國家電網(wǎng)公司海量數(shù)據(jù)分析項目提供借鑒依據(jù)。

      參 考 文 獻(xiàn)

      [1]徐子沛,大數(shù)據(jù):正在到來的數(shù)據(jù)革命,2013-4-1,廣西師范大學(xué)出版社

      [2]付云,大數(shù)據(jù)時代 內(nèi)存計算先行,互聯(lián)網(wǎng)周刊,2012(2)

      [3]趙衍,基于內(nèi)存計算的計算機(jī)快速自動信息標(biāo)引技術(shù),圖書館學(xué)研究,2013(19)

      [4]黃嵐 孫珂 陳曉竹 周敏奇,內(nèi)存集群計算:交互式數(shù)據(jù)分析,華東師范大學(xué)學(xué)報(自然科學(xué)版),2014(5)

      [5]江澤源 劉輝林 吳剛 王國仁,內(nèi)存數(shù)據(jù)庫的可用性綜述,華東師范大學(xué)學(xué)報(自然科學(xué)版),2014(5)

      [6]胡健,和軼,SAP內(nèi)存計算——HANA,2013-7-1,清華大學(xué)出版社

      猜你喜歡
      決策支持數(shù)據(jù)分析大數(shù)據(jù)
      商業(yè)智能分析模式在醫(yī)保病人住院化管理當(dāng)中的應(yīng)用研究
      Excel電子表格在財務(wù)日常工作中的應(yīng)用
      淺析大數(shù)據(jù)時代背景下的市場營銷策略
      新常態(tài)下集團(tuán)公司內(nèi)部審計工作研究
      中國市場(2016年36期)2016-10-19 04:31:23
      淺析大數(shù)據(jù)時代對企業(yè)營銷模式的影響
      基于大數(shù)據(jù)背景下的智慧城市建設(shè)研究
      科技視界(2016年20期)2016-09-29 10:53:22
      建立跨區(qū)域、多維度、品種一體化預(yù)算管控體系
      秦山核電應(yīng)急決策支持系統(tǒng)開發(fā)與研究
      科技視界(2016年15期)2016-06-30 00:32:07
      基于RFID的汽車零件銷售策略支持模型
      突泉县| 陆良县| 治县。| 惠来县| 荔浦县| 万山特区| 拉萨市| 黎城县| 东光县| 浏阳市| 嘉善县| 衡水市| 新余市| 益阳市| 碌曲县| 万宁市| 辽中县| 彭泽县| 山东| 门头沟区| 阿拉善右旗| 江西省| 邵东县| 合川市| 资阳市| 金阳县| 原阳县| 龙口市| 永年县| 浮山县| 家居| 临潭县| 镇康县| 海丰县| 桐柏县| 图们市| 探索| 万山特区| 武乡县| 宁国市| 竹北市|