基于磁光電存儲(chǔ)技術(shù)的數(shù)據(jù)湖總體架構(gòu)探討

賈寧波 孫琢 王凌

藍(lán)光存儲(chǔ)技術(shù)的海量存儲(chǔ)、長(zhǎng)壽命、低能耗的特點(diǎn)是低碳數(shù)據(jù)湖建設(shè)的最佳選擇，結(jié)合電存儲(chǔ)、磁存儲(chǔ)的特性，為數(shù)據(jù)的全生命周期提供服務(wù)，結(jié)合數(shù)據(jù)湖磁光電一體平臺(tái)、數(shù)據(jù)資源管理軟件、數(shù)據(jù)湖運(yùn)維管理系統(tǒng)，有效解決大數(shù)據(jù)使用場(chǎng)景下的快速響應(yīng)、長(zhǎng)期存儲(chǔ)、低碳節(jié)能等要求。

隨著5G、社交網(wǎng)絡(luò)、自媒體的發(fā)展，數(shù)據(jù)總量呈現(xiàn)爆發(fā)式增長(zhǎng)。2020 年全球數(shù)據(jù)產(chǎn)生量達(dá)到 47ZB（1ZB 即 1012GB），而到 2035 年，這一數(shù)字將達(dá)到2142ZB，即年均增速為 1.3 倍，也就是約每3年翻一番。努力降低全社會(huì)長(zhǎng)期保存數(shù)據(jù)的能耗和成本，是需要迫切解決的問(wèn)題?；诖殴怆姶鎯?chǔ)技術(shù)的低碳數(shù)據(jù)湖，并有效解決數(shù)據(jù)低成本、低功耗、長(zhǎng)期存儲(chǔ)問(wèn)題。

一、基于磁光電存儲(chǔ)技術(shù)的數(shù)據(jù)湖硬件架構(gòu)

數(shù)據(jù)湖是存儲(chǔ)數(shù)據(jù)自然/原始格式的系統(tǒng)或存儲(chǔ)，以存儲(chǔ)數(shù)據(jù)為主要目的，兼具數(shù)據(jù)計(jì)算、數(shù)據(jù)治理、數(shù)據(jù)深度分析挖掘、數(shù)據(jù)價(jià)值挖掘等作用。存儲(chǔ)的數(shù)據(jù)類(lèi)型包括結(jié)構(gòu)化數(shù)據(jù)（行和列）、半結(jié)構(gòu)化數(shù)據(jù)（如CSV、日志、XML、JSON）、非結(jié)構(gòu)化數(shù)據(jù)（如email、文檔、PDF等）和二進(jìn)制數(shù)據(jù)（如圖像、音頻、視頻），同時(shí)可以實(shí)現(xiàn)數(shù)據(jù)的長(zhǎng)期保存、無(wú)限擴(kuò)展。

（一）數(shù)據(jù)湖的存儲(chǔ)介質(zhì)

目前主流的存儲(chǔ)方式主要有電存儲(chǔ)、磁存儲(chǔ)、光存儲(chǔ)。

電存儲(chǔ)介質(zhì)以固態(tài)盤(pán)（SSD）為主，固態(tài)盤(pán)不需要機(jī)械轉(zhuǎn)動(dòng)，具備性能高、低功耗、易攜帶、抗震性能好等多種優(yōu)點(diǎn)，在數(shù)據(jù)中心存儲(chǔ)設(shè)備中，固態(tài)盤(pán)已經(jīng)得到了廣泛使用，隨著價(jià)格的進(jìn)一步降低，正在逐漸替代傳統(tǒng)的機(jī)械硬盤(pán)（HDD），廣泛應(yīng)用于分布式存儲(chǔ)系統(tǒng)中。

磁存儲(chǔ)包括磁盤(pán)存儲(chǔ)和磁帶存儲(chǔ)。磁盤(pán)既機(jī)械硬盤(pán)由于價(jià)格便宜、存儲(chǔ)容量大的特性，廣泛用于數(shù)據(jù)中心存儲(chǔ)系統(tǒng)當(dāng)中。機(jī)械硬盤(pán)的原理是電磁存儲(chǔ)，磁盤(pán)高速旋轉(zhuǎn)，磁頭來(lái)回移動(dòng)讀寫(xiě)數(shù)據(jù)，磁盤(pán)高速旋轉(zhuǎn)，噪音較大。機(jī)械硬盤(pán)讀取速度相對(duì)較慢，一般不超過(guò)200MB/S。機(jī)械硬盤(pán)抗震能力弱，磁頭在受到撞擊時(shí)會(huì)易發(fā)生位置偏移，造成硬盤(pán)磁道損壞。傳統(tǒng)磁盤(pán)存儲(chǔ)存在功耗大、壽命短、容量小、安全性低等問(wèn)題，同時(shí)，由于目前占全球存儲(chǔ)市場(chǎng) 80%的磁存儲(chǔ)，其核心技術(shù)、上游材料、整機(jī)設(shè)備均由美日企業(yè)壟斷，我國(guó)存在關(guān)鍵技術(shù)和產(chǎn)品“卡脖子”，以及供應(yīng)鏈嚴(yán)重依賴(lài)進(jìn)口等問(wèn)題。

磁帶存儲(chǔ)是二十世紀(jì)30年代的發(fā)明，距今有將近百年的歷史，磁帶存儲(chǔ)是一種順序存取的設(shè)備，具有存取時(shí)間較長(zhǎng)、存儲(chǔ)容量大、便于攜帶、價(jià)格便宜等特點(diǎn)，同時(shí)磁帶存儲(chǔ)也存在保存環(huán)境要求高、讀寫(xiě)速度慢、兼容性差等缺點(diǎn)。磁場(chǎng)、濕度、溫度和灰塵容易導(dǎo)致磁帶退化、變形、發(fā)霉、粘連、磁化和磁層磨損，每隔2～3年都需要倒帶一次。在讀取數(shù)據(jù)時(shí)，磁帶采用線(xiàn)性尋址方式來(lái)定位數(shù)據(jù)位置，尋址速度較慢，時(shí)間要用分鐘來(lái)計(jì)量，不能滿(mǎn)足數(shù)據(jù)快速訪(fǎng)問(wèn)的需求。磁帶格式不兼容，LTO格式只能向下兼容兩代，造成老磁帶設(shè)備被淘汰，磁帶上的數(shù)據(jù)將無(wú)法讀取。

光存儲(chǔ)技術(shù)是二十世紀(jì)80年代興起的存儲(chǔ)技術(shù)，光存儲(chǔ)具有海量存儲(chǔ)、長(zhǎng)壽命、低能耗的特點(diǎn)。目前國(guó)內(nèi)單張藍(lán)光光盤(pán)最大容量為500GB，采用無(wú)機(jī)相變材料，雙面6個(gè)記錄層，實(shí)現(xiàn)容量的提升，標(biāo)準(zhǔn)19英寸機(jī)柜容量3.192PB。根據(jù)目前的研發(fā)進(jìn)度，通過(guò)基于高精度運(yùn)算的串?dāng)_消除技術(shù)，消除窄信道間距化引起的相鄰信道間串?dāng)_的影響，改善信噪比，實(shí)現(xiàn)信道間距≤180nm且≥4 值化信號(hào)的高精度穩(wěn)定讀取，預(yù)計(jì)到2025年，單張藍(lán)光光盤(pán)的最大存儲(chǔ)容量將為1TB，標(biāo)準(zhǔn)19英寸機(jī)柜容量可達(dá)6PB。

按照法律的強(qiáng)制規(guī)定，金融數(shù)據(jù)應(yīng)該保存7年甚至更長(zhǎng)，關(guān)鍵設(shè)計(jì)文檔數(shù)據(jù)應(yīng)該保存15年，醫(yī)療數(shù)據(jù)應(yīng)該至少保存30年，這些長(zhǎng)期存儲(chǔ)的數(shù)據(jù)被稱(chēng)為“冷數(shù)據(jù)”，被訪(fǎng)問(wèn)的頻率非常低。隨著大數(shù)據(jù)時(shí)代的到來(lái)，這些“冷數(shù)據(jù)”需要有效可靠的存儲(chǔ)設(shè)備。藍(lán)光光盤(pán)壽命長(zhǎng)達(dá)50年，期間無(wú)需更換介質(zhì)和數(shù)據(jù)遷移。同時(shí)由于藍(lán)光存儲(chǔ)具有存儲(chǔ)介質(zhì)和驅(qū)動(dòng)裝置分離的特性，有利于數(shù)據(jù)的長(zhǎng)期存儲(chǔ)。

藍(lán)光存儲(chǔ)自身能耗極低，42U高度藍(lán)光機(jī)柜工作功耗170瓦特/小時(shí)，待機(jī)功耗僅為7瓦特/小時(shí)，無(wú)需專(zhuān)業(yè)空調(diào)設(shè)備，極大降低數(shù)據(jù)中心電能消耗。經(jīng)過(guò)信通院泰爾實(shí)驗(yàn)室檢測(cè)，1PB藍(lán)光存儲(chǔ)每小時(shí)能耗僅為磁存儲(chǔ)的5.28%，與傳統(tǒng)以磁存儲(chǔ)為主的機(jī)房比較，1000PB存儲(chǔ)規(guī)模，每年節(jié)省電能1482萬(wàn)千瓦時(shí)，節(jié)能比例96.49%。

（二）磁光電混合存儲(chǔ)的特性和優(yōu)勢(shì)

海量的高價(jià)值數(shù)據(jù)如何長(zhǎng)期、穩(wěn)定、低能耗存儲(chǔ)已成為各國(guó)數(shù)字化轉(zhuǎn)型的共性和瓶頸問(wèn)題。按照存儲(chǔ)介質(zhì)，結(jié)合電存儲(chǔ)、磁存儲(chǔ)高速響應(yīng)的特性，利用光存儲(chǔ)系統(tǒng)存儲(chǔ)大規(guī)模溫冷數(shù)據(jù)，利用磁存儲(chǔ)和電存儲(chǔ)技術(shù)存儲(chǔ)高頻訪(fǎng)問(wèn)數(shù)據(jù)，構(gòu)成高效率的數(shù)據(jù)存儲(chǔ)體系，能夠保證數(shù)據(jù)的完整性及規(guī)模性，實(shí)現(xiàn)數(shù)據(jù)的分類(lèi)保存和高效讀寫(xiě)，充分發(fā)揮不同類(lèi)型數(shù)據(jù)的短期和長(zhǎng)期價(jià)值，使得磁光電混合存儲(chǔ)成為當(dāng)前發(fā)展趨勢(shì)。利用分布式存儲(chǔ)架構(gòu)，融合磁盤(pán)、磁帶、固態(tài)硬盤(pán)、光盤(pán)等存儲(chǔ)介質(zhì)的優(yōu)勢(shì)，提供高效、安全、穩(wěn)定、低成本的全介質(zhì)數(shù)據(jù)存儲(chǔ)系統(tǒng)，保證數(shù)據(jù)安全的同時(shí)節(jié)約社會(huì)存儲(chǔ)成本。

（三）硬件架構(gòu)

磁光電全介質(zhì)存儲(chǔ)系統(tǒng)，基于全介質(zhì)管理的能力和智能分級(jí)技術(shù)，兼具電、磁存儲(chǔ)高性能讀寫(xiě)和光存儲(chǔ)海量存儲(chǔ)、長(zhǎng)壽命、低能耗等特點(diǎn)的分級(jí)存儲(chǔ)能力。

存儲(chǔ)層劃分為熱數(shù)據(jù)池和溫冷數(shù)據(jù)池。業(yè)務(wù)層產(chǎn)生的視頻、圖片、文件等非結(jié)構(gòu)化數(shù)據(jù)通過(guò)接口寫(xiě)入到電磁存儲(chǔ)上，保證數(shù)據(jù)讀寫(xiě)的快速響應(yīng)，隨著數(shù)據(jù)訪(fǎng)問(wèn)頻率的降低，系統(tǒng)會(huì)依據(jù)生命周期管理策略將數(shù)據(jù)轉(zhuǎn)儲(chǔ)至溫冷數(shù)據(jù)池的藍(lán)光介質(zhì)。數(shù)據(jù)在不同介質(zhì)中智能流轉(zhuǎn)均通過(guò)系統(tǒng)自動(dòng)實(shí)現(xiàn)。

磁光電全介質(zhì)分級(jí)存儲(chǔ)架構(gòu)，20%的熱數(shù)據(jù)通過(guò)電、磁存儲(chǔ)，保證高性能；80%的冷數(shù)據(jù)通過(guò)藍(lán)光存儲(chǔ)長(zhǎng)久保存，綠色節(jié)能，安全可靠。磁光電混合分級(jí)存儲(chǔ)架構(gòu)，是解決數(shù)據(jù)湖能耗、能效及安全問(wèn)題的關(guān)鍵技術(shù)。

二、目前主要廠(chǎng)商數(shù)據(jù)湖軟件架構(gòu)概述

（一）AWS數(shù)據(jù)湖軟件架構(gòu)

AWS數(shù)據(jù)湖架構(gòu)是基于AWS Lake Formation構(gòu)建的。AWS Lake Formation是管理性質(zhì)的組件，和其他AWS服務(wù)配合，完成整個(gè)數(shù)據(jù)湖構(gòu)建。數(shù)據(jù)處理的過(guò)程包括數(shù)據(jù)流入、數(shù)據(jù)沉淀、數(shù)據(jù)計(jì)算、數(shù)據(jù)應(yīng)用四個(gè)步驟。

數(shù)據(jù)流入包括元數(shù)據(jù)的流入和業(yè)務(wù)數(shù)據(jù)流入，元數(shù)據(jù)流入包括數(shù)據(jù)源創(chuàng)建、元數(shù)據(jù)抓取，形成數(shù)據(jù)資源目錄，生成安全設(shè)置與訪(fǎng)問(wèn)控制策略。AWS把元數(shù)據(jù)抓取、ETL和數(shù)據(jù)準(zhǔn)備剝離出來(lái)形成AWS GLUE組件。AWS GLUE與AWS Lake Formation共享同一個(gè)數(shù)據(jù)資源目錄。異構(gòu)數(shù)據(jù)的接入AWS支持S3、AWS關(guān)系型數(shù)據(jù)庫(kù)、AWS NoSQL數(shù)據(jù)庫(kù)，AWS利用GLUE、EMR、Athena等組件支持?jǐn)?shù)據(jù)的流動(dòng)。

在數(shù)據(jù)沉淀階段，AWS 采用Amazon S3（Simple Storage Service）作為整個(gè)數(shù)據(jù)湖的集中存儲(chǔ)模式，Amazon S3是一種對(duì)象存儲(chǔ)服務(wù)，可提供業(yè)界領(lǐng)先的可擴(kuò)展性、數(shù)據(jù)可用性、安全性和性能。Amazon S3提供易于使用的管理功能，以便組織數(shù)據(jù)并配置經(jīng)過(guò)微調(diào)的訪(fǎng)問(wèn)控制，以滿(mǎn)足特定業(yè)務(wù)、組織和合規(guī)性要求。

在數(shù)據(jù)計(jì)算階段AWS采用GLUE組件進(jìn)行基本的數(shù)據(jù)處理。GLUE計(jì)算形式是批處理模式的ETL任務(wù)，觸發(fā)方式包括手動(dòng)觸發(fā)、定時(shí)觸發(fā)、事件觸發(fā)三種。事件觸發(fā)模式，利用AWS Lambda架構(gòu)進(jìn)行開(kāi)發(fā)，提升了任務(wù)觸發(fā)的定制開(kāi)發(fā)能力，各類(lèi)ETL任務(wù)，可以通過(guò)CloudWatch進(jìn)行監(jiān)控。

在權(quán)限管理方面， AWS通過(guò)Lake Formation提供的權(quán)限管理，數(shù)據(jù)資源目錄訪(fǎng)問(wèn)權(quán)限和底層數(shù)據(jù)訪(fǎng)問(wèn)權(quán)限，對(duì)應(yīng)元數(shù)據(jù)與實(shí)際存儲(chǔ)的數(shù)據(jù)。存儲(chǔ)數(shù)據(jù)的訪(fǎng)問(wèn)權(quán)限又進(jìn)一步分為數(shù)據(jù)存取權(quán)限和數(shù)據(jù)存儲(chǔ)訪(fǎng)問(wèn)權(quán)限，數(shù)據(jù)存取權(quán)限類(lèi)似于數(shù)據(jù)庫(kù)中對(duì)于庫(kù)表的訪(fǎng)問(wèn)權(quán)限，數(shù)據(jù)存儲(chǔ)權(quán)限則進(jìn)一步細(xì)化了對(duì)于S3中具體目錄的訪(fǎng)問(wèn)權(quán)限。

AWS 客戶(hù)能夠在云中構(gòu)建數(shù)據(jù)湖，并提供可擴(kuò)展、安全、經(jīng)濟(jì)高效的組合，同時(shí)使用機(jī)器學(xué)習(xí)的各種分析方法進(jìn)行數(shù)據(jù)分析。Lake Formation為提供查詢(xún)數(shù)據(jù)集的能力，AWS Glue用于數(shù)據(jù)集成，Athena用于SQL， Redshift用于數(shù)據(jù)倉(cāng)庫(kù)，EMR用于基于Apache spark的大數(shù)據(jù)處理。Lake Formation的數(shù)據(jù)集顯示在目錄中，始終執(zhí)行訪(fǎng)問(wèn)控制，用戶(hù)隨時(shí)在相同的數(shù)據(jù)上組合分析方法。

（二）華為數(shù)據(jù)湖軟件架構(gòu)

華為數(shù)據(jù)湖主要包括兩個(gè)平臺(tái)，數(shù)據(jù)湖探索平臺(tái)（DLI）和智能數(shù)據(jù)湖運(yùn)營(yíng)平臺(tái)（DAYU），DLI相當(dāng)于AWS的Lake Formation、GLUE、Athena、EMR（Flink&Spark）的集合，DAYU是數(shù)據(jù)治理平臺(tái)。

數(shù)據(jù)湖探索DLI兼容openLooKeng、Apache Spark、Apache Flink生態(tài)，提供流處理、批處理、交互式分析的融合處理分析服務(wù)，使用標(biāo)準(zhǔn)SQL、Spark、Flink程序完成多數(shù)據(jù)源的聯(lián)合計(jì)算分析，挖掘數(shù)據(jù)價(jià)值。

DLI用戶(hù)可以通過(guò)可視化界面、Restful API、JDBC、ODBC、Beeline等多種接入方式對(duì)云上CloudTable、RDS和DWS等異構(gòu)數(shù)據(jù)源進(jìn)行查詢(xún)分析，數(shù)據(jù)格式兼容CSV、 JSON、Parquet和ORC主流數(shù)據(jù)格式。

DLI基本功能包括SQL作業(yè)支持SQL查詢(xún)、Flink SQL在線(xiàn)分析、全托管式Spark計(jì)算，同時(shí)DLI可以實(shí)現(xiàn)多數(shù)據(jù)源分析、存算分離、彈性資源池調(diào)度與管理。DLI 核心引擎，Spark是用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一分析引擎，聚焦于查詢(xún)計(jì)算分析，F(xiàn)link是一款分布式的計(jì)算引擎，可以用來(lái)做批處理，即處理靜態(tài)的數(shù)據(jù)集、歷史的數(shù)據(jù)集，openLooKeng使用了業(yè)界著名的開(kāi)源SQL引擎Presto來(lái)提供交互式查詢(xún)分析基礎(chǔ)能力。DLI是無(wú)服務(wù)器化的大數(shù)據(jù)查詢(xún)分析服務(wù)，可以實(shí)現(xiàn)按量計(jì)費(fèi)和自動(dòng)擴(kuò)縮容。

智能數(shù)據(jù)湖運(yùn)營(yíng)平臺(tái)提供數(shù)據(jù)全生命周期管理、具有數(shù)據(jù)管理能力的治理運(yùn)營(yíng)平臺(tái)，包含數(shù)據(jù)集成、規(guī)范設(shè)計(jì)、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)等功能，提供知識(shí)庫(kù)建設(shè)，支持?jǐn)?shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算分析引擎等數(shù)據(jù)底座等功能。

三、基于磁光電存儲(chǔ)技術(shù)的數(shù)據(jù)湖架構(gòu)

（一）光磁一體平臺(tái)

光磁一體平臺(tái)提供了對(duì)象熱磁存儲(chǔ)、對(duì)象歸檔存儲(chǔ)、生命周期管理、數(shù)據(jù)抽取、容量擴(kuò)展、數(shù)據(jù)讀寫(xiě)、冷熱數(shù)據(jù)轉(zhuǎn)換等功能。

熱磁存儲(chǔ)為重要數(shù)據(jù)歸檔系統(tǒng)、視圖庫(kù)系統(tǒng)或其他應(yīng)用系統(tǒng)提供熱磁存儲(chǔ)能力，統(tǒng)一以AWS S3協(xié)議接口暴露給上層應(yīng)用。冷數(shù)據(jù)歸檔存儲(chǔ)為重要數(shù)據(jù)歸檔系統(tǒng)、視圖庫(kù)系統(tǒng)或其他應(yīng)用系統(tǒng)提供藍(lán)光歸檔存儲(chǔ)存儲(chǔ)能力，統(tǒng)一以 aws glacier 協(xié)議接口暴露給上層應(yīng)用。用戶(hù)通過(guò)對(duì)熱磁空間存儲(chǔ)桶進(jìn)行生命周期設(shè)置，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)策略，由熱磁遷移至藍(lán)光歸檔存儲(chǔ)，實(shí)現(xiàn)光磁轉(zhuǎn)換的功能。平臺(tái)提供用戶(hù)管理、光盤(pán)庫(kù)信息查詢(xún)、光盤(pán)庫(kù)狀態(tài)監(jiān)控、光盤(pán)庫(kù)注冊(cè)刪除，存儲(chǔ)桶狀態(tài)監(jiān)控，以 RESTfulapi 為用戶(hù)提供監(jiān)控運(yùn)維服務(wù)。同時(shí)系統(tǒng)支持容量擴(kuò)展功能，可根據(jù)實(shí)際的存儲(chǔ)需求進(jìn)行容量的擴(kuò)展。光磁一體平臺(tái)支持?jǐn)?shù)據(jù)讀寫(xiě)功能，能夠?qū)σ曨l、圖片等大容量數(shù)據(jù)進(jìn)行讀寫(xiě)以及數(shù)據(jù)加密、多并發(fā)等數(shù)據(jù)操作。系統(tǒng)也可根據(jù)系統(tǒng)配置策略進(jìn)行動(dòng)態(tài)調(diào)整，磁盤(pán)和藍(lán)光存儲(chǔ)介質(zhì)之間的數(shù)據(jù)讀寫(xiě)傳輸效率能夠支持平臺(tái)情報(bào)數(shù)據(jù)的分析處理能力。

（二）數(shù)據(jù)資源管理平臺(tái)

數(shù)據(jù)資源管理平臺(tái)是基于大數(shù)據(jù)、容器、云計(jì)算技術(shù)，提供數(shù)據(jù)探查、采集、清洗、處理、管理、應(yīng)用、全局調(diào)度、接口服務(wù)，推動(dòng)實(shí)現(xiàn)數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)化的綜合性平臺(tái)工具。

針對(duì)不同部門(mén)，不同業(yè)務(wù)的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行摸底，探查元數(shù)據(jù)信息、質(zhì)量情況，篩選出數(shù)據(jù)治理最為關(guān)注的核心數(shù)據(jù)，降低數(shù)據(jù)治理成本。

同時(shí)依照DAMA3.0標(biāo)準(zhǔn)設(shè)置規(guī)則，支持全周期評(píng)估數(shù)據(jù)質(zhì)量，方便數(shù)據(jù)提供方在已接入數(shù)據(jù)的基礎(chǔ)上線(xiàn)上修改接入轉(zhuǎn)換流程或者線(xiàn)下更新數(shù)據(jù)，對(duì)問(wèn)題數(shù)據(jù)進(jìn)行處理，從根源上解決問(wèn)題數(shù)據(jù)提升數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)數(shù)據(jù)治理的閉環(huán)。

數(shù)據(jù)處理模塊提供一站式、界面化的大數(shù)據(jù)開(kāi)發(fā)與測(cè)試系統(tǒng)。支持用戶(hù)靈活進(jìn)行SQL、Hive、流計(jì)算等各類(lèi)任務(wù)的腳本開(kāi)發(fā)，實(shí)現(xiàn)指標(biāo)表的創(chuàng)建、數(shù)據(jù)血緣的分析、數(shù)倉(cāng)的分層以及上層其他應(yīng)用的數(shù)據(jù)分析。

智能知識(shí)庫(kù)模塊實(shí)現(xiàn)智能化管理企業(yè)、政府海量非結(jié)構(gòu)化、結(jié)構(gòu)化、半結(jié)構(gòu)化的文檔和數(shù)據(jù)，讓所有的知識(shí)可以用自然語(yǔ)言即可查詢(xún)、應(yīng)用，實(shí)現(xiàn)深化知識(shí)積淀、業(yè)務(wù)經(jīng)驗(yàn)分享借鑒、信息快速查找。

（三）數(shù)據(jù)湖運(yùn)維管理系統(tǒng)軟件

數(shù)據(jù)湖運(yùn)維管理系統(tǒng)軟件提供了基礎(chǔ)資源監(jiān)控平臺(tái)、分布式采集器、基礎(chǔ)資源授權(quán)、存儲(chǔ)管理模塊、可視化大屏展示、網(wǎng)絡(luò)鏈路監(jiān)控、動(dòng)環(huán)系統(tǒng)集成包等功能。平臺(tái)能夠通過(guò)資源管理、拓?fù)涔芾?、告警管理、?bào)表管理、工單系統(tǒng)管理和系統(tǒng)管理等子功能完成基礎(chǔ)資源監(jiān)控平臺(tái)功能。同時(shí)平臺(tái)通過(guò)分布式采集器用于大規(guī)模資源采集、分支機(jī)構(gòu)或者異地進(jìn)行監(jiān)控?cái)?shù)據(jù)的采集。基礎(chǔ)資源授權(quán)模塊實(shí)現(xiàn)交換機(jī)、路由器、防火墻、服務(wù)器、數(shù)據(jù)庫(kù)、應(yīng)用量等網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、宿主機(jī)、郵件系統(tǒng)完成基礎(chǔ)資源授權(quán)功能。存儲(chǔ)管理模塊通過(guò)存儲(chǔ)設(shè)備監(jiān)控管理和存儲(chǔ)設(shè)備運(yùn)行狀況監(jiān)控管理完成存儲(chǔ)管理功能。可視化大屏能夠?qū)?shù)據(jù)監(jiān)控結(jié)果進(jìn)行可視化展示。網(wǎng)絡(luò)鏈路監(jiān)控能夠通過(guò)全國(guó)鏈路監(jiān)控 Ping、Http、https、dns等完成網(wǎng)絡(luò)鏈路監(jiān)控功能。動(dòng)環(huán)系統(tǒng)集成包通過(guò)讀取對(duì)方系統(tǒng)的指標(biāo)數(shù)據(jù)后能夠在機(jī)房視圖中統(tǒng)一展現(xiàn)。

磁光電混合存儲(chǔ)提供對(duì)象存儲(chǔ)和文件存儲(chǔ)服務(wù)，支持標(biāo)準(zhǔn)的 S3、NFS、CIFS、FTP 協(xié)議，利用藍(lán)光介質(zhì)實(shí)現(xiàn) EB 級(jí)數(shù)據(jù)的安全、高效、綠色、低成本保存；系統(tǒng)通過(guò)按需擴(kuò)展的分布式架構(gòu)，有效降低用戶(hù)一次性投入成本；數(shù)據(jù)與元數(shù)據(jù)分離，小文件歸并等方式可有效提升整體的讀寫(xiě)性能；生命周期策略可實(shí)現(xiàn)數(shù)據(jù)的跨介質(zhì)流動(dòng)；通過(guò)EC和副本兩種保護(hù)策略、數(shù)據(jù)恢復(fù)QOS、前后端一致性校驗(yàn)，保證數(shù)據(jù)安全可靠；運(yùn)維管控界面對(duì)集群信息、審計(jì)日志、告警監(jiān)控提供有力支持；提供API、SDK、CLI、控制臺(tái)以及圖形化管理工具，為不同用戶(hù)提供便捷訪(fǎng)問(wèn)方式。

《“十四五”國(guó)家信息化規(guī)劃》明確提出，“十四五”時(shí)期，信息化進(jìn)入加快數(shù)字化發(fā)展、建設(shè)數(shù)字中國(guó)新階段。數(shù)據(jù)作為新型生產(chǎn)要素，成為讓物理世界和數(shù)字世界靈魂互通的橋梁。以自動(dòng)駕駛、車(chē)路協(xié)同為主要應(yīng)用的交通行業(yè)，以數(shù)字孿生、智能制造為主要應(yīng)用的制造行業(yè)，以精準(zhǔn)醫(yī)療、影像云、腦成像為主要應(yīng)用的醫(yī)療行業(yè)，都對(duì)數(shù)據(jù)存儲(chǔ)有十分迫切的需求，同時(shí)也急需解決存儲(chǔ)的海量、長(zhǎng)期、綠色和自主可控的問(wèn)題。

基于磁光電存儲(chǔ)技術(shù)的數(shù)據(jù)湖，有效解決數(shù)據(jù)海量、長(zhǎng)期、綠色存儲(chǔ)的問(wèn)題，是全社會(huì)數(shù)據(jù)資產(chǎn)存儲(chǔ)和智慧城市的數(shù)據(jù)“底座”，對(duì)于推進(jìn)數(shù)據(jù)要素有效利用、數(shù)據(jù)價(jià)值的深入挖掘有著重要的意義。同時(shí)，基于磁光電存儲(chǔ)技術(shù)的數(shù)據(jù)湖，在金融、醫(yī)療、存檔等需要長(zhǎng)期存儲(chǔ)的行業(yè)，數(shù)據(jù)的海量存儲(chǔ)和計(jì)算成為可能，為新型數(shù)據(jù)中心建設(shè)提供了新的思路和解決方案。