怎樣跨歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析

Nikita Ivanov

5個(gè)內(nèi)存計(jì)算平臺(tái)功能，支持對(duì)數(shù)據(jù)湖數(shù)據(jù)和操作流的分析處理。

當(dāng)今的分析需求給現(xiàn)有數(shù)據(jù)基礎(chǔ)設(shè)施帶來(lái)了前所未有的壓力。能否跨操作和存儲(chǔ)數(shù)據(jù)執(zhí)行實(shí)時(shí)分析對(duì)業(yè)務(wù)成功來(lái)說(shuō)非常重要，但實(shí)現(xiàn)起來(lái)總是充滿(mǎn)挑戰(zhàn)。

有一家航空公司，他們希望收集并分析其噴氣發(fā)動(dòng)機(jī)的連續(xù)數(shù)據(jù)流，以實(shí)現(xiàn)預(yù)測(cè)性維護(hù)，更快地解決問(wèn)題。每臺(tái)發(fā)動(dòng)機(jī)都有數(shù)百個(gè)傳感器，用于監(jiān)測(cè)溫度、速度和振動(dòng)等參數(shù)，并將這些信息不斷地發(fā)送到物聯(lián)網(wǎng)（IoT）平臺(tái)。物聯(lián)網(wǎng)平臺(tái)接收、處理和分析數(shù)據(jù)后，將其存儲(chǔ)在數(shù)據(jù)湖（也稱(chēng)為操作數(shù)據(jù)存儲(chǔ)）中，只有最新的數(shù)據(jù)保留在操作數(shù)據(jù)庫(kù)中。

現(xiàn)在，只要實(shí)時(shí)數(shù)據(jù)中的異常讀數(shù)觸發(fā)某一引擎的警報(bào)，航空公司就需要對(duì)該引擎的實(shí)時(shí)操作數(shù)據(jù)和存儲(chǔ)的歷史數(shù)據(jù)同時(shí)進(jìn)行實(shí)時(shí)分析。然而，航空公司可能會(huì)發(fā)現(xiàn)，利用其現(xiàn)有基礎(chǔ)設(shè)施不可能進(jìn)行實(shí)時(shí)分析。

如今，開(kāi)發(fā)大數(shù)據(jù)計(jì)劃的企業(yè)通常使用Hadoop將其操作數(shù)據(jù)的副本存儲(chǔ)在數(shù)據(jù)湖中，數(shù)據(jù)科學(xué)家可以訪問(wèn)其中的數(shù)據(jù)，進(jìn)行各種分析。當(dāng)實(shí)際應(yīng)用需要對(duì)輸入的操作數(shù)據(jù)以及存儲(chǔ)在數(shù)據(jù)湖中的數(shù)據(jù)子集進(jìn)行實(shí)時(shí)分析時(shí)，傳統(tǒng)的基礎(chǔ)設(shè)施就成了絆腳石。訪問(wèn)存儲(chǔ)在數(shù)據(jù)湖中的數(shù)據(jù)時(shí)存在固有的延遲，跨數(shù)據(jù)湖和操作數(shù)據(jù)運(yùn)行聯(lián)合查詢(xún)也會(huì)遇到挑戰(zhàn)。

內(nèi)存計(jì)算解決方案具有實(shí)時(shí)性能、極強(qiáng)的可擴(kuò)展性，并且能與流行的數(shù)據(jù)平臺(tái)進(jìn)行內(nèi)置集成，從而解決了跨數(shù)據(jù)湖和操作數(shù)據(jù)進(jìn)行實(shí)時(shí)分析的難題。這些功能使混合業(yè)務(wù)/分析處理（HTAP）功能能夠跨數(shù)據(jù)湖和操作數(shù)據(jù)集進(jìn)行實(shí)時(shí)聯(lián)合查詢(xún)。

內(nèi)存計(jì)算平臺(tái)功能

內(nèi)存計(jì)算平臺(tái)支持對(duì)操作數(shù)據(jù)的接收、處理和分析，對(duì)于以下部分或者全部項(xiàng)目還支持實(shí)時(shí)性能和PB級(jí)擴(kuò)展：

·內(nèi)存數(shù)據(jù)網(wǎng)格和內(nèi)存數(shù)據(jù)庫(kù)。內(nèi)存數(shù)據(jù)網(wǎng)格和內(nèi)存數(shù)據(jù)庫(kù)匯集了服務(wù)器集群的可用內(nèi)存和計(jì)算能力，允許在內(nèi)存中處理數(shù)據(jù)，并消除了在處理前等待從磁盤(pán)檢索數(shù)據(jù)的延時(shí)。內(nèi)存中的數(shù)據(jù)網(wǎng)格部署在現(xiàn)有數(shù)據(jù)庫(kù)之上，并保持與底層數(shù)據(jù)庫(kù)的同步，而內(nèi)存中的數(shù)據(jù)庫(kù)則在內(nèi)存中維持完整的數(shù)據(jù)集，周期性地將數(shù)據(jù)寫(xiě)入硬盤(pán)，僅用于備份和恢復(fù)目的。內(nèi)存中的數(shù)據(jù)網(wǎng)格和內(nèi)存中的數(shù)據(jù)庫(kù)可以部署在本地、公有云或者私有云中，也可以部署在混合環(huán)境中。

·流數(shù)據(jù)處理。內(nèi)存計(jì)算平臺(tái)可以從流行的流媒體平臺(tái)（例如，Apache Kafka）實(shí)時(shí)獲取、處理和分析大批量的數(shù)據(jù)流。

·機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。結(jié)合了機(jī)器學(xué)習(xí)庫(kù)的內(nèi)存計(jì)算平臺(tái)支持使用操作數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)模型進(jìn)行實(shí)時(shí)訓(xùn)練。內(nèi)存計(jì)算平臺(tái)可與TensorFlow等深度學(xué)習(xí)平臺(tái)進(jìn)行本機(jī)集成，能夠顯著降低準(zhǔn)備數(shù)據(jù)并將數(shù)據(jù)傳輸?shù)竭@些深度學(xué)習(xí)訓(xùn)練平臺(tái)的成本和復(fù)雜性。

·聯(lián)合查詢(xún)。一些內(nèi)存計(jì)算平臺(tái)利用與流行的流數(shù)據(jù)平臺(tái)（包括Apache Kafka和Apache Spark）的內(nèi)置集成特性，實(shí)現(xiàn)跨數(shù)據(jù)湖和操作數(shù)據(jù)集的聯(lián)合查詢(xún)。Apache Kafka用于構(gòu)建實(shí)時(shí)數(shù)據(jù)流水線(xiàn)和流式應(yīng)用程序，為輸入數(shù)據(jù)的實(shí)時(shí)處理提供數(shù)據(jù)。Apache Sark是一個(gè)統(tǒng)一的分析引擎，可以執(zhí)行大規(guī)模的數(shù)據(jù)處理，包括跨Hadoop數(shù)據(jù)湖和操作數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)進(jìn)行聯(lián)合查詢(xún)。

·混合業(yè)務(wù)/分析處理（HTAP）或者混合操作/分析處理（HOAP）。采用HTAP、HOAP或者業(yè)務(wù)分析，企業(yè)能夠維護(hù)一個(gè)單一的數(shù)據(jù)集，在該數(shù)據(jù)集上他們可以同時(shí)執(zhí)行業(yè)務(wù)和分析處理，從而消除了把數(shù)據(jù)從專(zhuān)用業(yè)務(wù)數(shù)據(jù)庫(kù)移動(dòng)到獨(dú)立的專(zhuān)用分析數(shù)據(jù)庫(kù)所需的昂貴而又緩慢的提取、轉(zhuǎn)換和加載（ETL）過(guò)程。

從Apache Kafka到Apache Spark再到實(shí)時(shí)深度分析

本例中的航空公司采用與Kafka、Spark和Hadoop集成后的內(nèi)存計(jì)算平臺(tái)，能夠針對(duì)某一引擎，同時(shí)對(duì)其實(shí)時(shí)操作數(shù)據(jù)和歷史數(shù)據(jù)運(yùn)行實(shí)時(shí)分析。Apache Kafka向內(nèi)存計(jì)算平臺(tái)提供實(shí)時(shí)流數(shù)據(jù)。內(nèi)存計(jì)算平臺(tái)在內(nèi)存中維護(hù)操作和溫度數(shù)據(jù)，并跨數(shù)據(jù)集運(yùn)行實(shí)時(shí)查詢(xún)。Spark從數(shù)據(jù)湖中檢索歷史數(shù)據(jù)，從內(nèi)存計(jì)算平臺(tái)中檢索溫度操作數(shù)據(jù)，通過(guò)跨數(shù)據(jù)孤島運(yùn)行查詢(xún)來(lái)實(shí)現(xiàn)更深入的深度分析。有了這種架構(gòu)后，航空公司就能夠即時(shí)深度分析產(chǎn)生異常讀數(shù)的原因。

現(xiàn)代數(shù)據(jù)基礎(chǔ)架構(gòu)最受歡迎的一些優(yōu)點(diǎn)包括：預(yù)測(cè)性維護(hù)和更快地解決問(wèn)題，從而讓客戶(hù)更加滿(mǎn)意，提高資產(chǎn)利用率，獲得更高的投資回報(bào)率……等等。使用內(nèi)存計(jì)算平臺(tái)對(duì)操作數(shù)據(jù)和數(shù)據(jù)湖數(shù)據(jù)子集運(yùn)行實(shí)時(shí)分析，可以使這些以及其他新的實(shí)時(shí)物聯(lián)網(wǎng)服務(wù)成為現(xiàn)實(shí)。

Nikita Ivanov是GridGain系統(tǒng)公司的聯(lián)合創(chuàng)始人和首席技術(shù)官，負(fù)責(zé)領(lǐng)導(dǎo)開(kāi)發(fā)先進(jìn)和分布式內(nèi)存數(shù)據(jù)處理技術(shù)。他在軟件應(yīng)用程序開(kāi)發(fā)、構(gòu)建HPC和中間件平臺(tái)方面有20多年的經(jīng)驗(yàn)，并為Adaptec，Visa和BEA系統(tǒng)等公司的工作做出了貢獻(xiàn)。

原文網(wǎng)址

https：//www.infoworld.com/article/3430787/how-to-perform-real-time-analytics-across-live-and-historical-data.html