Dataops正在改變數(shù)據(jù)、分析和機(jī)器學(xué)習(xí)

Isaac Sacolick

Dataops團(tuán)隊(duì)將幫助我們充分利用數(shù)據(jù)。以下內(nèi)容為我們展示了人員、流程、技術(shù)和文化是如何整合在一起的。

你是否注意到大多數(shù)企業(yè)都在嘗試著利用自己的數(shù)據(jù)做更多的事情？

企業(yè)正在大力投資數(shù)據(jù)科學(xué)項(xiàng)目、自助式商業(yè)智能工具、人工智能項(xiàng)目等以提升由數(shù)據(jù)驅(qū)動的決策工作。其中，部分企業(yè)通過將數(shù)據(jù)可視化嵌入到Web和移動產(chǎn)品中，或者從傳感器（物聯(lián)網(wǎng)）、可穿戴設(shè)備和第三方API收集新型數(shù)據(jù)的方式開發(fā)面向客戶的應(yīng)用程序。還有部分企業(yè)正在利用來自文檔、圖像、視頻和口語等非結(jié)構(gòu)化數(shù)據(jù)源的信息。

圍繞數(shù)據(jù)和分析的大部分工作都是從中獲取價(jià)值。這包括用于決策的儀表盤、報(bào)告和數(shù)據(jù)可視化，由數(shù)據(jù)科學(xué)家創(chuàng)建的用于預(yù)測結(jié)果的模型，或整合了數(shù)據(jù)、分析和模型的應(yīng)用程序。

基礎(chǔ)數(shù)據(jù)運(yùn)營工作（即Dataops）需要在數(shù)據(jù)做好供人們分析和格式化寫入應(yīng)用程序以提供給最終用戶的準(zhǔn)備工作之前完成。但是這些工作的價(jià)值往往會被低估。

Dataops包括匯集、處理、清理、存儲和管理數(shù)據(jù)的所有工作。為了描述數(shù)據(jù)集成、數(shù)據(jù)處理、ETL（提取、轉(zhuǎn)換和加載）、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理，數(shù)據(jù)屏蔽和測試數(shù)據(jù)管理等不同功能，我們使用了一些復(fù)雜的術(shù)語。

就像汽車并不僅僅是各個(gè)零部件的總和一樣，Dataops也是了如此。Dataops是數(shù)據(jù)管理實(shí)踐中一個(gè)相對較新的總稱，其目標(biāo)是使數(shù)據(jù)用戶（包括管理人員、數(shù)據(jù)科學(xué)家、應(yīng)用程序）能夠成功地從數(shù)據(jù)中獲取業(yè)務(wù)價(jià)值。

Dataops如何與其他技術(shù)實(shí)踐協(xié)同工作

Dataops匯聚了眾多靈活工作方法的諸多特點(diǎn)，推動了數(shù)據(jù)處理指標(biāo)和質(zhì)量的迭代改進(jìn)。與此同時(shí)，它還具有devops的優(yōu)點(diǎn)，尤其是在自動化數(shù)據(jù)流方面，能夠更為頻繁地調(diào)整數(shù)據(jù)處理功能，在響應(yīng)數(shù)據(jù)運(yùn)營事件時(shí)可縮短恢復(fù)時(shí)間。

Dataops甚至還發(fā)布了一個(gè)DataOps宣言，其中包含了20項(xiàng)原則，涵蓋了文化（不斷滿足客戶）、團(tuán)隊(duì)動態(tài)（自發(fā)組織、每日互動）、技術(shù)實(shí)踐（創(chuàng)建一次性環(huán)境）和質(zhì)量（監(jiān)控質(zhì)量和性能）等眾多方面。

你可能想知道為什么需要這一術(shù)語。答案是它們簡化了語言并針對關(guān)鍵業(yè)務(wù)功能定義了角色，這樣有助于推動投資，調(diào)整團(tuán)隊(duì)，圍繞業(yè)務(wù)目標(biāo)確定優(yōu)先事項(xiàng)。更好地理解這一新術(shù)語的方法是圍繞人員、流程、技術(shù)和文化進(jìn)行定義。

Dataops對人員的分類

在人員方面，有幾個(gè)與Dataops相關(guān)的角色：

客戶是所生成的數(shù)據(jù)、分析、應(yīng)用程序和機(jī)器學(xué)習(xí)的直接受益者。他們可以是實(shí)際的產(chǎn)品客戶，或使用服務(wù)的客戶，也可以是企業(yè)內(nèi)部的客戶，例如使用分析進(jìn)行決策的高管和領(lǐng)導(dǎo)者，或者作為業(yè)務(wù)流程的一部分而使用數(shù)據(jù)的員工。

數(shù)據(jù)最終用戶包括數(shù)據(jù)科學(xué)家、儀表盤開發(fā)人員、報(bào)表編寫人員、應(yīng)用程序開發(fā)人員、公民數(shù)據(jù)科學(xué)家，或是使用數(shù)據(jù)并通過應(yīng)用程序、數(shù)據(jù)可視化、API等工具提供結(jié)果的人員。

直接從事數(shù)據(jù)運(yùn)營的人員，包括數(shù)據(jù)庫工程師、數(shù)據(jù)工程師、管理數(shù)據(jù)流和數(shù)據(jù)庫工具的開發(fā)人員。

負(fù)責(zé)數(shù)據(jù)質(zhì)量、定義和鏈接的數(shù)據(jù)管理員。

企業(yè)所有者通常是數(shù)據(jù)服務(wù)的購買者，他們會圍繞采購、資金、創(chuàng)建策略和處理（數(shù)據(jù)供應(yīng)鏈）做出自己的決策。

定義數(shù)據(jù)流、開發(fā)和操作流程

Dataops有許多流程和規(guī)則，它們的成熟程度和投資在很大程度上依賴于業(yè)務(wù)需求的性質(zhì)、數(shù)據(jù)類型、數(shù)據(jù)復(fù)雜性、服務(wù)級別和合規(guī)性。

一方面，Dataops代表從源到傳遞的數(shù)據(jù)流。這是通過Dataops開發(fā)和操作流程管理的制造流程。數(shù)據(jù)流或數(shù)據(jù)管道的開發(fā)可以基于不同的數(shù)據(jù)集成技術(shù)、數(shù)據(jù)清理技術(shù)和數(shù)據(jù)管理平臺。這些流程不僅可以引入數(shù)據(jù)，還可以為數(shù)據(jù)管理員提供工具，以管理數(shù)據(jù)質(zhì)量和數(shù)據(jù)規(guī)則中的例外情況，啟用數(shù)據(jù)志和其他的元數(shù)據(jù)功能，以及執(zhí)行數(shù)據(jù)歸檔和刪除程序。

Dataops的第二個(gè)方面是開發(fā)過程，通過該過程可以維護(hù)和增強(qiáng)數(shù)據(jù)流的各個(gè)方面。開發(fā)過程包括幾個(gè)階段：沙箱管理、開發(fā)、編排、測試、部署和監(jiān)控。其中，編排、測試和部署階段類似于devops CI/CD管道。

Dataops流程還涉及操作和管理基礎(chǔ)設(shè)施。與devops一樣，這項(xiàng)工作中的一部分與管理生產(chǎn)數(shù)據(jù)流，確?？煽啃浴踩院托阅苊芮邢嚓P(guān)。由于數(shù)據(jù)科學(xué)工作流程具有很大的易變性，尤其是機(jī)器學(xué)習(xí)，因此開發(fā)出可擴(kuò)展性、高性能和數(shù)據(jù)科學(xué)環(huán)境以支持不同工作負(fù)載也更具挑戰(zhàn)性。

Dataops技術(shù)的前景

Dataops涵蓋了大量的數(shù)據(jù)編排、處理和管理功能，所以很多技術(shù)都適用這個(gè)術(shù)語。此外，由于許多企業(yè)正在投資大數(shù)據(jù)、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)，因此廠商在這一領(lǐng)域內(nèi)展開了激烈競爭。

亞馬遜網(wǎng)絡(luò)服務(wù)（AWS）擁有普通的關(guān)系型數(shù)據(jù)庫、文檔存儲和鍵值數(shù)據(jù)庫等7種類型的數(shù)據(jù)庫。Azure也提供了多種類型的數(shù)據(jù)庫。

大量工具集都集成了數(shù)據(jù)并創(chuàng)建了數(shù)據(jù)流，包括數(shù)據(jù)集成和數(shù)據(jù)流。數(shù)據(jù)流中又存在數(shù)據(jù)質(zhì)量與主數(shù)據(jù)管理。

許多工具與Dataops的開發(fā)、數(shù)據(jù)科學(xué)和測試密切相關(guān)。雖然許多組織機(jī)構(gòu)使用的是Jupyter，但是數(shù)據(jù)科學(xué)工作存在其他選項(xiàng)。例如進(jìn)行測試可以考慮Delphix和QuerySurge等工具。

Alteryx、Databricks、Dataiku和ai可提供端到端的分析和機(jī)器學(xué)習(xí)平臺。這些平臺融合了數(shù)據(jù)集、數(shù)據(jù)科學(xué)和devops功能。

其他工具可處理數(shù)據(jù)安全性、數(shù)據(jù)屏蔽和其他數(shù)據(jù)操作。

競爭正在推動數(shù)據(jù)庫文化

應(yīng)用程序開發(fā)團(tuán)隊(duì)和運(yùn)營團(tuán)隊(duì)之間的矛盾催生了devops，前者為了加快流程不得不頻繁發(fā)布代碼，而后者為了確保可靠性、性能和安全性會很自然地放慢速度。devops團(tuán)隊(duì)很好地調(diào)和了這一矛盾，促進(jìn)了對自動化，如CI/CD、自動化測試、基礎(chǔ)設(shè)施即代碼以及集中監(jiān)控的投資，幫助彌合了技術(shù)隔閡。

Dataops是另一個(gè)新生事物。數(shù)據(jù)科學(xué)家、儀表盤開發(fā)人員、數(shù)據(jù)工程師、數(shù)據(jù)庫開發(fā)人員以及其他工程師可共同致力于數(shù)據(jù)流和數(shù)據(jù)質(zhì)量。除了管理版本發(fā)布的速度以及基礎(chǔ)設(shè)施的性能、可靠性和安全性之外，Dataops團(tuán)隊(duì)還可以提升數(shù)據(jù)、分析、機(jī)器學(xué)習(xí)模型和數(shù)據(jù)交付的競爭價(jià)值。

競爭價(jià)值取決于整體分析工作的可交付成果和Dataops 團(tuán)隊(duì)解決復(fù)雜數(shù)據(jù)處理的方式。數(shù)據(jù)在數(shù)據(jù)流中的運(yùn)行速度有多快？支持多少數(shù)據(jù)量和什么樣的質(zhì)量等級？團(tuán)隊(duì)集成新數(shù)據(jù)源的速度有多快？數(shù)據(jù)庫平臺是否能夠支持不斷增長的各種數(shù)據(jù)建模需求？

這些只是Dataops 團(tuán)隊(duì)必須解決的一些問題和性能指標(biāo)。隨著越來越多的組織機(jī)構(gòu)通過數(shù)據(jù)和分析投資來獲取業(yè)務(wù)價(jià)值，這也對Dataops 實(shí)踐和文化提出了相應(yīng)的需求。

本文作者Isaac Sacolick為《推動數(shù)字化：通過技術(shù)實(shí)現(xiàn)業(yè)務(wù)轉(zhuǎn)型的領(lǐng)導(dǎo)者指南》一書的作者。該指南介紹了許多關(guān)于敏捷性、devops和數(shù)據(jù)科學(xué)的實(shí)踐，對成功的數(shù)字化轉(zhuǎn)型計(jì)劃具有重要的指導(dǎo)意義。

原文網(wǎng)址

https：//www.infoworld.com/article/3403665/how-dataops-improves-data-analytics-and-machine-learning.html