基于技術(shù)成熟度曲線的大數(shù)據(jù)分析

王志玲 燕光譜 藍(lán) 潔

?

基于技術(shù)成熟度曲線的大數(shù)據(jù)分析

王志玲 燕光譜 藍(lán) 潔

本文引入技術(shù)成熟度曲線的概念，在分析Gartner公司發(fā)布的2014年新興技術(shù)成熟度曲線基礎(chǔ)上，深入解讀其在2012～2014年發(fā)布的大數(shù)據(jù)技術(shù)成熟度曲線的特點(diǎn)與變化，分析大數(shù)據(jù)近年來的總體發(fā)展趨勢(shì)和熱點(diǎn)技術(shù)，為大數(shù)據(jù)研究提供一種新的工具、方法和視角。

技術(shù)成熟度曲線概述

技術(shù)成熟度曲線（Hype Cycle），又稱炒作周期曲線，是指新技術(shù)、新概念在媒體上的曝光度（即可見度）隨時(shí)間的變化曲線，描述了一項(xiàng)技術(shù)從誕生到成熟的過程，是評(píng)估技術(shù)發(fā)展周期的一種預(yù)測(cè)模型。1995年以來，全球權(quán)威IT研究與顧問咨詢公司高德納（Gartner）每年發(fā)布新興技術(shù)成熟度曲線報(bào)告，分析預(yù)測(cè)與推論各種新科技的成熟演變速度及要達(dá)到成熟所需的時(shí)間，利用一致性評(píng)價(jià)確定技術(shù)在成熟度曲線中的位置。如圖1所示，技術(shù)成熟度曲線橫坐標(biāo)代表技術(shù)所處的階段，包括技術(shù)觸發(fā)期、期望膨脹期、泡沫谷底期、穩(wěn)步復(fù)蘇期和生產(chǎn)高峰期等5個(gè)階段（見表1），縱坐標(biāo)表示技術(shù)可見度，曲線上的技術(shù)運(yùn)用不同符號(hào)標(biāo)注預(yù)期成熟時(shí)間，分為少于2年、2～5年、5～10年、多于10年、成熟期前放棄。

2014年新興技術(shù)成熟度曲線

圖1　技術(shù)成熟度曲線示意圖

表1　技術(shù)成熟度曲線的5個(gè)階段

2014年，Gartner公司從市場(chǎng)成熟度、商業(yè)利益與未來方向等角度，評(píng)估了119個(gè)領(lǐng)域的2000多項(xiàng)技術(shù)，得到45項(xiàng)新興技術(shù)的成熟度曲線，如圖2所示。從圖中可以看出，在觸發(fā)期和膨脹期的技術(shù)比較密集，但是大部分技術(shù)在5～10年才能達(dá)到生產(chǎn)高峰，包括物聯(lián)網(wǎng)、可穿戴技術(shù)、加密貨幣、個(gè)人助手、聯(lián)網(wǎng)家庭、智能機(jī)器人、自動(dòng)駕駛車輛等；而處于谷底期之后的技術(shù)，大多在5年內(nèi)成熟，如語音識(shí)別、云計(jì)算、內(nèi)容分析、企業(yè)級(jí)3D打印等，詳見表2。

表2　2014年新興技術(shù)的技術(shù)成熟階段分布

圖2　2014年新興技術(shù)的技術(shù)成熟度曲線 資料來源：Gartner （2014年8月）

2014年新興技術(shù)成熟度曲線報(bào)告以數(shù)字化企業(yè)的發(fā)展藍(lán)圖為主題，總結(jié)出發(fā)展成為數(shù)字化企業(yè)的6個(gè)階段：即模擬、網(wǎng)絡(luò)、電子商務(wù)、數(shù)字化營銷、數(shù)字化商業(yè)和自動(dòng)化。由于新興技術(shù)成熟度曲線把焦點(diǎn)放在新近崛起的技術(shù)上，因此技術(shù)多集中在后三個(gè)階段。

（1）數(shù)字化營銷（第四階段）：此階段強(qiáng)調(diào)多方力量的結(jié)合（如移動(dòng)、社交、云），聚焦于以新的、更先進(jìn)的方式抵達(dá)消費(fèi)者，尋找愿意參與營銷活動(dòng)以強(qiáng)化社交聯(lián)系或取得產(chǎn)品及服務(wù)的消費(fèi)者，此類消費(fèi)者對(duì)品牌的影響力更勝以往，且偏好以移動(dòng)設(shè)備和社交網(wǎng)絡(luò)為媒介。技術(shù)成熟度曲線中此階段的相關(guān)技術(shù)包括：軟件定義一切、立體與全息顯示、神經(jīng)商業(yè)、數(shù)據(jù)科學(xué)、規(guī)范分析、復(fù)雜事件處理、大數(shù)據(jù)、內(nèi)存中數(shù)據(jù)庫管理系統(tǒng)、內(nèi)容分析、混合云計(jì)算、游戲化、增強(qiáng)現(xiàn)實(shí)、云計(jì)算、NFC、虛擬實(shí)境、手勢(shì)控制、內(nèi)存中分析、活動(dòng)流及語音識(shí)別。

（2）數(shù)字化商業(yè)（第五階段）：這個(gè)階段焦點(diǎn)轉(zhuǎn)移到人員、企業(yè)與事物的融合上。物聯(lián)網(wǎng)以及現(xiàn)實(shí)與虛擬世界的模糊化成為這個(gè)階段的強(qiáng)烈概念。數(shù)字化后的實(shí)物資產(chǎn)，在業(yè)務(wù)價(jià)值鏈中的重要性等同于已經(jīng)數(shù)字化的各種實(shí)體，3D打印使得實(shí)物數(shù)字化更進(jìn)一步，并有可能在供應(yīng)鏈與制造層面引發(fā)顛覆性變革。將與人相關(guān)的各種屬性（如健康生命體征）數(shù)字化也是這個(gè)階段的特色之一，連貨幣（被認(rèn)為早已數(shù)字化）都可以轉(zhuǎn)型（如比特幣等加密貨幣）。相關(guān)技術(shù)包括：生物聲學(xué)傳感、數(shù)字安全、智能工作場(chǎng)所、聯(lián)網(wǎng)家庭、3D生物打印系統(tǒng)、情感計(jì)算、語音翻譯、物聯(lián)網(wǎng)、加密貨幣、可穿戴用戶界面、消費(fèi)級(jí)3D打印、機(jī)器對(duì)機(jī)器通信服務(wù)、移動(dòng)健康監(jiān)測(cè)、企業(yè)級(jí)3D打印、3D掃描儀及消費(fèi)級(jí)車聯(lián)網(wǎng)。

（3）自動(dòng)化（第六階段）：該階段的企業(yè)將有能力提供各種類人或替代人類的技術(shù)，例如以自動(dòng)駕駛交通工具來運(yùn)載人員或物品，或使用認(rèn)知系統(tǒng)撰寫文案或回答顧客問題。相關(guān)技術(shù)包括：虛擬個(gè)人助手、人類機(jī)能增進(jìn)、腦機(jī)接口、量子計(jì)算、智能機(jī)器人、生物芯片、智能顧問、自動(dòng)駕駛車輛及自然語言問答。

大數(shù)據(jù)技術(shù)成熟度曲線及發(fā)展趨勢(shì)

Gartner公司認(rèn)為“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。可見，大數(shù)據(jù)指的是無法使用傳統(tǒng)流程或工具處理分析的信息，具有日益增長的數(shù)據(jù)量（Volume）、高增長速度（Velocity）、多樣性（Variety）特點(diǎn)。從某種程度上說，大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)。簡(jiǎn)言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力，就是大數(shù)據(jù)技術(shù)。

圖3　2011－2014年大數(shù)據(jù)技術(shù)在技術(shù)成熟度曲線上的位置

圖4　2012年大數(shù)據(jù)技術(shù)的技術(shù)成熟度曲線資料來源：Gartner （2012年8月）

圖5　2013年大數(shù)據(jù)技術(shù)的技術(shù)成熟度曲線資料來源：Gartner（2013年8月）

大數(shù)據(jù)發(fā)展趨勢(shì)

2011年， 大 數(shù) 據(jù)（“big data” and Extreme Information）的概念在首次進(jìn)入Gartner技術(shù)成熟度曲線，經(jīng)歷了2012年的期望膨脹期，2013年達(dá)到期望膨脹頂峰，2014年進(jìn)入泡沫谷底期，如圖3。Gartner公司在《2014年技術(shù)成熟度曲線特別報(bào)告》中指出：“雖然對(duì)大數(shù)據(jù)的興趣依然不減，但它已經(jīng)離開高峰期，因?yàn)樵撌袌?chǎng)已經(jīng)安定下來，有了一整套合理的方法，新的技術(shù)和實(shí)踐被添加進(jìn)現(xiàn)有方案?！钡獹artner認(rèn)為，大數(shù)據(jù)還有5到10年才會(huì)達(dá)到穩(wěn)定期。近幾年企業(yè)級(jí)市場(chǎng)圍繞大數(shù)據(jù)的炒作不斷加溫，很多企業(yè)也的確面臨數(shù)據(jù)量激增的現(xiàn)實(shí)困境，但大數(shù)據(jù)絕非僅僅是數(shù)據(jù)量大的挑戰(zhàn)，大數(shù)據(jù)的核心問題還是取決于數(shù)據(jù)挖掘背后所能產(chǎn)生的價(jià)值，在經(jīng)歷了一段熱潮之后，大數(shù)據(jù)的概念轉(zhuǎn)向低谷期，開始實(shí)實(shí)在在的為企業(yè)解決問題，大數(shù)據(jù)相關(guān)技術(shù)的演進(jìn)在未來一段時(shí)間內(nèi)仍將展現(xiàn)出強(qiáng)大的生命力。

大數(shù)據(jù)成熟度曲線

2012年大數(shù)據(jù)技術(shù)成熟度曲線

2012年大數(shù)據(jù)的技術(shù)成熟度曲線共列出了47項(xiàng)技術(shù)，如圖4所示。其中，大數(shù)據(jù)革命技術(shù)之一MapReduce出現(xiàn)在成熟度曲線的低谷區(qū)，預(yù)期將在2～5年內(nèi)達(dá)到生產(chǎn)高峰期。MapReduce是由Google提出的一種并行分布式編程模型，利用該模型可以通過簡(jiǎn)單的分布式并行運(yùn)算有效處理海量數(shù)據(jù)，不斷地從中挖掘出有價(jià)值的信息，成為大數(shù)據(jù)發(fā)展的重要支撐技術(shù)。按技術(shù)在大數(shù)據(jù)中的用途不同，可以分為三類：大數(shù)據(jù)的使能技術(shù)（Entries that describe enabling technologies for big data）、典型應(yīng)用（Entries that describe typical use cases for big data）、信息類型和來源（Entries that describe new information types， sources and roles），相關(guān)技術(shù)詳見表3。

表3　2012年大數(shù)據(jù)相關(guān)技術(shù)分類

2013年大數(shù)據(jù)技術(shù)成熟度曲線

2013年大數(shù)據(jù)的技術(shù)成熟度曲線共列出了40項(xiàng)技術(shù)，如圖5所示。新進(jìn)入成熟度曲線的技術(shù)有：量化自我（Quantified Self）、圖形數(shù)據(jù)庫（Graph Database）、基于電子商務(wù)的大數(shù)據(jù)分析（Big Data for Electronic Commerce）、意向聯(lián)結(jié)的客戶系統(tǒng)、表式數(shù)據(jù)庫管理服務(wù)（Table-Style Database Management Services）、信息語義服務(wù)（Information Semantic Services）、Hadoop SQL界面（Hadoop SQL Interfaces）、文件存儲(chǔ)數(shù)據(jù)庫管理系統(tǒng)（Document Store Database Management Systems）、關(guān)鍵值數(shù)據(jù)庫管理系統(tǒng)（Key-Value DatabaseManagement Systems）、車載信息服務(wù)（Vehicle Information Service）和Hadoop發(fā)布工具（Hadoop Distributions）。

2013年，MapReduce技術(shù)沒有出現(xiàn)在技術(shù)成熟度曲線，而Hadoop技術(shù)成為大數(shù)據(jù)關(guān)注熱點(diǎn)，成熟度曲線上出現(xiàn)了兩項(xiàng)與Hadoop相關(guān)的技術(shù)，即Hadoop SQL界面和Hadoop發(fā)布工具。Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)，Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，MapReduce為海量的數(shù)據(jù)提供了計(jì)算。

2014年大數(shù)據(jù)技術(shù)成熟度曲線

表4　2014年大數(shù)據(jù)技術(shù)成熟度曲線（資料來源：Gartner 2014年8月）

2014年大數(shù)據(jù)的技術(shù)成熟度曲線共列出了47項(xiàng)技術(shù)，詳見表4。新進(jìn)入成熟度曲線的技術(shù)有：語境經(jīng)紀(jì)人（Context Brokers）、虛擬個(gè)人助手（Virtual Personal Assistants）、個(gè)人分析（Personal Analytics）、數(shù)據(jù)即服務(wù)（Data as a Service）、數(shù)據(jù)湖（Data Lakes）、公開數(shù)據(jù)（Open Data）、移動(dòng)設(shè)備管理和社交數(shù)據(jù)（MDM and Social Data）、規(guī)范分析（Prescriptive Analytics）、基于客戶智能的 大 數(shù) 據(jù) 分 析（Big Data Analytics for Customer Intelligence）、 智 能 顧 問（Smart Advisors）、Big Data Analytics for Fraud and Security、企業(yè)信息架構(gòu)（Enterprise Information Architecture）、自然語言問答（Natural-Language Question Answering）、可穿戴用戶界面（Wearable User Interfaces）、關(guān)聯(lián)數(shù)據(jù)（Linked Data）、數(shù)據(jù)集成/虛擬化（Data Federation/Virtualization）。

可見，2014年新進(jìn)入的技術(shù)涉及信息類型和來源、典型應(yīng)用的技術(shù)較多，在信息類型和來源方面增加了數(shù)據(jù)湖（Data Lakes）、公開數(shù)據(jù)（Open Data）、移動(dòng)設(shè)備管理和社交數(shù)據(jù)（MDM and Social Data）、關(guān)聯(lián)數(shù)據(jù)（Linked Data）等，在典型應(yīng)用方面增加了基于客戶智能的大數(shù)據(jù)分析（Big Data Analytics for Customer Intelligence）、為防止欺詐和保護(hù)安全的大數(shù)據(jù)分析（Big Data Analytics for Fraud and Security）等。

結(jié)語

綜上所述，大數(shù)據(jù)經(jīng)過4年的發(fā)展正由過熱期轉(zhuǎn)向低谷期，內(nèi)涵逐漸清晰，市場(chǎng)趨向穩(wěn)定，在未來5～10年將達(dá)到生產(chǎn)高峰期。綜合近三年大數(shù)據(jù)技術(shù)成熟度曲線，可以勾勒出大數(shù)據(jù)的整體輪廓，即大數(shù)據(jù)技術(shù)依托社交內(nèi)容、開放式監(jiān)控SCADA、語義Web、測(cè)繪地理信息系統(tǒng)可視化和分析、活動(dòng)流、開放政府?dāng)?shù)據(jù)、公開數(shù)據(jù)、關(guān)聯(lián)數(shù)據(jù)等信息數(shù)據(jù)，綜合利用物聯(lián)網(wǎng)、數(shù)據(jù)挖掘、視頻搜索、動(dòng)態(tài)數(shù)據(jù)屏蔽、內(nèi)容分析、邏輯數(shù)據(jù)倉庫、noSQL數(shù)據(jù)庫管理系統(tǒng)、混合云計(jì)算、復(fù)雜事件處理、基于云的網(wǎng)格計(jì)算、云協(xié)作服務(wù)、云并行處理、內(nèi)存中數(shù)據(jù)網(wǎng)絡(luò)、MapReduce、Hadoop、內(nèi)存中分析、文本分析、數(shù)據(jù)集成、語音識(shí)別、預(yù)見性分析等技術(shù)工具，實(shí)現(xiàn)信息評(píng)價(jià)、預(yù)測(cè)建模、聲明分析、內(nèi)容增值服務(wù)、社交網(wǎng)絡(luò)分析、高級(jí)欺詐技術(shù)的檢測(cè)與分析、社交信息分析、IT服務(wù)分析工具、遠(yuǎn)程信息處理、Web體驗(yàn)分析、供應(yīng)鏈分析、社交媒體數(shù)據(jù)監(jiān)控、網(wǎng)絡(luò)分析等應(yīng)用。

王志玲 燕光譜 藍(lán) 潔

青島市科學(xué)技術(shù)信息研究所

10.3969/j.issn.1001-8972.2016.10.019