侯春海 郭亮 WU Han 周其麟
【摘? ? 要】 對(duì)未來(lái)演出場(chǎng)所的大數(shù)據(jù)的應(yīng)用架構(gòu)進(jìn)行初步探索,提出一種基于MapReduce的并行大數(shù)據(jù)處理架構(gòu),可實(shí)現(xiàn) 演出場(chǎng)所數(shù)據(jù)匯聚、大數(shù)據(jù)分析、分析結(jié)果應(yīng)用。
【關(guān)鍵詞】 演出場(chǎng)所;大數(shù)據(jù);應(yīng)用架構(gòu);MapReduce;數(shù)據(jù)匯聚協(xié)議
文章編號(hào): 10.3969/j.issn.1674-8239.2018.11.009
當(dāng)前,大數(shù)據(jù)已發(fā)展成為科技界和企業(yè)界,乃至世界各國(guó)政府關(guān)注的熱點(diǎn)?!禢ature》和《Science》等相繼出版專(zhuān)刊探討大數(shù)據(jù)帶來(lái)的機(jī)遇和挑戰(zhàn),著名管理咨詢(xún)公司麥肯錫稱(chēng):“數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域,成為重要的生產(chǎn)因素。人們對(duì)于大數(shù)據(jù)的挖掘和運(yùn)用,預(yù)示著新一波生產(chǎn)力增長(zhǎng)和消費(fèi)盈余浪潮的到來(lái)”[1]。美國(guó)政府認(rèn)為,大數(shù)據(jù)是“未來(lái)的新石油”,一個(gè)國(guó)家擁有數(shù)據(jù)的規(guī)模和運(yùn)用數(shù)據(jù)的能力將成為綜合國(guó)力的重要組成部分,對(duì)數(shù)據(jù)的占有和控制將成為國(guó)家間和企業(yè)間新的爭(zhēng)奪焦點(diǎn),“大數(shù)據(jù)時(shí)代”已然來(lái)臨。
大數(shù)據(jù)作為國(guó)家基礎(chǔ)性戰(zhàn)略資源,黨中央、國(guó)務(wù)院高度重視大數(shù)據(jù)在經(jīng)濟(jì)社會(huì)發(fā)展中的作用,文化創(chuàng)意領(lǐng)域作為大數(shù)據(jù)應(yīng)用的重點(diǎn)行業(yè)被納入國(guó)家的大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃[2]。因此,建立演出場(chǎng)所大數(shù)據(jù)并因之建立規(guī)范化的演出安全數(shù)據(jù)管理體系,是確保演出安全、增強(qiáng)文化自信和踐行《中華人民共和國(guó)公共文化服務(wù)保障法》 [3]的必經(jīng)之路。
筆者針對(duì)中國(guó)文化行業(yè)演出場(chǎng)所的數(shù)據(jù)內(nèi)容、匯聚、數(shù)據(jù)處理和分析應(yīng)用進(jìn)行初步探索,試圖建立一條實(shí)現(xiàn)中國(guó)未來(lái)演出場(chǎng)所大數(shù)據(jù)應(yīng)用的MapReduce并行技術(shù)處理架構(gòu),并分析未來(lái)大數(shù)據(jù)應(yīng)用的環(huán)境問(wèn)題。
1? 大數(shù)據(jù)特征及處理方法
大數(shù)據(jù)是融合物理世界(physical world)、信息空間(cyberspace)和人類(lèi)社會(huì)(human society)三元世界的紐帶[4]。通過(guò)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等技術(shù),信息空間感知到物理世界數(shù)據(jù),人類(lèi)社會(huì)通過(guò)各種交互界面等信息呈現(xiàn)工具,分析和展現(xiàn)信息空間大數(shù)據(jù)映像,在增強(qiáng)對(duì)物理世界認(rèn)知深度的同時(shí),將分析結(jié)果應(yīng)用到物理世界。大數(shù)據(jù)還是新一代信息技術(shù)產(chǎn)業(yè)(如大數(shù)據(jù)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等)強(qiáng)勁推動(dòng)力,是第二經(jīng)濟(jì)(The second economy[5])的核心內(nèi)涵和關(guān)鍵支撐。美國(guó)經(jīng)濟(jì)學(xué)家Arthur在2011年提出的第二經(jīng)濟(jì)是指由處理器、鏈接器、傳感器、執(zhí)行器以及運(yùn)行在其上的經(jīng)濟(jì)活動(dòng)形成的物理經(jīng)濟(jì)之外的第二經(jīng)濟(jì),其本質(zhì)是為第一經(jīng)濟(jì)附著一個(gè)“神經(jīng)層”,使國(guó)民經(jīng)濟(jì)活動(dòng)能夠變得智能化。未來(lái)演出場(chǎng)所的各類(lèi)數(shù)據(jù)的匯聚、處理和分析挖掘,會(huì)成為演出空間、信息空間和人類(lèi)文化藝術(shù)生活新的紐帶和關(guān)鍵支撐,是新的文化經(jīng)濟(jì)生活永不枯竭并不斷豐富的資源。借助大數(shù)據(jù),未來(lái)演出市場(chǎng)的經(jīng)營(yíng)和管理活動(dòng)將是知識(shí)生產(chǎn)的競(jìng)爭(zhēng)和發(fā)展。
大數(shù)據(jù)具有體量大(Volume)、速度快(Velocity)、模態(tài)多(Variety)、難辨識(shí)(Veracity)和價(jià)值大密度低(Value)的典型特征。為應(yīng)對(duì)大數(shù)據(jù)類(lèi)型多樣等問(wèn)題和挑戰(zhàn), Google、Facebook和Microsoft等互聯(lián)網(wǎng)企業(yè)推出了一系列大數(shù)分析處理的工具和方法,涵蓋大數(shù)據(jù)統(tǒng)計(jì)分析、可視化輔助工具、大數(shù)據(jù)處理架構(gòu)、數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘工具、人工智能、挖掘算法和編程語(yǔ)言等。
迅速發(fā)展的深度學(xué)習(xí)、知識(shí)計(jì)算、可視化等大數(shù)據(jù)分析技術(shù),已逐漸被廣泛應(yīng)用于不同的行業(yè)和領(lǐng)域。未來(lái)中國(guó)文化演出場(chǎng)所大數(shù)據(jù)應(yīng)用要充分利用這些方法和工具,解決演出場(chǎng)所的數(shù)據(jù)內(nèi)容、匯聚、數(shù)據(jù)處理和分析目標(biāo)等問(wèn)題,并建立體系架構(gòu)和處理流程,形成具有中國(guó)文化演出場(chǎng)所特色的新型智能化和網(wǎng)絡(luò)化的管理規(guī)范,服務(wù)于中國(guó)文化行業(yè)的決策和管理。
2? 演出場(chǎng)所的數(shù)據(jù)內(nèi)容
演出場(chǎng)所是指具有觀演功能,可完成演出活動(dòng)的公共場(chǎng)所,包括專(zhuān)業(yè)藝術(shù)表演場(chǎng)館;影劇院、錄像廳、禮堂等演出、放映場(chǎng)所;舞廳、卡拉OK等歌舞娛樂(lè)場(chǎng)所;具有娛樂(lè)功能的夜總會(huì)、音樂(lè)茶座和餐飲場(chǎng)所,游樂(lè)場(chǎng)所,營(yíng)業(yè)性健身、休閑場(chǎng)所等公共娛樂(lè)場(chǎng)所;以及臨時(shí)搭建用于演出活動(dòng)的空間。截至2017年末,全國(guó)共有藝術(shù)表演場(chǎng)館2 455個(gè),群眾文化機(jī)構(gòu)44 521個(gè),以及娛樂(lè)場(chǎng)所78 616個(gè)[6]。
這些用于演出的場(chǎng)所數(shù)據(jù)內(nèi)容。
單個(gè)演出場(chǎng)所的數(shù)據(jù)一般包括演出場(chǎng)所管理信息、演出裝備操作維護(hù)數(shù)據(jù)、演出信息、建筑信息和其他相關(guān)信息。
演出場(chǎng)所管理信息:包括演出排期、人力資源、財(cái)務(wù)、出入閘機(jī)數(shù)據(jù)和票務(wù)管理數(shù)據(jù)等。
演出裝備操作維護(hù)數(shù)據(jù):包括機(jī)械、燈光、音響、舞美特效、威亞、幕布、視頻、監(jiān)督和通信等系統(tǒng)數(shù)據(jù)。
演出信息:包括演出內(nèi)容、演藝場(chǎng)景、節(jié)目和劇目等信息。
建筑信息:包括建筑圖、暖通空調(diào)、照明、環(huán)境質(zhì)量、給排水、安防、消防和配電等基礎(chǔ)設(shè)施和設(shè)備信息。
其他相關(guān)信息:如演出場(chǎng)所的地理位置、氣象和氣候等信息和數(shù)據(jù)。
未來(lái)這些演出場(chǎng)所的數(shù)據(jù)匯聚起來(lái),將形成文化演出相關(guān)的大數(shù)據(jù),具有大數(shù)據(jù)的典型特征。大數(shù)據(jù)實(shí)現(xiàn)的核心價(jià)值是通過(guò)集中擁有的數(shù)據(jù),可為各類(lèi)用戶創(chuàng)造其自身無(wú)法得到的服務(wù)或降低服務(wù)成本。結(jié)合演出場(chǎng)所的典型數(shù)據(jù),應(yīng)用大數(shù)據(jù)技術(shù)可為用戶提供包括但不限于如下的服務(wù)。
(1)演藝裝備的操作和維護(hù):如結(jié)合同類(lèi)型設(shè)備的操作和維護(hù)綜合評(píng)價(jià),可為演出場(chǎng)所管理推薦設(shè)備維護(hù)和更換時(shí)間、就近可替換設(shè)備優(yōu)質(zhì)供應(yīng)商、結(jié)合演出排期關(guān)注重點(diǎn)設(shè)備運(yùn)行、設(shè)備預(yù)警及報(bào)警閾值自動(dòng)設(shè)定或調(diào)整等。
(2)演出場(chǎng)所的標(biāo)準(zhǔn)化管理:結(jié)合演出場(chǎng)所的各類(lèi)數(shù)據(jù)及信息的模型化分析,可給出相似類(lèi)型的演出場(chǎng)所的能源消耗、觀眾類(lèi)別及出席人數(shù)、安全評(píng)價(jià)等綜合指標(biāo),并實(shí)施對(duì)標(biāo)管理。
(3)演出團(tuán)體的標(biāo)準(zhǔn)化管理:結(jié)合演出場(chǎng)所管理,可建立演出相似節(jié)目的能源消耗和安全評(píng)價(jià)的動(dòng)態(tài)指標(biāo),并對(duì)演出團(tuán)體實(shí)施對(duì)標(biāo)管理評(píng)價(jià)。
(4)政府主管部門(mén)的決策支撐:通過(guò)綜合數(shù)據(jù)分析,可為主管機(jī)構(gòu)提供如新建演出場(chǎng)所的能耗預(yù)測(cè)、票務(wù)狀況預(yù)測(cè)和效益分析等服務(wù);對(duì)既有演出場(chǎng)所提供綜合評(píng)價(jià)等服務(wù)。
這些大數(shù)據(jù)需建立匯聚、處理、分析和應(yīng)用的架構(gòu),才能為文化行業(yè)提供更優(yōu)質(zhì)的公共和私有云服務(wù)。
3? 演出場(chǎng)所大數(shù)據(jù)應(yīng)用的體系架構(gòu)
未來(lái)演出場(chǎng)所的大數(shù)據(jù)應(yīng)用目標(biāo)是建立文化創(chuàng)意行業(yè)領(lǐng)域更優(yōu)質(zhì)的數(shù)據(jù)服務(wù),包括用于行業(yè)和政府決策的數(shù)據(jù)支撐服務(wù)、公共演出場(chǎng)所的管理評(píng)價(jià)服務(wù)和演出團(tuán)體的管理評(píng)價(jià)服務(wù)及各類(lèi)安全預(yù)警和報(bào)警等個(gè)性化服務(wù)。要實(shí)現(xiàn)這樣的數(shù)據(jù)應(yīng)用目標(biāo),就要建立相應(yīng)的演出場(chǎng)所大數(shù)據(jù)應(yīng)用服務(wù)體系,實(shí)現(xiàn)數(shù)據(jù)匯聚、處理、分析結(jié)果應(yīng)用和業(yè)務(wù)操作流程等功能。
3.1? 大數(shù)據(jù)應(yīng)用服務(wù)體系架構(gòu)
未來(lái)演出場(chǎng)所的大數(shù)據(jù)應(yīng)用服務(wù)體系架構(gòu)。
整個(gè)架構(gòu)包括數(shù)據(jù)匯聚、大數(shù)據(jù)處理、業(yè)務(wù)流程管理系統(tǒng),以及貫穿整個(gè)系統(tǒng)的基礎(chǔ)安全支撐系統(tǒng)和管理監(jiān)控系統(tǒng)。安全支撐系統(tǒng)提供各個(gè)層次、不同級(jí)別的安全處理方案,如演出裝備及設(shè)施的預(yù)警及報(bào)警聯(lián)動(dòng)、數(shù)據(jù)糾錯(cuò)、病毒防范、容錯(cuò)處理、安全日志管理及分析、異常行為診斷等策略。管理監(jiān)控系統(tǒng)提供各個(gè)層次的數(shù)據(jù)展示呈現(xiàn)和分析結(jié)果數(shù)據(jù),提供系統(tǒng)配置、數(shù)據(jù)整合及融合分析、演出場(chǎng)所設(shè)備和設(shè)施的性能及操作維護(hù)、設(shè)備故障的定位及處理,以及演出場(chǎng)所及演出團(tuán)體的管理評(píng)價(jià)等。
3.2? 數(shù)據(jù)匯聚
演出場(chǎng)所的數(shù)據(jù)匯聚包括數(shù)據(jù)管理節(jié)點(diǎn)的數(shù)據(jù)匯聚和各個(gè)數(shù)據(jù)管理節(jié)點(diǎn)到整個(gè)文化行業(yè)數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)匯聚。
各個(gè)演出場(chǎng)所的演出裝備操作維護(hù)數(shù)據(jù)源和演出信息,通過(guò)演出場(chǎng)所安全數(shù)據(jù)匯聚協(xié)議(Data Aggregation Protocol,簡(jiǎn)稱(chēng)DAP)匯聚到演出場(chǎng)所數(shù)據(jù)管理節(jié)點(diǎn)。數(shù)據(jù)管理節(jié)點(diǎn)同時(shí)通過(guò)演出場(chǎng)所的管理信息系統(tǒng)(Management Information System,簡(jiǎn)稱(chēng)MIS),將數(shù)據(jù)庫(kù)中的演出場(chǎng)所建筑信息、管理信息和其他相關(guān)數(shù)據(jù)采集并統(tǒng)一整合而形成演出場(chǎng)所數(shù)據(jù)管理節(jié)點(diǎn)數(shù)據(jù),并存入整合行業(yè)的數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù),納入行業(yè)管理的大數(shù)據(jù)系統(tǒng),并由大數(shù)據(jù)處理系統(tǒng)進(jìn)行數(shù)據(jù)挖掘、融合、分析等并行計(jì)算處理,并納入大數(shù)據(jù)應(yīng)用業(yè)務(wù)流程系統(tǒng)統(tǒng)一維護(hù)管理。
演出場(chǎng)所的安全數(shù)據(jù)匯聚協(xié)議是數(shù)據(jù)匯聚的關(guān)鍵技術(shù)措施。DAP協(xié)議參考模型定義了三個(gè)關(guān)聯(lián)單元,包括DAP服務(wù)器端、DAP客戶端和演出場(chǎng)所專(zhuān)業(yè)設(shè)備安全數(shù)據(jù)接口,DAP服務(wù)器端與DAP客戶端通過(guò)TCP通信連接。
DAP服務(wù)器端服務(wù)于演出場(chǎng)所安全數(shù)據(jù)匯聚的根節(jié)點(diǎn),也是本地統(tǒng)一數(shù)據(jù)管理節(jié)點(diǎn)。DAP客戶端與DAP服務(wù)器端多對(duì)一,通過(guò)TCP通信連接,實(shí)現(xiàn)將演出場(chǎng)所專(zhuān)業(yè)設(shè)備安全數(shù)據(jù)協(xié)議轉(zhuǎn)換成標(biāo)準(zhǔn)協(xié)議,并匯聚到DAP服務(wù)器端。演出場(chǎng)所專(zhuān)業(yè)設(shè)備安全數(shù)據(jù)接口實(shí)現(xiàn)接收演出場(chǎng)所相關(guān)設(shè)備的安全數(shù)據(jù),這些設(shè)備包括舞臺(tái)專(zhuān)業(yè)機(jī)械與控制系統(tǒng)、舞臺(tái)專(zhuān)業(yè)照明設(shè)備供電系統(tǒng)等。
3.3? 基于MapReduce的大數(shù)據(jù)處理
演出場(chǎng)所大數(shù)據(jù)處理基于云計(jì)算的技術(shù)實(shí)現(xiàn)框架,采用MapReduce的數(shù)據(jù)任務(wù)結(jié)構(gòu),又可稱(chēng)為JobTracker和NameNode結(jié)構(gòu)[9,10]。整個(gè)結(jié)構(gòu)模型包括智能決策支撐系統(tǒng)和MapReduce數(shù)據(jù)處理系統(tǒng)兩部分。
3.3.1? 智能決策支撐系統(tǒng)
智能決策支撐包括演出場(chǎng)所數(shù)據(jù)匯聚處理、資源調(diào)度、數(shù)據(jù)分布式存儲(chǔ)和MapReduce數(shù)據(jù)分析四個(gè)部分。
數(shù)據(jù)匯聚處理與各個(gè)演出場(chǎng)所數(shù)據(jù)管理節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)匯聚、整合,與可并行算法一起作為數(shù)據(jù)處理資源為資源調(diào)度使用??刹⑿兴惴òㄉ窠?jīng)網(wǎng)絡(luò)算法、K-means算法、Spark和聚類(lèi)分析算法、量子蟻群算法、Multi-Agents遺傳算法等,根據(jù)這些算法的可并行度,資源調(diào)度將決定采用多少云計(jì)算資源配合實(shí)現(xiàn)數(shù)據(jù)挖掘處理任務(wù)。并行加速評(píng)估公式Amdahl定律為[11]:
其中,S是加速比,P是程序可并行比例,N是處理器數(shù)目。根據(jù)Amdahl定律:一個(gè)并行程序可加速程度是有限制的,并非可無(wú)限加速,并非處理器越多越好。
數(shù)據(jù)分布式存儲(chǔ)策略實(shí)現(xiàn) HDFS (Hadoop Distributed File System)功能,將采集數(shù)據(jù)分布式存儲(chǔ)于各云計(jì)算服務(wù)器中。
MapReduce數(shù)據(jù)分析負(fù)責(zé)啟動(dòng)云計(jì)算的MapReduce任務(wù),并根據(jù)結(jié)果進(jìn)行判斷,支持演出場(chǎng)所的大數(shù)據(jù)應(yīng)用業(yè)務(wù)管理流程。
3.3.2? Hadoop 數(shù)據(jù)分布式存儲(chǔ)策略
這種大數(shù)據(jù)處理系統(tǒng)構(gòu)建的基石是HDFS,其基本的特點(diǎn)包括:
(1)對(duì)于整個(gè)集群有單一的命名空間;
(2)數(shù)據(jù)一致性,適合一次寫(xiě)入多次讀取的模型,客戶端在文件沒(méi)有被成功創(chuàng)建之前無(wú)法看到文件存在;
(3)文件會(huì)被分割成多個(gè)文件塊,每個(gè)文件塊被分配存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)上,而且根據(jù)配置會(huì)由復(fù)制文件塊來(lái)保證數(shù)據(jù)的安全性。
3.3.3? MapReduce的大數(shù)據(jù)處理系統(tǒng)
基于MapReduce的大數(shù)據(jù)處理系統(tǒng),MapReduce是由谷歌推出的一個(gè)編程模型,是一個(gè)能處理和生成超大數(shù)據(jù)集的算法模型,該架構(gòu)能夠在大量普通配置的計(jì)算機(jī)上實(shí)現(xiàn)并行化處理[7,8]。MapReduce是一種面向并行計(jì)算的軟件實(shí)現(xiàn)方法,應(yīng)用MapReduce的思想架構(gòu),可以設(shè)計(jì)一種基于MapReduce的大數(shù)據(jù)處理系統(tǒng),將可并行計(jì)算的大數(shù)據(jù)處理算法作為資源,并靈活調(diào)用,從而支撐大數(shù)據(jù)應(yīng)用業(yè)務(wù)流程管理,完成演出場(chǎng)所規(guī)范化數(shù)據(jù)管理服務(wù)。這些服務(wù)將包括但不限于演藝裝備的綜合評(píng)價(jià)、演出場(chǎng)所管理評(píng)價(jià)及對(duì)標(biāo)管理、演出團(tuán)體管理評(píng)價(jià)及對(duì)標(biāo)管理等。
選用MapReduce架構(gòu)是出于以下3個(gè)技術(shù)原因:(1)MapReduce采用無(wú)共享大規(guī)模集群系統(tǒng),具有很好的性?xún)r(jià)比和可伸縮性,每個(gè)演出場(chǎng)所的服務(wù)器也可成為集群系統(tǒng)的節(jié)點(diǎn)服務(wù)器,這一優(yōu)勢(shì)使其成為文化行業(yè)大數(shù)據(jù)平臺(tái)的首選,也為后續(xù)建設(shè)文化行業(yè)區(qū)塊鏈創(chuàng)造了條件;(2)MapReduce模型簡(jiǎn)單、易于理解、方便使用,能將繁瑣的細(xì)節(jié)(如負(fù)載均衡、災(zāi)備管理和自動(dòng)并行等)隱藏起來(lái),極大地減少了開(kāi)發(fā)工作量,便于業(yè)務(wù)流程及實(shí)驗(yàn)性數(shù)據(jù)分析處理;(3)在海量數(shù)據(jù)環(huán)境下,通過(guò)查詢(xún)優(yōu)化和索引技術(shù),MapReduce仍能夠提供很好的數(shù)據(jù)處理性能。
MapReduce數(shù)據(jù)處理系統(tǒng)由云計(jì)算服務(wù)器集群和2臺(tái)管理服務(wù)器組成。其中,2臺(tái)管理服務(wù)器分別充當(dāng)HDFS文件系統(tǒng)中的名字服務(wù)器和MapReduce 計(jì)算平臺(tái)中的作業(yè)調(diào)度器(JobTracker);云計(jì)算服務(wù)器既充當(dāng)HDFS文件系統(tǒng)中的數(shù)據(jù)節(jié)點(diǎn)(DataNode),又充當(dāng)MapReduce計(jì)算平臺(tái)中的任務(wù)執(zhí)行器(TaskTracker)。這種設(shè)計(jì)使得“移動(dòng)計(jì)算以靠近存儲(chǔ)”,將大規(guī)模現(xiàn)場(chǎng)數(shù)據(jù)的挖掘融合處理變成“本地計(jì)算(local computing)”,可大大提升大數(shù)據(jù)處理的速度,達(dá)到高效率,適應(yīng)演出場(chǎng)所大數(shù)據(jù)快速準(zhǔn)確的響應(yīng)要求。
MapReduce是一個(gè)用于進(jìn)行大數(shù)據(jù)量計(jì)算的編程模型,同時(shí)也是一種高效的任務(wù)調(diào)度模型,它將一個(gè)任務(wù)分成很多更細(xì)粒度的子任務(wù),這些子任務(wù)能夠在空閑的處理節(jié)點(diǎn)之間調(diào)度,使處理速度越快的節(jié)點(diǎn)處理越多的任務(wù),從而避免處理速度慢的節(jié)點(diǎn)延長(zhǎng)整個(gè)任務(wù)的完成時(shí)間。這些都為很好地完成演出場(chǎng)所的大數(shù)據(jù)應(yīng)用管理目標(biāo),提供較好的資源和方案。
3.4? 業(yè)務(wù)流程
未來(lái)演出場(chǎng)所的大數(shù)據(jù)業(yè)務(wù)流程緊緊圍繞著大數(shù)據(jù)應(yīng)用目標(biāo),建立挖掘大數(shù)應(yīng)用服務(wù)的辦公和業(yè)務(wù)工作流,不斷探索和實(shí)踐大數(shù)據(jù)分析結(jié)果的可應(yīng)用性,進(jìn)而將影響整個(gè)行業(yè)的管理決策水平,并不斷創(chuàng)新及發(fā)展。結(jié)合演出場(chǎng)所的大數(shù)據(jù)處理架構(gòu),可給出大數(shù)據(jù)業(yè)務(wù)應(yīng)用的具體途徑和方法。
演出場(chǎng)所大數(shù)據(jù)應(yīng)用的使用者可包括決策機(jī)構(gòu)、現(xiàn)場(chǎng)管理人員、演出場(chǎng)所的技術(shù)維護(hù)人員、設(shè)備供應(yīng)商、數(shù)據(jù)云服務(wù)客服人員、演出場(chǎng)所相關(guān)業(yè)務(wù)合作伙伴,以及其他業(yè)務(wù)辦公流程和應(yīng)用系統(tǒng)需要使用演出場(chǎng)所大數(shù)據(jù)信息分析結(jié)果的相關(guān)群體等。這些使用者通過(guò)報(bào)告、說(shuō)明性分析、儀表盤(pán)展示等大數(shù)據(jù)可視化工具得到大數(shù)據(jù)的相關(guān)服務(wù)信息,包括演藝裝備綜合評(píng)價(jià)、演出場(chǎng)所管理評(píng)價(jià)、演出團(tuán)體管理評(píng)價(jià)以及如其他定制的關(guān)聯(lián)分析、聚類(lèi)分析等得出的輸出信息。這些信息分析結(jié)果可通過(guò)統(tǒng)計(jì)分析、數(shù)據(jù)挖據(jù)融合方法、模型評(píng)價(jià)分析等手段得到,新定制服務(wù)和實(shí)驗(yàn)性分析等業(yè)務(wù)可在數(shù)據(jù)沙箱演算,通過(guò)預(yù)測(cè)分析等手段得到說(shuō)明性分析結(jié)果。通過(guò)業(yè)務(wù)流程、應(yīng)用系統(tǒng)和合作伙伴辦公流程系統(tǒng)的業(yè)務(wù)請(qǐng)求,可通過(guò)分析主題庫(kù)(數(shù)據(jù)集市)進(jìn)行語(yǔ)義分析和文本挖據(jù)等操作,在數(shù)據(jù)沙箱演算并結(jié)合數(shù)據(jù)倉(cāng)庫(kù)技術(shù),以?xún)x表盤(pán)展示等手段提供服務(wù)結(jié)果。
所有這些過(guò)程都要經(jīng)歷業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、模型化、評(píng)估和數(shù)據(jù)應(yīng)用六個(gè)步驟。
4? ?問(wèn)題與思考
大數(shù)據(jù)處理和分析的終極目標(biāo)是借助對(duì)數(shù)據(jù)的理解,輔助人們?cè)谘莩鰣?chǎng)所管理和維護(hù)等應(yīng)用中做出合理的決策。大數(shù)據(jù)的深度學(xué)習(xí)、知識(shí)計(jì)算、社會(huì)計(jì)算和可視化將起到相輔相成的作用,未來(lái)演出場(chǎng)所大數(shù)據(jù)應(yīng)用的問(wèn)題與思考有以下幾點(diǎn)。
(1)深度學(xué)習(xí)技術(shù)的應(yīng)用
本文中提出的管理和決策評(píng)價(jià)指標(biāo)體系的建立只是大數(shù)據(jù)應(yīng)用的冰山一角,演出場(chǎng)所大數(shù)據(jù)的智能化應(yīng)用還有很多有待依賴(lài)深度學(xué)習(xí)等智能技術(shù)手段深入挖掘,如現(xiàn)場(chǎng)演出的演員行為預(yù)測(cè)和預(yù)見(jiàn),就需要建立在行為模型的深度學(xué)習(xí)及辨識(shí)的基礎(chǔ)之上,并提高深度學(xué)習(xí)的精度。因此可預(yù)見(jiàn),深度學(xué)習(xí)將成為演出大數(shù)據(jù)分析的核心技術(shù)。
(2)知識(shí)計(jì)算增加數(shù)據(jù)的挖掘深度
每一種演出場(chǎng)所數(shù)據(jù)來(lái)源都有一定的局限性和片面性,只有對(duì)各種來(lái)源的原始數(shù)據(jù)進(jìn)行融合才能反映事物的全貌,事物的本質(zhì)和規(guī)律往往隱藏在各種原始數(shù)據(jù)的相互關(guān)聯(lián)之中,如演出能源消耗應(yīng)關(guān)聯(lián)設(shè)備參數(shù)、地理位置、氣象條件、演出內(nèi)容、觀眾人數(shù)等諸多因素,這些數(shù)據(jù)匯聚后可借助知識(shí)計(jì)算將碎片化的多源數(shù)據(jù)整合成反映事物全貌的完整數(shù)據(jù),從而增加數(shù)據(jù)挖掘的深度。當(dāng)前人們理解的大數(shù)據(jù)應(yīng)用還僅限于對(duì)增加票房收入、觀眾購(gòu)買(mǎi)群體和行為的分析,大量關(guān)于演出場(chǎng)所的管理和應(yīng)用還遠(yuǎn)沒(méi)有挖掘出來(lái)。因此,如何基于大數(shù)據(jù)實(shí)現(xiàn)知識(shí)的感知、增量式演化和自適應(yīng)學(xué)習(xí)將是重大挑戰(zhàn)。
(3)社會(huì)媒體數(shù)據(jù)的計(jì)算
社會(huì)媒體信息承載著對(duì)事物的客觀或主觀描述信息。因此,演出場(chǎng)所通過(guò)基于社會(huì)媒體數(shù)據(jù)的計(jì)算,可以幫助人們對(duì)文化創(chuàng)意的認(rèn)知,如對(duì)演出劇目和節(jié)目中蘊(yùn)含的文化IP與演出地理位置、演出環(huán)境、受眾群體、所在地客流量、季節(jié)等數(shù)據(jù)的計(jì)算和關(guān)聯(lián)分析,以及主題樂(lè)園等運(yùn)營(yíng)預(yù)測(cè)分析。因此,需要支持大規(guī)模網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)和管理結(jié)構(gòu),以及高性能的計(jì)算系統(tǒng)結(jié)構(gòu)和算法。
(4)強(qiáng)可視化輔助決策
大數(shù)據(jù)查詢(xún)和分析的實(shí)用性和實(shí)效性對(duì)于人們能否及時(shí)獲得決策信息非常重要。本文中僅提到了報(bào)告、說(shuō)明性分析和儀表盤(pán)展示等可視化手段,也僅僅起到拋磚引玉的作用。未來(lái)演出場(chǎng)所大數(shù)據(jù)應(yīng)用的可視化技術(shù),不僅可以對(duì)數(shù)據(jù)分析結(jié)果進(jìn)行更有效的展示,而且可以在大數(shù)據(jù)分析過(guò)程中發(fā)揮重要作用。
(5)數(shù)據(jù)的安全等級(jí)及可用性
演出場(chǎng)所大數(shù)據(jù)是基礎(chǔ)性的安全級(jí)別較高的公眾數(shù)據(jù)。實(shí)踐證明,公眾數(shù)據(jù)匯聚和安全管理措施需要各級(jí)政府部門(mén)積極推動(dòng)[12]。大數(shù)據(jù)分析應(yīng)用結(jié)果需要進(jìn)行安全級(jí)別的評(píng)判和分類(lèi),以規(guī)范公共服務(wù)和個(gè)性化服務(wù)的落實(shí)。
5? 結(jié)論
筆者針對(duì)中國(guó)文化行業(yè)演出場(chǎng)所的數(shù)據(jù)內(nèi)容、匯聚、數(shù)據(jù)處理和分析應(yīng)用進(jìn)行初步探索,構(gòu)建一種實(shí)現(xiàn)中國(guó)未來(lái)演出場(chǎng)所大數(shù)據(jù)應(yīng)用體系架構(gòu),并應(yīng)用MapReduce并行技術(shù)處理架構(gòu),設(shè)計(jì)基于存儲(chǔ)和可并行計(jì)算資源的分布式云計(jì)算大數(shù)據(jù)處理系統(tǒng),以及業(yè)務(wù)管理流程,希望摸索出一條中國(guó)未來(lái)演出場(chǎng)所數(shù)據(jù)規(guī)范管理的新途徑,以達(dá)到建立文化創(chuàng)意領(lǐng)域優(yōu)質(zhì)的數(shù)據(jù)服務(wù)目標(biāo)。
注:本文部分內(nèi)容得到“演藝裝備系統(tǒng)技術(shù)文化部重點(diǎn)實(shí)驗(yàn)室”資助(Supported by Key Laboratory of Performing Art Equipment & System Technology)。
參考文獻(xiàn):
[1] James Manyika, Michael Chui, et al. Big Data: The next frontier for innovation, competition, and productivity[M]. Mckinsey Global Institute, USA, June 2011.
[2] 工業(yè)和信息化部. 工業(yè)和信息化部關(guān)于印發(fā)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)的通知(工信部規(guī)[2016]412號(hào))[Z]. 2016.
[3] 全國(guó)人大常委會(huì).中華人民共和國(guó)公共文化服務(wù)保障法(主席令第60號(hào))[Z].? 2016.
[4] 程學(xué)旗,靳小龍,等. 大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J]. 軟件學(xué)報(bào), 2014(9): 1889-1908.
[5] W. Brian Arthur. The second economy[M]. Mckinsey Quarterly, October 2011. (https://www.mckinsey.com/business-functions/strategy-and-corporate-finance/our-insights/the-second-economy).
[6] 文化和旅游部. 中華人民共和國(guó)文化和旅游部2017年文化發(fā)展統(tǒng)計(jì)公報(bào)[Z]. 2018.
[7] Jimmy Lin, Chris Dyer. Data-Intensive Text Processing with MapReduce[M]. Morgan & Claypool Publisher, USA, 2010.
[8] Jeffrey Dean, Sanjay Ghemawat. MapReduce: simplified data processing on large clusters[J]. Communications of the ACM: 50th anniversary issue: 1958-2008, 2008, 51(1): 107-113.
[9] 周其麟,王誠(chéng),等. 智能舞臺(tái)決策支撐系統(tǒng)MapReduce驅(qū)動(dòng)模型初探[J]. 演藝科技, 2018(4), 54-58.
[10] 朱湘,金松昌,賈焰. 一種基于Hadoop平臺(tái)的海量Web數(shù)據(jù)挖掘系統(tǒng)研究與實(shí)現(xiàn)[C]. 第九屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集, 2012.
[11] Gene M Amdahl. Validity of the single processor approach to achieving large-scale computing capabilities[C]. AFIPS Conference Proceedings (30) 1967: 483–485.
[12] José María Cavanillas, Edward Curry, et al. New Horizons for a Data-Driven Economy: A Roadmap for Usage and Exploitation of Big Data in Europe[M]. Springer International Publishing AG, Switzerland, 2016.