智能舞臺(tái)決策支撐系統(tǒng)MapReduce驅(qū)動(dòng)模型初探

周其麟 王誠(chéng) WU Han 侯春海

【摘要】根據(jù)智能舞臺(tái)系統(tǒng)的功能結(jié)構(gòu)模型，探索大數(shù)據(jù)并行處理MapRcduce驅(qū)動(dòng)模型，執(zhí)行決策支撐系統(tǒng)（DSS）功能，給出一種基于計(jì)算機(jī)集群的實(shí)現(xiàn)方法。

【關(guān)鍵詞】智能舞臺(tái)系統(tǒng)；MapRcduce；決策支撐系統(tǒng)；并行處理；分布式存儲(chǔ)

隨著數(shù)字化、網(wǎng)絡(luò)化和智能化的飛速發(fā)展，在劇場(chǎng)劇院、演播廳、秀場(chǎng)等演藝場(chǎng)所，人們一直在探索應(yīng)用以并行計(jì)算為特征的快速數(shù)據(jù)分析和模式識(shí)別等新技術(shù)，實(shí)現(xiàn)驅(qū)動(dòng)聲、光、視、械等演藝裝備的智能舞臺(tái)決策支撐系統(tǒng)（DSS）的一種新方法，將美輪美奐、虛實(shí)結(jié)合的舞美效果與演出創(chuàng)意更加完美呈現(xiàn)。

MapReduce是由谷歌推出的一個(gè)編程模型，是一個(gè)能處理和生成超大數(shù)據(jù)集的算法模型，該架構(gòu)能夠在大量普通配置的計(jì)算機(jī)上實(shí)現(xiàn)并行化處理。本文目標(biāo)是初步探索應(yīng)用MapReduce的思想架構(gòu)，設(shè)計(jì)一種實(shí)現(xiàn)智能舞臺(tái)系統(tǒng)在線并行處理圖像、音頻等模式識(shí)別算法，以配合驅(qū)動(dòng)演藝設(shè)備協(xié)調(diào)運(yùn)作的決策支撐系統(tǒng)，實(shí)現(xiàn)智能舞臺(tái)中演藝裝備等資源圍繞演出軸自動(dòng)運(yùn)作的方法。效融合舞臺(tái)裝備和創(chuàng)意作品，為演員提供表演的設(shè)施或平臺(tái)。以數(shù)據(jù)挖掘、信息應(yīng)用、知識(shí)推理和模型規(guī)則等為技術(shù)特征的人工智能技術(shù)是智能舞臺(tái)系統(tǒng)實(shí)現(xiàn)的核心，其基礎(chǔ)是數(shù)據(jù)的深入剖析和快速響應(yīng)。智能舞臺(tái)系統(tǒng)的功能結(jié)構(gòu)模型如圖1所示，智能演藝呈現(xiàn)決策支撐系統(tǒng)（DSS）的驅(qū)動(dòng)模型和體系架構(gòu)是智能舞臺(tái)的重要元素，其作用是基于演藝環(huán)境信息獲取，采用智能化信息

只能舞臺(tái)模式識(shí)別和可并行性計(jì)算

智能舞臺(tái)系統(tǒng)是指應(yīng)用人工智能等先進(jìn)技術(shù)，有處理和知識(shí)推理等先進(jìn)技術(shù)，輸出演藝呈現(xiàn)驅(qū)動(dòng)信息，以控制演藝裝備與創(chuàng)意作品融合，達(dá)到更佳的文化藝術(shù)作品體驗(yàn)效果。

國(guó)際上，智能舞臺(tái)系統(tǒng)采用全新的系統(tǒng)設(shè)計(jì)方法和理念，通過(guò)普適計(jì)算（ Pervasive Compu ting）、物聯(lián)M、虛擬現(xiàn)實(shí)（Virtual Reality，簡(jiǎn)稱VR）、增強(qiáng)現(xiàn)實(shí)（Augmented RealitV，簡(jiǎn)稱AR）等技術(shù)綜合應(yīng)用，融入藝術(shù)創(chuàng)作D，拓展舞臺(tái)的時(shí)空，營(yíng)造出身臨其境的效果。運(yùn)用這些技術(shù)配合演出呈現(xiàn)時(shí)，需要準(zhǔn)確、快速地識(shí)別演員的動(dòng)作、表情、語(yǔ)言、音律和位置等觸發(fā)信息。岡此，應(yīng)用圖像、音頻和位置傳感器采集數(shù)據(jù)，并進(jìn)行快速數(shù)據(jù)分析和模式識(shí)別，進(jìn)而驅(qū)動(dòng)聲、，旺、視、械等演藝裝備協(xié)同運(yùn)作。

MapReduce是一種面向并行計(jì)算的軟件實(shí)現(xiàn)方法，網(wǎng)此圖像、音頻等模式識(shí)別算法的可并行性就成為能否應(yīng)用MapReduce編程思想的關(guān)鍵。如圖像模式識(shí)別算法的運(yùn)算速度隨著圖像元素的多少而快速變化，網(wǎng)此，可考慮將需辨識(shí)的圖像數(shù)據(jù)劃分成多塊，應(yīng)用服務(wù)器集群，將預(yù)先設(shè)置好的模式特征存儲(chǔ)在服務(wù)器集群中，應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)策略Hadoop Hive，將圖像等分塊數(shù)據(jù)快速分給服務(wù)器機(jī)群，并行計(jì)算特征擬合庋，應(yīng)用MapReduce方法得到綜合特征擬合度，從而決定是否觸發(fā)演藝裝備的場(chǎng)景（Cue）運(yùn)行。因此，將多個(gè)攝像機(jī)的圖像和拾音器等采集的數(shù)據(jù)可以劃分成獨(dú)立的多塊數(shù)據(jù)，并行計(jì)算特征擬合度以提高運(yùn)算速度是完全可行的。

MapReduce實(shí)現(xiàn)了兩個(gè)主要功能：Map和Reduce。Map把一個(gè)函數(shù)應(yīng)用于集合中的所有成員，然后返回一個(gè)基于這個(gè)處理的結(jié)果集。RecluCe則是把從兩個(gè)或者更多Map中的一些中問(wèn)結(jié)果，通過(guò)多個(gè)線程、進(jìn)程或獨(dú)立系統(tǒng)并行處理的結(jié)果集進(jìn)行分類和歸納。

MapReduce通過(guò)把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)來(lái)實(shí)現(xiàn)可靠性，每個(gè)節(jié)點(diǎn)會(huì)周期性地把完成的工作和狀態(tài)信息返回給主節(jié)點(diǎn)。如果一個(gè)節(jié)點(diǎn)保持沉默超過(guò)一個(gè)預(yù)設(shè)的時(shí)間間隔，主節(jié)點(diǎn)就認(rèn)為該節(jié)點(diǎn)失效廠，并把分配給這個(gè)節(jié)點(diǎn)的數(shù)據(jù)發(fā)到別的節(jié)點(diǎn)，因此可以被其他節(jié)點(diǎn)所調(diào)度執(zhí)行。

由于MapReduce運(yùn)行系統(tǒng)已考慮到J，輸入數(shù)據(jù)劃分、節(jié)點(diǎn)失效處理、節(jié)點(diǎn)之間所需通信等各個(gè)細(xì)節(jié)，使得程序員可以不需要有什么并發(fā)處理或者分布式系統(tǒng)的經(jīng)驗(yàn)，就可以處理超大規(guī)模的分布式系統(tǒng)資源。

MapReduce算法處理大數(shù)據(jù)問(wèn)題時(shí)，主要可以分為兩個(gè)階段進(jìn)行：首先，對(duì)子數(shù)據(jù)集中每個(gè)元素執(zhí)行用戶定義的Map函數(shù)，獲得中間結(jié)果；然后，將獲得的中間結(jié)果通過(guò)用戶定義的reduce函數(shù)進(jìn)行合并。在MapReduce模型中，用戶需要定義Map和Recluce函數(shù)，輸入一個(gè)鍵值對(duì)（kev，value）列表，鍵傣對(duì)就是一個(gè)由鍵和債組成的二元組，排序和分組都基于kev來(lái)完成。Map函數(shù)的輸入是鍵傣對(duì)，對(duì)每個(gè)鍵值對(duì)進(jìn)行計(jì)算，產(chǎn)生的結(jié)果也是中間鍵值對(duì)列表。在Map和Reduce中間這個(gè)鍵值對(duì)列表，基于鍵進(jìn)行聚集。Reduce函數(shù)的輸入是基于鍵的鍵值對(duì)分組，其中每個(gè)分組都是獨(dú)立的。這樣就可以使用分布式大規(guī)模并行的方式進(jìn)行處理，總輸入能遠(yuǎn)大于處理MapReduce的節(jié)點(diǎn)的內(nèi)存。

MapReduce并行處理的基本過(guò)程如”FH（圖2）。

（1）有一個(gè)待處理的大數(shù)據(jù)，被劃分為大小相同的數(shù)據(jù)塊（如64 MB），及與此相應(yīng)的用戶作業(yè)程序；

（2）系統(tǒng)中有一個(gè)負(fù)責(zé)調(diào)度的主節(jié)點(diǎn)（Master），以及數(shù)據(jù)Map和Reduce工作節(jié)點(diǎn)（Worker），用戶作業(yè)程序提交給主節(jié)點(diǎn)。主節(jié)點(diǎn)為作業(yè)程序?qū)ふ液团鋫淇捎玫腗ap節(jié)點(diǎn)，并將程序傳送給Map節(jié)點(diǎn)；

（3）主節(jié)點(diǎn)也為作業(yè)程序?qū)ふ液团鋫淇捎玫腞educe節(jié)點(diǎn)，并將程序傳送給Reduce節(jié)點(diǎn)。主節(jié)點(diǎn)啟動(dòng)每個(gè)Map節(jié)點(diǎn)執(zhí)行程序，每個(gè)Map節(jié)點(diǎn)盡可能讀取本地或本機(jī)架的數(shù)據(jù)進(jìn)行計(jì)算；

（4）每個(gè)Map節(jié)點(diǎn)處理讀取的數(shù)據(jù)塊，并做一些數(shù)據(jù)整理工作（ combining、sorting等），將中間結(jié)果存放在本地；同時(shí)通知主節(jié)點(diǎn)計(jì)算任務(wù)完成并告知中間結(jié)果數(shù)據(jù)存儲(chǔ)位置；

（5）主節(jié)點(diǎn)等所有Map節(jié)點(diǎn)計(jì)算完成后，開(kāi)始啟動(dòng)Reduce節(jié)點(diǎn)運(yùn)行，Reduce節(jié)點(diǎn)從主節(jié)點(diǎn)所掌握的中間結(jié)果數(shù)據(jù)位置信息，遠(yuǎn)程讀取這些數(shù)據(jù)：

（6） Reduce節(jié)點(diǎn)計(jì)算結(jié)果匯總輸出到一個(gè)結(jié)果文件即獲得整個(gè)處理結(jié)果。

2 MapReduce DSS設(shè)計(jì)

對(duì)于舞臺(tái)大數(shù)據(jù)的研究，國(guó)內(nèi)外主要集中在對(duì)舞臺(tái)數(shù)字化多維空間數(shù)據(jù)處理與驅(qū)動(dòng)等領(lǐng)域，旨在增強(qiáng)舞臺(tái)多維空間藝術(shù)表現(xiàn)力。Jeff Burke等人建立了普適計(jì)算的驅(qū)動(dòng)模型，通過(guò)位置傳感器辨識(shí)演員的行動(dòng)軌跡，以觸發(fā)舞臺(tái)燈光等演藝裝備，并將這些裝備作為資源服務(wù)于演出軸。一場(chǎng)演出，聲、光、視、械等演藝裝備的觸發(fā)是根據(jù)劇情的發(fā)展而變化的，這些變化的觸發(fā)依據(jù)不僅限于演員的行動(dòng)路線，還取決于演出的圖像、演員的表情、動(dòng)作、音頻等。針對(duì)這些觸發(fā)岡素，需要建立一套快速響應(yīng)和模式識(shí)別的計(jì)算模型。基于這些數(shù)據(jù)模式識(shí)別計(jì)算的可并行性，設(shè)計(jì)了一種MapReduce驅(qū)動(dòng)模型，可用于搭建決策支撐系統(tǒng)，智能舞臺(tái)系統(tǒng)的功能需求。

3.1 MapReduce DSS數(shù)據(jù)任務(wù)結(jié)構(gòu)

MapReduce DSS的數(shù)據(jù)任務(wù)結(jié)構(gòu)，又可稱為作業(yè)服務(wù)器（JobTracker）和名字服務(wù)器（NameNode）結(jié)構(gòu)，如圖3所示。

整個(gè)結(jié)構(gòu)模型包括決策支撐系統(tǒng)和MapReduce數(shù)據(jù)任務(wù)處理兩部分。

（1）決策支撐包括現(xiàn)場(chǎng)數(shù)據(jù)采集、數(shù)據(jù)分布式存儲(chǔ)和MapReduce數(shù)據(jù)分析三個(gè)部分。

現(xiàn)場(chǎng)數(shù)據(jù)采集與舞臺(tái)裝備系統(tǒng)對(duì)接，按照AT采樣時(shí)間問(wèn)隔，輪詢獲取現(xiàn)場(chǎng)影像、音頻和位置信息。數(shù)據(jù)分布式存儲(chǔ)策略實(shí)現(xiàn)HDFS （Hadoop DistributedFile System）功能，將采集數(shù)據(jù)分布式存儲(chǔ)于各刀片式服務(wù)器中；與演出有關(guān)的特征匹配信息，如圖像、表情、形態(tài)、音頻等特征，預(yù)先也存儲(chǔ)于服務(wù)器集群中。MapRedu ce數(shù)據(jù)分析負(fù)責(zé)啟動(dòng)模式識(shí)別計(jì)算的MapReduce任務(wù)并根據(jù)結(jié)果進(jìn)行判斷，與演藝呈現(xiàn)控制單元一起觸發(fā)并協(xié)調(diào)驅(qū)動(dòng)演出現(xiàn)場(chǎng)的聲、光、視、械等裝備。

（2） MapReduce數(shù)據(jù)任務(wù)處理部分由刀片式服務(wù)器集群和兩臺(tái)管理服務(wù)器組成。

兩臺(tái)管理服務(wù)器分別充當(dāng)HDFS中的名字服務(wù)器和MapRedu ce計(jì)算甲臺(tái)中的作業(yè)服務(wù)器（JobTracker），其余刀片式服務(wù)器集群既充當(dāng)HDFS中的數(shù)據(jù)節(jié)點(diǎn)（DataNode），又充當(dāng)MapReduce計(jì)算平臺(tái)中的任務(wù)執(zhí)行器（TaskTracker）。這種“移動(dòng)計(jì)算以靠近存儲(chǔ)”的設(shè)計(jì)，將大規(guī)?，F(xiàn)場(chǎng)數(shù)據(jù)的模式識(shí)別處理變成“本地計(jì)算（local compu ting）”，可大大提升海量數(shù)據(jù)處理的速度，達(dá)到高效率，適應(yīng)演藝場(chǎng)所快速準(zhǔn)確的響應(yīng)要求。

HDFS是分布式計(jì)算的存儲(chǔ)基石，它與其他分布式文件系統(tǒng)有很多類似的特質(zhì)。

（1）對(duì)于整個(gè)集群有單一的命名空間。

（2）數(shù)據(jù)一致性。適合一次寫(xiě)入多次讀取的模型，客戶端在文件沒(méi)有被成功創(chuàng)建之前無(wú)法看到文件存在。

（3）文件被分割成多個(gè)文件塊，每個(gè)文件塊被分配存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)上，而且根據(jù)配置會(huì)由復(fù)制文件塊來(lái)保證數(shù)據(jù)的安全性。

Map/Reduce是一個(gè)用于進(jìn)行大數(shù)據(jù)量計(jì)算的編程模型，同時(shí)也是一種高效的任務(wù)調(diào)度模型，它將一個(gè)任務(wù)分成很多更細(xì)粒度的子任務(wù)，這些子任務(wù)能夠在空閑的處理節(jié)點(diǎn)之間調(diào)度，使處理速度越快的節(jié)點(diǎn)處理越多的任務(wù)，從而避免處理速度慢的節(jié)點(diǎn)延長(zhǎng)整個(gè)任務(wù)的完成時(shí)間。

3.2 MapReduce程序邏輯實(shí)現(xiàn)

MapReduce方法程序邏輯實(shí)現(xiàn)與分布式文件系統(tǒng)類似，Map/Reduce的集群也由三類服務(wù)器構(gòu)成。其巾的作業(yè)服務(wù)器，在Hadoop中稱為JobTracker，在Google論文中稱為Master。前者表明，作業(yè)服務(wù)器是負(fù)責(zé)管理運(yùn)行在此框架下所有作業(yè)的，后者表明，它也是為各個(gè)作業(yè)分配任務(wù)的核心。與HDFS的主控服務(wù)器類似，它也是作為單點(diǎn)存在的，簡(jiǎn)化了負(fù)責(zé)的同步流程。具體負(fù)責(zé)執(zhí)行用戶定義操作的是任務(wù)服務(wù)器，每一個(gè)作業(yè)被拆分成很多的任務(wù)，包括Map任務(wù)和Reduce任務(wù)等。任務(wù)是具體執(zhí)行的基本單元，它們都需要分配到合適任務(wù)服務(wù)器上去執(zhí)行，任務(wù)服務(wù)器一邊執(zhí)行一邊向作業(yè)服務(wù)器匯報(bào)各個(gè)任務(wù)的狀態(tài)，以此來(lái)幫助作業(yè)服務(wù)器了解作業(yè)執(zhí)行的整體情況，分配新的任務(wù)等。

除了作業(yè)的管理者執(zhí)行者，還需要有一個(gè)任務(wù)的提交者，這就是客戶端。與分布式文件系統(tǒng)一樣，客戶端也不是一個(gè)單獨(dú)的進(jìn)程，而是一組API （ApplicationProgram Interface，應(yīng)用程序接口），用戶需要自定義好需要的內(nèi)容，經(jīng)由客廣-端相關(guān)的代碼，將作業(yè)及其相關(guān)內(nèi)容和配置，提交到作業(yè)服務(wù)器去，并時(shí)刻監(jiān)控執(zhí)行的狀況。

作為Hadoop的實(shí)現(xiàn)，通信機(jī)制相同，也是用了協(xié)議接口來(lái)進(jìn)行服務(wù)器間的交流。實(shí)現(xiàn)者作為RPC（RemoteProcedure Call Protocol）服務(wù)器，調(diào)用者經(jīng)由RPC的代理進(jìn)行調(diào)用，如此完成大部分的通信，具體服務(wù)器的架構(gòu)，和其中運(yùn)行的各個(gè)協(xié)議狀況，參見(jiàn)圖4。從圖中可以看到，與HDFS相比，相關(guān)的協(xié)議少了幾個(gè)，客戶端與任務(wù)服務(wù)器，任務(wù)服務(wù)器之間，都不再有直接通信關(guān)系。

與分布式文件系統(tǒng)相比，Map/Reduce框架還有一個(gè)特點(diǎn)，就是可定制性強(qiáng)。文件系統(tǒng)中有很多固定和直觀的算法，不因所存儲(chǔ)的內(nèi)容不同而有太多的變化。而作為通用的計(jì)算框架，需要面對(duì)的問(wèn)題則很復(fù)雜。作為Map/Reduce框架而言，一方面要盡可能地抽取出公共需求并解決；另一方而需要提供良好的、可擴(kuò)展機(jī)制，滿足用戶自定義各種算法的需要。Hadoop由Java實(shí)現(xiàn)自定義的擴(kuò)展，具有很好的便捷性。在JobConf類中，定義了大量的接口，這基本上是Hadoop Map/Reduce框架所有可定制內(nèi)容的集中。在JobConf中，有大量set接口接受一個(gè)Class<？ extends xxx>的參數(shù)，通常它都有一個(gè)默認(rèn)實(shí)現(xiàn)的類，用戶如果不滿意，則可自定義實(shí)現(xiàn)。

如果一切按部就班地進(jìn)行，那么整個(gè)作業(yè)的計(jì)算流程應(yīng)該是：作業(yè)提交→Map任務(wù)的分配和執(zhí)行→Reduce任務(wù)的分配和執(zhí)行→作業(yè)完成。而在每個(gè)任務(wù)的執(zhí)行中，又包含：輸入的準(zhǔn)備→算法的執(zhí)行→輸出的生成，三個(gè)子步驟，如圖4所示。

3.3集群服務(wù)器的可并行度

模式識(shí)別算法能得到多大并行加速問(wèn)題，依賴于該算法實(shí)現(xiàn)程序可并行計(jì)算的代碼比例，經(jīng)典的程序并行加速評(píng)估公式Amdahl定律如下所示：

其中，S是加速比，P是程序可并行比例，Ⅳ是處理器數(shù)目。

根據(jù)Amdahl定律：一個(gè)并行程序可加速程度是有限制的，并非可無(wú)限加速，并非處理器越多越好。如預(yù)計(jì)智能舞臺(tái)圖像模式識(shí)別的可并行代碼的比例為75%，則加速比最大可提升4倍。當(dāng)服務(wù)器數(shù)量為32臺(tái)時(shí)，加速比為3.66倍；當(dāng)服務(wù)器數(shù)量為64臺(tái)時(shí)，加速比為3.82倍。實(shí)際配置時(shí)，以32臺(tái)刀片式服務(wù)器配置為宜。

實(shí)際演出環(huán)境下，要求考慮DSS的輸出時(shí)間間隔Tout按照Shannon定理，Tout≥2ΔT，因此設(shè)計(jì)的刀片式服務(wù)器的總數(shù)量Nt符合如下不等式：

Nt≤[Ts/（2S≡T）+1]N

其中，TS是原模式識(shí)別算法所耗時(shí)問(wèn)，[x]代表不超過(guò)x的最大整數(shù)。

如原模式識(shí)別算法所耗時(shí)間為10 s，Tout要求每隔1s輸出觸發(fā)信號(hào)，ΔT為0.5 s，模式識(shí)別的可并行代碼的比例為75%，則刀片式服務(wù)器數(shù)量可選96臺(tái)。

4 問(wèn)題與思考

MapReduce DSS驅(qū)動(dòng)模型應(yīng)用于智能舞臺(tái)，需要注意以下幾點(diǎn)。

（1）時(shí)延引入：并行計(jì)算的引入，必然會(huì)引入時(shí)延問(wèn)題。在演出過(guò)程中，聲、光、視、械等演藝裝備協(xié)同觸發(fā)運(yùn)行要與演出軸內(nèi)容同步吻合，達(dá)到天衣無(wú)縫的呈現(xiàn)效果，需要導(dǎo)演在設(shè)計(jì)觸發(fā)特征時(shí)適當(dāng)提前于實(shí)際觸發(fā)時(shí)間點(diǎn)。因此，這對(duì)于導(dǎo)演的演藝裝備信息技術(shù)的理解，提出了更高的要求和更加細(xì)膩的處理技巧。

（2）數(shù)據(jù)文件的存儲(chǔ)和處理速度：MapReduce DSS基于分布式數(shù)據(jù)文件的快速存儲(chǔ)和服務(wù)器集群的快速調(diào)度和計(jì)算，因此，跟隨技術(shù)進(jìn)步，將更加高效的技術(shù)引進(jìn)現(xiàn)場(chǎng)演出信息裝備是一個(gè)永恒的工作。

（3）模式識(shí)別及特征匹配算法的可靠性研究：當(dāng)前的模式識(shí)別算法還處于不斷優(yōu)化和演進(jìn)的階段，最新的科研成果的引入是十分重要的。同時(shí)，基于演出環(huán)境的高安全性要求，必須經(jīng)過(guò)可靠性測(cè)試才能使用，這為最新技術(shù)及時(shí)引入文化演藝場(chǎng)所提出了更高的可靠性測(cè)試的標(biāo)準(zhǔn)要求。

本文應(yīng)用MapReduce的思想架構(gòu)，對(duì)實(shí)現(xiàn)智能舞臺(tái)在線并行處理圖像、音頻等模式識(shí)別算法，搭建一種驅(qū)動(dòng)演藝設(shè)備協(xié)調(diào)運(yùn)作的決策支撐系統(tǒng)，進(jìn)行了初步探索，并分析了實(shí)際設(shè)計(jì)系統(tǒng)的可并行度和可能存在的應(yīng)用問(wèn)題，為實(shí)現(xiàn)智能舞臺(tái)的物聯(lián)網(wǎng)功能和大數(shù)據(jù)應(yīng)用提供一條可行路徑。