基于Drqueue搭建跨校園的云渲染實(shí)驗(yàn)平臺(tái)

林泳琴，黃晨暉

（1.廣州大學(xué) 網(wǎng)絡(luò)中心，廣東 廣州 510006；2.廣東女子職業(yè)技術(shù)學(xué)院 網(wǎng)絡(luò)中心，廣東 廣州 511450）

1 項(xiàng)目研究背景

近幾年，高校數(shù)字信息技術(shù)的發(fā)展浪潮為動(dòng)漫產(chǎn)業(yè)［1－2］及動(dòng)漫教學(xué)和動(dòng)漫創(chuàng)作進(jìn)一步發(fā)展提供了機(jī)遇。3D渲染對(duì)計(jì)算能力的需求在目前看來還是難以滿足的，即使通過大規(guī)模集群計(jì)算方式還是需要數(shù)個(gè)月才能完成一部動(dòng)漫電影的渲染制作。為進(jìn)一步充分利用高校的閑置資源以縮短渲染所耗時(shí)延，我們?cè)谖墨I(xiàn)［3］研究的基礎(chǔ)上，進(jìn)一步擴(kuò)展渲染平臺(tái)，基于開源集群渲染（distributed rendering environment，DRE，又叫分布式渲染環(huán)境［4］）管理軟件 Drqueue［5］，借助Multi－Cluster概念，實(shí)現(xiàn)了渲染資源和渲染應(yīng)用跨校園的云渲染實(shí)驗(yàn)平臺(tái)，讓更多的高校參與并享用云渲染平臺(tái)，對(duì)于那些本身不具備渲染硬件、或距離完成期限近因而需要更多計(jì)算資源來完成渲染的創(chuàng)作團(tuán)隊(duì)來說，該平臺(tái)更適合他們。他們除了能在短時(shí)間段內(nèi)使用大數(shù)量渲染機(jī)器群外，不用考慮渲染硬件的采購(gòu)、維護(hù)以及服務(wù)支持等，也不用考慮所使用軟件的成本和額外安裝開支。此外，該云渲染平臺(tái)操作簡(jiǎn)單，通過瀏覽器即可提交渲染任務(wù)和查看渲染進(jìn)展?fàn)顩r，平臺(tái)在數(shù)據(jù)轉(zhuǎn)換與存儲(chǔ)等方面也都采用相關(guān)的權(quán)限控制和加密措施，為用戶提供了企業(yè)級(jí)的渲染平臺(tái)。

2 開源渲染管理軟件Drqueue

Drqueue［6］是一款開放源碼分布式渲染程序，提供的服務(wù)接口包括了渲染節(jié)點(diǎn)任務(wù)的分配、監(jiān)控和管理等。它支持的渲染器包括：3Dlight，3DSMax，After Effects，Aqsis，Blender，BMRT，Cinema 4D，Lightwave，Luxrender，Mantra，Maya，Mental Ray，Nuke，Pixie，Shake，Terragen，Turtle，V－Ray and XSI等；它支持的操作系統(tǒng)平臺(tái)可以是：Linux，Mac OSX，Irix，F(xiàn)reeBSD，Windows，它還支持混合平臺(tái)渲染集群的創(chuàng)建，支持使用Python等以提供完整的接口調(diào)用。目前在國(guó)內(nèi)外都有一些小的項(xiàng)目在使用Drqueue，比如 Martian Labs，《加勒比海盜》、《驅(qū)魔人》等。我們選擇它，是因?yàn)樗敲赓M(fèi)開源的，并且內(nèi)置了Python［7］，可以通過Pythone腳本擴(kuò)展功能，進(jìn)行二次開發(fā)比較方便。

基于Drqueue的單一集群渲染架構(gòu)見圖1，它與文獻(xiàn)［8］給出的集群渲染管理軟件架構(gòu)是一致的。其中，Master節(jié)點(diǎn)保存著整個(gè)渲染集群的任務(wù)隊(duì)列信息和Slave渲染節(jié)點(diǎn)信息，它通常維護(hù)一個(gè)全局性的數(shù)據(jù)庫(kù)，記錄節(jié)點(diǎn)工作狀態(tài)以及任務(wù)與子任務(wù)分配、執(zhí)行狀態(tài)等信息。Slave節(jié)點(diǎn)負(fù)責(zé)渲染任務(wù)的執(zhí)行，它會(huì)維護(hù)一個(gè)局部數(shù)據(jù)庫(kù)以保存本機(jī)資源信息以及所分配的子任務(wù)隊(duì)列與狀態(tài)信息，同時(shí)負(fù)責(zé)調(diào)用渲染器（例如Maya，3DMax等）完成渲染。也就是說，一方面，有自己的狀態(tài)和任務(wù)等信息，另一方面同時(shí)要定期向Master更新自己的負(fù)載或CPU可用資源等信息。當(dāng)它可用時(shí)，它會(huì)向Master發(fā)送請(qǐng)求以完成與它的配置文件（操作系統(tǒng)、內(nèi)存、CPU核數(shù)、渲染器等）描述一致的、能勝任的渲染任務(wù)。Master一旦將任務(wù)分配給Slave，Slave會(huì)接收所有跟渲染任務(wù)相關(guān)的信息（包括渲染文件存放地、渲染器類型、起始和結(jié)束幀等），當(dāng)收到這些信息后，Slave會(huì)創(chuàng)建一個(gè)新的進(jìn)程來執(zhí)行此任務(wù)。在實(shí)現(xiàn)中，任務(wù)腳本必須位于共享存儲(chǔ)中，這樣所有Slave節(jié)點(diǎn)都可以以相同的路徑來讀取到任務(wù)腳本。只要渲染任務(wù)沒完成，Slave節(jié)點(diǎn)會(huì)不間斷地向Master匯報(bào)其存在及渲染進(jìn)展?fàn)顩r；當(dāng)渲染任務(wù)完成，Slave節(jié)點(diǎn)中的渲染父進(jìn)程會(huì)收集各子進(jìn)程的退出狀態(tài)，并向Master發(fā)送所有信息?；谶@些信息，任務(wù)自動(dòng)排隊(duì)，并標(biāo)記“Finished”或“Error”。當(dāng)然，這些信息也可以在應(yīng)用服務(wù)器上進(jìn)行訪問。

圖1 基于Drqueue單一的集群渲染架構(gòu)

3 跨校園的云渲染實(shí)驗(yàn)平臺(tái)的搭建

本項(xiàng)目的其中一個(gè)研究出發(fā)點(diǎn)是，能否實(shí)現(xiàn)將高校閑置的資源共享、運(yùn)用到動(dòng)漫渲染中，為教學(xué)、科研和小型動(dòng)漫創(chuàng)作提供堅(jiān)實(shí)的后盾。高校的資源是異地分布的，資源的供給與回收也是動(dòng)態(tài)變化的，為此，探索云渲染就不僅僅只是一個(gè)集群渲染，既然是在云計(jì)算環(huán)境下的渲染，那就有可能存在不同的渲染集群參與同一渲染任務(wù)，因此本文引入了Multi－Cluster的概念。在云計(jì)算領(lǐng)域里，IBN Platform LSF［9］在2010年提出過Multi－Cluster to the Cloud的概念，并通過優(yōu)秀的集群調(diào)度軟件 LSF（load share facility）［10］實(shí)現(xiàn)了將云供應(yīng)商創(chuàng)建的新Cluster加入現(xiàn)有云平臺(tái)以擴(kuò)展或提供更強(qiáng)的計(jì)算功能，它的實(shí)現(xiàn)是通過多集群協(xié)調(diào)模塊（multicluster orchestrator），應(yīng)用相應(yīng)的調(diào)度策略自動(dòng)向云供應(yīng)商創(chuàng)建的新集群分發(fā)任務(wù)，從而合并本地集群與新集群的計(jì)算功能。

借助Muti－Cluster的理念，本文將集群渲染擴(kuò)展到更廣泛的云環(huán)境中，其結(jié)構(gòu)架構(gòu)圖如圖2所示。其中VM為集群里的虛擬機(jī)或?qū)嶓w機(jī)，是渲染任務(wù)完成的主力軍，我們上節(jié)也稱之為Slave節(jié)點(diǎn)，VM－M為渲染集群里的Master節(jié)點(diǎn)，負(fù)責(zé)集群里的渲染任務(wù)管理，以及集群間的通信和狀態(tài)上報(bào)等。我們?cè)诮M建Cluster的時(shí)候，同一Cluster通常是機(jī)器類型一致的或同一操作系統(tǒng)安裝有相同的渲染器，這樣處置是因?yàn)椴煌珻luster渲染出來的結(jié)果有可能存在色差問題；另外，同一Cluster通常位于同一網(wǎng)絡(luò)，可以快速訪問其相應(yīng)的文件服務(wù)器，節(jié)點(diǎn)間的通信開銷在可控范圍內(nèi)。

擴(kuò)展后的渲染流程如下：用戶向渲染應(yīng)用服務(wù)器提交了渲染請(qǐng)求后，渲染任務(wù)將保存到數(shù)據(jù)庫(kù)服務(wù)器中，并通知用戶將渲染源文件及材質(zhì)文件等上傳至文件服務(wù)器F中。由于不同Cluster可能是異地分布的，所以文件服務(wù)器也是異地分布的，每個(gè)Cluster通常能就近高效訪問文件服務(wù)器。渲染管理服務(wù)器收到渲染任務(wù)后，從渲染節(jié)點(diǎn)集群集中選擇合適的集群（可能是多個(gè)，如果是多個(gè)的話，需要首先進(jìn)行任務(wù)的切分）執(zhí)行渲染任務(wù)，當(dāng)渲染任務(wù)執(zhí)行完畢后，一方面，將渲染狀態(tài)反饋回渲染管理服務(wù)器，另一方面直接由執(zhí)行渲染任務(wù)的Cluster返回渲染結(jié)果至相應(yīng)的文件服務(wù)器，用戶通過上網(wǎng)即可查看渲染狀態(tài)和下載渲染結(jié)果。

圖2 云渲染平臺(tái)的結(jié)構(gòu)示圖

為了減少網(wǎng)絡(luò)拓?fù)鋵?duì)渲染性能的影響，在渲染節(jié)點(diǎn)集群調(diào)度中，使用了topology－aware［11］的調(diào)度策略，實(shí)現(xiàn)了渲染資源就近調(diào)度及最大調(diào)度。例如：如果在學(xué)校A里能找到滿足要求的渲染資源可調(diào)用，則來自學(xué)校A局域網(wǎng)里的渲染請(qǐng)求將優(yōu)先考慮學(xué)校A里的渲染集群，這就是就近分配的原則；若來自學(xué)校A的渲染請(qǐng)求（要求N核資源執(zhí)行渲染任務(wù)）在學(xué)校A部署的集群集里空閑的CPU已不夠N核，但在另一學(xué)校B部署的集群里卻又滿足N核的請(qǐng)求，此時(shí)，平臺(tái)優(yōu)先將任務(wù)分配到學(xué)校B部署的集群中執(zhí)行，從而減少因?yàn)殇秩救蝿?wù)過分劃分導(dǎo)致性能的下降，也盡可能地減少了因?yàn)榧簷C(jī)型不太一致導(dǎo)致的色差問題，這就是最大分配的考慮。

4 平臺(tái)的部署、實(shí)現(xiàn)及效果

在學(xué)校A的局域網(wǎng)內(nèi)部署了2個(gè)渲染集群C1，C2，在學(xué)校B的局域網(wǎng)內(nèi)部署了另外2個(gè)渲染集群C3，C4，每個(gè)渲染集群里的渲染節(jié)點(diǎn)都是學(xué)校A和學(xué)校B云平臺(tái)上的虛擬機(jī)VM（64bit），分配給VM的CPU核數(shù)和內(nèi)存可以通過云計(jì)算管理平臺(tái)進(jìn)行重新配置。每個(gè)渲染集群都部署有Drqueue作為渲染管理軟件，每個(gè)渲染節(jié)點(diǎn)安裝Centos操作系統(tǒng)，實(shí)驗(yàn)中渲染器也采用開源的Blender［12］（當(dāng)然，Drqueue也支持其他渲染器，如maya，3Dmax等常用渲染器）。實(shí)驗(yàn)渲染案例是25幀的blender動(dòng)畫，分辨率為8000×6000。平臺(tái)的渲染時(shí)間開銷及渲染加速比如表1所示。

表1 平臺(tái)渲染時(shí)間對(duì)照表

表1結(jié)果表明：在普通實(shí)驗(yàn)機(jī)上（表1中的第一行）執(zhí)行的渲染任務(wù)應(yīng)用到該平臺(tái)上，只需求很短的時(shí)間，該平臺(tái)有很好的加速比，能勝任大創(chuàng)作，并在較短時(shí)間內(nèi)完成渲染任務(wù)。

5 結(jié)束語(yǔ)

開源的Drqueue更有利于我們?cè)趯?shí)現(xiàn)中進(jìn)一步改進(jìn)和做二次開發(fā)。本文基于Drqueue實(shí)現(xiàn)了渲染資源和渲染應(yīng)用跨校園的云渲染實(shí)驗(yàn)平臺(tái)，它把高校的云計(jì)算資源很好地應(yīng)用于動(dòng)漫渲染，為高校的動(dòng)漫課程及動(dòng)漫創(chuàng)作提供了堅(jiān)實(shí)的后盾。目前，已整合了2個(gè)高校的云資源，平臺(tái)的可伸縮性讓它可以方便地?cái)U(kuò)展到多個(gè)高校，平臺(tái)的高渲染加速比讓它能更好地服務(wù)于高校的動(dòng)漫專業(yè)教學(xué)與創(chuàng)作。

（References）

［1］馮俏俏，趙明.我國(guó)動(dòng)漫產(chǎn)業(yè)發(fā)展困境與對(duì)策研究［J］.編輯之友，2012（5）：62－64.

［2］許盛.高校動(dòng)漫教育存在的問題及改革對(duì)策研究［J］.教育探索，2012（7）：59－60.

［3］廖宏建，楊玉寶，唐連章，等.基于云計(jì)算的動(dòng)漫渲染實(shí)驗(yàn)平臺(tái)研究與實(shí)現(xiàn)［J］.實(shí)驗(yàn)室研究與探索，2012，31（7）：68－71.

［4］Madhavan K P C，Arns L L，Bertoline G R.A Distributed Rendering Environment for Teaching Animation and Scientific Visualization［J］.Computer Graphics and Applications，2005，25（5）：32－38.

［5］Kazoo.DrQueue Commercial Website［EB／OL］.［2012－12－11］.http：／／www.drqueue.org／.

［6］黃晨暉，林泳琴.基于云計(jì)算的虛擬計(jì)算機(jī)實(shí)驗(yàn)室的研究與實(shí)現(xiàn)［J］.實(shí)驗(yàn)室研究與探索，2010（11）：178－181.

［7］Swaroop C H.A byte of python［M／OL］.北京：百度文庫(kù).［2012－12－10］.http：／／wenku.baidu.com／view／bd97db0a763231126edb115e.html.

［8］羅秋明，孫宏元.集群渲染管理軟件的構(gòu)建技術(shù)與框架設(shè)計(jì)［J］.計(jì)算機(jī)工程，2008，34（11）：249－251.

［9］IBM.IBN Platform LSF［EB／OL］.［2012－12－11］.http：／／www.ibm.com／us／en／.

［10］鄧綻蕾，談國(guó)新.基于LSF的MAYA集群渲染研究及實(shí)現(xiàn)［C］／／第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2007）論文集，2007.

［11］Gkantsidis C，Goel G，Mihail M，et al.Towards topology aware networks［C］／／INFOCOM 2007.26th IEEE International Conference on Computer Communications.IEEE.IEEE，2007：2591－2595.

［12］Blender，Blender.org－Home of the Blender project－Free and Open 3DCreation Software［EB／OL］.［2012－12－11］.http：／／www.blender.org／.