GPU虛擬化環(huán)境下云游戲性能分析

戴加偉,白光偉,沈 航,王仲暉

(南京工業(yè)大學 計算機科學與技術(shù)學院,南京 211816)

1 引 言

云游戲[1]指將電腦游戲運行在云服務(wù)器上,通過強大的計算能力對游戲畫面進行渲染、捕獲和壓縮后發(fā)送給低計算能力的瘦客戶端,而用戶在瘦客戶端通過網(wǎng)絡(luò)與游戲交互.瘦客戶端是輕量級的,只負責解碼和顯示游戲畫面,可以移植到資源受限的平臺,如移動設(shè)備和電視機頂盒等.用戶可以在任何地方任何時間體驗最新的電腦游戲,游戲開發(fā)者也可以根據(jù)云游戲系統(tǒng)特定的硬件配置來優(yōu)化他們的游戲.

雖然云游戲以一種全新的方式向用戶提供更高品質(zhì)的游戲體驗,但是如何在保證用戶體驗的情況下控制硬件成本仍然是一個棘手的問題.例如OnLive為優(yōu)化用戶體驗陷入財政困難.如果使用低端硬件會導致不愉快的用戶體驗,這可能會促使用戶放棄云游戲,但是使用高端硬件,按照以往一個用戶必須對應(yīng)一臺實體服務(wù)器的方式,會產(chǎn)生高額的硬件成本.此外,不同的游戲類型有不同的硬件要求,如果不按照游戲的需求合理分配服務(wù)器的資源,可能會導致資源的不足或浪費.例如按照3D射擊游戲設(shè)置的硬件配置,在運行2D休閑游戲時就會性能過剩.

虛擬化是整合云游戲系統(tǒng)資源,降低硬件成本的關(guān)鍵[2，3].它允許多個云游戲共享物理服務(wù)器資源,同時保持隔離和保證性能.目前CPU、網(wǎng)絡(luò)接口和存儲的虛擬化已經(jīng)相當成熟,但是GPU設(shè)備由于結(jié)構(gòu)和技術(shù)文檔未對外公開,而且每次更新都伴隨著巨大的結(jié)構(gòu)變化,因此GPU虛擬化的實施尤為困難.文獻[4，5]指出GPU虛擬化將導致不佳的游戲體驗,例如低幀速率、高響應(yīng)延遲和低畫面質(zhì)量.然而,過去的幾年里,GPU虛擬化技術(shù)得到了極大的改善,可以更加高效的實現(xiàn)虛擬機對GPU資源的共享.為此,本文使用最新的GPU虛擬化技術(shù)和開源的云游戲平臺搭建原型系統(tǒng).該系統(tǒng)將云游戲運行在虛擬機中,實現(xiàn)服務(wù)器資源的共享.在此基礎(chǔ)上,提出性能評價指標和測量方法,并有針對性的進行大量實驗,分析云游戲在GPU虛擬化環(huán)境下的性能.

基于上述原型系統(tǒng),本文試圖回答:最新的GPU虛擬化技術(shù)能否支持GPU密集型的云游戲在虛擬機中流暢運行？實驗結(jié)果表明:最新的GPU虛擬化技術(shù)可以給虛擬機提供較高的圖形加速性能,在保證云游戲用戶體驗的同時實現(xiàn)GPU資源共享和公平分配.另外實驗還發(fā)現(xiàn),使用GPU進行硬件編碼可以提高游戲視頻編碼效率.

本文的結(jié)構(gòu)安排為:第2節(jié)提出問題;第3節(jié)設(shè)計原型系統(tǒng);第4節(jié)提出性能指標與測量方法;第5節(jié)設(shè)計實驗并分析結(jié)果;第6節(jié)總結(jié)全文.

2 問題提出

將云游戲系統(tǒng)直接運行在物理服務(wù)器上,一臺服務(wù)器只服務(wù)一個用戶的方式給云游戲提供商帶來巨大的經(jīng)濟負擔.為了優(yōu)化服務(wù)器資源分配,可以將云游戲運行在虛擬機中,使一臺服務(wù)器能同時運行更多的云游戲?qū)嵗?但是,虛擬機的圖形處理能力不足以支持一些GPU密集型的游戲流暢運行,限制了云游戲在虛擬化環(huán)境中的實施.CPU處理圖形的效率低下,而GPU擅長處理大型矩陣型數(shù)據(jù)的整體計算,其圖形處理性能可達CPU的數(shù)十倍.在虛擬機中使用GPU結(jié)合CPU進行圖形計算,可以大幅提高圖形處理性能[6-7].

針對上述問題,文獻[8]實現(xiàn)了一種PCI直通的虛擬機圖形加速技術(shù),不經(jīng)虛擬機管理系統(tǒng)(Virtual Machine Monitor,VMM)[9],直接將GPU分配給一臺虛擬機,該虛擬機將獲得GPU的全部性能.但是此方法禁止了其他虛擬機對GPU的訪問,違背了虛擬化資源共享與動態(tài)分配的設(shè)計初衷.文獻[10]使用API重定向的方法實現(xiàn)虛擬機對物理GPU的共享,通過虛擬的顯卡驅(qū)動欺騙應(yīng)用程序的API來調(diào)用GPU.但是這種方式需要消耗大量的額外資源來做驅(qū)動的模擬仿真、API的攔截、傳遞等多種復(fù)雜的軟件計算過程,效率較低.

作為首個實現(xiàn)直接共享GPU的方案,vGPU[11]通過安裝在虛擬機上的圖形驅(qū)動能夠直接訪問切片后的GPU資源.這種方式能發(fā)揮出物理GPU的更多性能,從而實現(xiàn)虛擬機更高的圖形處理能力和擴展能力.此外,GamingAnywhere[12]作為第一個開源的云游戲平臺,擁有高擴展性、可移植性和可重構(gòu)性,并且在低網(wǎng)絡(luò)帶寬下實現(xiàn)了低延遲和高畫質(zhì).

多個虛擬機共享GPU后的圖形處理性能決定了云游戲能否在虛擬化環(huán)境中實施.為此,本文使用vGPU和GamingAnywhere搭建一個云游戲原型系統(tǒng),分析在云游戲系統(tǒng)中使用vGPU實現(xiàn)GPU共享的可行性

3 原型系統(tǒng)設(shè)計

本節(jié)設(shè)計GPU虛擬化環(huán)境下的云游戲原型系統(tǒng),用于對多個云游戲共享GPU后的性能進行測試評估.首先分析云游戲的系統(tǒng)架構(gòu)和交互流程,然后設(shè)計并搭建原型系統(tǒng),實現(xiàn)GPU資源共享.

3.1 系統(tǒng)整體架構(gòu)

云游戲系統(tǒng)架構(gòu)由門戶服務(wù)器、游戲服務(wù)器和客戶端三部分組成.如圖1所示,門戶服務(wù)器負責用戶登錄,并根據(jù)用戶選擇的游戲查找合適的游戲服務(wù)器,控制該服務(wù)器啟動虛擬機,再將虛擬機的地址告知客戶端.用戶與虛擬機建立連接后,就可以通過網(wǎng)絡(luò)與運行在遠程服務(wù)器上的游戲進行交互.

圖1 云游戲系統(tǒng)架構(gòu)Fig.1 Architectures of cloud gaming

3.2 系統(tǒng)交互流程

客戶端與游戲服務(wù)器之間的交互流程如圖2所示.游戲服務(wù)器負責處理收到的輸入事件,并轉(zhuǎn)化為游戲動作,再將捕獲的游戲畫面編碼后以視頻流的形式發(fā)送給客戶端.客戶端負責實時顯示收到的游戲畫面,并將用戶的輸入如鍵盤、鼠標的動作發(fā)送到游戲服務(wù)器.通過這種方式,可以將游戲的圖形渲染卸載到云端處理,客戶端只需要處理簡單的2D視頻圖像顯示,極大的減小了客戶端的負載.

圖2 云游戲交互流程Fig.2 Interactive of cloud gaming

3.3 原型系統(tǒng)部署

門戶服務(wù)器對云游戲的性能沒有直接的影響,為了簡化實驗流程,原型系統(tǒng)只考慮游戲服務(wù)器和客戶端之間的交互.如圖3所示,原型系統(tǒng)包括兩臺服務(wù)器、一臺路由器和多臺客戶端.兩臺服務(wù)器采用完全一致的硬件配置,都是Intel Core E3 1231 v3處理器和NVIDIA GRID K2顯卡.路由器安裝并運行dummynet[13],用以調(diào)節(jié)延遲、丟包率和網(wǎng)絡(luò)帶寬模擬真實的網(wǎng)絡(luò)環(huán)境.此外,桌面虛擬化平臺采用XenDesktop,安裝Windows7操作系統(tǒng).云游戲系統(tǒng)采用開源的GamingAnywhere,一臺服務(wù)器在虛擬機中運行云游戲,另一臺服務(wù)器將云游戲直接運行在物理機上.

原型系統(tǒng)使用vGPU在云游戲中實現(xiàn)GPU資源共享,具體實現(xiàn)方法如圖3所示.在云游戲服務(wù)器上安裝XenServer虛擬化平臺,并將云游戲運行在虛擬機中.根據(jù)游戲的性能需求,將物理GPU分片成多個vGPU設(shè)備,再直接分配給虛擬機.通過運行在Hypervisor管理域(Dom0)的vGPU管理程序,云游戲可以像使用本地的GPU一樣快速訪問vGPU,共享同一個物理GPU的計算資源.

圖3 原型系統(tǒng)部署Fig.3 Deployment ofprototype system

4 性能指標和測量方法

4.1 性能指標

畫面質(zhì)量和響應(yīng)延遲是影響云游戲用戶體驗的關(guān)鍵性能指標.所以,實驗將從這兩方面比較系統(tǒng)在GPU虛擬化環(huán)境中與在物理環(huán)境中的性能差異.

視頻流的質(zhì)量直接影響游戲體驗,這里使用峰值信噪比(Peak Signal to Noise Ratio,PSNR)和結(jié)構(gòu)相似性(Structural Similarity,SSIM)[14]兩個指標來評價畫面質(zhì)量.PSNR基于對應(yīng)像素點間的誤差評價圖像質(zhì)量.SSIM用于度量結(jié)構(gòu)相似性,也是一種全參考的圖像質(zhì)量評價指標,它分別從亮度、對比度、結(jié)構(gòu)三方面度量圖像相似性.

響應(yīng)延遲[15](RD)是用戶提交操作命令到相應(yīng)的游戲畫面出現(xiàn)在屏幕上的時間,它是決定云游戲用戶體驗的主要因素.這里將響應(yīng)延遲分為3部分:

1)處理延遲(PD):服務(wù)器接收和處理一個用戶的命令并將相應(yīng)的幀進行編碼和傳輸所需的時間.

2)播放延遲(OD):客戶端接收、解碼和渲染一幀所需的時間.

3)網(wǎng)絡(luò)延遲(ND):服務(wù)器和客戶端之間進行一輪數(shù)據(jù)交互所需的時間,也被稱為往返時間(RTT).

4.2 測量方法

圖4表示一個游戲指令響應(yīng)的過程.按鍵事件在t0時刻產(chǎn)生,發(fā)送給服務(wù)器端處理.服務(wù)器在t1時刻接收事件,處理完成后,在t2時刻將編碼幀發(fā)送給客戶端.客戶端在t3時刻接收到幀,在t4時刻觀察到游戲畫面改變.

當測量出t4的值,就可以得到RD=t4-t0.t4的測量過程如下:

1)發(fā)送按鍵事件到服務(wù)器端,并記錄時刻為t0.

2)游戲畫面一直在刷新,通過檢測特定區(qū)域的像素值,可以確定游戲畫面是否發(fā)生改變.

3)當檢測到像素值改變時,說明按鍵事件已經(jīng)被服務(wù)器端處理,并返回處理后的畫面到客戶端,記錄這個時刻為t4.

t3是游戲畫面從服務(wù)器傳遞到客戶端的時刻.如果在t3時刻之前阻塞數(shù)據(jù)的傳入,游戲畫面在取消阻塞之前都不會改變.如果傳入的數(shù)據(jù)在t3時刻之后被阻塞,游戲畫面仍會改變,但沒有后續(xù)的畫面更新.為了方便數(shù)據(jù)的攔截,這里使用windows的hook機制,攔截客戶端對recvfrom()函數(shù)的調(diào)用.這個函數(shù)在嘗試從UDP/IP 堆棧中檢索UDP數(shù)據(jù)報時會被調(diào)用.

當測量出t3的值,就可以得到PD=t3-t0-ND,OD=t4-t3.ND的值可以通過發(fā)送一個探測數(shù)據(jù)包來測量,例如ICMP協(xié)議.t3的測量過程如下:

1)發(fā)送一個按鍵事件到服務(wù)器端,并記錄這個時刻為t0.這里假設(shè)播放延遲OD小于100ms,在RD-100ms和RD+50ms之間取一個隨機數(shù)記作tblock.

2)如果游戲畫面改變的時刻小于tblock,記錄這個時間為tchange,并結(jié)束程序.否則,在tblock之后的一秒內(nèi)攔截對recvfrom()函數(shù)的調(diào)用.

3)取消對recvfrom()函數(shù)的攔截,當游戲畫面改變時,記錄這個時間為tchange.

圖4 響應(yīng)延遲分解Fig.4 Decomposition of response delay

如果tchange>tblock+1s,則表示阻塞成功,并得出t3>tblock,就把tblock加入集合tblock_succeeded.否則,如果tchange

5 實驗設(shè)計和性能分析

vGPU實現(xiàn)了虛擬機對GPU的共享,一臺服務(wù)器可以同時運行多個云游戲?qū)嵗?顯著的提高了GPU資源的利用效率.但是共享GPU可能會影響云游戲的用戶體驗,為了驗證該方案的可行性,本節(jié)設(shè)計實驗測試vGPU的圖形加速性能,分析虛擬機數(shù)量對vGPU圖形加速性能的影響,并在完整的云游戲平臺中進行端到端的測試,分別從延遲和畫質(zhì)兩方面分析使用vGPU技術(shù)共享GPU對用戶體驗的影響.

5.1 vGPU的圖形加速性能

本實驗對vGPU的圖形加速性能進行測試,并通過對比vSGA分析vGPU的性能提升.實驗在一臺服務(wù)器上使用vSGA技術(shù),在另一臺服務(wù)器上使用vGPU技術(shù),實現(xiàn)GPU共享.采用Heaven Benchmark和REDsdk Turbine Benchmark兩款測試工具分別測試兩個平臺上虛擬機的圖形處理能力.

Heaven Benchmark的測試結(jié)果如圖5所示.vSGA平臺上的測試畫面的幀率在0～5幀之間波動.物理GPU的平均利用率只有20%,而且非常不穩(wěn)定,在圖像無法渲染的時候,甚至降低到了1%.而vGPU平臺上的測試畫面的幀率一直保持在25幀以上,物理GPU的利用率也高于50%,且利用率曲線相對平滑,狀態(tài)穩(wěn)定.REDsdk Turbine Benchmark每個測試項目的得分如表1所示.最后的總分vSGA平臺只得到了73分,而vGPU平臺是2647分.兩者之間測試畫面的播放效果也基本反映了這些測試數(shù)值的差距,vGPU平臺的圖像流暢,vSGA平臺的幀率太低,圖像顯示不全.

圖5 幀率和GPU利用率對比Fig.5 Comparison of frame rate and GPU utilization ratio

實時畫面高質(zhì)量畫面動態(tài)封閉空間混合射線追蹤總分vSGA218191225673vGPU31382463631310062647

從這些測試情況可以看出,vSGA的虛擬顯卡驅(qū)動程序效率低下,對物理GPU的處理能力利用不足,而vGPU對顯卡的利用率更高,能發(fā)揮出顯卡的大部分性能,相較vSGA在幀率上有了10倍的提升.

5.2 虛擬機數(shù)量對圖形加速性能的影響

本實驗在XenServer平臺上量化分析虛擬機數(shù)量對vGPU圖形加速性能的影響.實驗通過配置K2顯卡的GPU虛擬模式為vgpu8(即將一個顯卡核心分片成8個虛擬GPU),逐步添加更多的虛擬機(從1至8),分別測試在不同環(huán)境下四種游戲運行時的FPS.

測試結(jié)果如圖6所示,結(jié)果表明Limbo和Barman沒有觸及顯卡的性能瓶頸,所以隨著虛擬機數(shù)量的增加FPS沒有改變,而FEAR和DOW在虛擬機數(shù)量從4增加到6時,FPS分別下降了15和18,這表明分配給虛擬機的圖形計算能力并不是穩(wěn)定不變的,會受到虛擬機數(shù)量的影響,vGPU在所有的虛擬機之間動態(tài)的分配圖形處理資源.另外,我們發(fā)現(xiàn)當虛擬機數(shù)量只有一臺時,所有游戲的FPS都不超過58,這表明在vGPU技術(shù)中使用了基于FPS感知的GPU調(diào)度算法,使得虛擬機共享GPU時都能公平的獲得資源.

5.3 vGPU對云游戲網(wǎng)絡(luò)負載的影響

在云游戲中,游戲服務(wù)器捕獲游戲的畫面,編碼后發(fā)送給客戶端,傳輸?shù)挠螒蛞曨l的數(shù)據(jù)量直接影響了在帶寬受限情況下的用戶體驗.本實驗在路由器上測量服務(wù)器端與客戶端之間網(wǎng)絡(luò)負載,分析使用vGPU進行硬件編碼對數(shù)據(jù)傳輸量的影響.

圖7反映了使用CPU編碼和vGPU編碼的網(wǎng)絡(luò)負載情況,使用CPU編碼時每秒傳輸?shù)臄?shù)據(jù)量在5～7Mbytes,使用vGPU編碼時每秒傳輸?shù)臄?shù)據(jù)量在3.5Mbytes以下,這是因為vGPU使用了硬件編碼,擁有更高的編碼效率,編碼同一個游戲畫面產(chǎn)生的視頻流數(shù)據(jù)量較小,對云游戲的帶寬要求更小.同時,使用硬件編碼將大量運算工作轉(zhuǎn)移到GPU,可以降低CPU的使用率.

圖6 不同虛擬機數(shù)量時游戲的FPSFig.6 FPS with various numbers of VMs

5.4 vGPU對云游戲用戶體驗的影響

本實驗從畫面質(zhì)量和響應(yīng)延遲兩方面分析vGPU對云游戲用戶體驗的影響.實驗分別在兩臺硬件配置相同的服務(wù)器上進行,一臺服務(wù)器直接運行云游戲,一臺服務(wù)器使用vGPU技術(shù),在虛擬機中運行云游戲.我們選擇三種游戲分別進行測試,用同一臺客戶端分別連接兩個服務(wù)器獲取游戲畫面.

圖7 云游戲網(wǎng)絡(luò)負載Fig.7 Network load of cloud gaming

1)vGPU對云游戲畫面質(zhì)量的影響

實驗將兩個不同環(huán)境下的云游戲回傳的游戲畫面錄制為YUV格式的視頻文件,從每一個視頻上截取相同的長度為40s的視頻,計算出多組PSNR和SSIM數(shù)據(jù),求取平均值,評估vGPU對云游戲畫面質(zhì)量的影響.

圖8 游戲畫面的PSNRFig．8 PSNRofgamescreen圖9 游戲畫面的SSIMFig．9 SSIMofgamescreen

圖8和圖9反映了不同環(huán)境下云游戲系統(tǒng)的PSNR和SSIM的值.觀察這些數(shù)據(jù)可知,在真實物理環(huán)境下的畫面質(zhì)量比GPU虛擬環(huán)境下更好,PSNR和SSIM平均高了2dB和0.03.其次,從圖8可以發(fā)現(xiàn)Batman的處理延遲最低,FEAR和DOW的處理延遲相對較高,而圖10也反應(yīng)了Batman的畫面質(zhì)量更高,FEAR和DOW的畫面質(zhì)量則相對較低,這表明游戲畫面越復(fù)雜,經(jīng)過云游戲系統(tǒng)處理后畫面質(zhì)量下降的越多.實驗結(jié)果表明了GPU虛擬化技術(shù)導致的云游戲系統(tǒng)畫面質(zhì)量下降的幅度不大,大致與游戲畫面復(fù)雜度不同導致的畫面質(zhì)量下降幅度相當,不會明顯的影響游戲體驗.

2)vGPU對云游戲響應(yīng)延遲的影響

實驗在兩個不同環(huán)境下的云游戲中觸發(fā)按鍵事件,通過觀察游戲畫面的改變測算出處理延遲和播放延遲,評估GPU虛擬化環(huán)境對響應(yīng)延遲的影響.

圖10 云游戲響應(yīng)延遲Fig.10 Response delay of cloud gaming

圖10反映了不同環(huán)境下云游戲系統(tǒng)平均的播放延遲和處理延遲.觀察這些數(shù)據(jù)可知:播放延遲很小,最高只有21ms,且對于不同游戲延遲波動不大.這表明,解碼器在解碼視頻時有較高且穩(wěn)定的解碼效率,受視頻內(nèi)容的影響不大.使用vGPU后,云游戲播放延遲沒有增加,處理延遲比物理環(huán)境中平均提高了15ms.這表明vGPU會影響GPU的處理效率,增加少量的處理延遲.研究[16]表明,不同類別的游戲可以容忍的延遲程度不同,例如,對延遲最敏感的第一人稱射擊游戲要求延遲不能超過100毫秒.GamingAnywhere云游戲系統(tǒng)結(jié)合Citrix vGPU虛擬化技術(shù),仍能將響應(yīng)延遲控制在100ms以內(nèi),基本滿足云游戲嚴格的延遲要求.

6 結(jié)束語

本文使用vGPU和GamingAnywhere搭建原型系統(tǒng),將云游戲運行在虛擬化環(huán)境中,通過GPU共享的方式,一臺服務(wù)器可以并發(fā)運行多個云游戲?qū)嵗?在此基礎(chǔ)上,設(shè)計并進行了大量實驗,以分析GPU虛擬化對云游戲性能的影響.實驗結(jié)果表明:使用vGPU技術(shù)共享GPU資源后,云游戲的響應(yīng)延遲和畫面質(zhì)量略有下降,但基本滿足云游戲的需求;在多個虛擬機中并發(fā)運行云游戲時能公平的分配到GPU資源;使用GPU對游戲畫面進行硬件編碼可以提高編碼效率,降低CPU負載和網(wǎng)絡(luò)負載.我們的工作可以作為設(shè)計基于GPU虛擬化的云游戲系統(tǒng)的重要依據(jù).

[1] Mishra D,El Zarki M,Erbad A,et al.Clouds+ games:a multifaceted approach[J].IEEE Internet Computing,2014,18(3):20-27.

[2] Hong H J,Chen D Y,Huang C Y,et al.Placing virtual machines to optimize cloud gaming experience[J].IEEE Transactions on Cloud Computing,2015,3(1):42-53.

[3] Wu D,Xue Z,He J.iCloudAccess:cost-effective streaming of video games from the cloud with low latency[J].IEEE Transactions on Circuits and Systems for Video Technology,2014,24(8):1405-1416.

[4] Shea R,Liu J.On GPU pass-through performance for cloud gaming:experiments and analysis[C].Proceedings of IEEE 12th Annual Workshop on Network and Systems Support for Games(NetGames),2013:1-6.

[5] Dowty M,Sugerman J.GPU virtualization on VMware′s hosted I/O architecture[J].ACM SIGOPS Operating Systems Review,2009,43(3):73-82.

[6] Lee S,Kim H,Park D,et al.CPU-GPU hybrid computing for feature extraction from video stream[J].IEICE Electronics Express,2014,11(22):1-8.

[7] Scott S.The evolution of GPU accelerated computing[C].Proceedings of IEEE SC Companion:High Performance Computing,Networking Storage and Analysis,2012:1636-1672.

[8] Yang C T,Wang H Y,Ou W S,et al.On implementation of GPU virtualization using PCI pass-through[C].Proceedings of IEEE 4th International Conference on Cloud Computing Technology and Science(CloudCom),2012:711-716.

[9] Li T,Narayana V K,El-Araby E,et al.GPU resource sharing and virtualization on high performance computing systems[C].Proceedings of IEEE International Conference on Parallel Processing,2011:733-742.

[10] Duato J,Igual F D,Mayo R,et al.An efficient implementation of GPU virtualization in high performance clusters[C].Proceedings of European Conference on Parallel Processing,Springer Berlin Heidelberg,2009:385-394.

[11] Li J,Li C,Chen G,et al.vGPU:a real time GPU emulator:U.S，us8711159[P].2014-4-29.

[12] Huang C Y,Hsu C H,Chang Y C,et al.Gaming anywhere:an open cloud gaming system[C].Proceedings of the 4th ACM multimedia systems conference,2013:36-47.

[13] Carbone M,Rizzo L.Dummy net revisited[J].ACM SIGCOMM Computer Communication Review,2010,40(2):12-20.

[14] Hore A,Ziou D.Image quality metrics:PSNR vs.SSIM[C].Proceedings of IEEE International Conference on Pattern Recognition(icpr),2010:2366-2369.

[15] Dick M,Wellnitz O,Wolf L.Analysis of factors affecting players′ performance and perception in multiplayer games[C].Proceedings of ACM SIGCOMM Workshop on Network and System support for games,2005:1-7.

[16] Zander S,Leeder I,Armitage G.Achieving fairness in multiplayer network games through automated latency balancing[C].Proceedings of ACM SIGCHI International Conference on Advances in Computer Entertainment Technology,2005:117-124.