基于深度學(xué)習(xí)的人體運(yùn)動(dòng)生成方法綜述

北方工業(yè)大學(xué)信息學(xué)院 童立靖 徐光亞

在計(jì)算機(jī)圖形學(xué)與計(jì)算機(jī)視覺的眾多研究方向中，人體運(yùn)動(dòng)生成技術(shù)在電影特效與游戲制作、物理仿真與醫(yī)療運(yùn)動(dòng)、虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)等領(lǐng)域都得到了廣泛應(yīng)用。在人體運(yùn)動(dòng)生成技術(shù)中，所研究的對象分為二維模型和三維模型。二維模型在數(shù)據(jù)層面表現(xiàn)為通過“單視角-正視圖”所觀察到的數(shù)據(jù)，而三維模型則需要通過多視角去獲取觀察到的數(shù)據(jù)，通過推理計(jì)算出不同視角下的圖像，最后將多個(gè)視角的圖像結(jié)合為三維立體模型[1]。本文針對人體運(yùn)動(dòng)生成技術(shù)，選取三維人體模型作為研究對象，結(jié)合深度學(xué)習(xí)的方法展開綜述，從技術(shù)路線出發(fā)，整理了近些年應(yīng)用于人體運(yùn)動(dòng)生成技術(shù)的深度學(xué)習(xí)網(wǎng)絡(luò)，將人體運(yùn)動(dòng)生成技術(shù)分為以下五類：基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)生成、基于循環(huán)網(wǎng)絡(luò)(RNN)生成、基于生成型網(wǎng)絡(luò)生成、基于深度強(qiáng)化學(xué)習(xí)(DRL)生成以及基于多技術(shù)混合方法生成[2]。

本綜述的主要貢獻(xiàn)總結(jié)為以下三點(diǎn)：（1）詳細(xì)介紹了五類人體運(yùn)動(dòng)生成技術(shù)的原理以及目前所面臨的挑戰(zhàn)；（2）從五類方法中選取有代表性的算法，對其利弊進(jìn)行分析；（3）針對現(xiàn)有的技術(shù)，總結(jié)并展望該技術(shù)未來的發(fā)展方向。

1 深度學(xué)習(xí)相關(guān)模型介紹

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）由大量的人工神經(jīng)元以網(wǎng)絡(luò)的形式相互連接組成，通常包含輸入層、隱藏層和輸出層。ANN 通過對大量樣本進(jìn)行學(xué)習(xí)和訓(xùn)練來調(diào)整權(quán)重和模型參數(shù)，從而實(shí)現(xiàn)對輸入數(shù)據(jù)的分類、預(yù)測、識別等任務(wù)。深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）是人工神經(jīng)網(wǎng)絡(luò)模型中的一種，具有多個(gè)隱藏層，與淺層神經(jīng)網(wǎng)絡(luò)相比，深度神經(jīng)網(wǎng)絡(luò)能夠處理更加復(fù)雜的任務(wù)和數(shù)據(jù)，并具有更高的準(zhǔn)確度。深度神經(jīng)網(wǎng)絡(luò)包括以下幾種主流網(wǎng)絡(luò)：卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、生成型網(wǎng)絡(luò)、深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)（DRL）。

（1）卷積神經(jīng)網(wǎng)絡(luò)（CNN）。當(dāng)使用DNN 模型處理輸入較大的數(shù)據(jù)時(shí)，經(jīng)過幾輪迭代會(huì)導(dǎo)致參數(shù)量激增，產(chǎn)生的特征維度會(huì)遠(yuǎn)超輸入的樣本維度，此時(shí)會(huì)出現(xiàn)“維度災(zāi)難”的問題。卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，引入了卷積、池化等操作，實(shí)現(xiàn)了局部連接、權(quán)值共享，很好地解決了參數(shù)膨脹的情況。CNN 相比DNN 減少了參數(shù)量，大大降低了訓(xùn)練難度，因此更適合于復(fù)雜數(shù)據(jù)的計(jì)算。在人體運(yùn)動(dòng)生成研究領(lǐng)域，基于卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)生成方法可以更有效地提取骨骼數(shù)據(jù)的特征，實(shí)現(xiàn)對三維運(yùn)動(dòng)模型的重構(gòu)。CNN 也有自身的不足之處，雖然它在運(yùn)算能力以及特征檢測能力上相比DNN 有所增加，但在特征理解上卻缺乏連貫性的認(rèn)知，缺少對運(yùn)動(dòng)特征的“記憶”功能。為了突出神經(jīng)網(wǎng)絡(luò)“記憶”的特點(diǎn)，RNN 由此誕生。

（2）循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。該網(wǎng)絡(luò)中隱藏層的輸入不僅包括來自輸入層的數(shù)據(jù)，還包括來自上一個(gè)隱藏層的數(shù)據(jù)，通過隱藏層的自回歸連接實(shí)現(xiàn)歷史信息在網(wǎng)絡(luò)中的傳遞和學(xué)習(xí)，使網(wǎng)絡(luò)具有“記憶”功能，這使得RNN 在處理時(shí)序相關(guān)的問題時(shí)具有很好的效果。因此，使用RNN 網(wǎng)絡(luò)進(jìn)行人體運(yùn)動(dòng)生成任務(wù)時(shí)，該網(wǎng)絡(luò)可以很好地挖掘數(shù)據(jù)與時(shí)間以及數(shù)據(jù)之間的關(guān)聯(lián)，減少了網(wǎng)絡(luò)中的參數(shù)量，提高模型的訓(xùn)練效率。但相應(yīng)的，RNN在處理一些較長序列時(shí)，會(huì)因?yàn)殡y以捕捉序列間長期的依賴關(guān)系，導(dǎo)致出現(xiàn)梯度消失或者梯度爆炸問題。

（3）生成型網(wǎng)絡(luò)。生成型網(wǎng)絡(luò)是一種可用于生成新數(shù)據(jù)的網(wǎng)絡(luò)，這些數(shù)據(jù)與訓(xùn)練集中的數(shù)據(jù)相似。本文選取生成型網(wǎng)絡(luò)中較常見的變分自編碼器（VAE）和生成對抗網(wǎng)絡(luò)（GAN）進(jìn)行介紹。其中VAE 是神經(jīng)網(wǎng)絡(luò)與概率模型相結(jié)合的一種生成模型，GAN 一般是由兩個(gè)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練而成的一種生成模型。該模型用于人體運(yùn)動(dòng)生成，其優(yōu)點(diǎn)在于可以提高模型的泛化能力，缺點(diǎn)在于模型有時(shí)可能無法學(xué)習(xí)到運(yùn)動(dòng)數(shù)據(jù)的分布，并且生成的運(yùn)動(dòng)質(zhì)量不會(huì)很高。

（4）深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)（DRL）。深度強(qiáng)化學(xué)習(xí)是深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的結(jié)合。強(qiáng)化學(xué)習(xí)是一種機(jī)器學(xué)習(xí)技術(shù)，旨在通過讓智能體與環(huán)境進(jìn)行交互，學(xué)習(xí)如何在復(fù)雜的動(dòng)態(tài)環(huán)境中采取最優(yōu)行動(dòng)來達(dá)到某個(gè)目標(biāo)。在基于DRL 的人體運(yùn)動(dòng)生成技術(shù)中，生成的虛擬人模型通過觀察環(huán)境的狀態(tài)并采取行動(dòng)來與環(huán)境進(jìn)行交互，從而接收到相應(yīng)的獎(jiǎng)勵(lì)或懲罰，這些獎(jiǎng)勵(lì)或懲罰將反饋給深度學(xué)習(xí)網(wǎng)絡(luò)，通過深度學(xué)習(xí)網(wǎng)絡(luò)幫助虛擬人模型學(xué)習(xí)如何在環(huán)境中進(jìn)行操作。雖然該技術(shù)可以很好地使模型實(shí)現(xiàn)與環(huán)境的交互，但是訓(xùn)練過程需要耗費(fèi)大量的時(shí)間，且訓(xùn)練易出現(xiàn)不穩(wěn)定情況。

2 深度學(xué)習(xí)在運(yùn)動(dòng)生成中的應(yīng)用

運(yùn)動(dòng)生成包括特征提取、運(yùn)動(dòng)重構(gòu)、運(yùn)動(dòng)合成、運(yùn)動(dòng)修復(fù)以及運(yùn)動(dòng)交互控制等任務(wù)。本章將對上述深度學(xué)習(xí)模型在不同人體運(yùn)動(dòng)生成任務(wù)中解決的相關(guān)問題進(jìn)行展開描述和介紹。

2.1 基于CNN 的運(yùn)動(dòng)生成

CNN 是眾多深度學(xué)習(xí)網(wǎng)絡(luò)中應(yīng)用范圍最廣，適用性最強(qiáng)的一種網(wǎng)絡(luò)，可應(yīng)用的場景有：虛擬人模型與環(huán)境交互、障礙規(guī)避和運(yùn)動(dòng)約束等。近些年，有關(guān)基于CNN人體運(yùn)動(dòng)生成技術(shù)的成果有：Holden 等人[3]較早地提出了使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)運(yùn)動(dòng)流形，以便更好地從動(dòng)作捕捉數(shù)據(jù)中獲取運(yùn)動(dòng)特征。本文中論述了使用三層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以較好完成修復(fù)填補(bǔ)運(yùn)動(dòng)數(shù)據(jù)、運(yùn)動(dòng)插值等操作，但該方法在處理虛擬人模型關(guān)節(jié)約束以及交互控制方面還需進(jìn)一步完善；之后，Holden 團(tuán)隊(duì)[4]在原有的基礎(chǔ)上，優(yōu)化提出了基于CNN 的運(yùn)動(dòng)合成與編輯方法，通過卷積層和反卷積層構(gòu)造的自編碼器獲取運(yùn)動(dòng)流形，在通過運(yùn)動(dòng)流形生成運(yùn)動(dòng)時(shí)，引入運(yùn)動(dòng)參數(shù)約束運(yùn)動(dòng)風(fēng)格，實(shí)現(xiàn)了對虛擬人模型的交互控制功能。此外，該方法還實(shí)現(xiàn)了通過編輯運(yùn)動(dòng)流形轉(zhuǎn)換虛擬人模型運(yùn)動(dòng)風(fēng)格的功能。近幾年有關(guān)運(yùn)動(dòng)預(yù)測研究也較為熱門，其中Tang 等人[5]提出一種分層靜態(tài)-動(dòng)態(tài)編碼器-解碼器結(jié)構(gòu)，該結(jié)構(gòu)結(jié)合了殘差CNN 技術(shù)，其中動(dòng)態(tài)模型用于預(yù)測人體的動(dòng)態(tài)變化，靜態(tài)模型記錄最新運(yùn)動(dòng)幀信息，兩分支共同作用于虛擬人模型運(yùn)動(dòng)的生成和預(yù)測。

2.2 基于RNN 的運(yùn)動(dòng)生成

RNN 的優(yōu)勢在于對序列數(shù)據(jù)的自然理解以及記憶。有關(guān)基于RNN 的運(yùn)動(dòng)生成技術(shù)，較為經(jīng)典的研究有：

Holden 等人[6]提出的一種PFNN 方法，用于對虛擬人模型進(jìn)行建模生成以及運(yùn)動(dòng)的實(shí)時(shí)控制。該方法使用相位函數(shù)記錄運(yùn)動(dòng)狀態(tài)，使用RNN 網(wǎng)絡(luò)處理運(yùn)動(dòng)信息、更新運(yùn)動(dòng)數(shù)據(jù)，最終將運(yùn)動(dòng)數(shù)據(jù)處理后生成自然可控制的虛擬人運(yùn)動(dòng)。Emre 等人[7]提出一種時(shí)空轉(zhuǎn)換網(wǎng)絡(luò)用于進(jìn)行運(yùn)動(dòng)預(yù)測，引入雙重自注意力機(jī)制，將數(shù)據(jù)處理模塊RNN 模塊分為時(shí)間注意力模塊以及空間注意力模塊，前者通過查看同一關(guān)節(jié)的過去實(shí)例來更新關(guān)節(jié)信息，后者關(guān)注當(dāng)前時(shí)間步長中的所有關(guān)節(jié)，如此可允許模型直接訪問當(dāng)前和過去信息，捕獲空間結(jié)構(gòu)與時(shí)間的依賴關(guān)系，最終通過輸入到輸出的殘差連接來估計(jì)下一個(gè)運(yùn)動(dòng)姿態(tài)。Zhou等人[8]研究出一種用于三維運(yùn)動(dòng)合成的層次學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)（HL-RNN）模型。該模型旨在通過對運(yùn)動(dòng)序列的建模來生成自然流暢的三維運(yùn)動(dòng)。模型包括兩個(gè)層次：高層次和低層次。高層次模型用于學(xué)習(xí)動(dòng)作的整體結(jié)構(gòu)，低層次模型用于學(xué)習(xí)動(dòng)作的微調(diào)細(xì)節(jié)。通過組合這兩個(gè)模型，HL-RNN 可以生成更加逼真的三維運(yùn)動(dòng)序列。

2.3 基于生成型網(wǎng)絡(luò)的運(yùn)動(dòng)生成

常見的生成模型包括：VAE（變分自動(dòng)編碼器）以及GAN（生成對抗網(wǎng)絡(luò)）。結(jié)合VAE 的運(yùn)動(dòng)生成技術(shù)，近些年的相關(guān)成果如下：Ling 等人[9]提出的一種使用 Motion VAEs 的角色控制方法，采用了變分自編碼器的思想，網(wǎng)絡(luò)的輸入為相鄰的兩幀運(yùn)動(dòng)數(shù)據(jù)Pt和Pt+1，用Pt生成的潛在空間重構(gòu)Pt+1，該過程用來訓(xùn)練網(wǎng)絡(luò)。從訓(xùn)練好的網(wǎng)絡(luò)隱空間層采樣，再通過解碼器進(jìn)行連續(xù)自回歸預(yù)測，即可生成逼真的人類奔跑動(dòng)作。Bie 等人[10]提出一種HiT-DVAE 方法，將人體骨架數(shù)據(jù)表示為一個(gè)多層次的結(jié)構(gòu)，通過層級Transformer 對其進(jìn)行建模，以捕捉不同層次的語義信息。同時(shí)，作者還提出了一種動(dòng)態(tài)變分自編碼器（DVAE）來對運(yùn)動(dòng)序列進(jìn)行建模，使得模型能夠?qū)υ肼暫碗S機(jī)性更加具有魯棒性。

GAN 網(wǎng)絡(luò)近些年憑借著迅速的發(fā)展趨勢，在運(yùn)動(dòng)生成技術(shù)方面也得到了學(xué)者們的廣泛關(guān)注。有關(guān)GAN 的相關(guān)研究成果如下：Ruben 等人[11]提出了一種基于GAN 的層次式預(yù)測方法，可以生成逼真的長期運(yùn)動(dòng)軌跡。該方法通過學(xué)習(xí)輸入序列中不同的運(yùn)動(dòng)階段，并將它們作為生成器網(wǎng)絡(luò)的輸入，生成具有時(shí)序一致性的未來運(yùn)動(dòng)。Chopin等人[12]提出了一種Manifold-Aware GAN 的雙流生成器模型，用于三維骨架的預(yù)測。其中一個(gè)流模型用于生成動(dòng)作序列，另一個(gè)流模型用于生成對應(yīng)的姿勢序列。這種雙流生成器網(wǎng)絡(luò)的設(shè)計(jì)有助于學(xué)習(xí)到更加豐富和準(zhǔn)確的人體骨骼動(dòng)作表示，從而生成更加自然和連貫的動(dòng)作序列。

2.4 基于DRL 的運(yùn)動(dòng)生成

自從深度強(qiáng)化學(xué)習(xí)這個(gè)概念被提出之后，研究學(xué)者們便開始研究，并試圖將該技術(shù)應(yīng)用到實(shí)際工作中。DeepMind 公司于2013 年開創(chuàng)性地提出了深度Q 網(wǎng)絡(luò)算法（Deep Q-network，DQN），將卷積網(wǎng)絡(luò)同Q-Learning 算法相結(jié)合，通過CNN 強(qiáng)大的計(jì)算能力，將視頻幀作為輸入，計(jì)算出每幀的動(dòng)作值函數(shù)，智能體通過值選擇相應(yīng)動(dòng)作，最終掌握從圖像中學(xué)習(xí)信息，自主玩游戲的能力。之后的三年內(nèi)，DeepMind 公司在視頻游戲以及機(jī)器博弈領(lǐng)域再次獲取了成果。再之后，深度強(qiáng)化學(xué)習(xí)進(jìn)入了迅速發(fā)展的階段，眾多學(xué)者在前人的基礎(chǔ)上創(chuàng)新迭代，獲取了眾多成果。目前，深度強(qiáng)化學(xué)習(xí)在算法上可分為三類：基于值函數(shù)、基于策略梯度、基于搜索與監(jiān)督。如表1 所示整合了有關(guān)深度強(qiáng)化學(xué)習(xí)的經(jīng)典算法。

表1 深度強(qiáng)化學(xué)習(xí)相關(guān)方法Tab.1 Deep reinforcement learning related methods

2.5 基于多技術(shù)混合的運(yùn)動(dòng)生成方法

在當(dāng)今的學(xué)術(shù)研究中，學(xué)者們在選擇研究對象時(shí)，往往會(huì)使用多模型融合的方式。將深度學(xué)習(xí)模型與其他模型進(jìn)行融合，可以發(fā)揮各自的優(yōu)勢，從而更好地實(shí)現(xiàn)對虛擬人模型的運(yùn)動(dòng)生成。將基于RNN 和基于GAN 網(wǎng)絡(luò)的方法相結(jié)合，可以使用GAN 在學(xué)習(xí)關(guān)鍵幀的動(dòng)作同時(shí)捕捉關(guān)鍵幀之間的關(guān)聯(lián)，提高運(yùn)動(dòng)模型的學(xué)習(xí)能力。引用[13]提出了一種使RNN 和對抗訓(xùn)練相結(jié)合的方法來模擬、生成和控制人類運(yùn)動(dòng)的新技術(shù)。該模型的基本思路是將運(yùn)動(dòng)軌跡分解成基于關(guān)節(jié)的軌跡和全局運(yùn)動(dòng)軌跡，再分別使用RNN 進(jìn)行建模，最終生成連續(xù)的模型運(yùn)動(dòng)。將基于動(dòng)力學(xué)和基于深度強(qiáng)化學(xué)習(xí)的方法相結(jié)合，既可以借助物理仿真提高運(yùn)動(dòng)生成的真實(shí)性，又可以實(shí)現(xiàn)對模型的實(shí)時(shí)控制。學(xué)者TAE 等人[14]提出一種基于強(qiáng)化學(xué)習(xí)的質(zhì)心動(dòng)力學(xué)控制方法，能夠快速、靈活地控制多足機(jī)器人的運(yùn)動(dòng)。該方法通過使用強(qiáng)化學(xué)習(xí)算法，學(xué)習(xí)機(jī)器人在不同的運(yùn)動(dòng)狀態(tài)下的質(zhì)心動(dòng)力學(xué)模型，然后利用學(xué)習(xí)到的質(zhì)心動(dòng)力學(xué)模型，結(jié)合控制策略，實(shí)現(xiàn)虛擬人模型的運(yùn)動(dòng)控制。

2.6 現(xiàn)有方法的比較和分析

本章列舉了五類基于深度學(xué)習(xí)模型的運(yùn)動(dòng)生成技術(shù)應(yīng)用于不同任務(wù)的具體方案，本節(jié)總結(jié)整理出上述運(yùn)動(dòng)生成方法針對不同場景的啟發(fā)式分析，如表2 所示。不同方法在網(wǎng)絡(luò)結(jié)構(gòu)上存在差異，所適用場景也不相同。從場景功能上看，DNN 分化出的網(wǎng)絡(luò)在運(yùn)動(dòng)過渡上大部分可以實(shí)現(xiàn)可控，這表明一般的深度學(xué)習(xí)模型在進(jìn)行運(yùn)動(dòng)生成時(shí)可以保證運(yùn)動(dòng)間的平滑性。從深度學(xué)習(xí)種類來看，卷積神經(jīng)網(wǎng)絡(luò)憑借著優(yōu)秀的計(jì)算和數(shù)據(jù)處理能力，可以靈活適用于各個(gè)場景，因此卷積網(wǎng)絡(luò)常作為數(shù)據(jù)處理模塊，應(yīng)用于復(fù)雜神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中；深度強(qiáng)化學(xué)習(xí)相比其他種類網(wǎng)絡(luò)所適用場景相對較少，但在交互控制方面，深度強(qiáng)化學(xué)習(xí)具備很好的優(yōu)勢；基于多技術(shù)混合的運(yùn)動(dòng)生成方法可以很好地綜合其他模型的優(yōu)點(diǎn)，因此可以適應(yīng)更多的場景和任務(wù)。如圖1 所示以時(shí)間軸的形式對基于深度學(xué)習(xí)的運(yùn)動(dòng)生成技術(shù)的發(fā)展歷程進(jìn)行展示。

圖1 基于深度學(xué)習(xí)的運(yùn)動(dòng)生成技術(shù)的發(fā)展歷程Fig. 1 Development of deep learning-based motion generation techniques

表2 不同運(yùn)動(dòng)生成方法適用場景分析Tab.2 Analysis of applicable scenarios of different motion generation methods

3 總結(jié)與展望

本文針對五類常見的結(jié)合深度學(xué)習(xí)的運(yùn)動(dòng)生成技術(shù)，分別進(jìn)行了論述。其中前四類選取了深度學(xué)習(xí)中較為經(jīng)典的模型進(jìn)行展開，分析了各模型的特點(diǎn)及優(yōu)勢，最后一類選取了深度學(xué)習(xí)的多技術(shù)混合模型，通過模型組合實(shí)現(xiàn)了各技術(shù)間的優(yōu)勢互補(bǔ)。同時(shí)，針對五類方法分別列舉了研究成果進(jìn)行佐證。綜合近年來的相關(guān)文獻(xiàn)，針對目前的技術(shù)而言，對未來的展望可概括為以下幾點(diǎn)：

（1）從數(shù)據(jù)源出發(fā)，在保證現(xiàn)有數(shù)據(jù)質(zhì)量的情況下，從單位數(shù)據(jù)蘊(yùn)含數(shù)據(jù)量以及數(shù)據(jù)數(shù)量兩方面擴(kuò)充數(shù)據(jù)規(guī)模。增加單體數(shù)據(jù)蘊(yùn)含數(shù)據(jù)量需要將原有的數(shù)據(jù)特征進(jìn)行細(xì)化，捕捉更加細(xì)微的人體變化，使單個(gè)數(shù)據(jù)所包含的數(shù)據(jù)量更加豐富；增加數(shù)據(jù)量意味著數(shù)據(jù)的充裕，因此對模型處理數(shù)據(jù)的效率有了更高的要求。

（2）從模型出發(fā)，提高模型對場景的適應(yīng)能力以及泛化能力。當(dāng)前大部分運(yùn)動(dòng)生成技術(shù)仍是基于圖像或者運(yùn)動(dòng)信息文件展開的，雖然學(xué)者們在基于視頻序列的技術(shù)上也產(chǎn)出了一些研究成果，但在對視頻序列或一些自然場景下的圖片進(jìn)行數(shù)據(jù)處理時(shí)，仍需考慮復(fù)雜環(huán)境以及光照明暗程度等因素對數(shù)據(jù)采集以及數(shù)據(jù)訓(xùn)練的影響。因此，優(yōu)化模型的泛化能力，提升模型的兼容性，可為未來運(yùn)動(dòng)生成技術(shù)的發(fā)展引入新的可能性。

（3）從適用性出發(fā)，在保證模型功能正常和性能穩(wěn)定的前提下，將模型進(jìn)行恰當(dāng)?shù)娜诤?，保留合并各個(gè)分模型的優(yōu)勢到總模型上，嘗試創(chuàng)新出結(jié)構(gòu)更高級以及性能更優(yōu)秀的新型深度學(xué)習(xí)模型。

（4）從發(fā)展趨勢出發(fā)，人們更希望將有關(guān)基于深度學(xué)習(xí)的運(yùn)動(dòng)生成技術(shù)運(yùn)用到實(shí)際應(yīng)用中去。技術(shù)會(huì)帶動(dòng)產(chǎn)業(yè)發(fā)展，同時(shí)產(chǎn)業(yè)發(fā)展也會(huì)使技術(shù)得到更好的迭代，對相關(guān)產(chǎn)業(yè)進(jìn)行優(yōu)化更新，提高產(chǎn)業(yè)技術(shù)水平，相信基于深度學(xué)習(xí)模型的運(yùn)動(dòng)生成技術(shù)會(huì)有更好的明天。