基于網(wǎng)絡編碼和深度學習的云3D虛擬試衣技術

牛 牧 門禹彤

（1，綏化學院發(fā)展規(guī)劃與政策研究中心 黑龍江綏化 152061；2，綏化學院信息工程學院 黑龍江綏化 152061）

遠程虛擬試衣是近年來興起的一個新的研究領域[1-3]。隨著線上購物的興起，顧客希望在網(wǎng)上挑選自己喜愛的衣服，這樣可以省去實體店店員雇傭費用和房租等線下成本。但是，直接通過瀏覽服裝圖片的方式，顧客通過網(wǎng)上試衣時很難對衣服的尺碼、效果等有精準的把握，所以，虛擬試衣技術應運而生。攝像系統(tǒng)抓取顧客三維形體數(shù)據(jù)，結合虛擬現(xiàn)實等技術，生成顧客和衣服的虛擬圖像，利用該圖像，顧客可以評判衣服是否合適。但是現(xiàn)有的圖形學技術、3D虛擬現(xiàn)實技術還無法提供真實線下試衣的體驗，虛擬圖像和真人的真實尺寸、體型、臉型的還有諸多區(qū)別。目前工業(yè)界的虛擬試衣技術研究雖然方興未艾，但還不能實際落地使用，如國內深圳的云之夢科技、俄羅斯的虛擬試衣鏡都還不能替代線下真實試衣。

從上述介紹可知，目前的虛擬試衣技術路線主要依賴3D圖形虛擬技術，但因為圖形學、虛擬現(xiàn)實技術的目前進展還不足以提供真實線下試衣水平的技術要求，所以研究者需要開辟新的研究路徑。最近兩年來，深度學習技術的進展非常迅速，很多相關應用已經(jīng)能工業(yè)落地。其中，在傳統(tǒng)上被認為具有巨大研究難度的自然語言處理領域，深度學習也帶來了重要進展。谷歌公司2017年提出的transformer模型大幅度提高了機器翻譯、自動應答的應用水平。目前出現(xiàn)的一系列具有重要應用前景的自然語言理解新模型如bert(Bidirectional Encoder Representations from Transformers)、xlnet[4]，本質上都是基于transformer模型的，該模型具有在大數(shù)據(jù)集上進行精確分類的強大能力，是深度學習研究的一個重要里程碑[5,6]。transformer模型一般被應用在具有序列特征的自然語言理解領域，但作為一個優(yōu)秀的分類器，其也有潛力在其他領域帶來重要進展。本文旨在利用transformer模型替代虛擬現(xiàn)實技術，避開圖形學、虛擬現(xiàn)實技術的研究瓶頸，不再將虛擬試衣系統(tǒng)的重心放在提高服裝和人體的三維虛擬數(shù)據(jù)精確度上，而是將不很精確的人體數(shù)據(jù)作為transformer模型的輸入數(shù)據(jù)，利用該深度學習模型強大的分類判別能力，由機器系統(tǒng)自動為顧客挑選最合適的服裝，該思路替代了傳統(tǒng)的虛擬試衣系統(tǒng)研究路徑。

作為云端線上虛擬系統(tǒng)，網(wǎng)絡傳輸?shù)臄?shù)據(jù)相應速度對顧客的購物試衣體驗也尤為重要。這里在transformer模型的基礎上，利用網(wǎng)絡傳輸加速技術--網(wǎng)絡編碼來提高系統(tǒng)的響應速度[7]。在網(wǎng)絡接收端，傳統(tǒng)上網(wǎng)絡編碼需要一次解碼操作，但這里可以用transformer模型的正向傳播直接替代網(wǎng)絡編碼的解碼操作，這一設計使二者有機融合，降低了運算負載。

一、基礎技術

（一）隨機線性網(wǎng)絡編碼。網(wǎng)絡編碼的核心思想就是允許并提倡網(wǎng)絡的中間節(jié)點對信源消息進行中間的加工。通過Jaggi-Sanders算法可以實現(xiàn)確定性網(wǎng)絡的網(wǎng)絡容量的上限[7]。通過隨機網(wǎng)絡編碼算法可以實現(xiàn)非相干網(wǎng)絡的多播容量上限[8]。網(wǎng)絡編碼技術是信息論的一個大發(fā)展，也是一種突破[9]。

整個網(wǎng)絡編碼過程如下：1.數(shù)據(jù)包分組。信源將要發(fā)送的消息分組，每組的前面加上包頭，包頭存儲的是網(wǎng)絡編碼向量，信源處的編碼向量是單位向量。2.中間節(jié)點再編碼。中間節(jié)點收到消息后重新再編碼，也就是將每個包前面乘以一個隨機系統(tǒng)，算出新的包頭編碼向量，然后發(fā)送給下游節(jié)點。3.譯碼。信宿節(jié)點收到足夠多個線性獨立的包之后就可以進行譯碼，解出信源處的信息。網(wǎng)絡編碼原理如圖1所示。

圖1 蝴蝶圖

網(wǎng)絡編碼的應用范圍已經(jīng)擴展到很多領域[7-12]。在有線網(wǎng)絡中可以提高網(wǎng)絡的吞吐量[13];無線網(wǎng)絡中可以減少重傳次數(shù)，進行復雜環(huán)境下的糾錯等[15-17]。

(二)transformer模型簡介。Transformer模型2017年由Google團隊的《Attention is All You Need》提出，有一個完整的Encoder-Decoder框架,其主要由attention(注意力)機制構成。Transformer模型拋棄了以往深度學習任務里面使用到的CNN(卷積神經(jīng)網(wǎng)絡)、RNN(循環(huán)神經(jīng)網(wǎng)絡)。這個模型廣泛應用于NLP領域，例如機器翻譯，問答系統(tǒng)，文本摘要和語音識別等等方向，因其出色性能，也有學者將其引用到別的研究領域。

模型分為編碼器（Encoder）和解碼器（Decoder）兩部分，包含內部結構的總體結構如圖2所示。

圖2 transformer內部結構圖

transformer模型本質上是一個樣本分類器，充分使用了attention注意力機制，其在污染數(shù)據(jù)的恢復方面有較好效果。

二、基于網(wǎng)絡編碼和深度學習的云3D虛擬試衣具體技術方案

（一）總體方案。訓練階段：云3D服務器端以自己庫存衣物為標簽，以大量人體三維形態(tài)數(shù)據(jù)作為輸入數(shù)據(jù)，訓練生成transformer神經(jīng)網(wǎng)絡模型，得出此神經(jīng)模型的最優(yōu)參數(shù)。

測試階段：各客戶端通過攝像機拍照取得實際試衣人的三維形態(tài)數(shù)據(jù)，利用網(wǎng)絡編碼技術實時將數(shù)據(jù)傳輸至云端服務器，服務器將該客戶形體數(shù)據(jù)輸入之前訓練階段得出的transformer神經(jīng)網(wǎng)絡模型，該模型通過正向傳播得出客戶最適合的衣服編號。

在測試階段，網(wǎng)絡編碼技術和transformer模型的正向傳播有機結合起來，并不需要配置額外系統(tǒng)資源。從transformer模型的角度來看，客戶端傳輸過來的數(shù)據(jù)會有一定的“偏差”。“偏差”來自于兩部分，一部分來自于網(wǎng)絡編碼的錯誤擴散，另外一部分是因為真實測試的人體三維數(shù)據(jù)和模型采用的訓練樣本不是完全相同的。一般情況下，網(wǎng)絡編碼的糾錯需要額外的機制去解決，如密碼學和信息論技術。而在本文方案中，transformer深度學習模型的正向傳播能自然地糾正一部分“偏差”，所以其能替代網(wǎng)絡編碼糾錯中的糾錯機制部分，并不需要額外提供諸如密碼學和信息論的糾錯技術模塊，即本方案無縫融合了網(wǎng)絡編碼和transformer模型，能同時達到數(shù)據(jù)傳輸提速和提高人體三維形態(tài)數(shù)據(jù)精確度的目標。

下面將闡述這兩部分的方案細節(jié)。

（二）transformer模型技術細節(jié)。根據(jù)不同的任務特點，圖2所示的transformer模型中的參數(shù)需要不同的設置數(shù)值。根據(jù)實驗，本方案中參數(shù)設置如下?；A參數(shù)部分：詞向量維度為256，encoder、decoder模塊的神經(jīng)網(wǎng)絡層數(shù)都為6，多頭數(shù)為8，默認不采用attention_dropout。訓練參數(shù)部分：batchsize=32，可選用三種優(yōu)化器（Optimizer=SGD/RMSprop/Adam），epoch_size=300000，多進程數(shù)num_workers=10。測試參數(shù)部分：采用集束搜索，beam_size=1。

（三）網(wǎng)絡編碼方案。雖然本方案將用于提速的網(wǎng)絡編碼和用于人體形態(tài)估計的transformer模型結合起來，但這兩種技術的自身特點使得二者自然的無縫自然融合，所以在具體方案實現(xiàn)上，二者可以分開描述。從網(wǎng)絡編碼角度來看，傳輸?shù)娜梭w姿態(tài)數(shù)據(jù)和普通數(shù)據(jù)沒有任何區(qū)別，都是通信數(shù)據(jù)，所以關于網(wǎng)絡編碼模塊這里僅僅從通信傳輸角度進行描述，而不關注其所傳數(shù)據(jù)為深度學習模型transformer的輸入的客觀特點。

將分發(fā)的文件分成m份，每份有n個字符。字符為選定有限域F上的一個元素，F(xiàn)的大小采用經(jīng)典的數(shù)值256，即一個字節(jié)大小的8次方[4]。證明在此有限域下，解碼成功率可以達到99%以上，已經(jīng)足夠工程實踐的要求。256也是最近很多網(wǎng)絡編碼具體實現(xiàn)方案經(jīng)常采用的有限域大小。m的值這里根據(jù)具體情況選擇，一般來講，跟節(jié)點的計算能力有很大關系，如果CPU運算能力強，m值可以大一點，比如可以取50，反之，就要小一點，有時采用m=10，這時解碼求逆矩陣的運算量不至于太大。信源節(jié)點在每個數(shù)據(jù)包的包頭加上隨機編碼的向量，在信源節(jié)點就是m個標準基。中間節(jié)點隨機選取編碼系數(shù)，和接受的數(shù)據(jù)包包頭的編碼向量進行運算，得到新的針對原始消息的編碼向量，將這個新的編碼向量插入到生成的數(shù)據(jù)包的包頭部位，然后連同數(shù)據(jù)本身組成新的數(shù)據(jù)包，然后傳輸?shù)较掠喂?jié)點。信宿節(jié)點收到新的數(shù)據(jù)包之后，取出包頭的編碼向量，檢查他們的獨立性，直到收到m個彼此獨立的信息包，就可以通過解方程的形式解碼出原始消息。整個單輪的傳輸周期結束。

因為用transformer模型的正向傳播替代了網(wǎng)絡編碼的糾錯解碼模塊，所以，除了網(wǎng)絡編碼本身的提速外，也因為節(jié)省了一次網(wǎng)絡編碼解碼操作，所以，系統(tǒng)的響應速度會進一步提高。

三、仿真

云3D虛擬試衣技術目前還處于理論研究階段，理論和工程實踐都還有許多難點待以解決，距離可供工業(yè)使用的標準還有很遠的距離，所以這里沒有給出原型系統(tǒng)級別的測試。本方案將從數(shù)據(jù)傳輸速率和人體形態(tài)數(shù)據(jù)識別準確度兩個角度對本方案進行仿真。數(shù)據(jù)集采用H3D Dataset(伯克利大學人體3D數(shù)據(jù)庫)，H3D(人體3D）是一個標注人體數(shù)據(jù)集。標注包括：關節(jié)和關鍵點（眼、耳、鼻、肩、肘、腕、踝、膝和踝）。3D姿態(tài)由關鍵點推導而得。但因為H3D Dataset的標簽和本方案的標簽不一致，而目前并沒有匹配本方案的公開數(shù)據(jù)集，所以，這里在該數(shù)據(jù)集的基礎上人工標注。標簽為庫存衣服編號，方案會為輸入樣本標注一個最“合適”的標簽，即會為樣本選擇一件最合適的衣服。在此修改后的數(shù)據(jù)集上，訓練集、驗證集、測試集尺寸比例為9：1：1。transformer模型的參數(shù)設置參見前文“transformer模型技術細節(jié)”部分。人體三維數(shù)據(jù)示例如圖3所示。

圖3 三維人體形態(tài)數(shù)據(jù)示例

針對識別準確率，本文采用RNN和CNN網(wǎng)絡模型作為transformer模型的對比方案。三者準確率對比如表1所示。

表1 三種模型對應準確率

準確性實驗討論如下。實驗表明，相對于RNN和CNN網(wǎng)絡模型，transformer模型在提高三維試衣識別準確性方面具有明顯優(yōu)勢。但該實驗采用數(shù)據(jù)集和3D試衣真實場景具有較大差別。在真實場景中，標簽表明人對衣服的審美結果，但不同地區(qū)、年齡、文化教育背景對審美結果有很大差異，所以，如沒有特別機制，真實場景中識別準確度可能會下降。另外，因為人口數(shù)目的龐大，即使訓練數(shù)據(jù)集非常大，其也難以覆蓋測試樣本顧客數(shù)據(jù)的主要特點，這些因素同樣可能會導致真實場景識別率會下降。

針對數(shù)據(jù)傳輸速率實驗，這里將云端服務服務器分布式訓練節(jié)點數(shù)目設置為3，這樣，網(wǎng)絡編碼的最小割為3。 將未采用網(wǎng)絡編碼的路由轉發(fā)機制作為對比方案。假定路由轉發(fā)機制速率為1，二者速率對比如表2所示。

表2 傳輸速率對比

傳輸速率實驗分析如下。表2表明網(wǎng)絡編碼技術可以極大提高網(wǎng)絡傳輸速率，這對云端3D試衣系統(tǒng)非常重要。在云端3D試衣真實場景里，客戶上傳到服務器的數(shù)據(jù)需要盡可能小的延遲，否則會很大程度上影響顧客的試衣體驗。理論上，在三個分布式節(jié)點情況下，相比于路由轉發(fā)機制，網(wǎng)絡編碼方案的速率是路由轉發(fā)方案速率的3倍。但因為真實數(shù)據(jù)傳輸時不可避免的遇到網(wǎng)絡編碼的錯誤擴散，同時因為測試數(shù)據(jù)和訓練數(shù)據(jù)具有一定“偏差”，這里在應用層又直接將數(shù)據(jù)送至transformer模型進行正向傳播以進行解碼，而沒有在輸入模型之前進行傳統(tǒng)的網(wǎng)絡編碼糾錯，所以，網(wǎng)絡編碼的速率性能增益并沒有達到理想值3。但因為用transformer模型的正向傳播替代了網(wǎng)絡編碼的糾錯解碼模塊，總體速率會進一步加大。同時因為減少一次網(wǎng)絡編碼的過程，運算負載也會降低。

四、結語

本文將網(wǎng)絡編碼技術和深度學習里的transformer模型相結合以實現(xiàn)云端3D試衣方案，以深度神經(jīng)網(wǎng)絡的正向傳播充當網(wǎng)絡編碼的解碼器從而降低通信時延和運算負載。實驗結果表明，此方案有效的提高了3D試衣識別準確率和數(shù)據(jù)傳輸速率。