基于深度學(xué)習(xí)的視頻電商智能推薦與AI識別關(guān)鍵技術(shù)研究

童謠

摘要：隨著電子商務(wù)網(wǎng)站和在線視頻播放平臺的發(fā)展，視頻電商已經(jīng)成為電子商務(wù)公司和在線視頻播放平臺的核心發(fā)展業(yè)務(wù)。視頻電商可以擴(kuò)展現(xiàn)有電子商務(wù)公司的業(yè)務(wù)范圍。其次視頻電商也可以幫助視頻播放平臺將視頻觀看流量轉(zhuǎn)化為商業(yè)收益。為解決流量轉(zhuǎn)化率低、成交率低、電商直播場景粗糙以及用戶體驗較差的難題，需要極致的高清視頻配置，對商品進(jìn)行更多細(xì)節(jié)展示，電商直播場景打造得更加逼真。本文研究了基于深度學(xué)習(xí)（Deep Learning）、統(tǒng)計學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的針對在線視頻電商平臺應(yīng)用的關(guān)鍵技術(shù)和算法。運(yùn)用人工智能（Artificial Intelligence）AI技術(shù)實現(xiàn)智能推薦、智能識別與精準(zhǔn)匹配等功能，在語音和圖像識別方面取得卓越成效，使機(jī)器模仿視聽和思考等人類的活動，解決了視頻電商應(yīng)用領(lǐng)域很多復(fù)雜的模式識別難題，使得人工智能相關(guān)技術(shù)在視頻電商應(yīng)用方面取得了很大進(jìn)步，本文主要研究對象是針對在線視頻廣告推薦任務(wù)來開展，結(jié)合多種關(guān)鍵技術(shù)發(fā)明了一個名為Video eCommerce ++的在線視頻廣告推薦系統(tǒng)，從視頻匹配推薦關(guān)鍵技術(shù)、視頻超鏈接預(yù)測、自動通用屬性識別三個方面進(jìn)行舉例說明，以期為電子商務(wù)行業(yè)和AI行業(yè)科研人員提供有價值的參考。

關(guān)鍵詞：視頻電商;深度學(xué)習(xí);智能推薦;AI識別;視頻超鏈接預(yù)測;

1前言

隨著人工智能（Artificial Intelligence）的發(fā)展，越來越多的基于深度學(xué)習(xí)（DL， Deep Learning）、統(tǒng)計學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的新方法被廣泛地用來提高現(xiàn)有的識別、檢索和推薦系統(tǒng)的性能。在這樣的時代背景下，本文主要研究了基于深度學(xué)習(xí)、統(tǒng)計學(xué)習(xí)和強(qiáng)化學(xué)習(xí)技術(shù)的視頻電商關(guān)鍵應(yīng)用技術(shù)。這一系列的研究成果將直接為視頻電商業(yè)務(wù)平臺的建設(shè)和發(fā)展提供理論與系統(tǒng)支持[1]。隨著AR、VR等黑科技在電商直播場景中的廣泛應(yīng)用，直播電商對于底層技術(shù)的要求也會越來越高。在未來，那些能夠為消費(fèi)者提供低延時直播的觀看服務(wù)、高清的視覺享受和安全的購物體驗的直播電商終將脫穎而出，贏得市場的青睞。

2 視頻匹配推薦關(guān)鍵技術(shù)

2.1 在線視頻廣告推薦

商品廣告可以幫助用戶了解到商品的具體信息。不同于傳統(tǒng)電子商務(wù)平臺的廣告推薦，在線視頻廣告推薦旨在幫助用戶能在觀看視頻的同時瀏覽到符合其購物興趣的商品廣告。在線視頻廣告推薦需要同時考慮用戶、商品和視頻及其相互之間的關(guān)系，并解決傳統(tǒng)商品廣告檢索和推薦系統(tǒng)所普遍存在的冷啟動和數(shù)據(jù)稀疏等經(jīng)典問題。除此以外，在線視頻廣告推薦還需要通過分析視頻的內(nèi)容來決定合適的廣告插入點，進(jìn)而減少對用戶觀看體驗的干擾。同時為了能夠?qū)Ａ坑脩舻脑诰€行為作出實時響應(yīng)，大規(guī)模在線視頻廣告推薦系統(tǒng)還需要實時地完成模型的訓(xùn)練和測試[2]。

2.2 視頻衣物精確匹配

不同于傳統(tǒng)的基于街拍圖像的相似性衣物匹配系統(tǒng)，在線視頻衣物精確系統(tǒng)旨在幫助用戶在觀看視頻的同時可以精確地購買到視頻中出現(xiàn)的明星同款。在線視頻衣物精確匹配系統(tǒng)必須同時解決[3]：（1）電商網(wǎng)站衣物圖像的復(fù)雜背景及各種噪聲（例如：形變、扭曲和遮擋），（2）在線視頻播放平臺中的衣物序列的動態(tài)變化（例如：多視角）。除此以外，在線視頻衣物精確匹配系統(tǒng)還需要分析視頻衣物序列，來決定最佳的衣物匹配結(jié)果插入點，進(jìn)而減少對用戶觀看體驗的干擾。同時為了能夠?qū)崟r解決海量衣物的精確匹配，大規(guī)模在線視頻衣物精確匹配系統(tǒng)還需要實時地完成模型的訓(xùn)練和測試。綜上所述，本文認(rèn)為大規(guī)模在線視頻衣物精確匹配任務(wù)是一個極具商業(yè)價值和學(xué)術(shù)意義的研究課題[4]。

2.3 視頻超鏈接預(yù)測

和網(wǎng)頁超鏈接相類似，視頻超鏈接旨在幫助用戶瀏覽在線視頻。不同于網(wǎng)頁超鏈接，視頻超鏈接還必須要考慮用戶、視頻及其之間的相互關(guān)系。系統(tǒng)推薦的視頻超鏈接必須同時滿足流行性、確定性和多樣性。其中流行性可以保證推薦的視頻鏈接可以包含足夠多的話題和內(nèi)容。確定性可以保證推薦的視頻超鏈接能夠?qū)Ξ?dāng)前瀏覽的視頻提供清晰和明確的補(bǔ)充說明。

2.4 自動通用屬性識別

在計算機(jī)視覺和多媒體研究領(lǐng)域，屬性識別被公認(rèn)為是檢索、匹配和推薦等系統(tǒng)的基礎(chǔ)。屬性識別模型可以對輸入圖像得到其所包含的語義信息。不同于傳統(tǒng)的屬性識別方法需要人為設(shè)計屬性識別網(wǎng)絡(luò)和解決不同屬性集合之間的遷移問題，本文研究的自動通用屬性識別模型旨在自動設(shè)計屬性識別網(wǎng)絡(luò)和遷移不同的屬性集合[5]。

針對這些問題，如圖1所示，本文提出了一個名叫Video eCommercet+的大規(guī)模在線視頻廣告推薦系統(tǒng)。該系統(tǒng)可以將電子商務(wù)網(wǎng)站的商品廣告推薦給視頻播放平臺的用戶。其中的商品是來自阿里巴巴集團(tuán)旗下的最大的B2C在線零售平臺天貓商城的10億個商品廣告。視頻則是來是阿里巴巴集團(tuán)旗下的天貓魔盒的8000部電影、2600部電視劇、2100個娛樂節(jié)目和25000個教育節(jié)目。該系統(tǒng)的設(shè)計目標(biāo)是在語義相關(guān)的視

系統(tǒng)的業(yè)務(wù)流程頻關(guān)鍵幀中向不同的用戶展示符合其購物個性化需求的商品廣告。據(jù)本文所知，Video ecommercet+是第一個在線大規(guī)模視頻廣告推薦系統(tǒng)。該系統(tǒng)可以綜合考慮用戶、視頻和商品之間相互關(guān)聯(lián)。

3 Video eCommercet+系統(tǒng)框架及預(yù)處理步驟

3.1 系統(tǒng)框架概述

木章提出了一個名為Videoe Commercet+的大規(guī)模在線視頻廣告推薦系統(tǒng)，其框架圖如圖2所示。

首先該系統(tǒng)對視頻和商品進(jìn)行預(yù)處理。在視頻結(jié)構(gòu)分析之后，視頻被表示為一組關(guān)鍵幀的集合。通過在關(guān)鍵幀中進(jìn)行物體檢測和場景分類，該系統(tǒng)獲得視頻關(guān)鍵幀的視覺和語義信息。于此同時，該系統(tǒng)也對商品做了類似的預(yù)處理，以獲得商品的視覺和語義信息。在處理步驟之后，該系統(tǒng)利用雙因素回歸模型（Incremental Co-Relation Regression，ICRR），用戶購物興趣挖掘模型（User Preference Diffusion，UPD）和視頻場景重要度排序模型（Video Scene Importance Model，VSIM）來分別得到用戶、視頻和商品之間關(guān)聯(lián)關(guān)系。

3.2視頻和商品預(yù)處理

對視頻進(jìn)行結(jié)構(gòu)化分析。該方法比較連續(xù)視頻幀之間的變化，可以大致確定視頻的鏡頭分布。每個鏡頭將包含最多視覺信息的視頻幀作為鏡頭的關(guān)鍵幀。這里規(guī)定每個鏡頭只含有一個關(guān)鍵幀。這樣做的好處是，保證廣告推薦點的稀疏性，從而盡減少對用戶觀看體驗的影響。最終經(jīng)過視頻結(jié)構(gòu)化分析，本章可以將視頻表示成為一組關(guān)鍵幀集合。

在物體檢測預(yù)處理中，因為需要支持海量的商品和視頻，所以無法對視頻關(guān)鍵幀中的所有的物體都標(biāo)注檢測框。為了解決這一問題、本章采用文獻(xiàn)[7]提出的自適應(yīng)大規(guī)模物體檢測框架。不同于傳統(tǒng)的方法需要標(biāo)注所有被檢測物體的檢測框，該方法可以只需要標(biāo)注視頻幀中含有的物體類別。這里本章利用了原作者提供的預(yù)訓(xùn)練模型在170個常見商品類目中對預(yù)訓(xùn)練模型進(jìn)行微調(diào)。微調(diào)后的檢測模型可以有效地支持170個常見的商品類目，這些類目包含服裝、家具和電器等常用商品[6][7]。

3.4 用戶購物興趣挖掘模型

本節(jié)介紹了用戶購物興趣挖掘模型（User Preference Diffusion，UPD）。受之前工作182的啟發(fā)，本章利用了異構(gòu)信息網(wǎng)絡(luò)中的元路徑來得到用戶對于商品的購物興趣偏好。在介紹UPD模型之前，本小節(jié)將先介紹異構(gòu)信息網(wǎng)絡(luò)和元路徑的定義。

3.5 用戶購物興趣挖掘模型融合參數(shù)分析

本小節(jié)將詳細(xì)分析用戶購物興趣挖掘模型（UPD）模型中的元路徑融合參數(shù)。首先實驗按照視頻類別，將數(shù)據(jù)集分為電影、電視和綜藝，來探究不同種類視頻的元路徑融合參數(shù)。其次按照視頻的上傳時間，實驗將視頻按照上傳時間為三個子數(shù)據(jù)集，即2015-11，2015-12和2016-01，來探究元路徑融合參數(shù)對于時間變化。其中按照時間劃分的三個子數(shù)據(jù)集的視頻數(shù)量大致相同。同時為了保證實驗結(jié)果的準(zhǔn)確性，在天貓魔盒平臺邊看邊買項目中一共采集了十組用戶（每組400人）來進(jìn)行交叉驗證。

分布式實現(xiàn)。在實際系統(tǒng)實現(xiàn)中，Videoe Commerce會把雙因素回歸模型（ICRR）的結(jié)果輸入了到這些用來對照的檢索或推薦系統(tǒng)中，從而獲得最終的廣告推薦結(jié)果。

圖4顯示了Videoe Commercet+系統(tǒng)和其他對照方法的對比結(jié)果?？偟膩碚f，Videoe Commercet+在所有指標(biāo)上都優(yōu)于其他的對照方法。這一結(jié)果充分說明了該方法的有效性。其次我們發(fā)現(xiàn)三種推薦模型比三種檢索模型都取得了更好的結(jié)果。系統(tǒng)推薦結(jié)果示例如下圖5所示

結(jié)論

隨著電子商務(wù)網(wǎng)站和在線視頻播放平臺的發(fā)展，視頻電商已經(jīng)成為電子商務(wù)公司和在線視頻播放平臺的核心發(fā)展業(yè)務(wù)。視頻電商可以擴(kuò)展現(xiàn)有電子商務(wù)公司的業(yè)務(wù)范圍。其次視頻電商也可以幫助視頻播放平臺將視頻觀看流量轉(zhuǎn)化為商業(yè)收益。在這樣的時代背景下，本文研究了基于深度學(xué)習(xí)、統(tǒng)計學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的針對在線視頻電商平臺應(yīng)用的關(guān)鍵技術(shù)和算法。其主要研究工作包括：針對在線視頻廣告推薦任務(wù)，本文提出了一個名為Video eCommerce ++的在線視頻廣告推薦系統(tǒng)。

參考文獻(xiàn)：

[1]付云.2011，電商與視頻的協(xié)奏曲[J].互聯(lián)網(wǎng)周刊（22）：19.

[2]黃升民，劉珊.2011.三網(wǎng)融合下“全媒體營銷”建構(gòu)[J].現(xiàn)代傳播（中國傳媒大學(xué)學(xué)報），（02）：1-8.

[3]黃升民，周艷，龍思薇2013，八問OTT-OTTTV對電視產(chǎn)業(yè)的影響和對策解析[J.現(xiàn)代傳播（中國傳媒大學(xué)學(xué)報），（10）

[4]韓溢.2014.視頻與電商合一，距離品效雙贏還有多遠(yuǎn)？[J].成功營銷，（12）：18-19.

[5]高森宇.2015？社會化網(wǎng)絡(luò)中“粉絲經(jīng)濟(jì)”的營銷分析J.現(xiàn)代傳播（中國傳媒大學(xué)學(xué)報），（10）：118-121.

[6]康瑾.2015，原生廣告的概念、屬性與問題[J].現(xiàn)代傳播（中國傳媒大學(xué)學(xué)報），（03）：112118.

[7]孔清溪.2009，隱性與顯性的優(yōu)勢互補(bǔ)-內(nèi)容營銷與傳統(tǒng)廣告的全方位解析[J.廣告大觀（理論版），（02）：17-20

[8]李蕾.2014，內(nèi)容營銷理論評述與模式分析[J].東南傳播，（07）：136-139.[29]林雍，王興華.2016，探析網(wǎng)絡(luò)視頻的產(chǎn)業(yè)化發(fā)展-以愛奇藝為例[J].今傳媒，（05）

[9]彭蘭.2015，場景：移動時代媒體的新要素[J].新聞記者，（03）：20-27.