基于深度學(xué)習(xí)的短視頻廣告推送系統(tǒng)

黨 進(jìn) 蒙俊杰

(廣西科技大學(xué),廣西 柳州545026)

1 概述

隨著移動(dòng)網(wǎng)絡(luò)與手機(jī)設(shè)備性能大幅度的提升,短視頻行業(yè)出現(xiàn)迅猛的發(fā)展,2017年行業(yè)市場(chǎng)規(guī)模達(dá)到57.3 億元,同比增長(zhǎng)達(dá)到183.9%,而2020年全行業(yè)市場(chǎng)規(guī)模預(yù)計(jì)會(huì)達(dá)到300億元,平均年增長(zhǎng)率為74%[1]。短視頻行業(yè)不可估量的經(jīng)濟(jì)收益引起了投資者的重視。但是要實(shí)際做到商業(yè)化,提高平臺(tái)的內(nèi)容變現(xiàn)能力是重要環(huán)節(jié)。本文將深度學(xué)習(xí)技術(shù)應(yīng)用于短視頻投放領(lǐng)域,提出了一種基于深度學(xué)習(xí)的視頻物體檢測(cè)和內(nèi)容推薦系統(tǒng),結(jié)合視頻內(nèi)容進(jìn)行高相關(guān)度低打擾性的廣告推送,從而實(shí)現(xiàn)在保證用戶體驗(yàn)的基礎(chǔ)上,提升投放廣告的有效性。

2 視頻關(guān)鍵幀提取

視頻關(guān)鍵幀是指從短視頻中獲取某些至關(guān)重要的幀,可以用一幀表現(xiàn)出視頻一個(gè)時(shí)間段的主要內(nèi)容[2]。圖像差分指[3]把兩張圖片的像素值做差,減弱圖片的相似部分突顯圖片的變化部分。本文基于幀間差分的方法,將兩幀圖片實(shí)現(xiàn)差分,獲得圖片的平均像素強(qiáng)度,它可以評(píng)判兩幀圖片的變化大小。所以當(dāng)短視頻中的某一幀與前一幀圖片的內(nèi)容形成了大的改變,便指定它是關(guān)鍵幀,并將其選擇出來?；趲g差分的視頻關(guān)鍵幀提取算法簡(jiǎn)單快捷,運(yùn)行速度快,很好的適應(yīng)了短視頻視頻關(guān)鍵幀的快速提取。

3 物體目標(biāo)檢測(cè)

3.1 SSD網(wǎng)絡(luò)介紹

SSD(Single Shot MultiBox Detector)全稱為單發(fā)多框檢測(cè)器,將定位和檢測(cè)任務(wù)封裝在網(wǎng)絡(luò)的一次前向傳播中,從而可以大大加快檢測(cè)速度,在不同的特征圖上去分別匹配預(yù)測(cè)不同尺度的目標(biāo),因此有良好的目標(biāo)檢測(cè)精度[4],同時(shí)可以部署在較輕的硬件上。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

SSD模型框架[5]如圖1所示,以VGG16做骨干網(wǎng)絡(luò),將原本VGG16的Conv5_3層后的pooling層進(jìn)行修改,通過新的pooling層后特征矩陣的高和寬是不會(huì)發(fā)生變化的。在該層后通過一系列卷積可以得到6個(gè)不同的預(yù)測(cè)層,在這6個(gè)預(yù)測(cè)特征層上去預(yù)測(cè)不同尺度以及比例的目標(biāo),預(yù)測(cè)后通過非極大值抑制算法和濾出小概率目標(biāo)就可以得到最終的預(yù)測(cè)結(jié)果。

圖1 SSD模型

3.3 SSD網(wǎng)絡(luò)的Default box

SSD網(wǎng)絡(luò)一共有6個(gè)預(yù)測(cè)特征層,在6個(gè)預(yù)測(cè)特征層上,分別去預(yù)測(cè)不同大小目標(biāo)。

如在第1層中檢測(cè)相對(duì)較小的目標(biāo),隨著抽象程度不斷加深,我們會(huì)檢測(cè)相對(duì)較大的目標(biāo)。2-6層檢測(cè)目標(biāo)會(huì)越來越大。

SSD按照如下規(guī)則生成Default box[6]:

3.3.1 以特征圖上每個(gè)點(diǎn)的中點(diǎn)為中心,生成一些同心的先驗(yàn)框。正方形先驗(yàn)框最小邊長(zhǎng)為min_size。

每個(gè)特征圖對(duì)應(yīng)先驗(yàn)框的min_size和max_size由以下公式?jīng)Q定,公式中m是使用特征圖的數(shù)量,SSD中m一般為6。

3.4 正負(fù)樣本的損失

損失分為兩個(gè)部分,類別損失(Lcn(x,c))和定位損失(Lloc(x,l,g)),其中N為匹配到的正樣本個(gè)數(shù),a一般設(shè)為1。對(duì)于類別損失,計(jì)算公式如下:

4 序列感知推薦系統(tǒng)

本文將推薦任務(wù)抽象為一個(gè)圖片的問題進(jìn)行研究,將順序排列的消費(fèi)者的短期行為表示為一個(gè)矩陣,使用卷積過濾器提取其局部特征,獲得消費(fèi)者的一般愛好和短期興趣[7]。本文介紹一種Caser模型(卷積序列嵌入推薦模型)。

4.1 序列模式的定義

序列模式有三種如圖2所示。

圖2 三種序列模式

(1)point-level(點(diǎn)級(jí)模式):點(diǎn)級(jí)模式表示歷史序列中單個(gè)項(xiàng)目對(duì)目標(biāo)項(xiàng)目的影響。(2)union-level,no skip(聯(lián)級(jí)模式,無跳躍):聯(lián)級(jí)模式表示前幾個(gè)操作對(duì)后續(xù)目標(biāo)的影響。(3)union-level,skip once(聯(lián)級(jí)模式,無跳躍):采用跳躍的方式,三個(gè)序列采用并聯(lián)的方式影響的不是相鄰的序列,而是跳躍的影響非相鄰的下一個(gè)序列。

4.2 模型架構(gòu)

Caser對(duì)用戶的日常愛好和順序模式進(jìn)行建模,使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)學(xué)習(xí)序列特征,采用隱因子模型(LFM)學(xué)習(xí)用戶特征。Caser模型,包含三個(gè)部分:(1)Embedding層:對(duì)用戶,項(xiàng)目序列進(jìn)行表示。(2)卷積層:學(xué)習(xí)近期用戶行為的特征。(3)全連接層:將拼接的序列特征與用戶偏好映射到用戶在當(dāng)前時(shí)間與每個(gè)物品交互的可能性。

5 結(jié)論

本文將深度學(xué)習(xí)物體檢測(cè)結(jié)果用于個(gè)性化內(nèi)容推薦,推動(dòng)廣告投放的智能性,實(shí)現(xiàn)了海量視頻潛在信息的挖掘和匹配,具有重要的理論研究意義和商業(yè)價(jià)值。