基于人臉屬性識別廣告精準投放智能新媒介系統(tǒng)設計

鄭煜輝 陳 磊 辛光紅

(三亞學院，海南 三亞572000)

1 概述

零售場所中常采用海報、LED 廣告機、櫥窗等投放廣告。這些廣告采用無差別化的廣告推送，無針對性、效果并不理想。商場中的落地玻璃墻、玻璃櫥窗等透明隔離設施是商家展示內(nèi)部商品的重要窗口，受空間的限制，商場的透明隔離設施展示的僅為有限的實物商品，利用率很低。如何將透明隔離設施高效利用起來進行智能化廣告投放具有巨大的經(jīng)濟價值[1]。

2 系統(tǒng)結(jié)構(gòu)設計

本系統(tǒng)通過樹莓派輸出高低電平控制高分子透變膜實現(xiàn)透明和背投狀態(tài)轉(zhuǎn)換。樹莓派配置攝像頭進行圖像采集，通過WIFI 網(wǎng)絡與云服務器通信傳輸人臉數(shù)據(jù)，人臉數(shù)據(jù)在本地建模分析后樹莓派又控制投影儀投放相應的廣告最后在透變膜上顯示。硬件配置結(jié)構(gòu)如圖1 所示。本系統(tǒng)控制核心采用樹莓派，作為便攜式卡片計算機具備HDMI 圖像輸出，GPIO 控制、USB接口、WIFI 通信等功能，性能上可以滿足本系統(tǒng)設計需求，而且極大的降低了系統(tǒng)成本和實施難度。本系統(tǒng)所述的高分子液晶投影膜由樹莓派通過繼電器進行控制。樹莓派的GPIO P21 口輸出高低電平控制繼電器的Relay_Ch3 進行透明和非透明的相互轉(zhuǎn)換。繼電器控制電路如圖2 所示。系統(tǒng)圖像采集攝像頭采用USB Type-C 接口支持USB 3.0 協(xié)議，攝像頭兩側(cè)預留了雙目攝像頭接口可實現(xiàn)立體視覺系統(tǒng)，方便后期擴展[2]。

3 系統(tǒng)運行流程

系統(tǒng)檢測到?jīng)]有游客靠近貼有高分子液晶透變膜的透明隔離設施時（如櫥窗等），透變膜為透明狀態(tài)，當游客通過或者駐足于透明隔離設施，系統(tǒng)控制透變膜轉(zhuǎn)變?yōu)楸惩稜顟B(tài)，并將攝像頭采集到的人臉圖像上傳至云平臺。云端通過計算返回觀看者的年齡、性別、表情、顏值、姿態(tài)、有無戴帽子、眼鏡、口罩等信息至樹莓派并將數(shù)據(jù)儲存在云端人臉庫中。樹莓派通過眼球跟蹤技術(shù)獲取游客的注視廣告區(qū)域，時長等信息判斷游客是否喜歡廣告內(nèi)容，通過掃碼付費等商業(yè)手段獲取交易金額，然后將上述信息發(fā)送至云端與獲取的人臉屬性信息匹配，生成閉環(huán)數(shù)據(jù)。經(jīng)過一定的數(shù)據(jù)累積后，訓練機器學習隨機森林模型，挖掘客戶消費能力、偏好趨向，實現(xiàn)廣告精準投放。

圖1 硬件配置結(jié)構(gòu)圖

圖2 繼電器控制電路

圖3 系統(tǒng)運行流程圖

4 云端接口開發(fā)

騰訊云平臺利用其超大的用戶數(shù)量具有明顯的數(shù)據(jù)庫資源優(yōu)勢。本系統(tǒng)利用騰訊云人臉檢測接口、人員庫接口、人臉搜索接口實現(xiàn)了人臉識別和人臉數(shù)據(jù)庫建立功能。本項系統(tǒng)中人臉檢測是核心接口，云端檢測給定圖片的人臉及相應的面部屬性和位置坐標信息。面部屬性包括性別（gender）、年齡（age）、表情（expression）、魅力（beauty）、眼鏡（glass）、發(fā)型（hair）、口罩（mask）和姿態(tài)(pitch，roll，yaw)，人臉質(zhì)量信息包括整體質(zhì)量分（score）、模 糊 分（sharpness）、光照 分（brightness） 和 五 官 遮 擋 分（completeness）。返回系統(tǒng)的返回值包括FaceInfos 人臉信息表和FaceQuality 人臉質(zhì)量信息，其中FaceInfos 有我們關(guān)注的人臉信息，比如gender,age,beauty(顏值)和expression（微笑程度）等。FaceQuality 則包含了一個重要字段就是圖像人臉的質(zhì)量得分score。這里我們提取年齡和性別、顏值、表情、有無帶帽子、帶口罩、帶眼鏡等字段[3-4]。

5 廣告精準投放模型

模型原始數(shù)據(jù)為通過走訪調(diào)研大型商場商鋪，依據(jù)主觀經(jīng)驗數(shù)據(jù)訓練得來，獲取真實大量數(shù)據(jù)訓練模型是首要任務。擬先在商場電梯、樓梯口根據(jù)顧客年齡性別以及所處的位置信息，進行樓層引導和商鋪推送。如果顧客根據(jù)推送到達了相應的樓層或商鋪則實現(xiàn)了初步引導價值。顧客根據(jù)推送到達了相應的樓層或商鋪，進而在商普玻璃幕墻推送具體的商品，依據(jù)眼球跟蹤和購買情況得到顧客消費趨向的真實數(shù)據(jù)，最終以真實數(shù)據(jù)訓練模型，得到能實現(xiàn)廣告精準投放的模型，實現(xiàn)數(shù)據(jù)價值[5]。模型實現(xiàn)過程如圖4 所示。

圖4 廣告精準投放模型實現(xiàn)過程

6 眼球跟蹤技術(shù)

眼球跟蹤是本系統(tǒng)的關(guān)鍵技術(shù)和重要反饋環(huán)節(jié)。通過眼球跟蹤判斷當前人臉是否注視廣告區(qū)域以及注視時長。如果注視廣告區(qū)域，開始計時，當檢測到當前人臉不再注視廣告區(qū)域，計時結(jié)束，返回時長結(jié)果。然后通過注視時長等數(shù)據(jù)判斷該游客是否喜歡此廣告，如果喜歡則彈出商品二維碼游客可以關(guān)注或下單。如果游客下單我們就得到了此游客的數(shù)據(jù)。如果不喜歡，則說明模型預測的不準確我們需要進一步修正模型。

圖5 眼球跟蹤系統(tǒng)應用

圖6 人臉及眼部分割圖

采集到人臉圖像后截取出左右眼部區(qū)域的ROI 圖像[8]，這個截取過程就是簡單的根據(jù)先驗知識，對于如圖6 所示的一張人臉圖像左右眼的區(qū)域大小和位置大概是固定的，整幅圖像的長寬分別為wI，hI。眼部區(qū)域的長寬為wE，hE，則有：

截取出了眼部ROI 圖像后每個像素點都可以計算出梯度，而梯度包含了幅值和方向。對于眼部圖像而言，越是靠近眼球中心的位置，灰度值就越低，就會有更多的梯度方向的連線交于眼球。 最后，根據(jù)梯度方向的眼球定位算法實現(xiàn)眼球跟蹤[6-7]。

7 結(jié)論

本系統(tǒng)采用高分子液晶膜將透明隔離設施變成一種智能新型媒介。不僅提高了櫥窗和大透明玻璃的利用率，提高了購物樂趣，還解決了游客對廣告的反饋的局限，提供一個新的購物交互入口。通過機器視覺、人工智能等新技術(shù)與商業(yè)模式有機結(jié)合，方案合理高效的獲取了人臉屬性與消費能力、偏好趨向的閉環(huán)數(shù)據(jù)樣本、訓練隨機森林模型，實現(xiàn)了廣告精準投放。