基于快速圖像識(shí)別的智能商場(chǎng)導(dǎo)引系統(tǒng)

王志斌，丁萬春，李永新

(1.南京理工大學(xué)機(jī)械工程學(xué)院，南京 210018；2.易泰博商業(yè)設(shè)施(中國(guó))有限公司，蘇州 215000；3.南京理工大學(xué)機(jī)械工程學(xué)院，南京 210018)

0 引言

近些年來，隨著互聯(lián)網(wǎng)的迅猛發(fā)展，實(shí)體商場(chǎng)面對(duì)電子商務(wù)的挑戰(zhàn)愈發(fā)艱巨。構(gòu)筑良好的購物體驗(yàn)與提供貼心的線下購物服務(wù)作為實(shí)體商場(chǎng)對(duì)抗電子商務(wù)的有力競(jìng)爭(zhēng)手段，在業(yè)內(nèi)越來越得到重視。但是，商場(chǎng)導(dǎo)引作為顧客線下購物體驗(yàn)的重要一環(huán)卻一直沒有較大的發(fā)展[1]。同時(shí)，人臉識(shí)別技術(shù)作為一種方便快捷、非侵入性的智能識(shí)別技術(shù)，在人們的生活中得到了越來越多的運(yùn)用。本項(xiàng)目作為智能商場(chǎng)系統(tǒng)的一部分，采用了人臉識(shí)別技術(shù)，通過智能設(shè)備對(duì)顧客提供全自動(dòng)的導(dǎo)引服務(wù)，應(yīng)用前景無比廣闊。

根據(jù)調(diào)查，現(xiàn)有的人臉識(shí)別系統(tǒng)大都需要對(duì)使用者的人臉圖片進(jìn)行儲(chǔ)存，但近些年來，人們的法律意識(shí)越來越強(qiáng)，人們對(duì)自己的肖像權(quán)也愈發(fā)重視，杭州等甚至已經(jīng)擬定了地方相關(guān)條例來限制人臉識(shí)別技術(shù)的應(yīng)用。所以民用人臉識(shí)別技術(shù)想要繼續(xù)發(fā)展下去，必須做出一定改變來保護(hù)人們的隱私和肖像權(quán)。

1 需求分析與功能要求

本節(jié)對(duì)智能商場(chǎng)導(dǎo)引系統(tǒng)的需求與方案設(shè)計(jì)做出重點(diǎn)的分析，核心需求包括廣告控制、智能導(dǎo)引、商品查詢和自助結(jié)賬四個(gè)要素，方案設(shè)計(jì)將系統(tǒng)分為人臉錄入終端、人臉識(shí)別模塊和云端服務(wù)器三個(gè)部分。

1.1 需求分析

大型商場(chǎng)中由于商品種類較多通常有著較多的分類區(qū)域，但導(dǎo)引、導(dǎo)購的方式還僅僅依靠商場(chǎng)進(jìn)口的平面圖和指示牌，大量消費(fèi)者對(duì)于自身想要前往的區(qū)域完全沒有了解。為解決消費(fèi)者在商場(chǎng)中購物困難、路向不清等問題，結(jié)合人臉識(shí)別技術(shù)，以期利用一種非接觸、全自動(dòng)的商場(chǎng)導(dǎo)引系統(tǒng)來處理此類狀況，它的核心需求主要包括以下幾個(gè)方面：

(1)消費(fèi)者可以利用商場(chǎng)入口與出口處的智能終端對(duì)超市內(nèi)進(jìn)行的促銷活動(dòng)內(nèi)容以及商品的各類信息進(jìn)行及時(shí)性的了解；

(2)商場(chǎng)的導(dǎo)引系統(tǒng)可以在消費(fèi)者不依賴智能手機(jī)等移動(dòng)終端的情況下進(jìn)行導(dǎo)引工作；

(3)為商場(chǎng)管理者提供相應(yīng)接口，使其可以通過系統(tǒng)實(shí)時(shí)發(fā)布優(yōu)惠信息與商品廣告。

(4)利用第三方支付平臺(tái)實(shí)現(xiàn)商品的自助結(jié)賬與小票打印功能。

以上4個(gè)核心需求基本上概括了系統(tǒng)設(shè)計(jì)的核心思想，它既包含多個(gè)客戶端，也包含了服務(wù)器端，目的在于研制一種基于人臉識(shí)別技術(shù)的商場(chǎng)導(dǎo)引軟件。在對(duì)上述需求具體闡述后，系統(tǒng)設(shè)計(jì)的主要使用目標(biāo)為商場(chǎng)顧客與商場(chǎng)管理員，主要包括以下兩個(gè)方面:

(1)商場(chǎng)顧客：商場(chǎng)顧客是使用導(dǎo)引系統(tǒng)的主要服務(wù)目標(biāo)，商場(chǎng)顧客可以與人臉錄入終端進(jìn)行交互，對(duì)商場(chǎng)內(nèi)不同商品的信息進(jìn)行查詢。且當(dāng)目標(biāo)在商場(chǎng)中進(jìn)行購物時(shí)，系統(tǒng)可以為其提供導(dǎo)引信息；

(2)商場(chǎng)管理員：商場(chǎng)管理員使用系統(tǒng)后臺(tái)管理系統(tǒng)，通過系統(tǒng)可以管理商品的資料與廣告投放，從而提高銷量，并完成相關(guān)記錄，包括商品位置信息與銷售信息等。

1.2 系統(tǒng)功能要求

根據(jù)前一小節(jié)的需求分析以及商場(chǎng)實(shí)際環(huán)境，提出了如圖1所示的系統(tǒng)功能框架，受限于篇幅本文只介紹主要功能需求。

圖1 系統(tǒng)功能框架圖

2 整體方案設(shè)計(jì)

結(jié)合1.2小節(jié)中系統(tǒng)的功能要求，提出商場(chǎng)導(dǎo)引系統(tǒng)的整體設(shè)計(jì)方案，主要可以分為以下三個(gè)部分：

(1)放置在商場(chǎng)入口與出口處的人臉錄入終端，主要為顧客提供商品查詢、廣告播放、會(huì)員資料查詢等功能。顧客可以通過該終端在進(jìn)入商場(chǎng)前就對(duì)這家商場(chǎng)的商品和特色有一個(gè)大概的了解，極大地方便了顧客在商城內(nèi)的購物活動(dòng)。同時(shí)該終端集成了一個(gè)人臉錄入子系統(tǒng)，它在有顧客開始查詢物品信息后錄入操作該終端的顧客人臉信息，之后與顧客查詢的商品位置信息綁定并上傳至云端數(shù)據(jù)庫進(jìn)行存儲(chǔ)。

(2)遍布在商場(chǎng)內(nèi)部智能貨架上的人臉識(shí)別模塊，該模塊實(shí)時(shí)掃描貨架前的顧客人臉信息，并與數(shù)據(jù)庫中的人臉信息進(jìn)行識(shí)別。然后對(duì)識(shí)別出的顧客信息檢索出結(jié)合綁定的商品信息，再通過與人臉識(shí)別模塊相連的顯示屏將導(dǎo)引信息傳達(dá)給顧客。

(3)云端服務(wù)器，智能終端和人臉識(shí)別模塊通過Wi-Fi接入互聯(lián)網(wǎng)實(shí)現(xiàn)數(shù)據(jù)的交互。

三個(gè)部分之間具體關(guān)系如圖2所示。

圖2 導(dǎo)引系統(tǒng)結(jié)構(gòu)圖

2.1 人臉錄入終端方案設(shè)計(jì)

根據(jù)之前章節(jié)中的場(chǎng)景需要，人臉錄入終端需要擁有人臉錄入、商品查詢、廣告播放、自助結(jié)賬這四個(gè)功能，其中人臉錄入和商品查詢功能參與導(dǎo)引流程，廣告播放與自助結(jié)賬為輔助功能。它分為硬件和軟件兩個(gè)部分，硬件部分為RK3399商顯智能主板以及掃碼設(shè)備、熱敏打印機(jī)、外置攝像頭和觸摸顯示屏等各類外設(shè)，軟件部分為Android程序。

2.1.1 人臉錄入子系統(tǒng)

在人臉錄入部分中，當(dāng)商場(chǎng)顧客在智能終端上查詢商品時(shí)，攝像頭會(huì)開始讀取視頻畫面。并采用Haar-like[2]特征以及AdaBoost[3]分類器進(jìn)行人臉檢測(cè)，檢測(cè)到人臉區(qū)域后，系統(tǒng)會(huì)自動(dòng)進(jìn)行LBP[4]特征提取以及與商品信息進(jìn)行關(guān)聯(lián)并刪除原始圖片，最后上傳至云端服務(wù)器，根據(jù)服務(wù)器中是否已存在相關(guān)信息決定錄入或更新數(shù)據(jù)庫。人臉檢測(cè)與錄入過程如圖3所示。

2.1.2 商品查詢子系統(tǒng)

在圖4中，可以看出商品查詢子系統(tǒng)的主要功能是為導(dǎo)引系統(tǒng)篩選顧客對(duì)象并提供商品對(duì)象，只有選擇了目標(biāo)商品的顧客才會(huì)被錄入信息，同時(shí)商品查詢子系統(tǒng)自身作為顧客提供商品信息查詢功能，具體查詢流程如圖4所示。

圖3 人臉錄入系統(tǒng)流程圖

圖4 商品查詢流程圖

2.1.3 輔助功能系統(tǒng)

輔助功能系統(tǒng)包括廣告播放子系統(tǒng)與自助結(jié)賬子系統(tǒng)，它們不直接參與導(dǎo)引工作，但能提高顧客購物體驗(yàn)。其中廣告播放子系統(tǒng)主要有解析服務(wù)器指令和加載廣告資源兩個(gè)功能，使人臉錄入終端在無人操作時(shí)可以按照商場(chǎng)管理員的命令在不同時(shí)間段播放各類廣告。自助結(jié)賬子系統(tǒng)主要承擔(dān)商品掃碼、掃碼支付和小票打印等功能，分別通過掃碼設(shè)備外設(shè)、第三方支付平臺(tái)和打印機(jī)外設(shè)實(shí)現(xiàn)。

2.2 人臉識(shí)別模塊方案設(shè)計(jì)

人臉識(shí)別模塊是導(dǎo)引系統(tǒng)的重要組成部分，主要承擔(dān)檢測(cè)與分辨人臉信息，并展示導(dǎo)引信息的工作需求。它由基于嵌入式的控制子系統(tǒng)、OpenMV[5]、導(dǎo)引信息顯示子系統(tǒng)和通訊子系統(tǒng)四部分組成。

OpenMV負(fù)責(zé)人臉檢測(cè)與特征提取，其中人臉檢測(cè)部分與人臉錄入子系統(tǒng)中相同，使用圖片特征與分類器為Haar-like特征以及AdaBoost分類器。不同之處在于OpenMV的攝像頭一直處于工作狀態(tài)，實(shí)時(shí)檢測(cè)畫面中的人臉區(qū)域。在確定人臉區(qū)域后對(duì)目標(biāo)人臉進(jìn)行LBP特征提取。

基于嵌入式的控制子系統(tǒng)中燒寫了本文提出的改進(jìn)后的SVM分類器[6]，通過分類器進(jìn)行人臉識(shí)別，以判斷是否為人臉錄入終端錄入過的人臉。如果是，就根據(jù)綁定的商品信息生成文字導(dǎo)引信息，導(dǎo)引信息顯示子系統(tǒng)傳遞給顧客；如果不是，則不做處理。以上過程中所有的圖片在LBP特征提取完畢后都會(huì)進(jìn)行刪除，以保護(hù)顧客的個(gè)人信息安全。具體流程如圖5所示。

圖5 人臉檢測(cè)流程圖

2.3 云平臺(tái)方案設(shè)計(jì)

云存儲(chǔ)平臺(tái)主要用于存儲(chǔ)特征數(shù)據(jù)，本系統(tǒng)主要選取云存儲(chǔ)中大容量的對(duì)象存儲(chǔ)作為重點(diǎn)存儲(chǔ)采集得到的顧客人臉特征文件，在關(guān)系型數(shù)據(jù)庫中創(chuàng)建數(shù)據(jù)表來保存顧客與商品的他信息。本文采用百度云作為開發(fā)平臺(tái)，設(shè)計(jì)流程如圖6所示。

圖6 云平臺(tái)設(shè)計(jì)流程圖

3 人臉錄入終端系統(tǒng)實(shí)現(xiàn)

3.1 硬件系統(tǒng)

為了實(shí)現(xiàn)系統(tǒng)要求中的人臉錄入、商品查詢、廣告播放以及自助結(jié)賬功能，我們需要選擇合適硬件設(shè)備。系統(tǒng)的硬件設(shè)備主要包括以下方面：

(1)RK3399商顯智能主板。該主板是標(biāo)準(zhǔn)3.5英寸工業(yè)級(jí)商顯主板，主頻高達(dá)1.4GHz，支持Type C的Display Port音視頻輸出板載HDMI2.0接口，支持HDCP1.4/2.2以及雙通道24bit LVDS、eDP。

(2)觸摸顯示屏。觸摸顯示屏是人與智能設(shè)備交互的重要設(shè)備。本文選擇RK3399商顯智能主板配套的10.1英寸液晶顯示屏帶電容觸摸屏RGB屏LVDS背光板工業(yè)顯示屏。

(3)外置攝像頭。外置攝像頭是系統(tǒng)采集圖像信息的關(guān)鍵設(shè)備，攝像頭的性能直接影響采集到圖像的質(zhì)量，從而影響到后續(xù)的圖像處理以及人臉檢測(cè)過程。本文采用SONY公司出品的無線USB Android監(jiān)控工業(yè)相機(jī)攝像頭模組，該攝像頭模組內(nèi)置了鏡頭正畸功能，能夠有效避免由于鏡頭畸變對(duì)采集圖像造成的影響。

(4)掃碼設(shè)備。掃碼設(shè)備是用來實(shí)現(xiàn)商品掃碼與查看商場(chǎng)會(huì)員信息功能的輔助設(shè)備，顧客可以通過出示手機(jī)上的二維碼來登錄賬號(hào)進(jìn)行查詢。根據(jù)需求與實(shí)際情況，本文選擇采用USB二維碼掃碼模組來實(shí)現(xiàn)系統(tǒng)所需功能。

(5)熱敏打印機(jī)。熱敏打印機(jī)主要負(fù)責(zé)打印小票的功能，本文使用的工業(yè)熱敏打印機(jī)提供Android平臺(tái)SDK，軟件開發(fā)較為方便，同樣也通過USB接口與主板連接。

實(shí)際組裝效果如圖7所示。

圖7 智能終端硬件組裝圖

3.2 軟件系統(tǒng)

(1)主程序

表1 主程序功能描述

圖8 主程序執(zhí)行流程圖

(2)人臉檢測(cè)程序

表2 人臉檢測(cè)程序功能描述

圖9 人臉檢測(cè)程序執(zhí)行流程圖

(3)信息錄入程序

表3 信息錄入程序功能描述

圖10 信息錄入程序執(zhí)行流程圖

3.3 系統(tǒng)界面設(shè)計(jì)

系統(tǒng)的交互界面由Android Studio[7]編寫，布局由超文本標(biāo)記語言XML配置。程序被設(shè)定為啟動(dòng)主板后自動(dòng)打開，之前介紹過熱敏打印機(jī)的驅(qū)動(dòng)文件是在程序內(nèi)的，所以僅在該主板第一次啟動(dòng)程序時(shí)需要手動(dòng)對(duì)驅(qū)動(dòng)進(jìn)行配置，配置完成將自動(dòng)進(jìn)入人機(jī)交互主界面，啟動(dòng)流程如圖11所示。

圖11 程序首次啟動(dòng)流程圖

人臉錄入終端的主要功能包括：商品查詢、自助結(jié)賬以及文字、圖片、視頻類型的廣告播放。其中人臉錄入過程在顧客進(jìn)行商品查詢并選擇目標(biāo)商品后完成，部分主要人機(jī)交互界面如圖12所示。

圖12 部分功能展示圖

4 人臉識(shí)別模塊系統(tǒng)實(shí)現(xiàn)

4.1 硬件系統(tǒng)

與商場(chǎng)入口的人臉錄入系統(tǒng)相比，分布在商場(chǎng)智能貨架上的人臉識(shí)別系統(tǒng)數(shù)量更多，但是功能也較為單一。綜合考慮系統(tǒng)性能與成本因素本文選擇采用嵌入式開發(fā)平臺(tái)與OpenMV視覺模塊對(duì)系統(tǒng)進(jìn)行開發(fā)，并通過液晶顯示屏實(shí)現(xiàn)人機(jī)交互。人臉系別系統(tǒng)的軟件主要分為兩個(gè)部分，其中嵌入式軟件部分選擇使用Qt[8]進(jìn)行編寫，OpenMV軟件部分選擇OpenMV配套IDE進(jìn)行編寫。

4.2 軟件系統(tǒng)

(1)主程序

表4 主程序功能描述

圖13 主程序執(zhí)行流程圖

(2)回調(diào)程序

表5 回調(diào)程序功能描述

圖14 回調(diào)函數(shù)執(zhí)行流程圖

(3)識(shí)別程序

表6 識(shí)別程序功能描述

圖15 導(dǎo)引信息顯示程序執(zhí)行流程圖

(4)信息請(qǐng)求程序

表7 信息請(qǐng)求程序功能描述

圖16 信息請(qǐng)求程序執(zhí)行流程圖

4.3 系統(tǒng)測(cè)試

為了方便說明，本文使用調(diào)試版交互界面進(jìn)行功能講解，界面主要由圖像輸出框與導(dǎo)引信息提示框組成。正式版與之相比沒有圖像輸出框，只有導(dǎo)引信息提示框。以下是兩位測(cè)試人員對(duì)系統(tǒng)的測(cè)試結(jié)果，測(cè)試人員一號(hào)與二號(hào)分別在錄入終端上選擇了商品蘋果與洗發(fā)水，系統(tǒng)檢測(cè)到錄入人臉后給出提示信息；測(cè)試人員一號(hào)在未錄入人臉的情況下被系統(tǒng)檢測(cè)到人臉信息，系統(tǒng)不做提示；測(cè)試人員側(cè)臉模擬經(jīng)過顧客，系統(tǒng)未檢測(cè)到人臉。具體情況如圖17所示。

圖17 人臉識(shí)別模塊測(cè)試結(jié)果對(duì)比圖

5 結(jié)語

在人臉識(shí)別技術(shù)蓬勃發(fā)展卻也飽受爭(zhēng)議的今天，將人臉識(shí)別技術(shù)應(yīng)用于傳統(tǒng)的商場(chǎng)導(dǎo)引需求之中。解決了傳統(tǒng)商場(chǎng)導(dǎo)引中人力浪費(fèi)、服務(wù)不及時(shí)等問題，有著不依賴便攜式智能設(shè)備的特點(diǎn)，并對(duì)人臉識(shí)別中顧客的個(gè)人隱私安全提出了一種解決方案。系統(tǒng)在嵌入式、Android平臺(tái)上進(jìn)行開發(fā)，計(jì)算資源有限但成本較低，現(xiàn)實(shí)中有很強(qiáng)的應(yīng)用價(jià)值。