基于面部表情分析比對的智能拍攝系統(tǒng)

申爍志

（成都市第七中學(xué)，四川成都，610000）

基于面部表情分析比對的智能拍攝系統(tǒng)

申爍志

（成都市第七中學(xué)，四川成都，610000）

提出了一種基于面部表情識別及分析比對的智能趣味拍攝系統(tǒng)，既可用于自動抓拍最佳表情，也可用于微笑禮儀訓(xùn)練。主要介紹了該系統(tǒng)的設(shè)計思路、工作模式、工作流程、系統(tǒng)架構(gòu)以及系統(tǒng)的創(chuàng)建過程等內(nèi)容；基于Arduino開源硬件，采用Face++提供的人臉微笑識別技術(shù)，通過阿里云服務(wù)和微信平臺實現(xiàn)了人機(jī)交互。經(jīng)多次測試表明：系統(tǒng)穩(wěn)定，具備實用性、趣味性及創(chuàng)新性等優(yōu)勢，具有廣闊的應(yīng)用前景。

面部表情識別；面部表情分析比對；最美魔鏡；智能拍攝系統(tǒng)

引言

人工智能技術(shù)研究再一次掀起了科技發(fā)展的新高潮，將是未來10年的四大顛覆性技術(shù)之一[1]。預(yù)計未來人工智能將比移動互聯(lián)市場大十倍。人臉表情識別技術(shù)是人工智能領(lǐng)域新興的研究方向，是對人的臉部特征信息進(jìn)行識別的一種生物識別技術(shù)[2]。用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流，并自動在圖像中檢測和跟蹤人臉，進(jìn)而對檢測到的人臉進(jìn)行臉部分析的一系列相關(guān)技術(shù)，通常也稱作人臉識別[3]。識別過程主要包括：圖像采集及檢測、人臉定位、特征提取和分類識別。通過面部表情識別，可以增進(jìn)人機(jī)交往的友好性和智能性[4]。本課題開發(fā)了一套基于人臉面部表情識別及分析比對，而又兼具趣味性的智能拍攝系統(tǒng)。

本系統(tǒng)受童話故事啟發(fā)設(shè)計，命名為“最美魔鏡”。系統(tǒng)可特異性地捕捉使用者最美麗的表情并自動記錄，同時還可作為微笑禮儀訓(xùn)練工具提示使用者隨時保持最美麗笑容。這款“魔鏡”能使人更加自信，留住自己最美的笑容。

1 系統(tǒng)設(shè)計思路

本課題智能趣味拍攝系統(tǒng)建立在面部表情識別這一人工智能技術(shù)的基礎(chǔ)上，增加表情參數(shù)分析比對、人機(jī)交互、智能拍攝控制等功能，可實現(xiàn)最佳表情的自動抓拍以及微笑禮儀訓(xùn)練。系統(tǒng)的設(shè)計基于Arduino開源硬件[5]，采用了Face++提供的人臉及微笑識別技術(shù)，通過阿里提供的云服務(wù)以及微信公眾平臺進(jìn)行人機(jī)交互，此系統(tǒng)為一款智能家居設(shè)備，由于融入了“魔鏡”的趣味提示語音，在實用的基礎(chǔ)上兼具趣味性。

2 系統(tǒng)架構(gòu)

“最美魔鏡”系統(tǒng)架構(gòu)如圖1所示，由Arduino Yun微控處理系統(tǒng)、USB攝像頭、USB音響設(shè)備、超聲波距離傳感器、移動智能終端（如手機(jī)）以及服務(wù)器組成。其中，移動智能終端用于發(fā)布用戶指令；服務(wù)器用于接收用戶指令、存儲包括照片在內(nèi)的用戶信息，并向控制器發(fā)出控制信號；USB攝像頭用于拍攝并上傳照片；USB音響設(shè)備用于播放語音提示；Arduino Yun微控處理系統(tǒng)與攝像頭和音響等設(shè)備連接控制其工作狀態(tài)[6]。移動智能終端需要和服務(wù)器進(jìn)行通信連接，可以在智能手機(jī)等移動終端上安裝APP軟件（系統(tǒng)測試階段采用微信公眾平臺測試號），采用無線通信器實現(xiàn)移動設(shè)備與服務(wù)器的連接，使得拍攝系統(tǒng)可以實現(xiàn)人機(jī)交互。簡易搭建的系統(tǒng)實物圖如圖2所示，在鏡子上方安裝USB攝像頭，在鏡子右下角安裝超聲波距離傳感器，而左下角是USB音響以及Arduino Yun主控板。

圖1 “最美魔鏡”系統(tǒng)架構(gòu)組成圖

圖2 “最美魔鏡”簡易系統(tǒng)實物圖

3 系統(tǒng)工作流程

該系統(tǒng)共有三種工作模式，分別是：（1）上傳標(biāo)準(zhǔn)最美微笑照（模式1）；（2）拍攝最美笑臉（模式2）；（3）訓(xùn)練最美笑容（模式3），可以通過手機(jī)微信公眾號（或APP軟件）進(jìn)行模式切換。模式詳細(xì)介紹如下：

模式1：使用者鏡前調(diào)整出最滿意的笑容并上傳，作為標(biāo)準(zhǔn)笑容，用于后期實時圖像對比的參照標(biāo)準(zhǔn)；

模式2：當(dāng)實時圖像與標(biāo)準(zhǔn)笑容的微笑程度誤差在設(shè)定范圍內(nèi)，自動抓拍并存儲照片，播放“魔鏡魔鏡告訴你，你是世上最美的人”等已完成拍攝的語音提示；

模式3：系統(tǒng)將實時圖像與標(biāo)準(zhǔn)笑容的微笑程度及姿態(tài)進(jìn)行對比，通過語音提示，指導(dǎo)使用者調(diào)整姿態(tài)及微笑程度，訓(xùn)練最美笑容。

系統(tǒng)工作流程是：首先，手機(jī)通過微信向云服務(wù)器發(fā)送控制指令；其次，Arduino讀取云服務(wù)器中的控制指令，判斷模式1、模式2抑或模式3。

3.1 模式1

若Arduino判斷指令為模式1，按以下流程工作：

（1）Arduino向攝像頭發(fā)送指令，攝像頭拍照并將照片回傳Arduino；

（2）Arduino控制音箱播放相應(yīng)提示語音；

（3）Arduino調(diào)用距離傳感器測距信息作為標(biāo)準(zhǔn)距離；

（4）Arduino將攝像頭回傳的照片發(fā)送給云服務(wù)器；

（5）云服務(wù)器存儲照片供查詢，并通過調(diào)用Face++接口，獲取人臉的微笑度、有無眼鏡、俯視度、仰視度等標(biāo)準(zhǔn)數(shù)據(jù)，如圖3所示。

圖3 人臉微笑度、有無眼鏡、仰視度、俯視度等參數(shù)的獲取

3.2 模式2

若Arduino判斷指令為模式2，按以下流程工作：

（1） Arduino調(diào)用距離傳感器的距離信息并與標(biāo)準(zhǔn)距離對比；

（2）距離信息不符合設(shè)定范圍要求時，Arduino控制音箱播放預(yù)錄提示語音；

（3）攝像頭定時拍照，并將照片傳給Arduino；

（4）Arduino將照片發(fā)送給云服務(wù)器；

（5）Arduino調(diào)用照片數(shù)據(jù)并與最美標(biāo)準(zhǔn)照數(shù)據(jù)對比，眼鏡、俯視、仰視等參數(shù)不符合標(biāo)準(zhǔn)誤差范圍時，音箱播放提示語音；

（6）有無眼鏡、俯視及微笑度等均符合設(shè)定的標(biāo)準(zhǔn)誤差范圍時，Arduino控制音箱播放相應(yīng)的預(yù)錄提示語音，同時將拍攝照片發(fā)送給云服務(wù)器存儲作為最美照片供查詢。

3.3 模式3

若Arduino判斷指令為模式3，按以下流程工作：

模式3即訓(xùn)練最美笑容。該模式工作流程前面與模式2的（1）～（5）相同，只有（6）有所不同：當(dāng)眼鏡、俯視及微笑度等參數(shù)均符合標(biāo)準(zhǔn)誤差范圍時，Arduino選取預(yù)錄語音并控制音箱播放提示語音，照片不再發(fā)送給云服務(wù)器存儲。

4 系統(tǒng)創(chuàng)建

4.1 微信平臺開發(fā)

本系統(tǒng)申請了微信公眾號（訂閱號/接口測試號），在此平臺上開發(fā)系統(tǒng)控制菜單及照片查看功能，可進(jìn)行人機(jī)交互、轉(zhuǎn)發(fā)指令、查詢最美標(biāo)準(zhǔn)照及實時抓拍的最美照片。

4.2 面部表情識別及分析比對系統(tǒng)的搭建

本系統(tǒng)利用Face++視覺服務(wù)平臺提供的云端API進(jìn)一步開發(fā)而成，F(xiàn)ace++視覺服務(wù)平臺提供人臉檢測、識別及面部分析視覺技術(shù)服務(wù)，人臉檢測與追蹤技術(shù)實現(xiàn)快速、準(zhǔn)確的人像檢測功能，關(guān)鍵點檢測技術(shù)及時精確定位面部的關(guān)鍵區(qū)域位置，微笑分析技術(shù)精確分析圖片或視頻中人物是否在微笑以及相應(yīng)的微笑程度。本系統(tǒng)調(diào)用Face++視覺服務(wù)平臺的面部表情及微笑程度分析結(jié)果，進(jìn)行參數(shù)間的分析比對，設(shè)定比對輸出策略，從而控制系統(tǒng)捕捉最美微笑。

4.3 魔鏡鏡面（視頻采集）搭建

攝像頭的USB直接和Arduino的USB連接搭建拍攝系統(tǒng)，將攝像頭固定于梳妝鏡的合適位置，即搭建了魔鏡鏡面及拍攝部分，實現(xiàn)實時圖像、最美微笑等的視頻采集。

4.4 音響系統(tǒng)搭建

本系統(tǒng)需要進(jìn)行魔鏡提示音頻信號的切換，通過Arduino Yun板載系統(tǒng)，安裝外設(shè)的包文件，并輸入指令即可實現(xiàn)用嵌入式開發(fā)板Arduino Yun控制音響的播放，自動完成魔鏡提示語音信息的播放功能。

4.5 錄音文件預(yù)錄

要實現(xiàn)魔鏡聲音的自動切換，事先要預(yù)錄魔鏡抓拍成功、訓(xùn)練識別最美等情況下的提示語音文件，如“魔鏡魔鏡告訴你，你是世上最美的人”“魔鏡魔鏡告訴你，此時的你最美麗”“魔鏡請你靠靠左”等，以便在魔鏡的各個環(huán)節(jié)中由Arduino Yun自動切換播放。

4.6 測距系統(tǒng)搭建

搭建識別人臉偏移的測距系統(tǒng)可以檢測出人和魔鏡的距離，防止距離太近或太遠(yuǎn)而影響抓拍效果。本系統(tǒng)能識別的人臉偏移特性包括水平（左右）偏移和縱向（前后）偏移，其中水平偏移采用Face++提供的人臉邊框識別，而縱向偏移采用的超聲波距離傳感器，Arduino Yun通過超聲波傳感器可獲取目標(biāo)物的距離。

4.7 系統(tǒng)聯(lián)調(diào)和測試

在系統(tǒng)硬件搭建完畢，各項獨立功能軟件調(diào)試成功后，依次進(jìn)行錄音文件的導(dǎo)入及三種模式的系統(tǒng)功能聯(lián)調(diào)和測試。

5 系統(tǒng)功能及創(chuàng)新性

本課題開發(fā)的基于面部表情分析比對的智能趣味拍攝系統(tǒng)可以實現(xiàn)以下功能：

（1）手機(jī)通過微信公眾平臺實現(xiàn)對魔鏡工作模式的切換控制及最美照片查詢功能；

（2）在上傳最美標(biāo)準(zhǔn)照的模式下，系統(tǒng)拍攝并上傳最美標(biāo)準(zhǔn)照；

（3）在抓拍最美微笑照的模式下，系統(tǒng)對比服務(wù)器中的最美標(biāo)準(zhǔn)照參數(shù)并自動檢測抓拍最美微笑照；

（4）在最美微笑訓(xùn)練的模式下，系統(tǒng)對比服務(wù)器中的最美標(biāo)準(zhǔn)照參數(shù)，通過語音提示，指導(dǎo)使用者訓(xùn)練最美笑容。

本系統(tǒng)兼具智能性、趣味性和創(chuàng)新性，這三方面主要體現(xiàn)在：

（1）創(chuàng)新了一種最佳表情的照片自動抓拍方法，通過“鏡子+攝像頭+微笑度、距離、俯視度、仰視度、有無眼鏡識別比對”，實現(xiàn)照片自動抓拍功能。鏡子可以使人調(diào)整出更完美的姿態(tài)和笑容，微笑度等參數(shù)識別對比可以使攝像頭抓拍出最佳姿態(tài)及笑容。

（2）創(chuàng)新了一種智能微笑訓(xùn)練的方法，通過“鏡子+攝像頭+微笑度、距離、俯視度、仰視度、有無眼鏡識別比對”+“自動語音提示指導(dǎo)”，實現(xiàn)最美笑容姿態(tài)的日常智能訓(xùn)練功能。這些都是普通的手機(jī)、相機(jī)等拍攝系統(tǒng)簡單的微笑拍攝模式不具備的功能。

（3）將照相及禮儀訓(xùn)練功能集成到鏡子上，使人在照相時感覺更好，笑容更美，童話故事里魔鏡的功能在現(xiàn)實生活中得以實現(xiàn)。

6 結(jié)束語

本研究基于Arduino開源硬件，采用Face++提供的人臉及微笑識別技術(shù)，通過服務(wù)器和微信公眾平臺制作出一種可以訓(xùn)練和拍攝最美笑容的智能趣味家居設(shè)備。該系統(tǒng)兼具創(chuàng)新性、實用性及趣味性，可供單人或多人一起使用，用于調(diào)節(jié)個人情緒和活躍氣氛，還可以用于服務(wù)行業(yè)微笑禮儀訓(xùn)練，應(yīng)用前景十分廣闊。

[1]張一清. 顛覆性技術(shù)和社會變革[J]. 中國改革, 2016(04).

[2]王大偉, 周軍, 梅紅巖,等. 人臉表情識別綜述[J]. 計算機(jī)工程與應(yīng)用, 2014(02).

[3]施徐敢, 趙小明, 張石清. 人臉表情識別研究的新進(jìn)展[J]. 實驗室研究與探索, 2014, 33(10): 103-107.

[4]傅栩雨, 葉健東, 王鵬,等. 人臉面部表情識別[J]. 計算機(jī)與網(wǎng)絡(luò), 2015(10): 70-71.

[5]陳呂洲. Arduino程序設(shè)計基礎(chǔ)[M]. 北京: 北京航空航天大學(xué)出版社, 2014.

[6]麥克羅伯茨. Arduino從基礎(chǔ)到實踐[M]. 北京: 電子工業(yè)出版社, 2013.

An Intelligent Camera System based on Analysis and Comparison on Facial Expression

SHEN Shuo-zhi
(Chengdu No.7 High School, Chengdu, Sichuan,610000, China)

An intelligent and enjoyable camera system based on recognition, analysis and comparison on facial expression is put forward, which can be used both for automatic capture of the best beautiful smile, as well as etiquette smile training for facial expression. The design idea, working mode, working process, system architecture and system establishment process are mainly introduced. Based on the Arduino open source hardware, Face++ is adopted for smile face recognition technology, and human-computer interaction is realized through the Alibaba Cloud Computing and Wechat platform. Multiple tests show that such a system is stable and has advantages in practice, enjoyment and innovation, indicating a wide application prospect.

Recognition on Facial Expression; Analysis and Comparison on Facial Expression; The Most Beautiful Magic Mirror; Intelligent Camera System

TP182

A

2095-8412 (2016) 06-1239-04

10.14103/j.issn.2095-8412.2016.06.050

申爍志(1999-)，男，成都七中高中在讀。研究方向：創(chuàng)客智造。

E-mail: 13882266490@163.com