基于Android的智能化拍照姿勢(shì)推薦軟件

水蓮 梅玲 何帆

摘 要：本文提出并開(kāi)發(fā)基于Android的智能化拍照軟件“美姿”APP，研究專(zhuān)業(yè)攝影圖像并進(jìn)行分類(lèi)，采用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建專(zhuān)業(yè)拍照姿勢(shì)數(shù)據(jù)集，實(shí)現(xiàn)了基于用戶(hù)歷史偏好的標(biāo)簽化姿勢(shì)推薦與構(gòu)圖推薦。

關(guān)鍵詞：姿勢(shì)推薦;深度學(xué)習(xí);Android相機(jī)

中圖分類(lèi)號(hào)：TG659文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1003-5168（2020）20-0048-03

Abstract： This paper proposed and developed an Android-based intelligent photography software "Meizi" APP， studied and classified professional photographic images， used convolutional neural networks to construct professional photographic pose data sets， and realized tagging pose recommendation and composition recommendation based on users' historical preferences.

Keywords： posture recommendation;deep learning;Android camera

智能手機(jī)是目前最流行的拍照設(shè)備，其攝像頭像素越來(lái)越高，功能越發(fā)強(qiáng)大，人們更加青睞使用手機(jī)完成個(gè)人攝影。但是，很多用戶(hù)拍照時(shí)存在不會(huì)擺姿勢(shì)的問(wèn)題，以至于拍出的照片視覺(jué)效果不好。很多手機(jī)拍照軟件提供了濾鏡、貼紙、美顏等功能來(lái)解決照片美化問(wèn)題，但拍照姿勢(shì)的不足是后期難以修正的，嚴(yán)重影響照片質(zhì)量[1]。

通過(guò)用戶(hù)調(diào)研與分析，筆者發(fā)現(xiàn)，一個(gè)較好的姿勢(shì)推薦APP應(yīng)該滿(mǎn)足如下需求：首先，由于姿勢(shì)庫(kù)中姿勢(shì)種類(lèi)是復(fù)雜繁多的，其應(yīng)具備自動(dòng)更新并為用戶(hù)推薦受歡迎的姿勢(shì)模板的功能;其次，姿勢(shì)界面展示應(yīng)該是直觀的、分類(lèi)清晰的，用戶(hù)能夠便捷地選擇和使用模板;另外，由于照片姿勢(shì)選擇是高度主觀的，為用戶(hù)提供的模板應(yīng)考慮個(gè)性化的姿勢(shì)偏好。“美姿”APP能源源不斷地為用戶(hù)提供較為專(zhuān)業(yè)的、受歡迎的、多元的、高質(zhì)量的拍照姿勢(shì)，幫用戶(hù)解決拍照姿勢(shì)匱乏等問(wèn)題。

1 系統(tǒng)方案設(shè)計(jì)

1.1 總體架構(gòu)

本文提出的“美姿”APP總體架構(gòu)設(shè)計(jì)如圖1所示。前期通過(guò)對(duì)大量人物攝影圖片的姿勢(shì)特點(diǎn)和照片構(gòu)圖特點(diǎn)相關(guān)攝影文獻(xiàn)的研究，總結(jié)出人物攝影最常用的六種姿勢(shì)和適用于不同場(chǎng)景的構(gòu)圖類(lèi)型。通過(guò)Python爬取圖片，調(diào)用卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)模型自動(dòng)對(duì)圖片進(jìn)行分類(lèi)，利用OpenPose繪制人體姿勢(shì)線(xiàn)條的流程，定期更新姿勢(shì)數(shù)據(jù)集，為用戶(hù)提供更豐富的拍照姿勢(shì)?！懊雷恕盇PP通過(guò)構(gòu)圖與拍照姿勢(shì)的標(biāo)簽分類(lèi)、鏡頭識(shí)別拍攝人物、記錄用戶(hù)歷史偏好等功能，實(shí)現(xiàn)為用戶(hù)推薦受歡迎的、適宜的、分類(lèi)清晰的拍照姿勢(shì)和符合用戶(hù)個(gè)性化傾向的姿勢(shì)模板[2-3]。

1.2 姿勢(shì)分類(lèi)

不同的場(chǎng)景適合不同的拍照姿勢(shì)。對(duì)人物拍照姿勢(shì)進(jìn)行歸類(lèi)且分析不同姿勢(shì)擺拍的特點(diǎn)，可以幫助用戶(hù)提高拍照效率。為方便用戶(hù)查找適用于不同人數(shù)、不同種類(lèi)的姿勢(shì)，“美姿”APP中的姿勢(shì)采用分級(jí)分類(lèi)設(shè)置。姿勢(shì)的類(lèi)別分為兩級(jí)，第一級(jí)根據(jù)人物數(shù)量進(jìn)行分類(lèi)，分為單人、雙人和多人;第二級(jí)根據(jù)姿勢(shì)進(jìn)行分類(lèi)，分為站姿、坐姿、走姿、躺姿、趴姿和跳姿。用戶(hù)通過(guò)選擇一級(jí)和二級(jí)類(lèi)別，將得到不同人數(shù)的具體姿勢(shì)模板。

1.3 構(gòu)圖分類(lèi)

構(gòu)圖可以將照片中的人或景物加以強(qiáng)調(diào)、突出，提升畫(huà)面的美感，增強(qiáng)照片的表現(xiàn)力。通過(guò)研究專(zhuān)業(yè)攝影構(gòu)圖，“美姿”APP為用戶(hù)提供的構(gòu)圖分類(lèi)有：首先按照攝影對(duì)象劃分為人像、風(fēng)景、建筑、美食四種，然后對(duì)每種構(gòu)圖進(jìn)行細(xì)分。“美姿”APP還為用戶(hù)提供了最常用的幾種構(gòu)圖方式，包括對(duì)稱(chēng)、對(duì)角線(xiàn)、九宮格和水平構(gòu)圖。

1.4 基于卷積神經(jīng)網(wǎng)絡(luò)的人物圖片分類(lèi)

卷積神經(jīng)網(wǎng)絡(luò)是一種具有深度結(jié)構(gòu)的前反饋神經(jīng)網(wǎng)絡(luò)，能夠?qū)?shù)據(jù)進(jìn)行有效分類(lèi)的神經(jīng)網(wǎng)絡(luò)算法?；诰矸e神經(jīng)網(wǎng)絡(luò)的算法有很多，人體姿勢(shì)分類(lèi)可借助卷積神經(jīng)網(wǎng)絡(luò)算法自動(dòng)學(xué)習(xí)的能力，實(shí)現(xiàn)圖像中人體姿勢(shì)的特征提取。

本文基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)，該卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。AlexNet有8層網(wǎng)絡(luò)結(jié)構(gòu)，由5個(gè)卷積層和3個(gè)全連接層組成。其中，每一個(gè)卷積層都包含ReLU激活函數(shù)，加速網(wǎng)絡(luò)的收斂速度，第一、二卷積層還包含歸一化LRN，增加模型的泛化能力，第一、二、五卷積層后都跟有池化層（最大池化層），第三、四卷積層后未跟池化層。后三層全連接層將二維特征向量壓縮成一維向量，其中，第六、七全連接層包含ReLU激活函數(shù)，解決梯度消失的問(wèn)題，同時(shí)包含Droupout正則化，避免模型過(guò)擬合，第八層全連接層用來(lái)分類(lèi)。

采用上述卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖片進(jìn)行特征提取，通過(guò)自己構(gòu)建的數(shù)據(jù)集訓(xùn)練模型。本文卷積網(wǎng)絡(luò)輸入的圖像大小為224×224的RGB彩色圖像，卷積操作采用11×11、5×5、3×3大小的卷積核，步長(zhǎng)為4和1，卷積操作后用ReLU激活函數(shù)得到卷積層的輸出。池化層均采用3×3的最大池化，步長(zhǎng)設(shè)置為2，然后接3個(gè)全連接層，結(jié)合SoftMax分類(lèi)函數(shù)對(duì)圖片進(jìn)行分類(lèi)。

1.5 姿勢(shì)推薦

APP的結(jié)構(gòu)流程如圖3所示。服務(wù)器端自動(dòng)獲取構(gòu)圖與姿勢(shì)資源庫(kù)中的圖片信息并存入數(shù)據(jù)庫(kù)，當(dāng)用戶(hù)進(jìn)入APP時(shí)，APP自動(dòng)獲取數(shù)據(jù)庫(kù)中的構(gòu)圖與姿勢(shì)模板信息和存儲(chǔ)在本地歷史偏好文件中的用戶(hù)偏好與歷史模板數(shù)據(jù)。根據(jù)用戶(hù)偏好過(guò)濾構(gòu)圖與姿勢(shì)模板信息，以標(biāo)簽化構(gòu)圖姿勢(shì)模板、實(shí)時(shí)姿勢(shì)推薦的方式展示給用戶(hù);根據(jù)模板的使用次數(shù)過(guò)濾歷史模板數(shù)據(jù)，以歷史偏好展示給用戶(hù)，用戶(hù)可根據(jù)個(gè)人喜好進(jìn)行選擇。用戶(hù)每次拍照完畢后，APP自動(dòng)存儲(chǔ)此次拍照的構(gòu)圖與姿勢(shì)使用情況，并自動(dòng)更新服務(wù)器端數(shù)據(jù)庫(kù)中的模板使用次數(shù)。用戶(hù)可根據(jù)個(gè)人喜好對(duì)照片添加濾鏡。當(dāng)用戶(hù)退出拍照時(shí)，用戶(hù)的手機(jī)內(nèi)部存儲(chǔ)中以文件的方式存儲(chǔ)此次的構(gòu)圖與姿勢(shì)數(shù)據(jù)，并更新用戶(hù)歷史偏好。

2 基于Androd的APP系統(tǒng)開(kāi)發(fā)實(shí)現(xiàn)

“美姿”APP的實(shí)現(xiàn)綜合運(yùn)用網(wǎng)絡(luò)數(shù)據(jù)爬取、計(jì)算機(jī)圖形圖像處理、機(jī)器學(xué)習(xí)等技術(shù)，構(gòu)建拍照姿勢(shì)數(shù)據(jù)集，解決拍照姿勢(shì)圖像識(shí)別、人物拍照姿勢(shì)自動(dòng)學(xué)習(xí)及分類(lèi)等問(wèn)題，為智能化拍照姿勢(shì)推薦APP提供資源庫(kù)基礎(chǔ)。在APP的研發(fā)中，通過(guò)獲取服務(wù)器端資源庫(kù)信息，結(jié)合Android自定義相機(jī)、Palette庫(kù)、GPUImage圖像處理庫(kù)等技術(shù)，實(shí)現(xiàn)基于用戶(hù)歷史偏好的姿勢(shì)推薦、構(gòu)圖推薦及濾鏡添加等功能。“美姿”APP包含以下功能：標(biāo)簽化選擇模板、實(shí)時(shí)姿勢(shì)推薦、歷史偏好展示、濾鏡添加。

2.1 標(biāo)簽化選擇模板功能

標(biāo)簽化選擇的標(biāo)簽信息存儲(chǔ)在Android端，待用戶(hù)每次訪問(wèn)標(biāo)簽化模板時(shí)，通過(guò)與來(lái)自服務(wù)器端數(shù)據(jù)庫(kù)的信息進(jìn)行匹配，得到不同類(lèi)別的姿勢(shì)和構(gòu)圖。標(biāo)簽化展示模板是通過(guò)TabLayout、Fragment和ViewPager組件實(shí)現(xiàn)，用戶(hù)點(diǎn)擊不同的標(biāo)簽可查詢(xún)不同種類(lèi)的構(gòu)圖與姿勢(shì)，滑動(dòng)模板圖片可切換模板，點(diǎn)擊即可使用該模板。

2.2 實(shí)時(shí)姿勢(shì)推薦功能

實(shí)時(shí)姿勢(shì)推薦是通過(guò)Android相機(jī)人臉識(shí)別技術(shù)，實(shí)時(shí)檢測(cè)人臉數(shù)量，獲得結(jié)果后與數(shù)據(jù)庫(kù)信息進(jìn)行匹配，從而給用戶(hù)推薦數(shù)據(jù)庫(kù)中適合該人數(shù)的、較受歡迎的模板并展示在拍攝界面以供參考。姿勢(shì)將以橫向可滑動(dòng)的縮略圖展示，用戶(hù)點(diǎn)擊可預(yù)覽模板。實(shí)時(shí)姿勢(shì)推薦的效果圖如圖4所示。

2.3 歷史偏好展示

用戶(hù)的歷史偏好保存在本地文件中，通過(guò)記錄用戶(hù)每次的構(gòu)圖與姿勢(shì)使用情況，更新文件中的歷史偏好和模板使用詳情。當(dāng)用戶(hù)進(jìn)入拍照界面時(shí)，自動(dòng)從文件中讀取歷史偏好信息并根據(jù)用戶(hù)選用的功能對(duì)模板數(shù)據(jù)進(jìn)行篩選，展示在對(duì)應(yīng)界面。界面為用戶(hù)設(shè)置了歷史選擇模塊，該模板匯總了歷史模板信息，用戶(hù)可直接查看歷史選擇并進(jìn)行使用。

2.4 濾鏡添加功能

APP提供了兩種濾鏡：GPUImage濾鏡和Palette濾鏡。GPUImage濾鏡的作用是基于GPUImage圖像處理庫(kù)為靜態(tài)圖像添加濾鏡，用戶(hù)通過(guò)使用該濾鏡可為照片添加如伽馬射線(xiàn)、3×3卷積效果、疊加和白平衡等76種濾鏡效果。Palette濾鏡借助Palette庫(kù)獲取靜態(tài)圖片中畫(huà)面的不同顏色，與原圖疊加實(shí)現(xiàn)濾鏡效果，濾鏡添加的效果圖如圖5所示。

3 結(jié)論

本文對(duì)人像姿勢(shì)和照片構(gòu)圖進(jìn)行了分類(lèi)研究，利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了人物姿勢(shì)圖片的自動(dòng)分類(lèi)，并借助OpenPose對(duì)分類(lèi)后的圖片進(jìn)行人體姿勢(shì)線(xiàn)條描繪，最終得到拍照姿勢(shì)數(shù)據(jù)集，姿勢(shì)數(shù)據(jù)集和構(gòu)圖數(shù)據(jù)集共同組成了資源庫(kù)。通過(guò)獲取資源庫(kù)圖片信息，本設(shè)計(jì)成功搭建了服務(wù)器端數(shù)據(jù)庫(kù)并實(shí)現(xiàn)了一款智能化姿勢(shì)推薦APP，該APP具有基于用戶(hù)歷史偏好的姿勢(shì)推薦、構(gòu)圖推薦及濾鏡添加功能，可幫助用戶(hù)拍出滿(mǎn)意的高質(zhì)量照片。

參考文獻(xiàn)：

[1]張明，于佳弘，劉博，等.一種基于深度學(xué)習(xí)的拍攝構(gòu)圖方法和系統(tǒng)：中國(guó)，CN107705307A[P].2018-02-16.

[2]艾略特·西格爾.攝影師和模特的終極擺姿圣經(jīng)[M].北京：人民郵電出版社，2015.

[3]陳星宏.基于3D骨架的肢體動(dòng)作識(shí)別研究[D].成都：電子科技大學(xué)，2019.