一種運(yùn)用手機(jī)照相機(jī)實(shí)現(xiàn)實(shí)物智能搭配的功能研究

(天津機(jī)電職業(yè)技術(shù)學(xué)院，天津 300350)

一、智能搭配的研究意義

(一)研究現(xiàn)狀

目前大部分手機(jī)照相機(jī)僅僅用于拍照和錄像，而沒有照相機(jī)拍照時(shí)獲取的諸多參數(shù)進(jìn)行優(yōu)化利用，使得手機(jī)照相機(jī)功能的應(yīng)用受到很大限制，未能達(dá)到與現(xiàn)實(shí)生活的完美結(jié)合。

近年來有人提出使用移動(dòng)終端實(shí)現(xiàn)實(shí)物尺寸的測(cè)量，但目前局限于測(cè)量實(shí)物的尺寸，沒有將測(cè)得的實(shí)際物體尺寸應(yīng)用于現(xiàn)實(shí)中，也沒有完成運(yùn)用測(cè)量的結(jié)果對(duì)虛擬圖片的現(xiàn)實(shí)還原以及搭配的功能。目前應(yīng)用于手機(jī)照相機(jī)較多的是一些換裝app,或是美圖軟件，也僅僅實(shí)現(xiàn)了利用預(yù)先設(shè)置好的模型和固定的服飾配飾進(jìn)行簡(jiǎn)單換裝，其展示的也是有限的虛擬搭配，未能應(yīng)用于實(shí)際的場(chǎng)景。最主要的當(dāng)前技術(shù)沒能充分利用手機(jī)照相機(jī)的自身功能和參數(shù)，實(shí)現(xiàn)現(xiàn)實(shí)與虛擬的結(jié)合，導(dǎo)致手機(jī)自帶照相機(jī)的利用率越來越低。

(二)現(xiàn)有技術(shù)在實(shí)際應(yīng)用中存在的問題

現(xiàn)在手機(jī)已經(jīng)成為我們?nèi)粘３鲂斜夭豢缮俚碾S身物品，我們希望手機(jī)能夠最大化的為現(xiàn)實(shí)生活帶來便捷。同樣的，網(wǎng)購也是大家熟知且越來越受歡迎的一種購物方式。但問題是好多網(wǎng)上看好的物品買回來大小或式樣不滿意，這也是廣大網(wǎng)購族的一大困擾。究其原因便是網(wǎng)購的物品不能實(shí)現(xiàn)與實(shí)物的匹配，只能靠人為估計(jì)往往誤差較大。再者，在進(jìn)行裝修時(shí)，各種家具的購買既要考慮尺寸也要考慮風(fēng)格搭配，當(dāng)我們?cè)诩揖叱前l(fā)現(xiàn)喜歡的家具時(shí)又會(huì)擔(dān)心其尺寸是否合適？搭配到家里是否風(fēng)格匹配？這種大件物品也不容易進(jìn)行實(shí)際的搭配。所以，以上的困惑希望我們最常使用的工具——手機(jī)能夠幫我們解決。

二、技術(shù)實(shí)施方案及可行性分析

針對(duì)以上現(xiàn)實(shí)生活中遇到的問題，可以利用手機(jī)自帶照相機(jī)功能來解決。本文提供了一種既可以利用手機(jī)照相機(jī)的拍照功能，有可以充分利用拍照時(shí)生成的一系列參數(shù)，通過利用照相機(jī)的拍照功能及相關(guān)參數(shù)進(jìn)的計(jì)算，實(shí)現(xiàn)對(duì)所拍照實(shí)物或虛擬圖片中物品的優(yōu)化縮放，可準(zhǔn)確的完成實(shí)物圖片的智能搭配。

(一)主要實(shí)現(xiàn)方法

在照相機(jī)拍照界面添加AR存儲(chǔ)按鈕，在照片預(yù)覽界面添加智能導(dǎo)入功能按鈕。用戶使用時(shí)打開照相機(jī)對(duì)被搭配實(shí)物(參照物)進(jìn)行拍照，拍照后通常是照片自動(dòng)存儲(chǔ)到相冊(cè)，當(dāng)使用智能搭配功能時(shí)，需點(diǎn)擊“AR存儲(chǔ)”按鍵，此時(shí)存儲(chǔ)的照片是具有一系列參數(shù)的圖片(如焦距,像距，由成像原理所得物距,成像大小以及經(jīng)計(jì)算得到的實(shí)際拍照物體的實(shí)際尺寸如對(duì)應(yīng)尺寸為長度，等等)。此時(shí)可以得出實(shí)際被搭配實(shí)物尺寸與拍照照片的比例：，為了保障所得系數(shù)的精準(zhǔn)度，可以選在拍攝不同角度多張圖片(例如3張)，分別獲得一個(gè)比例系數(shù)，，此時(shí)利用三組所得系數(shù)經(jīng)過優(yōu)化算法(如最小二乘法，均方根發(fā)等方法)得出最終待搭配物的一個(gè)縮放系數(shù)。

此時(shí)選擇搭配物品可以有兩種方式獲得：一是同樣選擇實(shí)時(shí)拍照并進(jìn)行AR存儲(chǔ)操作獲取，然后進(jìn)行智能搭配，在照相機(jī)預(yù)覽界面選擇“智能導(dǎo)入”按鍵首先選擇被搭配物(參照物)圖片，此時(shí)第一次獲取的需要搭配的物品圖片以及參數(shù)被導(dǎo)入。導(dǎo)入完成第一張圖片后，再次選擇“智能導(dǎo)入”選擇第二次拍照的搭配物品圖片，此時(shí)手機(jī)識(shí)別是二次導(dǎo)入的圖片時(shí)，會(huì)自動(dòng)完成圖片預(yù)處理，并提出二次智能導(dǎo)入圖片的重要信息，同時(shí)會(huì)按照最終被搭配物的縮放系數(shù) 完成自動(dòng)的比例縮放?；竟綖椋?/p>

其中，為待搭配物(參照物)實(shí)際尺寸，可通過成像原理及已知參數(shù)計(jì)算得出

為待搭配物成像顯示大小，可通過屏幕像素點(diǎn)與成像傳感器比例計(jì)算得出

為搭配物的實(shí)際尺寸，看通過參數(shù)計(jì)算得出

另搭配物按照實(shí)物尺寸縮放比例后的成像大小為，則得出導(dǎo)入的搭配物(與被搭配物統(tǒng)一尺寸比例的)圖像尺寸為。

另一種獲取搭配物的方法是從網(wǎng)購圖片中找到適宜的物件截圖保存，在照相機(jī)預(yù)覽界面選擇“智能導(dǎo)入”該截圖圖片時(shí)同樣進(jìn)行圖片預(yù)處理提取重要信息，此時(shí)導(dǎo)入的照片不存在參數(shù)信息，所以可通過雙擊導(dǎo)入的圖片進(jìn)入實(shí)際參數(shù)輸入界面，這樣便可以對(duì)網(wǎng)購中的物品進(jìn)行實(shí)際尺寸或參數(shù)的設(shè)置，設(shè)置完成后點(diǎn)“完成”，此時(shí)手機(jī)處理器同樣可以根據(jù)讀取到的搭配物實(shí)際尺寸與待搭配物縮放系數(shù)進(jìn)行計(jì)算，得出二次導(dǎo)入的截圖圖片經(jīng)實(shí)際縮放后的顯示尺寸，并自動(dòng)進(jìn)行圖片大小的調(diào)整，完成待搭配物與導(dǎo)入的搭配物圖片實(shí)現(xiàn)同一比例的縮放，最終通過圖片的處理實(shí)現(xiàn)實(shí)物間的智能搭配功能。

具體流程圖如下：

圖1 手機(jī)照相機(jī)完成實(shí)物智能搭配流程圖

圖1表示本文示例性實(shí)施案例的圖像顯示方法的流程圖。

步驟1中，顯示參照物的圖像，并提取所述參照物的顯示參數(shù)。通過對(duì)參照物進(jìn)行拍攝來獲取該參照物的圖像以及參照物的顯示參數(shù)，并將參照物的顯示參數(shù)插入到參照物的圖像中。例如，可基于拍攝該參照物時(shí)的拍攝參數(shù)來產(chǎn)生該參照物的顯示參數(shù)，也就是說，參照物的圖像所攜帶的顯示參數(shù)可基于對(duì)參照物進(jìn)行拍攝時(shí)的拍攝參數(shù)而被確定。

步驟2中，獲取搭配物件即目標(biāo)對(duì)象的圖像。獲取目標(biāo)對(duì)象的圖像的步驟可包括：在原始圖像上標(biāo)記關(guān)于該目標(biāo)對(duì)象的區(qū)域，截取所述區(qū)域的圖像，并將截取的所述區(qū)域的圖像作為目標(biāo)對(duì)象的圖像。即，從原始圖像中去除背景部分，僅保留目標(biāo)對(duì)象的區(qū)域。這里，原始圖像可為對(duì)目標(biāo)對(duì)象進(jìn)行拍攝獲得的圖像或者從網(wǎng)絡(luò)(或電子終端本地)獲取的關(guān)于目標(biāo)對(duì)象的圖像。相應(yīng)地，參照物的圖像可以是指去除背景部分僅保留參照物的區(qū)域的圖像，也可以是參照物的原始圖像。

步驟3中，基于所述參照物的顯示參數(shù)確定所述目標(biāo)對(duì)象的成像尺寸。當(dāng)所述參照物的顯示參數(shù)包括所述參照物的顯示比例系數(shù)時(shí)，可基于參照物的顯示比例系數(shù)來確定目標(biāo)對(duì)象的成像尺寸。具體說來，基于所述參照物的顯示比例系數(shù)確定所述目標(biāo)對(duì)象的成像尺寸的步驟可包括：確定目標(biāo)對(duì)象的實(shí)際尺寸，根據(jù)參照物的顯示比例系數(shù)和目標(biāo)對(duì)象的實(shí)際尺寸確定目標(biāo)對(duì)象的成像尺寸。例如，目標(biāo)對(duì)象的成像尺寸為目標(biāo)對(duì)象的實(shí)際尺寸與參照物的顯示比例系數(shù)的商。

步驟4中，在所述參照物的圖像上按照所述目標(biāo)對(duì)象的成像尺寸顯示所述目標(biāo)對(duì)象的圖像。根據(jù)本文示例性實(shí)施例的所述圖像顯示方法可還包括：響應(yīng)于對(duì)目標(biāo)對(duì)象的圖像的拖拽操作，改變目標(biāo)對(duì)象的圖像在參照物的圖像上的顯示位置。例如，還可在確定目標(biāo)對(duì)象的圖像在參照物的圖像上的顯示位置之后，輸出目標(biāo)對(duì)象和參照物的合成效果圖像，以供用戶進(jìn)行參考。

(二)應(yīng)用場(chǎng)景

本文以智能家裝為例說明：以參照物為房間、目標(biāo)對(duì)象為沙發(fā)為例來進(jìn)行介紹。首先進(jìn)入電子終端的拍攝界面，并選擇AR識(shí)物模式，多次拍攝房間各個(gè)角度的圖像用來獲得房間的精確尺寸，最終通過優(yōu)化算法確定每面墻的尺寸，保存房間的圖像。此時(shí)，房間的圖像中包含了拍攝參數(shù)、房間的顯示比例系數(shù)等信息。以一面墻的尺寸為例，比如客廳中主墻(參照物)尺寸為長5米、高2.7米。在顯示的房間的圖像中，可將長5米的墻縮放至5厘米進(jìn)行顯示，此時(shí)顯示比例系數(shù)η可為5米/5厘米=100。

此外，可在家具店對(duì)沙發(fā)進(jìn)行拍攝來自動(dòng)確定沙發(fā)的實(shí)際尺寸，也可從網(wǎng)絡(luò)購物平臺(tái)獲得沙發(fā)的圖像和實(shí)際尺寸，然后在后續(xù)圖像合成過程中手動(dòng)添加沙發(fā)，沙發(fā)的圖像中存儲(chǔ)了沙發(fā)的實(shí)際尺寸，此時(shí)在圖像合成過程中可從沙發(fā)的圖像中提取沙發(fā)的實(shí)際尺寸。

在電子終端的屏幕顯示房間(參照物)的圖像，并基于對(duì)顯示的房間的圖像的快捷菜單中的“添加AR識(shí)物”選項(xiàng)的選擇操作，進(jìn)入用于選擇目標(biāo)對(duì)象的圖像的界面，可根據(jù)用戶的操作(如對(duì)“相冊(cè)”選項(xiàng)的選擇操作)從該界面(此時(shí),界面中顯示電子終端的相冊(cè)中存儲(chǔ)的圖像的縮略圖)中選擇一張圖像作為目標(biāo)對(duì)象(如沙發(fā))的圖像，還可根據(jù)用戶的操作(如對(duì)“相機(jī)”選項(xiàng)的選擇操作)控制電子終端進(jìn)入拍攝界面以拍攝目標(biāo)對(duì)象的圖像。當(dāng)獲取了目標(biāo)對(duì)象的原始圖像(拍攝的目標(biāo)對(duì)象的圖像/從相冊(cè)中選中的目標(biāo)對(duì)象的圖像，如圖2)之后，可控制電子終端進(jìn)入目標(biāo)對(duì)象的圖像的編輯界面，在該編輯界面上根據(jù)用戶的操作來標(biāo)記關(guān)于目標(biāo)對(duì)象的區(qū)域，將截取的所述區(qū)域的圖像作為目標(biāo)對(duì)象的圖像，基于房間的顯示比例系數(shù)確定沙發(fā)的成像尺寸(通過計(jì)算得到沙發(fā)在房間中的尺寸應(yīng)該是長：1.57米/100=1.57厘米，寬：0.59米/100=0.59厘米,高0.71米/100=0.71厘米)，如圖3所示，并在房間的圖像上以確定的成像尺寸來顯示沙發(fā)的圖像。此時(shí)，用戶可以手動(dòng)旋轉(zhuǎn)及調(diào)整沙發(fā)在房間中的位置、方向等，并呈現(xiàn)房間與沙發(fā)的合成效果圖，如圖4。用戶可以直觀的看到買到該家具后放在家中的實(shí)際效果，然后可以提前判斷該家具是否符合自己家的裝修風(fēng)格等。

圖2 沙發(fā)實(shí)體圖

圖3 沙發(fā)詳細(xì)尺寸圖

圖4 沙發(fā)被添加AR實(shí)景中效果圖

圖2示出根據(jù)本文示例性實(shí)施例的在電子終端通過拍攝來獲取目標(biāo)對(duì)象的實(shí)際尺寸的示例圖。

圖3示出根據(jù)本文示例性實(shí)施例，依據(jù)參照物房間的尺寸根據(jù)比例系數(shù)從而獲取目標(biāo)對(duì)象的抽象尺寸的示例圖。

圖4示出根據(jù)本文示例實(shí)施例的電子終端的拍攝界面，在該拍攝界面中可新增“AR識(shí)物”選項(xiàng)，當(dāng)接收到用戶對(duì)該“AR識(shí)物”選項(xiàng)的選擇操作并進(jìn)行拍攝時(shí)，將拍攝圖像時(shí)的拍攝參數(shù)和/或被攝對(duì)象(可指目標(biāo)對(duì)象/參照物，如圖中所示沙發(fā))的顯示參數(shù)(和/或被攝對(duì)象的實(shí)際尺寸)插入到被攝對(duì)象的圖像中一同存儲(chǔ)。即，基于“AR識(shí)物”功能所拍攝的圖像是攜帶了拍攝參數(shù)和/或被攝對(duì)象的顯示參數(shù)(和/或被攝對(duì)象的實(shí)際尺寸)的圖像。

三、小結(jié)

針對(duì)現(xiàn)在移動(dòng)終端自身照相機(jī)功能單一，利用率較低等缺點(diǎn)。同時(shí)，考慮目前網(wǎng)絡(luò)購物、便捷家裝的興起以及移動(dòng)終端的普及，使用手機(jī)AR功能已經(jīng)是緊跟潮流的迫切需求。本文基于自帶照相機(jī)的基礎(chǔ)上添加“AR識(shí)物”和“智能導(dǎo)入”等功能，在原有拍照存儲(chǔ)的同時(shí)，可以將拍照的識(shí)物照片以及參數(shù)進(jìn)行AR保存，同時(shí)優(yōu)化計(jì)算其縮放比例，從而可以將現(xiàn)實(shí)生活中實(shí)物通過拍或智能導(dǎo)入的方式實(shí)現(xiàn)等比例縮放并自動(dòng)匹配。這樣，不但可以擴(kuò)展手機(jī)照相機(jī)的功能，還可以增強(qiáng)手機(jī)在現(xiàn)實(shí)生活中的利用價(jià)值，方便快捷，可大大提高用戶體驗(yàn)感和實(shí)用性。