云圖像識別技術(shù)在冰箱上的應(yīng)用

程春明　王波　方波

1、前言

本文主要從攝像頭組件的結(jié)構(gòu)、安裝方式，攝像頭組件需要外圍的相關(guān)硬件支撐，以及后臺軟件如何支持應(yīng)用等三個方面，對云圖像識別技術(shù)如何在冰箱上應(yīng)用進行了相關(guān)闡述和說明。云圖像識別技術(shù)可以幫助用戶，通過智能終端APP軟件實現(xiàn)遠程查看食品存儲實景圖片，獲取含有保質(zhì)期信息（含過期提示）的食品清單列表，從而做出對冰箱儲存管理的相應(yīng)決策，使冰箱不僅是食品的儲存箱，也是家庭（成員）的食品及健康管理終端。智能家居作為一個新興產(chǎn)業(yè)，處在一個導(dǎo)入期與成長期的臨界點，隨著電信網(wǎng)、互聯(lián)網(wǎng)、電視網(wǎng)的三網(wǎng)融合，電視、手機、PAD、電腦“四屏合一”，以及大數(shù)據(jù)、云數(shù)據(jù)等技術(shù)的出現(xiàn)，大大促進了智能家電的發(fā)展。正因如此，國內(nèi)外一大批優(yōu)秀的智能家電品牌，紛紛涉足智能家電的設(shè)計開發(fā)。家用電器中只有冰箱是“永不斷電”的設(shè)備，自然成為智能家電中最合適的載體。冰箱的用戶群體廣，使用頻率高，冰箱的智能化必然成為智能家電的焦點。關(guān)于冰箱食品管理的技術(shù)也就應(yīng)之而生。智能冰箱是通過攝像頭定時采集冰箱內(nèi)的圖像，使用云圖像識別技術(shù)，自動生成食品列表清單，并據(jù)此列表中的記錄信息對食品保鮮期進行分級管理，并適時提醒用戶保質(zhì)期限，還可以根據(jù)家庭成員來定制菜譜、推薦食品，以及進行比價之后網(wǎng)購等等衍生的功能，從而實現(xiàn)冰箱對家庭（成員）的食品及健康管理。

2、技術(shù)背景及應(yīng)用前景

技術(shù)背景

隨著硬盤容量跨過了MB，GB數(shù)量級，轉(zhuǎn)眼已進入TB級時代，硬件儲存空間不斷增大，為海量的數(shù)據(jù)（如圖片）提供了硬件支撐平臺，進入了大數(shù)據(jù)時代，再加上圖像的去噪、增強、復(fù)原、分割、提取特征等處理的方法和技術(shù)也逐漸成熟，使得圖像識別的準確性進一步提高。許多科技巨頭，包括國外的谷歌，臉譜以及國內(nèi)的百度，也開始涉足圖像識別領(lǐng)域。硬件及軟件技術(shù)的逐漸成熟，促進了云圖像識別技術(shù)在冰箱上的應(yīng)用。

應(yīng)用前景描述

隨著云圖像識別技術(shù)的不斷進步，可以通過APP軟件來時實時監(jiān)控冰箱，讓出門在外的用戶對家里的冰箱了如指掌。據(jù)奧維咨詢報告統(tǒng)計，一般城鎮(zhèn)家庭平均每年由于冰箱內(nèi)食品過期扔掉或者勉強吃掉的食品金額是2372元，幾乎等于一臺三門冰箱的金額。而具有云圖像識別技術(shù)的冰箱，可以根據(jù)食品保鮮數(shù)據(jù)庫，自動將食品保鮮期進行分級管理，提醒用戶食品的保質(zhì)期，避免過期和浪費。通過食品管理的功能，還可以根據(jù)家族成員的食譜偏好，通過比價的方式，來推薦周邊質(zhì)優(yōu)價廉的食材，實現(xiàn)網(wǎng)上購物。隨著人們生活水平的提高和對健康養(yǎng)生的不斷追求，采用云圖像識別技術(shù)的智能冰箱將會成為大眾消費的主流和首選。目前，幾大家電巨頭都紛紛開發(fā)相關(guān)的智能產(chǎn)品來搶占市場。

3、攝像裝置結(jié)構(gòu)方案

為了實現(xiàn)云圖像識別技術(shù)，需要在箱體內(nèi)部（圖1）（門體合適位置也可以，本文僅以箱體為例）合適的位置布置攝像裝置（圖2），為了全方位或無死角效果。根據(jù)箱體大小，一般需要布置8-12個攝像頭，確保全方位拍照無死角。

冰箱內(nèi)置攝像裝置，包括固定部和攝像部，固定部包括夾緊外蓋及嵌入冰箱內(nèi)的預(yù)埋盒，預(yù)埋盒一端開口且開口朝外，夾緊外蓋可拆卸的設(shè)于預(yù)埋盒的開口端外；攝像部（圖3）包括安裝板以及設(shè)于安裝板上的PCB板、鏡頭組件、芯片組件及接線端子，接線端子通過通訊信號線與冰箱的控制芯片連接；夾緊外蓋內(nèi)側(cè)設(shè)有卡住所述安裝板的卡槽，安裝板通過卡槽卡在夾緊外蓋的內(nèi)側(cè)上，夾緊外蓋上在對應(yīng)所述鏡頭組件的位置處開有鏡片安裝孔，鏡片安裝孔上設(shè)置有透明的鏡片。

本冰箱內(nèi)置攝像裝置，結(jié)構(gòu)簡單，制造工藝簡便，其固定部采用卡爪卡槽配合設(shè)計，無螺釘固定，方便安裝和拆卸，綠色設(shè)計；其在夾緊外蓋上對應(yīng)鏡頭位置處設(shè)置透明的鏡片，起到了很好的防水防塵作用，保證了攝像效果。

4、硬件架構(gòu)方案

云圖像識別模塊，硬件系統(tǒng)主要包括主控板、顯示板、顯示屏、觸摸屏、攝像頭、USB HUB板及線束等，如圖4所示。主控板：主要用于完成冰箱制冷的基本控制，以及為冰箱上個智能模塊提供電源，也是云圖像識別模塊的控制大腦。顯示板：采用telechip主芯片，android操作系統(tǒng)。顯示板用于驅(qū)動顯示屏、觸摸屏、攝像頭、喇叭等器件，同時內(nèi)置智能模塊應(yīng)用程序，根據(jù)要求對攝像模塊下發(fā)指令。顯示屏：采用10.1英寸顯示屏，分辨率為1024*600，可以顯示相關(guān)操作界面和指令。觸摸屏：采用10.1英寸電容觸摸屏，貼附在玻璃面板上，具有良好的觸摸靈敏度，可實現(xiàn)滑動、放大和縮小等模擬用戶操作。攝像頭：理論上越多越好，可以保證全方位的拍攝角度和效果，無死角。安裝的位置和角度需要前期試驗驗證。USB HUB板：由于攝像頭數(shù)量較多，相關(guān)的硬件端口不夠，需要增加連接攝像頭的選通設(shè)備。食品拍照系統(tǒng)采用對攝像頭輪流上電加載的方式進行拍照。HUB板采用總線與顯示驅(qū)動板相連。

當(dāng)用戶需要手動啟動圖像識別時，只需點擊顯示屏上圖像識別指令，顯示板會啟動食品攝像功能，并將拍照指令發(fā)給HUB板，由HUB板依次調(diào)用攝像頭，并將采集的圖片依次傳給顯示板，通過顯示板WiFi模塊將圖片上傳云端服務(wù)器，同時會在顯示屏中依次顯示所拍圖片。以上云圖像識別除了可以在冰箱上進行操作外，還可以通過移動終端，如手機，平板等移動終端上使用APP軟件進行同樣的操作。

5、軟件架構(gòu)方案

云圖像識別不僅與攝像模塊的結(jié)構(gòu)、安裝位置、以及外圍硬件相關(guān)，也與相關(guān)的圖像識別軟件、支撐平臺應(yīng)用軟件密切相連。智能冰箱有一個強大的云平臺系統(tǒng)，此系統(tǒng)能自動升級及維護；并且具有自我學(xué)習(xí)及優(yōu)化的能力。除了云平臺，還要有個大型的數(shù)據(jù)庫，讓系統(tǒng)自學(xué)習(xí)，持續(xù)提高圖像識別率。每次拍照后，冰箱啟動圖像識別流程（圖5），云平臺利用圖像識別算法，將采集到的食品圖像信息與云端食品圖像數(shù)據(jù)庫進行對比匹配，得出匹配度最優(yōu)項，并反饋給系統(tǒng)，然后錄入數(shù)據(jù)庫，形成食品相關(guān)信息的列表文件。用戶可以通過冰箱顯示屏或移動終端來查看相關(guān)信息。

云圖像識別技術(shù)的智能冰箱，優(yōu)勢主要體現(xiàn)在：用戶不用開門，就可以通過手機、PAD等移動終端的APP軟件中遠程查看功能，通過實景圖片（圖6）可以看到儲存食品的種類，數(shù)量，位置等等，一目了然。用戶不僅可以查看實景圖片，還可以查看自動生成的食品列表（圖7），

為是否需要增添購買食物提供有效依據(jù)，通過食品列表，冰箱溫控中心（圖8）會智能判斷重要食物的最佳儲存溫度，會自動判斷食品儲存的位置是否合理，及時糾正您的錯誤。如肉類、乳類等食品被放到冷藏室后，會提示用戶放置在冷凍室比較合理。

攝像頭根據(jù)一定的規(guī)則，會定時采集冰箱內(nèi)的圖像，通過云圖像識別技術(shù)，將歷史圖像比對之后，智能冰箱會自動生成食品列表清單（圖9），包括食品名稱、數(shù)量、保質(zhì)期、存放時間等信息；并據(jù)此列表中的記錄信息對食品保鮮期進行分級管理，從而以三種顏色來提示用戶食品的保鮮狀態(tài)。一目了然。在臨過期前，會及時提醒趕快食用，最大程度減少因為食品超出保質(zhì)期造成的浪費及對家人健康的影響。

當(dāng)用戶需要希望改善下美食，冰箱會根據(jù)家庭成員的體質(zhì)特征和飲食偏好，自動生成菜譜（圖10），并自動配菜，然后調(diào)用云圖像識別功能，視察冰箱內(nèi)食材是否短缺，根據(jù)需要自動生成購物清單，再根據(jù)冰箱的“自動比價”功能，搜索你所在位置附近超市、批發(fā)市場里食材的價格，為用戶推薦物美價廉的食材，等待確認后就可以下發(fā)訂單，實現(xiàn)網(wǎng)購。

由此可見，擁有云圖像識別技術(shù)的智能冰箱不再是是簡單功能的儲藏箱，同時也是家庭（成員）的食品及健康管理終端，隨著新技術(shù)的不斷進步，隨著用戶需求的不斷提升，可以延伸拓展更多的功能應(yīng)用。

6、不足

囿于目前硬件水平，再加上軟件識別技術(shù)的精準度，導(dǎo)致目前識別率，識別速度都不是很高，主要體現(xiàn)在：1、攝像頭不能拍攝的地方：（1）冷凍室由于溫度低，食品表面被霜包裹，不易識別，且普通的攝像頭也無法適應(yīng)冷凍室的低溫條件；（2）由于很難做到全方位布置攝像裝置，箱內(nèi)仍會有拍照死角存在的可能；或者食材被非透明物包裹，都無法識別；2、同一種食品更換存儲位置時，圖像識別無法智能判斷，會造成誤判，也會誤導(dǎo)對保質(zhì)期的正確判斷；3、由于箱內(nèi)光照不足、反光漫射等影響拍照條件的因素，會降低識別率；4、受限于硬件主頻、運行內(nèi)存、網(wǎng)速的限制，拍攝響應(yīng)速度，識別速度比較慢。

7、結(jié)論

本文主要從攝像頭組件的結(jié)構(gòu)、安裝、配套的相關(guān)硬件，以及后臺軟件支持等三個方面，對云圖像識別技術(shù)如何在冰箱上應(yīng)用進行了相關(guān)闡述和說明。云圖像識別技術(shù)目前在國內(nèi)冰箱行業(yè)尚屬于首創(chuàng)，其功能及應(yīng)用前景還需要進一步的挖掘和嘗試，其存在的不足還需要行業(yè)相關(guān)技術(shù)支持。隨著硬件技術(shù)，軟件技術(shù)，尤其是識別技術(shù)的不斷進步，其應(yīng)用前景還是非常廣泛的。在不斷完善和拓展其衍生功能后，智能冰箱，尤其帶有云智能圖像識別功能的冰箱會被越來越多的用戶來認知，認可并使用。

（作者單位：合肥美菱股份有限公司）