智能餐廳綜合系統(tǒng)的設(shè)計(jì)與開發(fā)

張杰 武星好 于雅楠

摘? 要：隨著智能化工具的不斷革新發(fā)展，現(xiàn)代餐飲業(yè)也趨向于多元綜合化。針對(duì)傳統(tǒng)餐飲業(yè)人力成本高、效率低，以及疫情期間防控不嚴(yán)等諸多問題，文章在NEL-AI800開發(fā)板與人工智能物聯(lián)網(wǎng)應(yīng)用場(chǎng)景的基礎(chǔ)上，設(shè)計(jì)并開發(fā)了一套集防疫體溫檢測(cè)、自助點(diǎn)餐、會(huì)員人臉識(shí)別、刷臉支付、掃碼支付、后廚在線監(jiān)控、建議評(píng)價(jià)等功能為一體的智能餐廳綜合系統(tǒng)。測(cè)試結(jié)果表明，該系統(tǒng)性能可靠，可以有效提高傳統(tǒng)餐廳運(yùn)營(yíng)效率，具有廣闊的發(fā)展空間。

關(guān)鍵詞：物聯(lián)網(wǎng)；智能餐廳；疫情；刷臉支付；掃碼支付

中圖分類號(hào)：TP311.5? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）02-0156-05

Design and Development of Intelligent Restaurant Integrated System

ZHANG Jie1， WU Xinghao2， YU Yanan2

（1.School of Computer Science and Engineering， Tianjin University of Technology， Tianjin? 300384， China;

2.School of Information Technology and Engineering， Tianjin University of Technology and Education， Tianjin? 300222， China）

Abstract： With the continuous innovation and development of intelligent tools， the modern catering industry also tends to be diversified and integrated. In response to many problems such as high labor costs， low efficiency， and poor prevention and control during the epidemic in the traditional catering industry， based on the NEL-AI800 development board and the application scenario of the artificial intelligence Internet of Things， this paper designs and develops a set of intelligent dining hall comprehensive system that integrates the functions of epidemic prevention temperature detection， self-service ordering， member face recognition， paying by scanning face， paying by scanning code， kitchen online monitoring， suggestion evaluation， etc. The test results show that the system has reliable performance， can effectively improve the operation efficiency of traditional restaurants， and has broad development space.

Keywords： Internet of Things; intelligent restaurant; epidemic; paying by scanning face; paying by scanning code

0? 引? 言

現(xiàn)階段餐飲業(yè)的人工智能化大體分為兩類[1]：一類為餐飲前臺(tái)通過智能點(diǎn)餐系統(tǒng)下單，優(yōu)化餐廳人工成本，精簡(jiǎn)顧客候餐用時(shí)；另一類為后廚運(yùn)用機(jī)械化智能設(shè)備，如自動(dòng)出菜機(jī)等，降低餐廳人工成本的同時(shí)也減少了人、菜接觸，確保餐品的衛(wèi)生。然而餐廳智能化應(yīng)用仍未完善：首先，很多智能機(jī)器和系統(tǒng)軟件處于測(cè)試階段，需經(jīng)歷優(yōu)化升級(jí)，以確保穩(wěn)定通用；其次，餐飲人員需重新學(xué)習(xí)智能設(shè)備使用方法等。

為了更好地優(yōu)化餐飲業(yè)的成本和效率，針對(duì)解決智能餐飲的結(jié)構(gòu)單一、需求滿足低下等諸多人工智能物聯(lián)網(wǎng)應(yīng)用[2-4]缺陷，本文設(shè)計(jì)并開發(fā)了一款擁有防疫體溫檢測(cè)、分時(shí)點(diǎn)餐、刷臉支付、掃碼支付、后廚在線監(jiān)控等功能的智能餐廳綜合系統(tǒng)。該系統(tǒng)界面優(yōu)美、功能實(shí)用，可有效提高餐廳服務(wù)效率，進(jìn)一步推進(jìn)智能化進(jìn)程。

本文主要分為四部分：需求分析、總體設(shè)計(jì)、關(guān)鍵技術(shù)、系統(tǒng)測(cè)試。第一部分介紹了當(dāng)前餐廳對(duì)智能化的多種需求；第二部分從軟、硬件兩方面介紹了該系統(tǒng)設(shè)計(jì)與構(gòu)成；第三部分更加詳細(xì)地闡述了該系統(tǒng)技術(shù)核心；第四部分給出了系統(tǒng)的實(shí)際測(cè)試結(jié)果。

1? 需求分析

1.1? 業(yè)務(wù)需求

當(dāng)前餐廳中大多數(shù)操作環(huán)節(jié)是依靠服務(wù)員完成的，服務(wù)員負(fù)責(zé)為顧客介紹菜品并記錄點(diǎn)餐，然后把點(diǎn)餐結(jié)果交予廚房，廚房根據(jù)菜品種類安排做菜順序，再由服務(wù)員為顧客上菜，最后由服務(wù)員向顧客收取費(fèi)用。傳統(tǒng)餐廳服務(wù)流程如圖1所示。

這樣的運(yùn)營(yíng)模式不僅人力成本高，并且容錯(cuò)率低，導(dǎo)致餐廳運(yùn)營(yíng)效率低下。

1.2? 特殊需求

疫情期間，大多數(shù)傳統(tǒng)餐廳設(shè)立人工測(cè)溫，有的餐廳因人手不足而無法設(shè)立測(cè)溫點(diǎn)來保證餐廳環(huán)境及人員安全。本系統(tǒng)提供防疫體溫檢測(cè)模塊，在每位顧客進(jìn)入點(diǎn)餐程序時(shí)進(jìn)行檢測(cè)，若體溫異常，將發(fā)出警報(bào)提醒服務(wù)人員進(jìn)行處理。

1.3? 市場(chǎng)需求

如表1所示，隨著現(xiàn)代消費(fèi)結(jié)構(gòu)的變革，線上、線下一體化日益深化，傳統(tǒng)餐廳與智能餐廳的差別主要體現(xiàn)在服務(wù)上，傳統(tǒng)餐飲僅僅是對(duì)顧客的維護(hù)，而智慧餐飲是引領(lǐng)顧客。

2? 總體設(shè)計(jì)

2.1? 硬件設(shè)計(jì)

本系統(tǒng)使用硬件產(chǎn)品包括：NLE-AI800開發(fā)板、顯觸一體屏、AMG-8833紅外熱像儀傳感器、攝像頭、Wi-Fi天線。

系統(tǒng)基于NLE-AI800開發(fā)板的Linux環(huán)境運(yùn)行，使用Wi-Fi天線達(dá)到網(wǎng)絡(luò)互通，防疫體溫檢測(cè)使用AMG-8833紅外熱像儀傳感器實(shí)現(xiàn)，攝像頭應(yīng)用于人臉注冊(cè)、支付、后廚監(jiān)控等場(chǎng)景，基于算法模型分析實(shí)現(xiàn)配套功能。以下為核心硬件設(shè)計(jì)介紹。

2.1.1? NLE-AI800開發(fā)板

NLE-AI800開發(fā)板是一款具備高可擴(kuò)展性的AIOT開發(fā)平臺(tái)，平臺(tái)具有AI計(jì)算能力，提供4T FLOPS的算力，支持多sensor輸入，集成豐富的硬件接口[5]。NLE-AI800開發(fā)板如圖2所示。

2.1.2? AMG-8833紅外熱像儀傳感器

防疫體溫檢測(cè)采用AMG-8833紅外熱像儀傳感器[6]，該傳感器使用I2C協(xié)議連接，通過像素點(diǎn)、溫度值、中斷引腳[7]等與軟件操控結(jié)合實(shí)現(xiàn)。AMG-8833紅外熱像儀傳感器如圖3所示。

2.1.3? 攝像頭

本系統(tǒng)與攝像頭響應(yīng)的事件包括：人臉注冊(cè)、人臉支付及在線后廚監(jiān)控事件。攝像頭如圖4所示。

2.2? 軟件設(shè)計(jì)

2.2.1? 防疫溫度檢測(cè)

就餐顧客在點(diǎn)餐之前預(yù)先進(jìn)行防疫體溫檢測(cè)，僅在體溫正常情況下繼續(xù)點(diǎn)餐流程，若體溫異常將發(fā)出警報(bào)并禁止點(diǎn)餐，充分保障顧客的就餐環(huán)境及人員安全。

2.2.2? 分時(shí)點(diǎn)餐模塊

顧客根據(jù)當(dāng)前時(shí)段智能進(jìn)入對(duì)應(yīng)的分時(shí)點(diǎn)餐界面，菜單界面根據(jù)分時(shí)段[8]對(duì)餐品進(jìn)行分類分塊展示，并附有實(shí)物圖片及推薦度排序，顧客可進(jìn)行個(gè)性化挑選，優(yōu)化消費(fèi)者的體驗(yàn)感。

2.2.3? 會(huì)員專享模塊

會(huì)員模塊包含會(huì)員注冊(cè)、個(gè)人信息查詢、賬戶充值、專享刷臉支付及餐品優(yōu)惠活動(dòng)。其中，個(gè)人信息查詢模塊打破傳統(tǒng)選購(gòu)與賬戶信息分區(qū)獨(dú)立的情況，將二者相互貫連，使顧客可選擇更貼合個(gè)人情況的餐品。

2.2.4? 刷臉支付

在進(jìn)行刷臉支付之前，根據(jù)系統(tǒng)中的人臉模型數(shù)據(jù)進(jìn)行人臉模型判別[9-11]，再通過系統(tǒng)注冊(cè)實(shí)現(xiàn)人臉特征的提取[12-14]和數(shù)據(jù)庫(kù)的錄入。在刷臉支付過程中，進(jìn)行活體檢測(cè)和人臉特征提取，并將活體人臉特征與人臉數(shù)據(jù)庫(kù)特征信息進(jìn)行配對(duì)，若相似率達(dá)到85%以上則支付成功，反之失敗。

2.2.5? 二維碼支付

鑒于系統(tǒng)尚未進(jìn)入商業(yè)階段，故采用支付寶的“沙箱環(huán)境”代替實(shí)現(xiàn)。

2.2.6? 建議評(píng)價(jià)模塊

利用該模塊，顧客在消費(fèi)完后對(duì)餐品及餐廳綜合情況進(jìn)行評(píng)價(jià)反饋，餐廳根據(jù)回饋的信息更有針對(duì)性的優(yōu)化改進(jìn)。另外，還可以根據(jù)各餐品的歡迎程度及滿意度進(jìn)行匯總與排序，通過數(shù)據(jù)分析[15-17]實(shí)時(shí)反饋到點(diǎn)菜界面上，讓顧客對(duì)菜品一目了然。

2.3? 點(diǎn)餐系統(tǒng)流程設(shè)計(jì)

本系統(tǒng)基于NEL-AI800開發(fā)板與人工智能物聯(lián)網(wǎng)應(yīng)用場(chǎng)景，設(shè)計(jì)開發(fā)防疫體溫檢測(cè)、智能自助點(diǎn)餐、刷臉支付和掃碼支付等功能，并結(jié)合AMG-8833紅外熱像儀傳感器、視覺傳感器、人臉特征模板識(shí)別、支付寶（沙箱環(huán)境）與軟件環(huán)境等實(shí)現(xiàn)智能點(diǎn)餐。點(diǎn)餐系統(tǒng)流程如圖5所示。

3? 關(guān)鍵技術(shù)

3.1? 智能測(cè)溫

智能測(cè)溫是基于AMG8833紅外熱成像儀設(shè)計(jì)，包含8×8陣列的紅外熱成像傳感器陣列，利用Python第三方庫(kù)smbus2模塊，與開發(fā)板針座接口通過I2C協(xié)議可為微處理器提供1組64個(gè)獨(dú)立的溫度數(shù)字信號(hào)，并從返回的紅外溫度中取數(shù)個(gè)離散數(shù)據(jù)的均值輸出，在體溫超閾值時(shí)觸發(fā)INT可配置的中斷引腳，啟動(dòng)中斷程序響應(yīng)警報(bào)操作。智能測(cè)溫流程如圖6所示。

3.2? 數(shù)據(jù)管理

對(duì)智能餐廳的信息管理主要包括對(duì)餐品、會(huì)員、服務(wù)管理，還包括統(tǒng)計(jì)銷售額、餐品銷售情況等，為餐廳的良性循環(huán)運(yùn)營(yíng)提供大數(shù)據(jù)下的科學(xué)依據(jù)。數(shù)據(jù)管理內(nèi)容如圖7所示。

3.2.1? 餐品管理

餐品管理是對(duì)餐品實(shí)時(shí)銷售情況的管理，動(dòng)態(tài)即時(shí)更新餐品狀態(tài)，若某餐品缺貨，分時(shí)點(diǎn)餐界面將其顯示為暗色“售罄”，并無法選中，僅供瀏覽。此外可根據(jù)各餐品的銷售情況，將受歡迎度高的餐品優(yōu)先推薦給顧客。

3.2.2? 會(huì)員管理

當(dāng)餐廳新注冊(cè)會(huì)員時(shí)，數(shù)據(jù)管理庫(kù)中可將其信息內(nèi)部存儲(chǔ)，當(dāng)其信息發(fā)生變動(dòng)時(shí)，數(shù)據(jù)管理庫(kù)可對(duì)相應(yīng)數(shù)據(jù)進(jìn)行更改。

3.2.3? 服務(wù)管理

顧客在就餐后對(duì)餐廳的綜合滿意度進(jìn)行評(píng)價(jià)，也可以在看到前人評(píng)價(jià)的基礎(chǔ)上，對(duì)現(xiàn)有的問題或者消費(fèi)體驗(yàn)欠佳處提出評(píng)分與建議，后臺(tái)將統(tǒng)計(jì)整理以便餐廳針對(duì)性改進(jìn)。

3.2.4? 數(shù)據(jù)分析

匹配餐廳運(yùn)營(yíng)策略，匯合統(tǒng)計(jì)當(dāng)日、月的營(yíng)業(yè)額與消費(fèi)的時(shí)段、餐品、口味等數(shù)據(jù)信息，并以此為依據(jù)，動(dòng)態(tài)智能調(diào)整餐廳營(yíng)業(yè)模式，合理規(guī)劃餐品量與全新活動(dòng)等。

3.3? 掃碼支付

通過支付寶開發(fā)平臺(tái)，安裝所需的支付SDK，生成自己的服務(wù)端的私鑰和公鑰來配置掃碼支付所需環(huán)境。

掃碼支付流程：顧客使用APP支付時(shí)，首先APP向商戶服務(wù)器發(fā)送支付請(qǐng)求并獲取商戶服務(wù)端返回的訂單信息；然后商戶APP調(diào)用支付接口向支付寶服務(wù)端發(fā)送支付請(qǐng)求；在接收到返回的數(shù)字支付結(jié)果后，商戶APP再向商戶服務(wù)端請(qǐng)求同步數(shù)字支付結(jié)果；最后支付寶服務(wù)端將接收簽名、解析并在APP上返回最終支付結(jié)果。支付寶（沙箱環(huán)境）原理如圖8所示。

3.4? 刷臉支付

3.4.1? 實(shí)現(xiàn)基礎(chǔ)

刷臉支付實(shí)現(xiàn)主要包含三部分：主窗口類、攝像頭讀取相機(jī)的線程類和人臉檢測(cè)算法線程類。

3.4.2? 實(shí)現(xiàn)結(jié)構(gòu)

數(shù)據(jù)結(jié)構(gòu)包括：人臉結(jié)構(gòu)體信息、人臉識(shí)別句柄、人臉檢測(cè)輸入輸出結(jié)構(gòu)體、人臉對(duì)齊輸入輸出結(jié)構(gòu)體、人臉特征提取輸入輸出結(jié)構(gòu)體等。

3.4.3? 實(shí)現(xiàn)途徑

使用ctypes方式進(jìn)行調(diào)用C動(dòng)態(tài)庫(kù)（so），ctypes是專門為Python語音所準(zhǔn)備的一個(gè)外部函數(shù)庫(kù)。它提供兼容C的數(shù)據(jù)類型，并允許調(diào)用DLL或共享庫(kù)中的函數(shù)。通過ctypes可以使用純粹的Python來包裝這些函數(shù)庫(kù)。

4? 系統(tǒng)測(cè)試

本節(jié)主要對(duì)系統(tǒng)的掃碼支付模塊以及刷臉支付模塊進(jìn)行測(cè)試。

顧客進(jìn)入本系統(tǒng)后，于分時(shí)餐段點(diǎn)餐界面進(jìn)行個(gè)性化餐品選擇。分時(shí)點(diǎn)餐界面如圖9所示，分時(shí)餐段（午餐）菜品選擇界面如圖10所示。

4.1? 掃碼支付

進(jìn)行餐品結(jié)算時(shí)，顧客通過APP掃碼支付訂單，訂單金額與選購(gòu)菜品金額一致，支付操作后付款成功，商家響應(yīng)收款提示，系統(tǒng)提示支付完成，同時(shí)可進(jìn)行餐廳滿意度評(píng)價(jià)。測(cè)試結(jié)果顯示掃碼支付功能正常運(yùn)行，掃碼付款界面如圖11所示，掃碼付款成功界面如圖12所示。

4.2? 刷臉支付

進(jìn)行餐品結(jié)算時(shí)，顧客通過刷臉支付訂單，未檢測(cè)到人臉或人臉未對(duì)齊時(shí)界面提示相應(yīng)文字，在人臉對(duì)齊并成功支付后，扣除的金額與訂單對(duì)應(yīng)折扣價(jià)一致，且賬內(nèi)余額相應(yīng)減少。測(cè)試結(jié)果顯示刷臉支付功能正常運(yùn)行，刷臉付款界面（未檢測(cè)到人臉）、刷臉付款成功界面及賬內(nèi)余額查詢界面分別如圖13-15所示。

5? 結(jié)? 論

本文針對(duì)餐廳單一銷售功能的“痛點(diǎn)”，并與疫情現(xiàn)狀相結(jié)合，設(shè)計(jì)開發(fā)基于物聯(lián)網(wǎng)技術(shù)的智能餐廳綜合系統(tǒng)，打造集防疫體溫檢測(cè)、自助點(diǎn)餐、會(huì)員服務(wù)、后廚監(jiān)控、刷臉支付、掃碼支付、建議評(píng)價(jià)等多功能為一體的智能餐廳服務(wù)體驗(yàn)。系統(tǒng)測(cè)試表明，本系統(tǒng)在滿足日常餐廳用餐的基本需求上，可較大程度提高餐廳營(yíng)銷效率和顧客消費(fèi)滿意度。接下來計(jì)劃將支付寶（沙箱環(huán)境）替換為支付寶API支付接口，實(shí)現(xiàn)廣泛應(yīng)用推廣。

參考文獻(xiàn)：

[1] 梁妍，王殿華，朱灝琨.京津冀服務(wù)業(yè)智能化影響因素與發(fā)展對(duì)策——以餐飲業(yè)為例 [C]//天津市社會(huì)科學(xué)界第十五屆學(xué)術(shù)年會(huì)優(yōu)秀論文集：壯麗七十年輝煌新天津（下）.天津：天津人民出版社，2019：403-410.

[2] 廖建尚.企業(yè)級(jí)物聯(lián)網(wǎng)開發(fā)與應(yīng)用 [M].北京：電子工業(yè)出版社，2018.

[3] 廖建尚，何丹，程小榮.物聯(lián)網(wǎng)識(shí)別技術(shù) [M].北京：電子工業(yè)出版社，2019.

[4] 安翔.物聯(lián)網(wǎng)Python開發(fā)實(shí)戰(zhàn) [M].北京：電子工業(yè)出版社，2018.

[5] 新大陸教育.2020年全國(guó)大學(xué)生物聯(lián)網(wǎng)設(shè)計(jì)競(jìng)賽大幕拉開，新大陸賽題等你Pick [EB/OL].[2022-08-18].http：//www.newland-edu.com/show？article_id=312&pagenum=all.

[6] 楊立.紅外熱成像測(cè)溫原理與技術(shù) [M].北京：科學(xué)出版社，2012.

[7] KACMAZ S，ERCELEBI E，ZENGINS，et al. The use of infrared thermal imaging in the diagnosis of deep vein thrombosis [J].Infrared Physics and Technology，2017，86：120-129.

[8] 劉偉榮，何云.物聯(lián)網(wǎng)與無線傳感器網(wǎng)絡(luò) M].北京：電子工業(yè)出版社，2013.

[9] 吳至文，郭葉軍，宗煒，等.OpenCV深度學(xué)習(xí)應(yīng)用與性能優(yōu)化實(shí)踐 [M].北京：機(jī)械工業(yè)出版社，2020.

[10] 塞瓦克，禮薩·卡里姆，普賈里.實(shí)用卷積神經(jīng)網(wǎng)絡(luò)：運(yùn)用Python實(shí)現(xiàn)高級(jí)深度學(xué)習(xí)模型 [M].王彩霞，譯.北京：機(jī)械工業(yè)出版社，2019.

[11] 王新宇.Python機(jī)器學(xué)習(xí)開發(fā)實(shí)踐 [M].北京：人民郵電出版社，2020.

[12] 米尼奇諾，豪斯.OpenCv3計(jì)算機(jī)視覺Python語言實(shí)現(xiàn)[M].劉波，苗貝貝，史斌，譯.北京：機(jī)械工業(yè)出版社，2017.

[13] 喬希，米蘭·埃斯克里瓦，戈多伊.OpenCv實(shí)例精解 [M].呆萌，李風(fēng)明，李翰陽(yáng)，譯.北京：機(jī)械工業(yè)出版社，2016.

[14] 王天慶.Python人臉識(shí)別：從入門到工程實(shí)踐[M].北京：機(jī)械工業(yè)出版社，2019.

[15] IdrisI.Python數(shù)據(jù)分析 [M].韓波，譯.北京：人民郵電出版社，2016.

[16] 吳振宇，李春忠，李建峰.Python數(shù)據(jù)處理與挖掘 [M].北京：人民郵電出版社，2020.

[17] 林耀進(jìn)，張良均，張興發(fā)，等.Python機(jī)器學(xué)習(xí)編程與實(shí)戰(zhàn) [M].北京：人民郵電出版社，2020.

作者簡(jiǎn)介：張杰（2000—），男，漢族，福建福州人，碩士在讀，主要研究方向：計(jì)算機(jī)視覺；于雅楠（1984—），女，漢族，天津人，講師，博士，主要研究方向：移動(dòng)機(jī)器人自主定位與環(huán)境建模。

收稿日期：2022-08-25