基于“人工智能+物聯(lián)網(wǎng)”的智能家居實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)設(shè)計(jì)

宋晨靜 高 浩

（江蘇知途教育科技有限公司，江蘇 南京 211899）

0 引言

由互聯(lián)網(wǎng)深度發(fā)展出來的物聯(lián)網(wǎng)技術(shù)已經(jīng)廣泛應(yīng)用到許多領(lǐng)域，智能家居就是物聯(lián)網(wǎng)技術(shù)的典型應(yīng)用。智能家居主要依托于物聯(lián)網(wǎng)技術(shù)，將家電、照明、門窗、監(jiān)控和安防系統(tǒng)等聯(lián)系到一起。隨著人工智能技術(shù)的不斷發(fā)展，智能化的家居設(shè)備不斷推陳出新，結(jié)合圖像識(shí)別、語音識(shí)別等人工智能技術(shù)，不但可以實(shí)現(xiàn)遠(yuǎn)程控制家居設(shè)備，還可以通過語音等方式進(jìn)行交互，或者通過視頻監(jiān)控發(fā)現(xiàn)異常，及時(shí)自動(dòng)預(yù)警等。人工智能技術(shù)推動(dòng)智能家居系統(tǒng)化發(fā)展，人機(jī)交互模式將由傳統(tǒng)的人工控制，向智能家居產(chǎn)品自勵(lì)感應(yīng)方向、自勵(lì)反饋方向發(fā)展。

利用人工智能技術(shù)與物聯(lián)網(wǎng)技術(shù)相結(jié)合的智能家居平臺(tái)，設(shè)計(jì)一款智能家居實(shí)驗(yàn)實(shí)訓(xùn)系統(tǒng)，可以方便學(xué)生掌握最新的技術(shù)實(shí)踐，實(shí)現(xiàn)跨專業(yè)的實(shí)驗(yàn)實(shí)訓(xùn)教學(xué)，加強(qiáng)學(xué)生實(shí)踐能力，激發(fā)學(xué)生學(xué)習(xí)興趣，具有非常重要的價(jià)值。本文主要介紹通過結(jié)合具有推理能力的開發(fā)板和物聯(lián)網(wǎng)平臺(tái)，搭建可以實(shí)現(xiàn)多種應(yīng)用的智能家居實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)。

1 實(shí)驗(yàn)實(shí)訓(xùn)系統(tǒng)設(shè)計(jì)需求

智能家居系統(tǒng)首先需要實(shí)現(xiàn)一部分物聯(lián)網(wǎng)平臺(tái)的基本功能，通過智能網(wǎng)關(guān)接入各類傳感器和智能設(shè)備，并通過物聯(lián)網(wǎng)平臺(tái)進(jìn)行管理和遠(yuǎn)程控制。另外一部分則利用人工智能技術(shù)，通過端側(cè)設(shè)備采集語音和圖像數(shù)據(jù)，并通過云端模型和端側(cè)推理等AI任務(wù)，實(shí)現(xiàn)語音、圖像識(shí)別和解析，進(jìn)而控制智能設(shè)備。

本智能家居實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)需要適應(yīng)多種智能應(yīng)用場景，融合編程語言、語音、視覺和深度學(xué)習(xí)等技術(shù)，具備通用性、智能性與完成復(fù)雜任務(wù)的能力，實(shí)現(xiàn)在家庭環(huán)境中控制家居設(shè)備的智能化功能，從而充分鍛煉學(xué)生基于物聯(lián)網(wǎng)和人工智能的應(yīng)用開發(fā)能力。智能家居平臺(tái)設(shè)計(jì)的主要應(yīng)用場景如下：

人臉開鎖：用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流，并自動(dòng)在圖像中檢測和跟蹤人臉，進(jìn)而對(duì)檢測到的人臉進(jìn)行臉部識(shí)別，進(jìn)行身份驗(yàn)證，實(shí)現(xiàn)刷臉開鎖。

電子圍欄監(jiān)控：該項(xiàng)智能化功能是通過十字標(biāo)尺或矩形標(biāo)尺攝像頭監(jiān)控半夜車庫、房屋、臥室等場所，檢測可疑人員入侵，如到達(dá)十字標(biāo)尺劃定的警戒線，即自動(dòng)預(yù)警或報(bào)警，以便采取相應(yīng)措施。

智能語音：本功能模塊主要是離線語音識(shí)別、在線語音識(shí)別和App遠(yuǎn)程控制三個(gè)功能相結(jié)合。對(duì)于離線、在線語音識(shí)別功能，系統(tǒng)不僅需要正確識(shí)別控制指令，改變相應(yīng)智能設(shè)備的運(yùn)行狀態(tài)，還需對(duì)用戶非控制指令的語音做出正確互動(dòng)。為了實(shí)現(xiàn)使用App遠(yuǎn)程控制家居設(shè)備，系統(tǒng)不僅要能識(shí)別文本消息，還需支持語音消息。

2 系統(tǒng)總體設(shè)計(jì)

基于整體設(shè)計(jì)需求，平臺(tái)架構(gòu)由AI（包括音頻，視頻、大數(shù)據(jù)服務(wù)）智能和智能家居兩部分構(gòu)成，如圖1所示，AI智能完成各種數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)模型，數(shù)據(jù)推理等AI相關(guān)任務(wù)；智能家居系統(tǒng)由物聯(lián)網(wǎng)接入平臺(tái)，如阿里云物聯(lián)網(wǎng)平臺(tái)或者涂鴉物聯(lián)網(wǎng)平臺(tái)等物聯(lián)網(wǎng)SaaS系統(tǒng)，智能網(wǎng)關(guān)、傳感器和智能設(shè)備，用戶控制終端構(gòu)成，為AI智能提供終端執(zhí)行環(huán)境。

圖1 實(shí)驗(yàn)平臺(tái)系統(tǒng)架構(gòu)

平臺(tái)系統(tǒng)的智能設(shè)備部分主要由溫濕度傳感器模塊、智能照明模塊、攝像頭模塊、USB免驅(qū)模塊、有線門鈴、涂鴉智能窗簾電機(jī)和窗簾桿、WiFi無線傳輸模塊、門禁電源控制器以及控制器與處理器模塊構(gòu)成。實(shí)現(xiàn)人臉開鎖案例時(shí)，以Jetson Nano開發(fā)板作為核心控制器，通過攝像頭模塊對(duì)家居環(huán)境參數(shù)進(jìn)行采集，然后通過Nano開發(fā)板的AD模塊對(duì)傳感器采集的模擬量數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換，最后通過處理模塊進(jìn)行數(shù)據(jù)處理，模型推理從而實(shí)現(xiàn)人臉識(shí)別，進(jìn)行控制電控門禁完成開鎖。

終端設(shè)備通過物聯(lián)網(wǎng)接入平臺(tái)連接物聯(lián)網(wǎng)SaaS系統(tǒng)，同時(shí)通過Wi Fi模塊將采集到的傳感器數(shù)據(jù)上報(bào)至云端服務(wù)器，服務(wù)器再將傳感器所采集到的相關(guān)數(shù)據(jù)轉(zhuǎn)發(fā)給手機(jī)App客戶端，將設(shè)備狀態(tài)信息在手機(jī)App平臺(tái)進(jìn)行顯示。實(shí)現(xiàn)電子圍欄案例中，當(dāng)攝像頭捕獲到闖入人員進(jìn)入電子圍欄區(qū)域，通過Nano開發(fā)板已部署的模型推理能力能夠做出判斷，并發(fā)送信息到App，從而實(shí)現(xiàn)預(yù)警。

當(dāng)用戶入戶后，對(duì)著Nano開發(fā)板外接語音設(shè)備對(duì)話，發(fā)出打開窗簾或者打開客廳燈等指令，開發(fā)板會(huì)調(diào)用百度云語音識(shí)別API進(jìn)行解析，然后通過WiFi模塊傳輸信息到窗簾和燈泡以控制其開關(guān)。當(dāng)溫濕度傳感器檢測到的數(shù)據(jù)低于所設(shè)定閾值時(shí)，語音播放模塊將會(huì)播放異常信息。同時(shí)Nano開發(fā)板通過WiFi模塊發(fā)送指令到紅外控制器，實(shí)現(xiàn)遠(yuǎn)程開關(guān)空調(diào)。

該智能家居實(shí)驗(yàn)技術(shù)平臺(tái)能夠?qū)崿F(xiàn)各類智能設(shè)備的操作控制，還能實(shí)現(xiàn)圖像識(shí)別和語音設(shè)備等AI交互模式，便于實(shí)驗(yàn)室教師開展相關(guān)的AI+物聯(lián)網(wǎng)實(shí)驗(yàn)教學(xué)，實(shí)用性價(jià)值比較高。

3 平臺(tái)系統(tǒng)的硬件設(shè)計(jì)

智能家居控制系統(tǒng)硬件系統(tǒng)主要以Nano開發(fā)板為核心處理器，通過各個(gè)傳感器對(duì)環(huán)境參數(shù)進(jìn)行檢測。將傳感器輸出的電信號(hào)接入開發(fā)板的A/D轉(zhuǎn)換模塊，轉(zhuǎn)換成開發(fā)板能夠處理的數(shù)字信號(hào)，通過Wi Fi網(wǎng)關(guān)對(duì)接電控窗簾，可調(diào)照明、傳感器組件等智能設(shè)備，同時(shí)對(duì)接麥克風(fēng)、攝像頭、音箱、顯示器等人機(jī)交互設(shè)備。然后通過WiFi模塊發(fā)送至云服務(wù)器，并將部分重要參數(shù)值發(fā)送至手機(jī)App進(jìn)行顯示。核心的硬件模塊包括如下。

3.1 開發(fā)板選擇

Jetson Nano是英偉達(dá)（NVIDIA）提供的一款功能強(qiáng)大的小型計(jì)算機(jī)，可以支持入門級(jí)的邊緣AI應(yīng)用程序和設(shè)備。具有5W低功耗，并可以外接HDMI和網(wǎng)線，64G內(nèi)存卡以及多種IO接口，能夠滿足作為本系統(tǒng)核心處理器的要求。

3.2 攝像頭

采用海康網(wǎng)絡(luò)攝像機(jī)DS-IPC-B12V2-I，具備200萬像素，8mm焦距，并支持紅外攝像，滿足電子圍欄案例的攝像頭要求。

3.3 語音系統(tǒng)

可以采用麥克風(fēng)陣列或者更加便宜的USB免驅(qū)啟動(dòng)麥克風(fēng)，都可以滿足要求。

3.4 門禁系統(tǒng)

采用型號(hào)KT-P101的門禁電源控制器，支持充電過載保護(hù)。以及型號(hào)KT-L606的電插鎖，啟動(dòng)電流110mA，采用磁感應(yīng)上鎖方式，支持通電上鎖，斷電開鎖的開門方式。

3.5 其他傳感器和智能家居設(shè)備

采用型號(hào)為MIR-TE200-WF的溫度與濕度傳感器,涂鴉智能窗簾電機(jī)和窗簾桿，還有型號(hào)為Smart WIFI LED Bulb的燈泡，帶WiFi和RGB色彩控制。

4 系統(tǒng)軟件設(shè)計(jì)

實(shí)驗(yàn)平臺(tái)中，使用網(wǎng)關(guān)實(shí)現(xiàn)各種設(shè)備與物聯(lián)網(wǎng)平臺(tái)的通信鏈接，物聯(lián)網(wǎng)平臺(tái)集成了設(shè)備管理、數(shù)據(jù)通信和消息訂閱等功能。向下支持連接智能終端設(shè)備，采集設(shè)備數(shù)據(jù)上云；向上提供云端API，手機(jī)端App可通過調(diào)用云端API將指令下發(fā)至設(shè)備端，實(shí)現(xiàn)遠(yuǎn)程控制。如圖2所示。

圖2 App管理界面

設(shè)備接入物聯(lián)網(wǎng)平臺(tái)后，可上報(bào)設(shè)備數(shù)據(jù)至云端。通過物聯(lián)網(wǎng)平臺(tái)集成關(guān)聯(lián)的其他云產(chǎn)品，實(shí)現(xiàn)設(shè)備與服務(wù)器的消息通信，以及設(shè)備數(shù)據(jù)的處理和存儲(chǔ)。還可以通過云端的AI服務(wù)實(shí)現(xiàn)語音識(shí)別或者圖像識(shí)別的AI功能，也可以直接把模型部署到Jetson Nano開發(fā)板，完成本地的語音識(shí)別或者圖像識(shí)別的AI模型推理。

5 基于平臺(tái)的實(shí)訓(xùn)案例

基于上述軟硬件搭建智能家居平臺(tái)后，可以依據(jù)不同場景開發(fā)不同的實(shí)驗(yàn)實(shí)訓(xùn)，讓學(xué)生完成不同場景下的應(yīng)用開發(fā)。

5.1 電子圍欄實(shí)驗(yàn)

使用攝像機(jī)設(shè)備和通信網(wǎng)絡(luò)，實(shí)時(shí)監(jiān)控采集家居周圍的視頻，并完成預(yù)警。傳感器設(shè)備可通過總線連接網(wǎng)關(guān)，再通過網(wǎng)關(guān)將其連接到物聯(lián)網(wǎng)平臺(tái)，實(shí)現(xiàn)在云端展示和管理。在監(jiān)控過程中，具有推理能力的Nano開發(fā)板依據(jù)采集到的視頻進(jìn)行人體識(shí)別，預(yù)測視頻中是否有閑雜人員出現(xiàn)，如果有人員靠近設(shè)定的禁區(qū)，則會(huì)通過開發(fā)板觸發(fā)信息到報(bào)警器，并同時(shí)上傳到云端進(jìn)行預(yù)警。實(shí)際效果如圖3所示。

圖3 電子圍欄監(jiān)控效果

5.2 語音控制設(shè)備實(shí)驗(yàn)

語音模塊主要是實(shí)現(xiàn)離線語音識(shí)別和在線語音識(shí)別。當(dāng)用戶對(duì)著麥克風(fēng)對(duì)話時(shí)，Nano開發(fā)板會(huì)調(diào)用硬件設(shè)備上的麥克風(fēng)采集聲音，通過其內(nèi)置的音頻處理算法對(duì)語音信號(hào)進(jìn)行預(yù)加重、分幀加窗、端點(diǎn)檢測、特征向量提取，最后進(jìn)行模式匹配實(shí)現(xiàn)本地的語音識(shí)別，直接控制智能設(shè)備?；蛘?，通過百度云的語音識(shí)別的服務(wù)，開發(fā)板檢測用戶的語音指令輸入上傳到云端，云端完成指令解析，并遠(yuǎn)程控制設(shè)備，自動(dòng)完成窗簾開關(guān)、加濕器開關(guān)，照明調(diào)節(jié)等功能。

5.3 人臉開鎖

在Nano開發(fā)板上進(jìn)行人臉錄入操作，用戶正對(duì)攝像頭，由攝像頭通過特征檢測采集并錄入人臉，對(duì)每一個(gè)人拍攝100張照片，對(duì)拍攝到的人臉圖像進(jìn)行特征提取與特性選擇，在服務(wù)器上基于TensorFlow進(jìn)行人臉識(shí)別模型訓(xùn)練。完成訓(xùn)練模型后，利用TensorRT將模型部署到開發(fā)板上，用戶就可通過開發(fā)板進(jìn)行本地的人臉推理辨別。對(duì)人臉驗(yàn)證成功后，開發(fā)板發(fā)送信息到門禁電插鎖進(jìn)行開鎖，驗(yàn)證失敗則由蜂鳴器發(fā)出警報(bào)。

6 結(jié)語

本智能家居實(shí)驗(yàn)平臺(tái)通過將Jetson Nano開發(fā)板和物聯(lián)網(wǎng)平臺(tái)、以及人工智能服務(wù)結(jié)合起來，設(shè)計(jì)了一個(gè)能夠通過語音控制智能家電的開關(guān)，并通過攝像頭完成智能門鎖，和電子圍欄智能報(bào)警的系統(tǒng)。本實(shí)驗(yàn)平臺(tái)充分實(shí)現(xiàn)了人機(jī)交互和設(shè)備的智能化，基于場景化的應(yīng)用案例的學(xué)習(xí)與體驗(yàn)，滿足物聯(lián)網(wǎng)和人工智能相關(guān)專業(yè)的教學(xué)和實(shí)驗(yàn)實(shí)訓(xùn)場景。