基于監(jiān)控識別的座位管理程序設(shè)計與實現(xiàn)

鄧明杰,陳志榮

（寧波工程學(xué)院 理學(xué)院,浙江 寧波 315211）

0 引言

通過對圖書館等眾多公共學(xué)習(xí)場所的座位管理模式及現(xiàn)狀調(diào)查發(fā)現(xiàn)，這些場所長期存在“難尋位”、“亂占位”等現(xiàn)象，極大地降低了座位利用率。這種教育資源的不平衡使很多同學(xué)對圖書館失去了興趣，也使圖書館喪失了其原本的職能與功能[1]。

目前高校圖書館應(yīng)用的座位管理系統(tǒng)其核心技術(shù)主要為：單片機紅外感應(yīng)、RFID等讀卡器控制以及利用圖書館門禁控制等[2]。以上幾種方法雖然實現(xiàn)了對座位使用狀態(tài)的監(jiān)管，但依舊存在不足。譬如，單片機紅外探測和RFID讀卡器控制技術(shù)，憑借安裝在座位上的硬件設(shè)備來識別座位使用狀態(tài)，其缺點是安裝設(shè)備投入成本較高、沒有提供在線預(yù)約等可視化終端操作及后期難以維護等。此外，基于門禁系統(tǒng)的座位管理系統(tǒng)，依靠門禁刷卡的方式僅僅能管理人員出入，無法保證館內(nèi)座位資源的分配，在座位精確管理方面顯得力不從心[3]。

因此本文設(shè)想通過新興的機器視覺和深度學(xué)習(xí)等人工智能技術(shù)，充分利用圖書館內(nèi)已有的高清網(wǎng)絡(luò)攝像頭來實現(xiàn)對座位的精確監(jiān)管，并將整個系統(tǒng)部署到用戶多、操作方便、實用性強的微信公眾平臺上，打造一個完整的、實時性的智能座位管理系統(tǒng)。

1 技術(shù)關(guān)鍵

實現(xiàn)座位管理的核心技術(shù)是視頻畫面提取與目標(biāo)圖像檢測技術(shù)。利用圖書館內(nèi)的高清監(jiān)控攝像頭獲得指定場景區(qū)域的實時監(jiān)控畫面，并在固定時間間隔內(nèi)對視頻流進行單幀截取，獲得實時畫面靜態(tài)圖像，然后使用目標(biāo)圖像檢測技術(shù)將實時畫面輸入到訓(xùn)練好的深度學(xué)習(xí)模型中，判斷實時圖像中的座位使用情況，生成座位使用情況記錄表，并以此為基礎(chǔ)實現(xiàn)后臺座位資源的實時監(jiān)管。

1.1 目標(biāo)識別算法設(shè)計

該系統(tǒng)主要以YOLOv3目標(biāo)識別算法為核心來實現(xiàn)對座位狀態(tài)的識別。YOLO算法把目標(biāo)區(qū)域預(yù)測和目標(biāo)類別預(yù)測合二為一，將目標(biāo)識別問題轉(zhuǎn)化為目標(biāo)區(qū)域預(yù)測和類別預(yù)測的回歸問題[4]。

首先采用回歸模型（如滑窗CNN）一次得出全圖像的邊框標(biāo)注，同時將輸入的圖像劃分為S×S個小格子，如果某個物體中心位置坐標(biāo)位于一個格子內(nèi)，那么該格子就負責(zé)該區(qū)域內(nèi)的物體檢測工作。然后采用非極大值抑制基于每個格子得到經(jīng)過篩選之后的邊框進行輸出[5]。該過程示意如圖1所示。

圖1 YOLO目標(biāo)圖像檢測過程示意圖

每一個格子輸出B個Bounding box，即包含物體的矩形區(qū)域信息，以及C個物體屬于某種類別的概率值信息：

Bounding box信息包含x，y，w，h，confidence這5個數(shù)據(jù)值。其中x，y分別表示當(dāng)前格子檢測到的物體中心坐標(biāo)。w，h是Bounding box的寬高[5]。confidence表示當(dāng)前的Bounding box內(nèi)是否包含物體以及預(yù)測的準(zhǔn)確程度。定義為：

若該Bounding box內(nèi)檢測到物體，則Pr（Object）=1，否則Pr（Object）=0。其中，表示預(yù)測框與真實值之間的交集面積。網(wǎng)絡(luò)全連接層的最終輸出維度是S×S（B×5+C）。

YOLO的Loss函數(shù)主要是使用均方和誤差來優(yōu)化模型參數(shù)的，即

其中，coordError表示預(yù)測數(shù)據(jù)與標(biāo)定數(shù)據(jù)之間的坐標(biāo)誤差，iouError表示IOU誤差，classError表示分類誤差[6]。

由于這3項數(shù)值對神經(jīng)網(wǎng)絡(luò)loss的貢獻度不一樣，并且在計算iouError時分為某個物體的中心坐標(biāo)“在網(wǎng)格中”和“不在網(wǎng)格中”兩種情況，因此分別代入λcoord=5和λnoobj=0.5，以此來修正coordError和IOU誤差。因此有如下計算公式：

其中，x，y，w，C，p表示網(wǎng)絡(luò)預(yù)測值，x^，y^，w^，C^，p^表示標(biāo)注值。表示物體在網(wǎng)格i中，分別表示物體“落入”和“未落入”網(wǎng)格i的第j個Bounding box中[6]。

本文提出的座位管理系統(tǒng)通過高清網(wǎng)絡(luò)攝像頭捕捉圖書館各時段、各區(qū)域、各角度的座位單幀實時畫面，快速構(gòu)建深度學(xué)習(xí)數(shù)據(jù)集。深度學(xué)習(xí)技術(shù)能夠自動學(xué)習(xí)數(shù)據(jù)各個層次的抽象特征，更好地反映數(shù)據(jù)的本質(zhì)特征，極大地提高了識別準(zhǔn)確率和效率。利用YOLOv3訓(xùn)練得到的模型，可以從監(jiān)控視頻流中自動識別并標(biāo)注出座位的位置信息和使用狀態(tài)，極大程度地提高了管理的自動化程度和效率。

1.2 圖像處理流程

1.2.1 模板圖像處理

模板圖像是指從監(jiān)控視頻流中截取到的單幀圖像，主要用于深度學(xué)習(xí)模型的訓(xùn)練和測試?？紤]到監(jiān)控視頻中采集到的有效數(shù)據(jù)量過小，可能會導(dǎo)致過擬合現(xiàn)象，可以采取鏡像翻轉(zhuǎn)、添加椒鹽噪聲、分割圖、添加光照等方法擴充數(shù)據(jù)集。本文使用軟件LabelImg標(biāo)注出模板圖像中座位的位置信息和使用狀態(tài)，每張圖像的標(biāo)注數(shù)據(jù)存放于對應(yīng)的.txt文件中。為保證訓(xùn)練圖像標(biāo)注的質(zhì)量，標(biāo)記時要注意標(biāo)注方框大小合適、位置合適，需要豐富多視角的素材，目標(biāo)被遮擋也要標(biāo)注，避免遺漏小目標(biāo)等。

1.2.2 實時圖像處理

實時圖像是座位管理系統(tǒng)每隔一定時間從視頻監(jiān)控系統(tǒng)采集到的監(jiān)控視頻流中自動提取的單幀視頻畫面，將其輸入到訓(xùn)練好的深度學(xué)習(xí)模型中檢測座位信息并判斷其使用狀態(tài)。

1.2.3 座位狀態(tài)識別

利用YOLOv3網(wǎng)絡(luò)對實時圖像和模板圖像數(shù)據(jù)進行分析比對，得出以下幾種可能的判斷結(jié)果：

①書桌有書，座椅有人——使用中

②書桌無書，座椅無人——空閑

③書桌有書，座椅無人——待定

④書桌無書，座椅有人——使用中[7]

針對以上情況中的第③點，系統(tǒng)為該座位標(biāo)記一個累加事件，當(dāng)連續(xù)3次出現(xiàn)該情況，則判定該座位為占座現(xiàn)象，系統(tǒng)將自動釋放該座位資源，并及時反饋至小程序端和管理員端，通知管理員對座位進行清理，方便下一位讀者使用。此外，管理系統(tǒng)會在該違規(guī)占座者的賬戶信息中記錄本次違規(guī)事件，以供學(xué)校執(zhí)行相應(yīng)的懲罰機制，該過程示意如圖2所示。

圖2 系統(tǒng)自動識別占座行為流程圖

1.3 系統(tǒng)測試結(jié)果

本系統(tǒng)在某場所進行測試后得到的模型收斂效果如圖3所示，系統(tǒng)測試得到的識別效果如圖4所示。從該結(jié)果可以看出系統(tǒng)的收斂性較好，識別的準(zhǔn)確程度較高，測試圖中得到的識別準(zhǔn)確率達到了100%。

圖3 模型測試收斂效果

圖4 系統(tǒng)識別測試結(jié)果

2 座位管理小程序設(shè)計

小程序端用綠色、紅色和黃色圖標(biāo)表示座位空閑、使用中和未開放3種狀態(tài)，用戶可以選擇、預(yù)約或取消座位。后臺自動更改相應(yīng)座位的使用狀態(tài)表：用戶正常使用座位時后臺自動鎖定座位狀態(tài)；若用戶離開座位且未手動釋放已占用的座位資源，系統(tǒng)在確認座位處于占座情況后，將自動釋放當(dāng)前座位資源以方便其他用戶選擇座位，同時記錄占座用戶的違規(guī)信息。

2.1 系統(tǒng)基本功能

座位管理小程序的工作功能模塊如圖5所示，初步總結(jié)出以下幾點基本服務(wù)功能：1)賬號綁定；2)座位預(yù)約；3)位置圖示；4)掃碼簽到；5)失約查詢；6)空座查詢；7)預(yù)約信息；8)取消預(yù)約。以上幾種功能可以基本實現(xiàn)對圖書館座位的管理，且具有較強的可操作性。

圖5 圖書館座位管理系統(tǒng)功能模塊圖

2.2 用戶使用流程

讀者登錄微信小程序后進行學(xué)號綁定，即可獲得圖書館座位的分區(qū)圖示。讀者選擇自己喜歡的空閑座位即可進行座位的預(yù)約或直接使用。1)直接使用座位時系統(tǒng)工作流程如圖6所示；2)若用戶選擇座位預(yù)約，則需要在預(yù)約時間的30 min內(nèi)掃碼簽到，否則視為放棄預(yù)約，系統(tǒng)將開放該座位的預(yù)約限制，方便其他用戶使用，整個流程如圖7所示；3)若用戶選擇的座位已經(jīng)被他人提前預(yù)約，但目前還未到預(yù)約的使用時間，系統(tǒng)則會提示當(dāng)前用戶：該座位已在某時間被預(yù)約，若繼續(xù)選擇使用該座位，需在他人預(yù)約時間前15 min停止使用該座位。小程序會在預(yù)約時間前15 min發(fā)送提示信息給當(dāng)前使用者，提醒其歸還當(dāng)前座位，另尋它座。

圖6 用戶選擇座位并直接使用流程圖

圖7 用戶選擇座位并預(yù)約流程圖

當(dāng)用戶離開圖書館時根據(jù)自身需求選擇暫時離開(30 min)或永久離開（釋放座位），系統(tǒng)會根據(jù)用戶的操作更新座位使用狀態(tài)表并實時反饋至小程序端，以供后來的讀者參考使用。

3 結(jié)語

為實現(xiàn)座位的精準(zhǔn)化管理，本文提出了基于深度學(xué)習(xí)目標(biāo)圖像檢測技術(shù)解決座位及時釋放問題。該設(shè)計無需安裝大型硬件設(shè)施，以低成本實現(xiàn)高精度的座位監(jiān)管，適用于高校圖書館以及其他各類社會公共學(xué)習(xí)場所，具有較強的適用性和較高的實用價值。根據(jù)測驗結(jié)果可以看出，本文設(shè)計的座位管理系統(tǒng)精確率較高，完全滿足對座位的實時監(jiān)管，但由于測試數(shù)據(jù)集中涉及的環(huán)境較為單一，實際應(yīng)用到更為復(fù)雜多變的環(huán)境下進行識別時還需改進。