基于卷積神經(jīng)網(wǎng)絡的智能尋書機器人設計與實現(xiàn)

羌棟強 王雅楠 張 蝶

（江蘇商貿(mào)職業(yè)學院，江蘇南通，226011）

0 引言

近年隨著圖書館的高速發(fā)展，傳統(tǒng)人工操作和管理模式與智慧圖書館發(fā)展目標產(chǎn)生了越發(fā)鮮明的沖突。在傳統(tǒng)的工作模式下，圖書館工作人員將大量的精力和時間消耗在圖書的分類、整理、搬運等重復性的工作上。雖然圖書館的信息化系統(tǒng)已經(jīng)實現(xiàn)了圖書典藏和自助查詢等工作，但有一些工作例如圖書盤點、讀者咨詢、閱覽區(qū)巡視等工作仍需要借助人工才能完成，這與智慧圖書館的發(fā)展目標是背道相馳的。機器人在機械制造、航空航天、應急救援等行業(yè)領域中作為一種高效的自動化設備發(fā)揮了強大的輔助作用。近幾年，國外的一些研究機構已初步嘗試了對圖書館機器人的可行性探究，并且有一些成功的案例，例如英國國家圖書館建立的“高科技藏書庫”系統(tǒng)，可由機器人獨立完成700多萬冊圖書的全部檢索和保管，其中任一環(huán)節(jié)都無需圖書館工作人員的參與，一定程度上解放了工作人員的雙手。日本早稻田大學、德國洪堡大學、美國猶他州大學、芝加哥大學等享譽世界的名校也建立了類似的圖書館機器人管理系統(tǒng)。

為此，本項目計劃設計一個面向讀者的智能尋書機器人，應用于圖書館日常管理和服務中，以期解決當前圖書館工作人員工作內(nèi)容單一、勞動強度大、服務效率低等問題，讓圖書館工作人員能夠從重復繁瑣的工作中解脫出來，把更多的時間精力利用在學科服務、文獻整理開發(fā)與研究和舉辦各類讀者活動上。

1 研究現(xiàn)狀

通過可視化文獻分析軟件Cite Space對2010-2020年圖書館領域AI研究的528篇核心期刊和CSSCI期刊分析后發(fā)現(xiàn)，在國內(nèi)圖書館機器人研究方面，大多是從書庫管理和圖書館信息管理等方面引入機器人概念的可行性進行探討，很少從機器人應用的角度闡述具體涉及的相關技術

在機器人應用領域，深圳圖書館的IM機器人通過分析用戶咨詢信息，使機器人對自身知識庫自主進行更新維護，從而達到為用戶提供更有針對性的回答的效果。朗蒙特圖書館機器人項目則是可以通過個性化編程，利用面部表情和肢體動作打破溝通障礙，與自閉癥兒童進行互動交流。

在智慧圖書館內(nèi)引入機器人，可以突破原有的工作模式，圖書館員的工作效率得到顯著提高，同時豐富了用戶獲取信息的渠道，為智慧圖書館建設打下良好的基礎。但現(xiàn)有的研究主要是側重于在圖書館的單一事務中引入機器

。人技術，面向圖書館的專業(yè)型綜合類機器人的開發(fā)與研究則較少。

隨著信息化的不斷發(fā)展，國內(nèi)越來越多的圖書館開始普及物聯(lián)網(wǎng)、室內(nèi)導航、大數(shù)據(jù)分析等相關信息技術，基本形成了立體化、智能化、信息化的綜合環(huán)境，為機器人技術在圖書館各領域的應用提供了深度融合的環(huán)境。相對于一些發(fā)達國家圖書館而言，我國在機器人技術應用的廣度和深度有所差距，一般都是用于圖書館單一業(yè)務上，例如：參考咨詢?nèi)藱C互動、圖書分揀、圖書搬運等工序，而沒有一個技術完備包含圖書館全業(yè)務的綜合性機器人系統(tǒng)。在這一領域雖然國內(nèi)外提出了一些設計思路，但大多是停留在概念設計階段，國內(nèi)在圖書館綜合性服務機器人研究上基本上空白，本項目的選題具有一定的創(chuàng)新性。

2 面向讀者的機器人的功能設計

2.1 系統(tǒng)整體需求分析

要形成完整的需求方案，需要對圖書館面向讀者的業(yè)務流程進行分析，查找現(xiàn)有流程缺陷并進行優(yōu)化，形成完善的需求方案。面向讀者的智能尋書機器人功能需求如圖1所示。

圖1 面向讀者的智能尋書機器人功能需求

在實現(xiàn)上述過程中，要充分考慮面向讀者的機器人各項功能以及各項功能的實現(xiàn)方式，面向讀者的尋書機器人功能結構圖如圖2所示。

圖2 面向讀者的智能尋書機器人功能結構圖

2.2 智能尋書功能設計

2.2.1 人臉識別模塊

在機器人工作中，第一步也是最為關鍵的一步是要識別用戶，與圖書管理系統(tǒng)進行比對，匹配到讀者基本信息，從而給該讀者更多的個性化服務，判斷該讀者更多的信息進行數(shù)據(jù)分析，讓服務更加智能化，而不是簡單人機互動。人臉識別模塊結構圖如圖3所示。

圖3 人臉識別模塊結構圖

2.2.2圖書智能推薦模塊

為使面向讀者的機器人更加智能，增加圖書推薦模塊，該模塊的加入可以根據(jù)讀者的喜好為讀者推薦圖書。其工作過程為：

1）通過視頻設備獲得讀者的視頻；

2）視頻中含有多張讀者的人臉圖像；

3）基于多張人臉圖像識別出讀者身份信息；

4）根據(jù)讀者身份信息，獲得讀者的歷史借閱數(shù)據(jù)，歷史借閱數(shù)據(jù)包括讀者的歷史借閱書本名稱、書本類別和借閱時間；

5）根據(jù)歷史借閱數(shù)據(jù)，推薦目標書本給讀者。

圖書智能推薦流程如圖4所示。

圖4 圖書智能推薦流程

2.2.3 基于卷積神經(jīng)網(wǎng)絡的人臉識別功能設計

通過智能圖書推薦模塊的應用，可以智能化地識別讀者的身份信息，并根據(jù)讀者的歷史借閱數(shù)據(jù)預測出讀者偏好的書本，預測的準確性高，也提高了機器人服務的智能化與人性化。

基于多張人臉圖像識別出讀者身份信息過程為：

1）將視頻中的人臉圖像按照人臉圖像所在的讀者圖像的拍攝順序進行排列，得到人臉圖像序列；

2）將人臉圖像序列輸入卷積神經(jīng)網(wǎng)絡中，卷積神經(jīng)網(wǎng)絡基于人臉圖像序列識別出人臉特征向量，卷積神經(jīng)網(wǎng)絡可以是殘差卷積神經(jīng)網(wǎng)絡，即RestNet backbone；

3）對人臉特征向量進行上卷積處理，得到三維特征圖；

4）獲得讀者的人臉三維數(shù)據(jù)與三維特征圖之間的第一交叉熵。讀者的人臉三維數(shù)據(jù)是通過三維攝像設備采集得到的。

基于第一交叉熵反向調(diào)整三維特征圖，其過程為：

1）以經(jīng)過反向調(diào)整后的三維特征圖作為目標，基于殘差網(wǎng)絡的損失函數(shù)反向調(diào)整人臉特征向量；

2）殘差網(wǎng)絡用于對人臉特征向量進行上卷積處理；

3）獲得經(jīng)過反向調(diào)整后的人臉特征向量與預先標注的樣本標簽之間的第二交叉熵；

4）以第一交叉熵和第二交叉熵滿足預設條件時的人臉特征向量作為輸出的人臉特征向量；

5）基于輸出的人臉特征向量識別出讀者身份信息。

通過以上方法，提高了人臉特征表示讀者人臉信息的準確性，進而提高了人臉識別的準確性。

卷積神經(jīng)網(wǎng)絡是殘差網(wǎng)絡，殘差網(wǎng)絡包括多個卷積層，多個卷積層用于提取人臉圖像的特征向量，基于輸出的人臉特征向量識別出讀者身份信息，包括在身份信息數(shù)據(jù)庫中獲得與輸出的人臉特征向量匹配的身份信息，作為讀者的身份信息。第一交叉熵和第二交叉熵滿足預設條件時，表示的是第一交叉熵和第二交叉熵都收斂。

第一交叉熵和第二交叉熵滿足預設條件時，表示的是：第一交叉熵小于第一定值，且第二交叉熵小于第一定值。第一定值的取值是0.4、0.6,第一定值的取值是0.6、0.4。基于多張人臉圖像識別出讀者身份信息，包括基于多張圖像，得到讀者的人臉特征，基于人臉特征，識別出讀者的身份信息。識別過程為：

1）獲得每一張人臉圖像的人臉特征向量，多張人臉圖像對應多個人臉特征向量；

2）獲得每兩個人臉特征向量之間的交叉熵；

3）以交叉熵的平均值作為第一調(diào)整因子；

4）基于第一調(diào)整因子，獲得平均人臉特征向量，以平均人臉特征向量作為讀者的人臉特征。

其中，基于第一調(diào)整因子，獲得平均人臉特征向量，獲得所有人臉特征向量中的各個特征值與各自對應的第一調(diào)整因子的乘積，獲得所有乘積之和，以該和除以所有第一調(diào)整因子的總和，得到的特征值構成的特征向量就是平均人臉特征向量。

平均人臉特征向量的計算公式為：

其中，P 表示平均人臉特征向量，表示由p1，p2，……,pn組成的向量，

n表示平均人臉特征向量中特征值的數(shù)量。pi表示平均人臉特征向量的第i個特征值。tki表示第k個人臉特征向量的第i個特征值，k=1,2,….m，m表示人臉特征向量的數(shù)量，sk表示第k個人臉特征向量對應的第一調(diào)整因子，∑sk表示s1, s2,…. sm之和，∑(tki*sk)表示所有的tki*sk之和，tki*sk表示tki與sk的乘積。

舉個例子來說，例如有3個人臉特征向量，每個人臉特征向量有3個特征值，即T1=< t11, t12, t13>, T2=< t21, t22, t23>, T3=< t31, t32, t33>，T1、T2、T3對應的第一調(diào)整因子分別是s1、s2、s3。

平均人臉特征向量為：

以任意一張人臉圖像的人臉特征向量作為基準人臉特征向量，獲得其余人臉特征向量與基準人臉特征向量之間的交叉熵，其余人臉特征向量是多個人臉特征向量中除了基準人臉特征向量以外的人臉特征向量。以其余人臉特征向量與基準人臉特征向量之間的交叉熵作為第二調(diào)整因子，每個其余人臉特征向量對應一個第二調(diào)整因子。將其余的人臉特征向量按照第二調(diào)整因子調(diào)整基準人臉特征向量，以調(diào)整后的基準人臉特征向量作為讀者的人臉特征。

將其余的人臉特征向量按照第二調(diào)整因子調(diào)整基準人臉特征向量，調(diào)整后的基準人臉特征向量等于，其余的人臉特征向量乘以其對應的第二調(diào)整因子的商之和，加上基準人臉特征向量，去除第二調(diào)整因子之和。具體按照下述公式計算得到：

其中，P1表示調(diào)整后的基準人臉特征向量，P表示基準人臉特征向量，(∑(Tk))/ ∑(Tk* vk)表示∑(Tk)除以∑(Tk* vk)，Tk表示第k個其余的人臉特征向量，k=1,2，……n-1。vk表示第k個第二調(diào)整因子。

將其余的人臉特征向量按照第二調(diào)整因子和第一調(diào)整因子調(diào)整基準人臉特征向量，以調(diào)整后的基準人臉特征向量作為讀者的人臉特征。將其余的人臉特征向量按照第二調(diào)整因子和第一調(diào)整因子調(diào)整基準人臉特征向量具體為：獲得調(diào)整指數(shù)，調(diào)整指數(shù)等于第二調(diào)整因子加上第一調(diào)整因子與第二調(diào)整因子的商；將其余的人臉特征向量按照調(diào)整指數(shù)調(diào)整基準人臉特征向量，具體方式參照將其余的人臉特征向量按照第二調(diào)整因子調(diào)整基準人臉特征向量，在此不再贅述。

2.2.4 基于卷積神經(jīng)網(wǎng)絡的智能推薦功能設計

根據(jù)歷史借閱數(shù)據(jù)，推薦目標書本給讀者，包括以下步驟：

1）獲得歷史借閱數(shù)據(jù)中的讀者的歷史借閱書本名稱、書本類別和借閱時間；

2）根據(jù)借閱時間和書本類別，預測出讀者感興趣的書目類別；

3）獲得讀者感興趣的書目類別的多本書本作為待選書本；

4）在圖書大數(shù)據(jù)庫中獲得與書本類別對應的待選書本；

5）將與讀者最近一次借閱的書本名稱最相似書本作為目標書本推薦給讀者。

根據(jù)借閱時間和書本類別，預測出讀者感興趣的書目類別包括以下步驟：

1）獲得讀者對歷史借閱數(shù)據(jù)中書本類別的打分，打分表征讀者對書本的喜愛程度；

2）基于借閱時間，對書本類別的打分進行時間序列預測，得到讀者對下一本書本的打分；

3）從評分數(shù)據(jù)庫中獲得與讀者對下一本書本的打分相匹配的書目類別作為讀者感興趣的書目類別；

4）數(shù)目類別與讀者對下一本書本的打分相匹配，表示其他讀者對數(shù)目類別的評分與讀者對下一本書本的打分之間的差值在預設范圍之內(nèi)，設范圍在-2~2之間。

3 結論

本課題對當今圖書館在人工智能應用發(fā)展中遇到的問題，進行充分討論和深度的剖析，提出設計開發(fā)面向讀者的一體化機器人這一概念，結合物聯(lián)網(wǎng)、無線射頻、人臉識別等技術進行交叉研究應用，主要對基于卷積神經(jīng)網(wǎng)絡圖書館機器人智能推薦系統(tǒng)制定出詳細的開發(fā)與設計路線。雖然筆者提出了完整的方案和關鍵技術的研究，但該項目涉及多學科交叉集成各類電子信息和自動化相關技術，其研究內(nèi)容不僅涉及圖書館的智能化服務，還涵蓋了機械設計、電子技術、自動化工程、計算機工程等眾多領域跨學科研究，要想項目能夠順利“落地”，接下來研究團隊還需要從全局角度設計規(guī)劃并不斷完善設計，為機器人館員早日在我國圖書館全面應用奠定理論和技術基礎。