基于數(shù)字孿生和深度強化學(xué)習(xí)的無人倉儲調(diào)度優(yōu)化

葉旭乾，王 丹，劉一陽，韓憲征

（1.中興通訊股份有限公司，廣東 深圳 518055；2.帝國理工學(xué)院，英國 倫敦 SW72AZ）

0 引言

根據(jù)中國物流與采購聯(lián)合會的數(shù)據(jù)，2021年我國社會物流總費用16.7萬億元，同比增長12.5%。社會物流總費用與GDP 的比率為14.6%，其中倉儲保管費用達到5.6 萬億元，占GDP的比重為4.9%，隨著我國電商、新零售和高端制造的發(fā)展，對高標準倉儲的需求進一步加大。無人倉儲作為一種新型的存儲方式，其相比傳統(tǒng)倉儲具有人力成本低、人員安全隱患少、貨物破損風(fēng)險低等優(yōu)勢。通訊制造企業(yè)利用無人倉儲可實現(xiàn)貨物存儲流程的無人化，對企業(yè)向自動化、數(shù)字化、智能化轉(zhuǎn)型具有重要意義。

針對精準調(diào)度和資源優(yōu)化的問題，傳統(tǒng)的解決方案主要是啟發(fā)式算法，將復(fù)雜的多目標優(yōu)化問題轉(zhuǎn)化為單目標優(yōu)化問題[1]或?qū)⑦\輸設(shè)備與立體貨架、檢測設(shè)備同時視為資源，使用基于精英策略的遺傳算法求解[2]。但這些算法的求解能力有限并且靈活程度不夠，不能很好地解決多頻次不確定數(shù)量貨物到達的調(diào)度，以及貨架、AGV、叉車等資源的配置問題，制約了倉儲的服務(wù)能力和效率。而數(shù)字孿生[3-4]作為一種智能制造和倉儲領(lǐng)域的前沿和熱點[5-8]，在本文中被引入無人倉儲領(lǐng)域。目前針對數(shù)字孿生在無人倉儲領(lǐng)域應(yīng)用的研究很少，以陶飛，等[9]提出的數(shù)字孿生五維模型及其在倉儲領(lǐng)域的應(yīng)用規(guī)劃為代表。但該技術(shù)在制造業(yè)相關(guān)領(lǐng)域應(yīng)用較多，可以作為借鑒。Tong，等[10]應(yīng)用數(shù)字孿生技術(shù)，針對生產(chǎn)加工數(shù)據(jù)難以實時交互的問題，提出了基于智能多模式終端的解決方案。Zheng，等[11]基于數(shù)字孿生三維模型提出了一種產(chǎn)品級數(shù)字孿生開發(fā)方法。Liu，等[12]結(jié)合賽博系統(tǒng)和數(shù)字孿生技術(shù)提出了一種基于網(wǎng)絡(luò)的數(shù)字孿生建模和遠程控制的網(wǎng)絡(luò)物理系統(tǒng)。

借鑒數(shù)字孿生在制造領(lǐng)域的應(yīng)用，可將數(shù)字孿生技術(shù)與無人倉儲結(jié)合，對多類資源調(diào)度和效率優(yōu)化問題，利用網(wǎng)絡(luò)技術(shù)和可視化技術(shù)動態(tài)監(jiān)控設(shè)備的運行狀態(tài)，及時處理現(xiàn)場出現(xiàn)的問題，從而提高設(shè)備的運行效率和精準調(diào)度能力，而參數(shù)的設(shè)置來源于現(xiàn)場的傳感器，故能很好地解決倉庫及時精準調(diào)度難、資源效率低下的問題。為此本文從以下三個方面開展研究：

（1）針對無人倉儲的流程特點搭建了多層級特征的數(shù)字孿生無人倉儲系統(tǒng)架構(gòu)；

（2）利用本體建模技術(shù)和數(shù)據(jù)服務(wù)系統(tǒng)搭建實時映射的數(shù)字孿生無人倉儲模型；

（3）結(jié)合數(shù)據(jù)分析和深度強化學(xué)習(xí)方法對數(shù)字孿生無人倉儲資源調(diào)度進行優(yōu)化。

1 數(shù)字孿生無人倉儲系統(tǒng)架構(gòu)

借鑒陶飛[9]提出的數(shù)字孿生系統(tǒng)五維概念模型，構(gòu)建如圖1所示的數(shù)字孿生無人倉儲系統(tǒng)框架，包含一個可感知的物理實體層，兩個技術(shù)平臺（多網(wǎng)融合的網(wǎng)絡(luò)平臺與數(shù)據(jù)服務(wù)系統(tǒng)平臺），三層架構(gòu)（感知層、數(shù)據(jù)層、服務(wù)層），三個數(shù)據(jù)庫（本地數(shù)據(jù)庫、系統(tǒng)數(shù)據(jù)庫、實時數(shù)據(jù)庫），六大邏輯流程映射（出入庫、理貨、揀貨、訂單接收、儲存、送到線邊），六類實體的實時映射（機器人、AGV、貨物、托盤、叉車、立體倉庫）。

圖1 數(shù)字孿生無人倉儲系統(tǒng)架構(gòu)

感知層用于識別物體、采集信息。該層利用感知設(shè)備讀取安裝在貨架、叉車、AGV、貨物、托盤、機器人、倉庫的相關(guān)數(shù)據(jù)之后，利用傳感器中間件技術(shù)進行數(shù)據(jù)處理，并利用相關(guān)網(wǎng)絡(luò)工具對數(shù)據(jù)進行傳輸，完成底層信息的采集。

數(shù)據(jù)層中包含用戶權(quán)限管理、數(shù)字孿生無人倉儲系統(tǒng)與對象模型庫的模型交互接口、實時數(shù)據(jù)庫和本地數(shù)據(jù)庫的數(shù)據(jù)交互接口。其中：實時數(shù)據(jù)庫包含倉庫信號、設(shè)備狀態(tài)、設(shè)備位置、展示數(shù)據(jù)、倉儲庫位數(shù)據(jù)；本地數(shù)據(jù)庫包含布局數(shù)據(jù)、邏輯數(shù)據(jù)、觸發(fā)映射表、初始化規(guī)則表、掃描點映射表、配置文件；系統(tǒng)數(shù)據(jù)庫包含設(shè)備數(shù)據(jù)、生產(chǎn)任務(wù)數(shù)據(jù)、模型庫、動作庫、訂單信息、用戶個人信息表。

服務(wù)層利用孿生數(shù)據(jù)和預(yù)測數(shù)據(jù)驅(qū)動模型運行并對數(shù)據(jù)層的數(shù)據(jù)進行迭代，實現(xiàn)倉儲系統(tǒng)的智能應(yīng)用，從而實現(xiàn)資源效率優(yōu)化、訂單數(shù)調(diào)度優(yōu)化、庫位優(yōu)化、面積區(qū)域優(yōu)化、資源信息共享等功能，并將優(yōu)化信息反饋到感知層的數(shù)據(jù)中心進行虛擬監(jiān)控。

2 數(shù)字孿生無人倉儲作業(yè)流程要素

數(shù)字孿生無人倉儲作業(yè)流程要素包含孿生實體建模、數(shù)據(jù)系統(tǒng)搭建、映射邏輯梳理。

2.1 孿生實體建模

孿生實體構(gòu)建首先采用本體建模的方法，本體的構(gòu)建重點是類和屬性，類是對實體的定義，屬性是對類特定功能的描述，所以數(shù)字孿生模型的建立需要預(yù)先進行對象和其屬性的編輯，導(dǎo)出保存在對象庫中，并記錄到對象表。屬性作為每一種對象建模的特征，可對其進行編輯，之后利用建模軟件建立物理實體的多維模型，將模型導(dǎo)入到仿真平臺，并選擇性地對模型進行輕量化處理，以減少運行時的顯示壓力。對于多維模型中可運動的組成部件，設(shè)置其為可動畫對象，進而編輯可動畫組件的動作路徑，并關(guān)聯(lián)組件動畫形成一個完整的動作。無人倉儲本體模型的屬性以及相互之間的聯(lián)系，構(gòu)成了一個復(fù)雜的網(wǎng)狀概念結(jié)構(gòu)，包含16類對象，21種聯(lián)系，91種屬性，具體如圖2所示。

圖2 無人倉儲本體模型的網(wǎng)狀結(jié)構(gòu)

2.2 數(shù)據(jù)系統(tǒng)搭建

數(shù)據(jù)服務(wù)系統(tǒng)可以實現(xiàn)實時數(shù)據(jù)庫與本地數(shù)據(jù)庫和系統(tǒng)數(shù)據(jù)庫三者之間的連接和數(shù)據(jù)調(diào)用，利用實時數(shù)據(jù)庫驅(qū)動模型運行。模型首先通過XML接口模塊訪問XML配置文件，讀取本地數(shù)據(jù)庫和實時數(shù)據(jù)庫地址信息，然后利用ODBC 接口模塊連接本地維護的靜態(tài)建模數(shù)據(jù)，并通過OWL-S技術(shù)調(diào)用以O(shè)WL方式建置的本體模型的知識本體，自動快速建立數(shù)字孿生模型，之后可選擇性地通過數(shù)據(jù)庫接口模塊周期性地按照時間戳訪問實時數(shù)據(jù)庫規(guī)則數(shù)據(jù)，并對本地數(shù)據(jù)庫和系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)進行解析，以數(shù)字孿生模型為載體快速還原無人倉儲狀態(tài)。

2.3 映射邏輯梳理

通過本體建模技術(shù)使孿生模型與物理實體在空間位置、幾何尺寸、運動特性等方面具有相同的屬性和功能。之后利用數(shù)據(jù)服務(wù)系統(tǒng)建立模型內(nèi)部與外部的控制接口，實現(xiàn)模型與三類數(shù)據(jù)庫的數(shù)據(jù)交互。最后根據(jù)實時映射規(guī)則使數(shù)字孿生模型能夠?qū)崿F(xiàn)實體要素之間的有效組合，從而完成出入庫流程、理貨流程、存儲過程、揀貨流程、訂單接收流程和送到線邊流程的有效運轉(zhuǎn)，實現(xiàn)無人倉儲整體的業(yè)務(wù)流程。實時映射邏輯流程如圖3所示。

圖3 數(shù)字孿生無人倉儲實時映射流程邏輯圖

3 數(shù)字孿生無人倉儲調(diào)度優(yōu)化邏輯

采用數(shù)字孿生技術(shù)對倉儲資源效率進行優(yōu)化時，其流程包括：基于出入庫數(shù)據(jù)、庫存數(shù)據(jù)、設(shè)備運行狀態(tài)歷史和實時數(shù)據(jù)進行預(yù)測分析；利用聚類分析方法對資源效率進行分析并運用深度強化學(xué)習(xí)方法進行優(yōu)化；將資源效率優(yōu)化后的分配方案與優(yōu)化前對比，并將優(yōu)化后的數(shù)據(jù)反饋至數(shù)據(jù)服務(wù)系統(tǒng)，進行矢量迭代輸出優(yōu)化結(jié)果。具體內(nèi)容如圖4所示。

圖4 資源效率優(yōu)化分析流程

3.1 數(shù)據(jù)分析預(yù)測

利用神經(jīng)網(wǎng)絡(luò)算法進行計算。其輸入為根據(jù)數(shù)字孿生數(shù)據(jù)中心搜集的出入庫貨物數(shù)據(jù)，包含訂單數(shù)、訂單行、收貨量、發(fā)貨量、庫存量、拆零量、SKU和設(shè)備狀態(tài)的歷史和實時數(shù)據(jù)，選擇隱含層數(shù)目等相關(guān)參數(shù)，神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)主要分為三個部分：訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)、測試數(shù)據(jù)，其比例大約為7：1.5：1.5。數(shù)據(jù)訓(xùn)練的主要目的是通過訓(xùn)練，不斷調(diào)整并最終確定神經(jīng)網(wǎng)絡(luò)的相關(guān)參數(shù)。訓(xùn)練效果用AUC值去判斷，一般是介于0.5到1之間的，其值越接近1說明隨機判斷預(yù)測結(jié)果越好。利用預(yù)測數(shù)據(jù)與底層收集的實時數(shù)據(jù)去驅(qū)動數(shù)字孿生模型運行，反饋無人倉儲可能存在的資源效率問題。

3.2 設(shè)備資源自動優(yōu)化

系統(tǒng)自動優(yōu)化流程包括對設(shè)備資源效率使用聚類分析，并基于分析結(jié)果設(shè)置自動優(yōu)化算法優(yōu)化相關(guān)參數(shù)。

利用聚類分析方法將各類設(shè)備資源效率分為3大類，以使類內(nèi)具有較高的相似度，而且類間的相似度較低。運行數(shù)字孿生無人倉儲模型，得到AGV、揀貨機器人、理貨機器人以及叉車等資源效率數(shù)據(jù)，利用聚類分析找出待優(yōu)化的資源效率值以及優(yōu)化方向。本文在無人倉儲資源優(yōu)化應(yīng)用場景下使用A2C算法，需要結(jié)合實際場景設(shè)定狀態(tài)（State）、動作a（Action）和回報r（Reward）。表1 介紹了A2C 算法中狀態(tài)矩陣可選擇的參數(shù)，包括：暫存區(qū)、儲存區(qū)、進貨區(qū)和出貨區(qū)貨架的存儲情況；理貨機器人、揀貨機器人、AGV和叉車資源利用率；當(dāng)前時刻理貨機器人、揀貨機器人、AGV和叉車資源的激活數(shù)量；下一批次到達貨物的數(shù)量、預(yù)計卸貨時間和種類；下一批次離開貨物的數(shù)量、預(yù)計裝貨時間和種類。這些參數(shù)的數(shù)據(jù)類型都是整數(shù)和浮點數(shù)，可以整合成矩陣來幫助深度強化學(xué)習(xí)模型[13]判斷并給出資源的調(diào)整方向。表2介紹了A2C算法中動作矩陣可選擇的參數(shù)，根據(jù)狀態(tài)矩陣傳入的參數(shù)，A2C算法給予各個資源在下一階段運行期間的資源池大小。以一種以AGV、進貨區(qū)叉車和出貨區(qū)叉車為資源優(yōu)化目標的獎勵函數(shù)計算方法為例，函數(shù)計算時會從模型中獲取以下參數(shù)：AGV，進貨區(qū)叉車和出貨區(qū)叉車的使用效率以及進貨區(qū)貨架，理貨區(qū)貨架，暫存區(qū)和各個儲存區(qū)貨架的當(dāng)前存量，以及上次執(zhí)行動作函數(shù)到當(dāng)前時刻貨物的平均進貨、出貨和存儲時長。當(dāng)貨架存量超過最大存量時，給予一個極大的懲罰值，同時通過懲罰值推薦智能體，將資源利用效率限定在一個較好的區(qū)間，最后計算周轉(zhuǎn)時間并給予獎勵值。表3給出了各函數(shù)和參數(shù)的定義與說明。

表1 A2C算法狀態(tài)（State）矩陣可選擇的參數(shù)

表2 A2C算法動作（Action）矩陣可選擇的參數(shù)

表3 各函數(shù)定義與描述

在訓(xùn)練前，需要將導(dǎo)出的數(shù)字孿生無人倉儲模型封裝成可以與基于Python編寫的深度強化學(xué)習(xí)模型交互的強化學(xué)習(xí)環(huán)境。之后無人倉儲模型從云端抓取需要的表單數(shù)據(jù)，并運行返回當(dāng)前狀態(tài)函數(shù)矩陣。深度強化學(xué)習(xí)模型接收狀態(tài)矩陣后做出決策，反饋給無人倉儲模型執(zhí)行動作，運行到下一判斷時刻位置后無人倉儲模型返回獎勵值和下一時刻的狀態(tài)矩陣給深度強化模型。模型直接不斷交互迭代運行，最終得到訓(xùn)練好的無人倉儲資源優(yōu)化的深度強化學(xué)習(xí)模型，具體的部署流程如圖5所示。

圖5 深度強化學(xué)習(xí)部署框架

3.3 優(yōu)化結(jié)果反饋

將經(jīng)過驗證的深度強化學(xué)習(xí)模型，結(jié)合Html 框架以Http server的形式部署到Linux系統(tǒng)服務(wù)器上。并將無人倉儲模型以jar包形式部署到云端，并提供以API形式訪問的功能。在實際應(yīng)用時，現(xiàn)場數(shù)據(jù)庫的數(shù)據(jù)經(jīng)過獲取和處理整合成模型需要的狀態(tài)和任務(wù)數(shù)據(jù)并上傳到云端數(shù)據(jù)庫中。云端的深度強化學(xué)習(xí)模型抓取數(shù)據(jù)并返回動作策略結(jié)果，通過API調(diào)用無人倉儲模型進行驗證。最后將驗證后的數(shù)據(jù)結(jié)果傳輸反饋到服務(wù)層的終端。用戶可以根據(jù)可視化的顯示界面查看優(yōu)化后的模型和相關(guān)參數(shù)，更加科學(xué)合理地分配無人倉儲資源。

4 數(shù)字孿生無人倉儲系統(tǒng)應(yīng)用

本文提出的數(shù)字孿生無人倉儲系統(tǒng)在Z公司進行了應(yīng)用。對公司2021年第一季度到2022年第二季度的10 920條訂單數(shù)據(jù)進行分析，以每隔一個星期的訂單數(shù)進行分類匯總。通過神經(jīng)網(wǎng)絡(luò)對訂單數(shù)據(jù)進行訓(xùn)練預(yù)測，其AUC值為0.924 5，說明訓(xùn)練效果較好，并將數(shù)據(jù)上傳至數(shù)據(jù)服務(wù)系統(tǒng)數(shù)據(jù)表格中，利用這些數(shù)據(jù)驅(qū)動數(shù)字孿生模型運行。利用深度強化學(xué)習(xí)A2C算法優(yōu)化，學(xué)習(xí)率參數(shù)設(shè)定為1×10^(-6)，仿真時間步長設(shè)定為5min，每次模型訓(xùn)練步數(shù)1 000步，訓(xùn)練總步長5×10^6步。

使用庫存數(shù)據(jù)運行測試對比，結(jié)果如圖6-圖8 所示。將訓(xùn)練好的模型與實際無人倉儲常使用的資源配置方式進行對比，從圖6看出優(yōu)化后的資源配置方案可以獲得更高的獎勵值。圖7展示了優(yōu)化前后的資源數(shù)量配置動態(tài)效果，可以看出為了獲得更高的獎勵值，深度強化學(xué)習(xí)模型對于無人倉儲AGV、進貨區(qū)叉車和出貨區(qū)叉車進行了動態(tài)配置。圖8分析了優(yōu)化前后貨物的入庫、出庫和在庫內(nèi)停留的時間對比，應(yīng)用深度強化學(xué)習(xí)動態(tài)配置資源后，入庫平均時間從26min降低到了25.8min，出庫的平均時間由3.7min降低到了3.4min，貨物在庫內(nèi)的平均停留時間從43.8min降低到了42.7min，在優(yōu)化資源效率的同時，入庫時間也隨著動態(tài)的資源調(diào)整有了一定的改善。

圖6 獎勵值優(yōu)化前后對比

圖7 資源配置優(yōu)化前后對比

圖8 流程時間優(yōu)化前后對比

將優(yōu)化后的數(shù)據(jù)信息反饋至數(shù)據(jù)服務(wù)系統(tǒng)，進行迭代優(yōu)化，方便后續(xù)對模型的進一步優(yōu)化，并將數(shù)據(jù)反饋至服務(wù)端的數(shù)據(jù)共享中心，決策人根據(jù)可視化界面的模型和參數(shù)，科學(xué)合理的做出相關(guān)資源的調(diào)配決策。

5 結(jié)語

本文針對基于數(shù)字孿生和深度強化學(xué)習(xí)的無人倉儲調(diào)度問題進行了研究，主要包括以下內(nèi)容和成果：

（1）設(shè)計了基于深度強化學(xué)習(xí)的無人倉儲資源優(yōu)化技術(shù)。由于現(xiàn)實環(huán)境中無法通過無人倉儲的實際現(xiàn)場來訓(xùn)練深度強化學(xué)習(xí)模型，因此本文設(shè)計了一種使用仿真軟件搭建深度強化學(xué)習(xí)模型訓(xùn)練環(huán)境的方法，訓(xùn)練時使用數(shù)字孿生無人倉儲模型作為深度強化學(xué)習(xí)模型探索的環(huán)境，測試過的模型可以直接與生產(chǎn)執(zhí)行系統(tǒng)對接，從而指導(dǎo)實際的倉儲作業(yè)。

（2）開發(fā)了可交互優(yōu)化的數(shù)字孿生無人倉儲系統(tǒng)。該系統(tǒng)支持交互式優(yōu)化求解，可以將云端數(shù)據(jù)庫、深度強化學(xué)習(xí)、數(shù)據(jù)分析技術(shù)相結(jié)合，對數(shù)字孿生無人倉儲進行優(yōu)化。將此系統(tǒng)應(yīng)用于Z公司后，提高了其規(guī)劃質(zhì)量，驗證了本文中相關(guān)模型、算法及原型系統(tǒng)的有效性和便捷性。

考慮到數(shù)字孿生的實施成本和復(fù)雜性，本文設(shè)計的系統(tǒng)離高水平集成的數(shù)字孿生仍存在較大的差距，后續(xù)將在此基礎(chǔ)上獲取更多不同對象的孿生數(shù)據(jù)，并對不同粒度的數(shù)據(jù)進行進一步研究，更好的實現(xiàn)“以虛控實”的目標。