基于深度學(xué)習(xí)的玻璃基板鏟起過(guò)程作用力預(yù)測(cè)

侯力瑋 王恒升，2? 鄒浩然

（1.中南大學(xué)機(jī)電工程學(xué)院，湖南 長(zhǎng)沙 410083；2.中南大學(xué)高性能復(fù)雜制造國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖南 長(zhǎng)沙 410083）

玻璃基板是電子產(chǎn)品顯示器最重要的基礎(chǔ)材料之一，其減薄工藝是實(shí)現(xiàn)玻璃基板更加輕薄和光潔的重要工序［1］。玻璃基板拋磨機(jī)是通過(guò)化學(xué)機(jī)械拋光（Chemical Mechanical Polishing，CMP）工藝［2］實(shí)現(xiàn)玻璃減薄的工程裝備，例如，規(guī)格（長(zhǎng)×寬）為730 mm×920 mm、厚度為1.0 mm的原料玻璃，通過(guò)該工序其最終目標(biāo)厚度可達(dá)（0.40±0.04）mm。在拋磨過(guò)程中，玻璃基板處于上定盤(pán)和下定盤(pán)之間，兩盤(pán)之間做相對(duì)旋轉(zhuǎn)與平移運(yùn)動(dòng)，并與覆蓋循環(huán)的化學(xué)拋磨液相互作用，從而實(shí)現(xiàn)工藝目標(biāo)。這種工藝對(duì)玻璃基板的夾持要求很高，為防止拋磨過(guò)程中對(duì)玻璃基板造成劃傷、破裂等損害，目前普遍采用一種1 mm左右厚度的聚氨酯發(fā)泡墊（稱為吸附墊）進(jìn)行真空吸附。吸附墊粘貼在剛性工作臺(tái)上，超薄玻璃平放在吸附墊上，通過(guò)外力壓實(shí)，排出吸附墊內(nèi)微細(xì)孔中的空氣，使玻璃基板與吸附墊緊密貼合。完成減薄后，需要將玻璃基板與吸附墊分離，實(shí)現(xiàn)玻璃基板的卸片操作。

目前，玻璃基板卸片仍主要由人工完成，依賴于人工以手指“摳”的方式向上揭起玻璃，如圖1（a）所示。手工卸片方式不僅生產(chǎn)效率低，而且操作過(guò)程易造成玻璃基板碎裂。市場(chǎng)對(duì)卸片工藝的自動(dòng)化、精細(xì)化操作提出了迫切要求。文中的工程背景如圖1（b）所示，目標(biāo)是用末端安裝有六維力傳感器的多關(guān)節(jié)機(jī)械臂代替人工來(lái)實(shí)現(xiàn)玻璃基板與吸附墊的分離，自動(dòng)完成卸片操作。

圖1玻璃基板卸片過(guò)程Fig.1 Unloading process of glass substrate

圖1 （b）所示的自動(dòng)化卸片方式是筆者所在課題組提出的一種工藝方案［3］，要求：①卸片過(guò)程中，鏟刀一方面與吸附墊保持一定按壓狀態(tài)，以確保其前端可以進(jìn)入吸附墊與玻璃基板之間的界面；②另一方面，鏟刀需向前推進(jìn)，其上表面與玻璃基板相對(duì)滑動(dòng)，使玻璃基板與吸附墊分離。這一過(guò)程中，鏟刀上下表面都發(fā)生了復(fù)雜的接觸力學(xué)行為。為避免玻璃基板鏟起過(guò)程中造成玻璃基板或吸附墊的損壞，同時(shí)考慮到現(xiàn)有檢測(cè)技術(shù)難以對(duì)兩個(gè)界面上的接觸力進(jìn)行直接測(cè)量，因此只能間接對(duì)機(jī)器人施加在鏟刀上的作用力進(jìn)行控制。對(duì)作用力進(jìn)行精確控制是實(shí)現(xiàn)安全、高效玻璃基板自動(dòng)化卸片的關(guān)鍵，而準(zhǔn)確的作用力預(yù)測(cè)是精確控制的基礎(chǔ)，文中工作就基于這一任務(wù)目標(biāo)展開(kāi)。

玻璃基板鏟起過(guò)程中需要施加的作用力受多界面接觸動(dòng)力學(xué)的影響，而且與鏟刀運(yùn)動(dòng)狀態(tài)直接相關(guān)。如果可以利用帶有噪聲的傳感器觀測(cè)數(shù)據(jù)、機(jī)器人歷史與未來(lái)運(yùn)動(dòng)軌跡對(duì)卸片過(guò)程中施加在鏟刀上的作用力進(jìn)行預(yù)測(cè)，就可避免卸片過(guò)程造成的對(duì)玻璃基板與吸附墊的損壞，進(jìn)一步地，可以結(jié)合模型預(yù)測(cè)控制［4］等方法對(duì)運(yùn)動(dòng)軌跡進(jìn)行優(yōu)化，提高任務(wù)完成的質(zhì)量與效率。文中主要關(guān)注玻璃基板鏟起過(guò)程中的作用力預(yù)測(cè)問(wèn)題。如何基于作用力預(yù)測(cè)結(jié)果對(duì)機(jī)械臂運(yùn)動(dòng)速度進(jìn)行規(guī)劃，以縮短操作時(shí)間、減少磨損，將作為后續(xù)工作進(jìn)行研究，本文不就此進(jìn)行討論。

對(duì)機(jī)器人操作過(guò)程中的接觸力行為進(jìn)行有效建模具有重要意義［5］，目前已有大量關(guān)于機(jī)器人與環(huán)境交互時(shí)的接觸問(wèn)題的研究，例如對(duì)足式機(jī)器人行走過(guò)程中足底與地面間存在的瞬時(shí)法向接觸力的分析［6］，對(duì)機(jī)械手抓取物體時(shí)的靜態(tài)法向作用力的計(jì)算等［7］。但現(xiàn)有研究大多依賴物理引擎來(lái)對(duì)接觸力進(jìn)行計(jì)算［8］，或者僅考慮準(zhǔn)靜態(tài)條件下的受力情況，將方法限制在僅包含剛體運(yùn)動(dòng)的理想化場(chǎng)景中，且很少考慮粘性滑移所產(chǎn)生的接觸動(dòng)力學(xué)問(wèn)題。有鑒于此，文中設(shè)計(jì)了一種可以有效表征接觸動(dòng)力學(xué)的深度學(xué)習(xí)模型結(jié)構(gòu)，并從融合物理先驗(yàn)知識(shí)的角度分析了仿真數(shù)據(jù)采集方法與損失函數(shù)設(shè)計(jì)方法，以期準(zhǔn)確預(yù)測(cè)玻璃基板鏟起過(guò)程中的作用力。

圖2 玻璃基板卸片過(guò)程示意圖Fig.2 Schematic diagram of the unloading process of glass substrate

1 任務(wù)分析

1.1 受力分析

圖2描述了玻璃基板自動(dòng)化卸片過(guò)程中鏟刀在機(jī)械臂帶動(dòng)下的完整運(yùn)動(dòng)過(guò)程：①?gòu)臒o(wú)外力約束的初始點(diǎn)A運(yùn)動(dòng)到與吸附墊保持一定按壓的位置B；②在保持與吸附墊按壓狀態(tài)的同時(shí)，水平向前運(yùn)動(dòng)，直至到達(dá)與玻璃基板接觸的位置C；③繼續(xù)向前水平運(yùn)動(dòng)，直至運(yùn)動(dòng)到終點(diǎn)位置D，此過(guò)程中玻璃基板邊緣被鏟起，稱為破真空。破真空后整個(gè)玻璃基板與吸附墊分離，此過(guò)程不在文中討論范圍。

文中主要考慮運(yùn)動(dòng)過(guò)程③（即從C點(diǎn)運(yùn)動(dòng)到D點(diǎn)）的作用力預(yù)測(cè)問(wèn)題，此過(guò)程中鏟刀不僅底面與吸附墊之間存在按壓與相對(duì)運(yùn)動(dòng)，而且上表面也與玻璃基板下表面保持接觸狀態(tài)。這一運(yùn)動(dòng)過(guò)程包含了來(lái)自兩個(gè)接觸界面間的復(fù)雜接觸行為，不僅影響整個(gè)系統(tǒng)的演化過(guò)程，也決定了為實(shí)現(xiàn)預(yù)期操作目標(biāo)所需要施加的作用力。

為使研究結(jié)論具有普遍適用性，文中不考慮機(jī)械臂構(gòu)型的影響，僅對(duì)鏟刀的受力情況進(jìn)行分析。玻璃基板鏟起過(guò)程中鏟刀的受力情況如圖3所示。根據(jù)剛體上力的平移定理，將各矢量力平移到同一點(diǎn)，用Mr表示力平移產(chǎn)生的力偶矩之和。鏟刀受到的合力F（t）由以下幾部分構(gòu)成：

式中：FR（t）為機(jī)械臂對(duì)鏟刀的作用力，由于鏟刀與機(jī)械臂末端的六維力傳感器安裝在一起，因此FR（t）可以根據(jù)力傳感器讀取，是可觀測(cè)量，文中需要預(yù)測(cè)的作用力即為FR（t）在水平與豎直方向的分量；FP為鏟刀與吸附墊之間的壓力；Ff（t）為鏟刀與吸附墊間的摩擦力；FC（t）為鏟刀與玻璃基板之間接觸力的合力；FG為鏟刀的重力。

圖3 鏟刀受力分析Fig.3 Force analysis of shoveling knife

鏟刀在X-Z平面上運(yùn)動(dòng)（玻璃基板卸片過(guò)程中不考慮鏟刀沿Y軸的運(yùn)動(dòng)），其位姿可以用（x，z，φ）描述，其中x和z分別代表鏟刀相對(duì)初始點(diǎn)O沿X軸與Y軸的距離，φ代表鏟刀底面與X軸間的夾角。為描述方便，下文用構(gòu)型q代表鏟刀位姿。鏟刀運(yùn)動(dòng)可以用下式描述：

式中：M(q)為鏟刀慣性量；Δt為時(shí)間步長(zhǎng)，也是下文仿真與實(shí)驗(yàn)的采樣時(shí)間間隔；v與v′分別為鏟刀在笛卡爾空間運(yùn)動(dòng)時(shí)前后兩個(gè)時(shí)刻的速度。

鏟刀的狀態(tài)可以用下式更新：

式中，q與q′分別代表前后兩個(gè)時(shí)刻的鏟刀構(gòu)型。

鏟刀與吸附墊間的接觸行為取決于Ff和Fp。吸附墊是高分子化合物制成的聚氨酯發(fā)泡墊，是典型的彈性體，其與鏟刀底面發(fā)生相對(duì)運(yùn)動(dòng)時(shí)，會(huì)由于彈性體延遲恢復(fù)與表面效應(yīng)而使Ff呈現(xiàn)出很強(qiáng)的非線性［9］。鏟刀與吸附墊一直處于接觸狀態(tài)，因此有|Fp|≥0。Fp與鏟刀相對(duì)吸附墊表面的壓入距離r相關(guān)，壓入距離r滿足以下公式：

式中，kp和bp分別為吸附墊的接觸剛度和接觸阻尼。

鏟刀與玻璃基板間的接觸力FC（t）由界面水平與豎直兩個(gè)方向的作用力共同組成。假設(shè)鏟刀與玻璃基板之間有m個(gè)接觸點(diǎn)，則有

式中：λN，i和λT，i分別為第i個(gè)接觸點(diǎn)處的法向脈沖量與切向脈沖量，JN，i（q）和JT，i（q）是與構(gòu)型相關(guān)的接觸雅克比矩陣，可以將廣義速度映射到第i個(gè)接觸點(diǎn)法向與切向方向上的歐氏速度。λN，i與λT，i共同決定了接觸特性，λN，i阻礙穿透現(xiàn)象的發(fā)生，λT，i阻礙鏟刀與玻璃表面滑動(dòng)的發(fā)生。盡管使機(jī)器人在每個(gè)單位時(shí)間內(nèi)維持某一速度v推動(dòng)鏟刀前進(jìn)，但由于玻璃與金屬間的靜摩擦系數(shù)μs與動(dòng)摩擦系數(shù)μk相差較大，鏟刀與玻璃間存在粘-滑運(yùn)動(dòng)［10］，導(dǎo)致運(yùn)動(dòng)過(guò)程中λT，i劇烈波動(dòng)，且滿足μkλN，i≤λT，i≤μsλN，i。

通過(guò)上述分析可知，作用力FR（t）同時(shí)受到多個(gè)界面接觸動(dòng)力學(xué)的影響，表現(xiàn)出多模態(tài)、非線性、非平穩(wěn)性的特性；而且材料的動(dòng)力學(xué)參數(shù)為系統(tǒng)帶來(lái)了不確定性，各參數(shù)的微小變動(dòng)可能產(chǎn)生截然不同的計(jì)算結(jié)果。機(jī)器人接觸問(wèn)題建模常用的胡克定律建模法［11］或者有限元模型法［12］等都不適用于對(duì)作用力FR（t）進(jìn)行建模。前者依賴于對(duì)操作對(duì)象的強(qiáng)假設(shè)，不適用于文中物理系統(tǒng)涉及的彈性變形以及空間大尺度位移帶來(lái)的摩擦接觸行為；后者僅適合解決靜力學(xué)問(wèn)題，不適合處理文中的動(dòng)態(tài)任務(wù)。解決此問(wèn)題的一種可行思路是采用數(shù)據(jù)驅(qū)動(dòng)的建模方法，將作用力的建模問(wèn)題轉(zhuǎn)變?yōu)闄C(jī)器學(xué)習(xí)中的回歸問(wèn)題。

1.2 建模思路

將作用力預(yù)測(cè)模型用參數(shù)化隱函數(shù)f的形式表示如下：

式中：t代表當(dāng)前時(shí)刻；θ為f的參數(shù)；h和H分別為觀測(cè)時(shí)域與預(yù)測(cè)時(shí)域，H=1時(shí)為單步預(yù)測(cè)，H＞1時(shí)為多步預(yù)測(cè)。由于鏟刀運(yùn)動(dòng)過(guò)程中沿豎直方向Z與水平方向X的接觸動(dòng)力學(xué)特性不同，因此文中將兩個(gè)方向的作用力預(yù)測(cè)問(wèn)題單獨(dú)考慮。

用圖4來(lái)表示式（6）所描述的作用力預(yù)測(cè)模型。模型輸入量為過(guò)去h個(gè)時(shí)間步長(zhǎng)的鏟刀位移q和已采集的傳感器讀數(shù)FR(t-h：t)。機(jī)械臂的控制量為運(yùn)動(dòng)速度v(t-h：t+H)，可以人為設(shè)定，也可以利用軌跡規(guī)劃算法確定。v(t-h：t+H)同樣也是作用力預(yù)測(cè)模型的輸入量，但是與鏟刀位移和已觀測(cè)作用力序列的長(zhǎng)度不同。在時(shí)刻t，需要對(duì)未來(lái)H個(gè)時(shí)間步長(zhǎng)的作用力進(jìn)行預(yù)測(cè)，模型輸出為未來(lái)H個(gè)時(shí)間步長(zhǎng)的作用力預(yù)測(cè)值FR（t+1：t+H）。

圖4 作用力預(yù)測(cè)任務(wù)示意圖Fig.4 Schematic diagram of force prediction task

fθ的建?？梢杂蒙疃壬窠?jīng)網(wǎng)絡(luò)［13］、高斯過(guò)程回歸［14］等機(jī)器學(xué)習(xí)模型，將表征接觸動(dòng)力學(xué)的差分方程嵌入到端到端的參數(shù)模型中。但是純數(shù)據(jù)驅(qū)動(dòng)的方法因?yàn)椴豢紤]任何有關(guān)物理系統(tǒng)特性的先驗(yàn)知識(shí)，需要利用大量訓(xùn)練樣本才能使模型收斂。除此之外，模型性能也受限于仿真器的準(zhǔn)確性，將模型的應(yīng)用限制在了仿真環(huán)境中［15］。

將機(jī)理模型與數(shù)據(jù)驅(qū)動(dòng)模型結(jié)合起來(lái)有望提高fθ的訓(xùn)練效率。最經(jīng)典的方法是參數(shù)辨識(shí)［16］，但該方法對(duì)機(jī)理模型要求很高，玻璃基板鏟起過(guò)程的力學(xué)模型難以準(zhǔn)確建立。另外一種經(jīng)典的方法是用機(jī)器學(xué)習(xí)模型對(duì)機(jī)理模型進(jìn)行補(bǔ)償［17］，當(dāng)機(jī)理模型不準(zhǔn)確時(shí)，此類方法要求采集足夠多的實(shí)驗(yàn)數(shù)據(jù)對(duì)機(jī)理模型進(jìn)行修正，同樣不適合玻璃基板卸片這種對(duì)操作安全性要求較高的場(chǎng)景。

上述兩種經(jīng)典方法都采用了以機(jī)理建模為主、數(shù)據(jù)建模為輔的結(jié)合方法。反過(guò)來(lái)，如果將機(jī)理建模作為先驗(yàn)知識(shí)融合到數(shù)據(jù)驅(qū)動(dòng)模型的訓(xùn)練過(guò)程中，即可實(shí)現(xiàn)以數(shù)據(jù)建模為主、機(jī)理建模為輔的結(jié)合方法。這種結(jié)合方法已被驗(yàn)證可以顯著提高數(shù)據(jù)驅(qū)動(dòng)模型的訓(xùn)練效率［18］。Cranmer等［19］基于能量守恒與動(dòng)量守恒定律來(lái)表示接觸動(dòng)力學(xué)，將其建模為拉格朗日動(dòng)力學(xué)方程，然后用深度學(xué)習(xí)模型對(duì)動(dòng)力學(xué)方程中的拉格朗日函數(shù)進(jìn)行參數(shù)化學(xué)習(xí)，這樣就構(gòu)建了包含弱物理先驗(yàn)的神經(jīng)網(wǎng)絡(luò)。然而，現(xiàn)有數(shù)據(jù)模型與機(jī)理先驗(yàn)混合驅(qū)動(dòng)的接觸動(dòng)力學(xué)表征方法都僅對(duì)牛頓剛體系統(tǒng)有效，無(wú)法用于文中應(yīng)用場(chǎng)景。

本研究受文獻(xiàn)［19］的啟發(fā)，同時(shí)考慮到在現(xiàn)實(shí)世界中直接采集訓(xùn)練數(shù)據(jù)不僅有限，而且存在損壞工件的危險(xiǎn)，因此采用以下思路構(gòu)建基于深度學(xué)習(xí)的作用力預(yù)測(cè)模型：首先利用基于微分物理引擎構(gòu)建的仿真環(huán)境生成足夠的訓(xùn)練樣本；然后將物理先驗(yàn)知識(shí)融入深度學(xué)習(xí)模型結(jié)構(gòu)設(shè)計(jì)與模型訓(xùn)練方法中，對(duì)預(yù)測(cè)模型進(jìn)行預(yù)訓(xùn)練；最后將模型部署到實(shí)際場(chǎng)景中。與文獻(xiàn)［19］不同的是，文中的應(yīng)用場(chǎng)景包含了更豐富的接觸行為，因此將物理信息的演化規(guī)律隱式地包含在參數(shù)模型結(jié)構(gòu)設(shè)計(jì)與模型訓(xùn)練的整個(gè)流程中。

將機(jī)理模型信息作為先驗(yàn)融入到深度學(xué)習(xí)模型的訓(xùn)練中，其本質(zhì)是為深度學(xué)習(xí)設(shè)計(jì)更強(qiáng)的歸納偏置以提高樣本利用效率［20］。為了高效構(gòu)建作用力預(yù)測(cè)的深度學(xué)習(xí)模型，文中采用以下歸納偏置以縮小最優(yōu)參數(shù)的搜索空間，作為模型設(shè)計(jì)與模型訓(xùn)練的依據(jù)：

假設(shè)1玻璃基板卸片中的多界面接觸動(dòng)力學(xué)行為可以通過(guò)捕捉運(yùn)動(dòng)與接觸動(dòng)力學(xué)演化軌跡的局部特征與長(zhǎng)序列特征進(jìn)行描述。這一歸納偏置在何彥等［21］的研究中得到了體現(xiàn)。

假設(shè)2同一系統(tǒng)不同動(dòng)力學(xué)參數(shù)所產(chǎn)生的接觸動(dòng)力學(xué)在高維空間相對(duì)聚集。這一歸納偏置在Peng等［22］的研究中得到了體現(xiàn)。

2 模型結(jié)構(gòu)與訓(xùn)練方法

本節(jié)將根據(jù)上文提出的歸納偏置分析預(yù)測(cè)模型的結(jié)構(gòu)與訓(xùn)練方法。

2.1 模型結(jié)構(gòu)

作用力預(yù)測(cè)屬于時(shí)間序列建模問(wèn)題。在時(shí)間序列建模中，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）模型及其變體——長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)的應(yīng)用最為廣泛［23］。但是，玻璃基板鏟起過(guò)程中力傳感器的讀數(shù)存在噪聲，而且玻璃基板與吸附墊的動(dòng)力學(xué)參數(shù)也存在不確定性，這為上述深度序列模型的訓(xùn)練帶來(lái)了困難。

為設(shè)計(jì)一種魯棒性與表征能力更強(qiáng)的深度學(xué)習(xí)模型結(jié)構(gòu)，根據(jù)假設(shè)1，文中以神經(jīng)網(wǎng)絡(luò)模型作為基礎(chǔ)模型結(jié)構(gòu)，設(shè)計(jì)了局部特征提取模塊、注意力機(jī)制模塊、時(shí)序特征提取模塊等模塊。

2.1.1 基于多尺度卷積核的局部特征提取模塊

一段時(shí)間序列數(shù)據(jù)的不同時(shí)間尺度中往往包含不同的信息，例如粘-滑運(yùn)動(dòng)中，“粘”行為往往集中在小時(shí)間尺度中，“滑”行為則分布在大時(shí)間尺度中。因此，文中設(shè)計(jì)了多尺度的一維卷積神經(jīng)網(wǎng)絡(luò)（1D-CNN）來(lái)對(duì)時(shí)間序列數(shù)據(jù)的局部特征進(jìn)行提取。卷積層利用卷積核按一定步長(zhǎng)對(duì)輸入序列進(jìn)行遍歷，在遍歷的位置上卷積核與輸入數(shù)據(jù)做矩陣乘法運(yùn)算，再求和：

式中，w為卷積核權(quán)重，x(i，j)為起點(diǎn)為（i，j）的卷積區(qū)域。

文中設(shè)計(jì)了3種不同大小的卷積核，尺寸分別為3×2、3×4、3×6，均以步長(zhǎng)stride=1遍歷輸入序列。為了使各卷積核輸出序列長(zhǎng)度一致，3種卷積核分別取padding為0、1、2。用多尺度卷積核提取輸入序列局部特征的數(shù)據(jù)處理過(guò)程如圖5所示。

圖5 基于多尺度卷積核的局部特征提取Fig.5 Local feature extraction based on multiscale convolution kernel

2.1.2 注意力機(jī)制模塊

利用局部特征提取模塊得到3個(gè)序列S1、S2和S3，包含了與接觸動(dòng)力學(xué)相關(guān)的不同尺度的局部信息，但是需要進(jìn)一步提取各數(shù)據(jù)時(shí)間維度的信息。由于這3個(gè)時(shí)間序列對(duì)作用力預(yù)測(cè)的重要程度不同，因此設(shè)計(jì)了如下注意力機(jī)制來(lái)對(duì)3個(gè)序列進(jìn)行處理：

式中，MLP代表全連接神經(jīng)網(wǎng)絡(luò)，softmax代表softmax激活函數(shù)。

注意力機(jī)制模塊的輸出根據(jù)下式計(jì)算：

2.1.3 基于LSTM的時(shí)序特征提取模塊

在接觸動(dòng)力學(xué)建模中，各物理量的時(shí)間先后依賴關(guān)系起著關(guān)鍵性的作用，因此文中采用LSTM網(wǎng)絡(luò)作為時(shí)間特征提取模塊對(duì)序列數(shù)據(jù)進(jìn)行分析。LSTM網(wǎng)絡(luò)中包含了1個(gè)記憶單元狀態(tài)st和3個(gè)控制門(mén)——遺忘門(mén)、輸入門(mén)與輸出門(mén)。在時(shí)間步長(zhǎng)為t的時(shí)間里記憶單元狀態(tài)Ct與輸出ot的計(jì)算公式如下：

式中，f、i、g、C、o依次為遺忘門(mén)、輸入門(mén)、備選更新單元狀態(tài)、更新后單元狀態(tài)以及輸出門(mén)，W與b分別為相應(yīng)的權(quán)重矩陣與偏置向量，tanh為雙曲正切激活函數(shù)。

經(jīng)過(guò)上述運(yùn)算得到的特征向量包含了局部與時(shí)序的歷史信息，但是在預(yù)測(cè)時(shí)域內(nèi)執(zhí)行不同運(yùn)動(dòng)速度同樣會(huì)對(duì)作用力產(chǎn)生影響，因此，將特征向量與未來(lái)時(shí)刻的運(yùn)動(dòng)速度進(jìn)行拼接后，才與4層全連接層連接。全連接層的功能是完成回歸任務(wù)，各全連接層的神經(jīng)元個(gè)數(shù)依次為128、64、32、16，激活函數(shù)使用ReLu函數(shù)。模型整體結(jié)構(gòu)如圖6所示。

圖6 作用力預(yù)測(cè)模型的結(jié)構(gòu)Fig.6 Structure of force prediction model

2.2 仿真數(shù)據(jù)采集策略

深度學(xué)習(xí)模型的訓(xùn)練依賴大量訓(xùn)練數(shù)據(jù)，面對(duì)安全性要求嚴(yán)格的玻璃基板鏟起過(guò)程，文中在仿真環(huán)境中采集數(shù)據(jù)用于模型預(yù)訓(xùn)練。選取PyBullet［24］作為物理引擎對(duì)玻璃基板卸片過(guò)程進(jìn)行仿真，當(dāng)選取的動(dòng)力學(xué)參數(shù)與真實(shí)物理系統(tǒng)相符時(shí)，可以準(zhǔn)確地模擬真實(shí)接觸行為?？紤]到實(shí)際工程中玻璃基板、吸附墊的動(dòng)力學(xué)參數(shù)與力傳感器觀測(cè)量都存在不確定性，為了使仿真數(shù)據(jù)能夠更真實(shí)地反映接觸行為，文中采用了下文所述的兩種數(shù)據(jù)采集策略。

2.2.1 動(dòng)力學(xué)參數(shù)隨機(jī)化

在實(shí)際玻璃基板卸片過(guò)程中，即便采用同一批吸附墊，鏟刀與吸附墊之間的接觸行為也可能因?yàn)槲綁|力學(xué)特性的微小改變而不同。同時(shí)，玻璃基板減薄效果直接決定了玻璃基板的表面特性，進(jìn)而影響鏟刀與玻璃基板之間的接觸行為。為提高作用力預(yù)測(cè)模型的魯棒性，文中依據(jù)假設(shè)2，通過(guò)動(dòng)力學(xué)參數(shù)隨機(jī)化方法獲取不同接觸行為的訓(xùn)練樣本，使真實(shí)場(chǎng)景下的接觸動(dòng)力學(xué)信息總是可以包含在一部分樣本中。用Pk=｛p1，p2，…，pN｝k∈RN代表一組動(dòng)力學(xué)參數(shù)，N為可變動(dòng)力學(xué)參數(shù)的個(gè)數(shù)，RN為動(dòng)力學(xué)參數(shù)空間。通過(guò)在動(dòng)力學(xué)參數(shù)空間中采樣不同的參數(shù)組合以構(gòu)建不同的仿真環(huán)境，各動(dòng)力學(xué)參數(shù)pi（i=1，2，…，N）都在相應(yīng)的區(qū)間［pilow，pihigh］內(nèi)均勻采樣。文中的可變動(dòng)力學(xué)參數(shù)包括玻璃基板表面和吸附墊表面的滑動(dòng)摩擦系數(shù)、接觸剛度以及接觸阻尼。

2.2.2 作用力補(bǔ)償

以上仿真環(huán)境的搭建都假設(shè)所有對(duì)象均為剛體，而操作對(duì)象玻璃基板自身具有一定彈性，在玻璃基板卸片過(guò)程中會(huì)發(fā)生彎曲；此外，未被鏟起部分的玻璃基板與吸附墊之間還存在吸附力。為更加真實(shí)地模擬真實(shí)場(chǎng)景，還需要考慮上述因素的影響。由圖3可知，F(xiàn)C的反作用力F′C作用在玻璃基板上，它不僅產(chǎn)生了使玻璃基板發(fā)生彎曲的剪力fbend，也提供了玻璃基板脫附所需的載荷fpeel。

根據(jù)懸臂梁的撓曲線公式計(jì)算fbend：

式中：φ為脫附角，Lp為已被鏟起的玻璃基板長(zhǎng)度，這兩個(gè)量都可以先在仿真環(huán)境中觀測(cè)玻璃基板上接觸點(diǎn)的位置，再根據(jù)幾何知識(shí)計(jì)算；E為彈性模量，I為抗彎慣性矩。

由于玻璃基板截面為矩形，且厚度為h，寬度為b，有

聯(lián)立式（17）和（18），有筆者前期研究［25］表明，玻璃基板從吸附墊上脫附的臨界脫附力fˉpeel是關(guān)于速度、剝離角度的函數(shù)。結(jié)合實(shí)測(cè)數(shù)據(jù)，用二元二次多項(xiàng)式逼近fˉpeel，有［26］

文中假設(shè)執(zhí)行操作任務(wù)的機(jī)械臂各關(guān)節(jié)可提供足夠大的力矩鏟起玻璃基板，因此在任何運(yùn)行速度下機(jī)器人可提供滿足臨界脫附力fˉpeel的驅(qū)動(dòng)力，故有fpeel≈fˉpeel。

假設(shè)鏟刀的傾角為α，可以根據(jù)式（21）和（22）對(duì)仿真環(huán)境中采集的FR進(jìn)行補(bǔ)償：

2.3 損失函數(shù)

損失函數(shù)用于衡量模型預(yù)測(cè)值與真實(shí)值之間的偏離程度。作用力預(yù)測(cè)問(wèn)題屬于回歸問(wèn)題，文中選擇均方誤差（Mean-Square Error，MSE）作為損失函數(shù)：

式中，為模型預(yù)測(cè)值。

如果FR均為實(shí)驗(yàn)采集的數(shù)據(jù)，則僅利用LMSE就可以訓(xùn)練出一個(gè)準(zhǔn)確率足夠高的模型。但是現(xiàn)有的物理引擎在仿真接觸動(dòng)力學(xué)時(shí)大多采用的是速度步進(jìn)的方法［23］，需要在每個(gè)仿真步長(zhǎng)內(nèi)求解NP難解問(wèn)題，盡管可以采用凸逼近的方法在有限時(shí)間內(nèi)找到接近真實(shí)接觸行為的可行解，但其物理準(zhǔn)確性難以保證。為了解決該問(wèn)題，需要將更多先驗(yàn)知識(shí)加入損失函數(shù)中，對(duì)可行解的空間進(jìn)行約束，引導(dǎo)模型的學(xué)習(xí)過(guò)程收斂到更符合接觸動(dòng)力學(xué)的最優(yōu)參數(shù)。

在仿真實(shí)驗(yàn)中發(fā)現(xiàn)，一些情況下鏟刀壓入吸附墊的距離r過(guò)大，甚至出現(xiàn)不合理的“穿透”現(xiàn)象，因此引入以下?lián)p失函數(shù)對(duì)該現(xiàn)象進(jìn)行懲罰：

式中，φp，n，i為鏟刀壓入吸附墊的距離，φl(shuí)im為允許鏟刀壓入的極限距離。

因此，建立作用力預(yù)測(cè)模型的問(wèn)題就轉(zhuǎn)變?yōu)榍蠼庖韵聝?yōu)化問(wèn)題：

式中，ε為兩個(gè)損失函數(shù)的權(quán)重調(diào)節(jié)系數(shù)。

3 實(shí)驗(yàn)與結(jié)果

3.1 實(shí)驗(yàn)流程描述

為了檢驗(yàn)文中方法的有效性，開(kāi)展了實(shí)際玻璃基板卸片任務(wù)來(lái)對(duì)模型的預(yù)測(cè)性能進(jìn)行評(píng)價(jià)。對(duì)基于深度學(xué)習(xí)的作用力預(yù)測(cè)模型的訓(xùn)練整體劃分為兩個(gè)階段：基于仿真數(shù)據(jù)的模型預(yù)訓(xùn)練與基于少量實(shí)驗(yàn)數(shù)據(jù)的模型參數(shù)微調(diào)。整個(gè)實(shí)驗(yàn)的流程如圖7所示。首先在仿真環(huán)境中采集訓(xùn)練數(shù)據(jù)，對(duì)模型進(jìn)行預(yù)訓(xùn)練。由于仿真數(shù)據(jù)與真實(shí)情況不可避免地存在誤差，因此再用少量實(shí)驗(yàn)數(shù)據(jù)對(duì)訓(xùn)練好的模型進(jìn)行微調(diào)。模型微調(diào)的具體做法是將特征提取層的參數(shù)固定，對(duì)回歸器進(jìn)行微調(diào)。

圖7 實(shí)驗(yàn)流程Fig.7 Workflow of experiments

3.2 數(shù)據(jù)采集與模型訓(xùn)練

共設(shè)置1 000組動(dòng)力學(xué)參數(shù)來(lái)進(jìn)行仿真實(shí)驗(yàn)，每組動(dòng)力學(xué)參數(shù)均采樣50條軌跡，其中，在不同運(yùn)動(dòng)速度v下均采樣5條軌跡，v∈｛1，2，…，9，10｝（單位：mm/s）。單條軌跡采樣過(guò)程中保持勻速運(yùn)動(dòng)。這樣，在仿真環(huán)境中共得到50000條軌跡。將其中40000條軌跡作為訓(xùn)練集，5000條軌跡作為驗(yàn)證集，剩余的5000條軌跡作為測(cè)試集。模型微調(diào)采用的實(shí)際采集數(shù)據(jù)為10條軌跡，各軌跡用從1mm/s到10 mm/s的不同勻速運(yùn)動(dòng)速度來(lái)采集。最后，用另外10條軌跡對(duì)最終模型進(jìn)行評(píng)估。軌跡τi均由四元組構(gòu)成：

式中：(FR(t-h：t)，q(t-h：t)，v(t-h：t+H))為模型輸入，將輸入數(shù)據(jù)均減去均值并除以方差后可得到標(biāo)準(zhǔn)化的數(shù)據(jù)；FR(t+1：t+H)為模型的輸出（標(biāo)簽），即為模型需要預(yù)測(cè)的作用力。文中軌跡采樣頻率（力傳感器采樣頻率）為100Hz，考慮到力傳感數(shù)據(jù)中存在較大噪聲，將10組力數(shù)據(jù)進(jìn)行低通濾波后求平均值，并作為預(yù)測(cè)模型輸入力的單個(gè)數(shù)據(jù)，即預(yù)測(cè)模型的工作頻率為10Hz。

利用PyTorch構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，模型訓(xùn)練運(yùn)行在兩塊GTX 1080Ti顯卡的服務(wù)器上。求解式（25）采用的優(yōu)化器為Adam，學(xué)習(xí)率等于0.000 1，所有數(shù)據(jù)循環(huán)迭代訓(xùn)練500輪。文中分別開(kāi)展了單步預(yù)測(cè)與多步預(yù)測(cè)實(shí)驗(yàn)。實(shí)驗(yàn)設(shè)置為h=10、H=1與h=10、H=5，即分別用前10個(gè)時(shí)間步的數(shù)據(jù)來(lái)預(yù)測(cè)第11個(gè)時(shí)間步的作用力、用前10個(gè)時(shí)間步的數(shù)據(jù)來(lái)預(yù)測(cè)第11到15個(gè)時(shí)間步的作用力。

采用平均誤差與相關(guān)系數(shù)作為評(píng)價(jià)指標(biāo)，前者可以判斷預(yù)測(cè)結(jié)果的偏離情況，后者可以用于檢驗(yàn)?zāi)Ｐ皖A(yù)測(cè)作用力與真實(shí)作用力走勢(shì)是否一致。均方根誤差RMSE和相關(guān)系數(shù)Corr的計(jì)算公式如下：

式中，y與分別為真實(shí)值與預(yù)測(cè)值，Var(y)和Var()分別為真實(shí)值與預(yù)測(cè)值的方差，Cov（y，y^）為y與的協(xié)方差。

3.3 結(jié)果與評(píng)價(jià)

3.3.1 模型訓(xùn)練

圖8所示為文中模型在訓(xùn)練過(guò)程中作用力的均方根誤差隨訓(xùn)練輪次的變化（以豎直方向作用力預(yù)測(cè)為例）。為了分析所提出的考慮物理位置懲罰項(xiàng)的損失函數(shù)的有效性，實(shí)驗(yàn)中還用僅包含LMSE的損失對(duì)模型進(jìn)行訓(xùn)練，對(duì)使用兩種不同損失函數(shù)時(shí)模型訓(xùn)練的效果進(jìn)行對(duì)比。

可以發(fā)現(xiàn)，無(wú)論是單步預(yù)測(cè)還是多步預(yù)測(cè)，僅采用LMSE時(shí)模型在訓(xùn)練過(guò)程中的性能抖動(dòng)明顯，而同時(shí)使用LMSE和LPENE時(shí)訓(xùn)練更加平穩(wěn)，造成這一現(xiàn)象的原因是僅采用LMSE時(shí)模型會(huì)擬合一些與實(shí)際物理情形相悖的仿真數(shù)據(jù)，而此類數(shù)據(jù)與真實(shí)數(shù)據(jù)分布之間的差別很大，因此會(huì)造成模型訓(xùn)練的不穩(wěn)定，模型經(jīng)過(guò)500輪訓(xùn)練后仍不能收斂。除此之外還可以發(fā)現(xiàn)，相比單步預(yù)測(cè)，多步預(yù)測(cè)任務(wù)訓(xùn)練過(guò)程的波動(dòng)更加明顯，這是由多步預(yù)測(cè)的誤差累積所致。由于文中任務(wù)用單步預(yù)測(cè)結(jié)果即可完成操作任務(wù)，因此，下文實(shí)驗(yàn)分析均針對(duì)單步預(yù)測(cè)的情況來(lái)展開(kāi)。

3.3.2 模型預(yù)測(cè)能力評(píng)價(jià)

經(jīng)基于仿真數(shù)據(jù)的模型預(yù)訓(xùn)練，模型收斂后的RMSE為0.092N。在不經(jīng)微調(diào)的情況下進(jìn)行單次實(shí)驗(yàn)測(cè)試，RMSE為3.740N，與仿真結(jié)果存在一定的差距。按照3.1節(jié)的描述完成微調(diào)后進(jìn)行測(cè)試，RMSE為0.902N，可見(jiàn)，文中的微調(diào)策略可以有效地將離線訓(xùn)練模型部署到實(shí)際場(chǎng)景中。實(shí)驗(yàn)測(cè)試中一條軌跡的作用力預(yù)測(cè)結(jié)果如圖9所示，其中，紅色線為經(jīng)低通濾波處理的傳感器讀數(shù)，綠色線與紫色線分別為單步預(yù)測(cè)與五步預(yù)測(cè)的結(jié)果?？梢园l(fā)現(xiàn)，文中所提模型的單步預(yù)測(cè)準(zhǔn)確率很高，尤其在預(yù)測(cè)豎直方向作用力時(shí)，預(yù)測(cè)值與觀測(cè)值在多處近乎重疊。相比而言，五步預(yù)測(cè)的結(jié)果與觀測(cè)值存在一定偏差，但是應(yīng)當(dāng)注意的是，五步預(yù)測(cè)結(jié)果的走勢(shì)與觀測(cè)值基本相同。

圖8模型預(yù)訓(xùn)練過(guò)程中豎直方向作用力均方根誤差隨訓(xùn)練輪次的變化Fig.8 Variation of RMSE of vertical force with epoch during the model training

圖9 中，在大約3.4s的位置處出現(xiàn)了豎直與水平方向作用力的突變，這是因?yàn)椴ＡЩ迮c吸附墊之間的接觸狀態(tài)發(fā)生了改變，原有的吸附狀態(tài)被破壞。可見(jiàn)，雖然在現(xiàn)有仿真器中難以對(duì)真空吸附直接建模，但是利用文中2.2.2節(jié)提出的補(bǔ)償方法可以模擬與實(shí)驗(yàn)接近的接觸行為。圖9中淺藍(lán)色的區(qū)域是該運(yùn)動(dòng)軌跡下采用不同動(dòng)力學(xué)參數(shù)組合的仿真結(jié)果所包圍的區(qū)域?？梢园l(fā)現(xiàn)，觀測(cè)值幾乎總是落在仿真數(shù)據(jù)包裹的區(qū)域內(nèi)，說(shuō)明實(shí)驗(yàn)中的接觸動(dòng)力學(xué)信息基本都包含在基于仿真環(huán)境采集的訓(xùn)練集中，這同樣證明了在仿真數(shù)據(jù)采集時(shí)作用力補(bǔ)償操作的可行性，也證明了假設(shè)2的合理性。

為驗(yàn)證文中所提模型的優(yōu)越性，將文中模型與目前作用力預(yù)測(cè)研究中普遍采用的MLP模型［27］、CNN-LSTM模型［28］進(jìn)行對(duì)比。實(shí)驗(yàn)中使MLP模型與文中模型回歸器采用相同結(jié)構(gòu)；CNN-LSTM模型僅采用單一尺寸卷積核堆疊，為控制變量，其他設(shè)置（包括注意力機(jī)制模塊）與文中模型保持一致。3種模型的對(duì)比結(jié)果如表1所示。

圖9 作用力預(yù)測(cè)結(jié)果Fig.9 Results of force prediction

表1 不同模型的單步作用力預(yù)測(cè)性能對(duì)比Table 1 Comparison of single-step force prediction performance of different models

從表1可以看出，文中模型的預(yù)測(cè)性能優(yōu)于MLP模型與CNN-LSTM模型，其采用的多尺度卷積核可以提取不同層級(jí)的局部信息，相比單一尺寸卷積核堆疊的模型在接觸動(dòng)力學(xué)表征中有明顯優(yōu)勢(shì)。

3.3.3 消融實(shí)驗(yàn)

為了了解各組件對(duì)文中模型性能的影響，驗(yàn)證模型結(jié)構(gòu)的有效性，基于圖6所示模型結(jié)構(gòu)開(kāi)展消融實(shí)驗(yàn)，基準(zhǔn)網(wǎng)絡(luò)為全連接神經(jīng)網(wǎng)絡(luò)，且與文中模型的回歸器采用相同結(jié)構(gòu)。作用力預(yù)測(cè)模型各部分組件的消融實(shí)驗(yàn)結(jié)果如表2所示，其中A、B、C分別表示基于多尺度卷積核的局部特征提取模塊、注意力機(jī)制模塊、基于LSTM的時(shí)序特征提取模塊。

表2 作用力預(yù)測(cè)模型各組件的有效性分析Table 2 Effectiveness analysis of each component of the force prediction model

對(duì)比模型1、2、3、6的結(jié)果可以看出，僅采用全連接神經(jīng)網(wǎng)絡(luò)時(shí)，模型的特征提取能力不足，性能遠(yuǎn)遠(yuǎn)低于其他模型。隨著依次在基準(zhǔn)網(wǎng)絡(luò)上添加A、B、C模塊，無(wú)論在仿真還是實(shí)驗(yàn)條件下，均方根誤差和相關(guān)系數(shù)兩個(gè)指標(biāo)都得到逐步改善，說(shuō)明文中模型采用的3個(gè)模塊在提高作用力預(yù)測(cè)能力上都發(fā)揮了相應(yīng)作用。

對(duì)比模型5與模型6的結(jié)果可以看出，在缺少基于多尺度卷積核的局部特征提取模塊時(shí)，模型的均方根誤差顯著增大。根據(jù)多尺度卷積核的結(jié)構(gòu)特點(diǎn)可知，提取歷史數(shù)據(jù)的局部特征對(duì)于提高作用力預(yù)測(cè)準(zhǔn)確率至關(guān)重要，實(shí)驗(yàn)結(jié)果也證明了假設(shè)1的正確性。除此之外，在仿真環(huán)境下，模型5的相關(guān)系數(shù)與模型6的相差不大，可以認(rèn)為相關(guān)系數(shù)主要受注意力機(jī)制模塊和時(shí)序特征提取模塊影響；然而在實(shí)驗(yàn)環(huán)境下，模型5的相關(guān)系數(shù)與模型6的相差較大，說(shuō)明傳感器測(cè)量噪聲的存在為時(shí)間序列建模造成了困難，局部特征提取模塊的存在可有效抑制噪聲。

對(duì)比模型3與模型4的結(jié)果可以看出，在仿真條件下，二者性能差別較小，缺少注意力機(jī)制模塊時(shí)均方根誤差指標(biāo)較差（相差0.021），而缺少時(shí)序特征提取模塊時(shí)相關(guān)系數(shù)指標(biāo)較差（相差0.033）；在實(shí)驗(yàn)條件下，這一差距將被放大，均方根誤差和相關(guān)系數(shù)分別相差0.266和0.120。由實(shí)驗(yàn)結(jié)果可以看出：基于LSTM的時(shí)序特征提取模塊可以有效提高模型對(duì)作用力趨勢(shì)的預(yù)測(cè)。注意力機(jī)制模塊可以綜合提高模型在均方根誤差與相關(guān)系數(shù)兩個(gè)指標(biāo)上的性能，其作用原理在于：不同物理量的局部特征信息在時(shí)間維度上的權(quán)重是不同的。

總而言之，文中模型的優(yōu)良預(yù)測(cè)性能是3個(gè)組件共同作用的結(jié)果：多尺度卷積核最大程度地保留了時(shí)間序列數(shù)據(jù)的局部特征，抑制了測(cè)量噪聲對(duì)時(shí)間序列建模的影響；基于LSTM的時(shí)序特征提取模塊可以使預(yù)測(cè)值與真實(shí)值的趨勢(shì)保持一致；注意力機(jī)制模塊起到了銜接前述兩個(gè)模塊的作用，并使前者提取的特征被更好地利用于時(shí)序信息提取。

4 結(jié)語(yǔ)

接觸問(wèn)題是機(jī)器人工程應(yīng)用中的一個(gè)重要問(wèn)題，接觸行為的準(zhǔn)確描述對(duì)于高精度的機(jī)器人操作控制有重要意義。文中以玻璃基板卸片場(chǎng)景為例，提出了一種面向玻璃基板鏟起過(guò)程的作用力預(yù)測(cè)方法，可以在僅利用少量實(shí)際采集數(shù)據(jù)的情況下取得良好的預(yù)測(cè)效果。文中主要貢獻(xiàn)在于將具有強(qiáng)大表征能力的深度學(xué)習(xí)模型與物理先驗(yàn)知識(shí)進(jìn)行結(jié)合，提出了一種面向復(fù)雜生產(chǎn)作業(yè)條件的接觸動(dòng)力學(xué)建模策略。物理先驗(yàn)知識(shí)不僅可以指導(dǎo)模型結(jié)構(gòu)設(shè)計(jì)，還可以使仿真數(shù)據(jù)采集與模型訓(xùn)練過(guò)程更加高效。這種以深度學(xué)習(xí)模型為主，以剛體動(dòng)力學(xué)、材料力學(xué)、斷裂力學(xué)等學(xué)科物理先驗(yàn)知識(shí)為輔的作用力預(yù)測(cè)方法，可以被應(yīng)用到其他涉及接觸動(dòng)力學(xué)的應(yīng)用場(chǎng)景。